PK schrieb ja extra von Ordnerstrukturen im Hintergrund.

Meines Wissens können Bots nur stumpf dem folgen, was sie sehen. Sprich, eine Startseite ohne irgendeinen (Navigations-)link, der auf Ordner und Seiten verweist, kann und wird nicht gescannt werden. Und ein passwortgeschützer Ordner auch nicht. (Es versteht sich von selbst, dass der Link auch nicht auf anderen Webseiten zu finden sein darf.)

Oder bin ich da nicht mehr auf einem aktuellen Stand?