Robots.txt

"robots.txt" ist eine Datei die Spider berücksichtigen sollten um zu erfahren, welche Unterseiten einer Internetpräsenz besucht werden dürfen und welche nicht.