Gestern erhielt ich eine Email, in der ich gefragt wurde, ob man eine robots.txt – Datei für die Indexierung durch die Suchmaschine Google benötigt. Diese Email nehme ich mal als Anlass, dazu einen kleinen Beitrag zu schreiben.
Was ist die robots.txt
Über die robots.txt wurden in diesem Block schon einige Beiträge geschrieben. Wer also noch nicht weiß, was man mit einer robots.txt – Datei so alles machen kann und wofür diese da ist, sollte sich den Artikel Robots.txt – Indexierung der Webseite von Suchmaschinen einstellen durchlesen.
In erster Linie benötigt man die robots.txt – Datei für die spezielle Sperrung von Suchmaschinen oder Spidern für Verzeichnisse oder Dateien auf dem eigenen Webspace (Webspeicherplatz). Daher findet man häufig diese Datei bei Blocks, Foren oder online Shops, da diese mit dieser Datei zum Beispiel Verzeichnisse für den Administrationsbereich sperren.
Würde die robtos.txt nicht vorhanden sein, so würden auch die Web-Seiten aus dem Administrationsbereich in den Suchmaschinen auftauchen. Das ist jedoch von vielen Benutzern so nicht gewollt.
Daraus ist dann auch schon ersichtlich, dass eine robots.txt Datei nicht vorhanden sein muss, damit Suchmaschinen eine Webseite spidern beziehungsweise absuchen und dann indexieren. Vielmehr ist es so, dass wenn einer robots.txt – Datei nicht vorhanden ist, man den Suchmaschinen Tür und Tor öffnet und die ganze Webseite zu Indexierung. Wer keine speziellen Verzeichnisse oder Dateien hat, die durch die Suchmaschinen nicht indiziert werden sollen, der benötigt also keine robots.txt Datei.
Somit klärt sich dann auch die Frage, ob man für Google eine robots.txt – Datei braucht! Ist diese Datei nicht vorhanden, so wird die gesamte Webseite durch die Suchmaschine von Google durchsucht und eventuell indiziert. Wer mehr über diese Datei erfahren möchte, der sollte sich die anderen Artikel und Beiträge zur robots.txt – Datei durchlesen.