Braucht man eine robots.txt – Datei für die Indexierung von Suchmaschinen
Wenn man als junger Webmaster anfängt, eine eigene Webseite ins Internet zu stellen, stolpert man früher oder später über den Begriff beziehungsweise über die Datei robts.txt. Schnell stellt man sich die Frage, ob man diese dann auch für die eigene Homepage benötigt. Besonders bei Webmaster, die Ihre Webseite schneller im Internet bekannt machen wollen, vermuten hinter dieser Datei eine kleine Geheimwaffe.
Wofür kann man die robots.txt – Datei verwenden
In erster Linie verwendet man die robots.txt dazu, den Suchmaschinen mitzuteilen, welche Verzeichnisse oder Seiten durch den Suchmaschinenroboter indexiert werden dürfen. Auch kann man nur bestimmten Suchmaschinenrobotern erlauben, eine Webseite zu indexieren. Anderen wird dann die Indexierung der Webseite verboten.
Weiterhin läst sich über die robots.txt steuern, welche Verzeichnisse, Dateien oder Seiten von einem Suchmaschinenroboter aufgesucht werden sollen, die er dann indexieren darf. Zum Beispiel macht es bei dynamischen Webseiten einen Sinn, bestimmte Verzeichnisse, wie das Admin Verzeichnis, von der Indexierung durch einen Suchmaschinenroboter auszuschließen.
Wird die robots.txt – Datei zur Indexierung bei Suchmaschinen benötigt
In der Regel wird eine robots.txt – Datei für die Indexierung von Suchmaschinen nicht benötigt. Kommt der Suchmaschinenroboter zur Indexierung vorbei und er findet keine robots.txt – Datei, so geht dieser davon aus, dass er alles darf und durchstöbert alle zugänglichen Verzeichnisse, Dateien und Seiten. Dabei werden unter Umständen vielleicht auch Seiten, Dateien und Verzeichnisse indexiert, die man eigentlich der Öffentlichkeit nicht zugänglich machen wollte.
Kann man was mit der robots.txt – Datei falsch machen
Ein klares und definitives JA. Wer eine robots.txt – Datei falsch geschrieben oder falsche Angaben gemacht hat, der kann unter Umständen alle Suchmaschinen für die Indexierung ausgeschlossen oder unter Umständen nur einer Suchmaschine die Indexierung erlaubt haben. Auch kann es unter Umständen passieren, dass man durch eine falsche Schreibweise zur Sperrung eines Verzeichnisses ganze Seiten für die Indexierung sperrt. Aus diesem Grunde sollt man sich einmal den Aufbau einer robots.txt – Datei näher ansehen. Auf der Seite Robots txt – Indexierung der Webseite von Suchmaschinen einstellen kann weitere Informationen erfahren.