Wer als Webmaster und Homepage Betreiber im Internet unterwegs ist, der sollte mit dem Begriff beziehungsweise mit der Datei robots.txt schon etwas anfangen können. Schließlich kann man mit dieser Datei den Zugriff und die Indexierung von Suchmaschinen beziehungsweise von Suchmaschinenrobotern steuern und somit erheblich zum Erfolg einer Homepage beitragen. 

Warum kann der Inhalt der eigenen oder einer fremden robots.txt interessant sein

Wer sich diese Frage noch stellt, der sollte sich einmal näher mit dem Thema robots.txt beschäftigen. Schließlich können falsche Angaben in dieser Datei dazu führen, dass Unterseiten einer Webseite, Verzeichnisse oder Dateien durch Suchmaschinen erst gar nicht indiziert werden können. Wer jedoch weiß noch, welche Angaben er vor einigen Monaten oder sogar Jahren in dieser Datei gemacht hat. Im nachfolgenden stelle ich noch einmal einige Punkte vor, warum der Inhalt der robots.txt für einen Webmaster interessant sein kann! 

Welche Verzeichnisse oder Dateien sind auf der eigenen Webseite freigegeben oder gesperrt

Mit der Zeit sollte natürlich auch eine Webseite wachsen. Das heißt nicht nur, dass neue Artikel, Beiträge und Bilder als Inhalt geschaffen werden, sondern auch eine Struktur sich im Laufe der Zeit ändern kann. Wer bereits zu Anfang bei der Erstellung einer Homepage eine robots.txt erstellt hat, der sollte diese auch von Zeit zu Zeit überprüfen und gegebenenfalls anpassen. Stimmen die Freigaben für die verschiedenen Suchmaschinenroboter beziehungsweise Suchmaschinenagenten noch oder sind eventuell Verzeichnisse gesperrt, die mittlerweile von Suchmaschinen indiziert werden sollen. Hat man zum Beispiel zu Testzwecken ein Unterverzeichnis mit der Bezeichnung Forum erstellt und dieses über die Datei robots.txt vorläufig für die Indizierung gesperrt, so kann es dann richtig sein, dieses Verzeichnis für die Indizierung wieder freizugeben, wenn zum Beispiel das Forum offiziell für Besucher freigegeben ist. 

Was geben andere Webmaster in der robots.txt an

Gerade Einsteiger in Sachen Webseiten und Homepages können durch den Inhalt der robots.txt von anderen Webseiten und Webmastern lernen. Besonders die Webmaster, deren Webseiten schon sehr lange am Markt sind, haben häufig ein großes Wissen um solche Dateien, wie zum Beispiel die robots.txt Datei. Daher kann es besonders für Einsteiger sehr interessant sein, wie diese die Freigaben der einzelnen Seiten, Dateien oder Verzeichnisse für die Indizierung von Suchmaschinen handhaben. 

Optimieren der robots.txt

Anhand der gewonnenen Daten durch die Einsicht der robots.txt Datei von anderen Webseiten kann man seine eigene robots.txt Datei optimieren. Das kann mitunter ein wesentlicher Faktor dabei sein, dass eine Webseite mehr oder weniger Erfolg hat. 

Schließen Linkpartner die Seite mit dem Link von der Indexierung

Im Kampf um Links von anderen Webseiten werden von Webmastern die seltsamsten Tricks angewandt. Kommt zum Beispiel mit einer der größten Suchmaschinen weltweit dahinter, dass man zum Beispiel einen Linktausch beziehungsweise eine Linkpartnerschaft mit anderen Webseiten eingegangen ist, kann das zu einer Herabstufung der eigenen Webseite führen. Daher wäre es doch dann interessant, eine bestimmte Seite oder sogar ein bestimmtes Verzeichnis so zu sperren, dass es erst gar nicht durch die Suchmaschinenroboter indiziert wird. Keine Indizierung durch den Suchmaschinenroboter somit auch keine Vererbung durch den Link auf der Seite und somit auch keine Herabstufung der eigenen Homepage. Das mag sicherlich kein sehr feiner Zug sein, soll jedoch hin und wieder von Webmastern angewandt werden. 

Nun zum eigentlichen Thema: Den Inhalt der robots.txt Datei schnell Anzeigen 

Sicherlich mag nun der eine oder andere Webmaster denken, dass man doch den Inhalt einer robots.txt Datei auch über einen Editor anzeigen lassen kann. Sicherlich! Da gebe ich diesen Webmastern Recht. Allerdings geht es noch schneller. In einem Browser, wie zum Beispiel dem Internet Explorer oder den Mozilla Firefox, gibt man einfach die URL der Webseite ein, deren robots.txt Datei man anzeigen lassen möchte. Hinter der URL beziehungsweise den Domänennamen gibt man dann nur noch /robots.txt ein.
 
Als Beispiel kann man sich einmal die robots.txt Datei von screen4dream.de ansehen. Man gibt also in der Adressleiste des Browsers http://tipps-und-ideen.de/robots.txt ein und betätigt dann die Enter-Taste.
 
Nun wird einem der Inhalt der robots.txt Datei direkt im Browserfenster präsentiert. Somit hat man nicht nur schnell eine Kontrolle darüber, was man selber in dieser Datei angegeben hat, sondern man kann auch sehen, was andere Webmaster in dieser Datei angeben beziehungsweise angegeben haben.
 
Im Grunde genommen.net das mit fast jede Domäne. In einigen Fällen kann es jedoch sein, dass diese Datei nicht aufgerufen beziehungsweise angezeigt werden kann. In einem solchen Fall ist es dann zum Beispiel möglich, dass erst gar keine robots.txt Datei vorhanden ist.

Von Holger

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert