Inhalt dieses Beitrags
Der robots.txt-Tester führt Schritt für Schritt durch die Bearbeitung
Wie wir bereits berichteten, bietet das Bing Webmastertool seit einer Weile einen robots.txt-Tester. Letzten Freitag hat Bing auf seinem Blog noch einmal darauf hingewiesen, dass mit dem robots.txt-Tester Dateien überprüft und bearbeitet werden können. Der robots.txt-Tester hilft nicht nur dabei robots.txt-Dateien zu analysieren und Crawlingprobleme hervorzuheben, sondern führt auch Schritt für Schritt vom Abrufen der neuesten Datei bis zum Hochladen derselben Datei an die entsprechende Adresse.
Vorgenommene Änderungen können sofort auf Fehler überprüft werden
Der Tester überprüft die eingereichte URL gegen den Inhalt des Editors. Dadurch kann die URL nach Änderungen im Editor einfach und sofort erneut getestet und auf Fehler überprüft werden.
Download-Option ermöglicht offline-Aktualisierung der txt-Datei
Das System prüft auf “allow/disallow”-Anweisungen für die jeweiligen User Agents. Die robots.txt-Datei wird im Editor in 4 Variationen angezeigt: http://, https://, http://www und https://www. Webmaster können die txt-Datei bearbeiten und/oder herunterladen, um sie offline zu aktualisieren. Wenn an anderer Stelle Änderungen an der robots-Datei vorgenommen wurden, kann die aktuellste Version der Datei abgerufen werden.
Die Download-Option bietet einen Schritt-für-Schritt-Prozess zur Aktualisierung der Datei. Erst wird die bearbeitete Datei heruntergeladen, dann auf die Domain-Root hochgeladen, damit eine Live-Version überprüft werden kann. Schließlich kann Bing dazu aufgefordert werden, auf die aktuellste Version der txt-Datei zurückzugreifen.
Fazit: Viele Webmaster tun sich bei der Analyse und Bearbeitung ihrer robots.txt-Datei schwer. Deswegen ist der txt-Tester von Bing ein sehr nützliches Werkzeug.
