Google-Analyst Gary Illyes erinnert an die Bedeutung von robots.txt für SEO.
Google-Analyst Gary Illyes erinnert an die Bedeutung von robots.txt für SEO. Er macht Handlungsvorschläge, die SEO verbessern können.

In einem LinkedIn-Post von vorgestern erinnert Google-Analyst Gary Illyes an die Bedeutung von robots.txt für SEO. Seine Empfehlung: Action-URLs blockieren, um den Crawlern die Arbeit zu erleichtern.

Wie hängen robots.txt und SEO miteinander zusammen?

Robots.txt-Dateien spielen eine bedeutende Rolle in der Suchmaschinenoptimierung, weil sie den Web-Crawlern von Suchmaschinen Anweisungen geben: So bestimmen sie darüber, welche Bereiche einer Website die Crawler durchsuchen dürfen und welche nicht. Websites, die nicht gecrawlt werden, werden nicht indexiert und dementsprechend auch nicht in den SERPs angezeigt.

Doch nicht alle Komponenten einer Website sollten gecrawlt und indexiert werden. Um bestimmte Bereiche einer Website auszuschließen, vermerkt man in der robots.txt-Datei die Befehle “disallow” und “noindex” vor den auszuschließenden Links.

Empfehlung von Google: Action-URLs mit robots.txt blockieren

Nun erinnert Gary Illyes, Analyst bei Google, in seinem Post daran, wie wichtig es ist, für Crawler irrelevante Bereiche einer Website mit robots.txt auszuschließen. Darunter fallen beispielsweise Action-URLs:

“You should really disallow crawling of your action URLs. Crawlers will not buy that organic non-GMO scented candle, nor do they care for a wishlist.”

Gary Illyes, LinkedIn

Was sind Action-URLs?

Unter Action-URLs versteht man URLs, die speziell für das Durchführen einer Aktion erstellt wurden. So zählen alle URLs, die Benutzer zu einer bestimmten Handlung führen (bspw. der Kauf eines Produkts oder das Hinzufügen eines Artikels zum Warenkorb), zu Action-URLs.

Warum sollte ich Action-URLs mit robots.txt blockieren?

Crawler brauchen klare Anweisungen darüber, welche URLs für sie relevant sind und welche nicht. Gibt es keine klaren Anweisungen, können Crawler ihre Ressourcen nicht nur auf diejenigen Seiten konzentrieren, die tatsächlich wichtig sind. Dann besteht das Risiko, dass die eigentlich wichtigen Inhalte nicht häufig genug gecrawlt werden.

“A common complaint we get about crawling is that we’re crawling too much, which uses too much of the server’s resources […]. Looking at what we’re crawling from the sites in the complaints, way too often it’s action URLs such as ‘add to cart’ and ‘add to wishlist’. These are useless for crawlers and you likely don’t want them to be crawled.”

Gary Illyes, LinkedIn

Indem Action-URLs, die für Crawler irrelevant sind, blockiert werden, können unnötige Serveranfragen vermieden und Server entlastet werden. Das führt dazu, dass die Ressourcen stattdessen für das Crawlen von wirklich wichtigen Seiten zur Verfügung stehen.

Fazit

Das Einreichen von robots.txt-Dateien ist eine gängige SEO-Praxis, die auch jetzt nicht an Bedeutung verliert. Gary Illyes erinnert in seinem Post daran, wie wichtig es ist, robots.txt für SEO zu nutzen, um den Crawlern klare Anweisungen zu geben. So kann gewährleistet werden, dass die tatsächlich relevanten Seiten gecrawlt und indexiert werden, ohne Ressourcen zu verschwenden.

jetzt den contentking.de Newsletter abonnieren

Und wir halten Dich immer auf dem aktuellen Stand!

das könnte Dich ebenfalls interessieren

Juni 2024 Spam-Update im Google Search Status Dashboard

Es gibt Neuigkeiten für Suchmaschinenoptimierer: Google hat am 20. Juni 2024 offiziell ein neues Spam-Update im Google Search Status Dashboard veröffentlicht. Wer bisher sauberes SEO gemacht hat, den dürfte das nicht wirklich beunruhigen, denn Google versucht hier wirklich Herr über die massive Spamflut zu werden.

AI Overviews deaktivieren: laut Google nicht möglich

In einem Forum-Beitrag äußert sich Google zu FAQs über AI Overviews. Google hält unter anderem fest, dass es nicht möglich ist, AI Overviews zu deaktivieren.

Endloses Scrollen bei Google vorbei: Ende der SERPs wieder da

Das endlose Scrollen bei Google wurde nun eingestellt. Wie sich diese Änderung auf das Online-Marketing auswirkt, haben wir in dieser News zusammengefasst.

Soft 404-Fehler und ihre Auswirkungen auf SEO

Google-Analyst Gary Illyes warnt in seinem kürzlich veröffentlichen LinkedIn Post vor Soft 404-Fehlern und ihren Auswirkungen auf Crawler und erklärt, warum eine vollständige Fehlerbehebung zwingend erforderlich ist für SEO und die Effizienz einer Website.