Inhalt dieses Beitrags
In einem LinkedIn-Post von vorgestern erinnert Google-Analyst Gary Illyes an die Bedeutung von robots.txt für SEO. Seine Empfehlung: Action-URLs blockieren, um den Crawlern die Arbeit zu erleichtern.
Wie hängen robots.txt und SEO miteinander zusammen?
Robots.txt-Dateien spielen eine bedeutende Rolle in der Suchmaschinenoptimierung, weil sie den Web-Crawlern von Suchmaschinen Anweisungen geben: So bestimmen sie darüber, welche Bereiche einer Website die Crawler durchsuchen dürfen und welche nicht. Websites, die nicht gecrawlt werden, werden nicht indexiert und dementsprechend auch nicht in den SERPs angezeigt.
Doch nicht alle Komponenten einer Website sollten gecrawlt und indexiert werden. Um bestimmte Bereiche einer Website auszuschließen, vermerkt man in der robots.txt-Datei die Befehle “disallow” und “noindex” vor den auszuschließenden Links.
Empfehlung von Google: Action-URLs mit robots.txt blockieren
Nun erinnert Gary Illyes, Analyst bei Google, in seinem Post daran, wie wichtig es ist, für Crawler irrelevante Bereiche einer Website mit robots.txt auszuschließen. Darunter fallen beispielsweise Action-URLs:
“You should really disallow crawling of your action URLs. Crawlers will not buy that organic non-GMO scented candle, nor do they care for a wishlist.”
Gary Illyes, LinkedIn
Was sind Action-URLs?
Unter Action-URLs versteht man URLs, die speziell für das Durchführen einer Aktion erstellt wurden. So zählen alle URLs, die Benutzer zu einer bestimmten Handlung führen (bspw. der Kauf eines Produkts oder das Hinzufügen eines Artikels zum Warenkorb), zu Action-URLs.
Warum sollte ich Action-URLs mit robots.txt blockieren?
Crawler brauchen klare Anweisungen darüber, welche URLs für sie relevant sind und welche nicht. Gibt es keine klaren Anweisungen, können Crawler ihre Ressourcen nicht nur auf diejenigen Seiten konzentrieren, die tatsächlich wichtig sind. Dann besteht das Risiko, dass die eigentlich wichtigen Inhalte nicht häufig genug gecrawlt werden.
“A common complaint we get about crawling is that we’re crawling too much, which uses too much of the server’s resources […]. Looking at what we’re crawling from the sites in the complaints, way too often it’s action URLs such as ‘add to cart’ and ‘add to wishlist’. These are useless for crawlers and you likely don’t want them to be crawled.”
Gary Illyes, LinkedIn
Indem Action-URLs, die für Crawler irrelevant sind, blockiert werden, können unnötige Serveranfragen vermieden und Server entlastet werden. Das führt dazu, dass die Ressourcen stattdessen für das Crawlen von wirklich wichtigen Seiten zur Verfügung stehen.
Fazit
Das Einreichen von robots.txt-Dateien ist eine gängige SEO-Praxis, die auch jetzt nicht an Bedeutung verliert. Gary Illyes erinnert in seinem Post daran, wie wichtig es ist, robots.txt für SEO zu nutzen, um den Crawlern klare Anweisungen zu geben. So kann gewährleistet werden, dass die tatsächlich relevanten Seiten gecrawlt und indexiert werden, ohne Ressourcen zu verschwenden.
