Inhalt dieses Beitrags
In der neuesten Folge des Search Off The Record Podcasts von Google erklärt Gary Illyes, inwiefern URL-Parameter mit Crawling-Problemen zusammenhängen können.
Zu große Anzahl an URLs durch Parameter führt zu ineffizientem Crawling
Die URL-Parameter einer Website können dazu führen, dass es scheinbar unendlich viele URLs gibt. Dies führe in einem nächsten Schritt zu ineffizientem Crawling, so Illyes. URL-Parameter können nämlich nahezu unendlich viele URLs für eine einzige Seite erzeugen. Das stellt dann ein Problem für Crawler dar, da sie alle URL-Versionen crawlen müssen, um festzustellen, ob sie zum selben Inhalt führen. Illyes bezeichnet diesen Schritt als eine ineffiziente Nutzung der Crawling-Ressourcen.
Dieses Problem ist Google bereits bekannt. So hat Google in der Vergangenheit ein URL-Parameter-Tool in der GSC angeboten, mit dem Websitebetreibende angeben konnten, welche Parameter wichtig sind und welche ignoriert werden können. Allerdings hat Google das Tool 2022 eingestellt. Bei vielen SEO-Experten ist seither die Frage aufgekommen, wie dieses Problem fortan gelöst werden soll.
Besonders häufig betroffen: E-Commerce-Websites
Besonders häufig betroffen von Crawling-Problemen sind E-Commerce-Websites. Das liegt daran, dass diese Websites viele URL-Parameter verwenden, um Produkte nach Farbe, Größe oder anderen Kriterien zu filtern. Das Crawlen ist hier folglich komplizierter, da jede Variation eine neue URL darstellt, die gecrawlt werden muss.
Crawling-Probleme: Auswirkungen auf SEO
Crawling-Probleme können negative Auswirkungen auf SEO haben. Zu diesen zählen unter anderem:
- Fehlende Indexierungen: Es kann passieren, dass wichtige Seiten nicht gecrawlt und somit auch nicht indexiert werden.
- Verschwendung des Crawl-Budgets: Da jede Website ein begrenztes Crawl-Budget hat, kann das Crawlen von unnötigen URLS zu einer Verschwendung des Budgets führen. Dadurch bleibt weniger Kapazität für das Crawlen der tatsächlich relevanten Seiten.
Mögliche Lösungsansätze für die Behebung der Crawling-Probleme
Im Podcast macht Illyes auch Vorschläge zu möglichen Lösungsansätzen, um die Crawling-Probleme zu beheben. So betont er, dass Google daran arbeitet, Algorithmen zu entwickeln, um redundante URLs zu identifizieren. Auch rät er Websitebetreibenden dazu, eine klarere Kommunikation über ihre URL-Struktur anzustreben. Dazu biete sich vor allem die Nutzung von robots.txt-Dateien an, um Crawlern bessere Anweisungen zu geben.
