Inhalt dieses Beitrags
Das Thema Crawling Budget taucht immer wieder in SEO-Diskussionen, Vorträgen und Meetings auf. Google sagt selber, dass es ein Ranking-Faktor ist, allerdings kein Ranking-Signal.
Jetzt hat Google ein neues Handbuch für Webmaster bereits gestellt, dass sich vornehmlich an SEOs von wirklich großen Webseiten richtet.
Für wen ist dieses Handbuch gedacht?
Dies ist ein Handbuch für fortgeschrittene Nutzer, die Folgendes haben:
- große Websites (über 1 Million Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert oder
- mittelgroße Websites (mehr als 10.000 Seiten) mit Inhalten, die sich sehr schnell (täglich) ändern.
Die hier angegebenen Seitenzahlen sind nur ungefähre Werte, die Ihnen helfen sollen, Ihre Website einzuordnen.
Quelle: https://support.google.com/webmasters/answer/9689511
Definition und Erklärung: Crawling Budget
Das Web ist riesig und übersteigt die Möglichkeiten von Google, jede verfügbare URL zu erforschen und zu indexieren. Deshalb hat der Googlebot nur begrenzt Zeit, die jeweilige Website zu crawlen. Die Zeit und die Ressourcen, die Google für das Crawling einer Website aufwendet, werden als das Crawling-Budget bezeichnet. Beachten Sie, dass nicht alles, was auf Ihrer Website gecrawlt wird, auch notwendigerweise indexiert wird. Jede Seite muss evaluiert, konsolidiert und bewertet werden, um zu entscheiden, ob sie nach dem Crawling indexiert wird.
Das Crawling-Budget wird durch zwei Hauptelemente bestimmt: das Crawling-Kapazitätslimit und den Crawling-Bedarf.
Crawling-Kapazitätslimit
Beim Crawling Ihrer Website durch den Googlebot sollen alle Ihre wichtigen Inhalte abgedeckt werden, ohne Ihre Server zu überlasten. Deshalb berechnet der Googlebot das Crawling-Kapazitätslimit, das angibt, wie viele Verbindungen der Googlebot maximal gleichzeitig für das Crawling einer Website verwenden kann und wie viel Zeit zwischen Abrufen vergeht.
Das Crawling-Kapazitätslimit kann sich aus verschiedenen Gründen erhöhen oder verringern:
- Crawling-Status: Wenn die Website eine Zeit lang schnell reagiert, wird das Limit erhöht, sodass mehr Verbindungen für das Crawling verwendet werden können. Falls die Website langsamer wird oder mit Serverfehlern antwortet, verringert sich das Limit und der Googlebot crawlt weniger.
- Durch den Websiteinhaber in der Search Console festgelegtes Limit: Websiteinhaber können die Crawling-Frequenz ihrer Website einschränken. Beachten Sie jedoch, dass sich das Crawling nicht automatisch erhöht, wenn Sie höhere Limits festlegen.
- Crawling-Limits von Google: Google hat sehr viele Rechner, aber auch nicht unbegrenzt viele. Auch wir müssen uns gut überlegen, wie wir unsere Ressourcen einsetzen.
Crawling-Bedarf
Google crawlt eine Website in der Regel so lange, wie es aufgrund ihrer Größe, der Aktualisierungshäufigkeit, Seitenqualität und Relevanz im Vergleich zu anderen Websites nötig ist.
Die folgenden Faktoren spielen bei der Bestimmung des Crawling-Bedarfs eine wichtige Rolle:
- Wahrgenommenes Inventar: Wenn der Googlebot von Ihnen keine weiteren Hinweise erhält, versucht er, alle oder die meisten URLs Ihrer Website zu crawlen, die ihm bekannt sind. Falls viele dieser URLs Duplikate sind oder aus einem anderen Grund nicht gecrawlt werden sollen (z. B. weil sie entfernt wurden oder unwichtig sind), wird dadurch viel Zeit beim Crawling Ihrer Website verschwendet. Das ist der Faktor, den Sie am stärksten beeinflussen können.
- Beliebtheit: URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, damit sie in unserem Index besonders aktuell sind.
- Aktualität: Unsere Systeme versuchen, Dokumente oft genug zu crawlen, sodass Änderungen schnell erkannt werden.
Darüber hinaus können Ereignisse, die die gesamte Website betreffen, wie etwa der Umzug einer Website, zu einer Zunahme des Crawling-Bedarfs führen, da der Inhalt unter den neuen URLs neu indexiert werden muss.
Zusammenfassung
Anhand der Crawling-Kapazität und des Crawling-Bedarfs bestimmt Google das Crawling-Budget, das für die URLs einer Website aufgewendet werden soll, die der Googlebot crawlen kann und möchte. Selbst wenn das Crawling-Kapazitätslimit nicht erreicht wird, crawlt der Googlebot Ihre Website weniger, falls der Crawling-Bedarf gering ist.
Crawling Budget erhöhen?
Es gibt einige Möglichkeiten und Hebel das eigene Crawlingbudget zur erhöhen bzw. positiv zu beeinflussen. Interessant sind dabei die Aussagen von Google: es geht nicht nur um die sogenannten “Bereitstellungkapazitäten” aka Server und PageSpeed, sondern eben auch um die “Nützlichkeit des Inhalts” für Nutzer.
Google bestimmt die Menge der Crawling-Ressourcen, die einer konkreten Website gewidmet werden, anhand ihrer Beliebtheit, ihres Werts für die Nutzer, ihrer Einzigartigkeit und der Bereitstellungskapazität. Sie können Ihr Crawling-Budget nur erhöhen, indem Sie die Bereitstellungskapazität für das Crawling erhöhen und insbesondere die Nützlichkeit des Inhalts Ihrer Website für Nutzer mit Suchanfragen steigern.
