Inhalt dieses Beitrags
Google hat einen neuen Crawler, einen neuen Googlebot, namens Google-InspectionTool veröffentlicht. Mit diesem neuen Google-Crawler identifiziert Google die Crawling-Aktivitäten für den Crawler, der von den Test-Tools der Google-Suche verwendet wird, wie z. B. dem Rich-Results-Test und dem URL-Inspektionstool der Google Search Console.
Was ist das Google-InspectionTool?
Google hat Einzelheiten über diesen neuen Crawler in seinem Hilfedokument hier veröffentlicht. Darin heißt es: “Google-InspectionTool ist der Crawler, der von Search Testing Tools wie dem Rich Result Test und der URL-Überprüfung in der Search Console verwendet wird. Abgesehen vom User-Agent und User-Agent-Token imitiert er Googlebot”.
User-Agent-Token für das Crawling
Das User-Agent-Token für seine Crawl-Aktivität kann entweder der klassische Googlebot oder das neue Google-InspectionTool sein. Google hat auch die vollständigen User-Agent-Strings aufgelistet, die sich für mobile und Desktop-Crawls unterscheiden:
- Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
- Desktop
Mozilla/5.0 (compatible; Google-InspectionTool/1.0)
Probleme mit dem neuen Googlebot?
Falls du die Crawling- und Bot-Aktivitäten in deinen Logdateien analysierst, taucht vielleicht Google-InspectionTool auf. Das ist besonders dann der Fall, wenn du den Rich Result Test und die URL-Inspektion in der Google Search Console verwendest.
Wenn du Probleme bei der Ausführung dieser Tools feststellen solltest, blockierst du möglicherweise den Zugriff des User-Agents von Google-InspectionTool auf deine Website. Stelle daher sicher, dass du Google-InspectionTool das Crawlen deiner Website erlaubst.