Google plant, neue Wege zur Steuerung von Crawling und Indexierung zu erforschen, die über das seit 30 Jahren bestehende robots.txt-Protokoll hinausgehen. Das Unternehmen möchte gemeinsam mit der Web- und KI-Gemeinschaft maschinenlesbare Optionen entwickeln, um aufkommende KI- und Forschungsanwendungsfälle zu unterstützen.
Einbindung der Gemeinschaft in die Diskussion
Google lädt Mitglieder der Web- und KI-Gemeinschaft ein, an öffentlichen Diskussionen teilzunehmen, um alternative Protokolle zu erörtern. Vertreter aus den Bereichen Web-Publishing, Zivilgesellschaft und Akademie sollen ihre Stimmen einbringen, um die Zukunft der Kontrolle von Web-Inhalten mitzugestalten.
Bedeutung für Web-Publisher
Die bisherigen Methoden zur Steuerung von Web-Inhalten wurden entwickelt, bevor neue KI- und Forschungsanwendungsfälle entstanden. Google erkennt an, dass Web-Publisher Wahlmöglichkeiten und Kontrolle über ihre Inhalte benötigen, um am Web-Ökosystem teilzunehmen und daraus Nutzen zu ziehen. Die Entwicklung zusätzlicher maschinenlesbarer Optionen soll diesen Anforderungen gerecht werden.
Die Suche nach Alternativen zum robots.txt-Protokoll wird auch durch jüngste Ereignisse beeinflusst. Open AI hat die Funktion “Mit Bing durchsuchen” in ChatGPT deaktiviert, nachdem sie ohne Genehmigung Zugriff auf kostenpflichtige Inhalte hatte. Dieses Problem verdeutlicht die Notwendigkeit neuer Ansätze zur Kontrolle des Web-Crawlings.
