Website-Betreiber, die ihre Inhalte nicht als Trainingsmaterial für KI-Modelle hergeben wollen, müssen bislang jeden Crawler einzeln aussperren: GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google — und die Liste wächst ständig. Das soll sich ändern: Google hat am 30. Oktober angekündigt, ein anbieterübergreifendes Signal in der robots.txt auszuwerten. Auch OpenAI, Anthropic und Microsofts Bing haben laut dem Fachdienst Search Engine Roundtable entsprechende Zusagen gemacht. Ab 2027 soll damit eine einzige Zeile genügen, um das KI-Training für alle teilnehmenden Anbieter zu untersagen.
Ein Policy-Token statt Dutzender Crawler-Namen
Technische Grundlage ist das Robots Exclusion Protocol, das seit 1994 im Einsatz ist und in RFC 9309 standardisiert wurde. Der zugrunde liegende IETF-Entwurf mit dem Namen draft-kelley-aipref-training-preference-signal baut auf Arbeiten der IETF-Arbeitsgruppe AIPREF (AI Preferences) auf und führt keine neue Syntax ein. Stattdessen wandert ein sogenanntes Policy-Token in die bestehende User-Agent-Zeile: __usage_ai-training bezeichnet keinen bestimmten Crawler, sondern den Verwendungszweck KI-Training bei allen teilnehmenden Anbietern. Ein Eintrag sieht beispielsweise so aus:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Der Clou an dieser Konstruktion: Ältere Parser, die das Token nicht kennen, behandeln den Block gemäß RFC 9309 schlicht als unbekannten User-Agent und ignorieren ihn. Das neue Signal ist damit vollständig abwärtskompatibel.
Google-Extended bleibt — mit einem Haken
Anbieterspezifische Steuerungen wie Google-Extended, das Google seit 2023 anbietet, bleiben parallel bestehen. Betreiber können also eine Grundentscheidung über das gemeinsame Token treffen und sie für einzelne Anbieter überschreiben. Widerspricht eine Website dem KI-Training über das Token und macht keine Angaben zu Google-Extended, wertet Google das künftig so, als wäre Google-Extended komplett gesperrt.
Interessant ist die Verknüpfung mit der KI-Suche: Nur Websites, die Google-Extended ausdrücklich erlauben, kommen laut Google dafür infrage, über das sogenannte Grounding in Antworten der Gemini-Apps aufzutauchen und darüber Klicks zu erhalten. Wer pauschal widerspricht, verzichtet damit auch auf Sichtbarkeit in Googles KI-Antworten — eine Abwägung, die an die Debatte über Traffic-Verluste durch KI-Suchen erinnert. Gegenüber Search Engine Roundtable sprach Google von einem gemeinsamen Engagement der KI-Anbieter für ein offenes, an Content-Erstellern ausgerichtetes Web-Ökosystem.
Freiwillig — und noch nicht fertig
Zwei Einschränkungen gehören zur Einordnung. Erstens ist das Verfahren bislang ein Entwurf: Die Arbeit in der IETF-Arbeitsgruppe läuft noch, und über weiteres Vokabular — etwa feinere Verwendungszwecke als nur Training — wird weiter diskutiert. Der von Search Engine Roundtable zitierte Nate Hake merkte an, der Vorschlag sei auf IETF-Ebene noch nicht beschlossen, wesentliche Streitpunkte seien offen. Zweitens bleibt die robots.txt eine freiwillige Vorgabe und keine technische Zugriffssperre: Kooperative Crawler halten sich daran, unkooperative ignorieren sie. Google peilt die Unterstützung zusammen mit anderen KI-Anbietern für 2027 an; in der Dokumentation seiner Crawler ist laut Search Engine Roundtable von Anfang 2027 die Rede.
Was bedeutet das für Anwender in Deutschland?
Für deutsche und europäische Website-Betreiber hat das Signal besonderes Gewicht: Google betont, der Vorschlag stehe im Einklang mit dem EU-Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter dem EU AI Act — und dieser erkennt die robots.txt als primäre Methode für maschinenlesbare Vorbehalte an. Wer das Token setzt, dokumentiert seinen Trainings-Widerspruch also genau dort, wo ihn die großen Anbieter nach dem EU-Regelwerk suchen müssen.
Konkret für Unternehmen und Publisher heißt das: Erstens jetzt prüfen, welche KI-Crawler-Regeln bereits in der eigenen robots.txt stehen — viele Websites blockieren einzelne Bots, andere gar nichts. Zweitens eine bewusste Entscheidung treffen: Verlage und Shops mit aufwendig erstelltem eigenem Content dürften eher zum Opt-out neigen; wer dagegen auf Sichtbarkeit in KI-Antworten von Gemini, ChatGPT oder Claude setzt, sollte den Grounding-Haken bei Google einkalkulieren. Drittens keine falsche Sicherheit: Vertrauliche oder personenbezogene Inhalte schützt nur eine echte Zugriffskontrolle wie Login oder Paywall, niemals die robots.txt — für DSGVO-relevante Daten bleibt sie wirkungslos. Bis die Anbieter das Signal Anfang 2027 tatsächlich auswerten, bleiben die bisherigen Einzeleinträge wie GPTBot, ClaudeBot und Google-Extended das Mittel der Wahl. Wie Sprachmodelle mit Trainingsdaten arbeiten, erklärt unser Glossar-Eintrag zum Large Language Model.
Quellen
- Ankündigung zur anbieterübergreifenden KI-Training-Steuerung — Google Search Central Blog
- robots.txt auf Diät: Ein einziger Befehl soll alle KI-Trainer stoppen — heise online
- Google: AI Training Control in robots.txt — Search Engine Roundtable
- Making it easier for websites to express AI training preferences — OpenAI