Wer bisher verhindern wollte, dass die eigenen Website-Inhalte zum Training von KI-Modellen verwendet werden, stand vor einem unangenehmen Dilemma: Viele Crawler sammeln Daten gleichzeitig für den Suchindex und für das KI-Training. Wer sie aussperrte, verschwand im Zweifel auch aus den Suchergebnissen. Der Netzwerk-Dienstleister Cloudflare, über dessen Infrastruktur ein erheblicher Teil des weltweiten Web-Traffics läuft, hat am 15. September 2026 eine Lösung vorgestellt: Die neue Einstellung „Disallow AI Training“ untersagt das KI-Training, ohne die Sichtbarkeit in der Suche zu opfern.
Das Ende des Alles-oder-nichts-Prinzips
Nach Cloudflares eigenen Angaben blockieren weniger als ein Prozent der Websites im eigenen Netz Such-Crawler — aber immerhin 17 Prozent haben Mechanismen aktiviert, um Trainings-Crawler auszusperren. Der Grund für die Zurückhaltung beim Blockieren liegt auf der Hand: Mehr als die Hälfte der Verbraucher liest laut Cloudflare inzwischen KI-Zusammenfassungen in den Suchergebnissen, und nach einer solchen Zusammenfassung beenden Nutzer ihre Suche deutlich häufiger, ohne die Quellseite zu besuchen. Websites liefern also die Inhalte, gehen beim Traffic aber zunehmend leer aus.
Die neuen Kontrollen ersetzen den bisherigen, groben „Block AI Bots“-Schalter durch getrennte Regler für Suche, KI-Training und KI-Agenten. Bestehende Einstellungen werden automatisch migriert, das Feature steht allen Cloudflare-Kunden zur Verfügung.
So funktioniert die neue Einstellung
Technisch schreibt Cloudflare die Trainings-Ablehnung als maschinenlesbare Präferenz in die robots.txt der Website. Die großen Suchanbieter werten diese Signale unterschiedlich aus:
- Google: Die Sperre läuft über eine Disallow-Regel für das Token „Google-Extended“. Laut Googles Dokumentation hat das keinen Einfluss auf die Aufnahme in die Suche oder das Ranking.
- Apple: Der Applebot respektiert „Applebot-Extended“; zusätzlich empfiehlt sich das nosnippet-Meta-Tag. Feinere Kontrollen auf URL-Ebene hat Apple für das kommende Jahr angekündigt.
- Microsoft/Bing: Hier klafft noch eine Lücke. Eine robots.txt-Unterstützung für die No-Training-Präferenz ist erst für Anfang 2027 geplant. Bis dahin bleibt nur das ältere NOARCHIVE-Meta-Tag.
Crawler, die sich nicht an die erklärten Präferenzen halten, werden von Cloudflare blockiert. Anbieter wie Amazon, Anthropic, Meta und OpenAI betreiben ohnehin getrennte Trainings-Crawler und lassen sich damit gezielt aussperren, ohne dass andere Funktionen leiden. Apple, Google und Microsoft stuft Cloudflare als „Accountable“ ein — sie erfüllen die Anforderungen an eine saubere Trennung von Suche und Training oder haben konkrete Zeitpläne dafür vorgelegt.
Was bedeutet das für Anwender in Deutschland?
Für deutsche Website-Betreiber ist die Neuerung aus zwei Gründen relevant. Erstens rechtlich: Das deutsche Urheberrecht erlaubt in Paragraf 44b UrhG Text- und Data-Mining nur, solange der Rechteinhaber keinen maschinenlesbaren Nutzungsvorbehalt erklärt hat. Genau so einen Vorbehalt setzt die Cloudflare-Einstellung nun per Klick in die robots.txt — bisher scheiterte das oft an der technischen Umsetzung. Auch der EU AI Act verpflichtet Anbieter großer KI-Modelle, solche Vorbehalte beim Crawlen zu respektieren; die maschinenlesbare Erklärung wird damit zur Voraussetzung, um eigene Ansprüche überhaupt geltend machen zu können.
Zweitens praktisch: Die Einstellung ist ohne Tarifwechsel für alle Cloudflare-Kunden verfügbar. Ein mittelständisches Unternehmen, das seine Website über Cloudflare ausliefert, sollte jetzt prüfen, ob die neue Vorgabe zur eigenen Content-Strategie passt — wer etwa mit Fachinhalten Kunden gewinnt, hat gute Gründe, das Training zu untersagen und die Suche offen zu lassen. Wer Cloudflare nicht nutzt, kann die Disallow-Regeln für Google-Extended und Applebot-Extended auch manuell in der eigenen robots.txt hinterlegen. Wichtig bleibt die Bing-Lücke: Bis Anfang 2027 schützt dort nur das NOARCHIVE-Tag. Und wer umgekehrt selbst große Sprachmodelle mit Web-Daten trainiert oder trainieren lässt, muss diese Vorbehalte künftig ernst nehmen — sonst drohen urheberrechtliche Auseinandersetzungen.