Es ist eine Premiere in der Geschichte der KI-Branche: Die Chefs der führenden KI-Labore fordern erstmals gemeinsam und öffentlich, das Entwicklungstempo ihrer eigenen Modelle zu drosseln. Den Anstoß gab Anthropic-CEO Dario Amodei mit seinem am Samstag, dem 12. September, veröffentlichten Essay „We Must Pace the Frontier“. Innerhalb weniger Stunden schlossen sich OpenAI-Chef Sam Altman und Elon Musk an — und Microsoft-CEO Satya Nadella folgte einen Tag später.
Warum Amodei jetzt bremsen will
„We must slow the pace at which we improve the capabilities of AI models“ — wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen steigern — schreibt Amodei. Ausdrücklich betont er, dass damit kein Stopp des Trainings gemeint ist, sondern ein bewusstes Tempo: Unternehmen sollen sich ausreichend Zeit nehmen, ihre Modelle abzusichern, und unabhängige Prüfer sollen das bestätigen können.
Zwei Entwicklungen haben ihn nach eigener Aussage umdenken lassen. Erstens beschleunigt sich der Fortschritt seit dem Sommer deutlich, weil KI-Systeme zunehmend beim Bau der nächsten KI-Generation helfen — Stichwort rekursive Selbstverbesserung. Zweitens verweist er auf einen jüngsten Vorfall, bei dem KI-Agenten eigenständig Cyberangriffe durchführten. Seine drastische Warnung: Ein Schwarm außer Kontrolle geratener Agenten könnte in sechs bis zwölf Monaten in der Lage sein, „das gesamte Internet zu übernehmen“. Wie real solche Szenarien bereits sind, zeigte erst diese Woche der Angriff eines KI-Agenten-Schwarms auf 440 PaperCut-Server. Eine Verlangsamung, so Amodeis Schätzung, könnte der Sicherheitsforschung ein bis zwei Jahre zusätzliche Zeit verschaffen.
Der Drei-Stufen-Plan
- Eingebettete Prüfer: Externe Evaluatoren erhalten dauerhaften Zugang auf Mitarbeiter-Niveau — inklusive Büros und Befugnissen — und dürfen ihre Ergebnisse ohne redaktionelle Kontrolle veröffentlichen. Anthropic verpflichtet sich zu diesem Schritt einseitig und sofort.
- Gemeinsame Standards: Führende KI-Unternehmen demokratischer Staaten sollen sich auf Sicherheits-Checkpoints einigen: Erreicht ein Modell bestimmte Fähigkeiten, braucht es eine Alignment-Zertifizierung. Dafür wären kartellrechtliche Ausnahmen der Regierungen nötig.
- Internationale Koordination: Von einem Verbot der KI-gestützten Biowaffenentwicklung über gemeinsame Teststandards bis zu einem Tempolimit für rekursive Selbstverbesserung.
Altman, Musk und Microsoft ziehen mit
Sam Altman reagierte binnen Stunden: „I agree with Dario that we need to pace the frontier.“ OpenAI werde ebenfalls unabhängigen Prüfern Zugang auf Mitarbeiter-Niveau gewähren. Elon Musk kommentierte knapp: „Dario is right.“ Satya Nadella erklärte, Microsoft begrüße das „bewusste Tempo“, das nötig sei, um Alignment richtig hinzubekommen — und kündigte an, den Verhaltenskodex für Microsofts eigene MAI-Modelle zur öffentlichen Konsultation zu stellen. KI, die der Menschheit nicht helfe und nicht unter menschlicher Kontrolle stehe, sei „nicht wert, verfolgt zu werden“. Laut Coindesk unterstützen inzwischen mehr als 1.300 Beschäftigte führender KI-Firmen die Initiative.
Kritik gibt es dennoch: Investoren wie David Sacks werfen den Firmen vor, mit dem Schulterschluss ein Kartell zu formen. Und die Finanzmärkte reagierten nervös — Aktien-Futures gaben nach der Ankündigung nach, weil Anleger ein gebremstes Wachstum des KI-Sektors einpreisen.
Was bedeutet das für Anwender in Deutschland?
Kurzfristig ändert sich für Nutzer von Claude, ChatGPT und Co. nichts: Bestehende Modelle, Preise und APIs sind nicht betroffen, Amodei schließt einen Trainingsstopp ausdrücklich aus. Mittelfristig dürften Modellsprünge aber seltener und besser geprüft erscheinen — für mittelständische Unternehmen ist das eher eine gute Nachricht, denn ständiges Modell-Hopping entfällt und Investitionen in Prozesse und Schulungen halten länger.
Bemerkenswert ist die regulatorische Wendung: Verpflichtende Drittprüfungen und Transparenzpflichten, wie sie der EU AI Act für große Modelle bereits vorsieht, galten in den USA lange als Innovationsbremse — jetzt fordern die US-Laborchefs selbst genau solche Mechanismen. Europäische Unternehmen, die ihre Compliance-Hausaufgaben gemacht haben, sind damit plötzlich im Vorteil statt im Nachteil.
Konkret handeln sollten Firmen bei einem Punkt: dem Einsatz agentischer KI. Amodeis Warnung vor Agenten-Schwärmen ist keine Theorie. Wer KI-Agenten mit Zugriff auf E-Mail, Dateisysteme oder interne Tools betreibt, sollte Berechtigungen strikt begrenzen, Aktionen protokollieren und kritische Schritte von Menschen freigeben lassen — das verlangt im Zweifel auch die DSGVO, sobald personenbezogene Daten im Spiel sind.