Arete-27B: Feintuning entfernt chinesische Propaganda aus Alibabas Qwen

Arete-27B: Feintuning entfernt chinesische Propaganda aus Alibabas Qwen

Das US-Start-up Nous Research hat mit Arete-27B ein bemerkenswertes Experiment vorgelegt: Ein vergleichsweise kleines Feintuning mit rund 53 Millionen Token genügte, um die politische Prägung von Alibabas Open-Weight-Modell Qwen3.8-27B weitgehend zu entfernen. Die Quote staatlich gefärbter Antworten sank nach Messung von Nous von 22 auf unter 1 Prozent – bei praktisch unveränderter Leistungsfähigkeit. Modell, Trainingsdaten und Testdatensatz stehen frei auf Hugging Face bereit, das Modell unter Apache-2.0-Lizenz.

Wie Nous Research Propaganda gemessen hat

Für die Auswertung entwickelte das Team einen eigenen Benchmark mit 803 Prompts in sieben Kategorien – von Meinungsfreiheit über Demokratie bis Datenschutz und Überwachung. Zu jedem Prompt wurden vorab zwei bis vier belegbare Fakten aus datierten Quellen festgelegt. Ein Richter-Modell (Grok 4.7) prüfte anschließend blind, ob eine Antwort diese Fakten nennt, auslässt oder ihnen widerspricht. Als Propaganda zählt eine Antwort, die statt der Fakten die offizielle Darstellung Pekings wiedergibt oder sie als gleichwertige Sichtweise präsentiert.

Das unveränderte Qwen3.8-27B erreichte dabei nur einen Faktenwert von 2,32 auf einer Skala bis 5, bei einer Propagandaquote von 22 Prozent. In der Kategorie Meinungsfreiheit lag die Quote sogar bei 60 Prozent. Andere chinesische Open-Weight-Modelle schnitten ähnlich ab: GLM-5.3 kam auf 15, DeepSeek V4.1 Flash auf 16 Prozent. Westliche Modelle wie Mistral Large 4 oder Gemma 4 blieben unter 1 Prozent.

53 Millionen Token reichen für die Umerziehung

Das eigentliche Feintuning war erstaunlich schlank: reines überwachtes Training (SFT) über zwei Epochen, ohne Reinforcement Learning. Die Trainingsantworten lieferte das Open-Weight-Modell Inkling von Thinking Machines – als offenes Modell bewusst gewählt, um Streit um Nutzungsbeschränkungen bei der Destillation zu vermeiden. Das Ergebnis Arete-27B senkt die Propagandaquote auf 0,9 Prozent und hebt den Faktenwert auf 2,98; bei Meinungsfreiheit steigt er von 0,89 auf 2,44.

Die allgemeinen Fähigkeiten blieben dabei erhalten: Im internen Hermes Bench liegt Arete mit 65,60 Prozent gleichauf mit dem Basismodell (65,77 Prozent), im Terminal-Bench 2.1 nominell leicht darüber – was Nous wegen abweichender Testkonfiguration selbst nicht als Verbesserung wertet. Die Kernthese von Nous: Die politische Prägung chinesischer Modelle sei nur eine dünne, spät aufgetragene Schicht – die Werte eines offenen Modells seien immer nur ein Feintuning entfernt.

Wichtige Einschränkungen

    • Alle Zahlen stammen von Nous Research selbst; der Benchmark ist nicht unabhängig überprüft.
    • Als Richter diente mit Grok 4.7 ausgerechnet ein Modell, dessen eigene politische Ausrichtung umstritten ist.
    • Anders als beim bewusst neutral angelegten Vorgänger Hermes 3 verfolgt Nous hier offen eine inhaltliche Agenda: Es geht nicht um Neutralität, sondern um explizit westlich-liberale Werte.

    Das Projekt belegt also weniger, welche Werte „richtig“ sind – sondern wie formbar das Alignment offener Modelle ist. Dieselbe Technik könnte ein Modell ebenso in jede andere Richtung verschieben.

    Was bedeutet das für Anwender in Deutschland?

    Gerade deutsche Unternehmen setzen aus Datenschutzgründen gern auf lokal betriebene Open-Weight-Modelle – und dort gehören chinesische Modelle wie Qwen, DeepSeek oder GLM zu den leistungsstärksten frei verfügbaren Optionen. Am DSGVO-Vorteil des lokalen Betriebs ändert sich nichts: Es fließen weiterhin keine Daten an fremde Server. Arete-27B macht aber sichtbar, dass diese Modelle einen messbaren inhaltlichen Bias mitbringen können. Wer sie für Recherche, Schulungsunterlagen oder Kundenkommunikation einsetzt, sollte das bei politik- oder chinanahen Themen einkalkulieren – zumal Betreiber nach dem EU AI Act für die Ausgaben ihrer Systeme Transparenzpflichten erfüllen müssen.

    Konkret heißt das für den Mittelstand: Modelle nicht nur nach Benchmark-Punkten auswählen, sondern mit eigenen Testfragen auf heikle Themen prüfen – der frei verfügbare Propaganda-Testdatensatz von Nous ist dafür ein brauchbarer Startpunkt. Für sensible Anwendungen stehen mit Gemma 4 31B oder Mistral-Modellen westliche Alternativen bereit; Arete-27B selbst läuft als 27B-Modell auf derselben Hardware wie das Basis-Qwen. Einen Überblick über lokal lauffähige Modelle wie Qwen 3.6 bietet unsere Lokale-KI-Datenbank.

    Quellen