Chain of Thought (CoT)

Was ist Chain of Thought?

Chain of Thought (CoT, deutsch: Gedankenkette) ist eine Technik, bei der ein Sprachmodell seinen Lösungsweg Schritt für Schritt ausformuliert, bevor es die endgültige Antwort gibt. Statt direkt „42" zu antworten, rechnet das Modell sichtbar vor: erst die Teilschritte, dann das Ergebnis. Die Forschung zeigte bereits 2022, dass große Sprachmodelle durch dieses explizite Zwischendenken bei Mathematik-, Logik- und Planungsaufgaben dramatisch besser abschneiden – oft macht allein der Zusatz „Denke Schritt für Schritt" (Zero-Shot-CoT) den Unterschied.

Warum funktioniert das?

Sprachmodelle erzeugen Text Token für Token – jede Ausgabe ist zugleich zusätzlicher Rechenschritt. Wenn das Modell Zwischenschritte ausschreibt, verschafft es sich faktisch mehr „Denkzeit" und kann komplexe Probleme in handhabbare Teilprobleme zerlegen:

• Fehler werden lokalisierbar: Ein Rechenfehler in Schritt 3 verdirbt nicht zwingend die ganze Lösung, weil spätere Schritte auf korrigierbaren Zwischenergebnissen aufbauen.
• Weniger Raten: Ohne CoT muss das Modell die Antwort in einem Schuss „erraten"; mit CoT nähert es sich strukturiert an.
• Nachvollziehbarkeit: Menschen können den Lösungsweg prüfen und Fehler oder Halluzinationen leichter erkennen.

Chain of Thought in der Praxis

Als Prompt-Engineering-Technik gibt es mehrere Varianten:

• Zero-Shot-CoT: Einfach „Denke Schritt für Schritt" oder „Erkläre erst deinen Lösungsweg" in den Prompt schreiben.
• Few-Shot-CoT: Dem Modell Beispielaufgaben samt ausformuliertem Lösungsweg zeigen – es imitiert das Muster.
• Self-Consistency: Das Modell mehrfach mit CoT antworten lassen und die häufigste Endantwort nehmen.
• Strukturierte Ausgabe: Lösungsweg und finale Antwort klar trennen (etwa „Begründung:" und „Antwort:"), damit sich das Ergebnis maschinell weiterverarbeiten lässt.

Vom Prompt-Trick zum Reasoning-Modell

Chain of Thought war so erfolgreich, dass es zur Grundlage einer ganzen Modellklasse wurde: Moderne Reasoning-Modelle wie OpenAIs o-Serie, Claude mit Extended Thinking oder DeepSeek-R1 wurden gezielt darauf trainiert, vor der Antwort eine interne, oft lange Gedankenkette zu erzeugen. Das explizite Anfordern von CoT im Prompt ist bei diesen Modellen meist überflüssig – sie „denken" von selbst. Wichtig zu wissen: Die ausgegebene Gedankenkette ist eine plausible Rationalisierung, keine garantierte Abbildung der tatsächlichen internen Verarbeitung. Für einfache Aufgaben kann erzwungenes CoT sogar kontraproduktiv sein, weil es Antworten verlangsamt und verteuert, ohne die Qualität zu erhöhen.