Kontextfenster (Context Window)

Was ist das Kontextfenster?

Das Kontextfenster (englisch: Context Window) bezeichnet die maximale Menge an Text, die ein KI-Sprachmodell bei einer einzelnen Anfrage gleichzeitig berücksichtigen kann. Es umfasst sowohl Ihre Eingabe als auch die Antwort des Modells -- alles zusammen darf das Kontextfenster nicht ueberschreiten. Gemessen wird es in Tokens, der kleinsten Texteinheit, die ein Large Language Model verarbeitet.

Das Kontextfenster ist einer der wichtigsten Unterscheidungsmerkmale zwischen verschiedenen KI-Modellen, denn es bestimmt direkt, wie umfangreiche Aufgaben ein Modell bewältigen kann.

Warum ist das Kontextfenster wichtig?

Stellen Sie sich das Kontextfenster als das "Arbeitsgedächtnis" der KI vor. Alles, was innerhalb dieses Fensters liegt, kann das Modell berücksichtigen. Was ausserhalb liegt, existiert für das Modell nicht.

Das hat praktische Konsequenzen:

• Lange Dokumente analysieren: Wenn Sie ein 100-seitiges Vertragsdokument zusammenfassen möchten, brauchen Sie ein Modell mit genügend grossem Kontextfenster, um den gesamten Text aufzunehmen.
• Mehrstufige Gespräche: Bei längeren Dialogen mit einem Chatbot wird die gesamte Konversationshistorie als Kontext mitgeführt. Bei kleinem Kontextfenster "vergisst" der Chatbot den Anfang des Gesprächs.
• Komplexe Aufgaben: Programmieraufgaben, bei denen mehrere Dateien gleichzeitig berücksichtigt werden müssen, erfordern grosse Kontextfenster.

Kontextfenster im Vergleich

Die Größe des Kontextfensters unterscheidet sich erheblich zwischen den Modellen (Stand 2026):

• GPT-4o (OpenAI): 128.000 Tokens -- das entspricht etwa 100 Seiten Text oder einem kurzen Buch
• Claude 3.5 Sonnet / Claude 4 (Anthropic): 200.000 Tokens -- etwa 150 Seiten Text, eines der größten Fenster bei Premium-Modellen
• Gemini 1.5 Pro (Google): bis zu 1.000.000 Tokens -- ein Durchbruch, der die Verarbeitung ganzer Bücher oder grosser Codebasen ermöglicht
• Llama 3.1 (Meta): 128.000 Tokens -- beeindruckend für ein Open-Source-Modell
• Aeltere Modelle (GPT-3.5): nur 4.096 bis 16.385 Tokens -- damals Standard, heute stark limitierend

Zum Vergleich: Ein durchschnittlicher Roman hat etwa 70.000 bis 100.000 Wörter, was ungefähr 90.000 bis 150.000 Tokens entspricht. Gemini 1.5 Pro könnte also ein ganzes Buch auf einmal verarbeiten.

Größeres Kontextfenster heisst nicht immer besser

Ein grosses Kontextfenster hat auch Nachteile, die Unternehmen berücksichtigen sollten:

• Kosten: Mehr Tokens bedeuten höhere Kosten. Wenn Sie 100.000 Tokens als Eingabe senden, zahlen Sie für jeden einzelnen -- auch wenn das Modell nur einen kleinen Teil davon für die Antwort braucht.
• Needle-in-a-Haystack-Problem: Studien zeigen, dass Modelle Informationen in der Mitte langer Kontexte schlechter berücksichtigen als solche am Anfang oder Ende. Bei sehr langen Eingaben kann relevante Information uebersehen werden.
• Geschwindigkeit: Je mehr Tokens verarbeitet werden, desto länger dauert die Antwort. Der Rechenaufwand steigt ueberproportional mit der Kontextlänge.

Strategien für den Umgang mit Kontextgrenzen

Wenn Ihr Text das Kontextfenster ueberschreitet, gibt es mehrere Lösungsansätze:

• Chunking: Teilen Sie lange Dokumente in kleinere Abschnitte auf und verarbeiten Sie diese nacheinander
• Retrieval Augmented Generation (RAG): Statt das gesamte Dokument zu senden, werden nur die relevanten Abschnitte mithilfe von Embeddings ausgewählt und als Kontext eingefügt
• Zusammenfassung: Lassen Sie längere Passagen zunächst zusammenfassen und arbeiten Sie dann mit der kompakten Version weiter
• Modellwahl: Wählen Sie für Aufgaben mit langen Dokumenten gezielt Modelle mit grossem Kontextfenster

Bedeutung für Unternehmen

Das Kontextfenster ist ein entscheidendes Kriterium bei der Auswahl eines KI-Modells für Ihren Anwendungsfall. Fragen Sie sich:

• Wie lang sind die Texte, die Sie typischerweise verarbeiten möchten?
• Brauchen Sie lange Konversationsverläufe mit Kontexterhalt?
• Wie wichtig sind Kosten im Verhältnis zur Kontextlänge?

Fazit

Das Kontextfenster bestimmt die Grenzen dessen, was ein Large Language Model in einer einzelnen Anfrage leisten kann. Es wächst von Generation zu Generation und eröffnet damit immer neü Anwendungsmöglichkeiten. Für Unternehmen ist es wichtig, die richtige Balance zwischen Kontextgröße, Kosten und Antwortqualität zu finden.