Was ist Kontextuelles Retrieval?

Kontextuelles Retrieval (Contextual Retrieval) ist eine von Anthropic im September 2024 vorgestellte Technik, die die Trefferqualität von RAG-Systemen deutlich verbessert. Das Grundproblem klassischer Retrieval-Augmented Generation: Dokumente werden für die Suche in kleine Abschnitte ("Chunks") zerlegt – und diese Schnipsel verlieren dabei ihren Zusammenhang. Ein Chunk wie "Der Umsatz stieg um 3 % gegenüber dem Vorquartal" ist ohne Kontext wertlos, weil unklar bleibt, um welches Unternehmen und welches Quartal es geht. Kontextuelles Retrieval löst das, indem jedem Chunk vor der Indexierung automatisch eine kurze, vom Sprachmodell generierte Kontextbeschreibung vorangestellt wird.

Wie funktioniert es?

Der Ablauf beim Aufbau der Wissensdatenbank:

1. Chunking: Das Dokument wird wie üblich in Abschnitte zerlegt. 2. Kontext-Generierung: Ein LLM erhält das Gesamtdokument plus den einzelnen Chunk und formuliert einen kurzen Kontextsatz, z.B. "Dieser Abschnitt stammt aus dem Q2-Bericht 2023 der Firma ACME und behandelt die Umsatzentwicklung." 3. Anreicherung: Dieser Kontext wird dem Chunk vorangestellt. 4. Indexierung: Der angereicherte Chunk wird als Embedding in einer Vektordatenbank gespeichert – und parallel in einem klassischen Keyword-Index (BM25), der exakte Begriffe und Codes zuverlässig findet.

Bei der Suche greifen dann semantische Vektorsuche und Keyword-Suche gemeinsam ("Contextual Embeddings" + "Contextual BM25"). Laut Anthropics Messungen sinkt die Fehlerrate beim Auffinden relevanter Passagen durch kontextuelle Anreicherung um rund 49 Prozent – kombiniert mit einem nachgeschalteten Reranking-Schritt sogar um etwa 67 Prozent.

Warum ist das praktikabel geworden?

Für jeden einzelnen Chunk einen LLM-Aufruf durchzuführen, klang lange zu teuer. Zwei Entwicklungen haben das geändert: Prompt Caching macht das wiederholte Mitsenden des Gesamtdokuments sehr günstig, und kleine, schnelle Modelle reichen für die Kontext-Generierung völlig aus. Die Anreicherung ist zudem ein einmaliger Vorverarbeitungsschritt – zur Laufzeit entstehen keine Zusatzkosten.

Bedeutung für die Praxis

Kontextuelles Retrieval ist heute ein Standardbaustein moderner RAG-Pipelines und in vielen Frameworks und RAG-Plattformen umgesetzt. Besonders profitieren Wissensdatenbanken mit vielen ähnlichen Dokumenten – etwa Verträge, Finanzberichte, Support-Tickets oder technische Dokumentation, bei denen einzelne Abschnitte ohne Dokumentkontext mehrdeutig sind. Für kleinere Wissensbasen (unter etwa 200.000 Tokens) empfiehlt sich als Alternative, gleich das gesamte Material in das Kontextfenster des Modells zu laden und auf Retrieval zu verzichten. Wer maximale Präzision braucht, kombiniert kontextuelles Retrieval mit Reranking – der Dreiklang aus Kontext-Anreicherung, Hybrid-Suche und Neusortierung gilt als aktueller Best-Practice-Aufbau.