Was ist Latenz (bei KI-APIs)?

Was ist Latenz bei KI-APIs?

Latenz bezeichnet bei KI-APIs die Verzögerung zwischen dem Absenden einer Anfrage und dem Eintreffen der Antwort. Bei Sprachmodellen unterscheidet man zwei Kennzahlen: die Time to First Token (TTFT) – wie lange es dauert, bis das erste Antwort-Token eintrifft – und den Durchsatz (Tokens pro Sekunde), also wie schnell der Rest der Antwort generiert wird. Für die gefühlte Geschwindigkeit einer Anwendung ist die TTFT oft entscheidender als die Gesamtdauer: Ein Chatbot, der nach 300 Millisekunden zu "tippen" beginnt, wirkt schnell, selbst wenn die vollständige Antwort mehrere Sekunden braucht.

Wovon hängt die Latenz ab?

Modellgröße und -typ: Große Modelle brauchen pro Token mehr Rechenzeit. Reasoning-Modelle, die vor der Antwort intern "nachdenken", erhöhen die TTFT teils drastisch – von Millisekunden auf Sekunden bis Minuten.
Länge des Prompts: Der gesamte Eingabetext muss vor dem ersten Ausgabe-Token verarbeitet werden ("Prefill"). Lange Kontexte und große Dokumente erhöhen die TTFT spürbar; Prompt Caching kann das bei wiederholten Anfragen stark abfedern.
Hardware des Anbieters: Spezialisierte Inferenz-Chips erreichen extreme Geschwindigkeiten – Anbieter wie Groq (LPU) oder Cerebras liefern teils über tausend Tokens pro Sekunde, während klassische GPU-Cloud-Inferenz deutlich langsamer, dafür flexibler ist.
Auslastung und Netzwerk: Serverlast, Warteschlangen, Rate Limits und die geografische Entfernung zum Rechenzentrum addieren weitere Millisekunden. EU-Endpunkte können für deutsche Nutzer sowohl Datenschutz- als auch Latenzvorteile bringen.

Latenz-Anforderungen je Anwendungsfall

Sprachassistenten und Telefon-Bots: Antworten müssen in wenigen hundert Millisekunden beginnen, sonst wirkt das Gespräch unnatürlich. Hier zählen Realtime-APIs und Audio-Streaming.
Coding-Assistenten: Autovervollständigung braucht nahezu sofortige Vorschläge – deshalb kommen dort besonders kleine, schnelle Modelle zum Einsatz.
Chatbots und Suche: Streaming der Antwort Token für Token überbrückt die Wartezeit elegant.
Batch-Aufgaben: Bei nächtlichen Massenverarbeitungen ist Latenz egal – hier lohnen Batch-APIs mit Rabatten von bis zu 50 Prozent.

Praxis-Tipps zur Latenz-Optimierung

Wer Anwendungen auf KI-APIs aufbaut, sollte Streaming aktivieren, Prompts schlank halten, Caching nutzen und für einfache Teilaufgaben auf kleinere Modelle ausweichen. Sinnvoll ist auch ein Routing: zeitkritische Anfragen an schnelle Modelle oder Spezialanbieter, komplexe Analysen an leistungsstarke Modelle. Gemessen werden sollte immer unter realen Bedingungen – die Latenz schwankt je nach Tageszeit, Region und Prompt-Länge erheblich, und unabhängige Benchmark-Dienste zeigen teils große Unterschiede zwischen Anbietern desselben Modells.