Token

Was sind Tokens?

Ein Token ist die kleinste Einheit, in die ein KI-Sprachmodell Text zerlegt, bevor es ihn verarbeiten kann. Tokens sind das "Alphabet" der Large Language Models -- alles, was ein LLM liest oder schreibt, besteht aus Tokens. Das Verständnis von Tokens ist grundlegend für jeden, der KI-Tools professionell einsetzen möchte, denn Tokens bestimmen sowohl die Fähigkeiten als auch die Kosten der Nutzung.

Ein Token ist dabei nicht gleichbedeutend mit einem Wort. Je nach Sprache und Tokenisierungsmethode kann ein Wort aus einem oder mehreren Tokens bestehen, und umgekehrt können häufige kurze Wörter zu einem einzigen Token zusammengefasst werden.

Wie funktioniert Tokenisierung?

Bevor ein GPT- oder Claude-Modell Ihren Text verarbeiten kann, muss dieser in Tokens umgewandelt werden. Dieser Prozess heisst Tokenisierung. Dabei wird ein Algorithmus (oft BPE -- Byte Pair Encoding) verwendet, der Text in Teilstücke zerlegt.

Einige Beispiele für die englische Tokenisierung:

• "Hello" = 1 Token
• "artificial intelligence" = 2 Tokens
• "Counterintuitively" = 3 Tokens ("Counter", "intu", "itively")

Für die deutsche Sprache ist die Tokenisierung aufwendiger. Deutsche Wörter sind im Durchschnitt länger, und zusammengesetzte Substantive wie "Datenschutzgrundverordnung" werden in mehrere Tokens zerlegt. Als Faustregel gilt: Ein deutsches Wort entspricht etwa 1,5 bis 2 Tokens, während ein englisches Wort durchschnittlich 1 bis 1,3 Tokens benötigt.

Das bedeutet konkret: Deutsche Texte verbrauchen mehr Tokens als englische -- und kosten damit bei tokenbasierter Abrechnung entsprechend mehr.

Kosten pro Token

Die Preisgestaltung der meisten KI-APIs basiert auf der Anzahl verarbeiteter Tokens. Dabei wird zwischen Eingabe-Tokens (Input, Ihr Prompt) und Ausgabe-Tokens (Output, die Antwort des Modells) unterschieden. Ausgabe-Tokens sind typischerweise teurer als Eingabe-Tokens.

Typische Preise (Stand 2026, gerundet):

• GPT-4o: ca. 2,50 Dollar pro Million Eingabe-Tokens, 10 Dollar pro Million Ausgabe-Tokens
• Claude Sonnet 4: ca. 3 Dollar pro Million Eingabe-Tokens, 15 Dollar pro Million Ausgabe-Tokens
• GPT-4o mini / Claude Haiku: deutlich günstiger, oft unter 1 Dollar pro Million Tokens
• Open-Source-Modelle (Llama, Mistral): kostenlos bei Self-Hosting, nur Serverkosten

Für ein typisches Gespräch mit einem Chatbot (ca. 500 Wörter Eingabe und 1.000 Wörter Ausgabe) fallen bei GPT-4o Kosten von wenigen Cent an. Bei hohem Volumen summiert sich das jedoch schnell.

Das Kontextfenster: Tokens als Begrenzung

Das Kontextfenster eines Modells definiert, wie viele Tokens es gleichzeitig verarbeiten kann -- Eingabe und Ausgabe zusammen. Je größer das Kontextfenster, desto längere Texte kann das Modell berücksichtigen:

• GPT-4o: 128.000 Tokens (ca. 100 Seiten Text)
• Claude 3.5 Sonnet: 200.000 Tokens (ca. 150 Seiten Text)
• Gemini 1.5 Pro: bis zu 1.000.000 Tokens (ca. 750 Seiten Text)

Tokens zählen und optimieren

Für Unternehmen, die KI-APIs nutzen, ist die Token-Optimierung ein wichtiger Kostenfaktor:

• Klare, präzise Prompts: Weniger Tokens in der Eingabe sparen Geld
• Systemanweisungen: Einmal definiert, werden sie bei jeder Anfrage mitgezählt. Kurz und prägnant formulieren
• Modellwahl: Für einfache Aufgaben reichen kleinere, günstigere Modelle
• Caching: Manche Anbieter bieten Prompt-Caching an, das bei wiederholten aehnlichen Anfragen Tokens spart

Bedeutung für Unternehmen

Tokens sind die Währung der KI-Welt. Wer KI-Tools im Unternehmen einsetzt, sollte verstehen, dass jede Interaktion Tokens verbraucht und damit Kosten verursacht. Eine durchdachte Token-Strategie -- richtige Modellwahl, effiziente Prompts und kluge Nutzung des Kontextfensters -- kann die KI-Kosten erheblich senken, ohne die Qualität zu beeinträchtigen.

Fazit

Tokens sind das fundamentale Massystem der modernen KI. Sie bestimmen, was ein Modell verarbeiten kann, wie schnell es arbeitet und was es kostet. Für den professionellen Einsatz von Künstlicher Intelligenz ist ein solides Verständnis von Tokens und ihrer Auswirkungen auf Kosten und Leistung unverzichtbar.