Modellgröße (Parameter-Anzahl)

Was ist die Modellgröße?

Die Modellgröße gibt an, wie viele Parameter – also lernbare Gewichte – ein KI-Modell besitzt. Sie wird meist in Milliarden angegeben und steckt oft schon im Modellnamen: "8B" steht für 8 Milliarden, "70B" für 70 Milliarden Parameter. Die Spanne reicht von kompakten Modellen mit unter einer Milliarde Parameter, die auf einem Smartphone laufen, bis zu Spitzenmodellen, deren Größe auf Hunderte Milliarden bis über eine Billion Parameter geschätzt wird – die genauen Zahlen halten die großen Anbieter inzwischen meist geheim. Die Parameterzahl bestimmt maßgeblich, wie viel Speicher und Rechenleistung ein Modell benötigt und – zusammen mit Datenmenge und Trainingsqualität – wie leistungsfähig es ist.

Warum ist die Modellgröße wichtig?

• Fähigkeiten: Nach den sogenannten Skalierungsgesetzen steigt die Leistung mit Parametern, Daten und Rechenaufwand. Größere Modelle beherrschen komplexeres Schlussfolgern, mehr Sprachen und mehr Weltwissen.
• Hardware-Bedarf: Als Faustregel benötigt ein Modell bei 16-Bit-Genauigkeit etwa 2 GB Speicher pro Milliarde Parameter, bei 4-Bit-Quantisierung rund 0,6–0,7 GB. Ein 8B-Modell läuft damit quantisiert auf einer Consumer-GPU mit 8 GB VRAM, ein 70B-Modell braucht bereits High-End-Hardware.
• Kosten und Latenz: Mehr Parameter bedeuten teurere Inferenz und langsamere Antworten – bei API-Anbietern spiegelt sich das direkt im Tokenpreis wider.

Der Trend: Effizienz statt reiner Größe

Die Zeiten, in denen mehr Parameter automatisch besser hießen, sind vorbei. Drei Entwicklungen prägen den Markt:

• Mixture-of-Experts (MoE): Moderne Großmodelle bestehen aus vielen "Experten"-Teilnetzen, von denen pro Token nur ein Bruchteil aktiv ist. Ein Modell kann dann z.B. Hunderte Milliarden Gesamtparameter haben, nutzt pro Anfrage aber nur wenige Dutzend Milliarden – deshalb werden heute oft zwei Zahlen angegeben (Gesamt- und aktive Parameter).
• Kleine Spitzenmodelle: Dank besserer Trainingsdaten und Destillation erreichen heutige 7B- bis 30B-Modelle Leistungen, für die vor wenigen Jahren das Zehnfache an Parametern nötig war. Familien wie Llama, Qwen, Gemma, Mistral oder Phi liefern in dieser Klasse beachtliche Qualität für den lokalen Betrieb.
• Edge AI und On-Device-Modelle: Modelle mit 1–4 Milliarden Parametern laufen direkt auf Smartphones und Laptops – wichtig für Datenschutz und Offline-Nutzung.

Bedeutung für die Praxis

Die richtige Modellgröße ist eine Abwägung zwischen Qualität, Kosten und Infrastruktur. Faustregeln: Für einfache Aufgaben wie Klassifikation, Extraktion oder Standard-Zusammenfassungen genügen kleine Modelle – sie sind schneller, günstiger und lokal betreibbar. Komplexes Schlussfolgern, anspruchsvolles Programmieren und heikle Fachfragen bleiben die Domäne großer Modelle. Wer eigene Hardware nutzt, wählt die Größe passend zum Grafikspeicher und greift zu quantisierten Varianten. Entscheidend ist am Ende nicht die Parameterzahl auf dem Papier, sondern die gemessene Leistung auf der eigenen Aufgabe – ein gut gewähltes kleines Modell schlägt im Alltag oft ein schlecht eingesetztes großes.