Llama 3.3

Llama 3.3 ist das Flaggschiff-Modell von Meta und gilt als einer der besten Open-Source-Allrounder auf dem Markt. Mit 70 Milliarden Parametern bietet es eine beeindruckende Leistung, die in vielen Benchmarks mit geschlossenen Modellen wie GPT-4 konkurriert. Das Modell wurde auf einem riesigen Datensatz von über 15 Billionen Tokens trainiert und beherrscht eine Vielzahl von Aufgaben — von komplexen Konversationen über Code-Generierung bis hin zu mathematischen Problemlösungen und analytischem Denken.

Besonders hervorzuheben ist die starke Leistung in englischsprachigen Aufgaben, wo Llama 3.3 eine nahezu perfekte Qualität liefert. Auch auf Deutsch funktioniert das Modell gut, wenngleich es hier nicht ganz an die englische Qualität heranreicht. Für Entwickler ist Llama 3.3 besonders attraktiv, da es unter der Apache-2.0-Lizenz veröffentlicht wurde und somit uneingeschränkt kommerziell genutzt werden darf.

Die Hardware-Anforderungen sind mit 40 GB VRAM (oder ca. 24 GB bei Q4-Quantisierung) allerdings nicht unerheblich — eine RTX 4090 oder besser ist für flüssigen Betrieb empfehlenswert. Dank hervorragender Unterstützung durch Ollama, LM Studio und andere lokale Inference-Tools lässt sich Llama 3.3 problemlos auf entsprechender Hardware betreiben.

Function Calling und RAG werden ebenfalls gut unterstützt, was das Modell zu einer ausgezeichneten Basis für lokale KI-Agenten und Assistenten macht. Für alle, die das bestmögliche Open-Source-Modell lokal betreiben wollen und über ausreichend Hardware verfügen, ist Llama 3.3 die erste Wahl.