Meta Llama 3

Meta Llama 3 ist eine Familie frei verfügbarer großer Sprachmodelle von Meta, die mit ihren 8B- und 70B-Parameter-Varianten neue Maßstäbe für Open-Source-KI setzt und Entwicklern, Forschern und Unternehmen weltweit leistungsfähige KI-Technologie ohne Lizenzkosten zugänglich macht. Das Tool richtet sich an KI-Entwickler, Startups, Forschungseinrichtungen und Unternehmen, die eigene KI-Anwendungen aufbauen oder bestehende Modelle an ihre spezifischen Anforderungen anpassen möchten. Llama 3 nutzt einen erweiterten Tokenizer mit einem Vokabular von 128.000 Tokens, der Sprache deutlich effizienter kodiert und so die Modellleistung erheblich verbessert.

Grouped Query Attention (GQA) wurde in beiden Modellgrößen implementiert, um die Inferenzeffizienz zu steigern. Die Modelle sind als vortrainierte Basisversionen und als instruktionsoptimierte Varianten verfügbar. Llama 3.1 erweitert die Fähigkeiten mit einem Kontextfenster von 128.000 Tokens, Unterstützung für acht Sprachen, fortschrittlicher Werkzeugnutzung und verbessertem Reasoning.

Mit dem 405B-Parameter-Modell bietet Meta das erste Open-Source-Modell auf Frontier-Niveau an. Die permissive Lizenz erlaubt Redistribution, Feintuning und die Erstellung abgeleiteter Werke, was Llama 3 zu einem der flexibelsten Open-Source-Modelle macht. Llama 3 kann auf eigener Hardware betrieben, über Cloud-Anbieter gehostet oder über Plattformen wie Hugging Face und Ollama genutzt werden.

Typische Einsatzszenarien umfassen Chatbots, Code-Generierung, Textanalyse, Übersetzung und domänenspezifische KI-Assistenten, die Unternehmen unabhängig von proprietären Anbietern machen.