CodeLlama

CodeLlama ist Metas spezialisiertes Code-Modell, das auf der Llama-2-Architektur aufbaut und gezielt für Programmieraufgaben trainiert wurde. In den Größen 7B, 34B und 70B verfügbar, deckt CodeLlama ein breites Spektrum an Hardware-Anforderungen ab. Das Modell wurde auf über 500 Milliarden Code-Tokens zusätzlich trainiert und beherrscht eine Vielzahl von Programmiersprachen — von Python und JavaScript über C++ und Java bis hin zu spezialisierten Sprachen wie Haskell und Lua.

Die Code-Generierung erreicht eine starke 4.5 und ist besonders gut bei der Vervollständigung von Code, dem Generieren von Funktionen aus Dokumentation und dem Erklären bestehenden Codes. Ein besonderes Feature ist die 'Infill'-Fähigkeit: CodeLlama kann Code nicht nur fortsetzen, sondern auch Lücken in bestehendem Code intelligent füllen — ideal für Code-Completion in IDEs. Die 34B-Variante bietet den besten Kompromiss aus Qualität und Hardware-Anforderungen und benötigt etwa 20 GB VRAM.

Allerdings ist CodeLlama kein Chat-Modell — die allgemeine Konversationsfähigkeit liegt bei nur 2.0. Es ist ein reiner Code-Spezialist, der genau das tut, wofür er gebaut wurde. Die Llama-Community-Lizenz erlaubt kommerzielle Nutzung.

Obwohl neuere Modelle wie Qwen 2.5 Coder in manchen Benchmarks mittlerweile vorne liegen, bleibt CodeLlama ein bewährtes und zuverlässiges Werkzeug für lokale Code-Generierung — besonders für Teams, die bereits im Llama-Ökosystem unterwegs sind.