DBRX

DBRX ist ein Open-Source Large Language Model von Databricks, das eine feinkörnige Mixture-of-Experts-Architektur (MoE) mit 132 Milliarden Gesamtparametern nutzt, von denen bei jeder Anfrage 36 Milliarden aktiv sind. Das Modell wurde auf 12 Billionen Token aus Text- und Code-Daten vortrainiert und übertraf zum Zeitpunkt seiner Veröffentlichung etablierte Open-Source-Modelle wie LLaMA-2-70B und Mixtral-8x7B in zahlreichen Benchmarks. DBRX nutzt eine Transformer-Architektur mit feinkörnigem MoE, bei dem 16 Experten verfügbar sind und 4 pro Token ausgewählt werden — deutlich granularer als beispielsweise Mixtral mit 8 Experten und 2 aktiven.

Diese Architektur ermöglicht effizientere Inferenz bei höherer Modellkapazität. Das Modell zeigt starke Leistungen bei allgemeinem Chat, Code-Generierung, Textanalyse und Reasoning-Aufgaben. Für die lokale Nutzung über Ollama stehen quantisierte Varianten bereit, wobei das Modell aufgrund seiner Größe idealerweise GPUs mit mindestens 24 GB VRAM benötigt (Q4-Quantisierung).

Die Databricks Open Model License erlaubt kommerzielle Nutzung mit der Einschränkung, dass DBRX nicht zum Training anderer LLMs verwendet werden darf und ein Limit von 700 Millionen monatlichen Nutzern gilt. DBRX demonstriert Databricks Ambition im Foundation-Model-Bereich und bietet eine interessante Alternative zu Llama- und Mistral-Modellen.