Mixtral 8x7B

Mixtral 8x7B war bei seiner Veröffentlichung eine Revolution in der Open-Source-KI-Welt: Als erstes frei verfügbares Mixture-of-Experts-Modell (MoE) bewies es, dass man nicht alle Parameter eines Modells gleichzeitig aktivieren muss, um exzellente Ergebnisse zu erzielen. Das Modell besteht aus 8 Experten mit jeweils 7 Milliarden Parametern, insgesamt also 46,7 Milliarden Parameter. Bei jeder Anfrage werden jedoch nur 2 Experten aktiviert, sodass effektiv nur 12,9 Milliarden Parameter genutzt werden — das macht Mixtral deutlich schneller als ein vergleichbar großes Dense-Modell.

Die Qualität kann sich sehen lassen: In vielen Benchmarks übertrifft Mixtral 8x7B sogar Llama 2 70B, obwohl es effektiv nur einen Bruchteil der Rechenleistung benötigt. Für Konversationen auf Englisch liefert es solide 4.0, auf Deutsch und Französisch ebenfalls gute Ergebnisse — die mehrsprachige Ausrichtung von Mistral AI kommt auch hier zum Tragen. Code-Generierung funktioniert zuverlässig, und die MoE-Architektur sorgt für besonders schnelle Inferenz.

Mit etwa 26 GB VRAM ist das Modell allerdings nicht ganz anspruchslos — eine RTX 3090 oder RTX 4090 ist empfehlenswert. Die Apache-2.0-Lizenz ermöglicht uneingeschränkte kommerzielle Nutzung. Mixtral 8x7B bleibt ein wichtiges Modell, weil es die MoE-Architektur im Open-Source-Bereich populär gemacht hat und weiterhin ein gutes Verhältnis von Qualität zu Geschwindigkeit bietet.