Qwen 3.5 35B MoE

Qwen 3.5 35B-A3B ist ein Mixture-of-Experts-Modell der Qwen-3.5-Generation, das 35 Milliarden Gesamtparameter umfasst, aber pro Token nur 3 Milliarden Parameter aktiviert. Diese Architektur ermöglicht die Wissenskapazität eines großen Modells bei der Inferenzgeschwindigkeit eines kleinen. Trotz der nur 3B aktiven Parameter profitiert das Modell von der gesamten Wissensbasis der 35B Parameter — die Experten-Module spezialisieren sich auf unterschiedliche Aufgabenbereiche und werden dynamisch aktiviert.

Die Hybrid-Attention-Architektur mit Gated Delta Networks sorgt für effiziente Long-Context-Verarbeitung bis 262.144 Tokens. Native Multimodalität ist integriert: Das Modell verarbeitet Text, Bilder und Video. Ein wichtiger Hinweis für den lokalen Betrieb: Obwohl nur 3B Parameter pro Token aktiv sind, müssen alle 35B Parameter im VRAM vorgehalten werden.

Bei Q4-Quantisierung sind das etwa 19,6 GB — eine RTX 4090 mit 24 GB reicht knapp, eine RTX 3090 ebenfalls. Die Inferenzgeschwindigkeit ist dank der geringen aktiven Parameter trotzdem sehr hoch. In Benchmarks positioniert sich das Modell zwischen den dichten 9B- und 27B-Varianten, wobei es bei bestimmten Spezialaufgaben die 27B-Version sogar übertreffen kann.

Die Apache-2.0-Lizenz erlaubt uneingeschränkte kommerzielle Nutzung. Function Calling und Tool Use funktionieren nativ. Für Anwender mit begrenztem VRAM, die trotzdem die Wissenstiefe eines großen Modells benötigen, ist die MoE-Variante eine ausgezeichnete Wahl — die schnelle Inferenz bei moderatem Ressourcenverbrauch macht es besonders attraktiv für interaktive Anwendungen und Agentic Workflows.