Lance

Lance ist ByteDances nativ vereinheitlichtes Multimodal-Modell: Ein einziges System mit nur 3 Mrd. aktiven Parametern beherrscht Bild- und Videoverständnis, Bild- und Videogenerierung sowie instruktionsbasiertes Editieren — insgesamt sieben Aufgabentypen (Text-zu-Bild, Text-zu-Video, Bild-zu-Video, Bild-/Video-Editing und multimodales Verstehen). Die Architektur nutzt zwei Experten-Ströme auf Basis von Qwen2.5-VL 3B: Ein Verständnis-Experte verarbeitet Text und semantische Bildtokens, ein Generierungs-Experte erzeugt VAE-Latents für die visuelle Synthese — beide teilen sich denselben Kontext.

Trotz der geringen Größe erreicht Lance auf Generierungs- und Editing-Benchmarks konkurrenzfähige Werte zu deutlich größeren Spezialmodellen; trainiert wurde mit maximal 128 A100-GPUs. Für die lokale Nutzung braucht es die offizielle Inferenz-Pipeline von GitHub (PyTorch), Standard-LLM-Runtimes wie Ollama oder llama.cpp werden nicht unterstützt; eine 16-GB-GPU ist empfehlenswert. Die Apache-2.0-Lizenz erlaubt uneingeschränkte kommerzielle Nutzung — ein spannendes Forschungs- und Kreativwerkzeug für alle, die Bildgenerierung und -verständnis in einem Modell wollen.