CogVideoX

CogVideoX ist eines der fortschrittlichsten Open-Source-Modelle für KI-Videogenerierung und wird vom THUDM-Team der Tsinghua-Universität entwickelt. Das Modell nutzt eine 3D-Variational-Autoencoder-Architektur in Kombination mit einem Expert-Transformer und kann aus Textbeschreibungen flüssige, kohärente Videos generieren. CogVideoX ist in verschiedenen Varianten verfügbar, darunter das kompaktere 2B-Modell und das leistungsstärkere 5B-Modell, das Videos mit höherer Qualität und besserer temporaler Konsistenz erzeugt.

Die generierten Videos haben eine Auflösung von bis zu 720x480 Pixeln bei 8 Frames pro Sekunde und einer Länge von etwa 6 Sekunden. Das Modell versteht komplexe Szenen, Bewegungsabläufe und Stiltransfers und kann sowohl realistische als auch stilisierte Videos erstellen. Für den lokalen Betrieb sind die Hardware-Anforderungen allerdings erheblich: Die 5B-Variante benötigt mindestens 24 GB VRAM, und die Generierung eines einzelnen Videos kann je nach Hardware mehrere Minuten dauern.

CogVideoX unterstützt auch Image-to-Video-Generierung, bei der ein Eingabebild als erster Frame verwendet und daraus ein Video extrapoliert wird. Die Apache-2.0-Lizenz ermöglicht kommerzielle Nutzung, was CogVideoX für Kreativagenturen, Content-Ersteller und Forschungseinrichtungen attraktiv macht. Die Integration erfolgt über die Diffusers-Bibliothek oder direkt über das offizielle Repository, und auf Hugging Face sind alle Modellvarianten samt Dokumentation verfügbar.

Für alle, die KI-Videogenerierung lokal und datenschutzkonform betreiben möchten, ist CogVideoX derzeit eine der besten verfügbaren Optionen.