MusicGen

MusicGen ist Metas Open-Source-Modell für die KI-basierte Musikgenerierung und gehoert zum AudioCraft-Framework. Das Modell kann aus Textbeschreibungen oder einer Kombination aus Text und Referenzmelodie hochwertige Musikstücke mit bis zu 30 Sekunden Länge erzeugen. MusicGen nutzt einen einzelnen Transformer-Language-Model-Ansatz mit einem effizienten Codebook-Interleaving-Pattern, das mehrere parallele Audio-Token-Streams elegant verarbeitet.

Die Modelle sind in drei Größen verfügbar: Small (300M), Medium (1.5B) und Large (3.3B), wobei bereits die kleine Variante beeindruckende Ergebnisse liefert. MusicGen versteht komplexe musikalische Anweisungen wie Tempo, Stimmung, Instrumentierung und Genre und setzt diese zuverlässig um. Die Audioqualität liegt bei 32 kHz und übertrifft viele konkurrierende Modelle.

Für die kleine Variante reicht eine GPU mit 4 GB VRAM, die grosse benötigt 12 GB. Die CC-BY-NC-4.0-Lizenz erlaubt die nicht-kommerzielle Nutzung, eine kommerzielle Lizenz ist separat erhältlich. MusicGen lässt sich über die Transformers-Bibliothek und eine Gradio-Web-UI einfach nutzen.

Für Musiker, Content-Creator und Entwickler ist MusicGen die derzeit beste Open-Source-Option für lokale Musikgenerierung. Die Stereo-Variante MusicGen-Stereo erweitert die Möglichkeiten um räumliche Audioeffekte. Meta investiert aktiv in die Weiterentwicklung des AudioCraft-Ökosystems.

Für professionelle Anwender bietet MusicGen eine zuverlässige Basis für die lokale Musikproduktion ohne Cloud-Abhängigkeit und mit voller Kontrolle über die generierten Inhalte.