AudioCraft (Meta)

AudioCraft ist Metas wichtigster Beitrag zur offenen KI-Audiogenerierung. Das 2023 veröffentlichte Framework enthält drei spezialisierte Modelle: MusicGen generiert kohärente Musikstücke aus Text-Beschreibungen und optionalen Melodie-Inputs, AudioGen erstellt realistische Umgebungsgeräusche und Soundeffekte, und EnCodec ist ein neuartiger Audio-Codec, der Audiodaten mit bis zu 10× kleinerer Dateigröße bei guter Qualität komprimiert.

Der entscheidende Vorteil gegenüber kommerziellen Alternativen wie Suno AI oder Udio: AudioCraft läuft vollständig lokal. Wer eine ausreichend leistungsstarke GPU besitzt (mindestens 16 GB VRAM für die großen Modelle), kann ohne Internet-Verbindung und ohne Datenweitergabe an Dritte Musik generieren. Das macht AudioCraft zur Referenz-Implementierung für datenschutzbewusste Entwickler und Forscher.

MusicGen wurde auf einem kuratierten Datensatz von 20.000 Stunden lizenzfreier Musik trainiert und produziert Tracks in verschiedenen Genres – von klassischer Komposition über elektronische Musik bis zu Filmscores. Die Stereo-Modellvariante unterstützt Continuations: Man gibt einen bestehenden Audio-Clip als Input und die KI komponiert nahtlos weiter. Das ermöglicht echte KI-Kollaboration im Musikprozess.

AudioCraft ist über GitHub (MIT-Lizenz) und Hugging Face verfügbar. Demo-Interfaces laufen in Google Colab ohne lokale GPU-Installation. Für Entwickler, die AudioCraft in eigene Apps integrieren wollen, bietet die Python-API eine saubere Schnittstelle. Als Meta-Open-Source-Projekt hat AudioCraft eine aktive Community mit regelmäßigen Updates und Fine-Tuning-Anleitungen für eigene Musikstile.