Riffusion

Riffusion entstand 2022 als Forschungsprojekt zweier Stanford-Absolventen mit einer faszinierenden Erkenntnis: Audiodaten können als Bilder dargestellt werden. Mel-Spektrogramme – visuelle Repräsentationen von Frequenz, Zeit und Lautstärke – sehen wie abstrakte Kunstwerke aus. Und Stable Diffusion, das für Bildgenerierung trainierte Modell, kann diese Bilder generieren und damit implizit Musik erschaffen.

Der psychoakustische Charakter von Riffusion-Musik ist unverwechselbar: Ein leichter Lo-Fi-Schleier, manchmal schwebende Harmonien, eine gewisse traumähnliche Qualität. Das ist kein Fehler, sondern eine Eigenschaft des Ansatzes – Stable Diffusion "denkt" in Texturen und Übergängen, was sich in musikalisch fließenden, wenig repetitiven Strukturen äußert. Für experimentelle Musik, Ambient und elektronische Genres ist das ein Vorteil.

Das Killer-Feature von Riffusion ist die Stil-Interpolation: Wer zwei Musikstile eingibt – etwa "klassisches Streichquartett" und "elektronischer Drum & Bass" – kann auf einem Slider zwischen beiden interpolieren. Das System generiert dabei gleitende Übergänge, die musikalisch kohärent klingen. Für DJs, Sounddesigner und Experimentalmusiker ist das ein kreatives Spielfeld ohne Parallele.

Riffusion ist vollständig kostenlos und open source (GitHub, MIT-Lizenz). Da das Modell auf Hugging Face läuft, kann es ohne lokale Installation im Browser getestet werden – ideal für eine erste Einschätzung. Für ernsthafte Nutzung empfiehlt sich eine lokale Installation auf einer NVIDIA-GPU. Das Projekt wird von der Community aktiv weiterentwickelt, auch wenn das ursprüngliche Team inzwischen an anderen Projekten arbeitet.