Riffusion détourne le modèle de Stability pour générer de la musique

En entraînant le modèle text-to-image de Stability à générer des spectrogrammes de pièces musicales, qui sont ensuite convertis en signal audio, l'IA de Riffusion lui permet de générer de la musique.

Pièce de blues rock chantée de 12 secondes générée par l’IA de Riffusion à partir de deux vers de Rimbaud traduits en anglais.

Fondée en 2022 par le musicien et dévelopeur Seth Forsgren et par le roboticien Hayk Martiros, la start-up Riffusion, basée à San Francisco, a développé un outil d'intelligence artificielle permettant de générer des chansons à partir de prompts textuels. L'IA musicale générative de Riffusion s'appuie sur le modèle d'apprentissage profond (ou deep-learning) Stable Diffusion de la compagnie Stability, conçu à l’origine pour générer des images photoréalistes de haute qualité à partir de descriptions textuelles.