Riffusion

Riffusion - это модель AI с открытым исходным кодом, который сочиняет музыку, визуализируя ее с помощью спектрограмм. Он использует модель стабильной диффузии v1.5 для создания музыки AI из спектрограмм, сопровождаемых текстом.

Приложение построено с использованием Next.js, React, Typescript, three.js, Tailwind и Vercel.

Приложение обменивается данными через API для выполнения вызовов инференции на сервере GPU. Мы использовали Truss для упаковки модели и ее локального тестирования перед ее развертыванием в Baseten, который предоставляет инференцию на основе GPU, авто-масштабирование и наблюдаемость. Мы использовали NVIDIA A10Gs в производстве.

Если у вас есть GPU, достаточно мощный для генерации результатов стабильной диффузии за менее пяти секунд, вы можете запустить опыт локально, используя наш тестовый сервер flask.

Источник: https://www.riffusion.com/about