Voicebox

Исследователи из Meta AI значительно продвинулись в генеративном искусственном интеллекте для речи, в результате чего был разработан Voicebox, модель, которая способна обобщаться на задачи генерации речи без необходимости определенной обучающей программы или использования подготовленных данных.

Voicebox может использоваться для синтеза речи на шести языках, а также для очистки аудио клипов, редактирования контента, преобразования стилей и генерации различных образцов.

До Voicebox генеративный искусственный интеллект для речи должен был быть специально обучен для каждой задачи с приспособленными данными. В свою очередь, Voicebox требует только сырых аудио и его транскрипт. Кроме того, в отличие от авторегрессионных моделей, Voicebox может изменять любую часть аудио клипа, а не только его конец.

Voicebox основан на методе, называемом Flow Matching, который был доказан более точным, чем диффузионные модели.