Компания Stability AI представила новую итерацию Stable Audio с расширенным набором функций для создания звуковых клипов.
Модель первого поколения может генерировать аудиофайлы длиной до 90 секунд. Stable Audio 2.0 создает треки в два раза длиннее и с большим количеством пользовательских настроек.
Предыдущая версия в качестве промптов использовала только текст, а новая способна воспринимать в качестве референса звуковые клипы. ИИ может подбирать стиль генерируемого им аудио, что дает более точные результаты.
Представители Stability AI утверждают, что модель может создавать «структурированные композиции, включающие вступление, развитие и концовку». Еще одним улучшением по сравнению с предыдущим поколением стала возможность создания звуковых эффектов.
Stable Audio основана на диффузионной модели. От других ИИ-алгоритмов ее отличает способ обучения: в процессе тестирования модель получает коллекцию звуковых клипов с ошибками и задание восстановить оригинальный звук.
В новой версии используется специализированная реализация технологии, известная как латентная диффузионная модель. Как и другие нейронные сети, такие модели обучаются на наборе данных, похожем на файлы, которые они будут обрабатывать в процессе генерации. Но перед началом обучения датасет преобразуется в математическую структуру, что делает процесс разработки ИИ более эффективным.
Измененный таким образом набор данных называется латентным пространством и он содержит только самые важные детали. Менее значимые удаляются, что уменьшает общий объем информации, которую модели ИИ приходится обрабатывать в процессе обучения. Это позволяет сократить количество оборудования и снизить затраты.
Инженеры Stability AI также добавили новую нейронную сеть, основанную на архитектуре Transformer, разработанной Google в 2017 году. В основном она используется для построения языковых моделей. Transformer учитывает большое количество контекстной информации при интерпретации данных, что позволяет ему получать максимально точные результаты.
Stable Audio 2.0 доступен для пользователей бесплатно, а API позволит другим компаниям интегрировать ИИ-модель в свои приложения.
Ранее компания Adobe представила Project Music GenAI Control, помогающий людям создавать и редактировать музыку без профессионального опыта.
Напомним, в феврале Stability AI анонсировала Stable Diffusion третьего поколения.