Stability AI рассказала в блоге о релизе модели машинного обучения Stable Audio 2.0. После обновления нейросеть может генерировать музыкальные композиции длительностью до трёх минут в стерео и с частотой дискретизации 44,1 кГц. Кроме того, пользователи могут загружать свои треки и изменять их с помощью промптов.
Нововведения в Stable Audio:
На выходе получаются треки с когерентной музыкальной структурой длительностью до трёх минут. Это значит, что каждая композиция включает в себя вступление, основную тему, завершение и переходы между частями произведения.
Нейросеть генерирует аудио с частотой дискретизации 44,1 кГц.
Применяется эффект стерео для разделения частей композиции на правый и левый каналы.
Кроме базовой функции генерации из текста в аудио появился новый режим. С его помощью пользователь может загрузить аудиофайл и преобразовать его. Разработчики отмечают, что это может быть полезно музыкантам, которые ищут новое звучание. Правила сервиса запрещают использовать для генерации в новом режиме треки, защищённые авторским правом.
Нейросеть научили генерировать звуки окружения, например, клики клавиш клавиатуры или шум толпы. Их можно добавлять к музыкальным композициям или экспортировать и использовать в сторонних проектах.
У сгенерированных или загруженных треков можно менять стиль.
Stable Audio 2.0 обучали на данных компании AudioSparx. Датасет состоит из более чем 800 тыс. аудиофайлов с музыкой, звуковыми эффектами и записями отдельных музыкальных инструментов. Каждый файл сопроводили текстовыми метаданными. Отмечается, что пользователям AudioSparx, которые пополняют библиотеку звуков, предоставили возможность исключить свои работы из датасета.
Механизм защиты авторских прав разработали совместно с компанией Audible Magic. Технология распознавания контента в реальном времени проверяет права и помогает предотвращать использование защищённых композиций.
На YouTube-канале Stability AI запустили Stable Radio — бесконечную трансляцию с треками, которые генерирует нейросеть. Протестировать возможности Stable Audio можно на официальном сайте проекта.
Источник: habr.com
Похожие новости:
Stability AI представила систему синтеза 3D-объектов из отдельных изображений Stable Video 3D
Создатели Stable Diffusion представили «облегчённый» генератор картинок Stable Cascade
Stability AI выпустила модель Stable Cascade для генерации изображений
Midjourney заблокировала сотрудников Stability AI из-за предполагаемого сбора данных