Технология отлично подойдет для музыкантов, импровизирующих с музыкальными жанрами.
Компания Google анонсировала новую модель искусственного интеллекта Magenta RealTime, способную генерировать музыкальные композиции на лету. В отличие от традиционных ИИ-инструментов, которые создают трек целиком, эта нейросеть работает с короткими фрагментами (до 2 секунд), что позволяет мгновенно корректировать звучание.
Magenta RT представляет собой 800-миллионную нейросеть, обученную на обширной библиотеке инструментальной музыки объемом 190 тысяч часов. Технология анализирует последние 10 секунд звучания и мгновенно реагирует на команды пользователя, позволяя менять жанр, набор инструментов или темп исполнения без остановки генерации. Качество выходного аудиосигнала достигает профессионального уровня — 48 кГц в стереоформате.
Разработчики сделали модель максимально доступной: исходный код опубликован на GitHub, а весовые коэффициенты можно загрузить с Google Cloud Storage. Для быстрого знакомства с технологией подготовлено демо-приложение, которое работает даже на бесплатных вычислительных ресурсах TPU.
Создатели модели проводят параллель между Magenta RT и живым музыкальным исполнением. Система открывает возможности для импровизации, сравнимой с джазовой сессией или диджей-сетом. Технология найдет применение в создании саундтреков для игр, интерактивных арт-инсталляций и экспериментальных музыкальных проектов, где важна мгновенная реакция на изменения.
Источник: hi-tech.mail.ru