4 марта 2024 года состоялся релиз популярного аудиокодека с открытым исходным кодом Opus 1.5 (и патча 1.5.1) с поддержкой машинного обучения (Machine Learning).
В Opus 1.5 также улучшена оптимизация AVX2 и Arm (Neon). Новая версия проекта имеет гораздо лучшую устойчивость к потере пакетов. Она получила улучшения в коде для повышения качества речи с низким битрейтом (до 6 Кбит/с) и теперь имеет поддержку ambisonic 4-го и 5-го порядка.
«Эта версия 1.5 не похожа ни на одну из предыдущих. Она содержит множество новых функций, которые могут улучшить качество и общее качество звука. Это достигается за счёт машинного обучения. Хотя Opus раньше включал машинное обучение — и даже глубокое обучение (Deep learning, например, для обнаружение речи/музыки), это первый раз, когда он использует методы глубокого обучения для обработки или генерации самих сигналов.
Вместо разработки нового кодека на основе ML с нуля мы предпочитаем улучшить Opus до полной совместимости. Это важная цель проектирования машинного обучения в Opus. Это не только гарантирует, что Opus продолжит работать на старых/более медленных устройствах, но также обеспечивает простой путь обновления. Развёртывание нового кодека может оказаться долгим и болезненным процессом. Совместимость означает, что старые и новые версии Opus могут сосуществовать, сохраняя при этом преимущества новой версии, когда она доступна.
Глубокое обучение также часто ассоциируется с мощными графическими процессорами, но в Opus мы все оптимизировали так, чтобы оно легко работало на большинстве процессоров, включая смарфтоны. Мы старались избегать огромных моделей (в отличие от LLM с их сотнями миллиардов параметров!). В конце концов, большинство пользователей не должны заметить дополнительных затрат, но люди, использующие старые (5+ лет) телефоны или микроконтроллеры, могут это заметить. По этой причине все новые функции ML по умолчанию отключены в Opus 1.5. Им требуется переключатель во время компиляции (по причинам размера), а затем переключатель во время выполнения (по причинам, связанным с процессором)»,
— пояснили разработчики проекта.
Источник: habr.com
Похожие новости:
200 000 токенов контекста и лучше ChatGPT: вышли три модели ИИ Claude 3
Команда Unity Sentis начала публиковать на Hugging Face адаптированные под Unity модели машинного обучения
«Цифровая экономика» и «Распаковка Госуслуг» — о чем говорили министры на выставке «Россия»
Обзор IT-Weekly: Южная Корея планирует вложить в полупроводниковый хаб $0,5 триллиона, Китай вдвое нарастит производство чипов в ближайшие пять лет