Компания Nvidia представила ИИ-модель Nemotron 3.5 Transcribe с открытыми весами, предназначенную для распознавания речи, перевода, диаризации и анализа аудиозаписей продолжительностью до одного часа.
Модель задействует порядка 4.3 миллиарда активных параметров и способна выполнять сложную контекстную транскрипцию, перевод, идентификацию говорящих и генерацию пословных временных меток для записей длительностью до одного часа. Инструктивная система позволяет менять стиль расшифровки и форматирование с помощью простых текстовых промптов без проведения повторного обучения.
Согласно проведенным тестам, модель показала лучшую точность среди систем с открытыми весами на бенчмарках Open ASR Leaderboards с показателем WER 4.71% для английского языка и 4.62% для мультиязычных датасетов, впервые в индустрии превзойдя специализированные каскадные системы в задачах диаризации пересекающейся речи. Благодаря поддержке спекулятивного декодинга Multi-Token Prediction (MTP) и черновому модулю DFlash2, производительность модели на одной видеокарте RTX PRO 6000 Blackwell достигает 2238 секунд обработанного аудио за одну секунду, а эффективная архитектура позволяет дообучать систему под новые узкие домены всего за 0.5–2.3 GPU-часа.
Источник: www.goha.ru