NVIDIA представила Nemotron 3.5 Transcribe — новую открытую ИИ-модель для работы с речью. Она объединяет в одном решении транскрибацию, определение говорящих, перевод и расстановку таймкодов, избавляя разработчиков от необходимости использовать для этих задач несколько отдельных моделей. Nemotron 3.5 Transcribe работает с 40 языками и способна обрабатывать записи продолжительностью до одного часа.
Управлять результатом можно обычными текстовыми командами. Например, модель можно попросить расшифровать совещание с указанием каждого говорящего, перевести записанную речь на английский или выделить принятые во время разговора решения. Также поддерживаются словари с названиями компаний, продуктов и профессиональными терминами, что должно повысить точность при работе со специализированными записями.
Nemotron 3.5 Transcribe построена на базе Nemotron 3.5 Lightning и использует около 4,3 млрд активных параметров. NVIDIA утверждает, что модель заняла первое место среди моделей с открытыми весами в английском и многоязычном рейтингах Open ASR. Она также умеет работать с разговорами нескольких людей, включая ситуации, когда собеседники перебивают друг друга, и при необходимости выдаёт таймкоды для отдельных слов.
Вес модели открыт, поэтому обработку речи необязательно отправлять в стороннее облако — разработчики могут запускать её локально на совместимом оборудовании NVIDIA. Модель уже доступна через Hugging Face, а оптимизированные версии предназначены в том числе для RTX Spark, DGX Spark, Jetson AGX Thor и серверных ускорителей Blackwell.
Таким образом, NVIDIA продолжает расширять набор ИИ-инструментов, способных автоматизировать работу с человеческой речью. В одном решении теперь объединены функции, для которых раньше могли потребоваться отдельные сервисы транскрибации, субтитров, разделения спикеров и перевода.
Источник: www.playground.ru