Сбер выложил в открытый доступ сразу две модели, связанные с аудио: семейство для распознавания речи GigaAM Multilingual и большую языковую модель GigaChat Audio, которая умеет работать с голосом напрямую. Решение опубликовано на Hugging Face и GitHub под лицензией MIT.
GigaAM Multilingual — открытый ASR, который обходит Whisper
GigaAM Multilingual включает аудиоэнкодер с самостоятельным обучением и многоязычную CTC ASR-модель. Это первая российская открытая мультиязычная модель распознавания речи.
Аудиоэнкодер предварительно обучен на 2 млн часов речи на 70+ языках с фокусом на страны СНГ, что ускоряет адаптацию к новым языкам. Многоязычная модель дообучена на 50 тыс. часов мультидоменной речи.
По заявлению Сбера, количество ошибок у GigaAM в 1,5–2 раза ниже, чем у ближайших аналогов. Компактная версия с 240 млн параметров обгоняет Whisper Large v3 и Omnilingual 1B.
Сейчас модель поддерживает русский, английский, казахский, киргизский и узбекский. Доступна в двух вариантах: компактном для стандартных процессоров и флагманском с более высоким качеством. В сообществе уже появились порты для Apple Silicon — например, MLX-версия даёт 180-кратный прирост в реальном времени на M2 Max.
GigaChat Audio
GigaChat Audio объединяет возможности GigaAM Multilingual и GigaChat 3.1. Она работает с аудио напрямую, без предварительной транскрибации, анализируя интонацию, тембр и произношение. Распознавание голосовых сообщений работает в боте.
Ключевые возможности:
-
Распознавание эмоций — точность 80% по внутренним тестам, что выше Qwen3-Omni-30B (70%) и Kimi-Audio (62%).
-
Обработка длинных записей — до трёх часов, контекст — до двух часов.
-
Поиск по аудио — пересказ фрагментов с таймкодами, ответы на вопросы по содержанию.
-
DIARIZATION — различает голоса разных спикеров.
-
Долговременная память — запоминает факты из голосовых диалогов для будущих сессий (управляется пользователем).
В бенчмарке Arena Hard Audio модель показала 75% побед в «слепых» сравнениях, приблизившись к Gemini-3-Flash-preview (77,5%) и опередив Gemini 2.5 Pro (62%). Для российской LLM это действительно прорывной результат. Для разработчиков доступна облегчённая версия GigaChat3.1-Audio-10B.
GigaAM Multilingual на Hugging Face
GigaAM Multilingual на GitHub
GigaChat Audio на Hugging Face
GigaChat на BotHub
Источник: habr.com