TL;DR. Я адаптировал открытую TTS-модель tiny-voca к русскому языку: обучил два голоса на открытом датасете Dialogs, собрал русский фонемайзер, добавил расстановку ударений и сделал голосового ассистента с веб-звонком и голосовыми сообщениями. Модель занимает около 21 МБ, работает офлайн на CPU и не требует облачной подписки. Демо: voice.lmchat.ru.
Зачем ещё одна русская TTS
Современные нейросетевые синтезаторы речи обычно дают высокое качество, но требуют заметных ресурсов: сотни мегабайт весов, GPU для комфортной задержки и, часто, облачный API. Для голосового ассистента это означает зависимость от внешнего сервиса, расходы на трафик и вопросы с передачей пользовательских данных.
Мне нужен был другой вариант: компактная русская модель, которая работает локально на обычном сервере, быстро отвечает на короткие реплики и может быть встроена в голосового бота. Когда я увидел tiny-voca — открытую модель на 4,5 млн параметров и 21 МБ ONNX-весов, — решил проверить, насколько реалистично сделать на её основе русскую речь.
Что получилось
В результате получилась русская версия tiny-voca:
Параметр
Значение
Параметры модели
4,5 млн
Размер ONNX
около 21 МБ
Частота дискретизации
24 кГц
Голоса
M1 — женский, D1 — мужской
Режим работы
офлайн, CPU
Лицензия модели и кода
Apache-2.0
Данные обучения
Dialogs, OpenRAIL
Модель синтезирует короткие ответы за доли секунды на CPU. Этого достаточно для голосового ассистента, интерактивного демо и интеграции с телефонным ботом.
Демо доступно здесь: voice.lmchat.ru.
На странице можно:
-
послушать примеры русской речи;
-
ввести произвольный текст и получить озвучку;
-
выбрать голос и изменить скорость;
-
открыть голосовой чат с ботом;
-
отправить голосовое сообщение и получить голосовой ответ;
-
позвонить боту в браузере: после гудков он отвечает голосом, слушает и отвечает;
-
послушать запись реального разговора с телефонным ботом.
Это не просто страница с кнопкой «синтезировать». Это работающий голосовой сценарий: микрофон, распознавание речи, языковая модель, синтез и воспроизведение ответа, совершить телефонный звонок на базе локальной модели qwen3.5:9b.
Данные: Dialogs
Для обучения я взял открытый датасет Dialogs. В нём — студийные эмоциональные диалоги трёх актёров; для задачи подошли два голоса: женский M1 и мужской D1.
После фильтрации и подготовки осталось около 12 часов чистой речи. Часть записей была отбракована на этапе контроля качества: слабое выравнивание, низкая уверенность аннотатора, неизвестные фонемы, слишком длинные фонемы и другие артефакты.
Этап
Объём
Исходный датасет
11 796 строк метаданных, 9 996 WAV, 17,42 часа
Отобранные голоса M1 + D1
6 849 клипов, 13,31 часа
После сплитов
train 6 310, val 269, test 270
После фонемизации
6 697 строк, 12,88 часа
После аннотации
около 12,1 часа
Для контроля качества я прогнал 60 клипов через ASR: WER составил 3,3%. Это не гарантия идеальных данных, но достаточно хороший сигнал, что разметка и выравнивание не разваливаются.
Русский фронтенд
В tiny-voca уже была основа для языковых профилей, но русского профиля не было. Я добавил его и собрал отдельный русский путь обработки текста.
Основные компоненты:
-
eSpeak NG 1.51 — фонемизация;
-
ударения из Dialogs — для фраз, которые есть в корпусе;
-
RUAccent — для произвольного текста и разрешения омографов;
-
eSpeak fallback — если внешняя модель расстановки ударений недоступна;
-
wav2vec2-based aligner — для разметки длительностей фонем.
Принципиальный момент: текст фонемизируется предложениями, а не отдельными словами. Иначе служебные слова читаются неестественно: например, предлог «с» может прозвучать как отдельная буква, а не как часть фразы.
Для произвольного текста я подключил RUAccent. Он помогает с ударениями и омографами, но я не стал делать его единственной точкой отказа: при ошибке система возвращается к обычному eSpeak-пайплайну.
Например, фраза «выбор голоса» размечается как:
textв+ыбор г+олоса
в+ыбор г+олоса
То есть «вЫбор гОлоса», а не «выбор голОса».
Отдельно я добавил небольшой словарь исключений для слов, где важно сохранить стабильное произношение: название модели, названия сервисов, отдельные грамматические формы. Такой подход практичен: нейросетевая разметка покрывает общий случай, а словарь — критичные для продукта слова.
Обучение
Обучение выполнялось в Docker на Ubuntu 24.04, Python 3.12 и PyTorch 2.6.0+cu124. Модель обучалась с нуля на подготовленных русских данных.
Сначала я провёл пилот на 15 000 шагов, чтобы проверить, что русский язык вообще обучается и данные не содержат критических ошибок. Уже на этом этапе Whisper large-v3 распознавал контрольные фразы без ошибок, хотя просодия была ещё недостаточно живой.
После этого я запустил полный прогон на 100 000 шагов.
Железо и скорость
Обучение сначала шло на Tesla P40 24 ГБ, затем я перешёл на Tesla V100 32 ГБ.
Этап
P40
V100
Pre-GAN
1,12–1,40 шага/с
около 6,0 шага/с
GAN
0,72–0,75 шага/с
1,66–1,75 шага/с
Пилот 15 000 шагов
около 4,7 часа
—
Полный прогон 100 000 шагов
около 35–38 часов
около 12,5 часа GPU-времени
V100 дала примерно 4–5-кратное ускорение на этапе до GAN и около 2,4-кратное на GAN-фазе. Для полного обучения это разница между полутора сутками и половиной суток.
Неожиданное наблюдение: power limit
Во время обучения на V100 я заметил неочевидную вещь: при снижении лимита мощности до 125 Вт скорость обучения оказалась выше, чем при 225–250 Вт.
Лимит
Шагов/с
Температура
100 Вт
2,09
66 °C
125 Вт
2,26
70 °C
150 Вт
1,96
71 °C
175 Вт
1,83
71 °C
200 Вт
1,76
73 °C
225 Вт
1,66
74 °C
250 Вт
1,74
75 °C
Эффект повторялся в нескольких измерениях. На 125 Вт карта работала стабильнее, а пайплайн подготовки данных успевал за GPU. При высоком лимите производительность проседала, хотя формально карта могла работать быстрее.
Я не хочу представлять это как универсальный закон: в большинстве задач ограничение мощности снижает производительность. Но в конкретной связке «V100 + этот training pipeline» лимит 50% оказался удачным компромиссом по скорости, температуре и шуму.
Результат обучения
После 100 000 шагов модель синтезирует русскую речь с двумя голосами. Итоговые сэмплы автоматически сохраняются в каталоге оценки и проходят контроль через Whisper large-v3.
Метрика пилота 15k
Значение
Loss
14,54
Validation mel
0,8385
Duration ratio
0,9408
Voicing accuracy
0,9417
Pause accuracy
0,9169
Pitch error
3,07 полутона
ASR-WER на контрольных фразах
0,000
Важно не переоценивать WER: он показывает разборчивость на контрольных фразах, но не измеряет естественность, интонацию и качество пауз. На пилоте речь уже была понятной, но всё ещё недостаточно живой. Полный прогон нужен был именно для улучшения просодии и стабильности.
Голосовой ассистент
Отдельная часть проекта — не сама TTS, а превращение её в полезный продукт.
Я собрал демо-страницу voice.lmchat.ru, где можно:
-
синтезировать произвольный русский текст;
-
переключать голоса M1 и D1;
-
менять скорость речи;
-
слушать примеры диалогов;
-
общаться с ботом голосом;
-
отправлять голосовые сообщения;
-
слушать свои сообщения и ответы бота в формате, похожем на мессенджер;
-
совершать веб-звонок боту без телефонии.
В голосовом чате пользователь говорит в микрофон, а бот отвечает голосом. Текст распознавания и текстовый ответ не выводятся: коммуникация выглядит как обмен голосовыми сообщениями. Каждый ответ можно переслушать.
Есть и режим веб-звонка: после нажатия кнопки звучат гудки, затем бот «берёт трубку», здоровается и начинает диалог. Это не телефония через SIP и не звонок на реальный номер, а браузерный голосовой сценарий через HTTP.
Для телефонного бота используется другой путь: Asterisk принимает вызов, передаёт аудио в сервис распознавания, локальная LLM формирует ответ, а tiny-voca синтезирует речь. Такой бот можно позвонить по номеру и поговорить с ним голосом.
Архитектура демо
Упрощённо пайплайн выглядит так:
textПользователь ↓ микрофонASR ↓ текстLLM ↓ ответРусский фронтенд: нормализация, ударения, фонемы ↓tiny-voca TTS ↓Аудио в браузер или телефонную сеть
Пользователь ↓ микрофон ASR ↓ текст LLM ↓ ответ Русский фронтенд: нормализация, ударения, фонемы ↓ tiny-voca TTS ↓ Аудио в браузер или телефонную сеть
Для сайта используется HTTP-пайплайн: запись фразы, распознавание, генерация ответа, синтез и воспроизведение. Для телефонии — AudioSocket и Asterisk.
Локальная LLM работает через Ollama. Для демо я использую qwen3.5:9b; она формирует короткие ответы, подходящие для голосового диалога. Ollama предоставляет HTTP API для chat completions, включая non-streaming режим.
Ограничения
Проект не претендует на замену больших облачных TTS.
-
Качество речи ниже у крупных моделей, особенно на сложной интонации и длинных текстах.
-
Ударения в редких словах всё ещё могут ошибаться; RUAccent и словарь исключений снижают, но не устраняют проблему полностью.
-
Голоса M1 и D1 основаны на записях актёров Dialogs. Для коммерческого использования нужно отдельно учитывать условия OpenRAIL и не создавать рекламу или высказывания от их имени без соответствующих прав.
-
Модель оптимизирована для коротких реплик и диалоговых сценариев, а не для аудиокниг или длинного сторителлинга.
Вывод
Главный результат проекта — не рекорд качества синтеза, а доказательство, что голосовой ИИ может быть маленьким, локальным и доступным. Русская tiny-voca весит около 21 МБ, работает на CPU и не требует облачной подписки. Для коротких диалогов, голосовых уведомлений, интерактивных помощников и встроенных сценариев этого уже достаточно.
В оригинальной tiny-voca модель и вовсе способна работать прямо в браузере: пользователь вводит текст, а синтез происходит на его устройстве. Это хороший ориентир для того, куда может двигаться голосовой ИИ: не «отправить текст в облако и дождаться аудио», а запустить компактную модель рядом с пользователем.
Когда модели перестают занимать гигабайты, меняется сам подход к продукту. Голосового ассистента можно поставить не только на сервер, но и туда, где раньше ИИ казался избыточным: в кассу, терминал, автомобиль, умную колонку или бытовую технику.
И если однажды микроволновка спросит: «Разогреть как обычно?», а холодильник напомнит, что молоко заканчивается, — это не обязательно будет облачный сервис с подпиской. Возможно, внутри будет маленькая офлайн-модель вроде tiny-voca-ru: 21 мегабайт, который умеет говорить по-русски.
Демо: voice.lmchat.ru
Ссылки
-
Демо русской модели
-
tiny-voca и оригинальное демо
-
tiny-voca-it
-
Dialogs от Langswap
-
eSpeak NG
-
wav2vec2-lv-60-espeak-cv-ft
-
RUAccent
-
faster-whisper
Спасибо авторам tiny-voca за компактную открытую модель. 21 МБ, которые умеют говорить по-русски офлайн, — хороший аргумент в пользу локальных голосовых ассистентов.
Источник: habr.com