Многие пользователи не только читают книги, но и слушают их аудиоверсии. Это бывает удобно в транспорте или в фоновом режиме, а для кого-то речь профессионального диктора и вовсе заменила текст. Спрос на такие версии растёт: более 80% пользователей Букмейта (книжный сервис Яндекс Плюса) хоть раз обращались к аудиоформату для знакомства с литературой.
К сожалению, далеко не для всех книг такие версии существуют, но мы придумали, как помочь пользователям. В Букмейте появился виртуальный рассказчик. Он позволяет в режиме реального времени слушать книги, у которых нет предзаписанных аудиоверсий. На данный момент рассказчик доступен для 13 000 книг.
Виртуальный рассказчик создан специально для чтения книг вслух. Он разработан на базе комплекса речевых технологий Яндекса с привлечением профессиональных дикторов. Воспроизведение текста максимально приближено к естественной речи, поэтому читателю комфортно слушать произведения на протяжении долгого времени.
Как мы адаптировали технологию для книг
Если бы требовалось просто озвучить короткий текст, то можно было взять любое из существующих внутри Яндекса готовых решений и получить неплохой результат. Но литературные произведения — это не реплика в чате, тут есть тонкости.
Текст в книгах может содержать самые необычные сокращения. Их нужно корректно раскрыть, чтобы наша модель синтеза речи сумела их прочитать. Необычные и редкие аббревиатуры, названия и термины тоже нужно уметь произносить с правильной расстановкой ударений. Для всего этого есть этап предобработки текста. И для этого этапа у нас уже была специальная модель препроцессинга, но мы обучили новую, добавив в датасет примеры, которые собрали из книг.
Другая особенность книжной подачи текста — плавные переходы между предложениями и сохранение единой интонации на смысловом отрезке. Для этого модель должна уметь учитывать контекст. Поэтому наша модель синтеза речи для виртуального рассказчика получает на вход сразу несколько идущих подряд предложений и выдаёт подсказки о том, как именно их надо читать, с какой интонацией и с какими паузами. Чтобы добиться плавности речи, мы обучали нейросеть на длинных текстах, содержащих множество повествований и описаний.
Кроме того, немалое значение имеет и сам синтезируемый голос, ведь пользователям предстоит слушать его часами. Поэтому создавать голоса виртуального рассказчика нам помогали известные дикторы и актеры озвучки — Георгий Кармрян и Наталья Грачева. Мужской голос уже доступен в сервисе, женский появится в будущем.
Сейчас технология продолжает развиваться, поэтому качество чтения вслух будет улучшаться. Кстати, если вам интересно погрузиться в историю развития речевого синтеза Яндекса, то пару лет назад наш коллега рассказывал её на Хабре в контексте разработки шёпота Алисы.
Как воспользоваться виртуальным рассказчиком
Виртуальный рассказчик будет работать для книг из каталога Букмейта, которые не были представлены в аудиоформате ранее и были одобрены правообладателями для чтения вслух. Озвучка происходит в режиме реального времени.
Чтобы запустить чтение вслух, нажмите кнопку с рассказчиком в электронной версии произведения. Функция появится в приложении Букмейт на Android и iOS для подписчиков Яндекс Плюса с опцией Букмейт. И не забудьте обновить приложение до последней версии.
Источник: habr.com
