Ученые из Санкт-Петербурга и Чеченской Республики разработали новые инструменты, которые помогают системам синтеза речи правильно определять значение омографов — слов, одинаково пишущихся, но по-разному произносящихся в зависимости от смысла и контекста. Работа опубликована в журнале Big Data and Cognitive Computing (Scopus Q1).
Основой исследования стала специально подготовленная база данных, включающая более 15 тысяч предложений. Их вручную отобрали из корпуса объемом свыше пяти миллионов аннотированных слов таким образом, чтобы сохранить естественную частоту употребления омографов в разных грамматических контекстах. Разметку выполнили лингвисты Академии наук Чеченской Республики, указав значения слов, долготу гласных, наличие дифтонгов и случаи редукции.
Алгоритм вошел в число самых точных
На основе этой базы исследователи создали три алгоритма — WEN, WAW и WATCH, предназначенные для устранения неоднозначности при синтезе речи. Их задача — определить, как именно должно звучать слово в конкретном предложении и где необходимо поставить правильное ударение.
Во время испытаний наиболее успешным оказался алгоритм WATCH, продемонстрировавший точность 85%. Сравнение с существующими открытыми решениями для языков с ограниченным объемом данных, включая вьетнамский, урду, ассамский, кашмирский и хауса, показало, что российская разработка занимает второе место в мире по точности среди аналогичных алгоритмов.
Создание базы данных, алгоритмов и программы распознавания омографов велось в рамках Года единства народов России. По мнению авторов проекта, эта работа способствует сохранению и развитию языкового многообразия народов России.
Интересные факты:
Чеченский язык относится к так называемым низкоресурсным языкам — для него недостаточно больших размеченных корпусов текстов, необходимых для обучения современных нейросетей. Именно поэтому исследователи сделали ставку на специальные алгоритмические методы.
Работы по созданию системы синтеза чеченской речи ведутся уже несколько лет: ранее ученые сформировали фонетико-акустическую базу языка и разработали прототип синтезатора речи, а нынешнее исследование решает одну из ключевых проблем — корректное произношение омографов.
В русском языке омографы присутствуют достаточно широко и тоже вызывают трудности у синтезаторов речи и изучающих язык иностранцев. Хрестоматийный пример — за́мок (здание) и замо́к (запирающее устройство). Единственным тройным омографом русского языка является слово «велики»:
- Разговорная форма от «велосипеды» — все дети любят ве́лики;
- Краткое прилагательное во множественном числе, указывающее на значимость — Пушкин и Толстой вели́ки;
- Прилагательное, описывающее большой размер — эти ботинки мне велики́.
О том, как компьютер обнаружил универсальные закономерности в 22 языках, мы рассказали здесь.
Источник: hi-tech.mail.ru