Сбер и SberDevices совместно с АНО ДПО «Центр образования и исследования жестового языка», запустил новый социально-образовательный проект — официальный сайт видеословаря для изучения русского жестового языка (РЖЯ), доступный по адресу https://signflow.ru/. Этот сайт представляет собой улучшенную версию ранее популярного ресурса spreadthesign.com (заблокирован на территории России из-за международных санкций).
В данный момент видеословарь включает около 400 жестов РЖЯ (что соответствует примерно 660 словам на русском языке), и его база данных будет постепенно расширяться с добавлением новых жестов. Помимо этого, на сайте планируется внедрение интерактивных инструментов для изучения жестового языка, а также возможность изучения вариативности жестов на различных диалектах, что важно для адаптации к региональным и индивидуальным особенностям использования РЖЯ.
Мы создали этот ресурс для преподавателей РЖЯ, лингвистов, работающих с жестовыми языками, а также всех желающих изучить РЖЯ. На платформе будет доступна техническая поддержка, которая будет отвечать на запросы пользователей, помогать в добавлении новых жестов и исправлении возможных неточностей. Мы будем рады активному участию сообщества и открыты их предложениям по расширению словаря и функциональности сервиса.
Пример интерфейса сайта:
Поиск по словарю РЖЯПример жеста
Стоит отметить, что SberDevices давно занимаются темой распознавания жестового языка и сделали важный шаг в развитии технологий распознавания РЖЯ. Команда из Сбера выложила в открытый доступ набор данных для распознавания жестов РЖЯ под названием Slovo. Это первый в России самый большой и разнородный, бесплатный и открытый датасет РЖЯ. Он включает 20 400 видеозаписей в формате FullHD, охватывающих 1000 уникальных жестов, включая дактильную азбуку. В записи участвовали 194 носителя и эксперта РЖЯ, что делает этот набор данных самым разнообразным и достоверным в своем роде.
Вместе с публикацией датасета SberDevices представили семейство моделей SignFlow, которые обеспечивают автоматический перевод отдельных жестов в слова в режиме реального времени. Модели поддерживают как русский, так и американский жестовые языки, демонстрируя высокую точность на всех актуальных тестовых наборах. SignFlow — это первые в России модели, предназначенные для решения задачи перевода жестов в текст на таком уровне.
Проект видеословаря РЖЯ и дальнейшее развитие технологий распознавания жестов позволят облегчить доступ к изучению жестового языка всем заинтересованным пользователям, расширить возможности лингвистических исследований, систематизировать накопленную информацию об особенностях жестов и использовать людям удобный и привычный язык для общения.
Источник: habr.com
