Специалисты из Южной Кореи разработали инновационную систему, которая способна переводить язык жестов в текст с помощью семи беспроводных колец. Согласно исследованию, опубликованному в журнале Science Advances, технология демонстрирует точность распознавания на уровне 88%, что открывает новые возможности для общения глухих и слабослышащих людей.
Для многих глухих людей жестовый язык является основным средством коммуникации. Это сложная лингвистическая система со своей грамматикой и синтаксисом, а не просто набор движений пальцев. По данным Всемирной федерации глухих, в мире существует более 300 различных языков жестов, что делает проблему взаимопонимания еще более острой. Существующие решения, включая сенсорные перчатки, часто громоздки, неудобны и ограничивают естественную подвижность рук. Кроме того, они требуют сложной калибровки для каждого пользователя.
Новая система, названная WRSLT (беспроводной кольцевой переводчик языка жестов), решает эти проблемы. Она состоит из семи маленьких колец, которые надеваются на пальцы. В каждом кольце установлен крошечный акселерометр — датчик, аналогичный тем, что используются в смартфонах для поворота экрана.
Когда человек жестикулирует, акселерометры измеряют ориентацию пальцев и направление движения руки. Эти данные по Bluetooth передаются на смартфон или компьютер, где искусственный интеллект анализирует их и преобразует в письменный текст в режиме реального времени. «WRSLT обеспечивает перевод на уровне предложений, используя полностью беспроводную и модульную архитектуру», — отмечают авторы разработки.
В ходе испытаний система смогла распознать 100 слов на американском (ASL) и 100 слов на международном (ISL) языках жестов. Тестирование на новых пользователях, не участвовавших в обучении нейросети, показало точность 88,5% для ISL и 88,3% для ASL.
В настоящее время команда работает над дальнейшей миниатюризацией устройства и расширением словарной базы искусственного интеллекта, чтобы охватить больше языков и сделать общение еще более доступным.
Тем временем японские инженеры придумали идеальную замену неудобным рулеткам. Tiroler — измерительное кольцо, которое сделает нашу жизнь проще. Его функции и принципы работы описаны в другом материале Hi-Tech Mail.
Источник: hi-tech.mail.ru