Работает с точностью 85,8%.
Ученые из Pohang University of Science and Technology (POSTECH) в Южной Корее разработали силиконовую повязку на шею, способную распознавать беззвучную речь и превращать ее в полноценный голосовой сигнал. Устройство фиксирует едва заметные движения мышц и кожи, возникающие при артикуляции слов, и с помощью ИИ преобразует их в аудио, передаваемое собеседнику.
В основе технологии лежит идея о том, что речь — это не только звук. При произнесении слов формируются характерные паттерны движений шеи. В отличие от традиционных подходов, основанных на электромиографии или электроэнцефалографии, требующих громоздкого оборудования и электродов, в POSTECH использовали мягкий силиконовый воротник с миниатюрной камерой и датчиками движения.
Система отслеживает степень деформации кожи и направление этих изменений, что позволяет точнее интерпретировать движения речевого аппарата. Специальные маркеры на поверхности повязки помогают камере фиксировать деформации в реальном времени, а алгоритм компенсирует небольшие смещения устройства при повторном надевании.
Данные обрабатываются нейросетью, обученной на голосе конкретного человека. После распознавания слова система отправляет его на сервер, где текст преобразуется в речь с сохранением индивидуальной интонации. По данным исследователей, на обучение голосовой модели требуется менее 10 минут записей.
В ходе тестов устройство распознавало слова из фонетического алфавита НАТО с точностью 85,8%. Оно также продемонстрировало устойчивость к шуму: при уровне около 90 дБ система сохраняла высокое соотношение сигнал/шум, превосходя коммерческие EMG-решения.
Источник: hi-tech.mail.ru