Исследователи Пенсильванского университета создали приложение NaviSense, которое помогает слабовидящим людям находить предметы и ориентироваться в пространстве с помощью голоса, звука и вибрации телефона.
Приложение использует камеру смартфона для отслеживания объектов вокруг пользователя и переводит пространственные данные в аудиосигналы. Оно подсказывает, где находится предмет — слева, справа, выше или ниже — и сообщает, когда рука оказывается в нужном месте. Также NaviSense отслеживает движение руки и задаёт уточняющие вопросы, если команда пользователя неясна.
Главное отличие от предыдущих подобных систем — отсутствие необходимости заранее загружать модели объектов. NaviSense распознаёт предметы через ИИ на сервере и быстро адаптируется к новым пространствам — кухня, магазин или улица.
Источник: www.ferra.ru