Фоновое видео может слушать вас внимательнее, чем вы думаете, и отдавать команды вашему смартфону.
Группа ученых из Китая и Сингапура показала рабочий способ управлять голосовым ИИ-ассистентом без единого произнесенного слова, сообщает Futurism. Достаточно вшить в любой аудиофайл специально сформированный сигнал — и модель начнет выполнять команды злоумышленника. Хозяин устройства при этом ничего не услышит: сигнал лежит за пределами человеческого восприятия.
Результаты работы представили на IEEE Symposium on Security and Privacy — одной из главных конференций по кибербезопасности. Это не теоретическая уязвимость, а реально воспроизводимая атака с конкретными жертвами среди коммерческих продуктов.
Любой голосовой ИИ, например, умная колонка или ассистент в смартфоне, воспринимает звук как набор числовых данных и ищет в нем паттерны: слова, интонацию, команды. Исследователи нашли способ добавить в аудиопоток «шум», который человеческое ухо не различает, но нейросеть читает как конкретную инструкцию. Это и есть так называемый звук-паразит — враждебный звук, заточенный под конкретную модель.
Ключевое слово здесь — «заточенный». Чтобы создать такой сигнал, атакующему нужен доступ к весам модели: это внутренние числовые параметры, которые определяют, как именно ИИ «думает» и интерпретирует входящие данные. Без них подобрать нужный звуковой паттерн практически невозможно — это как взломать замок, не зная его конструкции.
Источник: hi-tech.mail.ru