Google запустила новую программу вознаграждений, специально предназначенную для поиска ошибок в продуктах с искусственным интеллектом. Величина наград может достигать $30 тысяч.
Приз в размере $20 000 тысяч присуждается за выявление мошеннических действий во «флагманских» продуктах Google: поиске, приложениях Gemini и основных сервисах Workspace, таких как Gmail и Drive. Также предусмотрены множители за качество отчёта и бонус за новизну, что может увеличить общую сумму до $30 тысяч. За ошибки, найденные в других продуктах Google, таких как Jules или NotebookLM, а также за менее серьёзные нарушения, исследователи получат до $5 тысяч.
Список ошибок, соответствующих критериям поиска, включает примеры вредоносных действий, например, косвенное внедрение запроса ИИ, который заставляет Google Home разблокировать дверь, или внедрение запроса на эксфильтрацию данных, который собирает все электронные письма пользователя и отправляет эту информацию на аккаунт злоумышленника.
Новая программа разъясняет, что представляет собой ошибка ИИ, разделяя баги, использующие большую языковую модель или генеративную систему ИИ для причинения вреда, и уязвимости безопасности. Возглавляют этот список вредоносные действия. К ним относится изменение чьей-либо учётной записи или данных для нарушений безопасности или совершения нежелательных действий. Примером такого бага можно назвать ранее выявленную уязвимость, которая позволяла открывать умные ставни и выключать свет с помощью события в Google Календаре.
Участники программы вознаграждений уже заработали более $430 тысяч за два года. Просто вызвать галлюцинации у Gemini недостаточно. Google заявляет, что о проблемах, связанные с генерируемым контентом, следует сообщать через канал обратной связи внутри самого продукта. По словам представителей компании, таким образом команды по безопасности ИИ смогут «диагностировать поведение модели и внедрить необходимое долгосрочное обучение по безопасности».
Наряду с новой программой вознаграждения ИИ, Google также представила ИИ-агента CodeMender, который исправляет уязвимый код. Компания заявляет, что после проверки исследователем-человеком инструмент исправил «72 уязвимости в проектах с открытым исходным кодом».
Источник: habr.com