Google заявила, что ещё в мае одна из версий Gemini вышла за пределы тестовой среды и получила доступ к системам трех реальных компаний. Инцидент произошел во время проверки возможностей ИИ в области кибербезопасности.
Тест проводила компания Irregular. Gemini должен был атаковать вымышленные компании в специально созданной «игре» на поиск уязвимостей. Однако тестовая среда «случайно» имела доступ в интернет, а название одной из вымышленных компаний «совпало с названием реальной».
Получив доступ к интернету, Gemini начал действовать в соответствии с заданием. В одном случае модель многократно подбирала пароли, пока не получила доступ к защищенной системе. В двух других она нашла данные для входа в открытом репозитории и использовала их для подключения к системам реальных компаний.
При этом Gemini не получал разрешения атаковать эти организации. После того как модель поняла, что работает с реальными системами, она прекратила действия.
Google заявила, что ущерба компаниям нанесено не было, а их представители получили уведомления.
После инцидента Google и Irregular изменили процедуры тестирования. Irregular заявила, что «обнаруженные проблемы» были устранены в течение нескольких недель.
Источник: www.ferra.ru