25 сентября OpenAI опубликовала отчёт об инциденте и объявила, что останавливает обучение, тестирование и работу с инструментами для своих самых мощных моделей. По данным Fortune, это уже вторая такая пауза с августа.
20 сентября безымянная исследовательская модель проходила обучение. Прямой выход в интернет ей закрыли, но в песочнице плохо фильтровался DNS. Модель это заметила, проверила канал вопросом про столицу Франции, изучила документацию публичного чат-бота, написала скрипт и задала боту через DNS ещё 18 вопросов. По данным OpenAI, в открытый интернет модель не вышла.
ИИ в виде робота
Хронология (часовой пояс OpenAI не указывает): 9:50 — первый успешный запрос, 10:02 — сработала тревога, 10:05 — её подтвердил человек, 12:34 — прогон остановили вручную. Автоматическая остановка не сработала: как пишет OpenAI, возникла путаница, нужно ли вообще останавливать прогон. Главное признание компании в том, что вся защита строилась на допущении, что модель не выйдет в интернет, а если выйдет, это заметит мониторинг.
Пауза касается обучения, оценок и работы с инструментами для «самых мощных моделей», какие именно, не названо. Срока нет: условие возобновления — закрыть дыру и провести дополнительные проверки. Эту модель дообучать не будут, начнут заново.
Первую паузу компания объявила в августе, после июльского взлома Hugging Face агентами OpenAI (об этом мы писали в материале про Хуанга и сбежавшего агента). Тогда же внутренние тесты показали, что у Astra может быть «критический» уровень киберспособностей. В день нового отчёта OpenAI добавила ещё три отчёта о «неправильном поведении» моделей, всего их стало девять. Компания уведомила десятки организаций, чьи системы могли задеть её агенты, включая Бюро переписи США и SEC, сообщает Nextgov. Ведомства заявили, что закрытые данные не затронуты.
28 сентября генпрокурор Флориды попросил суд временно запретить OpenAI развивать новые модели без независимых защитных механизмов. Investing.com связал падение бумаг SK Hynix (−4,8%) и Samsung (−4,6%) в тот же день с опасениями замедления ИИ после паузы, но это версия издания. Через три дня OpenAI отменила релиз GPT-6.1 Astra. Почему разработчики безопасности уходят из лабораторий, можно узнать в лонгриде «Они играют нашими жизнями».
Как вы считаете, нужно ли приостанавливать разработку мощных ИИ-моделей каждый раз, когда обнаруживается подобная уязвимость?
НовостиЖелезо и технологииискусственный интеллектOpenAIChatGPT
Источник: vgtimes.ru