На прошлой неделе интернет облетела пугающая история того, как у Gemini 2.5 Pro в Cursor после неудачной попытки исправить компилятор случилось что-то вроде нервного срыва. Модель ушла в непрерывный цикл самоунижения, раз за разом повторяя фразы вроде «баг не в коде, а во мне», «я провалился», «я позор для своей профессии» и так далее:
Фрагмент размышлений модели
Оказывается, эта история была не единственной — о подобном поведении моделей серии Gemini 2.5 пользователи сообщали уже несколько месяцев. В одном из ранних примеров модель, наговорив гадостей про саму себя, даже удалила все файлы неуспешного проекта.
Логан Килпатрик, ведущий продакт-менеджер Google AI Studio объяснил такое поведение «раздражающим багом бесконечного цикла». Проблема не в «настроении» модели, а в ее инструкциях, которые просят в случае ошибки провести проверку, извиниться и попробовать еще раз. В редких случаях Gemini «застревает» в этих инструкциях, что заставляет ее извиняться все активнее, а затем переходить к самоуничижению.
По словам Логана, Google уже работает над исправлением ошибки. Пока же пользователям рекомендуется при возможности избегать длительных диалогов с моделью, так как почти все «нервные срывы» случались во время многоэтапного программирования.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com