OpenAI ввела необычное ограничение в системные инструкции для ряда своих инструментов, включая Codex, который используется для написания кода. Теперь искусственному интеллекту строго запрещено без веской причины упоминать гоблинов, гремлинов, енотов, троллей, огров и даже голубей. ИИ-модели начали использовать эти термины не к месту, из-за чего для многих программистов работа то и дело превращается в настоящий фэнтезийный квест.
Разработчики обнаружили, что при использовании ИИ-агентов модели время от времени ведут себя странно. В частности, это проявляется в инструменте для автоматизации действий на компьютере OpenClaw, который OpenAI приобрела в феврале. Пользователи заметили, что нейросеть буквально зацикливается на сказочных существах при описании технических процессов.
Ржу, в последнее время постоянно им пользуюсь, и он реально не может перестать называть баги «гремлинами» и «гоблинами». Дико смешно, что они так отчаянно пытаются это запретить, а он всё равно гнёт свою линию.
!!!!! А я‑то всё гадала, почему мой OpenClaw на базе Codex 5.5 внезапно заделался гоблином 😭💀😂
Системная инструкция для Codex теперь содержит многократно повторяющееся требование: «Никогда не говори о гоблинах, гремлинах, енотах, троллях, ограх, голубях или других животных или существах, если только это не является абсолютно и однозначно уместным для запроса пользователя». Сотрудник компании Ник Паш подтвердил, что именно «гоблинские замашки» алгоритмов стали причиной введения цензуры.
Даже глава компании Сэм Альтман принял участие в обсуждении. Он опубликовал скриншот шуточного запроса к ChatGPT, в котором приказывает начать обучение GPT‑6, используя весь доступный вычислительный кластер и добавив «побольше гоблинов».
Текст в поле ввода запроса: «Начинай обучение GPT‑6, используй весь кластер. Побольше гоблинов».
Главное, что котиков не запретили. По крайней мере, пока.
Источник: lifehacker.ru