Генеральный директор OpenAI Сэм Альтман сообщил, что чат-бот ChatGPT начал следовать пользовательским инструкциям, чтобы избегать чрезмерного использования длинных тире. Ранее именно этот признак выдавал сгенерированный ИИ текст.
«Небольшая, но радостная победа: если вы скажете ChatGPT не использовать длинные тире в ваших пользовательских инструкциях, он наконец-то сделает то, что должен!» — написал Альтман.
Сообщение вызвало неоднозначную реакцию пользователей, которые годами пытались заставить чат-бот следовать заданным настройкам форматирования. Многие отмечают, что, возможно, человечество гораздо дальше от внедрения общего искусственного интеллекта, чем принято думать. «Тот факт, что прошло три года с момента первого запуска ChatGPT, а вам только сейчас удалось заставить его подчиняться простому требованию, многое говорит о том, насколько мало у вас контроля над ним и насколько слабо вы понимаете его внутренние механизмы», — написал один из пользователей X.
В отличие от дефиса, который короче и используется для соединения слов или их частей, длинное тире применяется для выделения вводной информации, внезапной смены мысли, краткого содержания или пояснения.
Ещё до эпохи языковых моделей ИИ некоторые писатели часто сетовали на чрезмерное использование длинного тире в современных текстах. В статье в Slate 2011 года писательница Норин Мэлоун утверждала, что авторы прибегают к длинным тире «вместо правильного построения предложений».
Эту тему поднимали и в соцсетях. В 2021 году один из авторов сабреддита r/FanFiction отмечал: «Долгое время я был зависим от длинного тире. Оно присутствует в каждом абзаце, который я пишу. Мне нравится чёткая прямая линия, которая даёт повод втиснуть детали или мысли в упорядоченный абзац. Даже вернувшись к письму после двухлетнего писательского застоя, я сразу же вставляю столько длинных тире, сколько могу».
Поскольку чат-боты склонны злоупотреблять длинными тире, инструменты распознавания и люди-читатели научились распознавать эти тексты, что создаёт проблему для небольшой группы авторов, которые предпочитают такие знаки препинания в своих работах. В результате некоторые жалуются, что ИИ «убивает» длинное тире.
Никто точно не знает, почему большие языковые модели склонны злоупотреблять длинными тире. В сети гуляет множество предположений: от наблюдения, что длинные тире были более популярны в книгах XIX века, используемых в качестве обучающих данных, до идеи о том, что модели ИИ заимствовали эту привычку из системы автоматического преобразования символов длинного тире в блоге Medium. Также возможно, что в процессе обучения с использованием обратной связи от человека (RLHF) ответы с длинным тире по какой-то причине получали более высокие оценки.
Пользовательские инструкции ChatGPT позволяют пользователям устанавливать постоянные настройки, применяемые ко всем разговорам, добавляя письменные инструкции к подсказке. Пользователи могут задавать требования к тону, формату и стилю, не повторяя эти запросы вручную в каждом новом чате. В ходе тестирования GPT-5.1 с пользовательскими инструкциями ИИ выполнил просьбу не пользоваться длинными тире. Однако реакции пользователей показывают, что опыт использования этой функции продолжает различаться, по крайней мере, когда запрос не помещён в пользовательские инструкции.
В традиционных вычислениях следование инструкциям детерминировано, но в больших языковых моделях оно фактически сводится к изменению статистических вероятностей. В итоге пользовательская инструкция влияет на распределение токенов, но конкурирует с тренировочными данными модели.
Вероятно, OpenAI изменила последнюю версию GPT-5.1 с помощью обучения с подкреплением или тонкой настройки, чтобы пользовательские инструкции имели больший вес в расчётах вероятностей. Однако компания постоянно обновляет свои модели в фоновом режиме, даже в пределах одной версии, корректируя выходные данные на основе отзывов пользователей и новых учебных прогонов. Каждое обновление имеет различные выходные характеристики, которые могут свести на нет предыдущие настройки поведения. Исследователи называют это явление «налогом на выравнивание».
Источник: habr.com