Сэм Альтман рассказал ведущей подкаста Huge Conversations Клио Абрам о том, что часть пользователей ChatGPT просила компанию сохранить заискивающий (sycophantic) стиль общения GPT-4o, в котором модель оптимистично поддерживала почти все, что говорил ей пользователь. Напомню, что модель некоторое время демонстрировала подобное поведение после неудачного обновления в апреле. Тогда в OpenAI сочли поведение обновленной 4o опасным, так как ИИ соглашался даже с идеями, которые могли навредить пользователю (например, прекратить принимать лекарства).
Но когда GPT-4o сделали более критчным, в OpenAI стали получать просьбы вернуть старую личность. Глава OpenAI назвал причину «душераздирающей»: некоторые пользователи писали, что в их жизни никогда прежде не было никого, кто их поддерживал. Авторы некоторых писем признавали, что понимают, почему sycophantic-личность может навредить другим пользователям, но говорили, что она полезна для них.
По словам Альтмана, учитывая масштаб аудитории ChatGPT, на компании лежит огромная ответственность. Он отметил, что один исследователь способен внести небольшие изменения в стиль общения модели — и это уже означает колоссальную власть, когда один человек может повлиять на то, как ChatGPT будет разговаривать с каждым пользователем. Именно поэтому, подчеркнул он, крайне важно понимать последствия любых изменений «личности» модели и подходить к ним с особой осторожностью.
В GPT-5 компания дала пользователям выбор из нескольких персоналий модели: циник (cynic), нейтральный (robot), слушатель (listener), нерд (nerd), а также базовую личность (default) — в ней ИИ подстраивается под стиль общения пользователя.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com