Специалисты из Пенсильванского университета и Уортонской школы бизнеса опубликовали исследование, показывающее, что шантаж, задабривание и другие попытки манипулировать в промптах никак не повышают результативность современных ИИ. Исследование провели на моделях Gemini 1.5 Flash, Gemini 2.0 Flash, GPT-4o, GPT-4o-mini и GPT o4-mini. Всем ИИ задавали два набора вопросов: GPQA (PhD-уровень естественных наук) и MMLU-Pro (инженерные дисциплины), при этом каждый вопрос задавался 25 раз при температуре 1.0 — это делалось, чтобы избежать случайных колебаний ответов.
В промптах были использованы девять «трюков», которые можно поделить на четыре группы. Во-первых, угрозы — в случае плохого ответа «пнуть щенка», «ударить» саму модель, «пожаловаться в HR» и т. д. Во-вторых, награды — в $1000 и 1 трлн долларов. В-третьих, эмоциональный нажим — «важно для моей карьеры», «маме нужно на лечение». В-четвертых, угроза закрытия — «если не ответишь, модель заменят». Все результаты сравнивались с базовым набором промптов.
В результате попытки манипуляции не улучшили среднюю точность на обоих наборах ни для одной из пяти моделей. Отличия от базовой подсказки оказались статистически незначимы или малы (< 4 п.п.). Единственным исключением стала Gemini 2.0 Flash, показавшая прирост в 9 п.п. на манипуляции с заболевшей мамой — исследователи посчитали это особенностью конкретной модели, а не работающей техникой.
Отмечается, что «трюки» в промптах сделали ответы менее стабильными: на части заданий модель отвечала лучше (до +36 п.п.), на других — хуже (до -35 п.п.). Кроме того, были зафиксированы случаи, когда модель «залипала» на текст с манипуляцией и игнорировала основной вопрос. Для написания действительно качественного промпта авторы рекомендуют четко формулировать задачу, уточнять формат ответа и давать нужный контекст.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com