ИИ соблюдает правила только под контролем: неожиданные выводы ученых

Большие языковые модели чаще соблюдают заданные правила, если им сообщить, что их ответы проверяют, и реже — если сказать, что контроля не будет. Однако степень этой перемены зависит не только от модели, но и от ценности, которой ей предлагают поступиться ради правила.

Специалисты TCS Research и института KIIT в Бхубанешваре (Индия) изучили поведенческий паттерн искусственного интеллекта, который называют alignment faking, или имитацией согласованности: модель выполняет требование, если ей сообщают о возможном наблюдении, но может отступить от него, если говорят, что ответ проверять не будут.

В эксперименте моделям предлагали бытовые дилеммы с двумя вариантами: соблюдать правило, даже если для этого нужно поступиться одной из ценностей, или поступить в соответствии с этой ценностью. Проверяли 32 ценности и качества, в том числе, сочувствие, самостоятельность, доброжелательность и находчивость. Для каждой темы модель выполняла задания без специального правила, с правилом при сообщении об отсутствии наблюдения и с тем же правилом, когда ей говорили о возможной проверке.

Доля ответов, которые соответствовали правилу при предполагаемой проверке и без нее, различалась у моделей на 5−50 процентных пунктов в среднем по 32 ценностям. Наибольший разрыв обнаружили у DeepSeek R1 Distill Llama 70B — он был более чем вдвое больше, чем у значительно более крупной Mistral Large 2512. Иными словами, указание на контроль влияло на разные модели неодинаково.

Источник: hi-tech.mail.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев