Команда Google представила исследование, в котором показала: современные языковые модели с режимом «длинных рассуждений» часто переусердствуют. На простых запросах они выполняют в пять–двадцать раз больше «мысленных шагов», чем нужно, — а точность почти не растет. Это значит, что часть вычислительных мощностей и токенов расходуется впустую.
Для анализа Google разработала инструмент TRACE, разбивающий длинный ответ модели на отдельные «под-мысли» и строящий граф хода рассуждений. Так удалось выявить два основных шаблона:
«исследователь» — модель быстро находит верный ответ, но не останавливается на нем, а продолжает искать альтернативные варианты;
«поздняя посадка» — модель быстро находит верный ответ, но уходит в долгий цикл самопроверок.
Авторы отмечают, что даже простые «стоп-сигналы» — например, обрыв после нескольких подряд самопроверок или при повторе того же ответа — могут сократить длину вывода на 40–60%, почти не влияя на качество. Для пользователей это сократит расход токенов при работе по API, а также ускорит получение ответа.
Исследование ограничено открытыми моделями из семейства Qwen3 и DeepSeek R1 — их часто используют для проверки научных гипотез. Но стоит отметить, что к похожему выводу недавно пришли специалисты OpenAI, которые добавили в ChatGPT возможность выбирать из нескольких режимов, которые меняют количество ресурсов на рассуждения.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com