Стартап Миры Мурати Thinking Machines Lab предложил способ резко снизить цену доводки модели под конкретные задачи заказчика — дорогом и капризном этапе, когда модель насыщают знаниями о конкретной сфере деятельности компании и учат следовать инструкциям. В экспериментах компании экономия составила до 30 раз.
Ключевая идея подхода, который в компании называют «дистилляция по собственной политике» (on-policy distillation), состоит в том, что дообучаемая модель сначала сама пытается решить задачу, токен за токеном, а затем более сильная модель выступает как наставник и помечает каждый шаг рассуждения: где ход разумный, а где она уже уводит себя к ошибке. В классическом обучении с подкреплением модель тоже учат на ее собственных попытках, но обратная связь там редкая и дорогая — обычно дается только «в конце эпизода», без указания, где именно она оступилась. Thinking Machines утверждает, что в их схеме модель учится исправлять именно свои реальные ошибки.
Команда показывает это на примере сложных математических задач. По их данным, стандартный путь через обучение с подкреплением у команды Qwen3 потребовал порядка 17 920 часов работы графических ускорителей. В эксперименте Thinking Machines сопоставимое качество было достигнуто за примерно 1 800 часов, то есть примерно в десять раз дешевле. Максимальная экономия, показанная с помощью «дистилляции по собственной политике», составила 30 раз.
Также метод решает другую важную проблему ИИ — так называемое катастрофическое забывание, когда при дообучении новые знания вытесняют старые. Выглядит это так: в модель вливают внутренние документы компании, она становится умнее по фактам, но теряет манеру вежливого помощника — хуже слушает формулировки запроса, путает стиль ответа, местами начинает самоуверенно галлюцинировать. В статье показано, что после такой «порчи» модель можно прогнать через дистилляцию по собственной политике, используя более раннюю, «воспитанную» версию той же модели как учителя. В результате модель сохраняет новые знания, но ей возвращаются послушность инструкциям и аккуратный тон. Авторы прямо называют это заготовкой для циклического непрерывного обучения, когда в модель можно добавлять новые знания регулярно, не теряя в качестве ответов.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com