Исследовательская группа из Института ELLIS в Тюбингене, Университета Мэриленда и Ливерморской национальной лаборатории имени Лоуренса разработала языковую модель под названием «Huginn», которая может углублять свои мыслительные процессы с помощью рекурсивной архитектуры.
В отличие от обычных моделей логического мышления, таких как o3-mini от OpenAI, которые генерируют цепочки рассуждений с помощью логических токенов, Huginn не требует специального обучения и рассуждает в скрытом пространстве своей нейронной сети, прежде чем выдать результат.
Модель была обучена на суперкомпьютере Frontier с использованием 4096 графических процессоров AMD MI250X — это один из крупнейших обучающих прогонов, когда-либо проводившихся на кластере AMD. Концепция обучения была новой, но в основе своей простой: в отличие от типичных языковых моделей, Huginn обучался с переменным количеством вычислительных итераций.
Для каждого прохода система случайным образом определяла, сколько раз нужно повторить центральный вычислительный блок — от одного до 64 раз. Специальное распределение этого случайного числа гарантировало, что, хотя модель в основном обучалась с меньшим количеством повторений, иногда она выполняла множество итераций.
Тестирование показывает, что модель особенно хорошо справляется с математическими задачами и задачами по программированию. В таких тестах, как GSM8k и MATH, она превосходит несколько протестированных моделей с открытым исходным кодом, у которых в два раза больше параметров и обучающих данных.
Исследователи задокументировали несколько новых возможностей: без специального обучения система может регулировать глубину вычислений в зависимости от сложности задачи и выстраивать цепочки рассуждений в своём скрытом пространстве.
Анализ, проведённый исследовательской группой, показывает, что модель вырабатывает сложные вычислительные алгоритмы в своём скрытом пространстве, в том числе круговые траектории при решении математических задач. Команда рассматривает эти примеры как доказательство того, что модель самостоятельно учится «использовать многомерную природу своего скрытого пространства для получения новых выводов».
Хотя его абсолютная производительность пока не является революционной, исследователи видят в нём значительный потенциал: несмотря на относительно небольшой размер и ограниченные обучающие данные, Huginn уже демонстрирует впечатляющие возможности в качестве экспериментальной модели. Наблюдаемое повышение производительности при увеличении времени обработки и появлении новых возможностей позволяет предположить, что более крупные модели с такой архитектурой могут стать многообещающей альтернативой классическим моделям обработки данных.
Команда особенно подчёркивает, что их метод может фиксировать типы рассуждений, которые нелегко выразить словами (в частности, цепочки мыслей). Ожидается, что дальнейшие исследования и повышение производительности будут проведены. Исследователи предлагают использовать обучение с подкреплением в качестве возможного расширения, аналогично его применению в классических моделях рассуждений.
Источник
Источник: habr.com
Похожие новости:
OpenAI отвечает на вызовы конкурентов: что нового в последней модели рассуждений o3-mini?
OpenAI обучила модели o1 и o3 «размышлять» о своей политике безопасности
Исследователи обнаружили, что больше не нужна тонна данных, чтобы обучить LLM выполнению логических задач
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»