Лаборатории MIT выкатили фреймворк под названием Self‑Adapting Language Models (SEAL). Это не просто ещё один инструмент для тренировки моделей, SEAL позволяет ИИ… учиться самому у себя. Языковая модель, оснащённая SEAL, получает новую инфу, и, вместо того чтобы её проглотить и забыть, она запускает процесс саморедактирования.
Модель сама:
Реконструирует полученную информацию разными способами.
Генерирует на её основе свои собственные данные для дообучения (fine‑tuning).
Прописывает себе инструкции по оптимизации.
Применяет аугментацию данных и обновления на основе градиентов.
Затем, используя эти самоcгенерированные учебные материалы, модель применяет обучение с подкреплением (reinforcement iearning) — с помощью алгоритма ReST^{EM}, разработанного ребятами из Google DeepMind. Суть ReST^{EM} — в запуске множества циклов обучения и отборе лучшего результата. Иишник учится эффективно, отбирая топовые апдейты для себя.
А работает ли это на практике?
Команда MIT проверила SEAL на модели Qwen2.5-7B от Alibaba. Результаты — просто огонь. Изначально «голый» Qwen2.5-7B (красная линия на графике) отставал от матёрого GPT-4.1 (зелёная линия), но стоило применить SEAL и дать модели пройти всего два цикла самообучения — как она не просто догнала, а обошла GPT-4.1 по эффективности усвоения новых знаний.
Внедрение знаний из единичного источника. Красная линия (SEAL на Qwen2.5-7B) после 2 итераций поднимается выше зелёной (GPT-4.1)Но есть нюанс, куда же без него
Хотя кажется, что можно гонять самообучение бесконечно, в реальности начал проявляться эффект катастрофического забывания (catastrophic forgetting). Проще говоря, после многих циклов апдейта модель начинала забывать то, что знала раньше. Исследователи признают: нужен механизм, чтобы иишник не терял старые навыки, приобретая новые.
Ссылки:
Официальный пост и детали: Self‑Adapting Language Models (SEAL);
Статья на arXiv: 2506.10943 Self‑Adapting Language Models;
Исходники на GitHub: Continual‑Intelligence/SEAL.
Подписывайся на наш телеграм‑канал BotHub AI News, чтобы быть в курсе новостей из мира IT.
Источник: habr.com