Google представила новую парадигму искусственного интеллекта — Nested Learning, или вложенное обучение, которое позволяет моделям учиться как человек и сохранять уже приобретённые знания. В отличие от классического подхода, когда новые данные могут частично стирать старые навыки, Nested Learning интегрирует новую информацию внутрь существующей структуры знаний, словно слой внутри слоя.
Подход рассматривает модель как набор вложенных, многоуровневых задач оптимизации, каждая из которых имеет свой поток контекста и частоту обновлений. В основе лежит концепция Continuum Memory System (CMS) — память рассматривается как спектр модулей, обновляющихся с разной периодичностью, что позволяет эффективно управлять старой и новой информацией.
Это даёт несколько ключевых преимуществ. Модель сохраняет предыдущие умения, адаптируется к новым задачам и учитывает контекст работы. Она понимает, в каком режиме работает, что делает поведение гибким и более разумным. В качестве прототипа Google представила архитектуру HOPE, которая демонстрирует лучшие результаты по языковому моделированию и задачам с длинным контекстом по сравнению с обычными трансформерами.
Nested Learning помогает преодолеть проблему катастрофического забывания (catastrophic forgetting), когда новая информация стирает старую, и открывает путь к созданию систем непрерывного обучения. Такой подход приближает искусственный интеллект к человеческому типу обучения: постепенному, поэтапному и адаптивному, позволяя моделям учиться бесконечно и эффективно применять накопленный опыт.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник
Источник: habr.com