Ян Лекун представил LeJEPA — простой и эффективный подход к self-supervised обучению, который избавляется от большинства традиционных сложных трюков. Ранее для предотвращения коллапса признаков в обучении моделей использовались stop-gradient, сети «учитель-студент» и другие эвристики. LeJEPA заменяет их одним регуляризатором — SIGReg (Sketched Isotropic Gaussian Regularization).
Задача SIGReg — равномерно распределять векторы признаков в пространстве, формируя изотропное сферическое облако. Лекун доказал, что такая структура математически оптимальна для минимизации ошибок на будущих задачах, обеспечивая стабильность обучения и более предсказуемые результаты.
На практике LeJEPA упрощает масштабирование моделей и оценку их качества. В тестах модель с 1.8 млрд параметров достигла 79% точности на ImageNet-1K, показывая конкурентоспособные результаты без сложных эвристических приёмов.
Исследователи отмечают, что подход LeJEPA открывает возможности для более стабильного и универсального self-supervised обучения, сокращая время и ресурсы на настройку моделей. Код доступен для изучения и внедрения на GitHub, что делает метод привлекательным для академических и индустриальных команд.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник
Источник: habr.com