Исследователи из Epoch, MIT FutureTech и Северо-Восточного университета узнали, как языковые модели смогли так сильно развиться за 10 лет своего существования
В прошлом, лучшие языковые модели были маленькими, и им было трудно составить связные предложения. Но сейчас ситуация сильно изменилась: появились огромные языковые модели, такие как GPT-4, которые превосходят многих американских студентов по тесту SAT. Как произошёл такой стремительный прогресс?
В новом исследовании учёные из Epoch, MIT FutureTech и Северо-Восточного университета попытались разобраться в этом вопросе. Они выделили два ключевых фактора, которые способствовали прогрессу в языковых моделях: увеличение объёма вычислений, используемых при обучении, и алгоритмические улучшения.
Результаты исследования показывают, что за счёт улучшений в алгоритмах объем вычислений, необходимых для обучения языковых моделей, сократился примерно в два раза каждые восемь месяцев. Это важное открытие помогает лучше понять процесс развития языковых моделей и предсказать их будущее развитие.
Источник: www.ferra.ru
Похожие новости:
Онлайн Last Epoch в Steam превысил 220 тысяч игроков: это больше, чем у Path of Exile
В Steam вышел диаблоид с высоким рейтингом, который 5 лет находился в раннем доступе. Его онлайн сразу же вырос в 50 раз
Исследование: цензуру языковых моделей можно обойти с помощью ASCII-арта
Google представила открытые языковые модели Gemma