Чтобы приблизиться к настоящему универсальному ИИ (AGI), модель должна уметь дообучаться без остановки — впитывать новые факты и навыки прямо по ходу работы. Новое исследование лаборатории Zyphra показало, что большие языковые модели справляются с этим плохо: после долгого обучения они постепенно теряют саму способность усваивать новое. Важно не перепутать: речь не про забывание и не про «поглупение». Старое модель помнит прекрасно — она именно разучивается учиться. Похоже на опытного сотрудника, который ничего из накопленного не растерял, но за годы в одной колее все тяжелее берется за незнакомые задачи. У этого явления есть имя — потеря пластичности.
Читать далее
Источник: habr.com