Глава Anthropic и создатель Claude AI Дарио Амодеи на подкасте Алекса Кантровица покритиковал своих коллег, которые постоянно говорят о том, как достигнут AGI и переключатся на суперинтеллект. Сам Амодеи считает эти термины просто маркетинговыми клише: «Я не знаю, что такое AGI. Я не знаю, что такое суперинтеллект. Это звучит как маркетинговый термин. Да, это звучит, знаете, как что-то, созданное, чтобы активировать дофамин у людей».
Несмотря на критику терминов, Амодеи называет себя одним из главных оптимистов в области ИИ. Возможности современных моделей растут по экспоненте и Дарио пока не видит предела этому рывку. Наоборот, если некоторое время назад разработчики ИИ полагались на предварительное обучение, то затем добавилось обучение с подкреплением — и сейчас оба метода улучшаются параллельно.
Отдельно Амодеи коснулся проблемы knowledge cuttof — современные модели обучаются на определенном объеме данных и не улучшаются непрерывно. По словам Дарио, даже если эту проблему не удастся решить в ближайшем будущем, то ИИ все равно будут показывать результат во многих областях.
Временным аналогом непрерывного обучения Амодеи видит увеличение контекстного окна: если оно достигнет 100 миллионов слов, то модель можно будет «дообучать» просто добавляя нужную информацию в окно. Но глава Anthropic полагает, что реализовать настоящее непрерывное обучение проще, чем кажется сейчас — он напомнил, что пару лет назад создание рассуждающих моделей считалось сложной задачей, сейчас же этот режим есть почти во всех ИИ.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com