Anthropic предупредила о возможном появлении ИИ, который сможет самостоятельно ускорять разработку новых поколений нейросетей. Компания рассказала об этом в обновлённом проспекте S-1/A, поданном в Комиссию по ценным бумагам и биржам США перед IPO. Подписывайтесь на Telegram-канал про технологии
Речь идёт о рекурсивном самосовершенствовании, при котором ИИ начинает настолько эффективно участвовать в обучении новых моделей, что темпы развития технологии могут резко вырасти. В Anthropic считают такой сценарий одновременно перспективным и опасным, поскольку возможности систем могут опередить разработку средств защиты.
Компания уже использует собственные модели в исследованиях и создании новых ИИ. При этом Anthropic признала, что иногда замечает ускорение прогресса только задним числом. Отследить реальные темпы развития непросто, поскольку внутренние оценки во многом основаны на данных, которые поступают с задержкой.
По прогнозам компании, будущие модели могут в ближайшее время достичь уровня, при котором ИИ будет заметно ускорять собственную разработку. Ни одна из существующих моделей пока не признана достигшей этого порога.
При этом Anthropic не рассчитывает в ближайшее время полностью передать Claude разработку новых поколений нейросетей без участия человека. Компания рассматривает дополнительные меры контроля, которые должны снизить риски. Стоит учитывать, что документ одновременно служит подготовкой к IPO и рекламой бизнеса, поэтому заявления о скором появлении подобных технологий стоит воспринимать с некоторой осторожностью.
Источник: trashbox.ru