Развитие искусственного интеллекта из нечто сложного и неосязаемого, понятного в основном лишь математикам, постепенно превращается во всё более осознанное «предприятие». Работа и развитие(в том числе процесс обучения) ИИ выстраиваются в некие чёткие структуры, которые со временем, как и вычислительные мощности на которых нейросети создаются, упираются в свои возможности и которые без резкого увеличения производительности «железа» обойти кажется невозможным…
Собственно описанная выше достаточно запутанная теория чуть лучше объяснится, если представить весь пласт одного мощного компьютера с мощной видеокартой в роли ЭВМ для работы с ИИ. Нейросеть не учится и не выполняет запросы просто так. Для каждого механизма обучения и общения выстраивается алгоритм и открывается сессия взаимодействия, которую можно представить в виде «пузыря». Максимальный объём пузыря — выделенный блок оперативной памяти, скорость и эффективность заполнения пузыря — мощность видеокарты и объём её видеопамяти. Соответственно, при достаточно длительной сессии исполнения задания или обучения, та упирается лимит ОЗУ и далее начинает выгружать информацию полученную в самом начале и теряет часть возможностей или рушит пузырь целиком. Этот процесс на самом деле ещё сложнее, ведь пузырь — сессия во время своей работы частично выгружает файлы обучения и обработки на жёсткий диск и забирает их оттуда по мере необходимости.
Но также стоит понимать, описанная модель идеальна(и притом уже несовершенна), в реальности же, те же сервера ChatGPT или Grok работают с миллионами сессий(пузырей) и огромным банком данных(знаний). На такие объёмы исполнений операций требуются всё более дефицитные оперативная память и видеокарты большой мощности, — для увеличения числа, размеров и объёмов сессий. И из всего выше сказанного возникает вопрос: а правильно ли выстроен рабочий процесс нейросетей по всему миру и можно ли его изменить или оптимизировать?
Группа китайских профильных учёных предложила принципиально новый способ взаимодействия ЭВМ и сессии — пузыря ИИ, назвав его архитектурой FS-Researcher. Подход предполагает разделение сессий по функционалу, где одни(Context Builder), как и прежде взаимодействуют с конечным пользователем, а другие(Report Writer), являются посредниками между Context Builder и общим банком данных/знаний. Вторая сессия изымает из первой почти сразу бОльшую часть данных и помещает их в общий банк данных, а у себя оставляет лишь отчёт с тем, где в этом общем банке данных быстро найти нужную информацию, тем самым являясь для конечной сессии — пузыря неким файловым менеджером, откуда можно оперативно взять выгруженные файлы. Соответственно сессия Context Builder не растёт так быстро за счёт необходимости хранить в себе всё, что позволяет сделать её длиннее и эффективнее.
Процесс моделирования работы с ИИ с помощью подхода FS-Researcher показал возможность работы с каждой сессией в течении на порядок более длительного временного цикла и с возможностью оперировать гораздо бОльшими объёмами информации. В итоге, в теории подход может на порядок расширить возможности нейросетей, как в моменте обучения, так и в моменте исполнения задач, что откроет дополнительные широчайшие возможности их применения.
p.s. Ну а по факту мы видим всю эффективность разделения труда в действии)
Вам может быть интересно: Представлен геймплей ремейка RPG Fable
The post Если работу ИИ дробить на модули с распределением ролей, то он становится значительно эффективнее appeared first on AMD news.
Источник: amd.news