Блогер PewDiePie в новом ролике «STOP. Using AI Right now» показал, как собрал у себя дома систему для локального ИИ примерно за $20 тыс и запускает на ней «совет» ИИ-агентов. В нем несколько моделей отвечают на вопрос, а затем голосуют за лучший ответ.
Судя по разбору тех-СМИ, у него десять видеокарт: восемь модифицированных RTX 4090 с 48 ГБ памяти и ещё две RTX 4000 Ada. Такая конфигурация позволяет тянуть крупные открытые модели на собственном железе.
Интересно, что блогер экспериментировал с «выбыванием» из совета — по правилу, если какой-то ИИ постоянно давал ответы, которые не побеждали, то его заменяли на новый. Но как только блогер сообщил об этом правиле моделям, они ответили кооперацией, начав голосовать таким образом, чтобы все оставались в совете. PewDiePie назвал это предательством.
Помимо «совета» PewDiePie экспериментировал с «роем» из десятков малых моделей (до 64), запуская их параллельно для сбора и структурирования данных. Пока для максимальной эффективности не хватает возможностей системы, но блогер считает, что в некоторых сценариях такая конфигурация полезна.
PewDiePie мотивирует свой подход тем, что система локальных моделей дает ему приватность, контроль над данными и избавляет от зависимости от облачных сервисов. Блогер призывает отказываться от ИИ-подписок, вместо этого разобравшись в настройке и запуске моделей самостоятельно. Сам он далее планирует дообучить одну из моделей «под себя».
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com