Всего за 3000 рублей он получил 54 ГБ видеопамяти для запуска локальных моделей.
Пользователь Reddit под ником markpronkin купил на «Авито» списанную майнинговую ферму за 3000 рублей и превратил ее в домашний сервер для нейросетей. Об этом он рассказал в сообществе LocalLLaMA, где обсуждают запуск языковых моделей на собственном железе. Пост он озаглавил «54 ГБ видеопамяти за 35 долларов».
Изначально продавец просил за ферму 5000 рублей, но покупатель сторговался до 3000. Внутри стоят девять видеокарт NVIDIA P106. Это специальная версия GeForce GTX 1060 для майнинга криптовалют на архитектуре Pascal, которая вышла еще в 2016 году. У каждой карты по 6 ГБ видеопамяти, вместе получается 54 ГБ. Для локальных нейросетей объем видеопамяти особенно важен: от него зависит, какую модель вообще удастся загрузить.
На этой ферме автор запустил модель Qwen3.6 35B-A3B через программу Ollama и получил скорость больше 30 токенов в секунду. При этом у сборки хватает ограничений. Карты подключены через PCIe x1, то есть по одной линии вместо привычных шестнадцати, и это сильно тормозит обмен данными между ними. Кроме того, скорость работы нейросети зависит от пропускной способности памяти, а не только от ее объема, и здесь видеокарты десятилетней давности заметно уступают современным.
В ферме не оказалось даже SSD, поэтому систему пришлось загружать с флешки. Счета за электричество девяти карт автора не пугают: по его словам, электроэнергия достается ему бесплатно. Подобные эксперименты набирают популярность на фоне роста цен на современные видеокарты, а интерес к собственным языковым моделям только растет.
Источник: hi-tech.mail.ru