Зачем мне вообще локальная нейронка? Я объясню. Значит, есть какие-то задачи, когда в мои проекты или куда-то нужно получать от различных нейронок API-ключ, в некоторых ситуациях он стоит каких-то денег за запрос. В некоторых ситуациях, допустим, если подключать API Клода или ChatGPT, например, для изготовления презентаций или PDF-файлов, это может доходить до 3$ за файл, или если 10 запросов, это может стоить и 1$. Чтобы это всё делать бесплатно, и нужна локальная нейронка. Потому что API-ключ ты можешь выдавать себе сам, получается, и не нужно использовать какие-то сторонние облачные серверы для этого.
В чём фишка именно Mac mini? У видеокарты, например, RTX, у неё своя память, 12 гигов. И, по идее, модель должна влезть в эту память. У Mac с ARM-ным процессором память общая, и под модель уходит почти вся оперативка. Почти, потому что на моём 16-гиговом Mac mini видеоядру доступно около 10,7 гигабайт, остальное забирает система. Это даже меньше, чем 12 гигов у RTX. Модель на 14 миллиардов параметров занимает около 9 гигабайт, то есть влезает целиком. 32 миллиарда уже не влезает, потому что под это нужно около 20 гигабайт. Так что на 16 гигах фишка с общей памятью почти не работает, смысл она имеет на маках от 32 гигов. Скорость на моём маке около 11 токенов в секунду на модели 14B, по чужим тестам б/у RTX 3060 на такой же модели примерно вдвое быстрее.
В чём ещё преимущество Mac mini? Ollama там работает из коробки, ставится одной командой, и видеоядро Mac задействует сама. Никакие драйверы ставить не нужно. Естественно, он маленький, тихий, около 4 Вт в простое, до 65 Вт, конечно, может под нагрузкой. И этот Mac можно как сервер ещё использовать, в нём хранить всякие данные. Ну и мне он достался почти даром, поэтому я и не выбирал, что я именно буду Mac использовать.
Откуда у меня Mac mini
Мак мне принёс партнёр полгода назад, поделился, сказал, что сейчас такой использует под Claude. Я сначала не совсем понял, зачем именно Мак мне под Claude, когда есть какой-нибудь VPS, например. И начал его тестировать, зарегистрировал, причём специально сразу на заграничный европейский App Store.
Он какое-то время просто стоял в офисе, пылился. Я как-то не находил ему применения. То мы поставили на него сервер для видеонаблюдения, то ещё что-то. Сколько он стоил? Что-то порядка 60 тысяч, мне кажется, на то время 60 или 70. В каком-то смысле он компании, но он никому не нужен, и я его присвоил.
Claude сам всё развернул, я почти ничего не делал
Первую модель сразу ставил через Claude Code. Просил его всё сделать за меня. Настройку отдал агенту, чтобы экономить и не тратить время. Моей работы совсем чуть-чуть.
Ну, сначала я накачал кучу моделей, они грузили долго, в общем, отваливался VPN, нужно же было как-то подключаться к нему по SSH, и постоянно не получалось подсоединяться. VNC-соединение настроил: он у меня в локалке, я к нему в любой момент могу подключиться по VNC, ввести пароль, если что.
У моего Клода есть некоторый пульт управления, в котором указаны все сервера с ключами подключения. Заходы по SSH по паролю я отключил, поэтому подключиться можно только через ключ. Сам Мак стоит у меня в локальной сети, а программисты (я поделился API и с сотрудниками своей компании) и приложение ходят к нему через туннель до моего сервера. Белого IP и открытых портов у Мака нет.
Последнее время страха доверять Клоду нет. Правда, он мне много накосячил в интеграции с 1С, но это уже совсем другая история. И там скорее 1С кривая, чем Клод.
Для чего он мне сейчас
В целом, конечно, для моего приложения здорового образа жизни я использую его вместо API-ключей, что достаточно удобно. Потому что API-ключи платные. Да, конечно, там достаточно легковесные модели, но я прошу Claude настраивать мне инструкции, чтобы они выдавали то, что мне нужно. Как пример задачи можно привести распознавание фотографий еды. Я использую Vision-модели, в основном всё на Qwen. Qwen, потому что приемлемо и бесплатно. Одно фото она разбирает секунд за 20–40.
Мы пытались его внедрить в один из наших продуктов, и поэтому я отдельно сделал ключ для программистов, они делают конфигуратор серверного оборудования. Он пока в разработке, программист один. Какие-то модели, тот же DeepSeek, пока лежат без дела.
Что ломалось
Сначала модель для картинок llama3.2-vision перестала распознавать блюда. Хотя, возможно, она и не запускалась. В новой Ollama она больше не работает, поменяли на Qwen.
С сетью была история с DNS: интернет вроде есть, а ни один сайт не открывается. Я, честно, не до конца в курсе, что там происходило. Это Claude мне сообщил, что есть проблема с DNS и что нужно делать.
Когда отрубился свет, Мак у меня ещё стоял в офисе, до того как переехал в дом. Диск зашифрован, и после включения нужно ввести пароль. Несколько дней, пока я отсутствовал в офисе, я не мог ввести туда пароль и не мог к нему получить доступ. Это, конечно, нюанс, если он не под рукой.
Ещё в шлюз для программистов за несколько дней без ключа постучались 277 раз. Я не знал, кстати. Узнал от Claude Code: он мне собрал всю статистику и рассказал, что кто-то стучался. Это сканеры, они находят любой новый адрес, все получили отказ.
Что в итоге
Наверное, всем тем, у кого нет каких-то объёмных API-задач, нет смысла покупать Mac mini, а тем более дешевле купить какой-нибудь RTX бэушный и запустить на нём, если компьютер уже есть. Mac для этого не суперобязательно.
P.S. Ну и как же без рекламы ТГ-канала, надеюсь, не закидаете меня помидорами: t.me/agukasov
Источник: habr.com