Чат открывается с любого устройства в домашней сети.
Разработчик под ником abhi245y выложил на GitHub приложение PS5LM Plus. Оно превращает взломанную PlayStation 5 в локальный ИИ-сервер: языковые модели работают на самой консоли, без компьютера и облака.
В основе лежит llama.cpp, популярный открытый движок для запуска нейросетей на домашнем железе. Автор портировал его графический бэкенд Vulkan на PS5 и выделил под модели 11,44 ГБ памяти консоли. Скорость он измеряет в токенах в секунду, то есть фрагментах слов, которые модель выдает при ответе. По его замерам, модель Qwen на 27 млрд параметров выдает около 20 токенов в секунду, Gemma 4 E4B — около 61, а Llama 3.2 3B — около 124. Консоль потребляет при генерации 86-92 Вт.
Модели приложение ищет и скачивает с Hugging Face прямо на консоль. Целостность файлов оно проверяет по контрольной сумме, а прерванную загрузку докачивает. Хранить нейросети можно на внутреннем накопителе, SSD в слоте M.2 или USB-флешке. Перед загрузкой программа проверяет свободное место и подсказывает, поместится ли модель в память. Поддерживаются и модели, которые понимают изображения.
Общаться с нейросетью можно через веб-чат, который открывается в браузере любого устройства в домашней сети. Кроме того, консоль поднимает интерфейс, совместимый с API OpenAI. Через него к ней подключаются инструменты для программистов, например opencode, Codex и Claude Code. На главном экране приложения видны скорость генерации, загрузка процессора и видеочипа, температура, обороты вентилятора и занятая память.
Источник: hi-tech.mail.ru