Пользователь Reddit под ником AdIllustrious7246 превратил взломанную PlayStation 5 в локальный сервер для языковых моделей. Он доработал проект PS5LM и запустил на консоли сжатую версию Qwen3.8-27B с 27 млрд параметров. В представленном тесте скорость генерации составила 20,9 токена в секунду.
Оригинальный PS5LM выполнял вычисления на центральном процессоре и располагал примерно 6 ГБ памяти. Энтузиаст перенес llama.cpp в полноценное приложение для PS5, задействовав графический процессор через Vulkan и драйвер RADV. Доступный объем памяти вырос примерно до 11,4 ГБ.
Для запуска Qwen использовалась версия IQ2_XXS объемом около 6,8 ГБ, в которой веса модели хранятся с точностью примерно 2 бита. Такое сжатие экономит память, но может ухудшать качество ответов. При контекстном окне в 64 тысячи токенов приложение занимало около 91% доступной памяти.
Менее требовательные модели работали быстрее: Gemma 4 E4B выдавала около 61 токена в секунду, а Llama 3.2 3B — около 124. В показанном тесте энергопотребление составляло 86 Вт, температура чипа — 54 °C.
Приложение позволяет загружать модели с Hugging Face и общаться с ними через браузер на другом устройстве. Для запуска необходима взломанная PS5 с дополнительным неофициальным ПО.
Источник: www.playground.ru