На PlayStation 4 запустили языковую модель Qwen3.5-9B

Модель работает на графическом процессоре консоли без интернета и внешнего компьютера. Приложение Garlic LLM поддерживает голосовое общение на семи языках и запуск программ на MicroPython.

На PlayStation 4 запустили языковую модель Qwen3.5-9B с 9 млрд параметров, которая работает на графическом процессоре консоли без интернета и внешнего компьютера. Как сообщает VideoCardz, разработчик Леонардо Алегрия (Leonardo Alegría) создал для этого бесплатное приложение с открытым исходным кодом Garlic LLM. Оно работает на оригинальной PS4 2013 года и не требует установки Linux.

По данным разработчика, на базовой PS4 и PS4 Slim модель генерирует 31-39 токенов в секунду, а при написании кода — до 43. Токены — фрагменты текста, которыми оперирует языковая модель. Контекст составляет 16 тысяч токенов: в этот объем должны помещаться обрабатываемая переписка и ответ.

В репозитории Garlic LLM автор описывает и другие возможности приложения. С ним можно общаться голосом на семи языках, включая русский: распознавание речи и озвучивание ответов также выполняются на консоли. Для диктовки сообщений доступны 25 европейских языков. Интерфейс поддерживает русский, английский, испанский и португальский. В голосовом режиме скорость генерации снижается примерно до 22 токенов в секунду — голосовая модель занимает память, которая нужна для ускорения текстовых ответов.

Источник: hi-tech.mail.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев