Команда Nexa AI добавила в свое приложение Nexa Studio версию GPT-OSS, оптимизированную для запуска на топовых Android-смартфонах. Модель уже доступна в приложении, весит 10 ГБ, а для запуска требуется смартфон с 16 ГБ памяти и передовой процессор.
В Nexa AI протестировали GPT-OSS на смартфоне ASUS ROG 9 с процессором Snapdragon Elite Gen 5, получив следующие характеристики: время до получения первого токена — 3 секунды, скорость генерации — 17 токенов в секунду. Данный процессор также уже доступен в смартфонах: Xiaomi 17 / 17 Pro / 17 Pro Max, а в будущем ожидается в realme GT 8 Pro, Honor Magic 8 / Magic 8 Pro, iQOO 15, OnePlus 15 и Samsung Galaxy S26.
Разработчики не уточняют, какие оптимизации пришлось сделать, чтобы запустить модель на Android, а лишь благодарят команду Qualcomm за сотрудничество. Известно лишь, что в основу положена младшая версия GPT-OSS 20B, которая обладает производительностью сопоставимой с o3-mini.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com