Вышло PocketPal AI — приложение для локального запуска языковых моделей на смартфоне

Разработчик Асгар Горбани (Asghar Ghorbani) выпустил PocketPal AI — приложения для локального запуска компактных языковых моделей на смартфоне. Приложение доступно для iOS и Android.

В PocketPal AI пользователи могут загрузить одну из моделей, ссылки на которых добавил разработчик. Сейчас доступны Danube, Microsoft Phi, Google Gemma 2, Qwen и LLaMA. Также можно скачать и запустить любую другую языковую модель в формате GGUF. Для этого есть опция Add Local Model.

Языковые модели в PocketPal AI работают в режиме чат-бота. В настройках пользователи могут управлять параметрами инференса и следить за производительностью. Также есть опция, которая автоматически выгружает модель из памяти смартфона, когда приложение не используется.

Код приложения опубликован на GitHub, а скачать его можно из Google Play или App Store (1, 2). Приложение бесплатное.

Источник: habr.com

0 0 голоса
Рейтинг новости
3484
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии