Google AI Edge Gallery: это приложение (согласно новости), которое позволяет пользователям запускать различные ИИ-модели с платформы Hugging Face прямо на своих телефонах.
Пользователи могут находить, скачивать и запускать совместимые модели. Модели работают в автономном режиме, без необходимости подключения к интернету, используя процессоры поддерживаемых телефонов. Приложение можно скачать с GitHub, следуя инструкциям. Приложение распространяется по лицензии Apache 2.0, что означает, что его можно использовать в большинстве контекстов (коммерческих или иных) без ограничений.
Ну что же пробуем установить на телефон.
!!!на свой страх и риск, так как не понятно официальное ли приложение!!!
Заранее необходимые требования: Смартфон, гугл аккаунт, аккаунт на https://huggingface.co/, не много свободного места на смартфоне.
Шаг 1: Прямая установка (самый простой), переходим сюда https://github.com/google-ai-edge/gallery чуть скроллим вниз, и находим последний апк, в шаге 1 как на скриншоте.
Как только APK-файл будет загружен на ваше устройство (например, в папку «Загрузки»), откройте файловый менеджер вашего устройства.
Найдите и нажмите на файл с расширением .apk.
Возможно, вам будет предложено разрешить установку из «Неизвестных источников». Если это так, включите это разрешение (обычно в настройках вашего устройства в разделе «Безопасность» или «Приложения»). Система проведет вас по шагам.
Подтвердите установку.
Шаг 2.
Открываем приложение, и видим главный экран. Нажимаем на примеры в разноцветных квадратах, например на Ask Image.
Главный экран: AI capabilities (возможностей ИИ) (например, «Prompt Lab» (Лаборатория подсказок), «AI Chat» (Чат с ИИ), «Ask Image» (Спросить изображение). Нажмите на capability (возможность), чтобы изучить её.
Шаг 3:
После того как мы нажали на Ask Image, вы увидите список совместимых моделей (models). Вы можете загрузить новые модели (models) или попробовать те, что уже есть на вашем устройстве. Нажимаем на первый зеленый прямоугольник
Нажимаем на download & try (скачать, попробовать) и качаем модель gemma 3n-e2b-it-int4
Шаг 4:
Но прежде чем скачать вас могут перенаправить на сайт Huggingface, чтобы вы отметили галочкой, что соглашаетесь на условия пользовательского соглашения. Чтобы найти эту галочку, на скриншоте мы выбираем Files.
Чуть скроллим вниз и ставим галочку, что согласны на условия пользовательского соглашения, там где Agree and send request to access…
Дальше мы переходим после согласия автоматом на след страницу. Где выбираем Authorize.
И нас вновь перекидывает в новое окно, тут мы выбираем verify via hugging face. Дальше там раздел с личными данными которые подтягиваются с аккаунта.
Когда все заполнили скроллим вниз, и нажимаем что согласны на условия в квадратиках. после этого нажимает Accept. И закрываем окно.
Возращаемся в приложение, и у нас уже идет загрузка модели. Ждем пока скачается, можно выйти из проложения и заняться своими делами пока не скачалось.
Шаг 5:
После того как модель скачалась (будет оповещение в нотификациях), открываем главный экран и нажимаем синий квадратик как в начальном шаге Ask image, выбираем из списка загруженную модель. Теперь ради примера загружаю пред скрин, и прошу перевести на русский язык, результат хороший, и выполнено все на телефоне, без необходимости впн и сети.
Настройки/Параметры: Внутри каждой задачи (task) вы часто можете настраивать параметры вывода модели (model inference parameters) (например, переключаться между CPU (центральным процессором) и GPU (графическим процессором), устанавливать температуру (temperature) и т.д.).
Если хотим скачать другие модели в хаггинфейс, то качаем на телефон, потом на начальном экране нажимаем на плюсик и ищем модель которую хотим добавить в приложение.
А пока расмотрим дальше другие варинаты которые дает гугл, теперь на главном экране вместо зеленого квадрата Ask Image, выбираем синий Prompt Lab.
Выберите модель (model) (при необходимости загрузите). Выберите шаблон задачи (Task Template) из доступных вариантов:
Свободная подсказка (Freeform Prompt): Введите любую инструкцию для модели (model).
Суммировать текст (Summarize Text): Предоставьте текст для суммирования.
Переписать тон (Rewrite Tone): Введите текст и выберите целевой тон (например, Формальный, Неформальный).
Фрагмент кода (Code Snippet): Опишите желаемую функцию кода и выберите язык. Введите свой текст или выберите из примеров подсказок (prompts). (Необязательно) Настройте параметры вывода (inference parameters). Нажмите кнопку «Отправить/Генерировать» (Send/Generate). Просмотрите результат. При желании вы можете скопировать результат и просмотреть статистику производительности (performance stats).
И последнее желтый квадрат, на главном экране (Home Screen) нажмите «AI Чат» (AI Chat). Выберите модель (model) (при необходимости загрузите). Введите ваше сообщение (message) в поле ввода и отправьте. Модель (model) ответит, сохраняя контекст (context) разговора (conversation). (Необязательно) Настройте параметры вывода (inference parameters). При желании просмотрите статистику производительности (performance stats) для каждого хода (turn).
На этом мой быстрый обзор закончен, выпустили оболочку, как https://lmstudio.ai/ на винду, только тут на смартфон под андроид. Надеюсь вам понравился короткий обзор! Всем спасибо!
Источник: habr.com