В последнее время большие языковые модели (они же LLM) пользуются огромной популярностью и применяются буквально везде — в смартфонах, автомобилях, центрах обработки данных и не только. И, что немаловажно, энтузиасты всё чаще хотят запускать такие модели локально на своём компьютере, а не использовать решения, работающие в облаке. В компании AMD решили с этим помочь, выпустив приложение под названием Gaia — это проект с открытым исходным кодом, который предоставляет возможность удобно запускать большие языковые модели локально на компьютере под управлением операционной системы Windows. Telegram-канал создателя Трешбокса про технологии
Для вывода ответов искусственного интеллекта софт задействует Lemonade SDK от компании ONNX TurnkeyML, а работает Gaia посредством агента Retrieval-Augmented Generation (или RAG). Именно этот компонент объединяет большую языковую модель с базой данных, предоставляя пользователю приложения интерактивный опыт взаимодействия с ИИ с довольно точными и контекстно-зависимыми ответами. На текущий момент компонент RAG может похвастаться четырьмя продвинутыми агентами, выполняющими различные задачи. Например, Simple Prompt Completion позволяет напрямую взаимодействовать с LLM, предоставляя возможность тестировать и оценивать модель.
Ещё есть агент Chaty — элемент чат-бота, который взаимодействует с пользователем софта. Агент Clip предоставляет доступ к поиску по видеохостингу YouTube с функцией вопросов и ответов, а Joker умеет генерировать шутки, добавляя чат-боту юмористическую индивидуальность. Авторы проекта рассказали, что их решение позволяет адаптировать большие языковые модели не только для более или менее простых задач вроде составления краткого содержания больших объёмов текста, но и для более сложных сценариев, требующих рассуждений. Кроме того, Gaia, по словам разработчиков, функционирует в роли ИИ-агента, извлекая, обрабатывая и векторизируя контент, улучшая запросы пользователей ещё до того, как их обработает LLM.
Примечательно, что AMD предоставляет дополнительную оптимизацию выполнения рабочих задач с ИИ на компьютерах, которые работают на базе Ryzen AI — для этих систем даже выпустили отдельный установщик. Однако запустить приложение можно и на компьютере с любым другим процессором — даже если его выпустила не AMD, а Intel. При этом все действия будут выполняться локально на ПК в автономном режиме — приложение подключения к интернету не требует.
Источник: trashbox.ru
