Ученые из Пекинского университета связи и телекоммуникаций (BUPT) представили PhoneLM — компактную архитектуру языковой модели, специально разработанную для мобильных устройств. Это решение направлено на решение проблемы высоких вычислительных затрат, необходимых для работы больших языковых моделей (LLM), таких как ChatGPT, на смартфонах.
PhoneLM использует инновационный подход к оптимизации. В отличие от традиционного метода, при котором модели сначала обучаются для достижения высокой точности, а затем оптимизируются для устройств, команда исследователей фокусировалась на максимальной эффективности работы модели на мобильном железе еще до ее обучения. Этот метод позволил создать модель, которая работает быстро, при этом не теряя в производительности.
По результатам тестов, PhoneLM показал отличные результаты: модель с таким же количеством параметров, как и другие LLM, выполнялась значительно быстрее на смартфонах, при этом сохраняя высокую точность обработки естественного языка. Это стало возможным благодаря учету параметров, таких как ширина и глубина модели, уже на этапе ее разработки.
В будущем учёные планируют улучшить модель, добавив мультимодальные функции и возможности для создания мобильных виртуальных помощников.
Источник: www.ferra.ru
