Глава Qualcomm Криштиану Амон в подкасте Sources журналиста Алекса Хита рассказал, что ведущие ИИ-компании просят его обеспечить к 2028 году постоянную работу моделей минимум на 100 млрд параметров на самом смартфоне. Имен Амон не назвал, но добавил, что некоторые из этих компаний «начинают делать телефоны». Пример уже есть, это смартфон с ассистентом Doubao от ByteDance, который выпускает Nubia. «Будет битва агентов», — сказал Амон.
Точка отсчета
Флагманский Snapdragon 8 Elite Extreme Gen 6, показанный в конце сентября, запускает на устройстве MoE-модель на 30 млрд параметров. Apple в июне выпустила MoE на 20 млрд. Запрос лабораторий означает рост в три с лишним раза за два поколения чипов, причем в режиме постоянной работы вместо запуска по запросу.
Где узкие места
Первое ограничение — объем памяти. 100 млрд параметров даже в 4-битной квантизации занимают около 50 ГБ только под веса. Это в три-четыре раза больше всей оперативной памяти типичного флагмана сегодня, и сверх этого нужно место под KV-кэш и саму ОС.
Второе ограничение — пропускная способность. Генерация токенов в LLM упирается в скорость чтения весов из памяти, вычислительных ресурсов обычно хватает с запасом. Если исходить из того, что такая модель будет разреженной MoE с примерно 10 млрд активных параметров, на каждый токен придется читать около 5 ГБ. При пропускной способности мобильной памяти порядка 100 ГБ/с это дает около 20 токенов в секунду в лучшем случае. Расчет примерный, тут скорее хочется сказать, почему все указывает на MoE с малой долей активных экспертов и на новые поколения LPDDR.
Третье ограничение — энергия. Режим always-on означает, что модель постоянно держит контекст пользователя и реагирует на события без запроса. Для батареи телефона это тяжелее, чем короткий ответ на вопрос.
Память уже в дефиците
По словам Амона в пересказе TMTB, цены на память выросли в 5–6 раз и уже срезают около 20% продаж смартфонов в этом году. В основном это касается среднего и бюджетного сегментов. Если производители начнут ставить в телефоны 64 ГБ и больше, смартфоны станут прямым конкурентом дата-центров за DRAM, а дефицит, который сейчас считают временным, может стать структурным.
Почему лабораториям это нужно
Амон описывает ИИ-смартфон как устройство, где сторонние агенты получают доступ к личному контексту, памяти и сенсорам пользователя и действуют автономно. По аналогии с тем, как магазины приложений когда-то определили смартфон. «Будет битва агентов», — сказал он. Локальная модель решает для лаборатории три задачи сразу: приватность, задержку и стоимость инференса, которая перекладывается на железо пользователя.
Что это значит
Ближайшие два года рабочей зоной останутся модели на 3–30 млрд параметров с квантизацией, а архитектура приложения должна предусматривать гибрид, где простые задачи решаются локально, а сложные уходят в облако. Сам Амон называет облако и устройство единой вычислительной системой. Для всех остальных вывод другой. Конкуренция за память означает дорогую DRAM и HBM еще минимум на несколько кварталов.
ИИ‑роутер — доступ к 400+ моделям из одной панели
Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.
Запустить ИИ‑роутер →
Источник: habr.com