Разработчик Адриен Гронден (Adrien Grondin) запустил на iPhone 18 Pro модель Bonsai на 27 миллиардов параметров и снял, с какой скоростью та выдаёт текст. Результат его самого удивил.
iPhone 18 Pro оказался гораздо лучше, чем я ожидал для локального ИИ. Он запускает модель на 27 миллиардов параметров вдвое быстрее, чем 17 Pro. Новый чип A20 Pro — просто зверь.
— Адриен Гронден
Причина прироста кроется в двух изменениях. Первое — двойной нейронный движок с двумя блоками по шестнадцать ядер, который в процессорах Apple появился впервые за всю их историю. Второе — обновлённая память: iPhone 18 Pro и iPhone 18 Pro Max получили 12 ГБ LPDDR5X на 96-битной шине, что даёт пропускную способность 115,2 ГБ/с, заметно больше, чем у прошлого поколения.
Любопытную деталь отметил аналитик Макс Вайнбах (Max Weinbach): пиковая вычислительная мощность двойного движка в A20 Pro и в чипе M6 превосходит показатели семиядерного видеоядра того же процессора. Правда, только в задачах, которые изначально написаны под нейронный ускоритель.
Есть у этой истории и обратная сторона, упирающаяся не в скорость, а в объём памяти. Модель Bonsai сжата по однобитной схеме — квантизация ужимает нейросеть, снижая точность вычислений ради экономии места, и чем ниже битность, тем компактнее результат. Благодаря этому Bonsai запускается даже на устройствах с 4 ГБ оперативной памяти. А вот свежая Bonsai 2 использует двухбитную квантизацию, и в 12 ГБ смартфона она уже не помещается, из-за чего производительность проваливается.
Получается парадокс: процессор справляется, а памяти не хватает. Пока Apple не перейдёт на более объёмные конфигурации, более плотные модели так и останутся недоступными для локального запуска на iPhone.
Пробовали запускать нейросети локально на своих устройствах? Расскажите, что получилось и на каком железе.
iOS НовостиЖелезо и технологииiPhoneвидео
Источник: vgtimes.ru