Google Gemma 3 запустили на офисном лазерном принтере

Модель с 270 млн параметров работала на встроенном интерпретаторе PostScript. Пиковый расход оперативной памяти составил около 14 МБ, а генерация одного токена занимала около минуты.

Омар Сансевьеро запустил языковую модель Google Gemma 3 с 270 млн параметров на офисном лазерном принтере Ricoh. По словам автора эксперимента, все вычисления выполнялись на самом принтере, а пиковое потребление оперативной памяти составило около 14 МБ. Об этом Сансевьеро рассказал в своем посте.

С помощью инструмента Carbon Сансевьеро упаковал компактный движок и модель, веса которой были представлены с пониженной точностью, в одно задание на печать. Вычисления выполнил встроенный интерпретатор PostScript Level 3, который обычно обрабатывает документы перед печатью. Менять прошивку и подключать дополнительные вычислительные платы не пришлось.

Чтобы сократить расход оперативной памяти, 18 слоев модели загружали по мере обработки и выгружали после использования. Благодаря этому принтеру не требовалось держать в памяти все веса одновременно. По данным Fanáticos del Hardware, среде PostScript было выделено 244,6 МБ виртуальной памяти.

По словам Сансевьеро, генерация одного токена занимала около минуты. В ходе демонстрации принтеру предложили продолжить фразу «Read the fine». Обработка запроса заняла около 184 секунд, а результатом стала распечатка с фразой «Read the fine print» («Читайте мелкий шрифт»), пишет Fanáticos del Hardware.

Источник: hi-tech.mail.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев