Google выпустила LiteRT.js — новую библиотеку, позволяющую запускать модели машинного обучения локально в веб-браузере, минуя необходимость обработки на стороне сервера.
Она обеспечит производительность, характерную для нативных ИИ, в веб-браузерах благодаря ориентированной на мобильные устройства среде выполнения LiteRT, хотя LiteRT.js также работает на настольных компьютерах.
Новая библиотека использует WebAssembly и аппаратное ускорение, такое как WebGPU и WebNN, чтобы заменить более медленный TensorFlow.js, который использует ядро на основе JavaScript.
До сих пор среда выполнения LiteRT была доступна только для Android и iOS. С сегодняшним обновлением Google предоставляет доступ к среде выполнения через WebAssembly.
Поисковый гигант утверждает, что эта новая среда выполнения обеспечивает в 3 раза большую скорость по сравнению с существующими решениями на текущем оборудовании. В частности, тестирование проводилось на Apple MacBook Pro 2024 года с процессором M4 Silicon. В реальных условиях, для пользователей на старом оборудовании или использующих браузеры с другими движками, производительность может значительно отличаться.
Для разработчиков, желающих перейти с TensorFlow.js, процесс довольно прост. Тем, у кого уже есть файл .tflite, нужно переключить среду выполнения JavaScript на LiteRT.js. Однако, если имеется сохранённая модель TensorFlow/Keras, то можно использовать конвертер LiteRT, встроенный в пакет Python TensorFlow.
Ранее сообщалось, что Google готовит новое поколение ИИ-чипов TPUv8, которое будет разделено на два специализированных решения. Линейка заменит текущее поколение TPUv7 и сосредоточится на разделении задач между обучением и инференсом. Так, чип TPUv8i под кодовым названием Zebrafish будет ориентирован на инференс и разрабатывается при участии MediaTek. В то же время TPUv8t (Sunfish) предназначен для обучения моделей и создается совместно с Broadcom.
Источник: habr.com