Инженеры из Squeez Labs собрали полностью автономного ИИ-ассистента. Устройство под названием CrankGPT работает без розетки, аккумулятора и интернета — достаточно минуты покрутить ручку.
В основе лежит Raspberry Pi 5 с 8 ГБ оперативной памяти и аудиомодуль ReSpeaker с двумя микрофонами. Вычислительной платой служит штатный процессор, никаких нейроускорителей не добавлено. Чтобы сгладить провалы напряжения от ручного генератора, разработчики изготовили собственную плату конденсаторов, которая запасает энергию примерно на 20 секунд работы. Практически всё время запуска уходит не на саму операционную систему, а на подготовку. В качестве ОС выбрана урезанная сборка DietPi, которая поднимается до рабочего стола примерно за три секунды. Основную задержку создаёт холодный старт Pi 5 — от 10 до 15 секунд занимает полная инициализация прошивки, контроллеров питания и PCIe. Ещё столько же уходит на запуск голосового агента: импорты Python и загрузка весов моделей из файлов. Итого с момента начала вращения до готовности отвечать проходит около 30 секунд. Разработчики сознательно отказались от NVMe-накопителя, хотя он ускоряет загрузку моделей. На Pi 5 инициализация PCIe и прошивки контроллера добавляет к старту лишние 10 секунд и в сценарии, где каждый запуск начинается с нуля, классическая SD-карта оказалась быстрее.
Внутри работают сразу три локальные модели. Речь распознаёт Moonshine ASR, активность диктора отслеживает детектор Silero VAD, а дальше в дело вступает языковая модель через llama.cpp. Предпочтение отдано компактным Liquid AI LFM2 объёмом 350 млн и 1,2 млрд параметров, а также Gemma 3 на миллиард параметров. Синтез ответа поручен Piper: именно он сумел уложиться в реальное время, озвучивая 20 слов примерно за полсекунды. Генерация текста идёт предложениями: первое синтезируется как можно короче, чтобы пользователь услышал начало фразы почти сразу, пока модель продолжает досчитывать остальное. Весь пайплайн написан с нуля, без тяжёлых фреймворков, ради минимума зависимостей и быстрого старта.
Питание целиком ложится на 20-ваттный ручной генератор с переключаемым напряжением, изначально предназначенный для экстренной зарядки телефонов. В простое устройство потребляет около 4 Вт, во время распознавания речи — 8 Вт, а при одновременной работе языковой модели и синтезатора до 15 Вт. Когда запускается полный цикл «вопрос-ответ», вращать ручку становится ощутимо тяжелее — нагрузка чувствуется буквально физически.
Хочешь пообщаться с ИИ — покрути ручку
Создатели позиционируют проект как аргумент против тезиса о том, что «умные» системы обязательно требуют розетки и дата-центра. По их словам, компактные ИИ-модели уже сейчас справляются с задачами, на которые раньше тратили киловатты и тысячи токенов. Кроме голосового ассистента, на том же устройстве пробовали генерировать небольшие изображения, неуклюжие стихи и писать код. О коммерческих планах пока не сообщается. Готовые прототипы существуют, и на сайте стартапа можно запросить демонстрацию. Проект наглядно показывает, что реальность локального ИИ без облаков и батарей уже ближе, чем кажется.
Как думаете, нужны ли такие устройства или это скорее инженерный курьёз, чем практичный инструмент? Делитесь мнением в комментариях.
Тест по теме Создай собственную нейросеть и узнай, что из этого выйдет — спаси человечество или устрой апокалипсис. Тест 10 уровней
Анна 16 апреля 2023
Не проходит и дня без новостей о нейросетях или искусственном интеллекте. Технологии развиваются с невероятной скоростью, и машины уже умеют создавать картины и музыку, могут подготовить вам дипломную работу, написать код… Может, даже этот тест, на самом деле, создала машина?
Такое развитие пугает многих, сразу вспоминается сюжет «Терминатора» (The Terminator) и других кинолент на подобную тематику. Но что же будет на самом деле? Предлагаем вам создать собственную нейросеть и узнать, что из этого выйдет — получится ли сделать людей счастливее или же вы лишь ускорите порабощение человечества машинами? Давайте проверим! Начать Или пройдите в Telegram НовостиЖелезо и технологииискусственный интеллект
Источник: vgtimes.ru