Новый сенсор пропускает несколько энергозатратных этапов обработки информации, что позволяет значительно снизить количество энергии, необходимой дронам и другой автономной технике для обработки визуальных данных.
В обычных системах визуального восприятия световые сигналы проходят через множество стадий. Сначала сенсор улавливает свет, затем аналого-цифровой преобразователь превращает его в пиксели. Эти данные временно сохраняются, после чего передаются на отдельный чип, где изображение делится на квадратные фрагменты, каждый из которых преобразуется в токен для чтения моделью ИИ. Исследования показывают, что аналого-цифровой преобразователь в среднем отвечает за 66% потребления энергии сенсором изображений.
«Мы решили переместить генерацию токенов на сам сенсор, позволяя чипу напрямую создавать токены, которые модели ИИ могут обрабатывать, как только свет достигает сенсора», — говорит Мяо Фэн, директор Института интеллекта, вдохновленного мозгом, при Нанкинском университете.
Устройство под названием LightTok способно напрямую преобразовывать свет в токены, объединяя пять стадий обработки в одну. Разработчики встроили процессы восприятия, памяти и вычислений в один и тот же пиксель. Это стало возможным благодаря использованию дисульфида молибдена — двумерного материала, который хорошо реагирует на свет и может быть выращен в виде листов толщиной в один атом. Фототранзистор преобразует входящие фотоны в электрический ток, а плавающий затвор — изолированный компонент внутри транзистора — может удерживать электрический заряд даже после исчезновения света.
Источник: hi-tech.mail.ru