Сигнал Wi-Fi в процессе своего распространения по помещению может меняться, отражаясь от стен, людей и различного рода предметов на своём пути. Изменения в информации о состоянии канала (Channel State Information или CSI) позволяют получать полезные данные об окружающей среде, которые ранее применяли для того, чтобы определять силуэт человека в комнате или его позу. Но исследователи Эшан Рамеш (Eshan Ramesh) и Такаюки Нисио (Takayuki Nishio) решили пойти дальше, представив LatentCSI — новый метод генерации изображения физического пространства на основе измерения Wi-Fi CSI и модели латентной диффузии. Изображение: Eshan Ramesh, Takayuki Nishio, Research Gate
Основное отличие новой технологии от своих «конкурентов» в том, что вместо довольно сложных и вычислительно интенсивных методов вроде GAN, когда CSI сразу преобразовывают в изображение, исследователи решили задействовать лёгкую нейронную сеть, которая будет отображать амплитуду изменений в информации о состоянии сигнала непосредственно в латентное пространство. Это условный «черновик», в котором хранится сжатое представление изображения, её «смысл», без дополнительных деталей. Далее, к этому «черновику» подключают Latent Diffusion Model — модель диффузии, которая позволяет перед декодированием изображения в высоком разрешении выполнить дополнительные указания, представленные в текстовом виде. Изображение: Eshan Ramesh, Takayuki Nishio, Research Gate
Исследователи проверили свою технологию на двух наборах данных — собственном широкополосном наборе данных CSI, который был собран при помощи Wi-Fi-устройств и камер, а также наборе общедоступных данных MM-Fi. Результаты тестирования показывают, что технология LatentCSI существенно превосходит базовые модели сопоставимой сложности, которые были обучены непосредственно на изображениях с эталонными данными, как по вычислительной эффективности, так и по качеству финального изображения. Кроме того, новая технология существенно повышает приватность людей, которые могут быть «просканированы» данным методом. «Особенность в нашей системе кодирования-декодирования снижает риск воспроизведения мелких деталей вроде черт лица, одежды или элементов фона…, обеспечивая баланс между интерпретируемостью и конфиденциальностью», — заявили исследователи.
Теоретически, LatentCSI отлично подойдёт для систем безопасности, так как технология позволяет видеть то, что происходит в комнате, без необходимости использовать камеру видеонаблюдения. С другой стороны, для сценариев, где нужна высокая детализацию цветного изображения, разработка всё же не подойдёт.
Источник: trashbox.ru