Узор на машине обманул алгоритмы компьютерного зрения.
Исследователь кибербезопасности Билл Суэринген на конференции Def Con в Лас-Вегасе продемонстрировал Toyota Yaris 2009 года, обклеенную специальной виниловой пленкой с хаотичным узором, сгенерированным нейросетью. Автомобиль проехал перед камерой системы Flock Safety, которая не смогла его распознать — система не идентифицировала машину, несмотря на то, что для человеческого глаза это был обычный небольшой седан.
Узор не ослепляет камеру и не делает автомобиль невидимым — он атакует программное обеспечение, обрабатывающее видеопоток. Алгоритмы компьютерного зрения, используемые Flock, интерпретируют изображения не так, как люди: то, что для глаза выглядит как абстрактный рисунок, для нейросети становится «шумом», мешающим классифицировать объект.
Камеры Flock фиксируют не только номер, но и марку, модель, цвет, тип кузова, повреждения и даже наклейки. Однако пленка noRecognition заставляет систему ошибаться на фундаментальном уровне — она просто не видит автомобиль.
Суэринген потратил около года на разработку проекта, проведя более 31 миллиона тестов. В основе — модель обучения с подкреплением, которую он сравнивает с обучением «рисовать». Алгоритм генерирует узор, проверяет его на алгоритмах обнаружения, и если объект распознается, система корректирует рисунок.
Так модель создает «состязательные» паттерны, способные обмануть конкретные системы компьютерного зрения. По словам исследователя, созданный узор обманул все 11 алгоритмов обнаружения с открытым исходным кодом, которые он тестировал, включая системы Flock, нательные камеры Axon и Clearview AI.
Источник: hi-tech.mail.ru