Учёные Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» разработали алгоритм для быстрого обнаружения слабых мест в нейросетях, управляющих беспилотным транспортом. Технология автоматизирует поиск уязвимостей в моделях компьютерного зрения, что должно повысить безопасность воздушного и автомобильного транспорта. Об этом сообщили в пресс-службе ВУЗа.
Современные автопилоты полагаются на компьютерное зрение для распознавания объектов, но их можно обмануть: злоумышленники накладывают на изображения незаметные фильтры, которые заставляют нейросеть ошибаться — например, принять дорожный знак за другой предмет. Сейчас устойчивость таких систем проверяют вручную, что медленно и субъективно.
Разработка ЛЭТИ переводит подбор конфигураций в задачу оптимизации. Учёные создали базу данных всех существующих инструментов поиска уязвимостей и эволюционный алгоритм, который автоматически перебирает комбинации методов и настраивает параметры. В тестах новый подход обманул нейросеть в 58% случаев из тысячи картинок, тогда как обычный алгоритм — лишь в 13%. При этом искажения стали менее заметными: визуально они выглядят как лёгкий шум, а не грубая подделка.
Как отмечается, инструмент позволит разработчикам проверять модели до выпуска и заранее устранять уязвимости.
Источник: www.ferra.ru