Эксперимент исследователя безопасности выявил критическую уязвимость в процессе разработки программного обеспечения — возможность генеративного ИИ внедрять поддельные пакеты в реальный код.
Бар Ланьядо из Lasso Security создал несуществующий пакет Python под названием «huggingface-cli». Он заметил, что модели генеративного ИИ неоднократно «галлюцинировали» это имя пакета при запросах пользователей, то есть советовали их. Чтобы проверить, как это отразится на реальном мире, Ланьядо разместил фальшивый пакет в индексе пакетов Python (PyPI).
Результаты оказались… интересными. Крупные компании, Alibaba например, включили несуществующий пакет в свою документацию. В инструкции к GraphTranslator от Alibaba ошибочно указано «pip install huggingface-cli» как метод установки легитимного инструмента от Hugging Face. К счастью, творение Ланьядо оказалось безвредным, но потенциальные последствия его использования не могут не пугать.
Если бы поддельный пакет содержал вредоносное ПО, тысячи разработчиков, загрузивших его, могли бы неосознанно скомпрометировать свои системы.
Источник: www.ferra.ru
