Недавние инциденты со взломом систем кибербезопасности передовыми ИИ-агентами, о которых сообщили Anthropic и OpenAI, связаны с излишней свободой, предоставляемой нейросетям при выборе стратегии, и приоритетом исполнения задач. Об этом ТАСС рассказал директор Института ИИ МФТИ Азамат Жилоков.
По его словам, современные модели всё чаще работают как агенты: получают задачу и сами выбирают шаги для её выполнения. Модель опирается на заданную картину мира, и если она расходится с реальностью, формально корректное выполнение задания может привести к непредвиденным последствиям. При этом модели способны заметить признаки реальной ситуации и оценить возможный вред, но всё равно склоняются к удобной для задачи трактовке.
Эксперт подчеркнул, что произошедшее — не злой умысел, а следствие архитектуры принятия решений в агентных системах: приоритет отдаётся инструкции, а не перепроверке исходных данных. По мере роста автономности ключевое значение приобретают не сама модель, а среда запуска и корректность вводных — требования к организации испытаний и изоляции будут только ужесточаться.
«Современные модели всё чаще работают как агенты: получают задачу и сами выбирают шаги для её выполнения. Отсюда и главный источник рисков. Модель опирается на ту картину мира, которую ей задали в начале, и если эта картина расходится с реальностью, то формально корректное выполнение задания может привести к последствиям, которых никто не закладывал. Причём модели способны заметить признаки того, что ситуация не тестовая, оценить возможный вред и всё равно склониться к удобной для задачи трактовке», — подвернул Жилоков.
Источник: www.ferra.ru