Вчера OpenAI запустила ChatGPT Agent — ИИ-агента, который работает внутри виртуального компьютера и может по заданию пользователя выполнять поиск в интернете, покупать товары и бронировать билеты, создавать презентации на основе документов и т. д. Еще во время live-презентации команда Agent рассказала об особых мерах безопасности, принятых при разработке, а затем руководитель OpenAI написал в X отдельный большой пост.
Альтман подтвердил, что никогда еще в OpenAI не подходили к безопасности так тщательно, как в случае с ChatGPT Agent. Но одновременно он предупредил пользователей о том, что агенты — новая ИИ-технология, поэтому нельзя предусмотреть все. А злоумышленники обязательно попытаются «обмануть» Agent, чтобы украсть данные пользователя.
В ChatGPT Agent предусмотрено несколько уровней «свободы», которые можно дать модели. Например, пользователь может не сохранять данные своей кредитной карты, а вводить их при каждой покупке. Во время совершения особенно важных действий — например, при бронировании билета — агент обязательно запросит подтверждения. Наконец, пользователь будет видеть работу агента в реальном времени и в любой момент сможет прервать ее и дать дополнительные команды.
Альтман также посоветовал давать ChatGPT Agent доступ только к той информации, которая ему нужна для задачи. Например, если агент помогает спланировать ужин, то логично предоставить ему доступ к Google Calendar. Но если он покупает одежду — то календарь не нужен. Также Альтман посоветовал не давать слишком много свободы промптами вида «проверь мою рабочую почту и ответь на все письма, не задавая мне вопросов» — так агент может пройти по ссылке, созданной для воровства информации пользователя.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com