Компании Cursor пришлось извиняться за действия ИИ-агента службы поддержки «Сэма», который придумал политику, запрещающую пользователям применять инструмент редактора кода более чем на одном устройстве.
Разработчики ранее пожаловались, что переключение между устройствами мгновенно приводило к выходу из системы, нарушая рабочие процессы. Когда один из них связался со службой поддержки Cursor, то ИИ-агент заявил ему, что нововведение приняли «в рамках новой политики». Однако компания не выпускала никаких обновлений, а бот придумал новое правило сам. Это вызвало волну жалоб на Hacker News и Reddit.
Первым забил тревогу пользователь Reddit с ником BrokenToasterOven. Он заметил, что при переключении между настольным компьютером, ноутбуком и удалённым dev box сеансы Cursor неожиданно прерывались. «Вход в Cursor на одной машине немедленно делает сеанс на любой другой недействительным», — написал он.
Пользователь отправил письмо в службу поддержки Cursor и быстро получил ответ от ИИ-агента: «Cursor разработан для работы с одним устройством на подписку в качестве основной функции безопасности». В этот момент разработчик думал, что общается с живым сотрудником поддержки. Когда он опубликовал переписку на Reddit, другие пользователи немедленно отреагировали критикой: «Рабочие процессы с несколькими устройствами — это ставки на стол для разработчиков».
Вскоре после этого несколько пользователей публично объявили об отмене подписки, сославшись на несуществующую политику в качестве причины. Вскоре после этого модераторы заблокировали ветку Reddit с обсуждением и удалили исходный пост.
«Эй! У нас нет такой политики. Конечно, вы можете использовать Cursor на нескольких машинах. К сожалению, этот неверный ответ дал бот поддержки на основе искусственного интеллекта», — написал представитель компании три часа спустя.
Таким образом, имел место случай конфабуляций ИИ — типа ответа для «творческого заполнения пробелов», когда модели ИИ изобретают правдоподобно звучащую, но ложную информацию.
В Cursor уже предприняли шаги для возмещения ущерба. Соучредитель компании Майкл Труэлл также извинился на Hacker News за путаницу с несуществующей политикой, объяснив, что проблема возникла из-за изменения бэкенда, призванного улучшить безопасность сеанса.
«Любые ответы ИИ, используемые для поддержки по электронной почте, теперь чётко обозначены как таковые», — добавил он.
Тем не менее, инцидент вызвал у пользователей вопросы о раскрытии информации, поскольку многие из тех, кто взаимодействовал с ИИ-агентом, принимали его за человека.
Хотя Cursor исправила техническую ошибку, этот эпизод демонстрирует риски развёртывания моделей ИИ в клиентских сценариях. «Есть определённая доля иронии в том, когда люди очень стараются сказать, что галлюцинации — это не самая большая проблема ИИ. А затем компания, которая могла бы извлечь выгоду из этой истории, напрямую страдает от неё», — отметил один из пользователей Hacker News.
Ранее исследователи Pillar Security обнаружили новый вектор атак на цепочку поставок «Бэкдор файла правил» («Rules File Backdoor»). Он позволяет хакерам незаметно компрометировать код, сгенерированный ИИ, путём внедрения скрытых вредоносных инструкций в файлы конфигурации, используемые Cursor и GitHub Copilot. Используя скрытые символы unicode и сложные методы скрытия полезной нагрузки в файлах конфигурации, злоумышленники могут манипулировать ИИ, чтобы вставлять вредоносный код, который обходит типовые проверки безопасности.
Источник: habr.com
Похожие новости:
Гиперперсонализация: как сделать предложение пользователю релевантным
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
CEO Anthropic: через полгода 90% кода будет писать ИИ. Через год — 100%
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»