Anthropic опубликовала отчёт о злоупотреблениях своими моделями — Claude Haiku, Sonnet и Opus — за период с декабря 2025 года по август 2026-го. Компания разобрала семь категорий: кибератаки, операции влияния, слежку, мошенничество, биологические разработки, создание обычного вооружения и попытки нелегально обучить собственные модели на ответах Claude. Отдельный блок посвящён биологии: там пять разобранных случаев.
Самый показательный эпизод относится к маю. Биологический классификатор безопасности — система, отслеживающая подозрительные обращения, — пометил запрос на подготовку заявки на грант. Речь шла об исследовании по усилению свойств вируса чикунгуньи: так называют работы, в которых организм намеренно изменяют генетически, чтобы сделать его опаснее. В заявке предлагалось повысить заразность вируса и его способность обходить иммунный ответ.
Настораживает тут всё сразу. У чикунгуньи нет лицензированного лечения, а её симптомы выматывают человека неделями, иногда месяцами. Вдобавок выяснилось, что исследование связано с военным научным институтом.
Похожие вопросы вызвали работы по усилению свойств птичьего гриппа. В ещё одном случае Claude использовали для создания атласа пептидов ядовитых токсинов и системы, которая подбирала оптимальные характеристики токсина.
Главную сложность глава отдела анализа угроз компании описывает прямо.
Вы не видите, чтобы кто-то в духе комиксов говорил: «Эй, я хочу построить биологическое оружие, чтобы убить всех». Это невероятно тонкая ситуация.
— Джейкоб Кляйн
Отличить разработку вакцины от подготовки угрозы по одному только тексту запроса действительно почти невозможно, и чем лучше модели помогают в научной работе, тем острее встаёт вопрос. В компании говорят, что во всех спорных случаях предпочитали перестраховаться, учитывая возможные последствия.
Отдельно Anthropic проговаривает, что не обвиняет самих исследователей. В отчёте сказано: фигуранты — действующие учёные, компания не утверждает, что они намеревались причинить вред, и не называет ни имён, ни лабораторий, поскольку огласка может навредить им самим. Аккаунты всех, кто нарушил правила, при этом заблокированы, а результаты разбирательств используют для доработки защитных механизмов.
Помимо биологии в отчёте описаны случаи, когда модели пытались применять для слежки, создания эксплойтов, пропаганды и проектирования систем вооружения.
Считаете, ИИ-компании должны блокировать такие запросы — или это уже избыточный контроль над наукой?
НовостизаявленияЖелезо и технологии
Источник: vgtimes.ru