ИИ может учиться нежелательным вещам, даже если данные для обучения кажутся безопасными, предупреждает Олег Рогов, кандидат физико-математических наук и директор лаборатории безопасного искусственного интеллекта «SAIL» Института AIRI и МТУСИ. Это называется «подсознательным обучением» — когда алгоритмы находят скрытые шаблоны в данных, которые могут привести к ошибкам.
Например, чат-бот службы поддержки может вдруг начать выдавать токсичные ответы из-за таких скрытых связей в обучении. Или медицинская система может невольно игнорировать симптомы у некоторых пациентов, что опасно и может вызвать юридические проблемы. Особенно сложно заметить такие ошибки, так как они «спрятаны» внутри самой модели, а не в явных данных.
Критически важно перепроверять советы непрофильных ИИ-систем, например, общедоступных чат-ботов для получения ответов в сфере медицины или финансов с авторитетными источниками и экспертным мнением. Например, для врача даже профильный инструмент — всегда второе мнение. Следует избегать сервисов, использующих непроверенные синтетические данные.
Эксперт подчеркивает, что для повышения безопасности и доверия нужно делать ИИ более прозрачным — публиковать отчеты о тестах, использовать «песочницы» для проверки и инструменты, показывающие, как принимаются решения. В критически важных областях стоит применять проверяемые правила и модульный подход к обучению.
В образовании полезен метод AZR, при котором ИИ обучается только на проверенных данных — например, математике или программировании — чтобы избежать опасных ошибок из-за вредных текстов.
Источник: www.ferra.ru