Google DeepMind представила третью версию своих правил безопасности для передовых ИИ-моделей (FSF). Это опорный набор правил: в нём задаются жесткие запреты для возможностей ИИ, которые могут привести к крупному ущербу. Новая версия опирается на опыт предыдущих версий (май 2024 и февраль 2025) и консультации с экспертами из индустрии, науки и госструктур.
Главное новшество — отдельный порог для «вредной манипуляции». Так называют случаи, когда модель в рискованных ситуациях способна систематически и существенно влиять на убеждения или поведение людей. DeepMind относит это к критическим возможностям, требующим самых строгих мер контроля.
Кроме того, компания уточнила критерии других критических возможностей. В документе появились более детальные правила и процедуры для случаев несоответствия целям человека — когда ИИ может мешать операторам управлять системой или останавливать ее, а также ускорять исследования так, что это может навредить стабильности.
FSF обязывает DeepMind проводить проверку перед каждым релизом ИИ. Если у модели замечены «опасные» возможности, выпуск открадывается — сначала тщательно разбирают риски. Такое правило было и в предыдущих редакциях, но теперь оно распространяется и на внутренние запуски — доступ к признанной «опасной» модели нельзя открывать даже командам в самой компании. В DeepMind добавляют, что по мере приближения к созданию AGI, компания и далее будет ужесточать меры безопасности.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com