Руководители OpenAI предупредили, что будущие модели искусственного интеллекта могут нести новые риски, вплоть до создания биологического оружия. Компания усиливает тестирование таких моделей, а также внедряет новые меры предосторожности.
OpenAI не назвала точных сроков запуска первого ИИ, который станет высокорисковым, но руководитель систем безопасности Йоханнес Хайдеке считает, что «некоторые из преемников o3 достигнут этого уровня».
В компании уточнили, что ИИ такого уровня не будет самостоятельно действовать в угрожающих направлениях, но сможет, к примеру, использоваться неопытным юзером без образования биолога для создания реального оружия.
«Мы ещё не в том мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которые не существовали раньше. Мы больше беспокоимся о воспроизведении вещей, с которыми уже хорошо знакомы эксперты», — пояснил Хайдеке.
Он признал, что OpenAI и другим компаниям нужны системы безопасности для обнаружения и предотвращения вредоносного использования ИИ с высокой точностью, выше «99% или даже одного из 100 000». По словам Хайдеке, системы человеческого мониторинга должны быстро выявлять любые вредоносные применения ИИ, которые избегают автоматического обнаружения, а затем предпринимать необходимые действия, чтобы «не допустить материализации вреда».
OpenAI заявила, что проведет мероприятие в следующем месяце, чтобы объединить определённые некоммерческие организации и правительственных исследователей для обсуждения будущих возможностей и рисков. Она также стремится расширить сотрудничество с национальными лабораториями США и правительством в целом, сказал руководитель политики OpenAI Крис Лихейн.
Ещё в 2024 году OpenAI заявила, что работает над системой раннего предупреждения, которая будет бороться с попытками сгенерировать с помощью ChatGPT данные, увеличивающие возможность создания биологического оружия. В апреле компания развернула новую систему для мониторинга моделей рассуждений AI, o3 и o4-mini, на предмет подсказок, связанных с биологическими и химическими угрозами. Она должна не допустить, чтобы модели предлагали советы, которые могли бы научить кого-то выполнять потенциально опасные атаки.
В прошлом месяце компания Anthropic выпустила модель Claude 4 и также заявила, что активирует новые меры предосторожности из-за потенциального риска распространения биологических и ядерных угроз.
Между тем гендиректор Anthropic Дарио Амодеи заявил, что обеспокоен работой китайской DeepSeek и её моделью R1. По его словам, DeepSeek сгенерировала информацию о биологическом оружии в ходе теста безопасности.
В 2024 году более 90 биологов и других учёных, специализирующихся на технологиях искусственного интеллекта для разработки новых белков, подписали соглашение, призванное гарантировать, что их исследования с помощью искусственного интеллекта будут продвигаться вперёд, не подвергая мир серьёзному риску. Соглашение не направлено на подавление разработки или распространения технологий ИИ. Вместо этого биологи стремятся регулировать использование оборудования, необходимого для производства нового генетического материала.
Источник: habr.com