Гендиректор OpenAI Сэм Альтман и технический директор OpenAI Грег Брокман заявили об отсутствии проблем безопасности в ИИ-продуктах OpenAI после расформирования команды Superalignment, ответственной за проект по управлению и контролю над будущими более прогрессивными системами ИИ, а также недавнего ухода из компании главного научного сотрудника по машинному обучению Ильи Суцкевера и руководителя отдела разработки ИИ Яна Лейке.
В OpenAI заявили, что компания стремится использовать «очень тесную петлю обратной связи, тщательное тестирование, тщательное рассмотрение на каждом этапе, безопасность мирового класса и гармонию возможностей безопасности». Альтман и Брокман пояснили, что будут проводиться дополнительные исследования безопасности в разные сроки, а также будет осуществляться сотрудничество с правительствами и заинтересованными сторонами, чтобы убедиться, что ничего не упущено в отношении безопасности текущих и будущих ИИ-проектов OpenAI.
В OpenAI год назад создали команду Superalignment в попытке найти способы управления сверхразумными ИИ. Но через некоторое время оказалось, что Superalignment нужно бороться внутри компании за ресурсы для проведения исследований, хотя команде обещали выделить 20% вычислительных ресурсов OpenAI. В итоге в OpenAI решили распустить команду Superalignment и интегрировать её функции в другие исследовательские проекты внутри организации.
14 мая 2024 года OpenAI сообщила, что сооснователь и ведущий эксперт по машинному обучению Илья Суцкевер покидает компанию. «Спустя почти десять лет я принял решение покинуть OpenAI. Для меня было честью и привилегией работать вместе», — написал Илья Суцкевер на своей странице в соцсети X. Он отметил, что в ближайшее время расскажет о новом проекте, в котором принимает участие.
15 мая 2024 года руководитель отдела разработки ИИ в OpenAI Ян Лейке объявил, что покинул компанию. Лейке вместе с Суцкевером возглавлял команду Superalignment в OpenAI. Он занимался тем, что изучал, не навредит ли искусственный интеллект людям. Ранее из команды Superalignment в OpenAI уволили Павла Измайлова и Леопольда Ашенбреннера. Оба были соратниками Суцкевера. Их обвинили в том, что они передавали информацию третьим лицам. Правда, кому и какую, так и осталось неизвестным. Ещё в начале мая из Superalignment ушёл эксперт по ИИ Уильям Сондерс.
В процессе комментирования в соцсети X своего ухода Лейке заявил, что группа Superalignment боролась за ресурсы для проведения исследований. По его мнения, создание машин, умнее человека, по своей сути опасное занятие. OpenAI несёт огромную ответственность за всё человечество. Но за последние годы культура и процессы безопасности отступили на второй план перед яркими продуктами.
Проработав три года в OpenAI, Лейке раскритиковал компанию за то, что она отдаёт предпочтение разработке ярких продуктов, а не развитию устойчивой культуры и процессов безопасности ИИ. Он подчеркнул острую необходимость выделения ресурсов, особенно вычислительных мощностей, для поддержки исследований его команды по обеспечению безопасности жизнедеятельности, которые упускались из виду. «Я довольно долго не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока мы, наконец, не достигли критической точки. Последние несколько месяцев моя команда шла против ветра», — рассказал Лейке.
OpenAI сообщила, что её команды по обеспечению безопасности будут возглавлять сооснователь Джон Шульман, чьи исследования сосредоточены на крупных языковых моделях, а также Якуб Пачоцкий, который возглавлял разработку GPT-4 — одной из флагманских языковых моделей OpenAI. Также Пачоцкий заменит Суцкевера на посту главного научного сотрудника в OpenAI.
«Не существует проверенного руководства по тому, как проложить путь к AGI (гипотетический искусственный интеллект, который может выполнять ряд задач так же или лучше, чем люди). Мы считаем, что только эмпирическое понимание может помочь определить путь вперёд. Мы верим как в достижение огромного потенциала роста, так и в работу по смягчению критичных рисков; мы очень серьёзно относимся к своей роли и тщательно взвешиваем отзывы о наших действиях».
По мнению профильных экспертов, ситуация выглядит так, как будто Альтман и Брокман говорят, что лучший способ провести тестирование безопасности — это разрабатывать реальный продукт, а не пытаться предвидеть какой-то гипотетический супер-ИИ, который может появиться в будущем.
Источник: habr.com
Похожие новости:
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
Руководитель отдела разработки ИИ в OpenAI Ян Лейке покинул компанию после ухода Ильи Суцкевера
Из кремниевой долины в Россию. Слухи о возвращении Ильи Суцкевера
ИИ-марафон: универсальный GPT против россыпи анонсов от Google