OpenAI работает над системой раннего предупреждения, которая будет бороться с попытками сгенерировать с помощью ChatGPT данные, увеличивающие возможность создания биологического оружия.
Компания заявляет, что пока «GPT-4 обеспечивает лишь незначительное повышение вероятности создания биологической угрозы». Согласно утверждениям OpenAI, информацию о биологических опасностях «относительно легко» найти в Интернете даже без использования искусственного интеллекта.
Для разработки системы раннего оповещения OpenAI провела исследование с участием 100 человек, в том числе 50 докторов наук с опытом работы в лабораториях и 50 студентов, прошедших как минимум один курс биологии в колледже. Каждый участник был случайным образом отнесён или к контрольной группе с доступом только в Интернет, или к группе, которая дополнительно имела доступ к GPT-4. Эксперты из второй группы имели доступ к исследовательской версии GPT-4, которая, в отличие от потребительской, не игнорирует прямые вопросы о биологических препаратах высокого риска.
Затем каждому участнику было предложено выполнить ряд задач, охватывающих аспекты сквозного процесса создания биологического оружия.
OpenAI определяла производительность участников на основе пяти показателей: точность, полнота, инновации, затраченное время и оценка сложности. Последний параметр по каждому заданию сами участники оценивали по шкале от 1 до 10.
Исследование показало небольшое улучшение точности и полноты ответов у тех, кто имел доступ к GPT-4. По 10-балльной шкале, измеряющей точность ответов, среднее улучшение составило 0,88 для биологов и 0,25 для студентов по сравнению с базовым показателем.
Аналогичные улучшения были обнаружены и в отношении полноты ответов (0,82 у экспертов и 0,41 у студентов).
По мнению представителей OpenAI, эти эффекты недостаточно велики, чтобы быть статистически значимыми. Ограничения исследования заключаются в том, что оно оценивало только доступ к информации, а не ее практическое применение. Кроме того, не изучалось, может ли большая языковая модель способствовать разработке нового биологического оружия.
Наконец, у используемой модели GPT-4 не было доступа к таким инструментам, как интернет-исследования или расширенный анализ данных.
Весной 2023 года при тестировании GPT-4 профессор химического машиностроения Рочестерского университета Эндрю Уайт сумел создать при помощи нейросети новое нервно-паралитическое вещество.
В декабре того же года сооснователь Google Brain и профессор Стэнфорда Эндрю Ын попытался при помощи ChatGPT составить сценарий уничтожения человечества, но чат-бот отказался ему в этом помогать. Так, Ын попробовал вызвать в GPT-4 функцию начала ядерной войны, а потом — найти решение для сокращения выбросов углекислого газа, главным источником которого выступают люди.
Источник: habr.com
Похожие новости:
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
OpenAI открыла магазин GPT Store, собирающий модифицированные версии ChatGPT от юзеров
Исследователь обнаружил в коде OpenAI наработки по возможной замене Google Assistant на ChatGPT на Android-смартфонах
Ведомство по патентам и товарным знакам США отклонило заявку OpenAI на регистрацию товарного знака GPT