Его прохождение поможет выявить самые способные модели с точки зрения их самостоятельного развития. Никакой Скайнет мимо не пройдет.
Ученые из компании OpenAI разработали набор тестов под названием MLE-bench, который позволит проверять новые модели искусственного интеллекта и определять, как они справляются с «автономным проектированием машинного обучения». То есть, простыми словами, как хорошо ИИ изменяет собственный код и улучшает его возможности без участия человека.
Новый «эталон» состоит из 75 тестов Kaggle, каждый из которых представляет собой уникальную задачу. Если алгоритм способен справиться со всеми, то он может считаться кандидатом на роль универсального искусственного интеллекта — гипотетической модели, которая будет намного умнее людей. При этом, каждый из тестов еще и имеет реальную практическую ценность. Так один из них, под названием OpenVaccine, предлагает ИИ найти вакцину против COVID-19.
Напоследок ученые прогнали через набор MLE-bench самую мощную из созданных на данный момент ИИ-моделей под названием «o1». Согласно опубликованным результатам, она смогла попасть в 40% лучших участников тестирования за все время — и ее прогресс рос с каждой попыткой. Теперь же компания OpenAI выложила исследование в открытый доступ, чтобы и другие авторы алгоритмов могли испытать свои «творения».
Источник: hi-tech.mail.ru
Похожие новости:
Reuters: OpenAI станет коммерческой организацией, её глава Сэм Альтман получит долю в компании
ASUS объявляет о стратегии внедрения искусственного интеллекта, ноутбуки Copilot+ и решения для создателей контента на выставке Computex 2024
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»