Команда исследователей из OpenAI разработала новый инструмент для оценки возможностей в области машинного обучения — MLE-bench. Документ с описанием этого бенчмарка опубликован на предпечатном сервере arXiv.
С ростом применения машинного обучения и искусственного интеллекта появились новые задачи, требующие инженерного подхода. MLE-bench включает 75 тестов, взятых с платформы Kaggle, которые позволяют оценить, насколько хорошо ИИ может решать реальные проблемы, такие как расшифровка древних свитков или разработка новых типов вакцин на основе мРНК.
Хотя инструмент не рассматривает вопросы безопасности ИИ, он открывает возможности для разработки средств, направленных на предотвращение потенциальных негативных последствий. Результаты тестирования помогут команде OpenAI отслеживать прогресс в исследованиях ИИ и оценивать его способность к автономной инженерной деятельности и инновациям.
Источник: www.ferra.ru
Похожие новости:
Reuters: OpenAI станет коммерческой организацией, её глава Сэм Альтман получит долю в компании
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»
В суде США разваливается коллективный иск «разработчики против Microsoft, GitHub и OpenAI из-за работы GitHub Copilot»