Microsoft Research представила бенчмарк Windows Agent Arena для тестирования агентов генеративного искусственного интеллекта на ПК с Windows. Решение разработали для проверки того, насколько хорошо и быстро ИИ-агенты могут взаимодействовать с Windows-приложениями.
Windows Agent Arena протестировали с браузерами Microsoft Edge и Google Chrome, функциями операционной системы, включая проводник, приложения для кодирования, простое предустановленное программное обеспечение Windows, такое как «Блокнот», «Часы» и Paint, и просмотр видео при помощи VLC Player.
Корпорация пишет, что адаптирует фреймворк OSWorld для создания более 150 разнообразных задач Windows в репрезентативных доменах, которые требуют возможности агента в планировании, понимании экрана и использовании инструментов. Бенчмарк компании масштабируется и может быть распараллелен в Azure для полной оценки всего за 20 минут.
Microsoft Research также создала свой мультимодальный агент под названием Navi для тестирования в Windows Agent Arena. При его помощи выполнили задания с определёнными текстовыми подсказками. Средний показатель успешности Navi составил 19,5% — это довольно низкий показатель при сравнении с оценкой производительности человека в 74,5%.
Появление Windows Agent Arena может стать значительным шагом вперёд в создании ИИ-агентов, что позволит усовершенствовать их и приблизить производительность к уровню человека.
Над проектом специалисты Microsoft Research работали совместно с исследователями Университет Карнеги — Меллона и Колумбийского университета. Подробности о Windows Agent Arena можно найти в статье, а код бенчмарка представлен на GitHub.
Источник: habr.com
Похожие новости:
AMD планировала выпустить Radeon RX 8000 Navi 4X RDNA 4, который мог бы содержать более 200 вычислительных блоков
Видеокарты AMD Radeon RX 8000 с графическим процессором Navi 48 могут быть представлены на CES 2025
TechMix Daily. Лучшие новости дня. Выпуск 22 мая 2024 г
Качество снимков Samsung S24 Ultra сравнили в режимах 200, 50 и 12 Мп