Компания Samsung представила собственный инструмент для оценки производительности ИИ — TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark). Этот инструмент, разработанный исследовательским центром Samsung Research, призван заполнить пробелы, обнаруженные компанией в существующих бенчмарках.
По мнению Samsung, большинство современных инструментов для тестирования ИИ имеют ряд недостатков: они ориентированы в основном на английский язык и ограничиваются простыми структурами вопросов и ответов.
TRUEBench создан для более комплексной оценки. Он включает 2 485 тестовых наборов, охватывающих 10 категорий, 46 подкатегорий и 12 языков, что позволяет проверять ИИ в разнообразных сценариях и многоязычных средах. Тесты имитируют 10 наиболее распространённых корпоративных задач, включая создание контента, анализ данных, реферирование и перевод текстов. Длина тестовых наборов варьируется от 8 до более чем 20 000 символов, что позволяет оценивать как простые, так и сложные задачи.
Образцы данных и таблицы лидеров уже доступны на платформе с открытым исходным кодом Hugging Face, где пользователи могут тестировать до пяти моделей ИИ одновременно и сравнивать их производительность.
«Мы ожидаем, что TRUEBench станет эталоном для оценки производительности и укрепит лидерство Samsung в сфере технологий искусственного интеллекта», — заявил Пол Чён, технический директор подразделения DX компании Samsung Electronics.
Источник: mobile-review.com