Исследователи Сбербанка разработали Pollux, открытую компактную модель для проверки качества ответов искусственного интеллекта (ИИ). Она оценивает не только отдельные запросы и ответы, но и диалоги, работу с внешними источниками информации (RAG) и использование инструментов ИИ-агентами.
Модель Pollux Judge содержит 4 млрд параметров и позволяет задавать собственные критерии и шкалы оценки. Она обучена методом GRPO на русскоязычных и англоязычных данных. Для обучения использовали бенчмарк из 35 групп задач и 2115 экспертных запросов.
В тестах коэффициент корреляции Спирмена между оценками Pollux и специалистов составил 0,744. По этому показателю модель превзошла проверенные универсальные системы, включая модели с числом параметров до 1,1 трлн.
Pollux можно развернуть локально или подключить через API, совместимый с OpenAI. Научную работу приняли на конференцию AACL-IJCNLP 2026.
Источник: www.ferra.ru