OpenAI опубликовала аудит SWE-Bench Pro — одного из главных бенчмарков для оценки кодинг-способностей моделей — и пришла к выводу, что около 30% его задач сломаны. Компания официально отозвала свою рекомендацию использовать этот бенчмарк и посоветовала разработчикам моделей внимательно перепроверять результаты на нем.
Читать далее
Источник: habr.com