В Chatbot Arena появился режим тестов RepoChat

Разработчики сервиса Chatbot Arena представили режим тестов RepoChat. С его помощью пользователи могут задавать вопросы языковым моделям по содержимого определённого публичного репозитория и выбирать лучшие ответы.

Для начала надо перейти во вкладку RepoChat и вставить ссылку на репозиторий. После этого можно ввести запрос, который относится к содержимому репозитория. Например, можно узнать, как развернуть проект или как настроить локальное окружение для разработки.

После этого всё проходит в привычном режиме: две нейросети генерируют ответ, а пользователю надо выбрать лучший вариант. При этом названия языковых моделей не видно до тех пор, пока не завершится голосование. Это сделано для того, чтобы пользователи сконцентрировались на результате и не появлялось предвзятых оценок. Такой подход позволяет формировать объективный рейтинг языковых моделей.

Источник: habr.com

5 1 голос
Рейтинг новости
796
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии