Разработчики сервиса Chatbot Arena представили режим тестов RepoChat. С его помощью пользователи могут задавать вопросы языковым моделям по содержимого определённого публичного репозитория и выбирать лучшие ответы.
Для начала надо перейти во вкладку RepoChat и вставить ссылку на репозиторий. После этого можно ввести запрос, который относится к содержимому репозитория. Например, можно узнать, как развернуть проект или как настроить локальное окружение для разработки.
После этого всё проходит в привычном режиме: две нейросети генерируют ответ, а пользователю надо выбрать лучший вариант. При этом названия языковых моделей не видно до тех пор, пока не завершится голосование. Это сделано для того, чтобы пользователи сконцентрировались на результате и не появлялось предвзятых оценок. Такой подход позволяет формировать объективный рейтинг языковых моделей.
Источник: habr.com
Похожие новости:
gpt2-chatbot превзошла GPT-4 и исчезла: новый проект OpenAI или скрытое тестирование GPT-5?
Samsung Galaxy S24 FE сравнили с прошлогодним S23 FE по качеству камер
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
Гиперперсонализация: как сделать предложение пользователю релевантным