Группа ученых из Корнеллского университета, Университета Вашингтона и Института искусственного интеллекта Аллена разработала новый инструмент для оценки фактической точности больших языковых моделей (LLM), названный WILDHALLUCINATIONS. Описание инструмента опубликовано на сервере arXiv.
LLM, такие как ChatGPT, популярны для создания текстов, однако их недостатки становятся очевидными: модели часто делают неточные утверждения, которые называют «галлюцинациями». Причиной таких ошибок является качество данных, используемых для обучения моделей, обычно это текст из интернета.
Ученые разработали инструмент, который позволяет оценить точность популярных LLM, проверяя их ответы на факты. В ходе тестирования WILDHALLUCINATIONS обнаружил, что многие обновленные модели не продемонстрировали значительного улучшения точности. Модели лучше справлялись с запросами на основе информации из информационных энциклопедических источников, но испытывали трудности с данными о знаменитостях и финансовых вопросах.
Источник: www.ferra.ru
Похожие новости:
ASUS объявляет о стратегии внедрения искусственного интеллекта, ноутбуки Copilot+ и решения для создателей контента на выставке Computex 2024
Всемирная организация интеллектуальной собственности (ВОИС) выпустила отчет о патентном ландшафте в генеративном ИИ 2024
TechMix Daily. Лучшие новости дня. Выпуск 22 мая 2024 г
Компания Acer выпустила ноутбук Swift 14 AI с поддержкой платформы Copilot+