Компания Meta* представила третье поколение своих языковых моделей Llama. Ожидается, что новинка составит конкуренцию уже существующим решениям от OpenAI, Mistral AI, Microsoft и других компаний. Мы протестировали новинку в ряде задач и сравнили ее с ближайшими конкурентами — результаты удивили.
Новая заявка на победу
Meta* заявляет, что Llama-3 опережает другие открытые модели вроде Mistral от одноименного французского стартапа и Gemma от Google — это превосходство достигается по результатам по крайней мере девяти тестов: MATH, MMLU, AGIEval, ARC и других.
Новая модель должна реже отказывать пользователям в генерации ответов, а также предоставлять более точные ответы на вопросы, касающиеся естественных наук и инженерных предметов. Немаловажную роль в достижении этого результата играет огромное число токенов (токенами в языковых моделях называются минимальные единицы текста, будь то слова или знаки препинания — прим.) — их примерно в семь раз больше, чем у модели предыдущего поколения Llama 2.
Примечательно, что Meta* не раскрывает источников происхождения данных, которые были использованы для обучения Llama 3. Утверждается лишь, что часть данных была сгенерирована ИИ, а часть взята из общедоступных источников. Тем не менее, зная любовь компании к несанкционированному использованию (и продаже) личных данных пользователей, нельзя отрицать и той вероятности, что Llama-3 могла частично «учиться» на разного рода конфиденциальной информации.
Источник: hi-tech.mail.ru
