Китайская Alibaba представила модель искусственного интеллекта с открытым исходным кодом под названием QwQ-32B-Preview. Она может решать сложные логические и математические задачи, содержит 32,5 млрд параметров и может обрабатывать запросы длиной до 32 тысяч слов.
В тестах Alibaba QwQ-32B-Preview превзошла модели o1-preview и o1-mini от OpenAI по некоторым показателям. в том числе в плане производительности в тестах AIME и MATH. Первый оценивает работу модели с помощью других систем ИИ, а второй представляет собой набор текстовых математических задач.
Так, модель способна правильно подсчитать число букв «r» в слове «strawberry». Ранее исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не справляются с этой задачей. Они выдают ответ, что эта буква встречается в слове дважды, а не трижды.
У QwQ-32B-Preview есть и минусы. Так, модель может неожиданно менять язык общения, зацикливаться на некоторых моментах и хуже справляется с заданиями, когда требуется задействовать рассуждения.
При этом система может «проверять саму себя», чтобы избегать ошибок-ловушек. Процесс самопроверки несколько замедляет процесс нахождения решений. Как и o1 от OpenAI, новая разработка Alibaba решает задачи поэтапно, постепенно анализируя и планируя дальнейшие шаги.
QwQ-32B-Preview можно загрузить на платформе Hugging Face под лицензией Apache 2.0 и использовать в коммерческих целях. Но Alibaba раскрыла лишь часть компонентов модели, тем самым не позволяя изучить внутренние механизмы работы алгоритма. Таким образом, модель находится между закрытыми и открытыми системами (open source license).
Кроме того, QwQ-32B-Preview следует требованиям местного регулятора, который проверяет ИИ на соответствие «основным социалистическим ценностям». Это означает, что она не будет отвечать на вопросы политического характера, связанные с КНР.
В настоящее время интерес к моделям с опцией рассуждения растёт на фоне снижения эффективности традиционного подхода за счёт масштабирования данных и вычислительных мощностей. Ранее такие компании, как OpenAI, Google и Anthropic, уже столкнулись с замедлением прогресса ИИ-моделей из-за нехватки обучающих данных. Это, в свою очередь, ведёт к падению инвестиций.
Источник: habr.com
Похожие новости:
Вышла Qwen2.5-Coder 32B. Открытая локальная модель для кода небольшого размера конкурирующая с GPT-4o
Reuters: OpenAI станет коммерческой организацией, её глава Сэм Альтман получит долю в компании
Альтман полностью восстановлен в Совете директоров OpenAI после увольнения 17 ноября и возвращения 22 ноября 2023 года
OpenAI против Open AI: война за домен или за открытость искусственного интеллекта?