Сравнение Nemotron-4 340B с GPT-4-1106
На данный момент самая крупная, после Groq-1, открытая LLM модель размером 340B. По тестам сравнения человеком как выигрывает у GPT-4-1106 (вышла в ноябре 2023), так и проигрывает, но чаще составляет паритет.
Обучалась на 50+ естественных языках и 40+ языков программирования. Архитектура модели построена на Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Но длина контекста всего 4096 токенов.
Модель представлена в виде: Nemotron-4-340B-Base, Nemotron-4-340B-Instruct и Nemotron-4-340B-Reward.
Base — предназначена для генерации синтетических данных.
Insctuct — предназначена для чата и выполнения инструкций
Reward — base модель с дополнительным линейным слоем для обучения используя новый подход reward.
Модель распространяется под лицензией NVIDIA Open Model License Agreement, разрешающая коммерческое использование.
Сама модель может и в стихи, так как обучалась и на русском языке:
Онлайн демо: https://chat.lmsys.org/ (там выбрать Direct Chat)
Веса модели: https://huggingface.co/nvidia/Nemotron-4-340B-Instruct
safetensors: https://huggingface.co/failspy/Nemotron-4-340B-Instruct-SafeTensors
Больше подробностей в пресс-релизе.
Самая большая загадка — сможет ли 1 битное квантование gguf позволить запустить её локально, и что даст эта модель для сообщества llm.
Источник: habr.com
Похожие новости:
Dark Base Pro 901 White и Dark Base 701 White: теперь доступны в белом цвете
be quiet! представляет новые продукты премиум-класса на выставке Computex 2024
be quiet! представляет новые продукты премиум-класса на выставке Computex 2024
Данные обучения китайских токенов GPT-4o оказались заспамлены и содержат порнозапросы