Ollama обновилась до версии 0.5.1

Основные изменения в этой версии следующие

Поддержка новой модели Llama 3.3 — 70B. При относительно небольшом размере (может уместиться на одну видеокарту A100/H100, а при большем сжатии даже на A6000 или связку из 4090 с 48 Гб видеопамяти) данная модель сравнима и даже лучше с Llama 3.1 — 405B и догоняет по некоторым показателям GPT-4o

 Поддержка структурированного вывода по заданной JSON схеме. Теперь вывод можно упорядочить и сразу получить только необходимые значения, которые легко потом парсить и использовать. Обновлены как Python так и JavaScript библиотеки Ollama и добавлены соответствующие эндпоинты в API.

Источник: habr.com

Похожие новости:

Вышла новая — Llama 3.1 405B Слив языковой модели LLaMA 3.1 размером 405B (а также 70B, 8B). Главный открытый конкурент GPT-4o Llama 3 — новое поколение AI моделей. Open-source конкурент GPT от Meta и интервью Марка Цукерберга Слив языковой модели LLaMA 3.1 размером 405B (а так же 70B, 8B). Главный открытый конкурент GPT-4o