В Ollama появилась поддержка Jev‑подобных моделей, которые выбирают ответ из заданных вариантов и возвращают оценки вероятностей. Функцию добавили в версии 0.35, а сами модели работают полностью локально.
Сейчас доступны модели Nimble от Bespoke Labs с 9 млрд параметров и две экспериментальные Tev1 от Together AI — на 4 млрд и 0,8 млрд параметров. Все три создали с помощью дообучения Qwen 3.5. Самая маленькая Tev1 после загрузки занимает 812 МБ на диске.
Интерфейс построен по образцу API Jev — модели компании TypeSafe. Например, его можно использовать для сортировки обращений в поддержку, модерации контента или выбора моделей под конкретные запросы. Есть поддержка трёх форматов: выбор из списка, оценка по заданной шкале и ответ на вопрос «да или нет».
Скорость команда Ollama оценивала на примере Pac‑Man. Nimble 9B на MacBook Pro с M5 Max принимала решение в среднем за 91 мс. Низкая задержка связана в том числе с тем, что модели не надо обращаться к облаку.
Для работы нужен новый адрес API /v1/systemone или официальный Python SDK TypeSafe, настроенный на локальную Ollama. Встроенные библиотеки Ollama для Python и JavaScript пока этот режим не поддерживают.
Источник: habr.com