Инференс API LLM моделей LLaMA с доступом из России

14 июля облачный провайдер Amvera Cloud открыл доступ к foundation models LLaMA 3.1 8B и LLaMA 3.3 70B для пользователей из России. Для использования токенов LLM нет необходимости привязывать иностранную карту. Оплата осуществляется в рублях с баланса облака, а для юридических лиц доступны закрывающие документы.

При этом есть небольшой бесплатный тестовый тариф, позволяющий получить токены LLM бесплатно для теста.

Дополнительно к собственному инференсу LLaMA, предоставляется бесплатное встроенное проксирование до API ChatGPT, Gemini, Grok, Claude.

Предоставление прямого доступа к инференсу больших языковых моделей позволяет пользователям получить доступ из России без иностранной карты и без покупки токенов у перепродавцов. 

Доступные большие языковые модели:

LLaMA 3.1 8B

LLaMA 3.3 70B

Подписки на токены к LLM LLaMA

Ожидаемые в ближайших релизах Foundation models:

DeepSeek

Qwen

Mistral

Gemma

phi

QwQ

Модели доступны в синхронном режиме работы и позволяют получать вывод LLM модели в реальном времени.

Amvera Cloud – облако для простого запуска проектов со встроенным CI/CD (деплой идёт через Git или загрузку файлов в интерфейсе), бесплатным логированием с семантическим поиском,  https-доменами, мониторингом работы приложений, встроенным проксированием до ведущих LLM и собственным инференсом LLaMA. Вам не нужно думать о настройке NGINX, виртуальных машин и другой инфраструктуры. Зарегистрируйтесь и получите 111 рублей на тест.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии