Российский бизнес все чаще выбирает модифицированные игровые видеокарты вместо дорогих серверных решений — этот подход позволяет сэкономить минимум 20% бюджета на запуск крупных языковых моделей ИИ. В то же время производительность и качество обработки запросов остаются на высоком уровне.
Высокая цена профессионального оборудования для искусственного интеллекта заставляет компании искать альтернативы и оптимизировать расходы. По словам Владислава Беляева, исполнительного директора и сооснователя AutoFAQ, стандартный сервер с одной серверной видеокартой NVIDIA H100 или A100 обходится примерно в 4−4,5 млн рублей. При ограниченных бюджетах такую сумму готовы потратить немногие.
Запуск языковых моделей возможен и без GPU, однако при этом ответ от системы будет формироваться до минуты — это исключает применение в клиентском сервисе и поддержке сотрудников HR или IT, где важна скорость реакции и качество информации.
Для эффективной работы в корпоративных процессах рекомендуются модели с минимум 22 млрд параметров, которые требуют до 80 ГБ памяти. На российском рынке выделяют три базовых решения:
— Покупка специализированных GPU NVIDIA A100 или H100 — вариант надежен для сложных задач, но отличается предельной стоимостью.
— Использование доработанных RTX 4090 от китайских производителей: объем памяти увеличивается с 24 ГБ до 48 ГБ. Две такие карты, плюс остальная конфигурация, стоят 1−1,3 млн рублей, что гораздо доступнее серверных вариантов.
Источник: hi-tech.mail.ru