Red Hat объявила о приобретении компании в области программного обеспечения и алгоритмов, ускоряющих рабочие нагрузки вывода генеративного искусственного интеллекта, Neural Magic. Последняя стоит за разработкой рантайма DeepSprase и среды для быстрого вывода и использования больших языковых моделей nm-vllm.
Приобретая Neural Magic, производитель ПО на базе Linux планирует усилить свои предложения в области ИИ и использовать возможности стартапа в сфере вывода на GPU и CPU для генеративных рабочих нагрузок ИИ GenAI.
Red Hat намерена сделать поколения ИИ более доступными для большего числа организаций при помощи открытых инноваций vLLM. Это проект с открытым исходным кодом, управляемый сообществом, для обслуживания открытых моделей с поддержкой всех основных семейств моделей, передовыми исследованиями ускорения вывода и разнообразными аппаратными бэкэндами, включая графические процессоры AMD, Nvidia, процессоры x86, AWS Neuron, Google TPU и Intel Gaudi.
Лидерство Neural Magic в проекте vLLM вместе с сильным портфелем гибридных облачных технологий ИИ от Red Hat предложит организациям открытый путь к созданию, пояснили в компании-приобретателе. Там добавили, что технологическое лидерство стартапа в vLLM расширит возможности Red Hat AI по поддержке развёртываний БЯМ в любой среде с помощью высоко оптимизированного и открытого стека вывода.
Хотя Neural Magic сохраняет некоторые элементы ПО с открытым исходным кодом, у стартапа также есть проприетарные компоненты.
Основное предложение Neural Magic основано на технологии с открытым исходным кодом vLLM с дополнительным проприетарным кодом. Red Hat давно демонстрирует свою приверженность открытому исходному коду приобретаемой ею технологии. Компания не планирует менять этот подход.
Источник: habr.com
Похожие новости:
LLM в комплекте: Red Hat выпустила платформу RHEL AI для работы с генеративным ИИ
NVIDIA готовится полностью перейти на ядра графических процессоров с открытым исходным кодом с драйверами R560
NVIDIA готовится полностью перейти на ядра графических процессоров с открытым исходным кодом с драйверами R560
Сообщество HDMI Forum отклонило драйвер AMD HDMI 2.1 с открытым исходным кодом