Спрос на GPU стремительно растет, во многом благодаря потребности в обучении ИИ- моделей. Однако, около 50% мировых вычислительных мощностей простаивают. Компания Kuzco представила новое решение — агрегатор GPU, который объединяет неиспользуемые ресурсы в единую систему для выполнения задач по обработке ИИ-запросов.
По сути, это распределенный кластер, построенный на блокчейне Solana и предназначенный для эффективного вывода больших языковых моделей, таких как Llama2 и Mistral. Используя возможности простаивающих вычислительных ресурсов, которые предоставляют участники сети, Kuzco позволяет пользователям получать доступ к ИИ-моделям и использовать их через API-интерфейс, совместимый с OpenAI.
Крупнейший производитель GPU, NVIDIA, продал в 2023 году около 30 миллионов GPU. Apple продала 43 миллиона компьютеров Mac с начала 2022 года. Все чипы, производимые NVIDIA и Apple, способны обеспечить вывод как минимум 40 токенов в секунду для Llama2-7B. При текущей цене в 0.2 доллара за миллион токенов, простаивающая мощность стоит примерно 33 600 000 долларов в день, или 12,2 миллиарда долларов в год.
Источник
Как работает Kuzco? Владельцы GPU могут установить программное обеспечение Kuzco Worker на свои компьютеры и получать доход за обработку запросов. Это позволит повысить эффективность использования вычислительных мощностей и снизить цены на обучение и применение ИИ для разработчиков.
Сайт Kuzco
Разработчики платят только за фактически использованные ресурсы, получая доступ к оптимальным мощностям по лучшей цене. Миссия Kuzco — увеличить общий объем использования крупнейших языковых моделей в мире, снизить затраты для разработчиков и предоставить им доступ к необходимым инструментам.
Сеть работает в режиме ранней альфа-версии, ежедневно обрабатывая 1 миллиард токенов на более чем 1700 узлах. В будущем платформа может найти применение в таких областях, как анализ кода, извлечение данных, финансовая аналитика, переводы, генерация контента, модерация, оптимизация SEO, юридический анализ и создание образовательных материалов.
Документацию к сервису можно почитать здесь.
Источник: habr.com
