Исследование группы Hazy Research доказало, что локальный ИИ-инференс становится всё более жизнеспособным и продуктивным. Для оценки использовался показатель интеллект на ватт (IPW, intelligence per watt) — соотношение точности выполнения задачи к потребляемой мощности. Такой подход позволяет объективно оценивать эффективность как моделей, так и аппаратного обеспечения, особенно в условиях растущих требований к энергоэффективности.
По результатам исследования, локальные LLM с параметрами до 20 млрд уже способны обрабатывать 88,7% типичных одноэтапных запросов в чатах и задачах на логику. За период с 2023 по 2025 год общая эффективность локального ИИ выросла в 5,3 раза. Этот прогресс объясняется как улучшением самих моделей (в 3,1 раза), так и развитием аппаратных ускорителей (в 1,7 раза).
Эксперты отмечают, что такие показатели открывают новые возможности для компаний и индивидуальных пользователей: локальный ИИ становится достаточно мощным для работы без постоянного подключения к облаку, снижая задержки и зависимость от внешней инфраструктуры. Это особенно важно для отраслей с высокими требованиями к конфиденциальности и скорости обработки данных, например, здравоохранение, финансы и промышленность.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник
Источник: habr.com