Локальная модель Qwen3.8-27B неожиданно показала результат уровня крупных облачных систем — правда, только на одном задании из кодингового бенчмарка DeepSWE. 4-битная версия прошла 98% проверок и получила идеальные 12 из 12 баллов в задаче на ревью кода.
На первый взгляд результат впечатляет: согласно опубликованным данным DeepSWE, облачные модели передового уровня в среднем набирают на этом задании 96,6%. Однако делать вывод о полноценном равенстве пока явно рано. Весь тест включает 113 задач, и лучшие облачные модели в среднем справляются примерно с 70–74% из них. Более того, даже они проходят конкретную проверку без единой ошибки лишь примерно в двух случаях из трёх.
Есть у Qwen3.8-27B и другое преимущество — модель можно запускать локально. 4-битная версия занимает около 13–18 ГБ памяти, поэтому при определённых настройках она способна работать даже на видеокарте с 16 ГБ VRAM. На RTX 4090 с 24 ГБ модель демонстрирует около 115 токенов в секунду.
При этом автор эксперимента сам предупреждает, что речь идёт всего об одном запуске. Из 43 скрытых тестов модель прошла 40, а итоговый бинарный результат оказался нулевым, то есть задачу полностью решить она не смогла. Поэтому громкое сравнение с frontier-моделями пока скорее показывает потенциал локальных ИИ, чем их реальное превосходство.
Источник: www.goha.ru