Вышел Qwen2.5-VL от Alibaba: распознавание часовых видео, агенты, структурные данные

Вышел Qwen2.5-VL от Alibaba

Астрологи объявили неделю китайских нейросетей. На этот раз у нас апдейт Qwen2.5-VL.

Это модель, умеющая принимать на вход на текст, так и изображения, обладает более развитой способностью «понимать» нарисованное на картинках, в том числе прекрасно справляется с обработкой видео длительности до 1 часа.

Ссылка на официальный блог: https://qwenlm.github.io/blog/qwen2.5-vl/

Ключевые улучшения

Взято из https://huggingface.co/Qwen/Qwen2.5-VL-72B-Instruct и переведено на русский с небольшой редактурой для понятности:

Визуальное понимание

Модель Qwen2.5-VL не только умеет распознавать привычные объекты (цветы, птицы, рыбы, насекомые), но и способна анализировать тексты, диаграммы, иконки, графику и макеты внутри изображений.

Работа в формате ИИ-агента:

Qwen2.5-VL может напрямую выступать в роли визуального агента, который умеет рассуждать и динамически использовать различные инструменты, в том числе компьютер или телефон. [Привет, OpenAI Operator!]

Понимание длинных видео и фиксация событий:

Qwen2.5-VL способна разбирать видео длительностью более 1 часа.

Новая возможность — находить конкретные события, выделяя нужные фрагменты видео.

Точная локализация в разных форматах:

Модель умеет точно находить объекты на изображении, создавая bounding-box или указывая точки.

Она также может выдавать JSON с координатами и характеристиками объектов.

Генерация структурированных данных:

При работе со сканами счетов, форм, таблиц и т.п. Qwen2.5-VL поддерживает структурированный вывод их содержимого, что полезно в финансах, торговле и других сферах.

Обновления архитектуры модели

Динамическое разрешение и частота кадров при обучении видео:

Была расширена идея динамического разрешения, было добавлено временное измерение, и переменная частота кадров (FPS). Это помогает модели понимать видео с разными скоростями воспроизведения.

Также был обновлен mRoPE во временном измерении с помощью использования ID и абсолютной привязки ко времени. Это позволяет модели лучше понимать последовательность событий и скорость, чтобы точнее находить конкретные моменты в видео.

Упрощённый и быстрый визуальный энкодер:

Ускорено обучение и вывод результатов, используя оконное внимание (window attention) в ViT.

Архитектуру ViT оптимизировали с использованием SwiGLU и RMSNorm, чтобы она соответствовала структуре языковой модели Qwen2.5.

Бенчмарки

Тут всё не так однозначно. В каких-то (MathVista_MINI) Qwen2.5-VL уступает моделям от OpenAI, в каких-то лидирует.

Бенчмарки по иозбражений:

Benchmarks

GPT4o

Claude3.5 Sonnet

Gemini-2-flash

InternVL2.5-78B

Qwen2-VL-72B

Qwen2.5-VL-72B

MMMUval

70.3

70.4

70.7

70.1

64.5

70.2

MMMU_Pro

54.5

54.7

57.0

48.6

46.2

51.1

MathVista_MINI

63.8

65.4

73.1

76.6

70.5

74.8

MathVision_FULL

30.4

38.3

41.3

32.2

25.9

38.1

Hallusion Bench

55.0

55.16

57.4

58.1

55.16

MMBench_DEV_EN_V11

82.1

83.4

83.0

88.5

86.6

88

AI2D_TEST

84.6

81.2

89.1

88.1

88.4

ChartQA_TEST

86.7

90.8

85.2

88.3

88.3

89.5

DocVQA_VAL

91.1

95.2

92.1

96.5

96.1

96.4

MMStar

64.7

65.1

69.4

69.5

68.3

70.8

MMVet_turbo

69.1

70.1

72.3

74.0

76.19

OCRBench

736

788

854

877

885

OCRBench-V2(en/zh)

46.5/32.3

45.2/39.6

51.9/43.1

45/46.2

47.8/46.1

61.5/63.7

CC-OCR

66.6

62.7

73.0

64.7

68.7

79.8

Бенчмарки по видео:

Benchmarks

GPT4o

Gemini-1.5-Pro

InternVL2.5-78B

Qwen2VL-72B

Qwen2.5VL-72B

VideoMME w/o sub.

71.9

75.0

72.1

71.2

73.3

VideoMME w sub.

77.2

81.3

74.0

77.8

79.1

MVBench

64.6

60.5

76.4

73.6

70.4

MMBench-Video

1.63

1.30

1.97

1.70

2.02

LVBench

30.8

33.1

—

41.3

47.3

EgoSchema

72.2

71.2

—

77.9

76.2

PerceptionTest_test

—

—

—

68.0

73.2

MLVU_M-Avg_dev

64.6

—

75.7

74.6

TempCompass_overall

73.8

—

—

74.8

Бенчмарки по «агентским» спосоностям:

Benchmarks

GPT4o

Gemini 2.0

Claude

Aguvis-72B

Qwen2VL-72B

Qwen2.5VL-72B

ScreenSpot

18.1

84.0

83.0

87.1

ScreenSpot Pro

17.1

1.6

43.6

AITZ_EM

35.3

72.8

83.2

Android Control High_EM

66.4

59.1

67.36

Android Control Low_EM

84.4

59.2

93.7

AndroidWorld_SR

34.5% (SoM)

27.9%

26.1%

35%

MobileMiniWob++_SR

66%

68%

OSWorld

14.90

10.26

8.83

Заключение

Alibaba выпустили модель в 3 вариантах — 3, 7 и 72 миллиарда параметров. Более подробное описание можно посмотреть на HuggingFace, а сама модель лежит на GitHub.

Вот уж мощное начало года для китайских специалистов в ИИ.

—

P.S. 2025 год на дворе, неужели вы думали я не бахну ссылку на свой Телеграм канал в конце статьи? Я там регулярно пишу по ИИ/агентов, даю более глубокую аналитику по новостям, и рассказываю как сделать компанию, в которой все сотрудники — AI-агенты. Велком!

Источник: habr.com