Русскоязычные запросы к некоторым ИИ-моделям могут обходиться дороже англоязычных из-за особенностей токенизации. Исследование 11 токенизаторов показало, что один и тот же текст на русском в отдельных моделях занимает значительно больше токенов, чем его английская версия. Например, для Claude Opus 5 разница составила почти три раза, а по сравнению с GPT-5.5 — около 3,9 раза.
Токенизатор разбивает текст на небольшие части, которые затем обрабатывает модель, поэтому при одинаковой цене за токен больший их расход увеличивает стоимость запроса. По результатам сравнения, русский текст занимает примерно на 18–23% больше токенов, чем английский, в GPT-5.x, Gemini и Grok. У DeepSeek разница достигает 38%, у Qwen — 52%, а у Kimi — 86%.
При этом ситуация зависит от конкретной модели: наиболее эффективно с русским языком в исследовании справились YandexGPT и GigaChat — в их случае русская версия текста даже занимала немного меньше токенов, чем английская. Автор исследования отмечает, что результаты нельзя распространять на все запросы, поскольку расход токенов зависит от содержания текста, модели и токенизатора.
Пользователям, которые регулярно работают с большими объёмами текста на русском языке, стоит учитывать не только заявленную стоимость токенов, но и их фактический расход. При этом более высокая токенизация сама по себе не означает, что модель хуже понимает русский язык: на итоговую стоимость влияют устройство токенизатора и особенности конкретной модели.
Стали бы вы выбирать модель с учётом стоимости токенов или удобство и качество ответов для вас важнее?
НовостиClaudeЖелезо и технологииискусственный интеллектнейросети
Источник: vgtimes.ru