Состоялся выпуск проекта «LLM Tokenizer with Pricing Calculator in Zig», который представляет собой токенизатор Byte‑Pair Encoding (BPE), написанный на языке программирования Zig (Zig 0.15, без зависимостей вне std). Решение токенизирует текст и рассчитывает стоимость для различных поставщиков LLM.
Проект считывает входные данные из файла src/prompt.txt, выполняет токенизацию BPE и отображает полную таблицу цен для популярных языковых моделей.
В рамках токенизации BPE решение итеративно находит и объединяет наиболее часто встречающиеся пары смежных байтов. Проект останавливается, когда ни одна пара не встречается более одного раза. Выполняется вывод токенов в цветах ANSI для визуализации.
Калькулятор цен LLM рассчитывает стоимость промптов, а также отображает стоимость одного промпта и цену за миллион токенов.
Источник: habr.com