Разработчики Jina AI представили семейство языковых моделей Reader-LM, предназначенных для конвертации HTML в Markdown. Во время конвертации нейросеть удаляет лишнее из файла веб-разметки, структурирует информацию и записывает в формате .md.
В семейство Reader-LM доступно в компактных размерах 0,5B и 1,5B. При этом контекстное окно в 256 тыс. токенов. Модели мультиязычные, а обучали их на наборе синтетических данных, состоящих из пар «HTML-Markdown». Всего в корпус обучающих данных вошло 2,5 млрд токенов. Пары сгенерировали с помощью Jina Reader API и GPT-4o.
Производительность Reader-LM сравнили с большими языковыми моделями GPT-4o, Gemini-1.5-Flash, Gemini-1.5-Pro, LLaMA-3.1-70B и Qwen2-7B-Instruct. Оказалось, что нейросеть лучше справляется с конвертацией HTML в Markdown, но при этом в 50 раз меньше больших моделей.
Семейство моделей можно запустить в Google Collab или локально с помощью Transformers. Сами нейросети доступны на портале Hugging Face (0,5B и 1,5B). Там же развёрнуто демонстрационное приложение.
Источник: habr.com
