Сегодня, 20 октября, китайская компания DeepSeek официально представила миру свою новую большую языковую модель с открытым исходным кодом DeepSeek-OCR, которая нацелена на оптическое распознавание символов и извлечение текстового контента из различных документов. Разработчики модели объяснили, что для этого их новинка использует систему визуальных токенов — фактически, это «взгляды» LLM на определённые участки сканируемого изображения, в рамках которых ИИ распознаёт символы и записывает их в соответствующем формате. Данная технология имеет как минимум два важных преимущества по сравнению с традиционным OCR-механизмом. Подписывайтесь на Telegram-канал про технологии Изображение: DeepSeek
Во-первых, система получилась крайне эффективной из-за специфического подхода к распознаванию и записыванию данных о контенте. Дело в том, что DeepSeek-OCR не занимается попиксельным «пересказом» изображения, на что, естественно, ушло бы очень много ресурсов. Вместо этого LLM анализирует документ и извлекает только текстовый контент — это позволяет существенно сократить потребляемые моделью ресурсы системы при сохранении высокой точности обработки изображения. Например, по словам разработчиков, даже в диапазоне 64-100 токенов точность распознавания текстового контента составляет от 97% до 99%. Изображения: DeepSeek
Кроме того, пользователь имеет возможность выбрать необходимый режим работы DeepSeek-OCR в зависимости от своих мощностей, задач и необходимой точности. Наиболее «маленький» режим Tiny расходует 64 токена и имеет сетку 512×512 пикселей. Также есть режим Small на 100 токенов с сеткой 640×640 пикселей, Base на 256 токенов с сеткой 1024×1024 и наиболее крупный Large с расходом 400 токенов и сеткой 1280×1280 пикселей. Более того, новая OCR-модель поддерживает специальный динамический режим Gundam, который способен автоматически масштабировать сетку и расход токенов в зависимости от сложности сканируемого документа.
Во-вторых, новая модель не просто извлекает текстовый контент из изображения, но и сохраняет смысловую структуру оригинального документа. Разработчики рассказали, что LLM сохраняет заголовки, списки, информацию в таблицах, подписи к изображениям и не только. Это существенно упрощает процесс дальнейшего использования отсканированного контента — его легче редактировать, «скармливать» ИИ (поддерживается даже формат Markdown) и использовать в иных сценариях. И, что самое важное, всё это доступно любому желающему на Hugging Face.
Источник: trashbox.ru