Китайский ИИ-стартап DeepSeek представил новый мультимодальный ИИ, способный обрабатывать большие и сложные документы с задействованием значительно меньшего количества токенов.
DeepSeek-OCR применяет визуальное восприятие как средство сжатия информации.
Система стала результатом исследования «роли визуальных энкодеров» для сжатия текста в больших языковых моделях (LLM). Благодаря такому подходу нейросети способны обрабатывать огромные объемы информации без пропорционального роста затрат на вычисления.
DeepSeek-OCR состоит из двух основных компонентов:
- DeepEncoder — кодировщик;
- DeepSeek3B-MoE-A570M — декодер.
Первый служит основным вычислительным ядром модели. Он сохраняет низкую активность в ходе обработки изображений высокого разрешения, одновременно достигая существенного уровня сжатия. Это позволяет сократить количество токенов.
Декодер — модель Mixture-of-Experts с 570 млн параметров — отвечает за восстановление исходного текста. Архитектура делит нейросеть на несколько независимых подсетей — «экспертов», каждый из которых специализируется на своей части входных данных. Вместе они решают общую задачу.
DeepSeek-OCR способна анализировать сложно структурированный визуальный контент, таблицы, формулы и геометрические схемы. По словам компании, это делает модель особенно полезной для применения в финансовой сфере и научных исследованиях.
Она отметила, что DeepSeek-OCR достигала 97% точности декодирования. При коэффициенте 20х модель сохраняла около 60%. Это подчеркивает ее способность не терять информацию даже при экстремальном уровне сжатия.
На OmniDocBench — эталонном тесте для оценки понимания разнообразных документов — DeepSeek-OCR превзошла ведущие модели оптического распознавания текста вроде GOT-OCR 2.0 и MinerU 2.0. При этом она использовала значительно меньше токенов.
Напомним, в августе стартап обновил свою флагманскую ИИ-модель V3.