DeepSeek 剛剛開源了新的 OCR 模型，該模型的參數(shù)量為 3B，剛上線兩小時就有 100 多次下載量。
DeepSeek-OCR 是對光學二維映射壓縮長上下文可行性的初步探索。由兩部分組成：DeepEncoder 和解碼器 DeepSeek3B-MoE-A570M。
實驗表明，當文本標記數(shù)量在視覺標記數(shù)量的 10 倍以內時，該模型的解碼 (OCR) 精度可達 97%。即使在 20 倍壓縮比下，OCR 精度仍能保持在 60% 左右。
DeepSeek-OCR 的主要貢獻有三點：
對視覺-文本標記壓縮比進行了全面的定量分析。在 9-10 倍文本壓縮率下實現(xiàn)了 96% 以上的 OCR 解碼精度，在 10-12 倍壓縮率下實現(xiàn)了 ～90% 的解碼精度，在 20 倍壓縮率下實現(xiàn)了 ～60% 的解碼精度。
引入了新架構 DeepEncoder。即使在高分辨率輸入下也能保持較低的激活內存和最少的視覺標記。
基于 DeepEncoder 和 DeepSeek3B-MoE 開發(fā)了 DeepSeek-OCR。在 OmniDocBench 端到端模型中實現(xiàn)了最佳性能，同時使用了最少的視覺 token。
方法論
DeepSeek-OCR 采用統(tǒng)一的端到端 VLM 架構，由編碼器和解碼器組成。編碼器（即 DeepEncoder）負責提取圖像特征、標記化以及壓縮視覺表征。
DeepEncoder 主要由兩個組件組成：一個由窗口注意力機制主導的視覺感知特征提取組件，以及一個具有密集全局注意力機制的視覺知識特征提取組件。
為了測試不同壓縮率（需要不同數(shù)量的視覺標記）下的模型性能并增強 DeepSeek-OCR 的實用性，研究團隊為其配置了多種分辨率模式。
生分辨率支持四種子模式：Tiny、Small、Base、Large，對應的分辨率和 token 數(shù)量分別為 512×512（64）、640×640（100）、1024×1024（256）和 1280×1280（400）。
解碼器采用了 DeepSeekMoE，既擁有 3B 模型的表達能力，又能享受 500M 小型模型的推理效率。
研究人員還為 DeepSeek-OCR 構建了復雜多樣的訓練數(shù)據(jù)，包括場景圖像 OCR、文檔 OCR 等傳統(tǒng) OCR 任務、針對復雜人工圖像的解析任務。
訓練流程非常簡單，主要包含兩個階段：
獨立訓練 DeepEncoder；
訓練 DeepSeek-OCR。
結果評估
結果顯示，**在 10 倍壓縮比內，模型解碼精度可達約 97%**，這是一個非常有前景的結果。
當壓縮比超過 10 倍時，性能開始下降。一是因為長文檔的排版變得更加復雜，二是長文本在 512×512 或 640×640 分辨率下會變得模糊。
為了量化 OCR 性能，研究團隊在 OmniDocBench 上測試了 DeepSeekOCR。結果顯示，DeepSeek-OCR 僅需要 100 個視覺標記（640×640 分辨率），就超越了使用 256 個標記的 GOT-OCR2.0；使用 400 個標記（285 個有效標記，1280×1280 分辨率），它在該基準測試中達到了與最先進技術相當?shù)男阅?/strong>。
這些結果表明，DeepSeek-OCR 模型在實際應用中非常強大，并且由于更高的標記壓縮率，它享有更高的研究上限。
在金融研究報告領域，DeepSeek-OCR 的深度解析模式可以獲取文檔中圖表的結構化結果。
對于書籍和文章，深度解析模式可以為文檔中的自然圖像輸出密集的字幕。只需輸入提示，模型就能自動識別圖像類型并輸出所需的結果。
研究人員相信，DeepSeek-ORC 將有助于未來 VLM 和 LLM 的發(fā)展。此外，DeepSeek-OCR 模型具有極高的實用性，能夠進行大規(guī)模預訓練數(shù)據(jù)生產，是 LLM 不可或缺的助手。
當然，僅靠 OCR 不足以完全驗證真正的上下文光學壓縮，DeepSeek 將在未來進行數(shù)字-光學文本交織預訓練等評估。
參考資料：
https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf
分享
