人工智能领域迎来新突破,DeepSeek公司近日在GitHub平台开源了一款创新的OCR模型,并同步发表了技术论文《DeepSeek OCR:上下文光学压缩》。该模型通过视觉模态实现文本信息的高效压缩,为解决大语言模型处理长文本时的计算瓶颈提供了新思路。
研究团队发现,现有大语言模型在处理超长文本时面临显著的计算压力。为此,他们创新性地将文本信息转化为视觉模态,利用"一图胜千言"的原理大幅减少Token消耗。实验数据显示,这种光学压缩技术可实现近10倍的无损上下文压缩,同时保持97%以上的OCR准确率。在A100-40G显卡环境下,单日可生成超过20万页的模型训练数据。
该模型采用双组件架构设计:DeepEncoder编码器负责图像特征提取与压缩,DeepSeek3B-MoE解码器则从压缩后的视觉Token中重建文本。解码器采用混合专家(MoE)架构,在30亿参数规模中仅激活约5.7亿有效参数,兼顾了模型表达能力与推理效率。当压缩率控制在10倍以内时,OCR精度稳定在97%;即使压缩率提升至20倍,准确率仍维持在60%左右。
研究团队提出了更具前瞻性的设想——模拟人类记忆衰退机制。通过逐步缩小历史上下文的图像渲染尺寸,实现Token消耗的递减式压缩。随着图像尺寸缩小,内容清晰度相应降低,最终达到类似人类记忆的渐进式遗忘效果。这种设计为处理无限上下文信息提供了理论可能,目前该方向仍处于早期探索阶段。
项目核心成员包括Haoran Wei、Yaofeng Sun和Yukun Li三位研究员。其中Haoran Wei曾主导开发第二代OCR系统GOT-OCR2.0,具备深厚的技术积累。该模型开源后迅速获得业界关注,GitHub平台累计获得超过1400个星标。
尽管市场对DeepSeek未发布R2新模型存在争议,但此次技术突破显示公司正专注于底层技术创新。光学压缩技术不仅优化了现有模型性能,更为下一代大语言模型的发展开辟了新路径。这种将文本与视觉信息深度融合的研究方向,可能成为通向通用人工智能的重要突破口。