OCR 技术进入 3.0 版本阶段,新发布方案将 KV Cache 压缩至原有规模的 4%,单次缓存占用削减 96%。该版本同时取消页数上限,长文档处理不再按页数分段提交。
新版本的核心改动集中在上下文缓存机制上。KV Cache 是模型处理长文本时存储中间计算结果的临时数据区,此前版本中,处理百页级文档会因缓存膨胀导致显存溢出或响应延迟。压缩后的缓存占用为每千页文本保留约一张普通图片的存储量,处理多页扫描件时不再需要分批传输。
页数上限的移除直接改变调用方式。此前用户上传合同、古籍或建筑图纸扫描版时,需按固定页数切割为多个任务并手动合并结果;新版接口允许单次提交完整文件,服务端自动完成全文识别与版面还原。对批量票据识别、长期存档资料数字化这两类场景,单次调用即可输出逐页结构化的文本层。
处理相同页数文档的响应时间随缓存压缩同步缩短。缓存缩减直接减少了内存读写量,单页平均耗时从数秒级降至百毫秒级区间,并发请求量提升后单任务排队时间同步下降。具体加速比例取决于文档密度与服务器配置,实测数据尚未公布。
对下游开发者的影响集中在接入成本。现有调用方需修改请求参数中关于分页与缓存清理的旧字段,接口路径维持兼容,存量代码可在保留旧版的同时并行切换。服务端默认启用压缩后的缓存策略,旧版 API 仍可访问但不再维护性能优化。
新版本的开源权重与推理代码已随发布公开,部署文档同步更新。该版本支持在现有 GPU 资源下直接替换旧版模型文件,无需调整显存配置。训练数据、评估指标与基准测试脚本将在后续版本中逐项开放。
· END ·