开发场景 OCR Benchmark v5

本页为开发场景 OCR Benchmark v5 完整说明；榜单数据可在榜单查询 中交互查看（筛选、排序、搜索）。

更新时间：2026-07-15

开发场景 OCR 不只关心字符编辑距离。代码、配置、终端、错误日志和 IDE 截图更重视符号、缩进、阅读顺序、结构格式、噪声控制，以及输出能否直接复制、搜索和理解。

Benchmark 名称保持 v5，当前内容版本为 5.2。固定测试集包含 304 题，使用 P01-P09 主类别与 simple / medium / hard 难度双轴诊断。v5.2 结果不能与 v4 或更早内容版本直接混排。

数据集

当前活动数据集为 code_ocr_eval_benchmark_v5_content_5_2_photo30_20260710，入口为仓库根目录：

test.jsonl
test.json
测试集/

难度分布：

类别分布：

流程

固定 304 题 v5.2 测试集 + 模型 OCR 预测文本
        |
dev_ocr_judge_v5_compat 六维 LLM 裁判
        |
样本分 -> P01-P09 类别加权
        |
基础稳定性、难度风险与可靠性扣分
        |
Benchmark v5 最终积分 + 类别/难度诊断

Benchmark v5 结果

最终排序使用 final_score_v5。全局均值和 NED 仅作诊断，不直接参与最终积分。LLM 裁判带来的总分展示误差按 ±0.5 计，小于 0.5 分的差距不视为显著差异。不同提示词策略不得混排。

短提示榜 <image>OCR:

短提示榜结论：

• PaddleOCR-VL-1.6 本地微调版以正式参数成绩 58.4427 暂列第一，领先 StepFun step-3.7-flash(high) 1.0799 分。
• Step 的类别加权分与严格可用率更高，但 severe 比例更高；本地微调版的安全分为 90.7895%，完成率为 99.0132%。
• 本地微调版 rp=1.08 比 rp=1.10 诊断分高 0.3581：simple 直接可用率提高并减少基础题扣分，但 P09、hard 和类别加权分略降。
• Qwen3.7 Plus 的类别加权分达到 74.8958，但 186 次解释性输出和 170 次额外包装把可靠性扣分推到 13.4737；另有 1 条复杂画面持续 504。
• DeepSeek V4 Flash Vision-Exp 的 NED（0.2502）与类别加权分（71.5374）接近第一梯队，但 simple 直接可用率仅 33.3333%、P03 与 P09 的 severe 偏高，可靠性扣分为 10.6711。注意该行裁判为 deepseek-v4-flash 开思考模式。
• PaddleOCR-VL-1.6 官网 API 完成率较高，但 simple 直接可用率和 P01 代码场景得分偏低。
• HyOCR 1.5 在文档、配置等单区域内容上有一批高质量结果，但 severe 达到 42.1053%；多区域画面中的解释、幻觉和代码改写使最终积分降至 29.0668。
• Gemini 在短提示下频繁产生解释、补全和改写，可靠性扣分达到上限，最终积分为 0。
• Kimi K2.6 几乎把整套测试当成代码讲解任务，293 题出现解释性文字、205 题出现幻觉，最终积分为 0。

官方推荐提示词榜

本组使用模型卡官方推荐提示词，不与 <image>OCR: 短提示榜直接排序。OvisOCR2 的提示词要求提取全部可读内容、按 Markdown 输出，并把表格转换为 HTML；这一目标与开发截图的主区域忠实转写存在口径差异。

本组结论：

• OvisOCR2 在 P06 文档代码块、P02 终端和 P04 配置上表现较好，类别分分别为 78.4000、77.8444、74.4524。
• 官方“全部可读内容”提示使行号、标签页和其他 UI 更容易进入输出，extra_ui_text 达 172 次；P01 和 P09 分别只有 56.7428、56.2631。
• P07 表格类受官方 HTML 转换要求与忠实转写真值的双重影响，类别分为 64.3873，severe 为 37.5000%。
• 15 题输出长度超过真值 3 倍，重复输出出现 12 次；最终可靠性扣分为 4.1513。

类别诊断（短提示）

难度诊断（短提示）

LLM 六维评分

裁判模型为 tencent/hy3:free，prompt 版本为 dev_ocr_judge_v5_compat_hy3_reasoning_none。裁判只比较人工真值与模型输出，不把 NED 传入 prompt。DeepSeek V4 Flash Vision-Exp (thinking) 一行为口径例外：该行使用 deepseek-v4-flash 裁判（开思考、max_tokens 不限、同一 prompt 版本），严格度高于 hy3 裁判，其积分仅作参考，不参与横向排序比较。

积分规则

样本分：

sample_score = 100 * (
  0.18 * content_coverage^1.35
+ 0.24 * symbol_accuracy^1.35
+ 0.16 * indentation_alignment^1.35
+ 0.16 * structure_format^1.35
+ 0.10 * reading_region_order^1.35
+ 0.16 * noise_and_usability^1.35
)

P01-P09 类别权重依次为 15% / 8% / 15% / 12% / 10% / 8% / 12% / 8% / 12%。每个类别先求样本分均值，再进行类别加权。

最终公式：

raw_score_v5 =
  category_weighted_score_v5
- simple_penalty_v5
- medium_risk_penalty_v5
- hard_risk_penalty_v5

final_score_v5 = clamp(raw_score_v5 - reliability_penalty_v5, 0, 100)

simple 基础题只扣分不加分；medium 和 hard 按 severe 比例扣分。可靠性扣分综合 severe、缺失、代码改写及幻觉/解释比例，上限为 15 分。完整公式见 文档/评测/benchmark_guide_v5.md。

Severe Badcase

以下情况计入 severe：

missing_record
or noise_and_usability_0_10 <= 1
or content_coverage_0_10 <= 2
or symbol_accuracy_0_10 <= 2
or structure_format_0_10 <= 2
or error_tags contains code_added_removed_or_rewritten
or error_tags contains hallucinated_text
or error_tags contains empty_or_too_short
or error_tags contains refusal_or_unrecognized
or error_tags contains repeated_output
or output_length > 3 * label_length and noise_and_usability_0_10 <= 4

任一主类别或难度切片的 severe 比例超过 35% 时，应在对应模型报告中标记该切片不稳定。标签由 StepFun step-3.7-flash 每请求 5 张图片生成，仅用于视觉切片，不参与积分。