Table Tuple Benchmark 主榜结果

Table Tuple Benchmark 结果

同一页面保留 v2 冻结历史、v3 Task 2+3 record-linked 主榜，以及 v3 Task 1、Task 4A、Task 4B 和联合 Workflow。不同任务使用各自协议、指标和分母，通过标签切换查看，不计算跨任务综合分数。

当前视图v3 Task 2+3

当前范围Combined Test

论文 / Records38 / 54

原始 Gold / 当前最佳369 / GLM

Benchmark 结果视图

默认按 benchmark paper-macro F1 (论文级宏平均 F1)降序

生成时间 2026-07-24T13:39:59.311178+00:00

结果视图

结果范围

查看公开概览查看 v3 多任务摘要

搜索方法、模型或指标值

排序指标

Benchmark Paper Macro F1: 先按论文分别计算 F1，再对当前范围的论文等权求平均；这是主排序指标。

Rank	Method								状态	详情
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.4277	0.4194	0.5764	0.5963	0.7441	0.7729	293	已完成	查看详情方法类型 LLM 模型 glm-5.1 已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 293 运行用时 7.2 分钟 (430.69 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.3770	0.3926	0.5464	0.5619	0.7002	0.7025	312	已完成	查看详情方法类型 LLM 模型 deepseek-v4-flash 已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 312 运行用时 7.3 分钟 (439.66 秒) 运行状态已完成
3	结构感知规则基线 structure_aware_rule_baseline	0.0726	0.0863	0.1168	0.1147	0.3060	0.2583	110	已完成	查看详情方法类型 local 模型不适用已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 110 运行用时 0.10 秒运行状态已完成
4	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0389	0.0412	0.0493	0.0439	0.1863	0.1814	202	已完成	查看详情方法类型 local 模型不适用已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 202 运行用时 3.73 秒运行状态已完成
5	AxCell strict-best 适配器 AxCell public models axcell_adapted_strict_best	0.0000	0.0000	0.1117	0.0701	0.1617	0.1018	74	已完成	查看详情方法类型 external_adapter 模型 AxCell public models 已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 74 运行用时未知运行状态已完成
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.2698	0.3177	0.4811	0.4566	0.6460	0.6368	1150	已完成	查看详情方法类型 LLM 模型 glm-5.1 已评测 Records 172 论文数 77 去重 Gold keys 1274 预测数 1150 运行用时 46.6 分钟 (2793.26 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.2582	0.3149	0.4823	0.4188	0.6481	0.6122	1190	已完成	查看详情方法类型 LLM 模型 deepseek-v4-flash 已评测 Records 172 论文数 77 去重 Gold keys 1274 预测数 1190 运行用时 67.3 分钟 (4037.38 秒) 运行状态已完成
3	结构感知规则基线 structure_aware_rule_baseline	0.0488	0.0872	0.1271	0.0863	0.3194	0.2519	561	已完成	查看详情方法类型 local 模型不适用已评测 Records 172 论文数 77 去重 Gold keys 1274 预测数 561 运行用时 1.06 秒运行状态已完成
4	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0440	0.0541	0.0787	0.0700	0.2043	0.1993	1057	已完成	查看详情方法类型 local 模型不适用已评测 Records 172 论文数 77 去重 Gold keys 1274 预测数 1057 运行用时 23.19 秒运行状态已完成
5	AxCell strict-best 适配器 AxCell public models axcell_adapted_strict_best	0.0133	0.0250	0.1138	0.0701	0.1989	0.1407	247	已完成	查看详情方法类型 external_adapter 模型 AxCell public models 已评测 Records 172 论文数 77 去重 Gold keys 1274 预测数 247 运行用时未知运行状态已完成
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.3146	0.4103	0.5323	0.4602	0.6275	0.5791	406	已完成	查看详情方法类型大语言模型模型 glm-5.1 已评测 Records 54 论文数 38 去重 Gold keys 369 预测数 406 运行用时 21.6 分钟 (1297.50 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.2880	0.3721	0.4773	0.3952	0.5888	0.4786	491	已完成	查看详情方法类型大语言模型模型 deepseek-v4-flash 已评测 Records 54 论文数 38 去重 Gold keys 369 预测数 491 运行用时 28.7 分钟 (1722.87 秒) 运行状态已完成
3	AxCell strict-best 适配器 axcell_adapted_strict_best	0.0579	0.0297	0.1483	0.1705	0.2232	0.2840	103	已完成	查看详情方法类型外部方法适配器模型不适用已评测 Records 54 论文数 38 去重 Gold keys 369 预测数 103 运行用时 76.2 分钟 (4569.83 秒) 运行状态已完成
4	结构感知规则基线 structure_aware_rule_baseline	0.0511	0.0747	0.0942	0.0656	0.2925	0.1576	247	已完成	查看详情方法类型规则方法模型不适用已评测 Records 54 论文数 38 去重 Gold keys 369 预测数 247 运行用时 1.18 秒运行状态已完成
5	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0219	0.0330	0.0487	0.0419	0.1612	0.1091	359	已完成	查看详情方法类型传统机器学习模型不适用已评测 Records 54 论文数 38 去重 Gold keys 369 预测数 359 运行用时 1.4 分钟 (85.57 秒) 运行状态已完成
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.2714	0.3067	0.5043	0.5264	0.6513	0.6304	1897	已完成	查看详情方法类型大语言模型模型 glm-5.1 已评测 Records 392 论文数 293 去重 Gold keys 2042 预测数 1897 运行用时 21.6 分钟 (1297.50 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.2635	0.3211	0.5022	0.4979	0.6189	0.5760	2025	已完成	查看详情方法类型大语言模型模型 deepseek-v4-flash 已评测 Records 392 论文数 293 去重 Gold keys 2042 预测数 2025 运行用时 28.7 分钟 (1722.87 秒) 运行状态已完成
3	AxCell strict-best 适配器 axcell_adapted_strict_best	0.0363	0.0362	0.1146	0.0935	0.2285	0.1650	446	已完成	查看详情方法类型外部方法适配器模型不适用已评测 Records 392 论文数 293 去重 Gold keys 2042 预测数 446 运行用时 76.2 分钟 (4569.83 秒) 运行状态已完成
4	结构感知规则基线 structure_aware_rule_baseline	0.0351	0.0657	0.1100	0.0842	0.3071	0.2310	1187	已完成	查看详情方法类型规则方法模型不适用已评测 Records 392 论文数 293 去重 Gold keys 2042 预测数 1187 运行用时 1.18 秒运行状态已完成
5	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0265	0.0387	0.0660	0.0525	0.1994	0.1943	2298	已完成	查看详情方法类型传统机器学习模型不适用已评测 Records 392 论文数 293 去重 Gold keys 2042 预测数 2298 运行用时 1.4 分钟 (85.57 秒) 运行状态已完成
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.3818	0.4386	0.5909	0.5482	0.7038	0.6958	245	已完成	查看详情方法类型大语言模型模型 glm-5.1 已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 245 运行用时 21.6 分钟 (1297.50 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.3712	0.3831	0.5171	0.5151	0.6643	0.6640	332	已完成	查看详情方法类型大语言模型模型 deepseek-v4-flash 已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 332 运行用时 28.7 分钟 (1722.87 秒) 运行状态已完成
3	结构感知规则基线 structure_aware_rule_baseline	0.0726	0.0863	0.1168	0.1147	0.3060	0.2583	110	已完成	查看详情方法类型规则方法模型不适用已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 110 运行用时 1.18 秒运行状态已完成
4	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0389	0.0412	0.0493	0.0439	0.1863	0.1814	202	已完成	查看详情方法类型传统机器学习模型不适用已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 202 运行用时 1.4 分钟 (85.57 秒) 运行状态已完成
5	AxCell strict-best 适配器 axcell_adapted_strict_best	0.0000	0.0000	0.1117	0.0701	0.1617	0.1018	74	已完成	查看详情方法类型外部方法适配器模型不适用已评测 Records 29 论文数 13 去重 Gold keys 284 预测数 74 运行用时 76.2 分钟 (4569.83 秒) 运行状态已完成
1	GLM 分类体系提示基线 glm-5.1 glm_taxonomy_prompt_baseline	0.2797	0.3496	0.4065	0.4145	0.4715	0.5185	161	已完成	查看详情方法类型大语言模型模型 glm-5.1 已评测 Records 25 论文数 25 去重 Gold keys 85 预测数 161 运行用时 21.6 分钟 (1297.50 秒) 运行状态已完成
2	DeepSeek 分类体系提示基线 deepseek-v4-flash deepseek_taxonomy_prompt_baseline	0.2448	0.3443	0.3770	0.3328	0.4100	0.3821	159	已完成	查看详情方法类型大语言模型模型 deepseek-v4-flash 已评测 Records 25 论文数 25 去重 Gold keys 85 预测数 159 运行用时 28.7 分钟 (1722.87 秒) 运行状态已完成
3	AxCell strict-best 适配器 axcell_adapted_strict_best	0.0880	0.1228	0.2632	0.2227	0.4035	0.3787	29	已完成	查看详情方法类型外部方法适配器模型不适用已评测 Records 25 论文数 25 去重 Gold keys 85 预测数 29 运行用时 76.2 分钟 (4569.83 秒) 运行状态已完成
4	结构感知规则基线 structure_aware_rule_baseline	0.0400	0.0541	0.0541	0.0400	0.2703	0.1052	137	已完成	查看详情方法类型规则方法模型不适用已评测 Records 25 论文数 25 去重 Gold keys 85 预测数 137 运行用时 1.18 秒运行状态已完成
5	BM25/TF-IDF 线性排序基线 bm25_tfidf_linear_ranker_baseline	0.0130	0.0165	0.0474	0.0408	0.1022	0.0714	157	已完成	查看详情方法类型传统机器学习模型不适用已评测 Records 25 论文数 25 去重 Gold keys 85 预测数 157 运行用时 1.4 分钟 (85.57 秒) 运行状态已完成

Task 1 Source-Native381 cases

原始 source fragment 到严格结构化表。

Task 4A SciLead1161 pairs

43 篇论文、27 个 query 的闭集重建。

Task 4B1833 queries

Oracle 与 predicted candidates 分开评测。

联合 Workflow12 / 32 完成

其余组合保留为声明式跳过，不折算为零分。

搜索方法、候选视图或状态

排序指标

显示 2 / 2 个方法

Task 1 Paper Macro Cell F1: 先在论文内计算单元格 exact-match F1，再对论文等权平均；这是 Task 1 默认排序指标。

方法							状态	详情
independent_dom_latex_xml_parser 确定性参考基线，不参与正式排名	381	0.8089	0.8320	0.9764	0.9711	0.1312	已完成	查看详情 Cases 381 Shape Accuracy 0.9711 Table Exact 0.1312 用时 2.46 秒状态已完成
deepseek_v4_flash_task1_source_native_parser DeepSeek-V4-Flash full run	381	0.0377	0.0762	0.0735	0.0735	0.0184	已完成	查看详情 Cases 381 Shape Accuracy 0.0735 Table Exact 0.0184 Invalid outputs 352 用时 21.8 分钟 (1309.27 秒) 状态已完成

搜索方法、候选视图或状态

排序指标

显示 2 / 2 个方法

Task 4A Query Macro Score F1: 对每个 query 的 paper-score 重建集合计算 F1 后等权平均，同时受论文召回与 score 恢复影响；这是 Task 4A 默认排序指标。

方法							状态	详情
bm25_tfidf_rule_organizer 确定性参考基线，不参与正式排名	1161	0.0000	0.2669	0.2181	0.0000	1.0000	已完成	查看详情 Pairs 1161 Score Numeric Accuracy 0.0000 Evidence Reference Coverage 1.0000 用时 1.16 秒状态已完成
deepseek_v4_flash_task4a_paper_organizer DeepSeek-V4-Flash full run	1161	0.0470	0.0622	0.0482	0.7143	1.0000	已完成	查看详情 Pairs 1161 Score Numeric Accuracy 0.7143 Evidence Reference Coverage 1.0000 用时 32.1 分钟 (1926.85 秒) 状态已完成

搜索方法、候选视图或状态

排序指标

显示 3 / 3 个方法

Task 4B Paper Macro F1: 先按论文计算 organizer 输出 F1，再对论文等权平均；这是 Task 4B 默认排序指标。Oracle 与 predicted candidate 必须按 Candidate view 分开解释。

Candidate view	Organizer				状态	详情
oracle_candidate	deterministic_registry_organizer 确定性参考基线，不参与正式排名	1.0000	0.9978	0.9980	已完成	查看详情 Candidate view oracle_candidate 候选来源 oracle_candidate Coverage 1.0000 用时 0.02 秒状态已完成
oracle_candidate	deepseek_v4_flash_task4b_candidate_organizer DeepSeek-V4-Flash full run	1.0000	0.9932	0.9890	已完成	查看详情 Candidate view oracle_candidate 候选来源 oracle candidates Coverage 1.0000 用时 73.6 分钟 (4414.37 秒) 状态已完成
predicted_candidate	deepseek_v4_flash_task4b_candidate_organizer DeepSeek-V4-Flash full run	0.6268	0.0090	0.0263	已完成	查看详情 Candidate view predicted_candidate 候选来源 DeepSeek-V4-Flash Task 2+3 candidates Coverage 0.6268 用时 64.9 分钟 (3894.59 秒) 状态已完成

Publication tiers1

Scopes4

方法-范围状态12 / 24

人工核验pending

发布层评测范围状态搜索排序

Combined Test 是主排名范围；Full 是覆盖榜；Continuity/New 是诊断拆分。N/A 状态不按 0 分参与排名。

Rank	方法	Grounded Paper Macro F1	Semantic Paper Macro F1	Grounded Micro F1	Evidence Coverage	Paper Coverage	用时	状态	详情
1	独立 Source Parser + 结构感知规则`independent_source_parser_structure_aware_rule_paper_workflow` not_applicable	0.0371	0.0371	0.0943	0.1082	1.0000	17.79 分钟	已完成	展开指标与审计 Grounded P/R 0.0337 / 0.0523 Semantic P/R 0.0337 / 0.0523 Semantic Micro F1 0.0943 Evidence P/R 0.0835 / 0.1082 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0885 Organizer nDCG@10 0.1291 Organizer Top-10 Recall 0.0958 Organizer pairwise accuracy 0.0107 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:20:23.457143Z -> 2026-07-24T10:51:12.880460Z 状态原因 N/A
2	独立 Source Parser + BM25/TF-IDF 线性排序`independent_source_parser_bm25_tfidf_linear_ranker_paper_workflow` not_applicable	0.0196	0.0196	0.0258	0.0486	1.0000	5.87 分钟	已完成	展开指标与审计 Grounded P/R 0.0202 / 0.0458 Semantic P/R 0.0202 / 0.0458 Semantic Micro F1 0.0258 Evidence P/R 0.0175 / 0.0486 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0599 Organizer nDCG@10 0.0593 Organizer Top-10 Recall 0.0532 Organizer pairwise accuracy 0.0036 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:44:08.781918Z -> 2026-07-24T10:51:20.930177Z 状态原因 N/A
3	DeepSeek-V4-Flash Paper-Level End-to-End`deepseek_v4_flash_paper_level_end_to_end` deepseek-v4-flash	0.0183	0.0183	0.0242	0.0157	1.0000	9.95 小时	已完成	展开指标与审计 Grounded P/R 0.0250 / 0.0146 Semantic P/R 0.0250 / 0.0146 Semantic Micro F1 0.0242 Evidence P/R 0.0526 / 0.0157 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0091 Organizer nDCG@10 0.0068 Organizer Top-10 Recall 0.0064 Organizer pairwise accuracy 0.0000 Tokens 36610587 费用 4.88593268 USD API attempts 2175 Harness 是运行时间窗 2026-07-24T06:16:36Z -> 2026-07-24T13:20:45Z 状态原因 N/A
N/A	AxCell ResultsExtractor Native Paper Adapter`axcell_results_extractor_native_paper_adapter` AxCell ResultsExtractor	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 AxCell 正式长跑。
N/A	GLM-5.1 Paper-Level End-to-End`glm_5_1_paper_level_end_to_end` glm-5.1	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.1。
N/A	GLM-5.2 Paper-Level End-to-End`glm_5_2_paper_level_end_to_end` glm-5.2	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.2。
1	独立 Source Parser + 结构感知规则`independent_source_parser_structure_aware_rule_paper_workflow` not_applicable	0.0505	0.0505	0.1314	0.1412	1.0000	17.79 分钟	已完成	展开指标与审计 Grounded P/R 0.0500 / 0.0510 Semantic P/R 0.0500 / 0.0510 Semantic Micro F1 0.1314 Evidence P/R 0.1228 / 0.1412 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0991 Organizer nDCG@10 0.1507 Organizer Top-10 Recall 0.1141 Organizer pairwise accuracy 0.0232 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:20:23.457143Z -> 2026-07-24T10:51:12.880460Z 状态原因 N/A
2	独立 Source Parser + BM25/TF-IDF 线性排序`independent_source_parser_bm25_tfidf_linear_ranker_paper_workflow` not_applicable	0.0350	0.0350	0.0408	0.0592	1.0000	5.87 分钟	已完成	展开指标与审计 Grounded P/R 0.0409 / 0.0464 Semantic P/R 0.0409 / 0.0464 Semantic Micro F1 0.0408 Evidence P/R 0.0311 / 0.0592 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0683 Organizer nDCG@10 0.0660 Organizer Top-10 Recall 0.0606 Organizer pairwise accuracy 0.0000 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:44:08.781918Z -> 2026-07-24T10:51:20.930177Z 状态原因 N/A
3	DeepSeek-V4-Flash Paper-Level End-to-End`deepseek_v4_flash_paper_level_end_to_end` deepseek-v4-flash	0.0235	0.0235	0.0240	0.0137	1.0000	9.95 小时	已完成	展开指标与审计 Grounded P/R 0.0294 / 0.0196 Semantic P/R 0.0294 / 0.0196 Semantic Micro F1 0.0240 Evidence P/R 0.1000 / 0.0137 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0053 Organizer nDCG@10 0.0030 Organizer Top-10 Recall 0.0035 Organizer pairwise accuracy 0.0000 Tokens 36610587 费用 4.88593268 USD API attempts 2175 Harness 是运行时间窗 2026-07-24T06:16:36Z -> 2026-07-24T13:20:45Z 状态原因 N/A
N/A	AxCell ResultsExtractor Native Paper Adapter`axcell_results_extractor_native_paper_adapter` AxCell ResultsExtractor	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 AxCell 正式长跑。
N/A	GLM-5.1 Paper-Level End-to-End`glm_5_1_paper_level_end_to_end` glm-5.1	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.1。
N/A	GLM-5.2 Paper-Level End-to-End`glm_5_2_paper_level_end_to_end` glm-5.2	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.2。
1	独立 Source Parser + 结构感知规则`independent_source_parser_structure_aware_rule_paper_workflow` not_applicable	0.0218	0.0240	0.0518	0.0631	1.0000	17.79 分钟	已完成	展开指标与审计 Grounded P/R 0.0216 / 0.0279 Semantic P/R 0.0232 / 0.0330 Semantic Micro F1 0.0547 Evidence P/R 0.0458 / 0.0598 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0528 Organizer nDCG@10 0.0536 Organizer Top-10 Recall 0.0490 Organizer pairwise accuracy 0.0127 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:20:23.457143Z -> 2026-07-24T10:51:12.880460Z 状态原因 N/A
2	DeepSeek-V4-Flash Paper-Level End-to-End`deepseek_v4_flash_paper_level_end_to_end` deepseek-v4-flash	0.0144	0.0182	0.0226	0.0180	1.0000	9.95 小时	已完成	展开指标与审计 Grounded P/R 0.0178 / 0.0169 Semantic P/R 0.0219 / 0.0209 Semantic Micro F1 0.0258 Evidence P/R 0.0400 / 0.0158 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0143 Organizer nDCG@10 0.0132 Organizer Top-10 Recall 0.0116 Organizer pairwise accuracy 0.0005 Tokens 36610587 费用 4.88593268 USD API attempts 2175 Harness 是运行时间窗 2026-07-24T06:16:36Z -> 2026-07-24T13:20:45Z 状态原因 N/A
3	独立 Source Parser + BM25/TF-IDF 线性排序`independent_source_parser_bm25_tfidf_linear_ranker_paper_workflow` not_applicable	0.0130	0.0140	0.0174	0.0390	1.0000	5.87 分钟	已完成	展开指标与审计 Grounded P/R 0.0108 / 0.0314 Semantic P/R 0.0115 / 0.0339 Semantic Micro F1 0.0184 Evidence P/R 0.0114 / 0.0368 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0387 Organizer nDCG@10 0.0392 Organizer Top-10 Recall 0.0382 Organizer pairwise accuracy 0.0044 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:44:08.781918Z -> 2026-07-24T10:51:20.930177Z 状态原因 N/A
N/A	AxCell ResultsExtractor Native Paper Adapter`axcell_results_extractor_native_paper_adapter` AxCell ResultsExtractor	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 AxCell 正式长跑。
N/A	GLM-5.1 Paper-Level End-to-End`glm_5_1_paper_level_end_to_end` glm-5.1	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.1。
N/A	GLM-5.2 Paper-Level End-to-End`glm_5_2_paper_level_end_to_end` glm-5.2	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.2。
1	独立 Source Parser + 结构感知规则`independent_source_parser_structure_aware_rule_paper_workflow` not_applicable	0.0273	0.0273	0.0269	0.0352	1.0000	17.79 分钟	已完成	展开指标与审计 Grounded P/R 0.0217 / 0.0533 Semantic P/R 0.0217 / 0.0533 Semantic Micro F1 0.0269 Evidence P/R 0.0218 / 0.0352 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0382 Organizer nDCG@10 0.0364 Organizer Top-10 Recall 0.0331 Organizer pairwise accuracy 0.0000 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:20:23.457143Z -> 2026-07-24T10:51:12.880460Z 状态原因 N/A
2	DeepSeek-V4-Flash Paper-Level End-to-End`deepseek_v4_flash_paper_level_end_to_end` deepseek-v4-flash	0.0144	0.0144	0.0243	0.0201	1.0000	9.95 小时	已完成	展开指标与审计 Grounded P/R 0.0217 / 0.0109 Semantic P/R 0.0217 / 0.0109 Semantic Micro F1 0.0243 Evidence P/R 0.0308 / 0.0201 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0267 Organizer nDCG@10 0.0247 Organizer Top-10 Recall 0.0267 Organizer pairwise accuracy 0.0000 Tokens 36610587 费用 4.88593268 USD API attempts 2175 Harness 是运行时间窗 2026-07-24T06:16:36Z -> 2026-07-24T13:20:45Z 状态原因 N/A
3	独立 Source Parser + BM25/TF-IDF 线性排序`independent_source_parser_bm25_tfidf_linear_ranker_paper_workflow` not_applicable	0.0083	0.0083	0.0088	0.0251	1.0000	5.87 分钟	已完成	展开指标与审计 Grounded P/R 0.0049 / 0.0453 Semantic P/R 0.0049 / 0.0453 Semantic Micro F1 0.0088 Evidence P/R 0.0054 / 0.0251 Invalid / Partial / Context limit 0.0000 / 0.0000 / 0.0000 Organizer query macro F1 0.0254 Organizer nDCG@10 0.0243 Organizer Top-10 Recall 0.0216 Organizer pairwise accuracy 0.0000 Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 2026-07-24T02:44:08.781918Z -> 2026-07-24T10:51:20.930177Z 状态原因 N/A
N/A	AxCell ResultsExtractor Native Paper Adapter`axcell_results_extractor_native_paper_adapter` AxCell ResultsExtractor	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 AxCell 正式长跑。
N/A	GLM-5.1 Paper-Level End-to-End`glm_5_1_paper_level_end_to_end` glm-5.1	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.1。
N/A	GLM-5.2 Paper-Level End-to-End`glm_5_2_paper_level_end_to_end` glm-5.2	N/A	N/A	N/A	N/A	N/A	N/A	待运行	展开指标与审计 Grounded P/R N/A / N/A Semantic P/R N/A / N/A Semantic Micro F1 N/A Evidence P/R N/A / N/A Invalid / Partial / Context limit N/A / N/A / N/A Organizer query macro F1 N/A Organizer nDCG@10 N/A Organizer Top-10 Recall N/A Organizer pairwise accuracy N/A Tokens N/A 费用 N/A API attempts N/A Harness 否运行时间窗 N/A -> N/A 状态原因本 Goal 按用户要求本轮未运行 glm-5.2。

发布层	范围	Papers	Semantic Gold	方法状态数
public_reconstructable	combined_test	80	638	6
public_reconstructable	continuity_test	34	439	6
public_reconstructable	full	533	3613	6
public_reconstructable	new_test	46	199	6

结果范围

v3 仍为 automated_internal_preview，尚未逐条人工终审。v2/v3、不同任务以及 Task 4B oracle/predicted candidate 分开解释，不计算跨任务综合分数。enters_span_ner_leaderboard=false。