# v3 Multitask Public Summary

## Release status

```text
release_status=automated_internal_preview
human_review_status=pending
enters_span_ner_leaderboard=false
```

v3 暂时跳过逐条人工核验，用于方法比较和错误分析。自动准入不等于人工终审。

## Frozen scopes

| Scope | Public size | Meaning |
| --- | ---: | --- |
| Task 1 Source-Native | 381 records / 283 papers | Source-native structured-table recovery |
| Task 4A SciLead preview | 1,161 query-paper pairs / 43 papers | Closed-corpus paper-level organization |
| Task 4B | 1,833 queries / 2,044 oracle candidates | Table-grounded candidate organization |
| Shared Core | 381 records / 283 papers / 1,753 queries | Shared lineage for multitask workflows |

## Representative results

| Scope and method | Main metric |
| --- | ---: |
| Task 1 DeepSeek-V4-Flash source-native parser, paper-macro cell F1 | 0.03775 |
| Task 1 DeepSeek-V4-Flash source-native parser, micro cell F1 | 0.07616 |
| Task 4A DeepSeek-V4-Flash organizer, query-macro score F1 | 0.04696 |
| Task 4A DeepSeek-V4-Flash organizer, membership F1 | 0.06217 |
| Task 4B DeepSeek oracle organizer, paper-macro F1 | 0.99324 |
| Task 4B DeepSeek oracle organizer, micro F1 | 0.98897 |

这些指标属于各自 scope，不能跨 Task 直接平均或合成为一个总分。Oracle candidate 和 predicted candidate 也不能混排。

## Workflow matrix

v3 共记录 32 条 workflow：

- Level 1: 2 条，隔离 Task 4B organizer。
- Level 2: 10 条，测试 canonical structured table -> Task 2+3 -> Task 4B。
- Level 3: 20 条，传播实际 Task 1 predicted table 的端到端链路。

当前状态：12 条 `completed`，18 条 `skipped_balance`，2 条 `skipped_environment`。跳过项显示为 N/A，不按 0 分处理。

## Leaderboard navigation

公开 HTML 使用同一结果面板和两级标签。顶层切换 v2 Task 2+3、v3 Task 2+3 与 v3 多任务扩展; 多任务二级标签切换总览、Task 1、Task 4A、Task 4B 和联合 Workflow。页面不计算跨任务综合分数。`复制当前表格` 按当前标签复制 TSV; Core 视图还会遵守当前搜索筛选状态。

## Measurement and provenance

每个新评测记录实际耗时。LLM 评测记录 exact model 和 API 参数；harness 评测记录框架身份与配置。公开文件不包含凭据或内部请求日志。

## Data and copyright boundary

PWC 主要提供外部标签语义和定位线索，模型输入应来自可追踪的原始论文来源。SciLead、PWC、论文和第三方 taxonomy 的原始文件不随本公开仓库发布。详见 [`NOTICE.md`](../NOTICE.md)。