LLM 榜单上榜指南 — 14 个评测基准提交方法汇总

全榜单速查总表

#	基准	提交方式	费用	奖金	联系方式
1	SWE-bench Verified	Fork experiments 仓库开 PR / sb-cli submit	免费	无	leaderboards@scale.com
2	SWE-bench Pro	Public 自测提交；Held-out/Commercial 官方代评	Public 免费；代评洽谈	无	官网表单
3	Terminal-Bench 2.1	harbor run 后提交 Leaderboard PR	免费	无	alexgshaw64@gmail.com
4	Terminal-Bench Hard	AA 第三方统一评测（无独立入口）	免费上榜	无	artificialanalysis.ai
5	FrontierMath	邮件申请私有集封闭评测	洽谈	人类赛 $10K	math_evals@epoch.ai
6	DeepSWE	pier 运行后邮件提交	公开版免费	无	serena@datacurve.ai
7	FrontierSWE	本地运行 / Prime CLI / 邮件	免费	无	justus@proximal.ai
8	Arena 三榜	接 API 参与在线盲测投票	见 rate card	无	arena.ai
9	AA-Omniscience	AA 官方 API 自测	Public 免费	无	artificialanalysis.ai
10	HLE	官方 harness 自测后邮件/PR	免费	$500K 已截止	agibenchmark@safe.ai
11	LiveBench	本地自测后邮件/PR	免费	无	livebenchai@gmail.com
12	ARC-AGI-3	Kaggle 代码竞赛 + 官方 API	免费	$850K	arcprize.org

1. SWE-bench Verified 软件工程免费

官网	https://www.swebench.com/
GitHub	https://github.com/SWE-bench/SWE-bench
HuggingFace	princeton-nlp/SWE-bench_Verified
数据规模	500 题（人工验证子集；全量 SWE-bench 12000+ 题）
License	MIT · 无需申请
数据集下载	HuggingFace · `hf download princeton-nlp/SWE-bench_Verified --repo-type dataset`
gtm 镜像	1 文件 · 2.0 MB → 查看下载链接 ↓ · 打包下载 1.6 MB
论文	SWE-bench: Can Language Models Resolve Real-world Github Issues? — Jimenez et al., ICLR 2024

上榜方式 / 提交方式

Fork SWE-bench/experiments 仓库开 PR 提交实验
或使用官方 CLI：sb-cli submit 提交 predictions
前置条件：在 Docker 环境中跑通 500 题并生成 predictions 文件

费用与奖金

免费参与，官方不收取评测费

联系方式

邮箱：leaderboards@scale.com
官网：swebench.com

2. SWE-bench Pro 软件工程 · 防污染Public 免费Held-out 需申请

官网	https://scaleapi.github.io/SWE-bench_Pro-os
GitHub	https://github.com/scaleapi/SWE-bench_Pro-os
HuggingFace	ScaleAI/SWE-bench_Pro
数据规模	1865 题：Public 731 / Held-out 858 / Commercial 276
License	Public 子集 MIT；Held-out/Commercial 需申请授权
数据集下载	HuggingFace（Public 731 题）· `hf download ScaleAI/SWE-bench_Pro --repo-type dataset`
gtm 镜像	1 文件 · 7.5 MB → 查看下载链接 ↓ · 打包下载 5.7 MB
论文	SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks? — Deng et al., 2025

上榜方式 / 提交方式

Public 子集：自建环境跑完 731 题，联系 Scale 提交 predictions
Held-out / Commercial 子集：由 Scale 官方封闭代评，需商务洽谈

费用与奖金

Public 免费；Held-out / Commercial 代评为商业服务，费用需与 Scale 洽谈

联系方式

通过官网联系表单：scaleapi.github.io/SWE-bench_Pro-os（邮箱见官网）

3. Terminal-Bench 2.1 终端智能体免费

官网	https://www.tbench.ai/
GitHub	https://github.com/harbor-framework/terminal-bench-2-1
HuggingFace	无（数据在 GitHub 仓库内）
数据规模	89 个任务（Harbor 格式）
License	Apache-2.0 · 无需申请
数据集下载	GitHub · `git clone --depth 1 https://github.com/harbor-framework/terminal-bench-2-1.git`
gtm 镜像	89 任务目录 · 61 MB → 查看下载链接 ↓ · 打包下载 44 MB

上榜方式 / 提交方式

本地运行 harbor run 完成任务后，按官方指引提交 Leaderboard PR
提交入口见 GitHub README 的 Leaderboard 章节

费用与奖金

免费参与，无奖金公告

联系方式

邮箱：alexgshaw64@gmail.com（Alex Gshaw，T-Bench 维护者）

4. Terminal-Bench Hard 终端智能体 · 高难度第三方评测

官网	https://artificialanalysis.ai/
GitHub	无独立仓库（数据托管于 HF）
HuggingFace	Zhongzhi1228/Terminal-Bench-Hard
数据规模	100 题
License	CC-BY-4.0 · 无需申请
数据集下载	HuggingFace · `hf download Zhongzhi1228/Terminal-Bench-Hard --repo-type dataset`
gtm 镜像	100 任务 + fixtures → 查看下载链接 ↓ · 打包下载 169 KB

上榜方式 / 提交方式

由 Artificial Analysis（AA）第三方统一评测，无独立提交入口
成绩通过 AA 官网榜单（artificialanalysis.ai）展示
如需自主评测，可按 HF 仓库 README 指引本地跑 Harbor 流程

费用与奖金

上榜本身免费；参与 AA 平台评测可能涉及平台商业条款

联系方式

官网：artificialanalysis.ai

5. FrontierMath 前沿数学私有集需申请

官网	https://epoch.ai/frontiermath
GitHub	无公开仓库（仅博客与评测页）
HuggingFace	无公开数据集
数据规模	全量约 350 题（公开样例 12 题）
License	未明确开源（题目版权归 Epoch AI，私有集需申请）
数据下载	Open Problems 数据（公开样例）· epoch.ai/open-problems
gtm 镜像	4 文件 · 147 KB → 查看下载链接 ↓ · 打包下载 74 KB

上榜方式 / 提交方式

全量私有集由 Epoch AI 封闭评测，需邮件申请授权
人类基线赛由官方举办（见官网公告）

费用与奖金

人类基准赛奖金：$10,000
模型评测费用：需与 Epoch AI 洽谈（封闭评测）

联系方式

申请邮箱：math_evals@epoch.ai
官网：epoch.ai/frontiermath

6. DeepSWE 深度软件工程公开版免费

官网	https://deepswe.datacurve.ai/
GitHub	https://github.com/datacurve-ai/deep-swe
HuggingFace	datacurve/deep-swe（gated）
数据规模	113 个任务
License	Apache-2.0（GitHub 公开版）；HF gated 全量版需申请
数据集下载	GitHub · `git clone --depth 1 https://github.com/datacurve-ai/deep-swe.git` · HuggingFace（gated）
gtm 镜像	113 任务目录 · 34 MB → 查看下载链接 ↓ · 打包下载 2.0 MB

上榜方式 / 提交方式

克隆仓库 + 使用 pier 运行评测后，邮件提交结果
无自动提交入口，需人工联系 DataCurve

费用与奖金

公开版免费；全量 gated 版费用需与 DataCurve 洽谈

联系方式

邮箱：serena@datacurve.ai
官网：deepswe.datacurve.ai

7. FrontierSWE 前沿软件工程免费

官网	https://frontierswe.com/
GitHub	https://github.com/Proximal-Labs/frontier-swe
HuggingFace	无
数据规模	17 个任务
License	见仓库（README/SCORING.md）
数据集下载	GitHub · `git clone --depth 1 https://github.com/Proximal-Labs/frontier-swe.git`
gtm 镜像	17 任务目录 · 935 MB → 查看下载链接 ↓ · 打包下载 286 MB

上榜方式 / 提交方式

克隆仓库本地运行
使用 Prime CLI 运行并提交
或邮件联系 Proximal Labs 提交结果

费用与奖金

免费参与，无公开奖金

联系方式

邮箱：justus@proximal.ai
官网：frontierswe.com

8. Arena Leaderboards（事实性 / Expert / Occupational）在线盲测投票见 rate card

官网	https://arena.ai/
GitHub	https://github.com/lmarena/arena-rank
HuggingFace	lmarena-ai/leaderboard-dataset（榜单快照）
数据规模	无静态统一题集（线上盲测投票产生排名）
License	CC-BY-4.0（leaderboard-dataset）
数据集下载	HuggingFace（榜单快照）· `hf download lmarena-ai/leaderboard-dataset --repo-type dataset`
gtm 镜像	23 维度 · 46 文件 · 107 MB → 查看下载链接 ↓ · 打包下载 65 MB

上榜方式 / 提交方式

在线盲测投票：模型接入 API 后参与 arena 匿名对战，由用户投票产生排名
政策说明：arena.ai/blog/policy

费用与奖金

费用：见 rate card（接 API 即可参与）

联系方式

官网：arena.ai

9. AA-Omniscience 跨领域知识可靠性Public 免费全量需申请

官网	https://artificialanalysis.ai/evaluations/omniscience
GitHub	无独立仓库
HuggingFace	ArtificialAnalysis/AA-Omniscience-Public
数据规模	Public 600 题；全量 6000 题私有
License	Apache-2.0（Public 集）；全量私有集需申请
数据集下载	HuggingFace（Public 600 题）· `hf download ArtificialAnalysis/AA-Omniscience-Public --repo-type dataset`
gtm 镜像	3 文件 · 4.0 MB → 查看下载链接 ↓ · 打包下载 3.3 MB
论文	Evaluating Cross-Domain Knowledge Reliability in Large Language Models — Artificial Analysis Team, 2025

上榜方式 / 提交方式

使用 AA 官方 API 自测（评测页提交模型）
成绩由 AA 统一评测并在其榜单展示

费用与奖金

Public 自测免费；全量私有评测费用需与 AA 洽谈

联系方式

官网：artificialanalysis.ai/evaluations/omniscience

10. HLE（Humanity's Last Exam）高难度多模态gated 需申请

官网	https://agi.safe.ai/
GitHub	https://github.com/centerforaisafety/hle
HuggingFace	cais/hle（gated）
数据规模	2500 题（文本+多模态混合）
License	MIT，但禁止用于模型训练
数据集下载	HuggingFace（gated，需登录同意条款）· `huggingface-cli login && hf download cais/hle --repo-type dataset`
gtm 镜像	gated 未落盘 → 详情 ↓
论文	Humanity's Last Exam — Center for AI Safety & Scale AI, 2025

上榜方式 / 提交方式

使用官方 harness 自测后，邮件提交结果（或 PR）
数据集需先登录 HF 同意 gated 条款（自动批准）

费用与奖金

历史奖金赛 $500K 已截止
当前免费提交评测结果

联系方式

邮箱：agibenchmark@safe.ai
官网：agi.safe.ai

11. LiveBench 防污染评测免费

官网	https://livebench.ai/
GitHub	https://github.com/LiveBench/LiveBench
HuggingFace	livebench（各 category 数据集）
数据规模	6 大类别约 23 任务（coding / math / reasoning / language / data_analysis / instruction_following）
License	Apache-2.0 · 无需申请
数据集下载	GitHub · HuggingFace（各 category 数据集）
gtm 镜像	6 类别 · 16 文件 · 246 MB → 查看下载链接 ↓ · 打包下载 172 MB
论文	LiveBench: A Challenging, Contamination-Free Benchmark for LLMs — arXiv 2406.19314

上榜方式 / 提交方式

克隆仓库 + 本地自测（运行 run_livebench.py）
邮件提交结果，或开 PR

费用与奖金

免费参与，无奖金公告

联系方式

邮箱：livebenchai@gmail.com
官网：livebench.ai

12. ARC-AGI-3 抽象推理 · AGI 挑战需 API Key

官网	https://arcprize.org/arc-agi/3
GitHub	https://github.com/arcprize/ARC-AGI-3-Agents
HuggingFace	无
数据规模	无静态题集（官方 API 提供题目与评测）
License	见 GitHub 仓库（评测框架开源）
评测框架	GitHub · `git clone --depth 1 https://github.com/arcprize/ARC-AGI-3-Agents.git`（无静态题集，通过官方 API 评测）

上榜方式 / 提交方式

Kaggle 代码竞赛（官方举办），参赛代码强制开源
通过官方 API 提交评测（需注册并申请 API Key）

费用与奖金

奖池：$850K

联系方式

官网：arcprize.org/arc-agi/3
Kaggle：ARC Prize 竞赛页

gtm 镜像文件下载表

以下文件均已镜像至 gtm 服务器，可直接通过 HTTPS 下载。基础 URL：https://benchmark-comparison.zenagi.ailiantang.top/benchmarks/

文件路径	大小
SWE-bench Verified 1 个文件 · 2.0 MB · 打包 1.6 MB
data/test-00000-of-00001.parquet	2.0 MB
SWE-bench Pro 1 个文件 · 7.5 MB · 打包 5.7 MB
data/test-00000-of-00001.parquet	7.5 MB
FrontierMath 4 个文件 · 147.1 KB · 打包 74 KB
open_problems_data.zip	39.1 KB
open_problems_data/README.md	620 B
open_problems_data/open_problems_metadata.csv	6.7 KB
open_problems_data/open_problems_prompts.csv	100.7 KB
AA-Omniscience 4 个文件 · 4.0 MB · 打包 3.3 MB
AA-Omniscience_dataset_public.csv	151.0 KB
AA_Omniscience__Evaluating_Cross_Domain_Knowledge_Reliability_in_Large_Language_Models.pdf	3.7 MB
Omniscience_Index_Question_Breakdown.png	163.8 KB
README.md	11.2 KB
Terminal-Bench Hard 49 个文件 · 94.9 KB · 打包 169 KB
metadata/tasks.parquet	131 B
tasks/tbh_task_0512598a64b84b5e/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_06c8c1d0a94f66cb/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_08074c298b71613e/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_1037cf7b06cf39a5/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_15ef3de120c29cb9/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_16dbe4606059be59/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_19b99556078771ee/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_1b92e614b05da93c/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_22dc33aab6297db3/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_2d313903cabb4f6c/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_2d93f49a359191de/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_302dd2bfccb0feaf/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_30ee1bad124b54e4/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_33cf08c2cb634768/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_454c321755003c76/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_5631b23768838bc1/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_6355e8eeedf2490f/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_729d03972163d49b/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_75c31bc5a09f370c/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_7fee0e182f2ca1cd/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_881547b08c4e160e/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_8b3a71d1064b7be0/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_8b8b442da63e257c/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_9e4d1b21072cfe6b/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_a1b8dbbe01e426bc/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_a3636f22fa17cc6d/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_a73beb6749d55568/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_a7f0b82a4f205775/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_aa7daf3eb00fdcda/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_aaabe9842978fa41/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_aaf1a7faee31e564/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_aba8e19f775fc60e/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_abd213d6446d851a/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_b237a186590c87dd/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_b2c4085f2b2cd6a6/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_b528f72dbb214e70/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_c6c00a4dab8d28fb/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_d557a114712de69f/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_d574621170ea30f0/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_d575b3ecf9318243/environment/_fixtures/app/fixtures/oracle	14.9 KB
tasks/tbh_task_d7a165b43c1bc0a1/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_d8154e00abf9ca0c/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_e7bd73bfecdd68d2/environment/_fixtures/app/fixtures/audio.wav	130 B
tasks/tbh_task_f1d868d26a954722/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_f230e87093ffa566/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_f83d84c7dd0cc992/environment/_fixtures/app/fixtures/image.png	129 B
tasks/tbh_task_fa699411e024a213/environment/_fixtures/app/fixtures/video.mp4	129 B
tasks/tbh_task_fb2da3e652c57ac8/environment/_fixtures/app/fixtures/image.png	129 B
Arena Leaderboards 44 个文件 · 106.4 MB · 打包 65 MB
agent/full-00000-of-00001.parquet	40.8 KB
agent/latest-00000-of-00001.parquet	8.0 KB
agent_bash_recovery_steps/full-00000-of-00001.parquet	35.5 KB
agent_bash_recovery_steps/latest-00000-of-00001.parquet	7.6 KB
agent_praise_complaint/full-00000-of-00001.parquet	35.2 KB
agent_praise_complaint/latest-00000-of-00001.parquet	7.6 KB
agent_steerability/full-00000-of-00001.parquet	35.6 KB
agent_steerability/latest-00000-of-00001.parquet	7.6 KB
agent_task_outcome_explicit/full-00000-of-00001.parquet	35.5 KB
agent_task_outcome_explicit/latest-00000-of-00001.parquet	7.6 KB
agent_tool_hallucination/full-00000-of-00001.parquet	35.8 KB
agent_tool_hallucination/latest-00000-of-00001.parquet	7.5 KB
document/full-00000-of-00001.parquet	22.1 KB
document/latest-00000-of-00001.parquet	7.0 KB
document_style_control/full-00000-of-00001.parquet	22.1 KB
document_style_control/latest-00000-of-00001.parquet	7.0 KB
image_edit/full-00000-of-00001.parquet	104.4 KB
image_edit/latest-00000-of-00001.parquet	9.9 KB
image_to_video/full-00000-of-00001.parquet	59.4 KB
image_to_video/latest-00000-of-00001.parquet	7.6 KB
search/full-00000-of-00001.parquet	36.4 KB
search/latest-00000-of-00001.parquet	6.8 KB
search_factuality/full-00000-of-00001.parquet	9.2 KB
search_factuality/latest-00000-of-00001.parquet	6.5 KB
search_style_control/full-00000-of-00001.parquet	36.4 KB
search_style_control/latest-00000-of-00001.parquet	6.8 KB
text/full-00000-of-00001.parquet	51.8 MB
text/latest-00000-of-00001.parquet	566.2 KB
text_factuality/full-00000-of-00001.parquet	2.0 MB
text_factuality/latest-00000-of-00001.parquet	172.6 KB
text_style_control/full-00000-of-00001.parquet	45.5 MB
text_style_control/latest-00000-of-00001.parquet	566.6 KB
text_to_image/full-00000-of-00001.parquet	720.4 KB
text_to_image/latest-00000-of-00001.parquet	34.3 KB
text_to_video/full-00000-of-00001.parquet	58.0 KB
text_to_video/latest-00000-of-00001.parquet	7.6 KB
video_edit/full-00000-of-00001.parquet	7.4 KB
video_edit/latest-00000-of-00001.parquet	5.5 KB
vision/full-00000-of-00001.parquet	1.8 MB
vision/latest-00000-of-00001.parquet	50.8 KB
vision_style_control/full-00000-of-00001.parquet	1.7 MB
vision_style_control/latest-00000-of-00001.parquet	50.8 KB
webdev/full-00000-of-00001.parquet	815.1 KB
webdev/latest-00000-of-00001.parquet	24.4 KB
LiveBench 16 个文件 · 241.4 MB · 打包 172 MB
assets/livebench-2024-07-20.png	851.4 KB
assets/livebench-2024-07-23.png	819.2 KB
assets/livebench-2024-07-24.png	845.4 KB
assets/livebench-2024-07-28.png	838.0 KB
assets/livebench-2024-08-02.png	851.5 KB
assets/livebench-2024-08-06.png	830.5 KB
assets/livebench-2024-08-30.png	692.2 KB
assets/livebench-2024-09-30.png	932.6 KB
assets/livebench-2024-12-01.png	306.5 KB
coding/data/test-00000-of-00001.parquet	233.4 MB
data_analysis/data/test-00000-of-00001.parquet	141.4 KB
instruction_following/data/test-00000-of-00001.parquet	524.4 KB
language/data/test-00000-of-00001.parquet	281.1 KB
language/data/train-00000-of-00001.parquet	131 B
math/data/test-00000-of-00001.parquet	181.3 KB
reasoning/data/test-00000-of-00001.parquet	86.2 KB
DeepSWE 113 个任务 · 打包 2.0 MB
abs-module-cache-flags/	目录
abs-stepped-slices/	目录
actionlint-action-pinning-lint/	目录
adaptix-name-mapping-aliases/	目录
aiomonitor-task-snapshots-diff/	目录
anko-default-function-arguments/	目录
anko-typed-variable-bindings/	目录
arcane-drift-detection-baselines/	目录
arktype-json-schema-refs-dependencies/	目录
awilix-async-container-initialization/	目录
bandit-incremental-cache-control/	目录
bandit-interprocedural-taint-checks/	目录
bandit-structured-nosec-directives/	目录
boa-hierarchical-evaluation-cancellation/	目录
cattrs-partial-structuring-recovery/	目录
clack-async-autocomplete-options/	目录
claude-code-by-agents-recursive-delegation/	目录
cliffy-config-file-parsing/	目录
csstree-shorthand-expansion-compression/	目录
dasel-html-document-format/	目录
dateutil-rfc5545-timezone-interop/	目录
drizzle-orm-window-function-builders/	目录
dynamodb-toolbox-conditional-attribute-requirements/	目录
dynamodb-toolbox-lazy-recursive-schemas/	目录
effect-sse-httpapi-streaming/	目录
eicrud-keyset-pagination-cursor/	目录
etree-xml-diff-patch/	目录
expr-try-catch-errors/	目录
fastapi-deprecation-response-headers/	目录
fastapi-implicit-head-options/	目录
fd-deterministic-multi-key-sorting/	目录
geo-shapeindex-serialization/	目录
go-critic-doc-link-checker/	目录
go-genai-streamed-function-args/	目录
go-git-worktree-merge-conflicts/	目录
goreleaser-retry-publish-auditing/	目录
gql-incremental-graphql-delivery/	目录
happy-dom-abort-pending-body-reads/	目录
happy-dom-deterministic-intersectionobserver/	目录
helm-array-merge-strategies/	目录
helm-unified-manifest-stream/	目录
httpx-deterministic-cookie-store/	目录
httpx-multipart-response-parsing/	目录
httpx-streaming-json-iteration/	目录
igel-persist-feature-schema/	目录
ink-grid-box-layout/	目录
ipython-session-bundle-replay/	目录
katex-multicolumn-array-spans/	目录
kcp-go-multiplexed-kcp-streams/	目录
kea-atomic-signal-selectors/	目录
kgateway-consistent-hash-policy/	目录
kombu-single-active-consumer-priority/	目录
kombu-virtual-queue-dead-lettering/	目录
koota-composite-trait-aspects/	目录
koota-deferred-mutation-buffer/	目录
koota-entity-snapshot-rollback/	目录
koota-pair-relation-tracking/	目录
koota-query-predicates/	目录
kysely-window-grouping-helpers/	目录
langchain-request-coalescing/	目录
mashumaro-flattened-dataclass-fields/	目录
meriyah-explicit-resource-declarations/	目录
mnamer-daemon-watch-lifecycle/	目录
mobly-grouped-test-barriers/	目录
narwhals-rolling-window-suite/	目录
numba-stencil-boundary-modes/	目录
obsidian-linter-auto-table-of-contents/	目录
obsidian-linter-link-format-conversion/	目录
obsidian-linter-scoped-ignore-markers/	目录
ofetch-per-origin-circuit-breaker/	目录
onedump-dump-encryption-pipeline/	目录
opa-rego-rule-profiling/	目录
opa-template-string-reconstruction/	目录
optique-conditional-option-dependencies/	目录
oxvg-structural-selector-preservation/	目录
participle-grammar-conflict-analysis/	目录
pebble-durability-wait-apis/	目录
pest-character-class-coalescing/	目录
prometheus-transactional-reload-status/	目录
prometheus-typed-label-sorting/	目录
psd-tools-blend-range-api/	目录
pwntools-tube-multiplexing/	目录
python-statemachine-state-data-scoping/	目录
query-persist-restored-query-state/	目录
quill-shared-toolbar-focus/	目录
returns-validated-error-accumulation/	目录
scc-bounded-memory-spilling/	目录
scriggo-method-declarations/	目录
skrub-duration-encoding/	目录
sql-formatter-bigquery-pipe-formatting/	目录
sqlfmt-create-table-ddl-formatting/	目录
sqlite-utils-safe-import-checkpoints/	目录
superjson-error-stack-serialization/	目录
task-task-graph-export/	目录
tengo-callable-instance-isolation/	目录
tengo-destructuring-bindings/	目录
termenv-preserve-ansi-resets/	目录
testem-bail-on-test-failure/	目录
testem-per-launcher-reports/	目录
textual-kitty-key-phases/	目录
textual-richlog-follow-state/	目录
tomlkit-toml-table-converters/	目录
true-myth-iterable-collection-combinators/	目录
ts-pattern-match-each/	目录
updo-policy-alerting/	目录
valibot-recursive-schema-composition/	目录
vitest-duration-sharding/	目录
vulture-persistent-analysis-cache/	目录
wasmi-trap-coredumps/	目录
wazero-multi-module-snapshots/	目录
yaegi-go-embed-directives/	目录
yjs-map-conflict-detection/	目录
ytt-jsonpath-query-api/	目录
FrontierSWE 17 个任务 · 打包 286 MB
cranelift-codegen-opt/	目录
dart-style-haskell/	目录
dependent-type-checker/	目录
ffmpeg-swscale-rewrite/	目录
frogsgame-rl/	目录
git-to-zig/	目录
granite-mamba2-inference-optimization/	目录
inference-system-optimization/	目录
libexpat-to-x86asm/	目录
lua-native-compiler/	目录
modular-stack-wan21/	目录
notebook-compression/	目录
optimizer-design/	目录
pcqm4mv2-autoresearch/	目录
postgres-sqlite-wire-adapter/	目录
pyright-type-checking-optimization/	目录
revideo-perf-opt/	目录
Terminal-Bench 2.1 89 个任务 · 打包 44 MB
adaptive-rejection-sampler/	目录
bn-fit-modify/	目录
break-filter-js-from-html/	目录
build-cython-ext/	目录
build-pmars/	目录
build-pov-ray/	目录
caffe-cifar-10/	目录
cancel-async-tasks/	目录
chess-best-move/	目录
circuit-fibsqrt/	目录
cobol-modernization/	目录
code-from-image/	目录
compile-compcert/	目录
configure-git-webserver/	目录
constraints-scheduling/	目录
count-dataset-tokens/	目录
crack-7z-hash/	目录
custom-memory-heap-crash/	目录
db-wal-recovery/	目录
distribution-search/	目录
dna-assembly/	目录
dna-insert/	目录
extract-elf/	目录
extract-moves-from-video/	目录
feal-differential-cryptanalysis/	目录
feal-linear-cryptanalysis/	目录
filter-js-from-html/	目录
financial-document-processor/	目录
fix-code-vulnerability/	目录
fix-git/	目录
fix-ocaml-gc/	目录
gcode-to-text/	目录
git-leak-recovery/	目录
git-multibranch/	目录
gpt2-codegolf/	目录
headless-terminal/	目录
hf-model-inference/	目录
install-windows-3.11/	目录
kv-store-grpc/	目录
large-scale-text-editing/	目录
largest-eigenval/	目录
llm-inference-batching-scheduler/	目录
log-summary-date-ranges/	目录
mailman/	目录
make-doom-for-mips/	目录
make-mips-interpreter/	目录
mcmc-sampling-stan/	目录
merge-diff-arc-agi-task/	目录
model-extraction-relu-logits/	目录
modernize-scientific-stack/	目录
mteb-leaderboard/	目录
mteb-retrieve/	目录
multi-source-data-merger/	目录
nginx-request-logging/	目录
openssl-selfsigned-cert/	目录
overfull-hbox/	目录
password-recovery/	目录
path-tracing/	目录
path-tracing-reverse/	目录
polyglot-c-py/	目录
polyglot-rust-c/	目录
portfolio-optimization/	目录
protein-assembly/	目录
prove-plus-comm/	目录
pypi-server/	目录
pytorch-model-cli/	目录
pytorch-model-recovery/	目录
qemu-alpine-ssh/	目录
qemu-startup/	目录
query-optimize/	目录
raman-fitting/	目录
regex-chess/	目录
regex-log/	目录
reshard-c4-data/	目录
rstan-to-pystan/	目录
sam-cell-seg/	目录
sanitize-git-repo/	目录
schemelike-metacircular-eval/	目录
sparql-university/	目录
sqlite-db-truncate/	目录
sqlite-with-gcov/	目录
torch-pipeline-parallelism/	目录
torch-tensor-parallelism/	目录
train-fasttext/	目录
tune-mjcf/	目录
video-processing/	目录
vulnerable-secret/	目录
winning-avg-corewars/	目录
write-compressor/	目录
HLE gated 未落盘
数据为 gated 需 HF 登录授权，未落盘至服务器。 HF 数据集：huggingface.co/datasets/cais/hle（登录后即可下载）仓库 README：github.com/centerforaisafety/hle
ARC-AGI-3 无静态数据集
无静态题集，通过官方 API 评测。评测框架代码见 GitHub。