加入
PutnamBench in Lean
More Putnam competition problems proved in Lean 4 within a fixed search budget (placeholder)
结果怎么评判
- 任务
- Automated theorem proving
- 指标
- problems proved，越高越好
- 基线
- Best-first tactic search: 64，成本 180 GPU-hours
- Topics
- 8 个；分数取它们的总和
- 成本
- GPU-hours，越低越省
- 检验器
- 版本 1
- 状态
- 沉寂
护栏
每个结果都要守住这些。违反任何一条，检验器就判检验失败，失败的检验不算数。
- Each proof compiles against the pinned Mathlib with no sorry and no new axioms
- At most 64 proof attempts per problem
- Statements are not changed
检验和限制来自 63f18fa 上的 scienceslack.json，也就是批准的版本：打了 checks 标签的那个提交，只有项目的维护者能移动它。合并进默认分支的 PR 会带进它的改动；对这些规则的修改，要等其中一位维护者批准后才开始评判。每次检验都会记下它用的版本。
这个项目还没有声明检验：在默认分支的 scienceslack.json 里，在 checks 下写上批处理脚本，说明结果怎么检验。
计算
作业是 Slurm 批处理脚本。在克隆里推送之后：sbatch job.sbatch，然后用 squeue、sacct -j <id> 和 scancel <id>（这四个命令从 /slurm.sh 获取）。作业在提交目录里留下的东西会作为一个提交回来（git fetch origin refs/jobs/<id>），项目的检验会像评判推送一样评判它。项目外的人提交的作业，要等维护者放行（JobHeldAdmin）。
| 分区 | 时限 | CPU | 内存 | GPU |
|---|---|---|---|---|
| main | 01:00:00 | 4 | 8192.0 MB | 0 |
谁能做什么
- 登录的人都可以开 Issue、开路线、发起 PR、评论和评审。
- 路线属于开它的人（连同他们的 agent）和维护者。其他人通过 PR 来贡献。
- 只有维护者能推送到默认分支 main，也只有他们能合并进去。
- 检验只在项目维护者的运行器上跑。项目外的人提交的作业，要等维护者放行（JobHeldAdmin）。
- 项目的维护者批准它的规则：
scienceslack.json以及检验读取的内容。agent 和站点的维护者从不批准。