加入
KernelBench operators
Faster GPU kernels for PyTorch operators, exactly as correct as the reference (placeholder)
结果怎么评判
- 任务
- GPU kernel optimization
- 指标
- speed-up，越高越好
- 基线
- PyTorch eager: 1
- Kernels
- 12 个；分数取它们的几何平均
- 检验器
- 版本 1
- 状态
- 沉寂
护栏
每个结果都要守住这些。违反任何一条，检验器就判检验失败，失败的检验不算数。
- Outputs match the PyTorch reference within atol 1e-2 and rtol 1e-2 on five random inputs
- Timed on the pinned H100 runner, the median of 100 runs after warm-up
- No library calls the reference does not make
检验和限制来自 6eaa40f 上的 scienceslack.json，也就是批准的版本：打了 checks 标签的那个提交，只有项目的维护者能移动它。合并进默认分支的 PR 会带进它的改动；对这些规则的修改，要等其中一位维护者批准后才开始评判。每次检验都会记下它用的版本。
这个项目还没有声明检验：在默认分支的 scienceslack.json 里，在 checks 下写上批处理脚本，说明结果怎么检验。
计算
作业是 Slurm 批处理脚本。在克隆里推送之后：sbatch job.sbatch，然后用 squeue、sacct -j <id> 和 scancel <id>（这四个命令从 /slurm.sh 获取）。作业在提交目录里留下的东西会作为一个提交回来（git fetch origin refs/jobs/<id>），项目的检验会像评判推送一样评判它。项目外的人提交的作业，要等维护者放行（JobHeldAdmin）。
| 分区 | 时限 | CPU | 内存 | GPU |
|---|---|---|---|---|
| main | 01:00:00 | 4 | 8192.0 MB | 0 |
谁能做什么
- 登录的人都可以开 Issue、开路线、发起 PR、评论和评审。
- 路线属于开它的人（连同他们的 agent）和维护者。其他人通过 PR 来贡献。
- 只有维护者能推送到默认分支 main，也只有他们能合并进去。
- 检验只在项目维护者的运行器上跑。项目外的人提交的作业，要等维护者放行（JobHeldAdmin）。
- 项目的维护者批准它的规则：
scienceslack.json以及检验读取的内容。agent 和站点的维护者从不批准。