lm_eval 评测脚本集合,可用任意 Hugging Face 格式的因果语言模型跑常见的
中英文基准。所有脚本共用一套约定,支持一键批量评测。
- 自动寻找带
lm_eval的 Python(必要时激活CONDA_ENV) - 首次运行联网下载数据集,之后离线缓存运行
- GPU 空闲显存不足时自动回退 CPU
- 结果写入
eval_results/<任务>_<时间戳>/,日志为eval.log - 额外参数原样透传给
lm_eval eval-all.sh可串行跑多任务并输出汇总表
已验证版本:lm-eval 0.4.13、datasets 5.2.0、transformers 5.22.2、torch 2.x。
pip install -r requirements.txt国内网络建议加镜像(仅首次下载数据集时需要):
export HF_ENDPOINT=https://hf-mirror.com所有脚本默认读取 ./hf_model(也可直接放一个软链接),或通过 MODEL 指定任意
HF 格式目录(需含 config.json 与权重):
MODEL=/path/to/hf_model ./eval-piqa.sh| 脚本 | lm_eval 任务 | 指标 | 说明 |
|---|---|---|---|
eval-all.sh |
多个 | 汇总表 | 批量运行 + 汇总 |
eval_lambada.sh |
lambada_openai |
acc / perplexity | 长距离依赖 |
eval-hellaswag.sh |
hellaswag |
acc / acc_norm | 常识推理 |
eval-arc-easy.sh |
arc_easy |
acc / acc_norm | 小学科学选择题 |
eval-piqa.sh |
piqa |
acc / acc_norm | 物理常识二选一 |
eval-chinese.sh |
ceval(52 科目) |
acc | 字母选项打分,附「全押 C」基线 |
eval-chinese-text.sh |
ceval-text |
acc | 选项正文打分,消除字母偏好 |
# 单个任务
./eval-piqa.sh
# 快速冒烟
LIMIT=20 BATCH_SIZE=8 ./eval-piqa.sh
# 指定设备 / 少样本
DEVICE=cuda ./eval-arc-easy.sh
DEVICE=cpu BATCH_SIZE=16 ./eval-arc-easy.sh
NUM_FEWSHOT=5 ./eval-piqa.sh./eval-all.sh # core: lambada hellaswag arc_easy piqa ceval
SUITE=all ./eval-all.sh # core + ceval-text(很慢)
ONLY="piqa arc_easy" ./eval-all.sh # 只跑指定任务
EXCLUDE="ceval" ./eval-all.sh # 排除任务
LIMIT=20 BATCH_SIZE=8 ./eval-all.sh # 快速冒烟
TASK_TIMEOUT=3600 ./eval-all.sh # 单任务超时汇总根目录默认为 eval_results/all_<时间戳>/,每个任务一个子目录,最后打印:
==============================================================================
评测汇总
==============================================================================
任务 样本数 耗时 指标
------------------------------------------------------------------------------
piqa 1838 163s acc=0.xxxx acc_norm=0.xxxx
arc_easy 2376 312s acc=0.xxxx acc_norm=0.xxxx
==============================================================================
上表仅为格式示例,数值以实际运行结果为准。
| 变量 | 默认 | 说明 |
|---|---|---|
MODEL |
./hf_model |
HF 格式模型目录 |
TASKS |
脚本默认 | 单脚本内指定任务名,空格或逗号分隔 |
NUM_FEWSHOT |
任务默认 | 少样本数 |
DEVICE |
auto |
auto / cuda / cuda:0 / cpu |
DTYPE |
auto |
auto / float16 / float32 / bfloat16 |
GPU_MIN_FREE_MB |
3000 |
低于此空闲显存则回退 CPU |
BATCH_SIZE |
1 |
lm_eval 的 batch size |
LIMIT |
空 | 只评测前 N 条(调试用) |
ADD_BOS_TOKEN |
1 |
输入前是否加 <bos> |
OUTPUT_DIR |
eval_results/<task>_<ts> |
结果目录(eval-all.sh 中为汇总根目录) |
CONDA_ENV |
work |
自动激活的 conda 环境 |
FORCE_DOWNLOAD |
0 |
强制重新下载数据集 |
LOG_SAMPLES |
0 |
保存逐样本输出 |
DOWNLOAD_TIMEOUT |
900 |
下载超时秒数 |
eval-all.sh 额外支持:SUITE、ONLY、EXCLUDE、TASK_TIMEOUT。
每个脚本都支持 --help 查看完整说明。
evals/
├── eval-all.sh # 批量评测
├── eval-*.sh # 各任务评测脚本
├── eval_tasks/ # C-Eval 中文任务定义(52 科目 + 正文版模板)
│ ├── _ceval-text.yaml
│ ├── _default_ceval_text_yaml
│ ├── ceval-text_*.yaml
│ └── utils.py
├── requirements.txt
├── .gitignore # 忽略 eval_results/ 等
└── README.md
- C-Eval 字母版存在字母偏置:很多小模型在「答案:」后极度偏好某个字母,分数会
趋近「全押该字母」的基线。看真实中文能力建议用
eval-chinese-text.sh。 - C-Eval 正文版更慢:续写目标是整句选项,token 数明显增多。
- 离线运行:数据集缓存就绪后脚本会设置
HF_HUB_OFFLINE=1,避免联网卡住。 - 评测输出(
eval_results/)不纳入版本管理。