Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

evals

lm_eval 评测脚本集合,可用任意 Hugging Face 格式的因果语言模型跑常见的 中英文基准。所有脚本共用一套约定,支持一键批量评测。

特点

  • 自动寻找带 lm_eval 的 Python(必要时激活 CONDA_ENV)
  • 首次运行联网下载数据集,之后离线缓存运行
  • GPU 空闲显存不足时自动回退 CPU
  • 结果写入 eval_results/<任务>_<时间戳>/,日志为 eval.log
  • 额外参数原样透传给 lm_eval
  • eval-all.sh 可串行跑多任务并输出汇总表

环境

已验证版本:lm-eval 0.4.13、datasets 5.2.0、transformers 5.22.2、torch 2.x。

pip install -r requirements.txt

国内网络建议加镜像(仅首次下载数据集时需要):

export HF_ENDPOINT=https://hf-mirror.com

模型

所有脚本默认读取 ./hf_model(也可直接放一个软链接),或通过 MODEL 指定任意 HF 格式目录(需含 config.json 与权重):

MODEL=/path/to/hf_model ./eval-piqa.sh

脚本一览

脚本 lm_eval 任务 指标 说明
eval-all.sh 多个 汇总表 批量运行 + 汇总
eval_lambada.sh lambada_openai acc / perplexity 长距离依赖
eval-hellaswag.sh hellaswag acc / acc_norm 常识推理
eval-arc-easy.sh arc_easy acc / acc_norm 小学科学选择题
eval-piqa.sh piqa acc / acc_norm 物理常识二选一
eval-chinese.sh ceval(52 科目) acc 字母选项打分,附「全押 C」基线
eval-chinese-text.sh ceval-text acc 选项正文打分,消除字母偏好

快速开始

# 单个任务
./eval-piqa.sh

# 快速冒烟
LIMIT=20 BATCH_SIZE=8 ./eval-piqa.sh

# 指定设备 / 少样本
DEVICE=cuda ./eval-arc-easy.sh
DEVICE=cpu  BATCH_SIZE=16 ./eval-arc-easy.sh
NUM_FEWSHOT=5 ./eval-piqa.sh

批量评测

./eval-all.sh                              # core: lambada hellaswag arc_easy piqa ceval
SUITE=all ./eval-all.sh                    # core + ceval-text(很慢)
ONLY="piqa arc_easy" ./eval-all.sh         # 只跑指定任务
EXCLUDE="ceval" ./eval-all.sh              # 排除任务
LIMIT=20 BATCH_SIZE=8 ./eval-all.sh        # 快速冒烟
TASK_TIMEOUT=3600 ./eval-all.sh            # 单任务超时

汇总根目录默认为 eval_results/all_<时间戳>/,每个任务一个子目录,最后打印:

==============================================================================
评测汇总
==============================================================================
任务            样本数      耗时  指标
------------------------------------------------------------------------------
piqa            1838    163s  acc=0.xxxx  acc_norm=0.xxxx
arc_easy        2376    312s  acc=0.xxxx  acc_norm=0.xxxx
==============================================================================

上表仅为格式示例,数值以实际运行结果为准。

常用环境变量

变量 默认 说明
MODEL ./hf_model HF 格式模型目录
TASKS 脚本默认 单脚本内指定任务名,空格或逗号分隔
NUM_FEWSHOT 任务默认 少样本数
DEVICE auto auto / cuda / cuda:0 / cpu
DTYPE auto auto / float16 / float32 / bfloat16
GPU_MIN_FREE_MB 3000 低于此空闲显存则回退 CPU
BATCH_SIZE 1 lm_eval 的 batch size
LIMIT 空 只评测前 N 条(调试用)
ADD_BOS_TOKEN 1 输入前是否加 <bos>
OUTPUT_DIR eval_results/<task>_<ts> 结果目录(eval-all.sh 中为汇总根目录)
CONDA_ENV work 自动激活的 conda 环境
FORCE_DOWNLOAD 0 强制重新下载数据集
LOG_SAMPLES 0 保存逐样本输出
DOWNLOAD_TIMEOUT 900 下载超时秒数

eval-all.sh 额外支持:SUITE、ONLY、EXCLUDE、TASK_TIMEOUT。

每个脚本都支持 --help 查看完整说明。

目录结构

evals/
├── eval-all.sh           # 批量评测
├── eval-*.sh             # 各任务评测脚本
├── eval_tasks/           # C-Eval 中文任务定义(52 科目 + 正文版模板)
│   ├── _ceval-text.yaml
│   ├── _default_ceval_text_yaml
│   ├── ceval-text_*.yaml
│   └── utils.py
├── requirements.txt
├── .gitignore            # 忽略 eval_results/ 等
└── README.md

注意

  • C-Eval 字母版存在字母偏置:很多小模型在「答案:」后极度偏好某个字母,分数会 趋近「全押该字母」的基线。看真实中文能力建议用 eval-chinese-text.sh。
  • C-Eval 正文版更慢:续写目标是整句选项,token 数明显增多。
  • 离线运行:数据集缓存就绪后脚本会设置 HF_HUB_OFFLINE=1,避免联网卡住。
  • 评测输出(eval_results/)不纳入版本管理。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages