Skip to content

test: 评测集补数值核查与人物一致性锚点 - #156

Merged
guanlili merged 1 commit into
mainfrom
chore/eval-anchors
Oct 14, 2026
Merged

guanlili merged 1 commit into
mainfrom
chore/eval-anchors

Conversation

@guanlili

Copy link
Copy Markdown
Owner

Summary

PR#152 合入的 numeric_reasoning、person_reference 以及 #153 的 entity_guard 此前在评测集中零覆盖——换模型/改 prompt 时对这三个检查器是盲测。本 PR 为前两者补 7 个样本(评测集 176→183;entity_guard 由 12 例单测锁定,随机幻觉不适合 eval 锚点)。

  • num-1:部分超整体矛盾(支出 80 万 > 收入 50 万)— LLM 层,锚点子串双轮稳定
  • num-2:志愿服务 5 年 6600 余小时证据式提示 — numeric_rule 确定性锚点(≈3.62 小时/天,不认定错误)
  • num-3 / num-4:数据自洽、合理时长 — 零误报对照
  • person-1:同一人物「她→他」冲突 — 三轮 original 完全一致,收为 report 锚点
  • person-2:多人各自一致零误报;person-3:一致用「她」不得按姓名猜性别(2026-10-12 用户原则)

Test plan

  • dev lite 全量 eval:新维度 数值核查 2/2 锚点 + 2/2 零误报、人物一致性 1/1 锚点 + 2/2 零误报,全部通过
  • 整体基线 128/143 锚点(90%)、零误报 39/43 — 与 mini 历史基线(94-97%)的差距为 dev/lite 模型形态差异(既有画像,非本 PR 引入)
  • mini 形态(EVAL_CONFIG_ID=13,与生产一致)复测结果见 PR 评论(评测方法论要求锚点按生产模型形态验证)
  • CI 通过后合并

PR#152 合入的 numeric_reasoning / person_reference 此前在评测集中
零覆盖,换模型/改 prompt 时对它们是盲测。新增 7 样本(当前 183):

- num-1 部分超整体矛盾(80万支出>50万收入,LLM 层双轮子串稳定)
- num-2 志愿服务5年6600余小时证据式提示(numeric_rule 确定性锚点)
- num-3/num-4 数据自洽与合理时长零误报
- person-1 同一人物 她→他 冲突(三轮 original 一致,收为 report 锚点)
- person-2 多人各自一致零误报;person-3 一致用「她」不按姓名猜性别

dev lite 全量基线:新维度 数值核查 2/2+2/2、人物一致性 1/1+2/2 全过;
整体 128/143 锚点、零误报 39/43(与 mini 历史基线的差异为 dev/lite
模型形态差异,mini 形态基线随本 PR 附 EVAL_CONFIG_ID=13 复测结果)。
@guanlili
guanlili merged commit 70fcac2 into main Oct 14, 2026
3 checks passed
@guanlili
guanlili deleted the chore/eval-anchors branch October 14, 2026 11:23
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant