企业知识中心的 Agent Skill 参考实现与离线触发回归套件。
把「新员工查制度」拆成 8 个窄 Skill,再用 64 条分层探针验证它们该触发时是否触发、不该触发时是否乱触发。每个数字都能追到仓库里的一行 CSV。
企业知识问答的难点不在「找到相似文本」,而在确认资料是否允许访问、是否在有效期内、是否足以支持答案、结论能否回到原文。本项目把这条链路拆成可复用的窄 Skill,并给它们配上触发边界、确定性校验、证据规则、badcase 归因和双端同步工具。
它同时是一个关于「评测结果可不可信」的案例:40/40 的满分最初只是自己出题自己答,补对抗探针后跌到 4/16;修正过拟合、版本化评分器,又出现过 40/40 → 32/40 的回归。七次失败与修正都留在 CHANGELOG 和 归因报告 里,没有抹掉。
产品边界与竞品证据见 PRD、竞品矩阵;Skill 编写规范见 最佳实践。
Python 3.10+,零第三方依赖,不需要 API key、GPU 或构建工具。
git clone https://github.com/jkChen36/KnowledgeOps-SkillKit.git
cd KnowledgeOps-SkillKit
python -m unittest discover -s tests -v # 9 项单元测试
python scripts/audit.py # 8 个 Skill 的静态审计
python eval/run_matrix.py --matcher v3 # 固定 40 条:24/24 正触发、0/16 误触发打开 Demo:双击 demo/index.html,或运行 python -m http.server 8000 后访问 http://localhost:8000/demo/。单文件静态页面,CSS / JS / 模拟数据全部内嵌,不引 CDN、不调 API;可切换「命中 / 过期 / 无权限 / 无答案」四状态并查看 doc_id、原文位置、权限结论与时效状态。
完整复现命令(11 条,与 reproduce.md 一致)
python scripts/audit.py
python eval/run_matrix.py --matcher v1 --probes eval/adversarial_probes.json --output eval/adversarial_results_v1_rerun.csv
python eval/run_matrix.py --matcher v3 --output eval/results.csv
python eval/run_matrix.py --matcher v3 --probes eval/adversarial_probes.json --output eval/adversarial_results.csv
python eval/run_matrix.py --matcher v3 --probes eval/negative_adversarial_probes.json --output eval/negative_results.csv
python eval/run_matrix.py --matcher v3 --probes eval/holdout_probes.json --output eval/holdout_results.csv
python scripts/sync_skills.py --dry-run
python scripts/sync_skills.py --apply --overwrite
python scripts/audit.py --skills-dir .agents/skills
python scripts/audit.py --skills-dir .claude/skills
python -m unittest discover -s tests -v--matcher 默认为 v3。results_v1.csv、results_v2.csv、adversarial_results_v1.csv 等是历史冻结基线,不要覆盖;--output 只接受仓库内相对路径。退出码:0 全通过、1 存在 FAIL(留出集属于已知情况)、2 输入不合法、3 --live 未实现。
| 模块 | 内容 | 入口 |
|---|---|---|
skills/ |
8 个窄 SKILL.md、规格说明、版本注册表 |
SPEC.md |
eval/ |
四套探针(40 / 16 / 5 / 3)、结果 CSV、归因、复现说明 | reproduce.md |
scripts/ |
双端同步与静态安全审计 | sync_skills.py |
tests/ |
标准库单元测试 | python -m unittest discover -s tests |
product/ |
PRD 与逐格标注来源的竞品矩阵 | PRD.md |
demo/ |
四状态静态原型 | index.html |
docs/ |
立项说明、最佳实践、项目解读 | PROJECT.md |
当前默认匹配器 v3(运行日期 2026-11-15):
| 数据集 | 结果 | 明细 |
|---|---|---|
| 固定 40 条 | 40/40 | results.csv |
| 对抗 16 条 | 16/16 | adversarial_results.csv |
| 独立负向 5 条 | 5/5 | negative_results.csv |
| 留出 3 条 | 1/3 · 未达标 | holdout_results.csv |
一句话结论:已知样本修好了,对未见表达仍会漏触发。 版本间数字变化同时包含评分器与 description 的修改,不能单独解释为 Skill 质量提升。源码、Codex 目标目录、Claude Code 目标目录的静态审计均 RESULT=PASS、failures=0,双端只验证路径与格式一致性,不声称真实 Agent 触发差异。
v1 → v3 完整结果表(11 行,含历史回归)
结果由仓库内脚本生成,运行日期 2026-11-15;逐条归因见 analysis.md。
| 版本 / 数据集 | 正触发 | 误触发 | 总匹配 | 来源 CSV |
|---|---|---|---|---|
| 固定 40 条 v1 | 24/24 = 100.0% | 0/16 = 0.0% | 40/40 | results_v1.csv |
| 对抗 16 条 v1 冻结,未达标 | 4/15 = 26.7% | 0/1 = 0.0% | 4/16 | adversarial_results_v1.csv |
| 对抗 16 条 v1 重跑,未达标 | 10/15 = 66.7% | 0/1 = 0.0% | 10/16 | adversarial_results_v1_rerun.csv |
| 对抗 16 条 v2,未达标 | 13/15 = 86.7% | 0/1 = 0.0% | 14/16 | adversarial_results_v2.csv |
| 独立负向 5 条 v2,未达标 | N/A | 0/5 = 0.0% | 4/5 | negative_results_v2.csv |
| 留出 3 条 v2,未达标 | 2/3 = 66.7% | N/A | 2/3 | holdout_results_v2.csv |
| 固定 40 条 v2 回归,未达标 | 18/24 = 75.0% | 0/16 = 0.0% | 32/40 | results_v2.csv |
| 固定 40 条 v3,当前 | 24/24 = 100.0% | 0/16 = 0.0% | 40/40 | results.csv |
| 对抗 16 条 v3,当前 | 15/15 = 100.0% | 0/1 = 0.0% | 16/16 | adversarial_results.csv |
| 独立负向 5 条 v3,当前 | N/A | 0/5 = 0.0% | 5/5 | negative_results.csv |
| 留出 3 条 v3,未达标 | 1/3 = 33.3% | N/A | 1/3 | holdout_results.csv |
- 全部触发结果都是离线规则匹配,不等于真实 Agent 加载 Skill,也不是模型或产品效果;LIVE_DESIGN.md 只是未实现的设计提案。
- 固定 40 条只覆盖本项目定义的三个企业知识场景及邻近任务,未做跨领域泛化;留出集 v3 仅 1/3,且仍由项目作者编写,不是第三方验证。
- v2 固定集曾回归到 32/40,v3 已恢复 40/40,历史结果继续保留;独立负向集也不能证明普遍稳健。
- 竞品矩阵中 Glean 官方定价页在 2026-11-15 无法访问,该格标为「公开资料未披露」。
- 静态审计只检查结构、依赖、凭证与危险操作,不能证明 Skill 在所有宿主权限模型下都安全;见 SECURITY.md。
- Demo 只使用模拟数据,不接真实知识库、身份系统或写操作;界面点击交互未在自动化浏览器中验证。
| 想了解 | 看这里 |
|---|---|
| 项目范围与事实来源 | docs/PROJECT.md |
| Skill 规格与触发边界 | skills/SPEC.md |
| 三层架构、安全与团队推广 | docs/best-practices.md |
| 结果口径与复现命令 | eval/reproduce.md · eval/analysis.md |
| 产品判断与竞品证据 | product/PRD.md · product/competitive-matrix.md |
| 讲法、常见问题与失败复盘 | docs/project-walkthrough.md · CHANGELOG.md |
| 如何参与 | CONTRIBUTING.md |
欢迎提 Issue 或 PR;新增 Skill、探针和结果表更新的规则见 CONTRIBUTING.md,安全问题见 SECURITY.md。
基于 MIT 许可发布 · 版本记录见 CHANGELOG.md。