Skip to content

About

企业知识中心的 Agent Skill 参考实现与离线触发回归套件:8 个窄 Skill、64 条分层探针、v1–v3 版本化评分器,结果全部可追溯到 CSV。零第三方依赖,含 PRD、竞品矩阵与四状态静态 Demo。

Topics

Resources

Contributing

Security policy

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

KnowledgeOps-SkillKit

企业知识中心的 Agent Skill 参考实现与离线触发回归套件。

License: MIT Python 3.10+ No dependencies Release v0.1.0 CI

把「新员工查制度」拆成 8 个窄 Skill,再用 64 条分层探针验证它们该触发时是否触发、不该触发时是否乱触发。每个数字都能追到仓库里的一行 CSV。

项目结构概览

目录

为什么做这个

企业知识问答的难点不在「找到相似文本」,而在确认资料是否允许访问、是否在有效期内、是否足以支持答案、结论能否回到原文。本项目把这条链路拆成可复用的窄 Skill,并给它们配上触发边界、确定性校验、证据规则、badcase 归因和双端同步工具。

它同时是一个关于「评测结果可不可信」的案例:40/40 的满分最初只是自己出题自己答,补对抗探针后跌到 4/16;修正过拟合、版本化评分器,又出现过 40/40 → 32/40 的回归。七次失败与修正都留在 CHANGELOG 和 归因报告 里,没有抹掉。

产品边界与竞品证据见 PRD、竞品矩阵;Skill 编写规范见 最佳实践。

快速开始

Python 3.10+,零第三方依赖,不需要 API key、GPU 或构建工具。

git clone https://github.com/jkChen36/KnowledgeOps-SkillKit.git
cd KnowledgeOps-SkillKit
python -m unittest discover -s tests -v   # 9 项单元测试
python scripts/audit.py                    # 8 个 Skill 的静态审计
python eval/run_matrix.py --matcher v3     # 固定 40 条:24/24 正触发、0/16 误触发

打开 Demo:双击 demo/index.html,或运行 python -m http.server 8000 后访问 http://localhost:8000/demo/。单文件静态页面,CSS / JS / 模拟数据全部内嵌,不引 CDN、不调 API;可切换「命中 / 过期 / 无权限 / 无答案」四状态并查看 doc_id、原文位置、权限结论与时效状态。

完整复现命令(11 条,与 reproduce.md 一致)
python scripts/audit.py
python eval/run_matrix.py --matcher v1 --probes eval/adversarial_probes.json --output eval/adversarial_results_v1_rerun.csv
python eval/run_matrix.py --matcher v3 --output eval/results.csv
python eval/run_matrix.py --matcher v3 --probes eval/adversarial_probes.json --output eval/adversarial_results.csv
python eval/run_matrix.py --matcher v3 --probes eval/negative_adversarial_probes.json --output eval/negative_results.csv
python eval/run_matrix.py --matcher v3 --probes eval/holdout_probes.json --output eval/holdout_results.csv
python scripts/sync_skills.py --dry-run
python scripts/sync_skills.py --apply --overwrite
python scripts/audit.py --skills-dir .agents/skills
python scripts/audit.py --skills-dir .claude/skills
python -m unittest discover -s tests -v

--matcher 默认为 v3。results_v1.csv、results_v2.csv、adversarial_results_v1.csv 等是历史冻结基线,不要覆盖;--output 只接受仓库内相对路径。退出码:0 全通过、1 存在 FAIL(留出集属于已知情况)、2 输入不合法、3 --live 未实现。

仓库里有什么

模块 内容 入口
skills/ 8 个窄 SKILL.md、规格说明、版本注册表 SPEC.md
eval/ 四套探针(40 / 16 / 5 / 3)、结果 CSV、归因、复现说明 reproduce.md
scripts/ 双端同步与静态安全审计 sync_skills.py
tests/ 标准库单元测试 python -m unittest discover -s tests
product/ PRD 与逐格标注来源的竞品矩阵 PRD.md
demo/ 四状态静态原型 index.html
docs/ 立项说明、最佳实践、项目解读 PROJECT.md

验证结果

当前默认匹配器 v3(运行日期 2026-11-15):

数据集 结果 明细
固定 40 条 40/40 results.csv
对抗 16 条 16/16 adversarial_results.csv
独立负向 5 条 5/5 negative_results.csv
留出 3 条 1/3 · 未达标 holdout_results.csv

一句话结论:已知样本修好了,对未见表达仍会漏触发。 版本间数字变化同时包含评分器与 description 的修改,不能单独解释为 Skill 质量提升。源码、Codex 目标目录、Claude Code 目标目录的静态审计均 RESULT=PASS、failures=0,双端只验证路径与格式一致性,不声称真实 Agent 触发差异。

v1 → v3 完整结果表(11 行,含历史回归)

结果由仓库内脚本生成,运行日期 2026-11-15;逐条归因见 analysis.md。

版本 / 数据集 正触发 误触发 总匹配 来源 CSV
固定 40 条 v1 24/24 = 100.0% 0/16 = 0.0% 40/40 results_v1.csv
对抗 16 条 v1 冻结,未达标 4/15 = 26.7% 0/1 = 0.0% 4/16 adversarial_results_v1.csv
对抗 16 条 v1 重跑,未达标 10/15 = 66.7% 0/1 = 0.0% 10/16 adversarial_results_v1_rerun.csv
对抗 16 条 v2,未达标 13/15 = 86.7% 0/1 = 0.0% 14/16 adversarial_results_v2.csv
独立负向 5 条 v2,未达标 N/A 0/5 = 0.0% 4/5 negative_results_v2.csv
留出 3 条 v2,未达标 2/3 = 66.7% N/A 2/3 holdout_results_v2.csv
固定 40 条 v2 回归,未达标 18/24 = 75.0% 0/16 = 0.0% 32/40 results_v2.csv
固定 40 条 v3,当前 24/24 = 100.0% 0/16 = 0.0% 40/40 results.csv
对抗 16 条 v3,当前 15/15 = 100.0% 0/1 = 0.0% 16/16 adversarial_results.csv
独立负向 5 条 v3,当前 N/A 0/5 = 0.0% 5/5 negative_results.csv
留出 3 条 v3,未达标 1/3 = 33.3% N/A 1/3 holdout_results.csv

已知局限

  • 全部触发结果都是离线规则匹配,不等于真实 Agent 加载 Skill,也不是模型或产品效果;LIVE_DESIGN.md 只是未实现的设计提案。
  • 固定 40 条只覆盖本项目定义的三个企业知识场景及邻近任务,未做跨领域泛化;留出集 v3 仅 1/3,且仍由项目作者编写,不是第三方验证。
  • v2 固定集曾回归到 32/40,v3 已恢复 40/40,历史结果继续保留;独立负向集也不能证明普遍稳健。
  • 竞品矩阵中 Glean 官方定价页在 2026-11-15 无法访问,该格标为「公开资料未披露」。
  • 静态审计只检查结构、依赖、凭证与危险操作,不能证明 Skill 在所有宿主权限模型下都安全;见 SECURITY.md。
  • Demo 只使用模拟数据,不接真实知识库、身份系统或写操作;界面点击交互未在自动化浏览器中验证。

文档导航

想了解 看这里
项目范围与事实来源 docs/PROJECT.md
Skill 规格与触发边界 skills/SPEC.md
三层架构、安全与团队推广 docs/best-practices.md
结果口径与复现命令 eval/reproduce.md · eval/analysis.md
产品判断与竞品证据 product/PRD.md · product/competitive-matrix.md
讲法、常见问题与失败复盘 docs/project-walkthrough.md · CHANGELOG.md
如何参与 CONTRIBUTING.md

贡献与许可

欢迎提 Issue 或 PR;新增 Skill、探针和结果表更新的规则见 CONTRIBUTING.md,安全问题见 SECURITY.md。

基于 MIT 许可发布 · 版本记录见 CHANGELOG.md。

About

企业知识中心的 Agent Skill 参考实现与离线触发回归套件:8 个窄 Skill、64 条分层探针、v1–v3 版本化评分器,结果全部可追溯到 CSV。零第三方依赖,含 PRD、竞品矩阵与四状态静态 Demo。

Topics

Resources

Contributing

Security policy

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages