Skip to content

docs(rfcs): add 4-tier verification funnel and 3-level harness co-design - #9211

Open
loopx-agent wants to merge 3 commits into
mainfrom
codex/rfc-harness-codesign-funnel-20261122
Open

loopx-agent wants to merge 3 commits into
mainfrom
codex/rfc-harness-codesign-funnel-20261122

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

Summary

  • Add §5.5 Four-tier verification funnel (§5.5 四层漏斗验证协议) and a dated decision-log entry (2026-11-22) to docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.{md,zh-CN.md}:
    • Tier 0: Offline invariants, replay/restore fixtures, /context preflight, boundary isolation audits, and offline benchmark/proxy_order.py common-panel Kendall tau-b calibration (0 live model spend).
    • Tier 1: Fast efficiency-parity gate (~5h short-horizon matched runs comparing Raw-Artifact Reset Baseline, quiet single-session execution, and Controller–Worker + EpochReset).
    • Tier 2: Bounded counterfactual calibration (~3h matched forks from a quiescent sealed research-checkpoint $s_0$, tracking Kendall tau-b, proxy false-improvement rates, and conditional $\Delta J(B \mid s_0)$).
    • Tier 3: Full-horizon replicated promotion (18h–20h, N >= 5 where promoted, mandatory Raw-Artifact Reset Baseline on episodic RSI / scalar optimization tracks per §5.2, full cost accounting per §6.2, integrity audits per §6.5).
    • Explicit fail-closed gating and non-substitution rules: lower tiers prune regressions cheaply without relaxing §4 C2–C4 claim thresholds.
  • Add Harness-neutral kernel and three-level harness co-design (与 Harness 无关的内核与三层协同设计) to docs/architecture/rfcs/loopx-overall-roadmap-v0.{md,zh-CN.md}:
    • Keeps AuthorityStore, CAS, claim/lease, Turn fences, receipt settlement, and Target/Yardstick/Stride records harness-neutral.
    • Defines three co-design levels: Level 1 BoundaryCLI (Quiet-Turn + KeepRaw + quiescent EpochReset), Level 2 OrchestratedApp (Subagent Scope isolation via collaboration_brief_v0, bounded remaining_work, workspace/lease fences, async wakes), and Level 3 InTree (FoldAndPrefetch + typed failure recovery in loopx/dsh_goal_mode/turn_host_adapter.py).
    • Introduces the unified HostHarnessCapabilities descriptor and tracks consolidating the 9 top-level loopx/*_goal_mode/ packages into loopx/hosts/ under tests/architecture/top_level_module_budget.json, cross-referenced to the §5.5 Four-Tier Verification Funnel.

Verification

Verified on exact head f455dbb2a1bc20dcc19dddfa5f4810e01e138971:

  • python3 scripts/check_rfc_bilingual.py --base origin/main --head HEAD -> passed
  • python3 scripts/generate_rfc_status_index.py --check -> passed
  • python3 examples/docs-governance-smoke.py -> docs-governance-smoke ok
  • uv run --extra test python -m pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py -> 32 passed in 18.77s
  • loopx check --scan-path ... (4 edited RFC files) -> ok: True, errors=0, warnings=0, public boundary scan clean: 4 files
  • loopx canary premerge --from-git-diff --git-diff-base origin/main -> passed selected=15 failures=0 (merge_gate_passed: true)

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · Gemini · Google · self_reported

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

结论概述: 在 exact head f455dbb2a1bc20dcc19dddfa5f4810e01e138971 上完成独立审阅与全套本地文档校验,确认本 PR 以 +95/-0 的克制增量将**四层漏斗验证协议(Tier 0–Tier 3)与Harness 无关内核 + 三层协同设计(BoundaryCLI / OrchestratedApp / InTree + HostHarnessCapabilities)**准确落入中英文 RFC,未引入架构越界或降低原有能力/实验门槛;仅在中文总纲发现 1 处不影响合并语义的失效交叉锚点(P2 非阻塞,建议随手修正)。


动机 / Motivation

研究执行者与维护者在推进长程 Benchmark 实验及多宿主 Harness 协同设计时,需避免直接以 18h–20h 全周期运行充当首道筛选器,或让各宿主适配器重复复制控制面逻辑。 改造前:benchmark RFC 缺少端到端分层漏斗筛选协议,总纲 RFC 也未将统一 Kernel 与不同宿主的三层接入模式(BoundaryCLI / OrchestratedApp / InTree)及包收敛路径收敛成清晰规范;直接跑满长周期或按宿主复制 wrapper 都会推高开销。改造后:在 benchmark 研究 RFC 新增 §5.5 四层漏斗验证协议与决策记录,并在总纲 RFC 明确 Harness-neutral 内核、三层协同机制与 9 个 _goal_mode/ 包向 loopx/hosts/ 的收敛路线。 审阅者与研究团队在 exact head f455dbb 的公开中英文 RFC 中可直接依据统一的 Tier 0–Tier 3 门禁和 BoundaryCLI / OrchestratedApp / InTree 职责划分开展实现与实验对照,且未放宽既有 C2–C4 主张阈值。 本 PR 仅补充中英文架构 RFC 规范文本,不改动控制面运行时代码、不修改 benchmark/proxy_order.py 或 top_level_module_budget.json 数值,也不直接迁移 loopx/_goal_mode/ 代码实现。 剩余缺口在于 9 个 *_goal_mode/ 包向 loopx/hosts/ 的实际代码迁移及 Tier 1–3 实测验证仍待后续按各工作切片推进,且中文总纲第 146 行有 1 处失效锚点建议随手修正。

改动思路 / Approach

本 PR 不新增第三份独立文档,而是直接复用已有两篇权威中英文 RFC(long-horizon-harness-benchmark-research-program-v0 与 loopx-overall-roadmap-v0),分别承接“如何分层验证收益与止损”和“如何在保持核心权威与决策机制(AuthorityStore、CAS、claim/lease、Turn、receipt 结算、Target/Yardstick/Stride)与厂商 CLI 解耦的前提下按控制接缝分层优化”两个正交维度:

  • 可逆与小切面边界: 仅增补两段规范正文与 1 条决策日志(+95 行),保持默认架构门禁不变;所有优化目标(Quiet-Turn、EpochReset、Subagent Scope、FoldAndPrefetch)显式声明为“未通过四层漏斗前仅作设计目标,不视作已测收益或默认切换”。
  • 对现有契约的承接: 复用 controller-executor-unified-contract-v0.md 既有减法门禁与 tests/architecture/top_level_module_budget.json 模块预算约束,而非另起顶层目录管理账本。

具体改动 / Changes

依据对照规范 docs/architecture/rfcs/controller-executor-unified-contract-v0.md(baseline 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f):

  • SPEC-NONSUBSTITUTION(保持 C2–C4 主张与全周期对照门禁不被短周期代理结果替代):implemented —— 已在新增 §5.5 与 2026-11-22 决策日志中显式写入非替代边界。
  • SPEC-SUBTRACTION(依托既有名单退役与顶层包上限门禁约束收敛 loopx/*_goal_mode/):implemented —— 已对照实际仓内全部 9 个 loopx/*_goal_mode/ 目录核实并收敛指向 loopx/hosts/。

关键内容讲解

  1. docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.{md,zh-CN.md}(§5.5 Four-tier verification funnel / 四层漏斗验证协议 + Decision Log 2026-11-22):

    • Tier 0(离线不变量与标尺校准): 零模型费用覆盖单元测试、checkpoint 恢复夹具、WarmStart 与 /context 预检、边界隔离审计及 benchmark/proxy_order.py 离线共同面板 Kendall $\tau_b$ 检查。
    • Tier 1(快速效率对齐门,~5h --timeout 18000): 对照 Raw-Artifact Reset Baseline、静默单会话与 Controller–Worker + EpochReset,评估原生 score、time-to-threshold、轮间等待压缩及 §6.2 已定义的 cached_prefix_tokens vs. uncached_input_tokens 稳定性;明确短周期对齐不能替代全周期净收益判断。
    • Tier 2(有界反事实标定,~3h): 基于同一静止 research-checkpoint ($s_0$) 与一致评测条件(/context)隔离晚期决策 Kendall $\tau_b$、假提升率、Yardstick 断崖及计入完整控制/评测成本的条件净收益 $\Delta J(B \mid s_0)$。
    • Tier 3(全周期复现晋升,18h–20h): N >= 5(拟晋升时)配全成本核算(§6.2)、完整基线(§5.2)与独立完整性审计(§6.5),仍是 C2/C3/C4 主张唯一入口。
  2. docs/architecture/rfcs/loopx-overall-roadmap-v0.{md,zh-CN.md}(与 Harness 无关的内核与三层协同设计):

    • Level 1 · BoundaryCLI: 边界 CLI 宿主通过 Quiet-Turn 消除每轮结构化表单税,阶段内维持 KeepRaw 前缀 KV-cache 稳定,仅在静止 EpochReset 边界重定基;指向已存在的 loopx/host_loop_activation.py、loopx/hosts/skill_facade.py 与 loopx/control_plane/quota/context_delivery.ts(5.1)。
    • Level 2 · OrchestratedApp: 多单元与 Controller–Worker 强化 Subagent Scope 隔离(collaboration_brief_v0、有界 remaining_work、按 worker 隔离 workspace/lease 与异步唤醒),链接 #router-controller-worker 锚点(中英文均已核验存在)。
    • Level 3 · InTree: 进程内协作宿主(loopx turn run-once --host dsh)结合 FoldToReceipt/EpochReset 与 FoldAndPrefetch 及类型化恢复,指向 loopx/dsh_goal_mode/turn_host_adapter.py。
    • 统一 HostHarnessCapabilities 与包收敛: 要求各宿主声明事实能力且不伪造预算强约束;明确列出全部 9 个顶层 loopx/*_goal_mode/ 包(与实仓 ls -d loopx/*_goal_mode 逐一核对完全一致)迁入 loopx/hosts/ 的路径,并引用 tests/architecture/top_level_module_budget.json(当前 max_top_level_modules=121)。

对主干的风险 / Risks

  • P2(非阻塞 · 交叉锚点失效):docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md 第 146 行链接文本 [统一契约的退役门禁](controller-executor-unified-contract-v0.zh-CN.md#3-normative-retirement-backlog-and-ratchet-rules)
    • Problem: 目标中文文件 controller-executor-unified-contract-v0.zh-CN.md 中不存在 #3-normative-retirement-backlog-and-ratchet-rules 锚点或 HTML <a id>,点击仅能跳转到文档顶部;其对应小节位于第 1223 行 #### 3. 具名退役清单与棘轮规则(实际 GitHub 锚点为 #3-具名退役清单与棘轮规则),上层小节锚点为第 1184 行 <a id="subtraction-gate"></a>。英文版 loopx-overall-roadmap-v0.md 第 175–183 行(对应目标第 1555 行)无此问题。
    • Impact & Fix: 仅影响中文读者页内跳转,不破坏任何程序逻辑或门禁检查;建议在后续或微修中改为 #3-具名退役清单与棘轮规则(或在目标中文 RFC 第 1222 行补齐 <a id="3-normative-retirement-backlog-and-ratchet-rules"></a>)。
  • 本地全量验证矩阵(均基于 exact head f455dbb2a1bc20dcc19dddfa5f4810e01e138971 在独立只读 worktree 实测):
    • check_rfc_bilingual.py --base origin/main --head HEAD:PASS
    • generate_rfc_status_index.py --check:PASS
    • examples/docs-governance-smoke.py:PASS(docs-governance-smoke ok)
    • pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:PASS(32 passed in 19.25s)
    • loopx check --scan-path ...(4 份改动文件):PASS(errors=0, public boundary scan clean: 4 files)
    • loopx canary premerge --from-git-diff --git-diff-base origin/main:直接检查 4/4 PASS,风险 smoke 8/8 PASS,公开边界 1/1 PASS,目录金丝雀 5/6 PASS;其中未挂载 node_modules 时的 examples/semantic-vocabulary-drift-smoke.py 失败已在挂接工作区 node_modules 复测确认 PASS(semantic-vocabulary-drift-smoke: ok)。

我的整体评价 / Verdict

本 PR 结构紧凑、边界克制且引用的文件与包清单经独立复核均与代码库事实一致,作为架构与验证协议基线对主干零副作用;长程与用户阅读路径均安全保持(preserved),仅中文文档内 1 处交叉锚点需小修(非阻塞)。本次变更仅为中英文 RFC Markdown 文档增量补充(无 UI、CLI 或终端页面渲染变更),已核验 diff 与目标文件结构,不适用界面截图检查。

English verdict: APPROVE — exact head f455dbb aligns bilingual RFC governance for the 4-tier verification funnel and 3-level harness co-design with all local RFC/canary/public-boundary checks passing (1 minor P2 non-blocking broken cross-doc anchor in the zh-CN roadmap file). Keep PR OPEN per coordinator instructions.

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

评审固定提交 d2272f84e8a7a02aa122a318440073bc1f44404d,merge base 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f。与核对时 main 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f 三方整合无冲突。

[P2 · Blocking] 通用晋升门把原生短预算排除在现有 C2 之外

§5.5 要求所有研究顺序经过同一漏斗。唯一允许 C2 的 Tier 3 把 18–20 小时和跨族复现列入要求。当前文档同页 §3.8 的 P0 LHTB 2.0 原生预算为 3 小时,FrontierCS-2 为 5 小时。两者的完整原生预算无法按该表进入 C2,而且跨族本来是 C3。结果是合格的单 benchmark 全程方案被挡,或为了满足时长改变原生预算。 将 Tier 1–3 按已声明研究与原生预算判定适用性。把 18–20 小时和分叉窗口写成特定研究例子,Tier 3 用任务原生全预算,按 §4 区分 C2 匹配复验、C3 跨族复现与 C4 产品门。 候选位置 原生预算示例 C2 与 C3

[P2 · Blocking] 静态和 replay 通过不能授予 E1/E2 工程资格

Tier 0 末列把 static/replay 通过写成证明 E0–E2 就绪。§11.2 要求 E1 有实 runner 跑通 setup、execute、verify、reduce 且有绑定回执,E2 则要求多次 campaign 转移与恢复/隔离无效作业。仅满足表内离线断言的提交会继承它没有执行过的工程资格。 说明 Tier 0 只验证实际覆盖的不变量。E1/E2 沿 §11.2 的原生运行、回执与重复恢复证据判定。隔离合成任务可用于相关资格。 候选位置 既有 E0–E2 口径

动机 / Motivation

在昂贵长程复现实验之前排除运行时退化,同时保持各 benchmark 的原生比较合同和 C2/C3/C4 主张边界。 §4 的 C2 允许在固定单 benchmark 和预算内,通过配对、复验、原生质量或成本及长程失败指标建立因果证据。C3 另需跨族,C4 另需产品资格。 §5.5 新增四个验证层,路线图增加三种宿主接缝与统一能力描述符作为设计目标。

把同一文档的 P0 LHTB 2.0(3h)和 FrontierCS-2(5h)作为已声明预算评审例,对照 §4 和新 §5.5。再用只有静态与 replay 的提交走 §11.2 工程判定。 本次只审阅文档和执行仓库静态治理。没有执行付费 benchmark、运行时变更、公开采用或托管 CI。 现有交付规则

改动思路 / Approach

四阶段是可解释质量证据顺序。适用研究、原生预算和各主张门槛由已登记的研究合同界定。 现有实验 manifest、benchmark 原生分数和 Core authority 继续归原 owner。文档应约束适用的资格,不为运行授予权限。 先执行便宜排错再花费长跑成本具有现实价值。对每项实验声明适用验证层及证据,保留有界反事实与冷启动完整比较的区别。

具体改动 / Changes

完整 diff 共 4 个文件,新增 95 行、删除 0 行。改动共四份 RFC,两笔 DCO。候选第二笔修正中文片段指向。同一三类宿主是收敛目标,现有原生控制权与可验证能力沿已有 owners。

  • 保留原生预算与 C2/C3 边界。完整对照按原生预算和相应主张判定。

  • 保持 E0–E2 证据边界。工程就绪只能由对应层的实测证据决定。

  • 双语路线互相对照。两组 RFC 配对修改并能沿 owner 文档定位。

  • Four-tier verification funnel。定义研究筛选顺序及资格。 精确代码

  • C2/C3 claim levels。区分单 benchmark 匹配复验与跨族一般性。 精确代码

  • Engineering readiness stages。分别要求离线基础、原生 runner 以及 campaign 回执和恢复。 精确代码

  • Harness-neutral kernel and three-level harness co-design。记载三类宿主接缝和统一 owner 的架构目标。 精确代码

对主干的风险 / Risks

固定提交的 RFC 双语同批检查、RFC 状态索引、文档治理 smoke 和 32 项定向测试通过。两种语言均保留预算不可替代和产品采用需独立资格的陈述。

基线 §4/§11.2 保留 C2 单研究、C3 跨族与不同工程阶段。在原生预算不超过 5 小时的两个 P0 例子上,没有此处新增的 18–20 小时门槛。 三方整合无冲突,未改变运行时代码。语义冲突位于实际供 contributor/Agent 采用的规范条款。

我的整体评价 / Verdict

REQUEST_CHANGES。 保留便宜到昂贵的风险筛选顺序。请先让适用性、原生预算和工程阶段证据与同一 RFC 已有等级一致,再用 3h/5h 与仅有离线证据两个例子验收。

English verdict: REQUEST_CHANGES. The funnel makes an 18–20 hour, cross-family gate universal for C2, contradicting the native 3 h/5 h tracks and the within-benchmark claim definition. Static replay also cannot establish E1/E2 conformance or recovery. Scope the tiers and keep the existing proof requirements.

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · Gemini · Google · self_reported

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

在 exact head d2272f84e8a7a02aa122a318440073bc1f44404d 上完成增量与基线到当前提交(55bae0ac55..d2272f84e8)独立复审。确认此前指出的 loopx-overall-roadmap-v0.zh-CN.md#L146 失效中文锚点已修复并可解析至目标小节,全部 4 份改动 RFC 通过双语同批、状态索引与静态文档门禁;但复审同时独立核实 §5.5 四层漏斗表在中英文版本中仍存在 2 处与同文档 §3.8 / §4 / §11.2 规范冲突的阻塞问题(与 6006958434 审阅结论一致),因此结论为 REQUEST_CHANGES,保持 PR OPEN。


动机

Benchmark maintainers and harness engineers updating docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md and docs/architecture/rfcs/loopx-overall-roadmap-v0.md rely on the four-tier funnel and three-level harness co-design rules to plan Tier 0-3 gates. Before commit d2272f8, docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md#L146 referenced an English-slug fragment; after d2272f8 it points to #3-具名退役清单与棘轮规则, while §5.5 still misstates Tier 0 as proving E0-E2 and requires 18-20h cross-family Tier 3 for C2. All static docs governance checks pass on d2272f8, the Chinese roadmap fragment resolves to line 1223 of the unified contract, and two normative §5.5 contradictions against §3.8, §4, and §11.2 block approval. No runtime code, benchmark harness behavior, CI workflow execution, or UI presentation files are modified. Scoped Tier 0 readiness text to E0 only and scoped Tier 3 budget/cross-family C2 vs C3 separation remain unfixed in §5.5 EN and ZH-CN.

依据规范 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md @ 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f 进行核对,关键验收准则对照如下:

  • spec-anchor-zh: loopx-overall-roadmap-v0.zh-CN.md#L146 已指向 controller-executor-unified-contract-v0.zh-CN.md#3-具名退役清单与棘轮规则(第 1223 行),静态锚点断链已修复。
  • spec-funnel-tier0-readiness: 未满足 — §5.5 Tier 0 称静态/重放通过证明 E0–E2 就绪,与 §11.2 冲突。
  • spec-funnel-tier3-c2-budget: 未满足 — §5.5 Tier 3 将 18h–20h 全预算与跨族复现一同绑为 C2/C3 唯一准入条件,与 §3.8 原生 3h/5h 预算及 §4 的 C2/C3 定义冲突。

改动思路

本 PR 在不改动运行时代码的条件下,向基准测试研究纲领增补顺序阻塞的四层验证漏斗(§5.5),并在中英文总纲增补与 Harness 无关内核 + BoundaryCLI / OrchestratedApp / InTree 三层协同设计表及 HostHarnessCapabilities 描述符约束。表 1 与表 2 的概念拆层清楚,但因规范表格把单研究原生短预算 C2 与跨族 C3、E0 与 E1/E2 混写在同一门禁格内,必须修正措辞边界后再准予合入。

审查项 f455dbb2a1 -> d2272f84e8 核查结果 对应规范依据
中文路线图退场链接 已修复(#3-具名退役清单与棘轮规则 -> :1223) controller-executor-unified-contract-v0.zh-CN.md
§5.5 Tier 0 就绪声明 阻塞:E0–E2 越界(应仅限 E0) §11.2 (E0 vs E1 / E2)
§5.5 Tier 3 时长与跨族条件 阻塞:将 18–20h 与跨族绑定为 C2 前置 §3.8 (3h/5h) & §4 (C2 vs C3)

具体改动

完整 diff(55bae0ac55..d2272f84e8,4 份 RFC,+95 / -0 行;最近一笔 d2272f84e8 仅改 1 行链接):

  1. docs/architecture/rfcs/loopx-overall-roadmap-v0.zh-CN.md#L146:将退场门禁片段修正为 #3-具名退役清单与棘轮规则(经 grep -n "具名退役" 确认匹配 controller-executor-unified-contract-v0.zh-CN.md:1223)。
  2. Blocking #1(P1)Tier 0 宣称静态/重放通过证明 E0–E2 就绪
    • 位置:docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L733(及 .zh-CN.md#L577)
    • 冲突:同文档 §11.2(L1617-1632)明确规定仅 E0 不要求实跑;E1 需实 runner 跑通 preflight/execute/verify/reduce 并产出受绑回执,E2 需跨多轮转换验证 board identity、并发准入与失效作业隔离/恢复。
    • 最小修复:将 Tier 0 末列改为仅证明 E0(及已覆盖的离线不变量),明确 E1/E2 仍需按 §11.2 给出实跑回执与恢复证据。
  3. Blocking #2(P1)Tier 3 通用 18h–20h 与跨族复现门槛排除了原生短预算 C2
    • 位置:docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L729,L736(及 .zh-CN.md#L580)
    • 冲突:同文档 §3.8(L517-518)中 P0 赛道 LHTB 2.0 原生满预算为 3h、FrontierCS-2 为 5h;§4(L600-613)亦将 C2 界定为固定单 benchmark 原生预算配对因果证据,将跨族泛化单独划归 C3。
    • 最小修复:在 §5.5 中写明 Tier 1–3 适用性与全周期时长均以已声明研究和原生满预算为准(把 18h–20h 标注为特定长程研究如 EdgeBench 示例),并区分 Tier 3 单研究原生满预算复现支撑 C2、跨族复现支撑 C3。

对主干的风险

  • 已验证通过项(d2272f84e8 独立执行,0 修改):
    • check_rfc_bilingual.py --base 55bae0ac55 --head HEAD:通过(中英文成对同步)
    • generate_rfc_status_index.py --check:通过
    • docs-governance-smoke.py:通过(docs-governance-smoke ok)
    • pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:32 passed
    • loopx check --scan-path(4 份 PR 改动文件):全部 ok=True, errors=0, warnings=0
  • 残余规范风险:未修改运行时代码或 CI 门槛;但若合入当前 §5.5 原文,贡献者在按 §5.5 执行评审/准入时会在 E0–E2 与 C2/C3 上得到与 §3.8/§4/§11.2 矛盾的规范约束。

我的整体评价

  • Presentation / Visual review:not_applicable: inspected the four RFC Markdown files under docs/architecture/rfcs/ across 55bae0a..d2272f8; no web, CLI UI, or rendered dashboard presentation files changed.;unverified_scope: none (docs-only RFC diff; static governance and anchor inspection ran directly on detached checkout d2272f8)。
  • 合并与验证状态:经本次对 d2272f84e8a7a02aa122a318440073bc1f44404d 的全量校验,loopx-overall-roadmap-v0.zh-CN.md#L146 锚点修复已确认生效;但 §5.5 的 E0–E2 与 Tier 3 通用门槛两处规范矛盾尚未消除,当前无法批准合入。请先按上述最小修复同步更新 EN 与 ZH-CN 表格后再复审。

English verdict: REQUEST_CHANGES. The broken Chinese anchor at loopx-overall-roadmap-v0.zh-CN.md#L146 is verified fixed and all static docs governance checks pass on d2272f8, but two normative contradictions remain in §5.5 (EN and ZH-CN): Tier 0 overclaims E0-E2 readiness from offline checks contrary to §11.2, and Tier 3 enforces 18-20h cross-family replication as universal for C2 contrary to §3.8 native 3h/5h tracks and §4 C2/C3 definitions.

…zons with §3.8/§4/§11.2

Signed-off-by: LoopX Agent <[email protected]>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · Gemini · Google · self_reported

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

在 exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5(merge base 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f)上完成 PR #9211 的独立增量复审。确认最新提交 4322fdcfae 已在中英文版本中完整修复此前两轮(6006958434 / 6007095105)指出的 §5.5 规范冲突:Tier 0 现明确仅证明 E0 基础就绪度(E1/E2 仍须按 §11.2 提供实 runner 回执与恢复证据),Tier 1–3 与 2026-11-22 决策日志条目现按 §3.8 各基准原生满预算(如 LHTB 2.0 3h、FrontierCS-2 5h、EdgeBench 18h–20h)标定并严格区分单研究 C2 与跨族 C3。全部静态双语、索引与边界校验已在当前 head 独立重跑通过,结论转为 APPROVE(作者同账号按策略发布 COMMENTED 结论)。


动机 / Motivation

维护长周期验证门禁与宿主适配器的 Benchmark 研究员与 Harness 工程师,在规划或评审 Tier 0–3 门禁与 *_goal_mode 收敛路径时会直接受此规范影响。在 commit 4322fdc 之前,虽然 d2272f8 修好了中文退场链接,但 §5.5 仍误宣称 Tier 0 静态检查可证明 E0–E2 就绪并要求 Tier 3 一律用 18h–20h 跨族实验支撑 C2;而在 4322fdc 之后,Tier 0 严格收缩为仅证明 E0 基础就绪度(E1/E2 仍按 §11.2),Tier 1–3 按 §3.8 各基准原生全预算标定并区分单研究 C2 与跨族 C3。不引入该四层漏斗与三层协同边界会导致长程实验盲目消耗 18h–20h 全周期算力且各宿主包继续复制控制面逻辑;而本次以克制增量将门禁次序、宿主协同表面与收敛清单一次写清。EN 与 ZH-CN 的 §5.5 四层漏斗表、2026-11-22 决策日志以及总纲三层协同设计在 exact head 4322fdc 上消除全部规范冲突,并通过双语同步、索引与全部 32 项 RFC 测试。Non-goal: 本次 RFC 变更不修改任何运行时代码、benchmark runner、CI 工作流或立即迁移 *_goal_mode Python 模块。


改动思路 / Approach

本 PR 不修改可执行代码,而是在研究纲领与总纲中分别建立两条相互引用的治理轴,并严格受现有规范约束:其一是在 §5.5 建立闭环阻塞的四层验证漏斗(Tier 0 零消费离线标定与不变量 -> Tier 1 低于原生全预算的快速效率对齐门 -> Tier 2 静止检查点反事实标定 -> Tier 3 各基准原生满预算复现晋升);其二是在总纲定义与 Harness 无关内核搭配的三层协同表面(BoundaryCLI / OrchestratedApp / InTree)、统一 HostHarnessCapabilities 契约以及将 9 个顶层 loopx/*_goal_mode/ 收敛至 loopx/hosts/ 的退役路线。两条设计均显式受 §3.8/§4/§11.2 与 controller-executor-unified-contract-v0 既有边界约束,无新增运行时复杂度。

审查项 d2272f84e8 -> 4322fdcfae 复审确认 依据与位置
Tier 0 E0 边界(criterion C-TIER0-E0) 已对齐:EN/ZH-CN 均改为仅证明 E0 基础就绪度,E1/E2 仍依 §11.2 long-horizon-harness-benchmark-research-program-v0.md#L735, .zh-CN.md#L577
Tier 1–3 原生全预算 & C2/C3 分离(criterion C-TIER3-BUDGET-C2C3) 已对齐:以 §3.8 原生满预算(LHTB 2.0 3h / FrontierCS-2 5h / EdgeBench 18h–20h)标定,单研究 C2 与跨族 C3、C4 门禁分离 long-horizon-harness-benchmark-research-program-v0.md#L736-L738, .zh-CN.md#L578-L580
三层协同与 9 个包退役边界(criterion C-HARNESS-CODESIGN) 已核验:实际目录精确为 9 个 *_goal_mode,所有相对文件与中文锚点可达 loopx-overall-roadmap-v0.md#L167-L203, .zh-CN.md#L125-L152
双语同批与边界门禁(criterion C-BILINGUAL-SYNC) PASS:check_rfc_bilingual.py、generate_rfc_status_index.py、32 pytest、4x scan-path 全绿 见下方验证矩阵

具体改动 / Changes

依据基准规范 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md(baseline revision 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f):C-TIER0-E0、C-TIER3-BUDGET-C2C3、C-HARNESS-CODESIGN 与 C-BILINGUAL-SYNC 四项规范准则在 exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5 均已满足(diff 统计 4 份 RFC 文件共 +97/-0 行)。

关键内容讲解

  1. docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md#L724-L738 与 .zh-CN.md#L571-L580(+17/-0 与 +12/-0):四层漏斗验证协议
    • 4322fdcfae 修正了 Tier 0 的就绪外延,不再声明离线与重放夹具可证明 E0–E2,而是严格收缩为“仅证明 E0 基础就绪度(E1 与 E2 仍须按 §11.2 给出实 runner 实跑回执与重复转换恢复证据)”。
    • 同时 Tier 1(低于研究原生全预算的短窗对比,例如 12h–20h 赛道上的 5h 对照或 3h–5h 赛道上的更短比例窗口)、Tier 2(研究预算内基于静止检查点 $s_0$ 的有界反事实标定)与 Tier 3(按 §3.8 各基准原生全预算运行,明确写出 LHTB 2.0 为 3h、FrontierCS-2 为 5h、EdgeBench 为 18h–20h,且单研究原生全周期复现支撑 C2、跨族复现支撑 C3、C4 仍依 §4 单独把关)在表体与 L1903 / .zh-CN.md#L1517 的 2026-11-22 决策日志条目之间保持完全一致。
  2. docs/architecture/rfcs/loopx-overall-roadmap-v0.md#L167-L203 与 .zh-CN.md#L125-L152(+38/-0 与 +30/-0):与 Harness 无关内核及三层协同设计
    • 保持 AuthorityStore、CAS、claim/lease、Turn 围栏、once-only receipt 与 Target/Yardstick/Stride records 与单一宿主解耦,把 BoundaryCLI(Quiet-Turn + KeepRaw + quiescent EpochReset)、OrchestratedApp(Subagent Scope + collaboration_brief_v0)及 InTree(FoldAndPrefetch + loopx_turn_host_failure_v0)定位为通过 HostHarnessCapabilities 与 loopx/*_goal_mode/ 收敛至 loopx/hosts/ 的长期架构目标。
    • 经代码树实核,loopx/ 下现存顶层 *_goal_mode 目录确实为 9 个(agy_goal_mode、claude_goal_mode、dsh_goal_mode、kiro_cli_goal_mode、kunluncode_goal_mode、opencode2_goal_mode、opencode_goal_mode、pi_goal_mode、zcode_goal_mode),文中所有相对源路径、跨文档章节引用及中文片段 #3-具名退役清单与棘轮规则 均存在且可解析。

对主干的风险 / Risks

  • 验证执行结果(detached worktree at exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5,独立重跑,0 修改):
    • check_rfc_bilingual.py --base origin/main --head HEAD:PASS(RFC bilingual diff check passed.)
    • generate_rfc_status_index.py --check:PASS
    • examples/docs-governance-smoke.py:PASS(docs-governance-smoke ok)
    • pytest -q tests/canary/test_rfc_bilingual.py tests/architecture/test_rfc_status_index.py:PASS(32 passed in 25.58s)
    • loopx --runtime-root <runtime> check --scan-path(4 份改动文件全部独立扫描):PASS(均 ok=True, errors=0, warnings=0, public boundary scan clean)
    • 跨文件链接与 9 个 loopx/*_goal_mode/ 目录盘点:PASS
  • 残余风险与治理边界:本 PR 仅新增规范性 RFC 文档(+97/-0),无运行时、schema 或 CI 脚本改动,对主干零回归风险;文中声明的三层协同机制(Quiet-Turn、EpochReset、FoldAndPrefetch)与 *_goal_mode 包迁出均有后续实现 PR 与 §5.5 漏斗独立门控,不通过文档自动宣称收益。

我的整体评价 / Verdict

  • Outcome impact & visual review: long_horizon 为 improved(补齐成本分级前筛漏斗与三层宿主协同架构,且已消除 §5.5 与 §3.8/§4/§11.2 的规范矛盾);user_experience 为 not_applicable(仅修改 4 份 docs/architecture/rfcs/ 文档,不触及 UI/CLI/终端展示路径)。Presentation visual review: not_applicable (docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md, .zh-CN.md, docs/architecture/rfcs/loopx-overall-roadmap-v0.md, .zh-CN.md);unverified_scope: none。
  • 代码体量与术语复用:code_volume 判定 necessary,完全复用已有 LoopX RFC 术语(E0–E4、C0–C4、KeepRaw、FoldToReceipt、EpochReset、AuthorityStore、HostHarnessCapabilities),无新增兼容包袱,无需进一步精简。
  • 综合结论:此前在 6006958434 / 6007095105 中阻碍合入的中文退场链接及 §5.5 两处规范矛盾已在当前 exact head 4322fdcfaeeb017bc0a844b8b2b47fb477c0bef5 彻底修复并通过全部本地静态与 pytest 门禁;CI 状态因 goal-bound wait_for_ci=false (ci_policy: not_consulted) 不作为评审前置门槛,可合并状态另行以 merge-readiness 收口为准。

English verdict: APPROVE on exact head 4322fdc. The incremental commit resolves both §5.5 contradictions across EN and ZH-CN (scoping Tier 0 to E0 readiness per §11.2 and aligning Tier 1-3 with §3.8 native budgets and §4 C2 vs C3 separation), while bilingual sync, status index, docs governance smoke, all 32 RFC pytest checks, cross-link verification, and 4/4 public-boundary scan checks pass.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant