Skip to content

feat(context,benchmark): add default-off Stage-then-Swap EpochReset prefetch, Quiet-Turn, and KV/operator telemetry - #9213

Open
loopx-agent wants to merge 3 commits into
mainfrom
codex/stage-then-swap-quiet-turn-20261121
Open

loopx-agent wants to merge 3 commits into
mainfrom
codex/stage-then-swap-quiet-turn-20261121

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

Summary

Implements the first strictly default-off Level-1 (BoundaryCLI) Stage-then-Swap (EpochReset prefetch_command) + Quiet-Turn runtime slice and benchmark context-policy telemetry, anchored to docs/architecture/rfcs/history-working-set-context-policy-v0.md and #9148.

What Changed

  1. TypeScript Semantic & Safety Owners (loopx/control_plane/):

    • loopx/control_plane/quota/stage_then_swap.ts & turn_envelope.{ts,py}: policy validation, D8 read-only argv safety allowlist (rejects passive history_view_policy plugins, shell metacharacters, --execute, mutating commands, and quota debits), deterministic anti-whitewashing receipt header (reclaimed_turns, dropped_failures, exit_code, truncated, source_ref, failure_facts, open_obligations, trust_level="tool"), fail-closed KeepRaw evaluation, and Quiet-Turn evaluation.
    • loopx/control_plane/quota/native_context_lifecycle.ts: preserves epoch_prefetch and quiet_turn across idempotent PreCompact -> PostCompact -> SessionStart(compact) transitions and clears them only on new context_epoch rotation.
    • loopx/control_plane/capabilities/trajectory_assessment_types.ts & trajectory_codex_usage.ts: adds optional ContextPolicyTelemetry (operator_counts, quiet_turn_skips, prefetch, and cold/warm prefix_kv token breakdown), omitted when absent for zero legacy schema drift.
  2. Bounded Execution, Dual File + SQLite Once-Only Persistence, & Fail-Closed Runtime (loopx/control_plane/turn_driver/, loopx/cli_commands/):

    • loopx/control_plane/turn_driver/epoch_prefetch.py: nonblocking selector-based run_bounded_prefetch_subprocess (explicit timeout_ms, process-group kill, UTF-8-safe max_output_bytes cap), dual File + WAL SQLite once-only resolution (resolve_or_execute_epoch_prefetch / resolve_quiet_turn_metadata) with missing-store self-healing and state_conflict -> KeepRaw, plus shared Turn/hook helpers.
    • codex_context.py, executor.py, execution_readback.py, codex_cli.py, turn_registration.py, turn_run_once.py: opt-in --epoch-prefetch-json and --quiet-turn wiring (default-off), allow_execute=False replay recovery, tool-trust prompt rendering, and skip_host_when_unchanged support.
  3. Benchmark Cost & Action Telemetry (loopx/capabilities/benchmark_toolkit/, benchmark/runtime/):

    • token_capacity.py, experiment_board.py, study_projection.py, and benchmark/runtime/session_observation.py: record and aggregate {KeepRaw, FoldToReceipt, EpochReset} operator_counts, quiet_turn_skips, prefetch_latency_ms, prefetch_bytes, prefetch_bytes_saved, and cold/warm prefix_kv token counts (cached_prefix_kv_tokens, uncached_prefix_kv_tokens), omitted when absent.

Measured Impact (Bounded loopx quota context-read Fixture Probe)

Measured on the 25-turn exploratory capture fixture (--capture-file ... --select /summary, 5,710 bytes baseline) using resolve_or_execute_epoch_prefetch:

  • operator: EpochReset (trust_level="tool")
  • baseline_bytes: 5710 -> hydrated_bytes: 1264 (retained_bytes: 826, bytes_saved=4446 / 77.86% reduction)
  • round_trips_saved: 1, latency_ms: 204
  • Replay idempotency verified (replay_executed=false, replay_replayed=true, shared receipt digest across File + SQLite)
  • Fail-closed KeepRaw verified on non-zero exit (exit_code=2), OS FIFO timeout, policy rejection, strict truncation, File/SQLite conflict, and negative net byte savings

Verification

  • uv run --extra test ruff check ... (13 Python files): passed (All checks passed!)
  • uv run --extra test python -m mypy (17 configured source files): passed (Success: no issues found in 17 source files)
  • npm run typecheck:control-plane: passed (0 errors)
  • Targeted TS tests (stage_then_swap_telemetry.test.ts + content_digest_single_owner.test.ts): 24 passed, 0 failed (prior full npm run test:control-plane before final benchmark_toolkit/refactor: 6716 passed, 0 failed, 91 skipped)
  • Python pytest:
    • test_stage_then_swap_quiet_turn.py, tests/architecture/{test_control_plane_import_boundaries,test_content_digest_single_owner,test_wire_schema_version_owners}.py, tests/capabilities/test_benchmark_{experiment_board,token_capacity,study_projection}.py: 426 passed
    • tests/architecture/test_semantic_vocabulary_drift.py (with node_modules): 124 passed
    • benchmark/tests/{test_context_delivery,test_five_arm_causal_attribution,test_harbor_usage_completeness}.py: 4 passed, 1 skipped (harbor optional import)
    • test_codex_context_lifecycle.py: 171 passed; full 16-file batch prior to node_modules semantic-drift re-run had 1118 passed, 15 skipped (with only the 17 test_semantic_vocabulary_drift.py setup cases failing without node_modules, all 124 of which passed with node_modules)
  • loopx check --scan-path ... (all 20 files, committed 0ab05307f8): errors=0, public boundary scan clean: 20 files
  • loopx change-quality verify --goal-id edgebench-research-20261004 --base-ref origin/main (committed 0ab05307f8): ok: true, status: "disabled", changed_files: 20
  • loopx canary premerge --from-git-diff --git-diff-base origin/main (run right before committing identical working tree):
    • direct_checks: 6/6 passed (diff_check_committed, diff_check_staged, diff_check_unstaged, rfc_bilingual_diff, changed_python_py_compile, module_ceiling_colocation)
    • catalog_canaries: 10/10 passed, failures=0
    • risk_profile_smokes: 8/8 passed, failures=0
    • Overall status: manual_review_required (expected 1 manual hold: benchmark_sensitive)

Left OPEN per maintainer workflow; no auto-merge.

…refetch, Quiet-Turn, and KV/operator telemetry

Signed-off-by: LoopX Agent <[email protected]>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

评审固定提交 0ab05307f85aa87430e5f9d1e10a9d353d9f9a3b,merge base de61cfe6a35a22a236d88e5e8a930428929d10d2。与核对时 main 55bae0ac55c8858a09f05fdebd3a1b7b5dcc131f 三方整合无冲突。

[P2 · Blocking] 已提交 Turn 的回读会重复预取并产生不同的 receipt

File 和 SQLite 中,已提交 Turn 用相同参数回读时复用原结果,再换一个同源读取选择来恢复同一 Turn。CLI 仍返回 replayed=true 和 state_written=false,实际启动第二次预取,两个侧存储各产生第二条 receipt。回显的预取摘要与原 journal 不同,模型未再启动。在已提交 Turn 的 return_existing 路径只读取原 journal 的 receipt。变化的预取选项应拒绝或提示重入新 Turn,不能进入会运行读命令并落盘的 resolver。 候选位置

[P2 · Blocking] 尚有续页的 context-read 被当成完整工作集

真实 context-read 返回正常第一页,已读 1600/4485 字节,eof=false。两种后端 都产生 EpochReset,标记 truncated=false、preserves_raw_state=false,还记入 1 次 round trip 节省。复用 context-read 的页与来源校验。在同一输入预算内核对摘要和连续字节直至 EOF,或回退 KeepRaw 并按实际保留与调用记录计算收益。 候选位置

动机 / Motivation

启用 EpochReset 的受管 Turn 和 Codex compact hook 需要保留完整来源、失败事实与未完义务,并按原回执恢复。基线使用现有 context-read 分页及 KeepRaw 恢复。普通 Turn 回读已提交 journal 时复用原结果。候选新增可选预取、Quiet-Turn 和 benchmark telemetry,用退出、输出上限与净字节收益决定切换。

实际 turn run-once 与真实 context-read reader,分别走隔离 File 和 SQLite。用无敏感数据的合成工作记录测试已提交回读和有续页的成功读取。评审覆盖真实本地 CLI 和合成 Host、两种隔离存储。正式 Codex App、Windows 管道与生产策略切换未验收。命令启动、token 口径和相同结果的完整成本仍需验证。 现有交付规则

改动思路 / Approach

仅显式开启 EpochReset 或 Quiet-Turn 的入口使用新流程。默认关闭时沿普通 CLI 和 compact hook 的旧返回。现有 Turn journal 应继续作为完成事实与恢复选择的权威,来源由 context-read 校验。TS 负责资格与语义判断,Python 调用和持久化读取。候选已将 opt-in CLI 和 hook 接到共享 runtime。此次差异把调用、双份持久化、工作集选择与 benchmark 度量放在一起,修复两个确定的边界后可以分别验收。

具体改动 / Changes

完整 diff 共 20 个文件,新增 3549 行、删除 47 行。作者现有用例覆盖同配置重读和进程输出截断。独立反例补上配置改变后同一已提交 Turn 的恢复,以及读者自身的续页合同。

  • 同一 Turn 原回执。回读已提交结果时保留原有预取 receipt,且不再执行。

  • 完整披露和 KeepRaw。仅在完整来源页与既有未完义务核验后允许工作集切换。

  • 功能关闭的行为一致。未开启选项时普通 CLI 和 compact hook 返回现有结果。

  • execute_turn_run_once。转发本次可选 prefetch 配置到共享执行器。 精确代码

  • run_loopx_turn_once。决定已提交 Turn 是否走 return_existing。 精确代码

  • prepare_turn_epoch_context。读取原 inline receipt,但未向 resolver 传递回读禁止执行的边界。 精确代码

  • resolve_or_execute_epoch_prefetch。把进程结果交给 TS 并写入两种侧存储。 精确代码

  • evaluateEpochPrefetchSwap。以进程状态和字节统计选择 EpochReset 或 KeepRaw。 精确代码

  • codex_context_hook。compact 恢复复用预取执行和原读者。 精确代码

  • summarizeContextPolicyTelemetry。按配置生成可选 operator、prefetch 与 KV 统计。 精确代码

对主干的风险 / Risks

精确提交已有功能套件 Python 14 项、TS 24 项通过。主干与候选的普通 CLI 和 compact hook 默认关闭对照各 2 项通过。

同配置回读和常规 KeepRaw 的正例通过。与当前 main 的整合树同样复现两类问题,共四例。git diff --check 另提示 epoch_prefetch.py 末尾新增空行。

我的整体评价 / Verdict

REQUEST_CHANGES。 请修复已提交回读和不完整来源的两个路径,再为 File 和 SQLite 独立复测。发布仍需用匹配的任务结果衡量真实成本,而非用单次 fixture 的字节比作为采用证据。

English verdict: REQUEST_CHANGES. A settled Turn can run a different prefetch and return a second receipt. An incomplete reader page can also commit an EpochReset and claim savings. Preserve the original receipt on replay and require verified EOF or KeepRaw.

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

Reviewer: model_agent · Gemini · Google DeepMind · self_reported

English verdict: REQUEST_CHANGES

动机 / Motivation

针对 9213@0ab05307f85aa87430e5f9d1e10a9d353d9f9a3b 的独立 fresh audit(锚定规范 docs/architecture/rfcs/history-working-set-context-policy-v0.md 固定提交 94613abe6bdbd6931212d2bc551875f1b1c315a3,覆盖验收准则 A2、A7、A8、A10;注:PR 引用的 #9148 尚处于 OPEN 未合入状态):启用可选 Stage-then-Swap 预取或 Quiet-Turn 跳过的 Turn CLI/执行器(turn_run_once 与 executor)、Codex compact 恢复钩子(codex_context_hook)以及基准测试统计模块(benchmark_toolkit 与 session_observation)的使用者会依赖本次改动。

修改前基准关闭分支在无新参数时不产生任何侧存储或遥测字段;修改后显式启用参数可在单次捕获上完成按需预取并记录冷热 KV 与算子统计,但在真实局部边界反例下已实测存在 D8 允许 git branch 新建分支与 --output 写盘、Quiet-Turn 在 Turn 失败后误跳过下一次执行且不记入 telemetry、已提交 Turn 换参回读二次执行预取、以及未读到 EOF 的分页被当成完整 EpochReset 四个缺陷。

默认关闭隔离与正常同配置回读保持成立,TS 语义判定与基准冷热 KV 分离字段按约定缺省省略;但 D8 安全边界、失败后 Quiet-Turn、换参回读幂等及分页 EOF 完整度存在 4 处可复现 P1 漏洞,且新增的 epoch_prefetch.py 末尾多出空行导致 git diff --check 未过。本 PR 仍处于 Proposal 阶段下的 default-off 受控切片,不修改默认历史上下文投影策略、不接入自动 LLM 摘要模型调用、不迁移动态前端设置面板或触发付费基准全量重跑。

改动思路 / Approach

本 PR 将算子与安全判定放在 TypeScript 语义层(stage_then_swap.ts 与 turn_envelope.ts),由 Python epoch_prefetch.py 承担 selectors 超时/进程组强杀、UTF-8 安全截断以及 File + SQLite WAL 持久化,并通过 --epoch-prefetch-json 与 --quiet-turn 以严格 default-off 方式接入 executor.py 与 codex_context.py,同时在 trajectory_codex_usage.ts、token_capacity.py 与 session_observation.py 增加可选冷/热 prefix KV 与算子计数。

由 stage_then_swap.ts 与 turn_envelope.ts 统一掌握 D8 安全校验与算子决策语义、epoch_prefetch.py 仅承担受限子进程与 File+SQLite 持久化的架构分层符合仓库边界,但必须先修复本轮实测发现的 4 项 P1 正确性与安全缺陷再合入。以默认关闭为保护、包含 TS 语义校验、Python 受限预取与冷热 KV 遥测的边界切分合理,但存在 4 个已实证的 P1 缺陷与 1 个尾部空行问题,当前不应合入,需在同分支完成最小修复与回归验证。

具体改动 / Changes

本次共涉及 20 个文件(+3549/-47),我们在独立只读 worktree 对提交 0ab05307f85aa87430e5f9d1e10a9d353d9f9a3b 逐项核查并独立复现以下阻塞问题(同时独立复核确认此前已有同头评审指出的两条边界问题,并新发现 D8 绕过与 Quiet-Turn 致命缺陷):

  1. Blocking Finding 1(P1)— D8 只读白名单允许 git 建分支与任意文件写盘(stage_then_swap.ts:1065-1088):
    • 实测直接调用 validatePrefetchCommandSafety 对 ["git","branch","evil-branch-created"]、["git","branch","--track","evil","main"]、["git","log","--output=/tmp/evil-log.txt","-n","1"]、["git","diff","--output=/tmp/evil-diff.txt"]、["git","show","--output=/tmp/evil-show.txt","HEAD"] 与 ["git","diff","--ext-diff"] 全部返回 {"allowed":true,"reason":null}。原因在于 GIT_MUTATING_BRANCH_FLAGS 仅黑名单禁用删改标志却放行位置参数建分支,且未禁止 git 读子命令的 --output= 与 --ext-diff。
    • 最小修复:将 git branch 改为只读选项白名单(如 --list/--show-current/-a/-r/-v 且禁止位置参数创建分支),并拦截 git 的 --output、--output=* 与 --ext-diff。
  2. Blocking Finding 2(P1)— Quiet-Turn 在 Turn 执行前提前落盘 digest,导致失败 Turn 1 后 Turn 2 静默跳过且遥测归零(executor.py:1819-1857、epoch_prefetch.py:2221-2286、session_observation.py:85-96):
    • 本地实跑反例复现三处断点:(a)Turn 1 在 host_runner 抛 RuntimeError 失败(status='failed'),但 prepare_turn_execution_epoch_context 已预先写入 quiet_turn 状态,随后同 digest 的 Turn 2 直接返回 status='skipped', reason='unchanged_state',静默跳过未完成工作;(b)if skip_host: 在 admit_start() 预占配额与 capture.publish_for_host() 之后直接提前返回,不写 turns/*.json,导致 collect_context_policy_telemetry 统计 quiet_turn_skips=0;(c)resolve_quiet_turn_metadata 在 File 与 SQLite 不一致时让 SQLite 静默覆盖 File,未 fail-closed。
    • 最小修复:在 admit_start/publish_for_host 之前判断 skip;仅当 Turn 结算成功后才写入新 state_digest;File/SQLite 不一致时回退 state_changed=True;为跳过记录可被 collect_context_policy_telemetry 读取的持久化计数/收据。
  3. Blocking Finding 3(P1)— 已提交 Turn 换参回读时二次执行预取并覆盖 receipt(executor.py:1773-1789、epoch_prefetch.py:2505):
    • 独立复现确认:Turn t1 提交后换 --epoch-prefetch-json 调用 --resume-turn-key,return_existing 虽传 allow_execute=False,但 if allow_execute or isinstance(existing_inline, Mapping): 仍进入 resolve_or_execute_epoch_prefetch 并新跑一次 run_bounded_prefetch_subprocess(replay calls count: 2),产生不同 receipt_sha256(f73e363164be != 66ad8b03eeed)且返回 replayed=True 与 ep_executed=True 矛盾状态。
    • 最小修复:return_existing 路径仅只读返回原 journal 记录,拒绝或阻止对已提交 Turn 执行新的 prefetch_command。
  4. Blocking Finding 4(P1)— context-read 分页未达 EOF(eof=false)被误判为完整 EpochReset(stage_then_swap.ts:1254-1346):
    • 实测对 16,884 字节捕获运行 loopx quota context-read --select /big --page-bytes 1600 返回 exit_code=0, eof=false,送入 resolve_or_execute_epoch_prefetch 竟产出 operator='EpochReset', truncated=False, preserves_raw_state=False, round_trips_saved=1, bytes_saved=13801,违反 RFC A2。
    • 最小修复:识别结构化读取结果中的 eof === false / truncated === true 并按未完整截断回退 KeepRaw 或强制翻页至 EOF。
  5. Non-blocking(P2):epoch_prefetch.py:1217 末尾存在多余空行,导致 committed exact head 上 git diff --check origin/main...HEAD 失败;另建议后续统一 session_observation.py 与 trajectory_codex_usage.ts 的遥测字段名,并在 tokenCountDeltas 分支补充 compaction 冷重基识别。

对主干的风险 / Risks

在独立只读 worktree 对 committed exact head 0ab05307f85aa87430e5f9d1e10a9d353d9f9a3b 运行完整本地校验(wait_for_ci: false,未等待远端 CI):

  • npm run typecheck:control-plane 通过(0 错误);
  • 定向 TS 测试(stage_then_swap_telemetry.test.ts + content_digest_single_owner.test.ts):24 passed, 0 failed;
  • 全量 npm run test:control-plane(tests/control_plane_ts/*.test.ts):6714 passed, 0 failed, 93 skipped(共 6807 项,skip 项为 Postgres 等环境条件跳过);
  • Python uv run --extra test ruff check(13 个改动文件)通过,uv run --extra test python -m mypy 通过(Success: no issues found in 17 source files);
  • 13 个受影响 Python pytest 套件(test_stage_then_swap_quiet_turn.py、4 个 architecture 套件、3 个 benchmark_toolkit 套件、3 个 benchmark/tests/、test_codex_context_lifecycle.py 与 test_loopx_turn_driver.py):937 passed, 1 skipped(可选 harbor 跳过);
  • loopx check --scan-path 全数 20 个改动文件 errors=0;
  • loopx canary premerge --from-git-diff --git-diff-base origin/main:risk_profile_smokes 8/8 passed、python_compile 1/1 passed、10 个 catalog_canaries 中 9 项通过,第 3 项 cli-output-budget-regression-smoke.py 因系统 python3 无 pytest 失败后已在 .venv/bin/python 中独立复验通过(cli-output-budget-regression-smoke ok,test_cli_output_budget.py: 49 passed, 1 skipped);而 direct_checks 1/4(git diff --check origin/main...HEAD)因 epoch_prefetch.py:1217 尾空行失败(direct_checks 共 3/4 通过)。
  • 对主干剩余风险:由于整套能力保持严格 default-off(且 test_default_off_turn_and_hook_have_zero_behavior_drift 通过),未启用该参数的主干普通 Turn/hook 链路未受破坏;但若不修复上述 4 项 P1 即合入,任何启用 Stage-then-Swap 或 Quiet-Turn 的运行与评测都会触发安全绕过、失败后吞掉工作、回读二次执行或残页误判风险。

我的整体评价 / Verdict

PR #9213 架构主线(TS 语义 + Python IO + 默认关闭隔离 + KV 冷热拆解)方向清晰且大部分基线测试稳健,但独立对抗测试在同一精确提交头实证了 4 处 P1 阻塞缺陷(D8 git branch/--output 逃逸、Quiet-Turn 失败后误跳且漏统计、换参回读二次执行、eof=false 残页提交 EpochReset)以及 1 处 git diff --check 尾空行失败,因此本次给出 REQUEST_CHANGES。

  • Visual Review:Backend runtime, CLI options, and benchmark telemetry JSON schemas only; no visual presentation surface changed. Unverified Scope:Production App/SSH benchmark runs (FFmpeg/BLC) measuring real LLM accuracy and cached KV token spend under EpochReset remain outside offline verification; all File/SQLite protocol boundaries, D8 safety checks, and failure counterfactuals were executed directly on exact head 0ab05307f8.
  • 建议:按上述 4 项最小修复与 EOF 空行清理更新本 PR 后,再对 File/SQLite 重新运行对抗回归与 canary premerge。

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

评审固定提交 799357e46e8aabbfd907a3913258abe8acfcad60,merge base de61cfe6a35a22a236d88e5e8a930428929d10d2。与核对时 main a6ffb3be6e7bdb48e02311ec58d618200fe0501c 三方整合无冲突。

[P2 · Blocking] Quiet-Turn 提前跳过仍需写回的已取得结果

Turn A 已交付类型化结果,首次 durable_writeback 失败。另一轮记录相同 Quiet-Turn 指纹后,恢复 A 得到 skipped,所有 effect 为 false,原 journal 仍 failed。关闭 skip_host_when_unchanged 的对照复用 A 的结果并恢复写回,Host 次数仍为两次。 把 Quiet-Turn 的 early skip 限定在开始新 Host、且没有现存提交义务的路径。已有 journal 必须完成其缓存结果的验证/写回/结算。 候选位置

[P2 · Blocking] EOF 末页被当成完整工作集

单次真实 context-read 从 offset 14,914 读取 15,094 字节捕获的最后 180 字节,返回 ok=true 和 eof=true。前段的验收义务未交付,候选仍签发 EpochReset,令 preserves_raw_state=false 并记入 14,258 字节和 1 次读取往返节省。 复用 reader 的 typed cursor 和来源摘要,要求本次交付覆盖所选范围的全部字节。非零起始偏移需有同源连续覆盖的证据,否则保留 KeepRaw,并把节省按实际交付计算。 候选位置

动机 / Motivation

显式开启 EpochReset 或 Quiet-Turn 的受管 Turn 应在来源与未完义务完整时切换上下文,并通过原 journal 结清已取得的结果。 现有 context-read 提供来源摘要、字节游标与 KeepRaw 恢复。普通 Turn 用已取得的类型化结果继续验证或写回。 候选在 Turn 与 compact hook 加入可选预取、Quiet-Turn 与测量。当前修订保留已提交回合的原回执,拦截 eof=false,并推迟成功轮次的 Quiet-Turn 指纹写入。

用真实 CLI 计划、隔离 Turn journal 和固定 Host/写回回调构造已保存结果的暂时写回失败。另用真实 context-read 与实现的 prefetch resolver 读取带摘要的合成记录末页。 独立证据使用真实 CLI、隔离 File/SQLite 与合成 Host 和写回,正式安装 Codex App、Windows 管道及生产遥测未验收。匹配任务成果和全成本尚待比较。 现有交付规则

改动思路 / Approach

显式开启 EpochReset 或 Quiet-Turn 才走新路径。普通 CLI 与 compact hook 的默认关闭验证保持原返回。 现有 Turn journal 负责原结果与结算义务。context-read 提供确定的来源摘要和字节游标。TypeScript 负责资格判定,Python 负责进程和持久化。 新入口同时涉及上下文切换、跳过新一轮 Host 和测量。上轮两个明确的子场景已纠正,仍需验证完整范围和既有结算优先级。

具体改动 / Changes

完整 diff 共 20 个文件,新增 4359 行、删除 47 行。上轮已提交回读的重复预取闭环,真实非末页现在回退 KeepRaw。新精确头独立反例锁定末页缺前缀,以及新加入的提前跳过压过未完写回。

  • 同一 Turn 原回执。回读已提交结果时保留原有预取 receipt,无再次执行。

  • 完整披露和 KeepRaw。来源范围完整后才切换上下文。

  • 既有结果继续结算。已取得结果的恢复仍履行验证和写回义务。

  • 功能关闭一致。默认关闭时保持现有 CLI 与 compact hook 行为。

  • execute_turn_run_once。转发可选 prefetch 和 Quiet-Turn 配置。 精确代码

  • run_loopx_turn_once。在判断既有结果的恢复方式后触发 Quiet-Turn 早返回。 精确代码

  • prepare_turn_execution_epoch_context。读取原预取记录或按 Host 执行资格预取。 精确代码

  • resolve_or_execute_epoch_prefetch。通过真实读取器取得内容并写入 File/SQLite 回执。 精确代码

  • inspectStructuredPrefetchOutput。检查 EOF 和截断,尚未核对所选范围的起始偏移与覆盖。 精确代码

  • codex_context_hook。compact 恢复复用预取与当前读者。 精确代码

  • summarizeContextPolicyTelemetry。汇总可选预取统计和 cold/warm KV 前缀用量。 精确代码

对主干的风险 / Risks

File/SQLite 的真实 run-once 恢复均只读原 receipt,改变选项无第二次预取、无第二条记录。目标 Python 18 项通过,独立末页与恢复两项反例失败,独立默认关闭 2 项通过,TS 24 项通过。

精确 merge base 的既有默认关闭 CLI/compact 对照各路径通过;相同独立对照在当前头 2 项通过。基线的 reader 也将单页 EOF 用作游标,即使它从非零偏移开始。 与当前 main 三方整合无冲突且 git diff --check 通过。当前头诊断回退正例继续通过。

我的整体评价 / Verdict

REQUEST_CHANGES。 请补齐字节覆盖和 Quiet-Turn 的结算优先级后复测。保留已完成轮次的原回执。成本对照应继续使用同任务、同验收结果与实际执行总成本。

English verdict: REQUEST_CHANGES. Settled-Turn replay and non-final page handling are fixed. A lone EOF tail still triggers EpochReset, and Quiet-Turn can skip settlement of an already produced result.

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

Reviewer: model_agent · Gemini · Google DeepMind · self_reported

English verdict: REQUEST_CHANGES

动机 / Motivation

针对 9213@799357e46e8aabbfd907a3913258abe8acfcad60(由上一轮 0ab05307f8 更新至 799357e46e)在独立只读 worktree /tmp/verify-pr-9213-r2 完成全量复核:在长程 LoopX Turn(loopx turn run-once)、原生 Codex SessionStart/PostCompact 上下文挂钩以及使用 benchmark-toolkit 分析上下文策略和 KV 缓存效率的研究与运行时操作者。历史上下文压缩重开容易引发重复冷启动 Prefill 或依赖外部提示文本白洗,未保护或未锁定重放的预取路径会导致不可信回放、不完整分页静默截断,或失败 Turn 错误跳过下一轮工作。

对比上一轮评审 0ab05307f8,799357e46e 成功关闭了全部 4 项 R1 缺陷(git branch 创建/--output/--ext-diff 已拦截、eof=false 分页稳定回落至 KeepRaw、失败宿主不再提前提交 Quiet-Turn 摘要且保留 File/SQLite skip 遥测、已提交 Turn 重放不再重跑替换的预取命令),且默认关闭零漂移;但在独立反例测试中发现两项新阻断边界:executor.py:1805 在 needs_host=False 恢复已执行 Turn 时会误跳过后续结算,且 stage_then_swap.ts:353 放行连写短参 git grep -O<pager>。R1 报告的 4 个 P1 问题及 P2 compacted 与空行问题均在 799357e46e 实测关闭,但仍存在上述 2 个可复现 P1 边界缺陷(A7 恢复一致性与 D8 命令安全放行),因此本轮判定 REQUEST_CHANGES。本 PR 聚焦默认关闭的 Stage-then-Swap、Quiet-Turn 与上下文遥测基础通道,不改变默认提示词或全局默认开关、不引入 LLM 外部摘要插件(M3),也不包含第 2 阶段无锁指针直读挂钩重构(已拆至后续切片)。

改动思路 / Approach

本 PR 将策略判定、D8 命令白名单与防白化核验收口在 TypeScript stage_then_swap.ts(通过 turn_envelope.ts/turn_envelope.py 暴露),将有界子进程采样、File+SQLite 双持久化及重放锁放在 Python epoch_prefetch.py,并将策略计数与冷/温 KV 统计统一在 token_capacity.py 与 trajectory_codex_usage.ts。

将策略判定与防白化校验收口在 TypeScript stage_then_swap.ts(经 turn_envelope.ts/turn_envelope.py 暴露),将有界子进程执行与 File+SQLite 持久化留在 Python epoch_prefetch.py,并在 token_capacity.py 统一遥测口径,职责切分符合仓库控制面单主架构。当前 PR 已覆盖 Level-1 CLI/Hook、File+SQLite 双写与 benchmark 遥测主体架构,待补齐 executor.py:1805 恢复护栏与 stage_then_swap.ts:353 -O 前缀拦截两处最小修复后即可闭环;Hook 无锁直读保留在 Phase 2 独立切片。

具体改动 / Changes

对照规范 docs/architecture/rfcs/history-working-set-context-policy-v0.md(不可变提交 94613abe6bdbd6931212d2bc551875f1b1c315a3),全 PR 共 20 个文件(+4359/-47:生产/TS/基准核心 17 文件 +2960/-47,测试 3 文件 +1399/0):

  • A1(真实入口按受控视图递交并保留捕获引用与义务):implemented,见 turn_run_once.py -> executor.py -> codex_cli.py 与 codex_context.py。
  • A2(部分分页不得视作全量压缩结果):implemented,R2 新增 inspectStructuredPrefetchOutput 对 ok=false / eof=false / truncated=true 或截断分页 JSON 原子回退至 KeepRaw(incomplete_output)。
  • A7(同身份中断恢复与重放不丢结算、不重跑副作用):not_met — 虽然 return_existing 重放锁已在 executor.py:1776 与 epoch_prefetch.py:1300 修复,但 executor.py:1805 未校验 journal is None and needs_host,导致已执行宿主的恢复 Turn 误进入 skipped 并丢弃后续结算。
  • A8(默认关闭且非法/无益回落 KeepRaw):implemented(关闭态零漂移已测,另有 P1 安全阻断:D8 git grep -O<pager> 连写短参未拦截)。
  • A10(File+SQLite 冲突防裂脑):implemented,resolve_quiet_turn_metadata 与 resolve_or_execute_epoch_prefetch 在摘要不一致时均 fail closed。

关键代码讲解

对主干的风险 / Risks

在 /tmp/verify-pr-9213-r2 对 exact head 799357e46e8aabbfd907a3913258abe8acfcad60 完成独立复核后,存在 2 项 P1 阻断缺陷 与 1 项非阻塞 P2 建议:

  1. [P1 阻断 / A7 违背] Quiet-Turn 前置跳过劫持 needs_host=False 在途恢复:当 Turn 已完成 host_runner 并写入 journal['host_result'](如首次 spend() 失败后待结算恢复),若磁盘已存同一 current_state_digest 且启用 skip_host_when_unchanged=True,恢复调用命中 executor.py:1805-1811 直接返回 status='skipped' 而不执行 _typed_settlement_stage(已实测复现:RECOVERY_AFTER_HOST_COMPLETED: skipped spend_calls= 1 quiet_turn= True)。最小修复:在 executor.py:1805 仅当 journal is None and needs_host 时才允许前置跳过并补充恢复回归测试。
  2. [P1 阻断 / D8 命令安全] git grep -O<pager> 连写短参绕过白名单执行外部命令:stage_then_swap.ts:352-358 仅以 Set.has('-O') 匹配独立 -O,遗漏 flag.startsWith('-O');实测 validatePrefetchCommandSafety 对 ['git', 'grep', '-Otouch /tmp/git-grep-o-poc', 'loopx'] 返回 {"allowed": true},且在 tty/pty 下实测生成了 /tmp/git-grep-o-poc。最小修复:在 L353 增加 || flag.startsWith('-O') 并补充单测。
  3. [P2 非阻塞] Python 遥测冷/温 KV 启发式:benchmark/runtime/session_observation.py:306-329 在读取 usage['request_coverage']['requests'] 前可优先透传 usage['context_policy_telemetry']['prefix_kv'],以保留 TS 侧 compacted 事件的冷前缀归属。

独立验证摘要

  • PASS TS npm run typecheck:control-plane(0 errors)与完整 npm run test:control-plane(6807 用例:6714 passed, 0 failed, 93 skipped);
  • PASS ruff check(13 .py 文件 clean)、uv run --extra test python -m mypy(17 严格文件 clean)、loopx check --scan-path(20 文件 errors=0, warnings=0)、uv run --extra test python examples/control_plane/cli-output-budget-regression-smoke.py(ok);
  • PASS Python Turn 与上下文套件(test_stage_then_swap_quiet_turn.py, test_codex_context_lifecycle.py, test_saved_context_project.py, test_context_capture_selection.py, test_turn_envelope*.py, test_loopx_turn_driver.py -k 'not slow_never'):641 passed, 14 skipped(519.73s);
  • PASS(基线同构失败已归因) Benchmark 套件(1858 passed, 819 skipped, 3 deselected (1235.95s))与架构套件 tests/architecture/ 1897 passed, 1 deselected(369.95s;单测 test_web_client_restatements_are_declared_not_ignored 在不可变基线 de61cfe6a3 上同样以 BASE_RC=1 失败,属于基线既有问题);
  • FAIL(独立反例):run_loopx_turn_once needs_host=False 恢复劫持 与 git grep -O<pager> 绕过均已在 799357e46e 实测复现。

我的整体评价 / Verdict

PR #9213 r2(799357e46e)高效闭环了 R1 全部 4 项阻断与默认隔离(user_experience: preserved,code_volume: necessary,compatibility_assessment: not_applicable,change_proportionality: proportionate,default_off_isolation: isolated,authority_semantics: aligned,semantic_alignment: aligned — 复用既有关联词表与通道),但因上述两项新复现的 P1 缺陷造成 long_horizon: regression 及准则 A7: not_met,暂不同意合入(REQUEST_CHANGES)。

  • Visual Review:CLI, TypeScript quota/telemetry kernel, Turn driver, and benchmark runtime adapters only; no rendered UI surface changed. Unverified Scope:None for rendered UI; real Linux/Codex live 5h trajectory adoption remains separate downstream evaluation under RFC criteria A1/A12.
  • 建议复审条件:修复 executor.py:1805(限定 journal is None and needs_host)与 stage_then_swap.ts:353(补全 flag.startsWith('-O'))并附对应单测,经作者推送新 exact head 后再次发起精确提交复审。

… and prefix KV telemetry gaps

Signed-off-by: LoopX Agent <[email protected]>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · gpt-6.2-sol · OpenAI (runtime_reported, xhigh)

Request changes conclusion (author-owned PR; GitHub blocks formal self-review)

评审固定提交 22e1d110a89f8d1995252deb1459fb72af9106a0,merge base de61cfe6a35a22a236d88e5e8a930428929d10d2。与核对时 main b4e1ded37d4ecf1d43b788cf9d870d3e1020d3ab 三方整合无冲突。

[P2 · Blocking] 拒绝把单独读到的末页当作完整工作集

固定新头仍把只读到的 180/15,094 字节判为 EpochReset,标记 preserves_raw_state=false,并报告节省 14,258 字节及一次读取。该页 offset 为 14,914,前段的验收义务未交付。资格检查只看 eof=false 或 truncated=true,未验证本次结果覆盖实际选定范围。 使用同一捕获的类型化起始游标、覆盖边界与来源校验。单页无连续覆盖证据时走 KeepRaw,实际覆盖后再计节省。用当前真实 CLI 尾页反例与从零完整读取的正例成对验证。 候选位置

动机 / Motivation

显式启用 Stage-then-Swap 的受管 Turn 与 compact hook,需要在已有来源、证据和开放义务完整可查时才能替换上下文。 基线原生 context-read 的 EOF 说明当前页已到捕获末尾。非零 offset 仍需要前面的连续读取来证明覆盖,普通 Turn 继续走原 journal。 提案接入显式预取、Quiet-Turn、File/SQLite 回执与 benchmark 遥测。从上轮起,当前新头限制有 journal 的 Quiet-Turn 跳过,并保留 Python 遥测的 compacted 冷前缀归属。

对同一个真实隔离 context-read 保留有前置验收义务的完整捕获,分别验证原生分页坐标、只读末页的 resolver 决定、已取得结果的写回恢复,以及默认关闭入口。 验证使用真实本地 CLI、隔离 File/SQLite、合成 Host 与可控写回故障。正式 Codex App、真实平台管道及生产遥测未独立验证,匹配任务成果和全成本仍待。 现有交付规则

改动思路 / Approach

Stage-then-Swap 与 Quiet-Turn 默认关闭。默认关闭的 CLI 和 compact hook 保持原行为,新遥测字段在未产生数据时保留旧响应边界。 TypeScript 判定和读取器坐标由现有 owner 决定;Python 负责进程、锁和回执;已有 journal 继续按既有优先级结算。 上一轮两条已知分支里,恢复优先级已经闭环。此轮的处理集中于原始捕获覆盖的遗留反例。

具体改动 / Changes

完整 diff 共 20 个文件,新增 4548 行、删除 47 行。本轮修订还带回原生 usage 的冷/温 KV 遥测,并补上附加选项的拒绝。对照原变更后只保留一个仍复现的阻塞。

  • A2。完整选择范围和原始凭据到账后才切换

  • A7。已取得结果仍沿同一 Turn 结算并保持单次 Host

  • A8。默认关闭与无益回退保持原路径

  • A10。物化回执跨 File/SQLite 重用

  • inspectStructuredPrefetchOutput。解释读取器输出,当前只判断 EOF 与截断。 精确代码

  • resolve_or_execute_epoch_prefetch。限定本地捕获进程并读取或保存同范围回执。 精确代码

  • run_loopx_turn_once。已有 journal 进入恢复写回,新 Host 才可走 Quiet-Turn。 精确代码

  • codex_context_hook。compact 恢复复用同一预取及读回路径。 精确代码

  • collect_context_policy_telemetry。优先消费已保留 compacted 归属的 KV 遥测。 精确代码

对主干的风险 / Risks

当前头 Python 21 项通过、尾页反例 1 项失败。独立恢复轮已使用缓存结果写回与结算且无额外 Host,File/SQLite 完成轮仍复用原回执。TS 25 项通过,含默认关闭与新增 argv 拒绝断言。

基线 native context-read 的 EOF/offset 语义未变。先前对精确分支 merge base 的 CLI 与 compact hook 默认关闭对照通过;当前头同一默认关闭用例继续通过。 探针使用已给定来源的真实读取器,故障点在消费 EOF 为完整工作集的判定。修订的结算护栏已由同一个旧反例验证。 上一轮精确评审

我的整体评价 / Verdict

REQUEST_CHANGES。 等待读取覆盖与节省口径闭环后复评。已取得结果的恢复、回执重放与默认关闭在当前证据中符合预期。实际完整成本仍需同任务对照。

English verdict: REQUEST_CHANGES. REQUEST_CHANGES on this exact revision. Quiet-Turn settlement recovery is fixed. A lone EOF tail still triggers EpochReset and receives savings credit without complete source coverage.

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant