Repository navigation
[v3] 開発ロードマップ・進捗トラッカー #114
Description
目的
実データの取り込みに適した、高速・並列・堅牢なnative文字コード検出器としてcChardet v3を開発します。
設計の正本は日本語ロードマップです。本Issueは作業状態・依存関係・PR・成果物への入口として使います。
運用
- cChardetとuchardetのv3実装PRは、それぞれの
dev向けにDraftで作成します。 - uchardetのv2保守先は
cchardetです。v3全体をv2へmergeしません。 - uchardetのIssuesは無効のため、native側の作業もこのrepositoryで追跡し、実装先PRを紐付けます。
- 新規ファイルのlicenseは対象実装前にV3-01で判断します。旧generatorの再利用を前提にしません。
- 完了には実装PR・再現command・測定artifact等の根拠が必要です。Issue作成だけで実装済みとは扱いません。
- 原則の状態は未着手 → 進行中 → 完了。blocked/延期は理由を記録し、依存Issueを参照します。
- この親Issueは初期12項目だけで自動的にcloseせず、3.0範囲の決定と後続研究の引継ぎを確認して判断します。
長期Phaseとリリース判断
| Phase | 内容 | 位置づけ |
|---|---|---|
| 1 | native build・安全性・挙動比較・trace | 必須基盤 |
| 2 | corpus・新規model generator・provenance | 必須基盤 |
| 3 | 失敗分類・優先順位 | 3.0の対象を決定 |
| 4–5 | 精度改善・新encoding/language対応 | 分析後に選定 |
| 6 | 段階的検出・hint・evidence limit | 必要性を評価 |
| 7–9 | Rust試験実装・次世代model/engine・SIMD | 条件付き研究。3.0の一律の必須条件ではない |
Alpha/Beta/RC/正式版の判定はロードマップの条件に従い、未決定の発売日や改善率は約束しません。
初期作業
- [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115 — V3-01 / 前提: なし
- [V3-02] C++20の配布互換性とnative build構成を検証する #116 — V3-02 / 前提: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115
- [V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117 — V3-03 / 前提: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115
- [V3-04] ASan/UBSanと再現可能なfuzzingを整備する #118 — V3-04 / 前提: [V3-02] C++20の配布互換性とnative build構成を検証する #116, [V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117
- [V3-05] 静的解析と所有権・型によるメモリー安全性を改善する #119 — V3-05 / 前提: [V3-02] C++20の配布互換性とnative build構成を検証する #116, [V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117, [V3-04] ASan/UBSanと再現可能なfuzzingを整備する #118
- [V3-06] prober・ranking・早期終了を追跡するtraceを実装する #120 — V3-06 / 前提: [V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117
- [V3-07] corpus manifest・用途分割・ライセンス検証を整備する #121 — V3-07 / 前提: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115
- [V3-08] strict再encode・サイズ別・HTML corpus生成を実装する #122 — V3-08 / 前提: [V3-07] corpus manifest・用途分割・ライセンス検証を整備する #121
- [V3-09] 再現可能なmodel generatorを新規実装する #123 — V3-09 / 前提: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115, [V3-07] corpus manifest・用途分割・ライセンス検証を整備する #121, [V3-08] strict再encode・サイズ別・HTML corpus生成を実装する #122
- [V3-10] 失敗分類・top-k分析から改善対象を順位付けする #124 — V3-10 / 前提: [V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117, [V3-06] prober・ranking・早期終了を追跡するtraceを実装する #120, [V3-08] strict再encode・サイズ別・HTML corpus生成を実装する #122
- [V3-11] 3.0の範囲・API契約・移行方法を確定する #125 — V3-11 / 前提: [V3-10] 失敗分類・top-k分析から改善対象を順位付けする #124
- [V3-12] 選択した精度・coverage改善を実装しPythonへ統合する #126 — V3-12 / 前提: [V3-09] 再現可能なmodel generatorを新規実装する #123, [V3-10] 失敗分類・top-k分析から改善対象を順位付けする #124, [V3-11] 3.0の範囲・API契約・移行方法を確定する #125
V3-01/07/08の基盤は統合済みです。完了済みのcorpus frameworkと、それを用いた精度評価の完了は区別します。
現在の到達点（2026-09-21）
maintainerの再開指示により開発を再開。#169までの統合点を起点とし、元の受入条件の確認から進める。P01の保留とdev限定の範囲は維持する。
| Issue | 状態 | 統合済み・確認済み | 主な残作業 |
|---|---|---|---|
| #115 | 完了 | baseline、license、dev CI/Rules | 後続変更は各Issueへ |
| #116 | 一部完了 | compiler matrix、30 C++20 wheel、sdist、旧glibc x86_64/ARM64各5 ABI | 最低macOS/Windows、新機能の配布/採用条件 |
| #117 | 一部完了 | exact候補比較、chunk差分、通常reset、3OS shared lifecycle | error/OOM/weight等の残契約 |
| #118 | 基盤あり・P01保留 | sanitizer preset/既存CI | 追加fuzz・再現・OOM検証 |
| #119 | P01保留 | 未統合調査・修正案を保存 | 安全性修正の検証・統合 |
| #120 | 完了 | state/counter、候補照合、限定cost測定、BOM/French内部選抜の代表例説明 | モデル修正・全corpus分析は後続へ |
| #121 | 完了・拡張済み | manifest/権利metadata/split、近似重複診断 | 権利や独立性の自動認定はしない |
| #122 | 完了 | strict再encode、サイズ/HTML variants、skip理由 | 精度評価とは別 |
| #123 | 完了 | 新規generator、中断回復、native filter/full engine接続、validation品質評価、受入監査 | モデル品質改善・配布・採用は#124/#125/#126へ |
| #124 | 完了 | 158fixture、代表例、model/ratio/chunk、利用者報告、開発順位 | 採用前の独立/実Web評価と契約は#125/#126へ |
| #125 | 判断材料あり | 採用条件・試作の評価/制約 | 利用者向け改善選定、API/移行案 |
| #126 | 選定待ち | 非デフォルト基盤のPython側統合 | 選択した精度/coverage改善の提供 |
進捗率の読み方
milestoneは#123/#120/#124の受入完了により12件中6 closed＝50%。部分成果・工数の進捗率ではない。
本文の古い「未着手」「Python-only」「ARM64未確認」等を最新実績へ同期した。
前回の本文同期ではstateを変更しなかったが、再開後の検証で#123をcompletedとしてcloseした。元の完了条件・milestone構成は変更していない。
#123のgenerator実装/品質評価とモデル標準採用を分離する。品質後退という結果も評価済みであり、採用できないだけでgeneratorを未実装とは扱わない。
#120の限定cost測定も実施済み。全toolchain/全入力の保証を暗黙の新完了条件にしない。
次回は元の受入条件に対する残差を確認し、必要なclose/後続Issue分割を判断する。
前回の区切り（#169）の統合点と検証
- cChardet [skip-build] test: native lifecycle比較を統合 #169:
56b669bf9aa5dde4d9c4ee100707f66ef3ab0850 - uchardet #44まで:
f2873ba1fdf521fc7311fbb3c1272be83d87c667 - #169の通常17 CI成功、統合後run 35555443510も成功。wheelだけ明示省略。
- ローカル332 passed / 28 skipped / 79 subtests。native CTest154実行成功、既知5件はconfigure時に除外。
- 公開13関数のheader/export/shared symbol一致。3OS shared lifecycle成功。
- dev限定。master/v2/tag/release、標準model/APIは変更していない。
モデル評価の結論
Paris validation cp1252 16入力のdecode-equivalentはlegacy16、identity5、filtered7。
別tuning8録音のratio0.90はwhole-input8/8だが、7-byte chunkではlegacy6/8に対し生成model4/8。
標準採用を支持しない。独立holdoutは未開封。BOM試作と追加安全性調査はP01保留。
再開用資料
private artifactはarchives/v3-corpus/、P01 worktreesとlocal BOM試作は未統合のまま保持。履歴の細部は各PR・既存コメントを参照する。
再開後の追加統合（2026-09-21）
#170を全17通常CI成功後devへ統合（1cf683ddecb9609c1998c3388a7672a87bad4cfc）。native #45までの固定点は086a6b652e73f7716eac68e83f98a05a3fb99d82。上記#169は前回の区切りの固定点。
SBCS選択cacheと既存French誤判定のscore競争を対応付け、元の条件に基づき#120を完了とした。ローカル348 passed /15 skipped /79 subtests。詳細・再現根拠は#120本文。
この#170時点では順位確定も未完了だった。#171で#124は完了（下記）。P01、最低runtime残検証、#125/#126の利用者向け改善選定・採用は引き続き未完了。
#171で実測に基づく開発順位と受入案を統合（427e91e7091ea7267b41228224176bfe0ed4234a）。#124完了。先行候補はSBCS filterのincremental証拠の一貫性。#125で2試作枠との関係・状態/EOF/メモリ・候補/done契約を確定してから実装する。公開動作やP01の扱いは未変更。詳細は#124本文とdocs/v3-improvement-priorities.md。
最新の再開点・判断待ち（2026-09-21）
- 最新dev統合点はdocs: 実測した失敗に基づく改善順位と先行候補を確定 #171
427e91e7091ea7267b41228224176bfe0ed4234a、nativeはIncorrect detection of GB18030 as ISO-8859-16 #45086a6b652e73f7716eac68e83f98a05a3fb99d82。両repositoryともv3向けの未マージPRなし。既存のmaster/v2向けPRは対象外。 - [V3-02] C++20の配布互換性とnative build構成を検証する #116: 既存macOS/Windows各10 wheelの静的metadata監査済み。最低OSでの実行とは区別し、残条件は維持。監査結果。
- [V3-11] 3.0の範囲・API契約・移行方法を確定する #125: 固定blockへfeedを正規化するnative adapterを第3の非デフォルト試作として提案。2026-09-22の再開指示に基づき、第3試作として着手済み。設計案と選択肢。非デフォルト実装はnative #46へ統合済み。既定API採用は未決定。
- [V3-12] 選択した精度・coverage改善を実装しPythonへ統合する #126: 上記の選定・契約確定後に具体的な実装と評価へ進む。P01保留・独立holdout未開封は継続。
6/12完了＝50%はIssue完了数であり、v3リリース全体の完成率ではない。追加の試作承認や保留解除を進捗更新から推定しない。
第3試作の統合状況（2026-09-22）
- native PR #46は最終11 CI成功後merge。固定commit
058aec784a0891103584a79c7c52b217340db67d。 - cChardet PR #172でsubmodule固定と日本語契約/結果を統合済み。通常CI run 35623116962の17件成功後merge、wheelのみ明示省略。統合commit
6e208b021b968e74f548d6642968604c5b1ca154。 - ローカルpytest 355 passed / 15 skipped / 88 subtests。小入力1000比較・tuning320観測・report再実行一致。詳細は#172のdocs/v3-fixed-block-pilot.md。
- 既定engine/API/modelは不変。第3試作追加は個別許可であり、P01解除や無制限の試作追加ではない。
- 次は採用前の性能/memory・別validation・block選定/公開契約。[V3-11] 3.0の範囲・API契約・移行方法を確定する #125/#126はこの比較基盤だけで完了にしない。milestoneは6/12のまま。
第3試作の追加評価・統合完了（2026-09-22）
- native PR #47は全11 CI成功後merge。固定点
2863aeaf420d766c05dfa8c44604c33f20fe9d91。 - cChardet PR #173は通常17 CI成功（run 35625843669）後devへmerge。最新統合点
6fabbdd7826a231d7ab26c45b63aefb7e2da6a83。wheelのみ省略。 - ローカルpytest 362 passed / 15 skipped / 94 subtests。native診断suite 38成功・5 skip。
- 既存validation32入力×4 block×5外部chunkの640観測で、同じ内部blockなら結果が一致。64/1024はcp1252 decode-equivalent16/16を維持するが、候補/confidenceは旧wholeと異なる。
- CPU固定のnative warm reuse性能を2 run測定。64-byteは外部wholeの文書別5%超悪化が14/16・15/16と再現。1024は同条件で両runとも5%超なし。
- 1/7は品質、64は性能に採用上の問題が残る。1024は追加評価候補で、まだ標準採用しない。
日本語の結果・再現・hash。性能は文書別trial平均の合計であり、request p95やcorpus-pass latencyではない。初回確保・allocation・peak/live memory・別言語/domain・公開契約の検証が残る。独立holdout未開封、P01保留、既定API/model不変。#125/#126は未完了、milestoneは6/12。
allocation観測の統合完了（2026-09-22）
- native PR #48: 全11 CI成功後merge、
e5272917896eb49dc4860204fead1d1e7bdb1482。 - cChardet PR #174: 通常CI run 35627297523成功後devへmerge、最新統合点
631600384a85926dcba8c3176e4990d21b29a4b0。wheelのみ省略。 - ローカルpytest 365 passed / 15 skipped / 94 subtests。native診断suite 41成功・5 skip。
- 固定tuning16入力で1024-byte adapterの構築時newは直接fixedより1回多い。初回/warm文書の対象8 counterは一致し、外部whole/1-byteでも同じ。計測なし版・保存canonical観測との候補全体一致、report再実行全byte一致を確認。
- これはselected static-link API call counts。strdup等shared-library内部は対象外であり、physical allocationやlive/peak memoryの測定ではない。対象counterが0でも無allocationと解釈しない。
結果・再現・制限。report content hash f1e073ce9e72d360435be5986af752c18e4f01d48b0edd29d1fc90ccceb22dad。
Valgrind 3.27.1とMassifの導入を確認済み（2026-09-22）。通常小入力のpeak/live memory測定は未着手で、maintainerの希望により一時停止中。保留中のP01/fuzz/OOMは再開しない。追加platform・別言語/domain・request p95・公開契約/採用条件は引き続き残る。
一時停止・次回の再開地点（2026-09-22）
maintainerの希望により、allocation観測の統合とValgrind導入確認までで一区切りとし、開発・自動継続を一時停止した。この記録更新のみ実施し、新しい実装や計測は開始していない。
- 完了済み: native PR #48とcChardet PR #174のdev統合。#174のmerge commitは
631600384a85926dcba8c3176e4990d21b29a4b0。ローカル作業ツリーは変更なし。 - 環境確認済み:
/usr/bin/valgrind、valgrind-3.27.1、Massif利用可能。導入待ちは解消したが、peak/live heap memoryの実測はまだ行っていない。 - 次回は明示的な再開指示後、通常の小規模入力（既存pilotの上限4096 bytes）でメモリ計測を準備する。既存の固定tuning16入力、whole/direct fixed/1024-byte adapterの比較条件と候補一致を維持する。
- 計測時は構築・初回・warm・破棄の区間、requested heap bytesとprofiler推定overhead、入力/実行環境/tool versionを区別して記録する。既存allocation API counterをlive/peak bytesとみなさない。Valgrind下の実行時間を通常の性能比較に流用しない。
- 再開時に参照する資料: 固定block試作・結果、nativeの
benchmark/fixed-block-allocations.ja.md。ローカルreportはarchives/v3-corpus/fixed-block-allocations-v2.json（content hashf1e073ce9e72d360435be5986af752c18e4f01d48b0edd29d1fc90ccceb22dad）に保持。 - P01のfuzz/OOM/関連安全性・BOM調査は引き続き保留。独立holdoutは未開封。既定API/modelは変更せず、1024-byte blockの標準採用も未決定。
- [V3-11] 3.0の範囲・API契約・移行方法を確定する #125/#126は未完了のまま。メモリ・追加platform/言語/domain・request p95・公開契約/採用条件などの残作業は、導入確認や今回の停止をもって完了扱いにしない。
Activity
PyYoshi commentedon Sep 20, 2026
進捗: uchardet PR #10/#11/#12をdevへmerge済み（build/CI、候補比較/observer、corpus/model基盤）。cChardetへの固定SHA統合は Draft PR #128 でCI確認中です。日仏露96 sample生成、新規generatorの実文書validationまで確認しました。追加安全性検証はmaintainer指示により #118/#119で部分保留。未検証修正・BOM試作は統合していません。Phase1〜3全体やmodel精度改善を完了扱いにはしません。
PyYoshi commentedon Sep 20, 2026
PR #128 を全20 CI成功後にdevへmergeしました（d017ae8、native9ac0f79）。#115は完了としてclose。追加安全性検証は#118/#119をv3-pendingとして保持し、未検証変更はmergeしていません。Phase1〜3全体は未完了です。実装結果・制約・後続作業: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-foundation-results.md 。local devは同期済み・cleanです。
PyYoshi commentedon Sep 20, 2026
進捗: uchardet #14を全11 CI成功後にdevへmerge（005cd06）。corpus manifest/用途分割/権利metadata基盤 #121 とstrict生成・全attempt記録 #122 は完了としてcloseしました。再生成pilot96件のbyte一致・6 manifest横断split監査成功。独立holdout予測は未使用。
cChardet #129をDraftで作成し、corpus分析tool・C++20 opt-in検証・native pin更新を集約。ローカル92 tests +25 subtests成功。GitHub通常テスト等17件成功、3 OSのwheel build待ちです。C++20の追加matrixは起動していません。
#116の全配布互換性、#124のfamily原因分析/coverage優先順位、#123のengine adapterと生成model権利は未完了。P01/#118/#119と大入力・BOM評価は保留のまま。master/v2/releaseは変更なし。
PyYoshi commentedon Sep 20, 2026
統合完了: cChardet #129を全20 CI成功後にdevへmergeしました（head 6ebbe4f、native pin 005cd060f4287cf81b17638cda00dc238914d82f）。通常Python 3.11–3.14tの全OS、既存sanitizer、配布検証、Linux/macOS/Windows wheelが成功。Linux wheelは16m18s。追加push・再実行なし。
今回の完了: manifest-aware分析tool、生成結果/除外理由/ground_truth、split監査、C++20 opt-inのローカルwheel検証。#121/#122は完了、#116/#123/#124は記録した残作業を維持。全PhaseやC++20標準採用が完了したという意味ではありません。P01保留・独立holdout未評価・master/v2/release非変更を維持します。
PyYoshi commentedon Sep 20, 2026
進捗: cChardet #130を通常20 CI成功後にdevへ統合。専用C++20 matrixも旧head87a69e3（wheel入力は修正headと同じ）で30 wheels成功。native #16（child状態観測）と#17（Tatoeba CC0 offline corpus）も各11 CI成功でdevへ統合済み、cChardet側の取り込みを準備しています。保存観測再分析とSequenceModel形式契約が利用可能になりました。次は既存model試作のPython-only training profileを明示化し、決定的生成とcountsからの再計算を整えます。P01・native品質/性能評価・既定model採用は再開/完了扱いにしません。
PyYoshi commentedon Sep 20, 2026
統合状況更新: PR #140を全20チェック成功後にdevへマージ（5aafb07、native a56fd958）。次のnative PR PyYoshi/uchardet#26も全11チェック成功でdevへマージ（e3c8526）。cChardet Draft PR #141でnative内部観測・候補照合tool・保存済みUTF-16失敗のsource分析を統合中です。uv再ビルド後251 passed / 27 skipped / 68 subtests passed、tool指定候補照合28 passed。CIを重複起動しないよう変更をまとめて一度pushしています。P01保留、未解決の採用・権利・platform判断は維持します。
PyYoshi commentedon Sep 20, 2026
PR #141は全20チェック成功でdevへマージ済み（f2948ee、native e3c8526）。次のDraft PR #142は、native #27のcoverage改善とtrace無効時測定・ranking source契約を統合します。ローカル255 passed / 27 skipped / 68 subtests passed。重いwheel CIは#141の終了後に一度だけ起動しています。1Passwordの署名/SSH認証が失敗したため、既に署名済みのコミットを既存GitHub CLIのHTTPS認証でpushしました。永続Git設定や署名は変更していません。追加の日本語matrix文書は未コミットで保持し、復旧を依頼済みです。
PyYoshi commentedon Sep 20, 2026
PR #142は全20チェック成功後にdevへマージ済み（727265816e72861260a49da68230e42360248f9a、native 04f3bc4）。署名済みコミットの未統合分は0件です。残るローカル差分は、日本語codec matrix結果・関連リンク・family mapping記述更新の文書3ファイル（77追加/1削除）のみ。1Passwordによるコミット署名が2回失敗しており、復旧をmaintainerへ依頼済みです。署名を無効化せず保持しています。P01の追加native検証、最低runtime残件、model適合・権利・3.0採用判断は未完了で、今回のCI成功を代用しません。
PyYoshi commentedon Sep 20, 2026
追加のローカル改善案: devではPRとmerge後pushが同じwheel matrixを二重起動しているため、PRの全wheel検証とmerge後testを維持し、build-dev.ymlのpush triggerだけを省く変更を別worktree /tmp/cchardet-v3-ci-cost（branch v3/ci-cost）に準備しました。master/tag/shared build actionとrulesetは変更なし。構造テスト4件、actionlint、ruff成功。コミット署名復旧待ちなので未commit・未pushで、現行CI挙動はまだ変更していません。日本語matrix文書の3ファイルとは分離しています。
PyYoshi commentedon Sep 20, 2026
統合後確認完了: cChardet dev 7272658のTest run 35527522944とwheel run 35527522837はともに成功。uchardet dev 04f3bc4のrun 35525247947も成功しました。公開済み・署名済み変更の未統合分は0件です。残作業はローカルの日本語matrix文書3ファイルと、別worktree v3/ci-costの重複wheel削減案（workflow/test/doc）。後者は構造4 tests・actionlint・ruff、全体259 passed / 27 skipped / 68 subtests passed。新しいコミットには1Passwordの署名復旧が必要で、無効化や別keyへの切替は行いません。復旧待ちでこれらの公開を止めています。P01やmodel採用等の未完了条件は従来どおり維持します。
PyYoshi commentedon Sep 20, 2026
1Password unlock後、SSH署名とpushの復旧を確認しました。
PyYoshi commentedon Sep 20, 2026
uchardet #28 / cChardet #146をdevへ統合しました。Python生成物の公開直前・直後で子プロセスを強制終了した後の再実行を3 OSで確認。native全11 PR CI、cChardet通常17 PR CI、最新devの17 post-merge CI（35534538792）が成功しました。wheelはテスト・文書だけの差分なので明示省略。
最新main dev: be6feac / native: 15061ae3f9d07906ddd53c84cf87b4ffc52f1628。Issue #123に検証範囲と未検証範囲を記録済み。P01対象の作業は再開していません。
PyYoshi commentedon Sep 20, 2026
モデル生成・native接続の進捗（#151〜#155、dev統合済み）
各native PRの全11CI、各cChardet PRの通常17CI成功を確認して順次統合しました。wheelはengine/包装/既定model不変の実験tool差分に限定して明示skipしています。
現状は入力・整数統計の接続と限定的なモデル反応差まで。新規modelの優越性、全detectorの識別精度、confidence校正、性能・配布権利は未確認で、標準採用しません。P01/独立holdout/master/releaseは変更なし。#123/#125/#126は未完了のままです。
結果の入口: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-paired-encoding-controls.md
採用条件: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-adoption-gates.md
PyYoshi commentedon Sep 20, 2026
native計時基盤と結果公開を追加しました。uchardet #35（11 CI成功、merge後CI成功）および cChardet #156（17 CI成功）をdevへ統合済みです。CPU固定の単一prober比較を3run記録し、約1%の差や1試行の末尾側変動を過大評価せず記載しました。ローカル統合検証は304 passed / 27 skipped / 76 subtests passed。
#123 のモデル品質・配布条件、#125/#126 の採用判断は完了扱いにせず、P01も維持しています。今回master/default branchへの変更は不要でした。
PyYoshi commentedon Sep 21, 2026
自走開発の一区切り・再開メモ（2026-09-21）
maintainer希望により進行中PR #169まで完了して区切る。新規実装には着手しない。PR #169は全17通常CI成功後devへmerge済み（56b669bf9aa5dde4d9c4ee100707f66ef3ab0850）。native pinはf2873ba1fdf521fc7311fbb3c1272be83d87c667。master/v2/tag/releaseは変更なし。
25%の意味と管理上の問題
milestone #1は12 Issue中3 closed（#115/#121/#122）、9 open。25%はIssue完了数であり工数・機能完成度ではない。多数の部分成果が加算されない。一方、Issue本文の同期不足が実際にあり、#123のPython-only/filter未確認、#116のARM64未確認等は最新文書より古い。進捗を誇張するためにcloseしないが、基盤の完成条件とモデル採用条件を混同してopenを維持し続けないよう次回受入条件を再監査する。
統合済み成果
重要な結果（利用者向け改善として採用済みではない）
生成モデルのfull engine validationはcp1252 16入力でdecode-equivalentがlegacy16、identity5、filtered7。標準採用を支持しなかった。
再学習後のtuning8録音ではratio0.90がwhole-inputで8/8に改善したが、7-byte chunkではlegacy6/8に対し生成モデル4/8。係数調整だけではincremental問題を解決しない。独立holdoutは未開封。精度向上・新規encoding追加を達成したとは主張しない。
残作業と再開順
保存場所・注意
今回の開発は基盤・測定に大きく進んだ一方、採用判断への収束とIssue本文の更新が不足した。次回は検証を際限なく細分化して増やさず、元の受入条件に対する完了/未完了を先に整理する。