Repository navigation
[V3-08] strict再encode・サイズ別・HTML corpus生成を実装する #122
Description
完了した基盤
- offline strict再encode（ignore/replaceなし）
- 既定fail-fast、明示的record-and-continueで生成不能なvariant件数と理由を保存
- complete/byte-truncatedを分離し、stateful codecのfinalizationとサイズ制限を検証
- text/HTML clean/declared/mismatchedを生成
- 決定的content hash、全attemptの再計算検証、data混入・旧schema互換test
- 日本語再現手順・制約を記録
実装: PyYoshi/uchardet#12/#13/#14。dev 005cd060f4287cf81b17638cda00dc238914d82f。#14は11 CI成功。
検証: corpus 24件、acquisition 5件。uchardet rootで uv run --no-project python -m unittest discover -s corpus -p "test_*.py"。
既存の取り込み済みRust book pilotを新manifestで再生成し、6構成×16variant = 96 attempted / 96 successful / 0 skipped、既存sample byteと全件一致を確認。これは取り込み段階で除外された非roundtrip段落を含む原文すべてが生成可能という意味ではない（ingestion reportは別）。追加ダウンロードやnative予測は実施していない。
制限: v1は64 MiBのin-memory artifact上限。大規模streaming生成、corpus多様性の拡充、独立自然文での精度評価はこの基盤の完了に含めず後続へ。
Activity