Repository navigation
feat: слепая адъюдикация, рамка метода и учёт кэша - #1
Merged
Merged
Conversation
- make_adjudication.py: варианты перемешаны и подписаны буквами, без номеров прогонов, голосов и ярлыков; соответствие — в отдельном ключе (--key, --seed). Одинаковые ярлыки на вариантах выдавали расклад голосов — убраны в ключ. - SKILL.md: description перечисляет все линзы; оговорка «не для рефлексивного TA» (открытое письмо Braun, Clarke и др., 2025); блок «Раскрытие процедуры» в S4 (TROUT-AI); ячейки рубрики — из шаблона линзы, а не «18». - reliability.md, README: 7.7% атрибутированы (Claude 3.5 Sonnet, фокус-группы, почти-совпадения, а не выдумки); 57% и 56% помечены как непроверенные. - route.py и S3: повторная подача транскрипта дешевеет через кэш только при последовательных прогонах одной модели с транскриптом в начале промпта. - Тесты: 53 → 61.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Правки по аудиту методики (deepdive 02.10.2026: 37 источников, проверка тремя независимыми критиками).
Что меняется
make_adjudication.pyперемешивает варианты, подписывает их буквами и прячет номера прогонов, голоса и ярлыки в отдельный ключ (--key,--seed). Причина: разметчики привязываются к видимым предложениям модели (ACL Findings 2025, 350 разметчиков).descriptionперечисляет все 16 линз. Ячейки рубрики берутся из шаблона линзы.route.pyи S3: повторная подача транскрипта стоит 0.05–0.1× цены входа, но только при последовательных прогонах одной модели с транскриптом в начале промпта.Совет прогонов (S3) и второй судья не меняются: прямых данных, что «разные модели» внутри одного семейства Claude дают выигрыш, не нашлось. Решение отложено до пилота на реальном интервью.
Проверка
python -m unittest discover -s tests: 61 OK, было 53. Новые тесты на слепоту падают на старой версии скрипта (12 падений).py_compile, smokeroute.py(RU и EN), mirror check,ruff --select F821,F401..skillпересобраны; распаковка совпадает с папками (diff -rq).