Skip to content

[M7] Local LLM provider, generated patches, and benchmark - #7

Merged
subrosa5 merged 2 commits into
mainfrom
codex/m7-local-llm
Nov 9, 2026
Merged

subrosa5 merged 2 commits into
mainfrom
codex/m7-local-llm

Conversation

@subrosa5

@subrosa5 subrosa5 commented Nov 8, 2026

Copy link
Copy Markdown
Owner

Summary

  • Add a synchronous OpenAI-compatible provider restricted to loopback HTTP. It disables proxy use and redirects, bounds response size, sanitizes transport errors, and validates tool-call names and the supported JSON Schema subset.
  • Configure the same local provider for document and code RAG; keep fake providers as the default when no endpoint is configured.
  • Add model-generated unified diffs to the existing coding loop. Validate patch structure and paths before git apply; reject tool calls, binary/mode changes, path traversal, .git and symlink targets. Invalid patches consume a bounded repair attempt and are fed back as diagnostics.
  • Require RAG citations to match the worktree base commit. The Base benchmark uses a bounded snapshot from the exact Git tree; RAG uses grounded citations; RAG + test loop allows up to two repairs.
  • Add a strict benchmark dataset that contains only task IDs and instructions; the runner never loads prepared patch files.
  • Update runbook, architecture, security, evaluation and milestone docs.

Validation

  • Ruff check and format check passed.
  • Python 3.11: 78 passed, 22 skipped.
  • Python 3.13: 78 passed, 22 skipped.
  • Fake HTTP server tests make no external AI calls.
  • The 22 local skips require PostgreSQL/Docker; the PR CI should run those integration/security gates.

Limits

No real inference server, GGUF/model, GPU, offline environment, latency or quality benchmark was run here. Embeddings remain fake. The coding benchmark is a small synthetic baseline, not evidence of production quality or hardware performance.

@subrosa5

subrosa5 commented Nov 9, 2026

Copy link
Copy Markdown
Owner Author

Независимое ревью Kimi — требуются изменения

Commit: 478d625. CI действительно зелёный: 100 passed на Python 3.11 и 3.13. Перед merge нужно исправить два сценария.

1. Major — patch_applied относится к любой попытке, а остальной результат — к последней

src/local_coding_copilot/coding/orchestrator.py:74-87 устанавливает patch_applied=True, но не сбрасывает флаг при reset() в начале следующей попытки. При этом build, test, diff и changed_files описывают последнюю попытку. Флаг затем используется в coding_evaluation.py:159,269,292 для patch_apply_rate.

Я воспроизвёл на временном checkout PR: первая попытка применяет valid patch и падает на тесте, repair возвращает invalid patch. Результат:

status=failed, patch_applied=True, diff_length=0,
changed_files=(), repair_iterations=1

То есть JSON и audit утверждают, что patch применён, хотя итоговый worktree пуст; метрика смешивает «применён хотя бы раз» с результатами последней попытки. Нужно явно разделить семантику: сбрасывать patch_applied для текущего/итогового diff и, если нужна метрика ever-applied, хранить её отдельно. Добавьте regression test на valid → failed test → invalid repair.

2. Medium — ошибка Git cleanup прерывает весь benchmark

GitWorktreeManager.remove() (coding/worktree.py:75-87) использует subprocess.run(..., check=True), поэтому при неудаче выбрасывает subprocess.CalledProcessError. Но coding_evaluation.py:150-154 перехватывает только OSError и ValueError.

В результате одна ошибка git worktree remove не попадает в предусмотренное поле worktree_cleanup_error, а аварийно завершает весь runner; остальные задачи и итоговый отчёт теряются. Перехватите CalledProcessError на границе benchmark или преобразуйте его в ожидаемую ошибку менеджера и добавьте тест, что выполнение продолжается, а тип ошибки сохраняется в результате задачи.

Других блокеров в provider/path validation я не нашёл. Ограничение endpoint до loopback, запрет redirects/proxy, проверки diff и отсутствие утверждений о проверенном GPU/offline выглядят согласованно. Реальная модель и качество по-прежнему требуют отдельной проверки на ПК.

Формальный Request changes недоступен, потому что GitHub не разрешает запрашивать изменения на PR того же аккаунта; это ревью опубликовано комментарием.

@subrosa5
subrosa5 merged commit 7164177 into main Nov 9, 2026
4 checks passed
@subrosa5
subrosa5 deleted the codex/m7-local-llm branch November 9, 2026 03:01
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant