Ollama üzerinde çalışan yerel model değerlendirme aracı (hız + kalite) ve BenchCompass ana panelinin isteğe bağlı eklentisi. Bu depo eklentinin standalone ve bağımsız çalışan halidir.
Two-dimensional local LLM evaluation for Ollama: speed (tok/s, TTFT) and quality (task suites in EN + TR), producing detailed MD and interactive, offline HTML reports.
- Hız: tok/s (generation), tok/s (prefill), TTFT (ilk token süresi), model yükleme süresi.
- Kalite: elle doğrulanabilir cevaplı görev suite'leri — aritmetik, mantık, kod üretimi+exec, talimat takibi (EN 24 görev + TR Türkçe görevler).
- Çıktılar: detaylı
reports/index.md+ interaktifreports/index.html(offline, hybrid grafik). - Bağımsız: başka bir projeye kopyalanıp tek başına çalışır; parent proje
data/verisini (hf_models, benchmark_cache) ek zenginlik olarak okur, yoksa zarifçe atlar.
- Python ≥ 3.11
- Ollama çalışıyor olmalı (
ollama serve, port 11434) - Üçüncü parti bağımlılık yok — tamamen stdlib (
urllib,json,argparse)
# Kurulu Ollama modellerini koşturur (hız + kalite) → JSON → raporlar
python -m benchcompass_benchmark_eval.scripts.run_benchmark --pipeline
# Windows'ta çift tıklama için: run.cmdBu komut:
- Kurulu Ollama modellerini koşturur (hız + kalite)
- Sonuçları
benchcompass_benchmark_eval/data/results_<tarih>.json'a yazar benchmark_history.db'dekibenchmarkstablosunasource='plugin-eval'ile ekler (entegre modda)benchcompass_benchmark_eval/reports/index.mdveindex.htmlüretir
# Belirli modeller
python -m benchcompass_benchmark_eval.scripts.run_benchmark --models qwen3:8b gemma4:12b
# Sadece hız / sadece kalite
python -m benchcompass_benchmark_eval.scripts.run_benchmark --no-quality
python -m benchcompass_benchmark_eval.scripts.run_benchmark --no-speed
# Görev suite'leri (EN + TR)
python -m benchcompass_benchmark_eval.scripts.run_benchmark --suites suite_default,suite_tr
# Çoklu quant karşılaştırma: aynı ailenin farklı quant'ları
python -m benchcompass_benchmark_eval.scripts.run_benchmark --models qwen3:8b-q4_K_M qwen3:8b-q8_0
# Context stres testi: needle-in-haystack 32K/64K/128K
python -m benchcompass_benchmark_eval.scripts.run_benchmark --context-stress 32k,64k,128k
# Vision görevleri (görüntülü modeller için)
python -m benchcompass_benchmark_eval.scripts.run_benchmark --suites suite_vision
# Embedding retrieval kalitesi
python -m benchcompass_benchmark_eval.scripts.run_benchmark --retrieval
# Sadece rapor üret (mevcut sonuçtan, benchmark yapmadan)
python -m benchcompass_benchmark_eval.scripts.generate_md --input data/results_<tarih>.json
python -m benchcompass_benchmark_eval.scripts.generate_html --input data/results_<tarih>.jsonOrtam değişkenleri doğrudan işletim sistemi ortamından okunur (şablon: .env.example):
| Değişken | Varsayılan | Amaç |
|---|---|---|
LLMFIT_EVAL_OLLAMA_URL |
http://localhost:11434 |
Ollama REST API adresi |
# PowerShell
$env:LLMFIT_EVAL_OLLAMA_URL = "http://localhost:11434"Değerlendirme koşulları (tekrar sayısı, sıcaklık, token bütçesi, timeout) koda gömülü değildir;
benchcompass_benchmark_eval/config.py'de merkezi DEFAULTS sözlüğünden okunur ve görevler
tasks/*.json suite'lerinde tanımlıdır.
BenchCompass_Extension/
├── plugin.json # manifest (bağımsız çalışma, entegrasyon noktaları)
├── pyproject.toml # bağımsız paket bildirimi
├── run.py / run.cmd # kolay başlatıcılar
└── benchcompass_benchmark_eval/ # Python paketi
├── config.py # koşullar (donanım, tekrar, sıcaklık, vb.)
├── grading.py # görev değerlendirme kuralları
├── harness.py # Ollama REST istemcisi (hız ölçümü)
├── history.py # SQLite entegrasyonu (source='plugin-eval')
├── llmfit_data.py # veri çözümleyici (parent data/ → snapshot → yok)
├── runner.py # değerlendirme akışı
├── tasks/ # görev suite'leri (JSON — koda gömülü değil)
│ ├── suite_default.json # EN: 24 görev
│ ├── suite_tr.json # TR: Türkçe görevler
│ └── suite_vision.json # görüntülü modeller için
├── scripts/ # CLI entrypoint'ler (koş → JSON → SQLite → rapor)
├── data/ # üretilen çıktılar (git'e girmez)
│ ├── hardware.json # test koşulları (otomatik)
│ ├── results_*.json # koşu sonuçları (tarihli)
│ └── llmfit_snapshot_*.json # llmfit verisi önbelleği (standalone mod)
├── reports/ # üretilen raporlar (git'e girmez)
└── tests/ # pytest — network yok (mock Ollama)
data/vereports/altındaki dosyalar çalıştırma tarafından üretilir ve commit edilmez.
- Bu depoyu ana projenin yanına kopyalayın (ör.
plugin/benchcompass-benchmark-eval/). - Ana paneldeki
[ RAPOR ]sekmesi, rapor üretildiyse/eval-reportsüzerinden gösterir. - Raporları kendi projenize gömme örneği:
from fastapi.staticfiles import StaticFiles
app.mount("/eval-reports", StaticFiles(directory="benchcompass_benchmark_eval/reports", html=False))Plugin llmfit_data.py üzerinden sırasıyla şunları arar:
--llmfit-data-dir <proje>/data(veya otomatik: parent projedata/içindehf_models.jsonvarsa)- Plugin kendi
data/llmfit_snapshot_*.jsonönbelleği - Yoksa → llmfit verisi olmadan çalışır (graceful degradation)
index.md: yöntem & koşullar, görev matrisi, per-model per-task pass/fail, hız/kalite/verimlilik analizi, iyileştirme önerileri, community karşılaştırması.index.html: self-contained; grafikler hybrid — Chart.js CDN'i dener, internet yoksa SVG/Canvas fallback.
python -m pytest tests -m "not integration and not e2e" --tb=shortGrading, veri çözümleyici ve rapor üretimi network olmadan test edilir (mock Ollama).
Bu proje MIT lisansı altındadır (LICENSE). İsteğe bağlı llmfit veri zenginleştirmesi
AlexsJones/llmfit (MIT) deposundan alınır.