Skip to content

About

Yerel LLM hız + kalite değerlendirme aracı: tok/s, TTFT ve EN/TR görev suite'leri ile model kalitesi ölçümü

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

BenchCompass Benchmark Eval

Ollama üzerinde çalışan yerel model değerlendirme aracı (hız + kalite) ve BenchCompass ana panelinin isteğe bağlı eklentisi. Bu depo eklentinin standalone ve bağımsız çalışan halidir.

Two-dimensional local LLM evaluation for Ollama: speed (tok/s, TTFT) and quality (task suites in EN + TR), producing detailed MD and interactive, offline HTML reports.

Özellikler / Features

  • Hız: tok/s (generation), tok/s (prefill), TTFT (ilk token süresi), model yükleme süresi.
  • Kalite: elle doğrulanabilir cevaplı görev suite'leri — aritmetik, mantık, kod üretimi+exec, talimat takibi (EN 24 görev + TR Türkçe görevler).
  • Çıktılar: detaylı reports/index.md + interaktif reports/index.html (offline, hybrid grafik).
  • Bağımsız: başka bir projeye kopyalanıp tek başına çalışır; parent proje data/ verisini (hf_models, benchmark_cache) ek zenginlik olarak okur, yoksa zarifçe atlar.

Hızlı Başlangıç / Quick Start

Gereksinimler / Requirements

  • Python ≥ 3.11
  • Ollama çalışıyor olmalı (ollama serve, port 11434)
  • Üçüncü parti bağımlılık yok — tamamen stdlib (urllib, json, argparse)

Çalıştırma / Run

# Kurulu Ollama modellerini koşturur (hız + kalite) → JSON → raporlar
python -m benchcompass_benchmark_eval.scripts.run_benchmark --pipeline
# Windows'ta çift tıklama için: run.cmd

Bu komut:

  1. Kurulu Ollama modellerini koşturur (hız + kalite)
  2. Sonuçları benchcompass_benchmark_eval/data/results_<tarih>.json'a yazar
  3. benchmark_history.db'deki benchmarks tablosuna source='plugin-eval' ile ekler (entegre modda)
  4. benchcompass_benchmark_eval/reports/index.md ve index.html üretir

Seçenekler / Options

# Belirli modeller
python -m benchcompass_benchmark_eval.scripts.run_benchmark --models qwen3:8b gemma4:12b

# Sadece hız / sadece kalite
python -m benchcompass_benchmark_eval.scripts.run_benchmark --no-quality
python -m benchcompass_benchmark_eval.scripts.run_benchmark --no-speed

# Görev suite'leri (EN + TR)
python -m benchcompass_benchmark_eval.scripts.run_benchmark --suites suite_default,suite_tr

# Çoklu quant karşılaştırma: aynı ailenin farklı quant'ları
python -m benchcompass_benchmark_eval.scripts.run_benchmark --models qwen3:8b-q4_K_M qwen3:8b-q8_0

# Context stres testi: needle-in-haystack 32K/64K/128K
python -m benchcompass_benchmark_eval.scripts.run_benchmark --context-stress 32k,64k,128k

# Vision görevleri (görüntülü modeller için)
python -m benchcompass_benchmark_eval.scripts.run_benchmark --suites suite_vision

# Embedding retrieval kalitesi
python -m benchcompass_benchmark_eval.scripts.run_benchmark --retrieval

# Sadece rapor üret (mevcut sonuçtan, benchmark yapmadan)
python -m benchcompass_benchmark_eval.scripts.generate_md --input data/results_<tarih>.json
python -m benchcompass_benchmark_eval.scripts.generate_html --input data/results_<tarih>.json

Yapılandırma / Configuration

Ortam değişkenleri doğrudan işletim sistemi ortamından okunur (şablon: .env.example):

Değişken Varsayılan Amaç
LLMFIT_EVAL_OLLAMA_URL http://localhost:11434 Ollama REST API adresi
# PowerShell
$env:LLMFIT_EVAL_OLLAMA_URL = "http://localhost:11434"

Değerlendirme koşulları (tekrar sayısı, sıcaklık, token bütçesi, timeout) koda gömülü değildir; benchcompass_benchmark_eval/config.py'de merkezi DEFAULTS sözlüğünden okunur ve görevler tasks/*.json suite'lerinde tanımlıdır.

Klasör Yapısı / Layout

BenchCompass_Extension/
├── plugin.json                       # manifest (bağımsız çalışma, entegrasyon noktaları)
├── pyproject.toml                    # bağımsız paket bildirimi
├── run.py / run.cmd                  # kolay başlatıcılar
└── benchcompass_benchmark_eval/      # Python paketi
    ├── config.py                     # koşullar (donanım, tekrar, sıcaklık, vb.)
    ├── grading.py                    # görev değerlendirme kuralları
    ├── harness.py                    # Ollama REST istemcisi (hız ölçümü)
    ├── history.py                    # SQLite entegrasyonu (source='plugin-eval')
    ├── llmfit_data.py                # veri çözümleyici (parent data/ → snapshot → yok)
    ├── runner.py                     # değerlendirme akışı
    ├── tasks/                        # görev suite'leri (JSON — koda gömülü değil)
    │   ├── suite_default.json        # EN: 24 görev
    │   ├── suite_tr.json             # TR: Türkçe görevler
    │   └── suite_vision.json         # görüntülü modeller için
    ├── scripts/                      # CLI entrypoint'ler (koş → JSON → SQLite → rapor)
    ├── data/                         # üretilen çıktılar (git'e girmez)
    │   ├── hardware.json             # test koşulları (otomatik)
    │   ├── results_*.json            # koşu sonuçları (tarihli)
    │   └── llmfit_snapshot_*.json    # llmfit verisi önbelleği (standalone mod)
    ├── reports/                      # üretilen raporlar (git'e girmez)
    └── tests/                        # pytest — network yok (mock Ollama)

data/ ve reports/ altındaki dosyalar çalıştırma tarafından üretilir ve commit edilmez.

BenchCompass ile Entegrasyon / Integration

  1. Bu depoyu ana projenin yanına kopyalayın (ör. plugin/benchcompass-benchmark-eval/).
  2. Ana paneldeki [ RAPOR ] sekmesi, rapor üretildiyse /eval-reports üzerinden gösterir.
  3. Raporları kendi projenize gömme örneği:
from fastapi.staticfiles import StaticFiles
app.mount("/eval-reports", StaticFiles(directory="benchcompass_benchmark_eval/reports", html=False))

llmfit verisi entegrasyonu (isteğe bağlı)

Plugin llmfit_data.py üzerinden sırasıyla şunları arar:

  1. --llmfit-data-dir <proje>/data (veya otomatik: parent proje data/ içinde hf_models.json varsa)
  2. Plugin kendi data/llmfit_snapshot_*.json önbelleği
  3. Yoksa → llmfit verisi olmadan çalışır (graceful degradation)

Raporlar Hakkında / Reports

  • index.md: yöntem & koşullar, görev matrisi, per-model per-task pass/fail, hız/kalite/verimlilik analizi, iyileştirme önerileri, community karşılaştırması.
  • index.html: self-contained; grafikler hybrid — Chart.js CDN'i dener, internet yoksa SVG/Canvas fallback.

Testler / Testing

python -m pytest tests -m "not integration and not e2e" --tb=short

Grading, veri çözümleyici ve rapor üretimi network olmadan test edilir (mock Ollama).

Lisans ve Kaynak Atıfları / License & Attribution

Bu proje MIT lisansı altındadır (LICENSE). İsteğe bağlı llmfit veri zenginleştirmesi AlexsJones/llmfit (MIT) deposundan alınır.

About

Yerel LLM hız + kalite değerlendirme aracı: tok/s, TTFT ve EN/TR görev suite'leri ile model kalitesi ölçümü

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages