Leaderboard
Messungen auf AMD Strix Halo nach einem festen Profil — damit Zahlen von verschiedenen Maschinen überhaupt nebeneinander stehen dürfen. Jede Zeile ist ein Protokoll, gewertet an einer Promptstufe. Was nicht nach PROFIL-v1 gemessen ist, kommt nicht hinein.
Rangliste
- #1halogen-qwen3.8-flash-nextv2 · halogen 0.18.1976,1t/s117 GiB · 120 WReferenz2026-10-30
- #2halogen-qwen3.8-flash-nextv2 · halogen 0.18.770,9t/s117 GiB · 120 WReferenz2026-10-17
- #3halogen-qwen3.8-flash-nextv2 · halogen 0.18.567,2t/s117 GiB · 120 WReferenz2026-10-16
- #4halogen-qwen3.8-flash-nextv2 · halogen 0.17.358,6t/s117 GiB · 120 WReferenz2026-10-09
- #5halogen-qwen3.8-flash-nextw4b · halogen 0.14.054,5t/s117 GiB · 120 WReferenz2026-09-26
- #6halogen-qwen3.8-flash-nextw4b · halogen 0.11.926,1t/s48 GiB · 120 WReferenz2026-09-201 Lauf
| # | Modell · Runtime | Decode | UMA · TDP | Von | Datum |
|---|---|---|---|---|---|
| 1 | halogen-qwen3.8-flash-next 125B · v2 · halogen 0.18.19 | 76,1t/s | 117 GiB · 120 W | Referenz | 2026-10-30 |
| 2 | halogen-qwen3.8-flash-next 125B · v2 · halogen 0.18.7 | 70,9t/s | 117 GiB · 120 W | Referenz | 2026-10-17 |
| 3 | halogen-qwen3.8-flash-next 125B · v2 · halogen 0.18.5 | 67,2t/s | 117 GiB · 120 W | Referenz | 2026-10-16 |
| 4 | halogen-qwen3.8-flash-next 125B · v2 · halogen 0.17.3 | 58,6t/s | 117 GiB · 120 W | Referenz | 2026-10-09 |
| 5 | halogen-qwen3.8-flash-next 125B · w4b · halogen 0.14.0 | 54,5t/s | 117 GiB · 120 W | Referenz | 2026-09-26 |
| 6 | halogen-qwen3.8-flash-next 125B · w4b · halogen 0.11.9 | 26,1t/s1 Lauf | 48 GiB · 120 W | Referenz | 2026-09-20 |
Stufe 4096: Zielwert in Prompt-Tokens, die tatsächliche Zahl steht im Tooltip. Median aus den Messläufen, kalter Prompt-Cache, 256 Ausgabe-Tokens. 1 nicht eingeregelte Messung ausgeblendet. Läufe mit unterschiedlicher UMA oder TDP sind nicht direkt vergleichbar — die Spalte steht deshalb in jeder Zeile.
Eigene Messung einreichen
- 1Messen
strix-bench.py gegen den eigenen Endpunkt laufen lassen. UMA-Aufteilung und TDP sind Pflicht — ohne sie schreibt das Werkzeug kein Ergebnis.
- 2Prüfen
validate.py muss KONFORM melden. Warnungen sind erlaubt und erscheinen auf der Seite, Fehler nicht.
- 3Einreichen
Die JSON-Datei per Pull Request nach bench/einreichungen/<dein-github-name>/ legen. Nur dieser Ordner, nur JSON, höchstens 2 MB.
- 4Automatische Prüfung
Die CI prüft Ordner gegen GitHub-Konto, Schema und Inhalt nach PROFIL-v1. Ist sie grün, wird gemergt und die Messung erscheint nach dem nächsten Build.
$python3 bench/strix-bench.py --url http://127.0.0.1:8080 \
$ --model <modellname> --runtime "<engine> <version>" \
$ --parameterzahl <z. B. 27B> --quantisierung <z. B. IQ4_XS> \
$ --dateigroesse-gib <GiB> --quelle <hf-repo> \
$ --uma-gib <GiB> --tdp-watt <W> --out mein-lauf.json
$python3 bench/validate.py mein-lauf.json
Einreichungen öffnen in Kürze.