News
Was sich auf dieser Seite geaendert hat — Messungen, neue Seiten, neue Datenstaende. Die Chronik reicht von 2026-07-30 bis 2026-10-31, neueste Eintraege zuerst.
/models neu: echte Strix-Halo-Läufe statt Altdaten
Die lokale Tabelle zeigte noch veraltete llama.cpp-Werte (Llama 2, Qwen3-30B) und geschätzte Ollama-Tags. Jetzt stehen dort 74 gemessene Läufe von local-llm-benchmarks.dev (Stand 26.10.): Qwen3.8-Flash-Next, Qwen3.8-27B, Qwen3.6-35B-A3B, GLM-5.3-Flash, DeepSeek V4/V4.1 Flash, jeweils mit Engine (llama.cpp, Halogen, Gufo, Maya, DwarfStar), Modus (Basis oder MTP/DSpark/DFlash) und Werten bei leerem und 32k-Kontext. Empfehlungen und Engine-Vergleich ziehen ihre Zahlen direkt aus diesen Läufen. Cloud-Tabelle auf Stand 31.10.: Artificial Analysis rechnet mit Index v5.0 (nicht vergleichbar mit v4.3.2), neu vorn Gemini 4 Carbon vor Claude Opus 5.5; bei lmspeed.net ist Nemotron 3.5 Super VL mit 430 tok/s am schnellsten.
/models →src/data/lokaleLaeufe.ts (scripts/lokale-laeufe.py) · src/data/cloudModels.ts · local-llm-benchmarks.dev · artificialanalysis.ai · lmspeed.net · ollamatps.comHalogen 0.18.19: Prefill wieder messbar schneller
PROFIL-v1-Lauf mit demselben Aufruf und Checkpoint wie 0.18.7. Bei 16478 Prompt-Tokens: Prefill 2145 t/s, Decode 66,3 t/s, erstes Token nach 7,7 s (0.18.7: 1990 / 63,9 / 8,3 s). Prefill legt auf allen Stufen 6 bis 11 % zu, bei Laufspannen unter 1,1 %. Decode gewinnt bei 512 Tokens 10 %, bei 4k und 16k liegt der Zuwachs innerhalb der Laufspannen. Seit 0.12.3 zusammen rund +50 % bei Prefill und Decode.
/halogen →bench/ergebnisse/halogen-0.18.19-v2.json · src/data/halogen.tsHalogen 0.18.7: gleichauf mit 0.18.5
PROFIL-v1-Lauf mit demselben Aufruf und Checkpoint wie 0.18.5. Bei 16478 Prompt-Tokens: Prefill 1990 t/s, Decode 63,9 t/s (0.18.5: 2024 / 62,8). Alle Stufen liegen innerhalb der Laufspannen — kein messbarer Unterschied. Der Changelog-Fix für kurze Antworten (#186) greift am Ende einer Antwort; das Profil erzwingt 256 Ausgabe-Tokens und zeigt ihn nicht.
/halogen →bench/ergebnisse/halogen-0.18.7-v2.json · src/data/halogen.tsCloud-API-Leaderboard auf Stand Oktober
Die Cloud-Tabelle auf /models zeigt die aktuelle Modellgeneration: Claude Opus 5.5 und Sonnet 5.5, Fable 5.1, GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon, Meta Muse Wonder, Grok 4.7, dazu die stärksten Open-Weights-Modelle (MiMo-V2.6-Pro, GLM-5.3, Kimi K3, DeepSeek V4.1 Flash, Qwen3.8 27B). Speed und Latenz von lmspeed.net, Ollama-Cloud-Werte von ollamatps.com. Artificial Analysis rechnet inzwischen mit Index v4.3.2 — die Scores sind nicht mit dem Stand August vergleichbar.
/models →src/data/cloudModels.ts · artificialanalysis.ai · lmspeed.net · ollamatps.comHalogen 0.18.5: Prefill 2024, Decode 62,8 t/s
PROFIL-v1-Lauf mit demselben Aufruf und demselben Checkpoint v2 wie 0.17.3 — die Differenz liegt allein an der Runtime. Bei 16478 Prompt-Tokens: Prefill 2024 statt 1908 t/s, Decode 62,8 statt 58,6 t/s, erstes Token nach 8,1 statt 8,6 s. Am stärksten legt der Decode bei kurzen Prompts zu: 77,0 statt 60,3 t/s bei 512 Tokens. Laut Changelog bricht die MTP-Kette ab 0.18.5 beim ersten unsicheren Draft-Token ab. Die 512er Stufe ist mit 518 Tokens nicht eingeregelt und markiert.
/halogen →bench/ergebnisse/halogen-0.18.5-v2.json · src/data/halogen.tsLeaderboard: alle Protokolle in einer Rangliste
Neue Seite /leaderboard: jedes PROFIL-v1-Protokoll als Zeile, gewertet an einer Promptstufe (512, 4096, 16384) und einer Kennzahl (Decode, Prefill, erstes Token). UMA und TDP stehen in jeder Zeile, nicht eingeregelte Stufen sind markiert und standardmäßig ausgeblendet. Einreichungen anderer Strix-Halo-Besitzer laufen über Pull Requests mit automatischer Prüfung gegen Schema und Profil.
/leaderboard →bench/ergebnisse/*.json · bench/pruefe_einreichung.pyHalogen 0.17.3 mit Checkpoint v2: Prefill 1908, Decode 58,6 t/s
Neuer PROFIL-v1-Lauf unter denselben Bedingungen wie 0.14.0 (UMA 117 GiB, 120 W, kalibrierte Stufen). Bei 16477 Prompt-Tokens: Prefill 1908 statt 1376 t/s, Decode 58,6 statt 51,0 t/s, erstes Token nach 8,6 statt 12,0 s. Bei der 512er Stufe hat sich der Prefill mehr als verdoppelt (942 gegen 386 t/s). Runtime und Checkpoint (v2 statt w4b) wechselten gleichzeitig, ihr Anteil ist nicht getrennt. Neu auf /halogen: Abschnitt Entwicklung, Versionen 0.12 bis 0.17 und vier weitere Fallstricke aus dem Betrieb. Die NPU-Bildgenerierung aus 0.17.0 ist aufgeführt, aber nicht gemessen.
/halogen →bench/ergebnisse/halogen-0.17.3-v2.json · src/data/halogen.tsHalogen 0.14.0: Decode 51,0 statt 43,5 t/s
Alle drei Stufen kalibriert, UMA 117 GiB wie beim 0.12.3-Lauf und damit an der 16384er Stufe direkt vergleichbar: Decode 50,96 gegen 43,48 t/s bei identischen 16478 Prompt-Tokens, Prefill praktisch unverändert (1376 gegen 1404 t/s). 0.14.0 bringt laut Changelog einen neuen MTP-Draft-Head.
/benchmarks →bench/ergebnisse/halogen-0.14.0-maxtok16384.jsonEigenes Messprofil: strix-bench v1
Durchsatz-Zahlen werden jetzt nach einem festen Profil gemessen, das Vergleichbarkeit erzwingt statt sie dem Messenden zu ueberlassen: Prefill und Decode getrennt, exakt 256 Ausgabe-Tokens, EOS unterdrueckt, Temperatur 0, Reasoning aus, Prompt-Cache nachweislich kalt, Median statt Bestwert. Das erste kalibrierte Protokoll (4096er Stufe, ein Lauf, Kalibrierung aktiv) haelt fest: 1009,6 t/s Prefill bei 26,1 t/s Decode, TTFT 4059 ms, Peak 39,7 GiB.
/benchmarks →bench/PROFIL-v1.md · bench/ergebnisse/halogen-0.11.9-kalibriert-4096.jsonNeue Seite: Fallstricke nach Symptom sortiert
57 Stolpersteine aus allen Dokumenten, nicht nach Thema sortiert, sondern nach dem, was im Terminal steht. Acht Bereiche, drei Schweregrade (blockierend, tueckisch, wissenswert), kombinierbar gefiltert. Jeder Eintrag mit Quelle und dem Satz, an dem man den Fall erkennt.
/fallstricke →src/data/fallstricke.tsHalogen aufgenommen: Prefill 3,2×, Decode 1,28×
Die Engine von peonist-ai ist gegen llama.cpp gemessen, mit identischen Prompts auf derselben Hardware. Der Gewinn sitzt im Prefill: 1340 gegen 413 t/s. Der Decode legt nur auf 1,28× zu (33,5 gegen 26,1 t/s). Der Preis: die Engine kann genau ein Modell und laeuft nicht parallel zu llama.cpp.
/halogen →src/data/halogen.tsNeue Seite: Bild und Sprache
Bildgenerierung laeuft ueber stable-diffusion.cpp mit Vulkan/RADV, weil der ROCm-Pfad auf gfx1151 nicht tragfaehig ist: FLUX.2-klein-4B in 10 s pro Bild (1024 × 576), SD 1.5 in 11 s, FLUX.2-dev 32B in 794 s. Dazu Spracherkennung und Sprachausgabe auf derselben Maschine.
/media →src/data/media.tsQwen3.8-27B: von 7,7 auf 30,9 tok/s
Zwei unabhaengige Hebel, Faktor 4,0 gesamt: Q8_0 → IQ4_XS bringt 7,7 auf 13,3 t/s (Modell schrumpft von 28 auf 15 GB), MTP-Speculative-Decoding auf 30,9 t/s bei Code, 25,0 t/s bei Prosa. Vorher war die Speicherbandbreite bereits zu 100 % ausgereizt — an Flags, Treibern oder Backends war nichts mehr zu holen.
/qwen38 →QWEN38-STRIX-HALO.mdCloud-Vergleichsdaten aktualisiert
Intelligence-Scores, Ausgabe-Speed, Latenz und Kosten pro Task fuer die Cloud-Modelle haben Stand 12./13. August 2026 und liegen jetzt zusammen mit den lokalen Messwerten im Vergleich — inklusive der Feststellung, dass Cloud-Speed nicht lokal erreichbar ist.
/models →src/data/cloudModels.tsSetup-Guide mit Terminal-Blöcken
Der Ollama-Setup-Ablauf zeigt Befehle jetzt in Terminal-Blöcken mit Kopier-Funktion; jeder Schritt nennt den Stolperstein, der dabei tatsaechlich passiert ist, statt nur die Happy Path.
/setup →Git-Historie 2026-08-02Harter Test: Einzeltests irrefuehren
Die Suite vom 30. Juli (10 Cases, ROCm gfx1151) zeigt die Diskrepanz schwarz auf weiss: glm-4.7-flash 10/10 in den Einzelpruefungen, aber 0/2 in jeder End-to-End-Kette (Python, JS, Web). Seitdem zaehlen Ketten, nicht Einzelfaelle — und das kleinere Modell wird immer mitgetestet.
/models →src/data/models.ts (benchmarkSuite)
Rueckfrage nach einer Zahl? /llms listet alle Datenquellen und ihre Messbedingungen.