Qwen3.8-27B auf Strix Halo
Von 7,7 tok/s zu 30,9 tok/s — Faktor 4,0. Zwei unabhängige Hebel, keine Qualitätseinbußen. Der vollständige Optimierungsleitfaden für Dense-27B-Modelle auf AMD Strix Halo.
🚀 Die Reise: Von 7,7 zu 30,9 tok/s
Zwei völlig unabhängige Optimierungen, die sich multiplizieren. Kein Hexenwerk, keine Treiber-Magie — nur Physik und kluge Algorithmen.
Ausgangslage: Q8_0
Qwen3.8-27B als Q8_0-Quant — 28 GB Gewichte, volle Bandbreiten-Auslastung. Keine Optimierung möglich, die Hardware ist am Limit.
Hebel 1: IQ4_XS Quantisierung
Das Modell schrumpft von 28 auf 15 GB. Dadurch halbiert sich die Speicherlast pro Token — die GPU muss nur noch 15 GB statt 28 GB durch ihren Bus bewegen. Ergebnis: 92 % der theoretischen Bandbreiten-Grenze.
Hebel 2: MTP Speculative Decoding
Qwen3.8 hat eine eingebaute Multi-Token-Prediction-Schicht. Der Rater generiert 3–4 Tokens in einem Durchgang, das Hauptmodell verifiziert sie. Bei Code liegt die Trefferquote bei ~73 % — 3,2 Tokens pro Verification-Durchgang. Mathematisch identisch zur normalen Generierung, keine Qualitätseinbuße.
📐 Die Mathematik dahinter
Strix Halo hat ~200–220 GB/s reale Speicherbandbreite. Ein Token bei Q8_0 kostet 28 GB Transfer. Max mögliche Tokens: 220 GB/s ÷ 28 GB = 7,8 tok/s. Die 7,7 tok/s bedeuten 100 % Bandbreiten-Auslastung — kein Backend, kein Treiber, kein Flag kann das ändern. IQ4_XS senkt die Kosten auf 15 GB/Token (Grenze: 14,5 tok/s). MTP umgeht die Grenze, indem mehrere Tokens pro Durchgang geraten werden.
$QUANT=IQ4_XS BACKEND=rocm ./run.sh start