vLLM auf Strix Halo

1) Kernel-Parameter in /etc/default/grub an GRUB_CMDLINE_LINUX anhängen:

amd_iommu=off amdgpu.gttsize=126976 ttm.pages_limit=32505856

2) Toolbox-Repo holen und Container anlegen

3) Rein und Modell starten

4) Testen

$sudo grub2-mkconfig -o /boot/grub2/grub.cfg

$sudo reboot

$sudo dnf install -y git toolbox

$git clone https://github.com/kyuz0/amd-strix-halo-vllm-toolboxes.git

$cd amd-strix-halo-vllm-toolboxes

$./refresh_toolbox.sh

$toolbox enter vllm

$start-vllm # interaktiver TUI-Assistent

$curl -s http://localhost:8000/v1/models | jq

$uname -r # Kernel-Version

$lspci | grep -i vga # sollte "Radeon 8060S" o. ä. zeigen

$rocminfo | grep gfx # sollte gfx1151 melden (falls ROCm auf dem Host)

$free -g # verfügbarer RAM

$amd_iommu=off amdgpu.gttsize=126976 ttm.pages_limit=32505856

$sudo grub2-mkconfig -o /boot/grub2/grub.cfg # Fedora

$# Ubuntu: sudo update-grub

$sudo reboot

$cat /proc/cmdline | grep gttsize

$cat /sys/module/ttm/parameters/pages_limit

$sudo apt install pipx # bzw. dnf install pipx

$pipx ensurepath

$pipx install amd-debug-tools

$amd-ttm # zeigt aktuelles Limit + Gesamt-RAM

$amd-ttm --set 120 # 120 GB freigeben

$# danach rebooten

$amd-ttm --clear # zurück auf Kernel-Default

$sudo dnf install -y git toolbox

$git clone https://github.com/kyuz0/amd-strix-halo-vllm-toolboxes.git

$cd amd-strix-halo-vllm-toolboxes

$./refresh_toolbox.sh # interaktiv; oder: ./refresh_toolbox.sh latest

$toolbox create vllm \

$ --image docker.io/kyuz0/vllm-therock-gfx1151:latest \

$ -- --device /dev/dri --device /dev/kfd \

$ --group-add video --group-add render \

$ --security-opt seccomp=unconfined

$toolbox enter vllm

$distrobox create -n vllm \

$ --image docker.io/kyuz0/vllm-therock-gfx1151:latest \

$ --additional-flags "--device /dev/kfd --device /dev/dri \

$ --group-add video --group-add render --security-opt seccomp=unconfined"

$distrobox enter vllm

$rocm-smi

$rocminfo | grep -i gfx

$python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"

$start-vllm

$vllm serve Qwen/Qwen3.6-35B-A3B \

$ --host 0.0.0.0 \

$ --port 8000 \

$ --tensor-parallel-size 1 \

$ --max-num-seqs 1 \

$ --max-model-len 32768 \

$ --gpu-memory-utilization 0.95 \

$ --dtype auto \

$ --trust-remote-code \

$ --attention-backend TRITON_ATTN

Speichermodell von Strix Halo — praktisch immer sinnvoll

Experimentelle AOTriton-Kernel, für gfx1151 nötig

Spürbarer Durchsatzgewinn durch besseren Allocator

hipBLASLt statt rocBLAS

Autotuning der GEMM-Kernel (langsamer erster Lauf, danach schneller)

$export HIP_FORCE_DEV_KERNARG=1

$export TORCH_ROCM_AOTRITON_ENABLE_EXPERIMENTAL=1

$export LD_PRELOAD=/usr/lib64/libtcmalloc_minimal.so.4

$export ROCBLAS_USE_HIPBLASLT=1

$export PYTORCH_TUNABLEOP_ENABLED=1

$rm -rf ~/.cache/vllm/

Welches Modell läuft gerade?

Chat-Completion

$curl -s http://localhost:8000/v1/models | jq -r '.data[0].id'

$MODEL=$(curl -s http://localhost:8000/v1/models | jq -r '.data[0].id')

$curl -X POST http://localhost:8000/v1/chat/completions \

$ -H "Content-Type: application/json" \

$ -d "{

$ \"model\": \"$MODEL\",

$ \"messages\": [{\"role\": \"user\", \"content\": \"Erklär mir GTT in zwei Sätzen.\"}]

$ }" | jq -r '.choices[0].message.content'

$ssh -L 8000:localhost:8000 user@strix-halo-host

$docker run -p 3000:3000 \

$ --add-host=host.docker.internal:host-gateway \

$ -e OPENAI_BASE_URL=http://host.docker.internal:8000/v1 \

$ -e OPENAI_API_KEY=dummy \

$ -v chat-ui-data:/data \

$ ghcr.io/huggingface/chat-ui-db

$systemctl --user daemon-reload

$systemctl --user enable --now vllm.service

$loginctl enable-linger $USER # damit's ohne aktive Session läuft

$journalctl --user -u vllm -f

$git clone https://github.com/vllm-project/vllm.git

$cd vllm

$DOCKER_BUILDKIT=1 docker build \

$ --build-arg AMDGPU_TARGETS=gfx1151 \

$ -f docker/Dockerfile.rocm \

$ -t vllm-rocm-strix-halo .

1) Build-Abhängigkeiten

2) ROCm aus TheRock-Nightlies (nach GFX-Target indiziert)

3) PyTorch aus dem target-spezifischen Nightly-Index

4) vLLM bauen — WICHTIG: ROCms clang, nicht Fedoras GCC

$sudo dnf install -y python3.13 python3.13-devel libatomic gcc gcc-c++ make \

$ ffmpeg-free aria2 libdrm-devel zlib-devel openssl-devel procps-ng \

$ numactl-devel gperftools-libs libibverbs-utils

$GFX=gfx1151

$ROCM_PATH=/opt/rocm

$S3="https://therock-nightly-tarball.s3.amazonaws.com"

$KEY="$(curl -s "${S3}?list-type=2&prefix=therock-dist-linux-${GFX}-7" \

$ | grep -oP '(?<=<Key>)[^<]+' | sort -V | tail -n1)"

$aria2c -x 16 -s 16 -j 16 "${S3}/${KEY}" -o therock.tar.gz

$sudo mkdir -p "$ROCM_PATH"

$sudo tar xzf therock.tar.gz -C "$ROCM_PATH" --strip-components=1

$python -m pip install --pre torch torchaudio torchvision \

$ --index-url "https://rocm.nightlies.amd.com/v2-staging/${GFX}/"

$export CC="$ROCM_PATH/llvm/bin/clang"

$export CXX="$ROCM_PATH/llvm/bin/clang++"

$export PYTORCH_ROCM_ARCH="$GFX" AMDGPU_TARGETS="$GFX" HIP_ARCHITECTURES="$GFX"

$export VLLM_TARGET_DEVICE=rocm

$git clone https://github.com/vllm-project/vllm.git && cd vllm

$python -m pip wheel --no-build-isolation --no-deps -w /tmp/dist -v .

$python -m pip install /tmp/dist/*.whl

$cat /proc/cmdline # Kernel-Parameter aktiv?

$cat /sys/module/ttm/parameters/pages_limit # TTM-Limit

$rocm-smi --showmeminfo vram # was sieht ROCm?

$uname -r # Kernel neu genug?

$journalctl -k | grep -i amdgpu | tail -50 # Treiberfehler