2.1 KiB
Session: 2026-05-24 19:48:12 UTC
- Session Key: agent:main:telegram:direct:2138015302
- Session ID: 069d718c-2498-4e48-a6c1-a14456a28daa
- Source: telegram
Conversation Summary
assistant: Interessant! Auf dem Standard-Container (Port 11434, NVIDIA) gibt es bereits qwen3:32b (Q4_K_M, 20GB). Der AMD/ROCm-Container (Port 11439) hat nur das 14b.
Das Problem: qwen3:32b Q4_K_M ist ~20GB → passt nicht komplett in 16GB VRAM. Aber der TrueNAS hat 512GB RAM, also kann Ollama partial offload (Teil GPU, Rest CPU).
Soll ich qwen3:32b auf dem AMD-Container (Port 11439) pullen? Wird langsamer sein als voll auf GPU, aber besser als 14b. Oder soll ich nach einer kleineren Quantisierung suchen (Q3_K_M)?
user: kannst du das 32b model aus dem anderen container kopieren?
assistant: SSH geht! Jetzt schau ich wo die Modelle liegen:
assistant: Beide Container haben eigene Modell-Verzeichnisse. Ich kopiere die Modell-Blobs von NVIDIA → AMD:
assistant: Hmm, die Bash-Quoting war tricky. Prüfe ob die Blobs kopiert wurden:
assistant: Manifest und Blobs sind da! Aber der 20GB Haupt-Blob fehlt – da ist nur die 8.7GB vom 14b. Das Script hat das Python-Quoting nicht richtig aufgelöst. Ich kopiere den großen Blob manuell:
assistant: Kopiert! Jetzt muss der AMD-Container das Modell erkennen:
assistant: Er zeigt nur 14b an. Der 32b-Blob fehlte noch beim Restart. Vielleicht muss ich noch den Config-Blob kopieren:
assistant: Blobs sind alle da. Der Config-Blob (sha256-afdf...) fehlt noch:
assistant: qwen3:32b ist jetzt auf dem AMD/ROCm-Container! 🎉
Jetzt noch in der OpenClaw-Config registrieren:
user: mdl_list_truenas - amd_1
assistant: TrueNAS - AMD (192.168.8.112:11439):
qwen3:32b– Q4_K_M, 32.8B, ~20 GB ⭐ neu!qwen3:14b– Q4_K_M, 14.8B, ~9.3 GB
Das 32b-Modell ist jetzt auch auf dem AMD-Container verfügbar. Soll ich draufwechseln? user: ja assistant: Läuft! TrueNAS - AMD/qwen3:32b ist jetzt aktiv. 🐾
- 32.8B Parameter – deutlich mehr Power als das 14b
- Läuft lokal auf deiner AMD GPU
- Schreib mal einen Test! user: erzäjhl was