39 lines
2.1 KiB
Markdown
39 lines
2.1 KiB
Markdown
# Session: 2026-05-24 19:48:12 UTC
|
||
|
||
- **Session Key**: agent:main:telegram:direct:2138015302
|
||
- **Session ID**: 069d718c-2498-4e48-a6c1-a14456a28daa
|
||
- **Source**: telegram
|
||
|
||
## Conversation Summary
|
||
|
||
assistant: Interessant! Auf dem Standard-Container (Port 11434, NVIDIA) gibt es bereits `qwen3:32b` (Q4_K_M, 20GB). Der AMD/ROCm-Container (Port 11439) hat nur das 14b.
|
||
|
||
Das Problem: qwen3:32b Q4_K_M ist ~20GB → passt nicht komplett in 16GB VRAM. Aber der TrueNAS hat 512GB RAM, also kann Ollama partial offload (Teil GPU, Rest CPU).
|
||
|
||
Soll ich `qwen3:32b` auf dem AMD-Container (Port 11439) pullen? Wird langsamer sein als voll auf GPU, aber besser als 14b. Oder soll ich nach einer kleineren Quantisierung suchen (Q3_K_M)?
|
||
user: kannst du das 32b model aus dem anderen container kopieren?
|
||
assistant: SSH geht! Jetzt schau ich wo die Modelle liegen:
|
||
assistant: Beide Container haben eigene Modell-Verzeichnisse. Ich kopiere die Modell-Blobs von NVIDIA → AMD:
|
||
assistant: Hmm, die Bash-Quoting war tricky. Prüfe ob die Blobs kopiert wurden:
|
||
assistant: Manifest und Blobs sind da! Aber der 20GB Haupt-Blob fehlt – da ist nur die 8.7GB vom 14b. Das Script hat das Python-Quoting nicht richtig aufgelöst. Ich kopiere den großen Blob manuell:
|
||
assistant: Kopiert! Jetzt muss der AMD-Container das Modell erkennen:
|
||
assistant: Er zeigt nur 14b an. Der 32b-Blob fehlte noch beim Restart. Vielleicht muss ich noch den Config-Blob kopieren:
|
||
assistant: Blobs sind alle da. Der Config-Blob (sha256-afdf...) fehlt noch:
|
||
assistant: **qwen3:32b** ist jetzt auf dem AMD/ROCm-Container! 🎉
|
||
|
||
Jetzt noch in der OpenClaw-Config registrieren:
|
||
user: mdl_list_truenas - amd_1
|
||
assistant: **TrueNAS - AMD** (`192.168.8.112:11439`):
|
||
|
||
1. `qwen3:32b` – Q4_K_M, 32.8B, ~20 GB ⭐ neu!
|
||
2. `qwen3:14b` – Q4_K_M, 14.8B, ~9.3 GB
|
||
|
||
Das 32b-Modell ist jetzt auch auf dem AMD-Container verfügbar. Soll ich draufwechseln?
|
||
user: ja
|
||
assistant: Läuft! **TrueNAS - AMD/qwen3:32b** ist jetzt aktiv. 🐾
|
||
|
||
- 32.8B Parameter – deutlich mehr Power als das 14b
|
||
- Läuft lokal auf deiner AMD GPU
|
||
- Schreib mal einen Test!
|
||
user: erzäjhl was
|