Der Homelab-KI-Sammelthread – Hardware, llama.cpp, Openclaw, etc. 
4.7.
-5.7.2026 5 Antworten 3 Autoren
|
|
||
|
Ich habe mich zuerst etwas eingelesen. Aufgrund der Treiber- und Linux-Situation habe ich in den letzten 20 Jahren meist einen Bogen um NVIDIA gemacht. (Ich nutze Windows nur noch in einer VM für spezielle Programme wie ETS, sonst ausschließlich *Ubuntu/Linux.)
Trotzdem liest man im KI-Bereich fast immer CUDA also NVIDIA. Ob AMD oder Intel mittlerweile ähnlich gut funktionieren, ist mir als Einsteiger noch nicht ganz klar. Meine Idee ist es außerdem, neue Funktionen moderner Modelle zu nutzen – z. B. Multi-GPU-Setups und eventuell auch CPU-Offloading. Ziel ist es, genug Leistung zu haben, um produktiv damit zu arbeiten, aber gleichzeitig auch zu lernen und zu experimentieren. Hardware: CPU: Ryzen 9 5900X GPU1: RTX 3090 (24 GB) GPU2: RTX 3060 (12 GB) RAM: 64 GB DDR4 SSD: Samsung 990 EVO Plus (NVMe PCIe 4.0 x4) Software / Architektur-Idee Meine Idee ist, das Ganze über Proxmox umzusetzen. Allerdings stellen sich schon die ersten Fragen: Ollama oder llama.cpp? Direkt am Host betreiben? In Docker-Containern? Oder besser in einer LXC-Umgebung? Aktuell tendiere ich zu LXC, da es leichtgewichtig wirkt und gut in mein Proxmox-Setup passen würde. Weiters denke ich das llama.cpp für Optimierungen flexibler ist. |
||
|
||
|
Also die Frage ob ollama oder llama.cpp beantworten mehrere Videos....ollama ist hier meist deutlich langsamer. Ich nutze alte Hardware mit mäßigem Mainboard (550er), 32gb ddr4 und Arc pro b60. Nvidia ist hier klar der Favorit, ging mir aber nie drum besonders viel zu machen, sondern wollt eher um billiges Geld meinen alten PC noch verwenden :) Das Ding rennt comfyui und lokale agents für meine alltägliche Arbeit und Bedürfnisse. Lokale LLM sind halt Fluch und Segen. Sie leben eher von MoE, vergessen viel und brauchen viel Zeit. Aber für die knackigen Dinge nimmt man dann eh die Frontier Models |
||
|
||
|
Ja meinen alten PC oder besser gesagt auch mein derzeitiger PC sind noch aus der DDR2 Ära, also zumindest nicht das Mittel der Wahl. Ich habe jetzt auch nicht neu gekauft sondern einfach zwei PCs gebraucht auf Willhaben erworben, die übriggebliebenen Teile Verkaufe ich wieder. Ja ich habe mich schon viel in der Theorie bezüglich Modell größe eingelesen und das hatte auch den Grund für diese Zusammenstellung, ich wollte auch zumindest bis 120b testen können, auch wenn die sicher sehr langsam laufen werden. Wo laufen bei dir die Modelle? Host, Docker, LXC, etc.? Agenten vermutlich in einer VM? |
||
|
||
|
Hallo tempo85, hier gibt es dazu Erfahrungen und Preise: Der Homelab-KI-Sammelthread – Hardware, llama.cpp, Openclaw, etc. |
||
|
|
||
|
||
|
So genau weiß ich das gar nicht, weil mein Setup Spielerei ist: Claude Code hat autonom mit Fable alles geplant und mit Opus ausgeführt. Aber im Prinzip wird er llama.cpp nutzen und die Modelle selber hosten. Nutze aber auch nur Qwen 3.6 derzeit und versuch hier soweit alles zu verstehen und einzustellen. Für Agenten hab ich Agent Zero laufen. Claude orchestriert und managed de PC (Updates und dgl) - da mache ich gar nichts, deswegen weiß ich's auch nicht wirklich. Wenn die Agenten anstehen, weil sie den Task nicht finishen können, dann fragen sie Sonnet, dann Opus. Für komplexe Tasks plant immer Opus und Qwen führt nur aus. Ist halt einmal ein Test, was KI so treibt mit einem PC, wenn man ihr die Kontrolle überlässt. PC ist isoliert im Netzwerk, hat keinerlei Infos über mich und nur neue Accounts für gmail usw. |
||
|
||
|
Welche Modelle genau willst du laufen lassen und für welche Use Cases? Habe aktuell openAI via Azure angebunden, das ist aus privacy-Sicht aktuell m.E. die beste Wahl, wenn man bei den aktuellen Hardware-Preisen nicht kaufen und einen schnellen Start haben will. Agenten/OpenClaw in eigener VM, Model in LXC. Auf den Virtualisierungshost gehört m.E. keine Workload aus Security- und Management-Gründen. |
Beitrag schreiben / Werbung ausblenden?
Einloggen
Kostenlos registrieren [Mehr Infos]