Läuft dieses LLM lokal bei mir?
Wähle ein Modell und deine GPU oder deinen Mac. Sieh, wie viel Speicher es bei deiner Quantisierung und Kontextlänge braucht – und was du ändern kannst, wenn es nicht passt.
Ergebnis
Passt vollständig
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 4.52 GB Reserve.
| Komponente | Speicher |
|---|---|
| Gewichteechte GGUF-Datei: Q4_K_M | 4.68 GB |
| KV-Cache8K Tokens × 1 Seq., F16 | 1.13 GB |
| Runtime-Overhead10 % der Gewichte | 0.47 GB |
| Benötigt gesamt | 6.28 GB |
| Nutzbar auf deiner Hardware90 % von 12.0 GB | 10.8 GB |
Ausführen
Ausgangspunkt, keine Garantie. Lädt das GGUF von Hugging Face herunter.
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_MModelldetails
- Parameter
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- Schichten
- 36
- Attention
- Volle Attention (GQA)36× full (8 KV × 128)
- Max. Kontext
- 40K
- Lizenz
- apache-2.0
- Konfigurationsquelle
- Qwen/Qwen3-8Bsynchronisiert 2026-10-18
So funktioniert die Schätzung
- Gewichte: die echte GGUF-Dateigröße von Hugging Face, falls vorhanden, sonst Parameter × Bits pro Gewicht ÷ 8.
- KV-Cache: berechnet aus der echten Architektur – KV-Köpfe (GQA), Sliding-Window-Schichten, MLA und hybride Linear-Attention-Schichten.
- Overhead und nutzbarer Speicher: standardmäßig 10 % der Gewichte und ~90 % des VRAM (~72 % bei Apple Silicon). Alles ist einstellbar.
Häufige Fragen
Wie viel VRAM brauche ich, um ein LLM lokal auszuführen?
Ungefähr die Dateigröße des Modells plus KV-Cache plus etwa 10 % Overhead. Bei der beliebten Q4_K_M-Quantisierung braucht ein Modell rund 0,6 GB pro Milliarde Parameter (8B ≈ 5 GB, 70B ≈ 43 GB); der KV-Cache wächst mit dem Kontext.
Verbraucht die Kontextlänge VRAM?
Ja. Jedes Token im Kontext speichert Keys und Values für jede Attention-Schicht. Bei Llama 3.1 8B in FP16 sind das 1 GiB pro 8.192 Tokens. Modelle mit Sliding Window, MLA oder hybrider Linear Attention brauchen viel weniger. Ein Q8_0-KV-Cache halbiert den Bedarf ungefähr.
Was passiert, wenn das Modell nicht in meine GPU passt?
llama.cpp, Ollama und LM Studio können einige Schichten auf der GPU und den Rest im Arbeitsspeicher halten. Das funktioniert, ist aber meist deutlich langsamer. Der Rechner schätzt, wie viele Schichten passen (der -ngl-Wert).
Kann ich zwei GPUs kombinieren?
Ja. llama.cpp verteilt die Schichten auf die GPUs, der Speicher addiert sich also, abzüglich etwas ungenutztem Platz pro Karte. Füge im Rechner eine zweite GPU hinzu.
Warum kann mein Mac nicht seinen gesamten Speicher für das Modell nutzen?
Apple Silicon teilt den Speicher zwischen CPU, GPU und macOS; standardmäßig kann nur ein Teil für die GPU reserviert werden. Als Faustregel gelten 70–75 % des Gesamtspeichers – das ist der Standardwert für Macs.