Puis-je faire tourner ce LLM en local ?
Choisissez un modèle et votre GPU ou Mac. Voyez combien de mémoire il faut selon la quantification et la longueur de contexte — et quoi changer si ça ne tient pas.
Résultat
Tient entièrement
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 4.52 GB de marge.
| Composant | Mémoire |
|---|---|
| Poidsfichier GGUF réel : Q4_K_M | 4.68 GB |
| Cache KV8K tokens × 1 séq., F16 | 1.13 GB |
| Surcoût du runtime10 % des poids | 0.47 GB |
| Total requis | 6.28 GB |
| Utilisable sur votre matériel90 % de 12.0 GB | 10.8 GB |
Lancer
Point de départ, pas une garantie. Télécharge le GGUF depuis Hugging Face.
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_MDétails du modèle
- Paramètres
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- Couches
- 36
- Attention
- Attention complète (GQA)36× full (8 KV × 128)
- Contexte max.
- 40K
- Licence
- apache-2.0
- Source de la configuration
- Qwen/Qwen3-8Bsynchronisé le 2026-10-18
Comment l’estimation est calculée
- Poids : la taille réelle du fichier GGUF sur Hugging Face si elle existe, sinon paramètres × bits par poids ÷ 8.
- Cache KV : calculé à partir de l’architecture réelle du modèle — têtes KV (GQA), couches à fenêtre glissante, MLA et couches hybrides à attention linéaire.
- Surcoût et mémoire utilisable : 10 % des poids et ~90 % de la VRAM (~72 % sur Apple Silicon) par défaut. Toutes les hypothèses sont modifiables.
Questions fréquentes
Combien de VRAM faut-il pour faire tourner un LLM en local ?
Environ la taille du fichier du modèle, plus le cache KV, plus environ 10 % de surcoût. Avec la quantification Q4_K_M, un modèle demande environ 0,6 GB par milliard de paramètres pour les poids (8B ≈ 5 GB, 70B ≈ 43 GB), et le cache KV augmente avec le contexte.
La longueur de contexte consomme-t-elle de la VRAM ?
Oui. Chaque token du contexte stocke des clés et des valeurs pour chaque couche d’attention. Pour Llama 3.1 8B en FP16, c’est 1 GiB pour 8 192 tokens. Les modèles à fenêtre glissante, MLA ou attention linéaire hybride en demandent beaucoup moins. Un cache KV en Q8_0 le divise environ par deux.
Que se passe-t-il si le modèle ne tient pas dans mon GPU ?
llama.cpp, Ollama et LM Studio peuvent garder une partie des couches sur le GPU et le reste en RAM système. Cela fonctionne, mais la génération est en général bien plus lente. Le calculateur estime combien de couches tiennent (la valeur -ngl).
Puis-je combiner deux GPU ?
Oui. llama.cpp répartit les couches entre les GPU : leurs mémoires s’additionnent, moins un peu d’espace inutilisé sur chaque carte. Ajoutez un second GPU dans le calculateur.
Pourquoi mon Mac ne peut-il pas utiliser toute sa mémoire pour le modèle ?
Apple Silicon partage la mémoire entre CPU, GPU et macOS, et par défaut seule une partie peut être réservée au GPU. En pratique, comptez environ 70–75 % du total — c’est la valeur par défaut pour les Mac.