我能在本地跑这个大模型吗？
选择模型和你的显卡或 Mac，查看在当前量化和上下文长度下需要多少内存——放不下时该怎么调整。
结果
完全放得下
Qwen3 8B · Q4_K_M · 8K → NVIDIA GeForce RTX 3060 12GB. 余量 4.52 GB。
| 组成部分 | 内存 |
|---|---|
| 权重真实 GGUF 文件：Q4_K_M | 4.68 GB |
| KV 缓存8K token × 1 序列，F16 | 1.13 GB |
| 运行时额外开销权重的 10% | 0.47 GB |
| 总共需要 | 6.28 GB |
| 你的硬件可用12.0 GB 的 90% | 10.8 GB |
运行
仅作起点，不保证可用。会从 Hugging Face 下载 GGUF。
llama.cpp
llama-server -hf unsloth/Qwen3-8B-GGUF:Q4_K_M -c 8192 -ngl 999ollama
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
ollama run hf.co/unsloth/Qwen3-8B-GGUF:Q4_K_M模型详情
- 参数量
- 8.2BDerived from the BF16 GGUF size (16388044384 bytes / 2 bytes per weight), text model only
- 层数
- 36
- 注意力
- 完整注意力（GQA）36× full (8 KV × 128)
- 最大上下文
- 40K
- 许可证
- apache-2.0
- 配置来源
- Qwen/Qwen3-8B同步于 2026-10-18
估算方法
- 权重：优先使用 Hugging Face 上 GGUF 文件的真实大小，否则按 参数量 × 每权重位数 ÷ 8 计算。
- KV 缓存：按模型真实架构计算——KV 头数（GQA）、滑动窗口层、MLA 以及混合线性注意力层。
- 额外开销与可用内存：默认取权重的 10%、显存的约 90%（Apple Silicon 约 72%）。所有假设都可调整。
常见问题
在本地运行大模型需要多少显存？
大致等于 模型文件大小 + KV 缓存 + 约 10% 的额外开销。在常用的 Q4_K_M 量化下，权重约为每十亿参数 0.6 GB（8B 约 5 GB，70B 约 43 GB），KV 缓存随上下文增长。
上下文长度会占用显存吗？
会。上下文中的每个 token 都要为每个注意力层保存键和值。Llama 3.1 8B 在 FP16 下每 8,192 个 token 占 1 GiB。使用滑动窗口、MLA 或混合线性注意力的模型占用少得多。把 KV 缓存量化为 Q8_0 大约能减半。
模型放不进显卡会怎样？
llama.cpp、Ollama 和 LM Studio 可以把部分层放在 GPU、其余放在系统内存（部分卸载）。可以运行，但生成速度通常会慢很多。计算器会估算能放进 GPU 的层数（-ngl 的值）。
可以组合两块显卡吗？
可以。llama.cpp 会把层分配到多块 GPU 上，显存相加，每块卡会有少量空间用不上。在计算器中添加第二块 GPU 即可。
为什么 Mac 不能把全部内存用于模型？
Apple Silicon 的内存由 CPU、GPU 和 macOS 共享，默认只有一部分能分配给 GPU。实际可按总量的约 70–75% 估算，这也是计算器对 Mac 的默认值。