Kimi K3 本地部署需要多少 GPU？1.4–2.8TB 权重显存与租赁成本规划

先说结论：Kimi K3 不是一台普通工作站能完整部署的模型。月之暗面公布的总参数量是 2.8T，并计划在 2026 年 7 月 27 日前发布完整权重；截至本文 7 月 18 日数据快照，API 已可使用，但完整权重尚未开放下载，因此现在只能做容量规划，不能把估算写成“实测部署教程”。只计算权重，4-bit 约需 1.4TB，FP8 约需 2.8TB，还没有算 KV cache、运行时缓冲、批量并发和容灾。多数团队现在更适合先测试官方 API；真正准备自部署的团队，可以先用下方卡数与 ComputeUnion GPU 租赁价格曲线做预算，等权重、量化文件、许可证和推理框架发布后再校正。

显存怎么算：2.8T 参数为什么改变部署决策

最基础的下限公式是“参数量 × 每个权重占用字节数”。它能快速排除不可能的硬件方案，但不是完整部署账单。

权重格式	下限计算	仅权重显存	适合用来判断什么
4-bit	2.8T × 0.5 byte	约 1.4TB	乐观量化方案的理论地板
FP8 / 8-bit	2.8T × 1 byte	约 2.8TB	偏高质量推理基线
FP16 / BF16	2.8T × 2 bytes	约 5.6TB	对成本敏感的部署通常不现实

K3 是 MoE 模型，每个 token 激活 896 个专家中的 16 个，因此活跃计算量会下降；但这不等于只需要存储 16 个专家。除非正式运行时提供不同的权重放置方案，集群仍要为完整权重集合准备容量。

按显存估算 GPU 卡数

GPU 配置	单卡显存	4-bit 数学最低卡数	初步规划范围
NVIDIA H100 SXM 80GB	80GB	18	24 张以上
NVIDIA H200 SXM 141GB	141GB	10	12–16 张
NVIDIA B200 SXM 180GB	180GB	8	10–16 张
AMD MI300X 192GB	192GB	8	10–12 张

“数学最低卡数”只够装入估算后的 4-bit 权重；后面的规划范围留了一部分运行余量，但仍然不是已经验证过的 K3 配方。百万上下文、并发请求、专家路由、张量/专家并行、通信缓冲和框架兼容性都会改变最终卡数。

用 ComputeUnion 价格曲线，而不是盯着某一个小时报价

GPU 租赁价会随平台、地区、库存、按需/竞价策略和互联方式变化。上方曲线读取 ComputeUnion 最近 30 天对四种候选 GPU 配置记录的每日最低按需价。它能帮助判断两件事：目标拓扑是否真的有库存，以及先租一个短期集群是否比立即采购硬件更合理。点击每张 GPU 卡片，可以查看供应商报价与更完整的历史走势。

• H100：软件生态和可租渠道较成熟，但卡数更多，互联和协调成本也更高。
• H200：单卡显存更大，可以减少理论卡数，同时保留 NVIDIA 软件生态。
• B200：当前一代高显存方案，做预算前要核对地区库存与多机拓扑。
• MI300X：显存密度高，但必须等 K3 正式推理栈确认 AMD 运行路径是否可用。

显卡之外还需要什么

1. 高速互联：多卡推理依赖高效集合通信，普通 PCIe 多机方案可能把算力优势消耗掉。
2. 主机内存与存储：要为权重暂存、格式转换、恢复副本和检查点预留多 TB NVMe。
3. 推理软件：必须确认所选框架支持 K3，并使用官方或可审计的量化产物。
4. 运行余量：KV cache、批处理、健康检查、节点故障和滚动升级都要占容量。
5. 真实任务验证：用自己的代码、Agent、多模态和长上下文任务测量，不要只看峰值吞吐。

现在买 API，还是等自部署？

你的情况	建议动作	原因
先判断 K3 能力	先用官方 API	不承担集群成本，现在就能测合格任务成本
用量波动或利用率低	继续用 API 或短租 GPU	大型空闲集群可能比 token 账单更贵
高用量、稳定、敏感业务	权重发布后做 PoC	运行时和真实利用率确定后，自部署才有控制优势
个人消费级工作站	不要按完整 K3 规划	24GB、48GB 显卡远低于权重显存下限

明确结论

现在要验证 K3，就买 API；要自部署，就等权重和推理栈发布后先租短期多卡集群测试。完整 K3 的问题不是“买哪一张显卡”，而是“哪一种 10–24 张以上加速卡的拓扑，能装下模型并保留足够运行余量”。ComputeUnion 的优势，是把容量计算与实时 GPU 租赁市场、价格历史、平台库存和现有的 K3 API 价格页连接起来。

数据来源与计算方法

K3 参数量、MoE 激活方式、上下文、可用状态、数值格式和 7 月 27 日权重计划来自月之暗面 Kimi K3 官方发布页。硬件显存规格来自 NVIDIA H100、NVIDIA H200和 AMD MI300X产品页；B200 使用 ComputeUnion 当前跟踪的 180GB 配置。GPU 价格曲线与平台链接来自 ComputeUnion 自有租赁价格观测。卡数范围是容量规划估算，不是厂商认证的 K3 部署要求。