开源大模型引发热议自打Kimi K3开源后“部署大模型”成网上热议话题。它全球性能第三且免费下载令人心动。但网上流传自己搞定K3约需3000万购置设备因其总参数2.8万亿权重文件1.4TB - 1.5TB实际显存超2TB。Kimi官方建议至少一个64张加速卡的超节点才能部署按B200算64张显卡2560万还需考虑机房、电费等前期投入起码两辆劳斯莱斯幻影。即便搞定设备后续电费、散热、调优等开销也不菲。多款国产开源大模型情况除K3外还有DeepSeek V4 - Pro、GLM - 5.2、Qwen 3.8等千亿或万亿参数级国产开源大模型。“普通人跑大模型”讨论早已有之2024年底DeepSeek V3开源时就引发热潮网上教程众多但真跑起来推荐配置是8张H100或A100成本高昂。网上“RTX 4090本地部署”教程跑的是阉割版效果差。2026年DeepSeek V4 - Pro 4月24日发布总参数1.6万亿需16张H200成本376万6月17日智谱开源的GLM - 5.2总参数约7530亿8张H200可跑7月19日阿里预览版Qwen 3.8总参数2.4万亿需64张B200约3000万。部署成本多方面考量电费方面以Qwen 3.8的64张B200为例满载功率高按工业用电算一年电费56万且服务器基本7×24小时运转。散热上B200风冷难压制需液冷液冷设备分两种价格不同。空间上设备重、体积大、压强高普通住宅无法承载且对环境要求高。运维也需3 - 5人专业团队人力成本超百万。出口管制与软件生态差距英伟达高端卡对中国出口管制不过推理用国产AI芯片可行但国产芯片软件生态差适配慢报错难解决。自建与API成本对比与官方API相比自建成本高回本难。以DeepSeek V4 - Pro为例API使用成本低一年约7万而自建硬件首年投入约436万“养”系统每年超120万折旧后超200万。且API厂商靠技术榨干算力自建GPU利用率低。下载模型与官方模型差异自己下载部署模型与官方API模型不同下载的只是权重文件从权重到好用的AI服务缺推理优化框架、KV缓存策略、动态批处理等闭源工程导致性能差距大。结论企业有需求可自建普通人部署大模型不划算花99元买Kimi订阅更合适开源不等于“免费部署”。
