DeepSeek 开源生产推理框架 DeepInfer：国产模型与国产芯片的软硬件闭环

10 月中旬，DeepSeek 在 GitHub 开源了支撑其大规模生产服务的推理框架 DeepInfer（Apache-2.0 协议），本周在 Hacker News 引爆——首页 2118 分，是近期开源项目罕见的热度，仓库数日内已超 1.2 万星。

开源了什么

DeepInfer 不是「演示级」代码，而是 DeepSeek 自己线上在跑的引擎核心，首批支持 DeepSeek-V4.1-Flash。特性清单很硬：

• 优化内核全家桶：FlashMLA、DeepGEMM、DeepEP、TileKernels 等 DeepSeek 此前陆续开源的算子库在此集成；
• DSpark 推测解码 + 置信度调度验证：用草稿 token 加速解码，按置信度决定何时验证；
• 批不变推理与确定性采样：相同输入在不同批次组合下结果完全一致，固定种子即可复现——这是企业审计与合规场景的刚需，多数开源推理框架都做不到；
• 异步零开销调度、SWA 有界重放、结构化输出（正则/JSON Schema/EBNF 约束生成）。

官方也坦诚了边界：这次开源不含完整服务所需的 KV cache 系统、Prefill/Decode 分离与跨副本负载均衡——「核心引擎都在，但要搭生产服务还得自己补三块」。

最大的信号：原生支持华为昇腾

硬件支持列表只有两行：NVIDIA SM100 GPU 与 华为昇腾 950 NPU（CANN 9.2）。这意味着 DeepSeek 把昇腾放到了与英伟达最新一代同等的一级支持位置——国产顶级开源模型 + 国产推理框架 + 国产 NPU 的完整软硬件栈，第一次由模型厂商官方闭环。此前「国产芯片跑国产模型」多靠第三方适配、性能打折；现在是同一团队为两种硬件分别调优内核。

对企业的启示

三点。其一，本地化部署 DeepSeek 的「正宗」路径出现了——与其在 vLLM/SGLang 上等社区适配，直接用官方引擎能拿到生产级的优化与确定性特性。其二，昇腾采购多了一个实打实的理由：若贵司因供应链考虑在评估国产算力，DeepInfer 的昇腾原生支持让「性能对标」从承诺变成可测的代码。其三，确定性采样值得单独记一笔——金融、医疗、政务场景要求「同一输入必须同一输出」，这个特性让 DeepSeek 在合规敏感行业的本地部署竞争力明显增强。ProMen 持续跟踪国产模型本地化部署路线，这是其中最值得关注的一个节点。