每天处理155万亿Token，DeepSeek开源推理引擎

DeepSeek将核心推理引擎DeepInfer正式开源。这一动作的含金量，不在于又发布了什么新模型，而在于它首次将大语言模型的“生产线底层逻辑”摊开在了全球开发者面前。按照Apache 2．0协议开放的DeepInfer，配合采用MIT协议的配套组件deepseek－recipe，直接切中了当前AI行业最昂贵的环节——算力消耗与推理延迟。

数据显示，支撑这套架构的系统日均处理能力达到155万亿Token，平均首字延迟压缩至400毫秒。在单一显卡的解码吞吐上，其性能峰值推高至每秒2．6万Token。当外界还在关注模型参数的多寡时，DeepSeek选择用一套底层的推理优化方案，试图重塑全球AI算力的分配方式。

反常的效率：为什么是“分离式”架构？

长期以来，大模型推理被视为一个不可分割的整体任务：计算与显存必须紧紧捆绑在同一块GPU上。这种传统的强耦合模式导致了巨大的资源浪费——处理请求前段（Prefill）的计算强度极高，而生成响应后段（Decode）则主要依赖显存带宽。结果是，企业不得不为两者分别购买硬件，造成高昂的运维成本。

DeepInfer的核心突破在于彻底实行了“推理分离”（Disaggregation）。它将庞大的集群拆分为两个独立运作的单元：专门负责处理的Prefill模块，与专门负责生成的Decode模块。最小部署单元由64张卡组成的Prefill组和64张卡组成的Decode组构成。

这种剥离带来的收益是立竿见影的。根据GitHub仓库披露的技术文档，在处理平均长度为77K Token的长文本场景下，一旦输入命中缓存，单次Prefill的速度可从每秒钟6万Token飙升至150万Token，实现了25倍的跨越。更重要的是，该系统实现了高达96％的输入缓存命中率。这意味着绝大多数计算被省去了，系统不再需要重复造轮子，而是像一个拥有极强记忆力的调度中心，随时调用已有的结果进行拼接。

缓存命中之所以如此高效，源于DeepSeek自研的3FS分布式存储集群。该集群提供了接近100 PiB（约10万TB）的全SSD存储容量。即便某台物理机器发生宕机，KV Cache也不会丢失。在Agent交互等高频工具调用场景中，这种机制将原本需要几分钟才能完成的重复性思考过程，压缩到了极短的窗口内。

算账逻辑的改变：从“烧钱买卡”到“软件榨干硬件”

技术参数的最终落脚点，永远是真金白银的经济账。

目前AI应用落地面临的最大阻碍，依然是推理成本居高不下。据相关统计推算，若按竞价市场（Spot Price）的谷电电价模型计算，搭载DeepInfer优化的单卡系统每小时可产生约38美元的有效收入。这并非官方审计的财务数据，却勾勒出了一幅极具竞争力的商业图景：当算力利用率被代码压榨到极致，单一节点的盈利门槛将大幅降低。

对于众多缺乏顶尖硬件资源的AI创业公司而言，DeepInfer的开源释放了一个明确信号：比拼算力堆砌的时代正在过去，比拼底层调度效率的时代已经到来。

在硬件兼容层面，DeepSeek选择了务实路线。框架不仅原生支持NVIDIA最新的SM100 GPU架构（需CUDA 13环境），同样对国产算力进行了适配，支持华为昇腾950 NPU。这种跨平台的通吃策略，意味着无论后端使用的是英伟达还是国产替代芯片，都能直接套用这套高效的推理模板。

开源的边界：并非全部底牌都已亮出

尽管代码库已托管至GitHub，但DeepInfer本质上是一次“选择性开源”。

在仓库的文件说明中，DeepSeek坦承部分核心基础设施并未开放。具体包括负责全局负载均衡的模块、VE（验证执行）层面的解耦实现，以及完整的KV Cache管理系统。对于这些保留的部分，官方给出的解释是“与内部基础设施绑定过深”，强行剥离会导致系统崩溃。

这反映出企业在开源战略上的谨慎考量。开源是为了建立生态标准和吸引更多开发者共同维护基础版本，但核心的高并发路由算法与大规模缓存调度，属于保持竞争优势的关键壁垒。因此，开发者拿到的是一套经过高度打磨、可直接投入生产的标准版（Offline Inference），而非能够直接复制其完整线上生产环境的终极形态。

此外，文中提及的155万亿Token日处理量和38美元的单卡经济模型，是基于特定集群规模和线上负载的估算值，尚未有第三方机构对开源代码的实际生产部署进行完全对标验证。在实际企业级应用中，如何根据自身的流量特征调整Batch大小、网络拓扑及专家并行度（EPLB），仍需工程团队进行大量二次开发。

观察指标：中国AI企业的下半场突围

DeepSeek此次出手，标志着国内头部AI厂商的竞争维度从单纯的“模型效果内卷”，升级到了“基础设施开源”的新阶段。闭源巨头如OpenAI依然依靠封闭API赚取超额利润，而开源阵营正通过不断降低推理门槛来构建护城河。

对于接下来的市场走向，建议重点关注以下三个指标：

第一，企业实际部署的降本幅度。理论上的吞吐量提升是否能在真实且良莠不齐的企业业务流中得到同等兑现，将是检验该引擎实用价值的唯一标准。 第二，主流云厂商的反应。随着推理基座向开源倾斜，云计算巨头是否会加速推进其自身的底层推理框架开源计划，或者转向提供针对这些开源引擎的深度集成服务。 第三，国产算力的生态融合深度。昇腾等国产芯片在接入DeepInfer后的综合能效表现，将直接影响未来几年中国自主可控AI算力体系的成熟速度。

这场开源行动不是终点，而是一把撬动AI推理产业格局的杠杆。谁能最先掌握底层的效率密码，谁就能在未来的AI商业竞争中掌握更大的定价权。