DeepSeek开源推理框架：一卡每小时赚38美元

一张卡每小时收入38美元。这是DeepSeek在10月20日发布的最新数据——在其内部大模型推理服务中，单张计算卡的平均收入水平。同一天，DeepSeek将其支撑这项业务的底层推理框架DeepIner全面开源，并公布了详细的技术报告。这不是第一次DeepSeek抛出重磅技术成果。在过去一年多的时间里，这家公司已经陆续开源了一系列大语言模型、编译工具TileLang以及算子库。但从技术演进的角度看，这一次有所不同：他们公开的不是一个单一的算法或模型参数，而是整个推理服务的运转逻辑，包括吞吐量和收入的精确数字。

对AI行业来说，这相当于把一家头部模型的“后端流水线”完全摊开。公开的技术报告显示，单一集群的服务吞吐达到155万亿Tokens／天。这个数字有多大的分量？作为参照，目前全球主流云服务商基于GPT系列模型的推理吞吐量大多集中在数千到数万亿Tokens／天的区间。DeepSeek的这个数据至少比行业内普遍水平高出几个数量级。接下来的问题是：这套系统能帮别人省下多少钱？或者说，“38美元／小时”这个数字到底有多实在？

“印钞机”的逻辑拆解

在大模型的世界里，训练和推理是两个完全不同的环节。训练是让模型学习知识的过程，代价高昂但通常只做一次；而推理则是模型上线后不断为人服务的过程，只要有人调用就会持续发生。从经济角度看，推理阶段的成本往往远超训练阶段——因为训练是一次性的投资，推理却是长期持续的消耗。

DeepSeek的公开报告明确指出：大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，取决于推理框架这一中间层。推理框架负责统筹调度庞大的算力集群，协调各个芯片之间的协同工作，其效率直接决定了AI服务的最终算力成本和电力消耗。这意味着什么？简单来说，同样的模型，靠不同的推理框架运行，成本可以相差巨大。DeepSeek用两个数字展示了他们在这一环节的竞争力：155万亿Tokens／天的吞吐能力和每卡每小时38美元的收入。

但这个数字需要仔细拆解。报告中注明“按谷价”，意味着这是在电力低谷时段的收入水平。在大多数地区，工业用电价格在夜间和清晨低谷时段仅为高峰时段的三分之一左右。因此如果企业在电力高峰时段运行同样规模的集群，单位成本会显著上升。此外，这个数字反映的是DeepSeek自身大规模服务的整体收入除以总卡时后的平均值。对于自建小规模集群的企业而言，由于无法达到相同的规模效应和负载利用率，单位卡时的实际收益很可能远低于这一水平。更重要的是，这个38美元的收入数字没有扣除任何运营成本——设备折旧、运维人工、带宽费用等均未包含在内。

开源了什么，没开源什么

任何开源行为都有其边界。DeepSeek在GitHub仓库的说明中，给出了非常明确的交付范围。此次发布提供的是离线推理及大规模服务所需的核心能力，但要搭建完整的在线服务，开发者仍需自行补齐三项关键组件：KV缓存系统、推理阶段的分离部署方案，以及跨副本负载均衡机制。

这意味着，DeepSeek开源的是一个经过高度优化的推理引擎和积累多年的工程经验，而非开箱即用的完整解决方案。企业在实际部署时，还需要投入相当的资源用于系统集成和长期运维优化。从技术架构的角度看，DeepInfer支持两种核心能力：分布式推理和推测解码。前者意味着该框架可以将一个大模型的推理任务拆分为多个子任务并行处理；后者则是一种加速推理的高级技术，通过预测性生成减少实际的token输出数量。

更值得关注的是硬件兼容能力。DeepInfer设计之初就确立了兼容多厂商芯片的目标——不仅支持英伟达GPU，还支持华为昇腾平台。在当前全球算力供应紧张且出口管制持续收紧的背景下，这种兼容性具有特殊意义。它让国内企业在获取算力资源时拥有了更大的选择空间。

谁受益，谁承压

不同体量的企业从DeepInfer中获得的利益差异显著。对于拥有足够技术和运维团队的中大型AI企业而言，DeepInfer的价值在于提供了一个已经被生产环境验证的高性能基线。直接使用或借鉴其架构，可能减少数月甚至半年的调试和优化时间。这些节省下来的研发人力和时间成本，对于融资环境日益紧缩的中国AI行业来说，本身就是一笔不小的财富。

对于中小型创业团队，情况则更为复杂。虽然获得了核心引擎的代码，但配套的KV缓存系统、负载分配、监控告警等基础设施模块仍需自建或采购。这些组件并非简单的代码拷贝就能解决，而是需要理解业务场景、掌握相关领域专业知识后才能有效配置。如果缺乏相应的技术积累和管理经验，盲目跟风部署反而可能导致严重的资源浪费和投资损失。

对于传统云服务商而言，DeepSeek的做法带来了一定的竞争压力。如果越来越多的企业发现自建私有化部署的成本低于购买云服务，那么云厂商的推理服务市场份额将面临结构性下滑的风险。这也解释了为何近年来国内多家云服务商都在加速研发自己的推理优化产品，试图在这场竞争中保住有利位置。

接下来看什么指标

判断DeepInfer开源的实际影响力，建议持续关注以下几项可验证的指标：第一是GitHub上的Fork和Star数据变化速度。短期内的热度可以反映技术圈的关注度，但长期的活跃贡献者数量和真实Fork使用率才是衡量采用意愿的关键指标。第二是有无中型企业公开发布基于DeepInfer的生产环境部署数据和技术白皮书。仅有技术Demo展示和真正投入生产环境之间存在显著差距。第三是华为昇腾平台上运行的性能表现是否与英伟达平台保持接近的吞吐量水平，这直接关系到国产算力平台能否成为可替代方案。第四是其他AI公司是否会跟进开源类似的推理框架。DeepSeek的首发优势能否转化为行业标准，取决于整个生态跟随者的数量和质量。最后是也是最重要的检验标准：那些实际部署了DeepInfer的企业，是否在电费、人工维护和设备折旧之外实现了真正的总体拥有成本下降。这才是判断“38美元／小时”是否值得相信的最终依据。