DeepSeek开源推理框架DeepInfer
先了解这件事
10月20日，DeepSeek（深度求索）将内部大规模云服务推理框架DeepInfer全面开源，并同步开放生产级Token编解码组件deepseek-recipe，两者均采用Apache 2.0协议。DeepInfer可在英伟达与华为昇腾平台运行，支持分布式推理、推测解码、结构化输出等能力；DeepSeek称已基于该框架实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，后续新模型的推理代码与优化也将持续在该框架内更新。 DeepSeek披露，单个集群每天可处理155万亿Token；按API谷时价格折算，平均每GPU小时对应38美元收入。腾讯科技称这是根据Token处理量和公开API价格折算出的理论计费收入，实际情况要复杂得多。 此次开放的是离线推理框架。DeepSeek在技术报告和README文档中说明，搭建完整在线服务仍需外部补齐KV缓存系统、Prefill/Decode分离部署、跨副本负载均衡等组件。
AI 根据报道生成 · 8 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- 腾讯科技 · 商业与职场DeepSeek算了一笔账：一张GPU每小时38美元，推理生意谁在赚钱
DeepSeek在10月20日开源推理框架DeepInfer时披露，单个集群每天可处理155万亿Token，按API谷时价格折算平均每GPU小时对应38美元理论计费收入。
- 虎嗅 · 科技与人才DeepSeek开源推理框架DeepInfer，兼容英伟达与昇腾
DeepSeek在V4.1-Flash-1017版本后开源内部推理框架DeepInfer，可在英伟达与华为昇腾平台运行，并同步开源Token编解码组件deepseek-recipe。
- 21世纪经济报道 · 公司DeepSeek开源推理框架DeepInfer，披露单集群155万亿Tokens/天与每卡每小时38美元收入
10月20日，DeepSeek开源兼容英伟达与华为昇腾芯片的推理框架DeepInfer，并发布技术报告《DeepSeek-V4.1-Flash 大规模推理部署实践》。
- TechNode · 中国企业快讯DeepSeek 开源推理框架 DeepInfer，支持英伟达与华为昇腾芯片
DeepSeek 于10月20日开源其大规模模型服务背后的推理框架 DeepInfer，支持英伟达 GPU 和华为昇腾处理器，提供分布式推理、投机解码和结构化输出等能力。
- cnBetaDeepSeek 开源推理框架 DeepInfer 与 Rust 组件 deepseek-recipe
DeepSeek 开源推理框架 DeepInfer 和 Rust 组件 deepseek-recipe，均采用 Apache 2.0 协议，并称未来新模型的推理代码和性能优化也会持续放入 DeepInfer。
- 钛媒体 · 公开RSS桥接DeepSeek开源推理框架DeepInfer，对等支持华为昇腾950与英伟达SM100
10月20日，DeepSeek宣布开源自研推理框架DeepInfer，华为昇腾950系列NPU与英伟达SM100（Blackwell架构GPU）同时出现在支持名单中，二者处于对等的构建选项地位、来自同一代码树，仅通过一个环境变量即可切换。
- 南华早报 · 科技DeepSeek 开源推理框架 DeepInfer，支持 DeepSeek-V4.1-Flash
DeepSeek 周二开源内部研发的推理框架 DeepInfer，用于高效运行 AI 模型，适配 Nvidia SM100 Blackwell GPU 与华为芯片，并针对 DeepSeek-V4.1-Flash 模型提供支持。公司一位资深研究员将开源与闭源 AI 的分化形容为“光明与黑暗”之争，称此举意在追求对闭源 AI 的“全面胜利”。
- 21世纪经济报道 · 公司DeepSeek 开源原生推理框架 DeepInfer 及 Token 编解码组件
深度求索 10 月 20 日宣布将内部推理框架 DeepInfer 全面开源，并同步开放生产级 Token 编解码组件 deepseek-recipe。
- 第一财经 · 科技DeepSeek 开源推理框架 DeepInfer，披露单卡每小时收入 38 美元
DeepSeek 于 10 月 20 日开源内部大规模云服务推理框架 DeepInfer，并披露基于该框架已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务，单一集群吞吐达 155 万亿 Tokens/天，整体收入为每卡每小时 38 美元（按谷价）。