Back to topic rankingsDeepSeek just open sourced its high-performance, large-scale inference framework DeepInfer in Apache-2.0 license.
https://t.co/W2cfi6O9LO
Supported features:
- Optimized kernels, model and sampler runtime
- Parallelism: Attention DP / balanced CP, MoE EP + EPLB
- DSpark and confidence-scheduled verification
- SWA bounded replay
- Asynchronous scheduling (zero-overhead batch scheduler)
- Batch-invariant inference
- Deterministic sampling
- Structured output 今天有个搞Infra的小男娘发消息跟我说
这是他成年以来最好的秋天
这一年他终于找到了做推理优化的工作
每天和GPU、Kernel、MoE、KV Cache打交道
以前想研究DeepSeek的推理系统，只能对着论文、技术博客和Benchmark，一点点猜他们线上到底是怎么跑的
今天DeepSeek突然把DeepInfer开源了
分布式推理、推测解码、SWA Bounded Replay，连调度器和高性能���子都放出来了
英伟达和华为昇腾都支持，连生产级的Token编解码组件也一起开源
过去要花几个月研究的东西，现在直接就能在GitHub上看源码
今天下午他坐在工位上
突然整个Infra群都沸腾了
所有人停下手头的调参，开始疯狂Clone仓库
有人在看Kernel，有人在研究调度器，还有人在讨论怎么把公司祖传的推理框架换掉
他说很开心
有种人类Infra黄金时代的错觉
梁文锋格局怎么这么大？不仅模型开源了，现在又把推理框架也开源了，而且就是deepseek V4.1-Flash 现在正在用的核心推理框架。 We are releasing DeepInfer, deepseek-recipe, and other vital components for serving DeepSeek models in the hope that more companies and organizations around the world will deploy DeepSeek models and profit from doing so. Ok啊，DeepSeek 也是把自己全家都开源了 https://t.co/Pwd2cvZGfs
DeepSeek 把自己低价的秘密武器推理框架给全部开源了
这将推动所有模型大降价
善莫大焉
大鲸鱼是人类之光 DeepSeek 开源自家推理框架 DeepInfer：Apache 2.0 可商用，目前只支持 V4.1-Flash，要用 Blackwell 或昇腾 950 这类数据中心显卡
DeepSeek 把自家线上服务用的推理框架 DeepInfer 开源了，还一起开源了配套组件 deepseek-recipe。
模型文件只是一堆训练好的参数，好比一本菜谱。接单、排队、在显卡上把答案算出来，靠的是推理框架，相当于后厨的出餐系统。出餐系统调度得好，同样的显卡能多接几倍的单，每个人等得也更短。
DeepSeek 说 DeepInfer 就是支撑 V4.1-Flash 大规模服务的那一套，开源是为了帮大家省算力、省电。
它最主要的提速手段叫投机解码。大模型平时一个字一个字往外写，每写一个字都要把整个模型算一遍。投机解码让一个轻量的“草稿手”先猜后面几个字（默认最多 5 个），大模型一次核对完，猜对的直接收下，猜错的重写。
普通用户不会直接用到它。它要跑在英伟达 Blackwell 一代的数据中心显卡（代号 SM100）或华为昇腾 950 上，官方测性能用了 4 到 64 块这样的卡，个人电脑跑不动。模型也只支持 V4.1-Flash 一个，官方说以��新模型的推理代码也会放进来。
用得上的是想自己部署 DeepSeek 的企业和云服务商，可以直接拿 DeepSeek 调好的方案。不过这次放出的只是“离线推理”部分，缓存对话前文的系统、把读输入和写输出拆到不同机器的部署方式、多台机器间的流量分配都没包含，要搭成完整的线上服务还得自己补。
deepseek-recipe 管的是另一个问题：自己部署的 DeepSeek，在提示词怎么拼、工具调用怎么解析这些细节上，可能和官方 API 对不上。
deepseek-recipe 像前台接单员，把 OpenAI 和 Anthropic 的几种常见请求格式统一翻译成 DeepSeek 模型能读的输入，再把模型输出的思考过程、工具调用等翻译回去，逻辑和官方 API 对齐。
DeepInfer 用 Apache 2.0 协议，允许免费商用和修改。deepseek-recipe 用 MIT 协议，同样可以商用，有 Python 和 Rust 版本，支持 V4 和 V4.1。
DeepInfer：https://t.co/Tn3BtmA9Ec
deepseek-recipe：https://t.co/1YArQ0vtYS 社区升级服务的速度都赶不上 deepseek 的开源速度。deepseek 没有任何一次让我失望，是当之无愧的 openai。
AIPositiveAll-time data
DeepSeek开源DeepInfer推理框架，模型与硬件支持范围受关注
DeepSeek相关发布者宣布开放DeepInfer、deepseek-recipe等模型服务组件，中文X的讨论进一步聚焦线上推理系统开放及部署条件。Tianyi Cui表示，发布这些组件是希望更多企业和组织能够使用相关技术，但正文截断，未展示完整说明。宝玉称，DeepInfer采用Apache 2.0许可证，目前仅支持V4.1-Flash，并需要Blackwell或昇腾950等数据中心硬件。qinbafrank强调这是DeepSeek线上模型正在使用的核心推理框架，响马则肯定其持续开源。讨论整体积极，但候选材料未展示完整兼容清单、部署测试或成本对照，不能据此确认普通设备可运行，也不能量化开源带来的降本幅度。
#DeepSeek#DeepInfer#deepseek-recipe#推理框架#开源
Topic heat
5046
Posts
8
Views
54.9万
Creators
7
Topic trend
From first appearance to last update, with a seven-day minimum window.
All related posts
8 posts in total
