DeepSeek 开源推理引擎 DeepInfer：单集群日吞 155 万亿 token 的官方部署方案
DeepSeek 把自家生产环境用的推理框架 DeepInfer 开源了，仓库 Apache 2.0 协议，同日放出配套的 Token 编解码组件 deepseek-recipe（MIT 协议）和一份 30 页的《DeepSeek V4.1 Flash 推理部署 Q&A》。官方在 Q&A 文档里给出了这套路由和生产集群的运转数据：单一集群服务吞吐 155 万…
标签: 推理
清除筛选
Cerebras 晶圆级推理：GPT-5.6 Sol Ultrafast 如何实现 750 tok/s
750 tokens per second. Cerebras 和 OpenAI 在 8 月 13 日联合发布的 GPT-5.6 Sol Ultrafast 模式达到了这个数字，比 GPT-5.6 Sol 的标准推理速度快 14 倍。更关键的是，这个速度没有牺牲任何智能水平：运行在 Ultrafast 模式下的 GPT-5.6 Sol 与标准模式输出完全相同…
Swiftlet：让 80B 大模型跑在 4.3GB 内存里的专家流式推理
一台 16GB 内存的 Mac mini 跑 80B 参数的大模型，一台 iPhone 17 跑 35B 参数的模型——而且不是靠云端中转，全部在本地完成。开源项目 Swiftlet 用一种叫做「专家流式推理」（Expert Streaming）的技术做到了这一点，峰值内存占用分别只有 4.3GB 和 2.5GB。 Swiftlet 项目主页 Swiftle…