Latent Space·· 3 小时前精选AI 评分92
DeepSeek开源DeepInfer推理引擎，披露155T tokens/天吞吐量与高利润率
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek开源DeepInfer推理引擎，支持分布式推理、投机解码与结构化输出，覆盖NVIDIA与华为昇腾平台。官方披露单集群日处理155万亿token，输入缓存命中率96%，峰值收入达38美元/GPU小时，推理利润率超80%。vLLM团队复现结果显示解码吞吐量差距在6%以内。
推荐理由
DeepSeek开源DeepInfer推理引擎并披露生产数据，揭示了高缓存命中率下的推理经济模型与工程架构。
来源：Latent Space · latent.space