The Decoder· Matthias Bastian·· 4 小时前精选AI 评分82
DeepSeek开源推理引擎DeepInfer，加速V4.1-Flash模型部署
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek以Apache 2.0协议开源内部推理框架DeepInfer，该框架基于vLLM优化，用于支撑其最快且最便宜的V4.1-Flash模型。DeepSeek同时发布deepseek-recipe以复现官方API的Token处理逻辑，旨在帮助社区降低算力成本与能耗，此举预计将对OpenAI和Anthropic等西方提供商形成定价压力。
推荐理由
DeepSeek开源推理引擎DeepInfer，为自托管用户降低算力成本，同时加剧对西方厂商的竞争压力。
来源：The Decoder · the-decoder.com