The Decoder· Matthias Bastian·· 3 小时前AI 评分65
Anthropic 发布 Message Threads 功能,长对话首字延迟降低 35%
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
AI 导读
Anthropic 在 Claude 平台发布 Message Threads 公测功能,通过仅传输对话变更内容,将 50 万至 100 万 token 请求的首字延迟降低约 35%。该功能支持编码与计算机使用智能体,线程在内存中加密保存且 5 分钟无活动后过期,总 token 消耗不变,可通过 Claude 平台及 AWS、Microsoft Foundry、Google Cloud 使用。
来源:The Decoder · the-decoder.com