AI · 18 November 2026
Anthropic Message Threads 长对话首个token延迟缩短35%
据The Decoder报道,Anthropic为Messages API推出的Message Threads功能,在50万至100万个token的长对话请求中将首个token生成时间缩短约35%,方法是只传输对话增量而非每轮重发完整历史。
事件概要
据The Decoder报道,Anthropic为其Messages API推出的Message Threads功能,在长对话场景中将首个token的生成时间缩短了约35%。该功能不再在每一轮对话中重新发送完整历史记录,而是只传输对话的增量变化。
报道指出,这一提速效果适用于包含50万至100万个token的请求。对于这一区间的长对话,首个token的响应时间明显下降,这直接影响用户在等待回复时的感受。
为何重要
对于依赖大模型构建对话产品的企业而言,长对话的性能瓶颈往往不在于模型生成本身,而在于每一轮都要重复处理大量历史内容。当对话越来越长,等待感随之累积,用户体验和使用成本都会受到影响。Message Threads的思路是减少重复传输,把计算资源集中在真正的新内容上,这反映出AI基础设施正从"能用"转向"好用、用得起"。
对于正在把AI嵌入客服、咨询或内部知识工具的团队来说,这一变化提示:对话架构的设计,将和模型选型同样影响最终的服务质量。
关键数据
- 约35%:长对话场景中首个token生成时间的缩短幅度(适用于50万至100万个token的请求)。
- 50万至100万个token:报道中提到的受益请求规模区间。
- 每一轮:此前需要完整历史记录重复发送的环节,现改为只发送对话变化部分。
Renascence观点
大多数读者会把注意力放在"35%"这个数字上,但更值得关注的是它揭示的服务设计原则:用户对速度的感知,往往由对话中最慢的那一刻决定,而不是平均值。长对话恰恰是用户最投入、也最容易失去耐心的时刻。
真正的问题不是模型能否回答,而是用户在第四十轮对话时是否还愿意等待。这项改进的价值,在于它关注的是长对话里的摩擦感,而不只是单次请求的速度。对于体验负责人而言,这一信号值得认真对待:不要只看平均响应时间,而应按对话长度分段测量延迟,找出用户真正流失的节点。同时,也要留意该数据针对的是特定token区间,不应直接推断到所有场景。
Sources
This briefing was written by our Newsdesk, synthesising reporting from the outlets below. Follow the links for the original coverage.
FAQ
Questions we get on this topic
Stay ahead of CX
Get the signal, not the noise.
The stories shaping customer experience — plus the Journal and Experience Loom — in your inbox.


