以“价格战”为代表的大模型降本仍在继续，但相比直接降价，北京月之暗面科技有限公司（简称“月之暗面”）提出了增效方案。7月2日，该公司对外宣布，其大模型Kimi正式开放平台正式公测新技术——上下文缓存技术（ContextCaching）。月之暗面方称，这项技术将降低开发者使用长文本旗舰大模型的成本，最高可降本达90%。
上下文缓存（ContextCaching）技术是指系统预先存储那些可能会被频繁请求的大量数据或信息。当用户再次请求相同信息时，系统可以直接从缓存中快速提供，而无需重新计算或从原始数据源中检索。
月之暗面发布长下文缓存技术
月之暗面以常见的固定文档大量提问场景为例举例称，一份近9万字的硬件产品说明书，一般售前支持人员需要在10分钟内对产品的功能/使用方式进行40次问答，每次的问题大概在100个字，回答在120字以内。在接入上下文缓存技术后，9万字的文档只需创建并存储一次缓存，40次问答将仅只收取问题的100字+回答的120字的费用，预计花费11.88元，相当于比之前节省了141.95元，费用降低90%左右。
有业内人士向澎湃科技指出，月之暗面此次通过降低开发者使用长文本大模型的成本，本质在于提高长本文大模型产品竞争力。近期，自OpenAI宣布从7月9日起对国内开发者断供API后，从6月25日开始，国内多家大模型厂商纷纷表态可提供免费的迁移方案。有投资界人士向澎湃科技表示，大模型厂商纷纷提供可免费的迁移方案的背后，反映出一个核心问题，即这些大模型厂商的模型能力暂无法与其他家模型拉开一定差距，大部分的模型能力都差不多，没有太大差距。
