Redis推出LangCache：语义缓存服务可大幅降低LLM API成本

近日，Redis公司推出了名为LangCache的全新语义缓存服务。该服务通过在应用与模型之间提供一个智能缓存层来减少大规模语言模型（LLM）API的成本，并提高响应速度。LangCache能够识别并匹配用户输入的问题与其之前的相似问题，从而避免重复计算和请求。据Redis公司报告，使用LangCache可以实现高达90%的API成本节省以及最多15倍的缓存命中响应加速。例如，在处理客户支持请求时，即使用户的提问方式不同，LangCache也能识别出相同的意图并返回之前存储的答案，而无需重新调用模型进行生成和解码。目前，LangCache作为Redis Cloud上的公共预览版提供，并可通过REST API以及Python和JavaScript SDK访问。