AWS为Bedrock引入提示缓存与智能路由，降低大模型使用成本

AWS在其Bedrock大语言模型（LLM）托管服务中新增提示缓存和智能路由功能，旨在帮助企业在生成式AI的生产环境中降低运营成本。提示缓存可减少重复处理成本高达90%，同时降低响应时间高达85%。智能路由功能则通过分析查询复杂度，将简单请求分配给更经济高效的小型模型，从而实现性能与成本的平衡。此外，AWS推出Bedrock专用模型市场，支持企业接入数百种新兴和专业模型，为生成式AI的实际应用提供更大灵活性和选择空间。