ai cache plugin support set skip ai cache header (#1380)

This commit is contained in:
澄潭
2024-10-21 15:43:01 +08:00
committed by GitHub
parent fc6902ded2
commit badf4b7101
3 changed files with 21 additions and 0 deletions

View File

@@ -9,6 +9,11 @@ description: AI 缓存插件配置参考
LLM 结果缓存插件,默认配置方式可以直接用于 openai 协议的结果缓存,同时支持流式和非流式响应的缓存。
**提示**
携带请求头`x-higress-skip-ai-cache: on`时,当前请求将不会使用缓存中的内容,而是直接转发给后端服务,同时也不会缓存该请求返回响应的内容
## 运行属性
插件执行阶段:`认证阶段`