mirror of
https://github.com/alibaba/higress.git
synced 2026-05-08 04:17:27 +08:00
ai cache plugin support set skip ai cache header (#1380)
This commit is contained in:
@@ -9,6 +9,11 @@ description: AI 缓存插件配置参考
|
||||
|
||||
LLM 结果缓存插件,默认配置方式可以直接用于 openai 协议的结果缓存,同时支持流式和非流式响应的缓存。
|
||||
|
||||
**提示**
|
||||
|
||||
携带请求头`x-higress-skip-ai-cache: on`时,当前请求将不会使用缓存中的内容,而是直接转发给后端服务,同时也不会缓存该请求返回响应的内容
|
||||
|
||||
|
||||
## 运行属性
|
||||
|
||||
插件执行阶段:`认证阶段`
|
||||
|
||||
Reference in New Issue
Block a user