核心导读与中文摘要
详解系统指令、工具定义与共享知识前缀的缓存命中条件与排布顺序,大幅削减多轮对话与 Agent 重复 Token 计费。
Prompt Caching 核心原则:固定前缀放最前
几乎所有主流厂商(Anthropic、OpenAI、Google、DeepSeek、OpenRouter)的缓存机制都严格依赖完全匹配的前缀(Prefix Matching)。哪怕前缀第 10 个字符插了一个动态时间戳,后面的数万 Token 缓存都会全部失效!
正确的 Messages 排布顺序
text
1. [System Prompt] -> 静态角色规范与输出格式要求(不变)
2. [Tools Schema] -> 固定工具定义列表(排序稳定,不要每次随机增删顺序)
3. [Shared Knowledge] -> 仓库 Map / 核心手册 / Few-shot 示例(不变)
4. [Dynamic Metadata] -> 当前时间、用户名、会话 ID(放在用户消息末尾或独立尾段!)
5. [Conversation History] -> 多轮增量消息
