语义缓存

​

工作原理

1. Theo 根据请求参数(提示词、模式、技能、工具)生成一个确定性的缓存键
2. 检查服务端缓存中是否存在匹配的条目
3. 命中时:立即返回缓存的响应 —— 零成本,延迟低于 10ms
4. 未命中时:运行完整的编排流程,缓存结果,然后返回

​

缓存键的计算方式

• 提示词文本(精确匹配)
• 模式(auto、fast、think 等)
• 生效的技能 slug
• 内联的工具定义

​

TTL 行为

​

缓存作用域

• 缓存是按用户隔离的 —— 你的缓存响应不会与其他账户共享
• 当使用组织级密钥时,缓存按 key 隔离

​

检测缓存命中

const res = await theo.complete({ prompt: "What is DNS?" });

if ((res as any)._cached) {
  console.log("Cache hit! Cost: 0");
} else {
  console.log(`Cache miss. Cost: ${res.usage.cost_cents}¢`);
}

​

成本影响