語義緩存

​

工作原理

1. Theo 根據請求參數(提示詞、模式、技能、工具)生成一個確定性的緩存鍵
2. 檢查服務端緩存中是否存在匹配的條目
3. 命中時:立即返回緩存的響應 —— 零成本,延遲低於 10ms
4. 未命中時:運行完整的編排流程,緩存結果,然後返回

​

緩存鍵的計算方式

• 提示詞文本(精確匹配)
• 模式(auto、fast、think 等)
• 生效的技能 slug
• 內聯的工具定義

​

TTL 行為

​

緩存作用域

• 緩存是按用戶隔離的 —— 你的緩存響應不會與其他賬戶共享
• 當使用組織級密鑰時,緩存按 key 隔離

​

檢測緩存命中

const res = await theo.complete({ prompt: "What is DNS?" });

if ((res as any)._cached) {
  console.log("Cache hit! Cost: 0");
} else {
  console.log(`Cache miss. Cost: ${res.usage.cost_cents}¢`);
}

​

成本影響