Gemini 中文指南
获取 API 密钥 ↗

上下文缓存

↓ 下载 Markdown

在典型的 AI 工作流程中,您可能会将相同的输入 token 一遍又一遍地传递给模型。 Gemini API 提供隐式缓存以优化性能和成本。

隐式缓存 #

默认情况下,所有 Gemini、2.5 及更新型号均启用隐式缓存。两者都支持 有状态的 (使用 previous_interaction_id)和 无国籍的 对话模式。如果您的请求命中缓存,我们会自动节省成本。您无需配置任何内容即可将其打开。下表列出了每个型号的最小输入 token 数量:

模型最小 token 限制
Gemini 4 Carbon4,096
Gemini 4 Argon4,096
Gemini 4 Hydrogen4,096
Gemini 3.8 Flash4,096
Gemini 3.6 Flash4,096
Gemini 3.1 Pro Preview4,096
Gemini 2.5 Flash2,048
Gemini 2.5 Pro2,048

要增加隐式缓存命中的机会:

  • 尝试将大而常见的内容放在提示的开头
  • 尝试在短时间内发送具有相似前缀的请求

您可以在响应对象的缓存命中中看到 token 的数量 usage.total_cached_tokens (Python 和 JavaScript)字段。

搜索标题、API 名称或正文内容