Gemini 中文指南
获取 API 密钥 ↗

弹性推理

↓ 下载 Markdown

Gemini Flex API 是一个推理层,与标准费率相比,可降低 50% 的成本,以换取可变延迟和尽力而为的可用性。它专为需要同步处理但不需要标准 API 的实时性能的耐延迟工作负载而设计。

如何使用Flex #

要使用 Flex 层,请指定 service_tier 作为 flex 在你的要求中。默认情况下,如果省略此字段,请求将使用标准层。

python
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input="Analyze this dataset for trends...",
    service_tier='flex'
)
print(interaction.output_text)

Flex 推理的工作原理 #

Gemini Flex 推理弥补了标准 API 和 24 小时周转时间之间的差距 Batch API。它利用非高峰、“可缩减”的计算能力,为后台任务和顺序工作流程提供经济高效的解决方案。

特点柔性优先级标准型批次
价格50%折扣75-100 比标准多 %全价50%折扣
延迟分钟(1-15 分钟目标)低(秒)秒到分钟长达 24 小时
可靠性尽力而为(可脱落)高(不可脱落)高/中高高(针对吞吐量)
接口同步同步同步异步

主要优点 #

  • 成本效率:为非生产评估、背景智能体和数据丰富节省大量资金。
  • 低摩擦:只需向现有请求添加一个参数即可。
  • 同步工作流程:非常适合顺序 API 链,其中下一个请求取决于前一个请求的输出,使其比智能体工作流程的 Batch 更加灵活。

使用案例 #

  • 线下评价:运行“LLM-as-a-judge”回归测试或排行榜。
  • 背景智能体:连续任务,例如 CRM 更新、配置文件构建或内容审核,几分钟的延迟是可以接受的。
  • 预算有限的研究:在有限的预算下需要大量 token 的学术实验。

速率限制 #

Flex 推理流量计入您的总体流量 速率限制;它不提供像 Batch API.

可脱落容量 #

Flex 流量的优先级较低。如果标准流量出现峰值,Flex 请求可能会被抢占或驱逐,以确保高优先级用户的容量。如果您正在寻找高优先级推理,请检查 优先推理

错误代码 #

当Flex容量不可用或系统拥塞时,API将返回标准错误代码:

  • 503服务不可用:系统当前已满负荷。
  • 429 请求过多:速率限制或资源耗尽。

客户责任 #

  • 没有服务器端回退:为了防止意外收费,如果 Flex 容量已满,系统不会自动将 Flex 请求升级到标准层。

  • 重试:您必须使用指数退避来实现自己的客户端重试逻辑。

  • 超时:由于 Flex 请求可能位于队列中,因此我们建议将客户端超时增加到 10 分钟或更长,以避免连接过早关闭。

调整超时窗口 #

您可以为 REST API 和客户端库配置每个请求超时。始终确保客户端超时覆盖预期的服务器耐心窗口(例如,Flex 等待队列为 600 秒以上)。 SDK 期望超时值以毫秒为单位。

每个请求超时 #

python
from google import genai

client = genai.Client(http_options={"timeout": 900000})

interaction = client.interactions.create(
    model="gemini-4-hydrogen",
    input="why is the sky blue?",
    service_tier="flex",
)

实施重试 #

由于 Flex 是可脱落的并且会因 503 错误而失败,因此这里是一个可选地实现重试逻辑以继续处理失败请求的示例:

python
import time
from google import genai

client = genai.Client()

def call_with_retry(max_retries=3, base_delay=5):
    for attempt in range(max_retries):
        try:
            return client.interactions.create(
                model="gemini-4-hydrogen",
                input="Analyze this batch statement.",
                service_tier="flex",
            )
        except Exception as e:
            if attempt < max_retries - 1:
                delay = base_delay * (2 ** attempt) # Exponential Backoff
                print(f"Flex busy, retrying in {delay}s...")
                time.sleep(delay)
            else:
                print("Flex exhausted, falling back to Standard...")
                return client.interactions.create(
                    model="gemini-4-hydrogen",
                    input="Analyze this batch statement."
                )

interaction = call_with_retry()
print(interaction.output_text)

价格 #

Flex 推理的定价为 50% 标准 API 并按 token 计费。

支持的模型 #

以下模型支持 Flex 推理:

后续步骤 #

搜索标题、API 名称或正文内容