Gemini 中文指南
获取 API 密钥 ↗

长上下文

↓ 下载 MarkdownInteractions API

许多 Gemini 模型都带有 1 百万或更多 token 的大型上下文窗口。从历史上看,大型语言模型 (LLM) 受到一次可以传递给模型的文本量(或 token)的显着限制。 Gemini 长上下文窗口解锁了许多新的用例和开发人员范例。

您已经在类似情况下使用的代码 文本生成 或 多模态输入 在长上下文中无需任何更改即可工作。

本文档概述了使用具有 1M 和更多 token 上下文窗口的模型可以实现的目标。该页面简要概述了上下文窗口,并探讨了开发人员应如何考虑长上下文、长上下文的各种现实世界用例以及优化长上下文使用的方法。

具体型号上下文窗口尺寸请参见 模型 页。

什么是上下文窗口? #

使用 Gemini 模型的基本方法是将信息(上下文)传递给模型,模型随后会生成响应。 上下文窗口可以类比为短期记忆。人的短期记忆中可以存储的信息量是有限的,生成模型也是如此。

在 Gemini 4 中(gemini-4-carbon, gemini-4-argon, 和 gemini-4-hydrogen),1M-token 上下文窗口是 输入、思维和输出共享 token,并且该模型可以使用以下方式生成最多 1M 输出 token 长解码。如果你输入token加上 max_output_tokens 超过 1,048,576 token 时,API 自动将输出限制限制为上下文窗口中的剩余空间(1,048,576 减去您的输入 token)。早期的 Gemini 3 和 2.5 型号使用单独的 1M 输入和 64K 输出预算。

您可以在我们的网站中阅读有关模型如何工作的更多信息 生成模型指南.

从长上下文开始 #

早期版本的生成模型一次只能处理 8,000 token。较新的型号通过接受 32,000 甚至 128,000 token 进一步推动了这一点。 Gemini是第一个能够接受1百万token的型号。

实际上,1 百万 token 看起来像:

  • 50,000 代码行(每行包含标准 80 字符)
  • 您在过去 5 年内发送的所有短信
  • 8平均长度英文小说
  • 超过 200 平均长度播客剧集的转录

许多其他模型中常见的更有限的上下文窗口通常需要诸如任意删除旧消息、总结内容、将 RAG 与向量数据库结合使用或过滤提示以保存 token 等策略。

虽然这些技术在特定场景中仍然很有价值,但 Gemini 的广泛上下文窗口需要一种更直接的方法:预先提供所有相关信息。由于 Gemini 模型是专门构建的,具有大量上下文功能,因此它们展示了强大的上下文学习功能。例如,仅使用上下文教学材料(500 页参考语法、字典和 ≈400 平行句子),Gemini 学会了翻译 从英语到卡拉芒语——一种巴布亚语言,使用时间少于200扬声器——其质量与使用相同材料的人类学习者相似。这说明了范式转变的实现Gemini长的背景,通过强大的背景学习赋予新的可能性。

长上下文用例 #

虽然大多数生成模型的标准用例仍然是文本输入,但 Gemini 模型系列实现了多模态用例的新范例。这些模型可以原生理解文本、视频、音频和图像。他们的陪伴是 Gemini API 接受多模态文件类型 为了方便。

长文本 #

事实证明,文本是支撑法学硕士发展势头的智力层。如前所述,法学硕士的大部分实际限制是因为没有足够大的上下文窗口来完成某些任务。这导致了检索增强生成(RAG)和其他动态为模型提供相关上下文信息的技术的快速采用。现在,随着上下文窗口越来越大,可以使用新技术来解锁新的用例。

基于文本的长上下文的一些新兴和标准用例包括:

  • 总结大量文本

  • 当新的 token 传递给模型时,先前具有较小上下文模型的摘要选项将需要滑动窗口或其他技术来保持先前部分的状态

  • 提问与回答

  • 从历史上看,鉴于上下文数量有限且模型的事实召回率较低,这只能通过 RAG 实现

  • 智能体工作流程

  • 文本是智能体如何保持其已完成的操作和需要执行的操作的基础;没有足够的关于世界和智能体目标的信息限制了智能体的可靠性

多镜头情境学习 是长上下文模型解锁的最独特的功能之一。研究表明,采用常见的“单镜头”或“多镜头”示例范式(其中模型提供一个或几个任务示例),并将其扩展到数百、数千甚至数十万个示例,可以带来新颖的模型功能。这种多次射击方法也被证明与针对特定任务进行微调的模型类似。对于 Gemini 模型的性能尚不足以进行生产部署的用例,您可以尝试多次拍摄方法。正如您稍后可能在长上下文优化部分中探索的那样,上下文缓存使这种类型的高输入 token 工作负载在经济上更加可行,在某些情况下甚至可以降低延迟。

长视频 #

视频内容的实用性长期以来一直受到媒体本身缺乏可访问性的限制。浏览内容很困难,文字记录通常无法捕捉视频的细微差别,而且大多数工具不能一起处理图像、文本和音频。借助 Gemini,长上下文文本功能可转化为以持续性能推理和回答有关多模态输入问题的能力。

视频长上下文的一些新兴和标准用例包括:

  • 视频问答

  • 视频内存,如图所示 谷歌的阿斯特拉计划

  • 视频字幕

  • 视频推荐系统,通过新的多模态理解丰富现有元数据

  • 视频定制,通过查看数据语料库和相关视频元数据,然后删除与观看者不相关的视频部分

  • 视频内容审核

  • 实时视频处理

处理视频时,重要的是要考虑如何 视频被处理成token,这会影响计费和使用限制。您可以了解有关使用视频文件进行提示的更多信息 提示指南.

长格式音频 #

Gemini 模型是第一个可以理解音频的原生多模态大语言模型。从历史上看,典型的开发人员工作流程将涉及将多个特定于领域的模型(例如语音到文本模型和文本到文本模型)串联在一起,以便处理音频。这导致执行多个往返请求所需的额外延迟以及通常归因于多模型设置的断开架构的性能下降。

音频上下文的一些新兴和标准用例包括:

  • 实时转录和翻译
  • 播客/视频问答
  • 会议转录和总结
  • 语音助手

您可以了解有关使用音频文件进行提示的更多信息 提示指南.

长上下文优化 #

使用长上下文和 Gemini 模型时的主要优化是使用 上下文缓存。除了以前不可能在单个请求中处理大量 token 之外,另一个主要限制是成本。如果您有一个“与数据聊天”应用程序,其中用户上传 10 PDF、视频和一些工作文档,那么您过去必须使用更复杂的检索增强生成 (RAG) 工具/框架才能处理这些请求,并为移至上下文窗口的 token 支付大量费用。现在,您可以缓存用户上传的文件,并按小时付费存储它们。例如,Gemini Flash 每个请求的输入/输出成本比标准输入/输出成本低约 4 倍,因此,如果用户与其数据进行足够多的聊天,那么作为开发人员,这将为您节省巨大的成本。

长上下文限制 #

在本指南的各个部分中,我们讨论了 Gemini 模型如何在各种大海捞针检索评估中实现高性能。这些测试考虑最基本的设置,其中您需要寻找一根针。如果您可能有多个“针”或您正在寻找的特定信息,则该模型不会以相同的精度执行。根据具体情况,性能可能会有很大差异。考虑这一点很重要,因为检索正确的信息和成本之间存在固有的权衡。您可以在单个查询中获得 ~99%,但每次发送该查询时都必须支付输入 token 成本。因此,对于要检索的 100 信息,如果您需要 99% 性能,则可能需要发送 100 请求。这是一个很好的例子,说明上下文缓存可以显着降低与使用 Gemini 型号相关的成本,同时保持高性能。

常见问题解答 #

在上下文窗口中放置查询的最佳位置是哪里? #

在大多数情况下,特别是如果总上下文很长,如果将查询/问题放在提示的末尾(在所有其他上下文之后),模型的性能会更好。

当我向查询添加更多 token 时,模型性能是否会下降? #

一般来说,如果不需要将 token 传递给模型,最好避免传递它们。但是,如果您有大量带有某些信息的 token,并且想要询问有关该信息的问题,则该模型非常有能力提取该信息(在许多情况下,准确度高达 99%)。

如何通过长上下文查询降低成本? #

如果您有一组类似的 token / 上下文,并且想要多次重复使用, 上下文缓存 可以帮助降低与询问有关该信息的问题相关的成本。

上下文长度会影响模型延迟吗? #

无论大小如何,任何给定请求都有一定的延迟量,但通常较长的查询将具有较高的延迟(到第一个 token 的时间)。

搜索标题、API 名称或正文内容