# Gemini Live API 概览

Live API 可与 Gemini 实现低延迟、实时语音和视觉交互。它处理连续的音频、图像和文本流，以提供即时、类似人类的语音响应，为用户创造自然的对话体验。

![](https://www.gstatic.com/cloud-cms/995b16822e9fa0e87694e97e1da60e42.png)

{% button href="https://aistudio.google.com/live" icon="mic" variant="primary" %}尝试 Google AI Studio 中的 Live API{% /button %}

{% button href="https://github.com/google-gemini/gemini-live-api-examples" icon="code" variant="primary" %}从 GitHub 克隆示例应用程序{% /button %}

{% button href="/docs/coding-agents" icon="terminal" variant="primary" %}使用编码智能体技巧{% /button %}

## 使用案例  {% #use-cases %}

Live API可用于为多种行业构建实时语音智能体，包括：

* **电子商务和零售：** 购物助理提供个性化推荐并支持智能体解决客户问题。

* **游戏：** 交互式非玩家角色 (NPC)、游戏内帮助助手以及游戏内内容的实时翻译。

* **下一代接口：** 机器人、智能眼镜和车辆中支持语音和视频的体验。

* **医疗保健：** 为患者提供支持和教育的健康伙伴。

* **金融服务：** 用于财富管理和投资指导的人工智能顾问。

* **教育程度：** 提供个性化指导和反馈的人工智能导师和学习伙伴。

* **翻译和本地化：** 实时、低延迟的口语对话翻译，实现无缝的多语言沟通。

* **实时转录和字幕：** 实时语音到文本流，用于实时字幕、会议转录、语音听写和客户呼叫记录。

## 主要特点  {% #key-features %}

Live API 提供了一套全面的功能来构建强大的语音智能体：

* [**多语言支持**](/docs/live-api/capabilities#supported-languages)：用 70 支持的语言进行交谈。

* [**打断**](/docs/live-api/capabilities#interruptions)：用户可以随时中断模型以进行响应式交互。

* [**工具使用**](/docs/live-api/tools)：集成函数调用和 Google 搜索等工具以进行动态交互。

* [**音频转录**](/docs/live-api/capabilities#audio-transcription)：提供用户输入和模型输出的文本记录。

* [**主动音频**](/docs/live-api/capabilities#proactive-audio)：让您控制模型何时响应以及在什么上下文中响应。

* [**情感对话**](/docs/live-api/capabilities#affective-dialog)：调整响应风格和语气以匹配用户的输入表达。

* [**实时转录**](/docs/live-api/live-transcribe)：实时、连续的语音到文本流，具有自动语言检测和自定义词汇。

* [**实时翻译**](/docs/live-api/live-translate)：70+ 语言的实时语音到语音翻译。

## 技术规格  {% #technical-specifications %}

下表概述了 Live API 的技术规格：

{% doc-table %}
{% doc-row header="true" %}
{% doc-cell %}
类别
{% /doc-cell %}

{% doc-cell %}
详情
{% /doc-cell %}
{% /doc-row %}

{% doc-row header="false" %}
{% doc-cell %}
输入方式
{% /doc-cell %}

{% doc-cell %}
音频（原始 16 位 PCM 音频，16kHz，小端）、图像 (JPEG <= 1FPS)、文本
{% /doc-cell %}
{% /doc-row %}

{% doc-row header="false" %}
{% doc-cell %}
输出方式
{% /doc-cell %}

{% doc-cell %}
音频（原始 16 位 PCM 音频，24kHz，小端）
{% /doc-cell %}
{% /doc-row %}

{% doc-row header="false" %}
{% doc-cell %}
协议
{% /doc-cell %}

{% doc-cell %}
有状态 WebSocket 连接 (WSS)
{% /doc-cell %}
{% /doc-row %}
{% /doc-table %}

## 选择实施方法  {% #implementation-approach %}

与 Live API 集成时，您需要选择以下实现方法之一：

- **服务器到服务器**：您的后端使用以下方式连接到 Live API [WebSocket](https://developer.mozilla.org/en-US/docs/Web/API/WebSockets_API)。通常，您的客户端将流数据（音频、视频、文本）发送到服务器，然后服务器将其转发到 Live API。

- **客户端到服务器**：您的前端代码使用直接连接到 Live API [WebSocket](https://developer.mozilla.org/en-US/docs/Web/API/WebSockets_API) 绕过后端来传输数据。

{% callout type="note" %}
注意：客户端到服务器通常可以为流音频和视频提供更好的性能，因为它不需要首先将流发送到后端。设置也更容易，因为您不需要实现将数据从客户端发送到服务器，然后将服务器发送到 API 的代理。但对于生产环境，为了降低安全风险，我们建议使用 [短暂的 token](/docs/live-api/ephemeral-tokens) 而不是标准 API 密钥。
{% /callout %}

## 快速入门  {% #get-started %}

选择适合您的开发环境的指南：

{% card-grid %}
{% card
   badge="Server-to-server"
   description="使用 GenAI SDK 连接到 Gemini Live API 以构建具有 Python 后端的实时多模态应用程序。"
   href="/docs/live-api/get-started-sdk"
   title="GenAI SDK教程" /%}

{% card
   badge="Client-to-server"
   description="使用 WebSocket 连接到 Gemini Live API 以构建具有 JavaScript 前端和临时性的实时多模态应用程序\ntoken。"
   href="/docs/live-api/get-started-websocket"
   title="WebSocket教程" /%}

{% card
   badge="Agent Development Kit"
   description="创建智能体并使用智能体开发套件 (ADK)\n流式传输以实现语音和视频通信。"
   href="https://google.github.io/adk-docs/streaming/"
   title="ADK教程" /%}
{% /card-grid %}

## 合作伙伴集成  {% #partner-integrations %}

要简化实时音频和视频应用程序的开发，您可以使用支持基于 WebRTC 的 Gemini Live API 或 WebSocket 的第三方集成。

{% card-grid %}
{% card
   description="将 Gemini Live API 与 LiveKit 智能体结合使用。"
   href="https://docs.livekit.io/agents/models/realtime/plugins/gemini/"
   title="直播套件" /%}

{% card
   description="使用 Gemini Live 和 Pipecat 创建实时 AI 聊天机器人。"
   href="https://docs.pipecat.ai/guides/features/gemini-live"
   title="每日管道猫" /%}

{% card
   description="创建实时视频和音频流应用程序鱼酱。"
   href="https://docs.fishjam.io/tutorials/gemini-live-integration"
   title="Fishjam 软件大厦" /%}

{% card
   description="使用 Vision 构建实时语音和视频 AI 应用智能体。"
   href="https://visionagents.ai/integrations/gemini"
   title="Stream 视觉智能体" /%}

{% card
   description="将入站和出站呼叫连接到 Live API\n沃克斯植入物。"
   href="https://voximplant.com/products/gemini-client"
   title="沃克斯植入物" /%}

{% card
   description="使用 Agora 构建实时对话式 AI 应用程序。"
   href="https://docs.agora.io/en/conversational-ai/models/mllm/gemini"
   title="集市" /%}

{% card
   description="使用 Firebase AI 开始使用 Gemini Live API\n逻辑。"
   href="https://firebase.google.com/docs/ai-logic/live-api?api=dev"
   title="Firebase AI SDK" /%}
{% /card-grid %}
