ADK Gemini Live API Toolkit¶
ADK 中的 Gemini Live API Toolkit 为 AI 智能体引入了 Gemini Live API 的低延迟、双向语音和视频交互能力。
借助于 ADK Gemini Live API Toolkit，你可以为最终用户提供极其自然、类人的语音对话体验，包括用户可以使用语音指令随时中断智能体响应的能力。支持流式的智能体可以处理文本、音频和视频输入，并提供文本与音频输出。
实时演示¶
-
LensMosaic：基于实时 AI 的视觉购物
这是一款融合了实时摄像头输入、语音交互和智能商品发现的演示应用。你可以将镜头对准任何物体以查找类似商品，结合视觉和语音输入获取个性化推荐，或与实时 AI 购物助手进行对话。该应用基于 ADK Gemini Live API Toolkit、Gemini Embedding、Vector Search 和 FastAPI 构建。
-
ADK Gemini Live API Toolkit 演示应用 (Bidi Demo)
这是一个生产级的参考实现，展示了 ADK Gemini Live API Toolkit 的多模态支持（文本、音频、图像）。该演示基于 FastAPI 构建，演示了实时 WebSocket 通信、自动转录、调用 Google 搜索工具以及完整的流式生命周期管理。
-
快速入门 (Gemini Live API Toolkit)
在该快速入门中，你将构建一个简单的智能体，并使用 ADK 中的流式处理功能来实现低延迟的双向语音与视频通信。
-
Gemini Live API Toolkit 演示应用项目
这是一个生产级的参考实现，展示了 ADK Gemini Live API Toolkit 的多模态支持（文本、音频、图像）。该 FastAPI 演示涵盖了实时 WebSocket 通信、自动转录、利用 Google 搜索进行工具调用以及完整的流式生命周期管理。本开发指南系列将深入引用该示例。
-
博客文章：ADK Gemini Live API Toolkit 视觉指南
使用 ADK Gemini Live API Toolkit 进行多模态实时 AI 智能体开发的视觉指南。本文提供了直观的图表和插图，帮助你理解流式处理的工作原理以及如何构建交互式 AI 智能体。
-
Gemini Live API Toolkit 开发指南系列
深入探讨 ADK Gemini Live API Toolkit 开发的一系列文章。你可以学习核心概念、应用场景、核心 API 以及端到端的应用设计。
- 第 1 部分：ADK Gemini Live API Toolkit 入门 —— 流式处理基础、Live API 技术、ADK 架构组件以及带有 FastAPI 示例的完整应用程序生命周期
- 第 2 部分：使用 LiveRequestQueue 发送消息 —— 上行消息流、发送文本/音频/视频、活动信号以及并发模式
- 第 3 部分：使用 run_live() 进行事件处理 —— 处理事件、处理文本/音频/转录、自动工具执行以及多智能体工作流
- 第 4 部分：理解 RunConfig —— 响应模态、流式模式、会话管理、会话恢复、上下文窗口压缩以及配额管理
- 第 5 部分：如何使用音频、图像和视频 —— 音频规范、模型架构、音频转录、语音活动检测以及主动/情感对话功能
-
流式处理工具 (Streaming Tools)
流式处理工具允许工具（函数）将中间结果流式传输回智能体，智能体可以对这些中间结果做出响应。例如，我们可以使用流式处理工具来监控股票价格的变化，并让智能体对此做出反应。另一个例子是我们可以让智能体监控视频流，当视频流发生变化时，智能体可以报告这些变化。
-
博客文章：Google ADK + Vertex AI Live API
本文展示了如何在 ADK 中使用 Gemini Live API Toolkit 进行实时音频/视频流式传输。它提供了一个使用
LiveRequestQueue构建自定义交互式 AI 智能体的 Python 服务器示例。 -
博客文章：使用 Claude 代码技能加速 ADK 开发
演示了如何利用 Claude Coding Skills 加速 ADK 开发，并包含一个构建流式聊天应用的示例。了解如何利用 AI 驱动的代码辅助更快速地构建更出色的智能体。