ADK 中的双向流式处理(实时)¶
ADK 中的双向流式处理(实时)为 AI 智能体添加了 Gemini Live API 的低延迟双向语音和视频交互能力。
通过双向流式处理(或实时)模式,你可以为最终用户提供自然、类似人类的语音对话体验,包括用户可以通过语音命令打断智能体回应的能力。具有流式处理能力的智能体可以处理文本、音频和视频输入,并提供文本和音频输出。
-
快速入门(流式处理)
在此快速入门中,你将构建一个简单的智能体,并使用 ADK 中的流式处理来实现低延迟和双向语音与视频通信。
-
双向流式处理演示应用
一个生产就绪的参考实现,展示了具有多模态支持(文本、音频、图像)的 ADK 双向流式处理。这个基于 FastAPI 的演示演示了实时 WebSocket 通信、自动转录、使用 Google 搜索的工具调用以及完整的流式处理生命周期管理。本开发指南系列广泛引用了此演示。
-
博客文章:ADK 双向流式处理可视化指南
一份关于使用 ADK 双向流式处理进行实时多模态 AI 智能体开发的可视化指南。本文提供直观的图表和插图,帮助你了解双向流式处理的工作原理以及如何构建交互式 AI 智能体。
-
Bidi-streaming development guide series
一系列文章帮助你深入了解使用 ADK 进行双向流式处理开发。你可以学习基本概念和用例、核心 API 以及端到端应用程序设计。
- 第 1 部分:ADK 双向流式处理简介 - 双向流式处理基础、Live API 技术、ADK 架构组件以及带有 FastAPI 示例的完整应用程序生命周期
- 第 2 部分:使用 LiveRequestQueue 发送消息 - 上行消息流、发送文本/音频/视频、活动信号和并发模式
- 第 3 部分:使用 run_live() 处理事件 - 处理事件、处理文本/音频/转录、自动工具执行和多智能体工作流
- 第 4 部分:理解 RunConfig - 响应模态、流式处理模式、会话管理、会话恢复、上下文窗口压缩和配额管理
- 第 5 部分:如何使用音频、图像和视频 - 音频规格、模型架构、音频转录、语音活动检测和主动/情感对话功能
-
流式处理工具
流式处理工具允许工具(函数)将中间结果流式传输回智能体,智能体可以对这些中间结果做出响应。例如,我们可以使用流式处理工具来监控股票价格的变化,并让智能体对此做出反应。另一个例子是我们可以让智能体监控视频流,当视频流发生变化时,智能体可以报告这些变化。
-
博客文章:Google ADK + Vertex AI Live API
本文展示了如何在 ADK 中使用双向流(实时)进行实时音视频流传输。它提供了一个使用 LiveRequestQueue 构建自定义交互式 AI 智能体的 Python 服务器示例。
-
博客文章:使用 Claude 代码技能加速 ADK 开发
本文演示了如何使用 Claude 代码技能来加速 ADK 开发,以构建双向流式聊天应用为例。学习如何利用 AI 驱动的编码辅助来更快地构建更好的智能体。