ADK 中的双向流式处理(实时)¶
Info
这是一个实验性功能。目前仅在 Python 中可用。
Info
这与服务器端流式处理或令牌级流式处理不同。本节针对双向流式处理(实时)。
ADK 中的双向流式处理(实时)为 AI 智能体添加了 Gemini Live API 的低延迟双向语音和视频交互能力。
使用双向流式处理(实时)模式,你可以为最终用户提供自然的、类人语音对话体验,包括用户可以通过语音命令中断智能体响应的能力。具备流式处理的智能体可以处理文本、音频和视频输入,并且可以提供文本和音频输出。
-
快速入门(流式处理)
在此快速入门中,你将构建一个简单的智能体,并使用 ADK 中的流式处理来实现低延迟和双向语音与视频通信。
-
流式处理工具
流式处理工具允许工具(函数)将中间结果流式传输回智能体,智能体可以对这些中间结果做出响应。例如,我们可以使用流式处理工具来监控股票价格的变化,并让智能体对此做出反应。另一个例子是我们可以让智能体监控视频流,当视频流中有变化时,智能体可以报告这些变化。
-
自定义音频流式处理应用示例
本文概述了使用 ADK 流式处理和 FastAPI 构建的自定义异步 Web 应用的服务器和客户端代码,实现了使用服务器发送事件(SSE)和 WebSocket 的实时双向音频和文本通信。
-
Blog post: Google ADK + Vertex AI Live API
本文展示了如何在 ADK 中使用双向流(实时)进行实时音视频流传输。它提供了一个使用 LiveRequestQueue 构建自定义交互式 AI 代理的 Python 服务器示例。
-
购物礼宾演示
了解如何使用 ADK 中的流式处理来构建个人购物助手,它能够理解你的个人风格并提供量身定制的推荐。
-
流式处理配置
你可以为实时(流式处理)智能体设置一些配置。