Skip to content

ADK 中的双向流式处理(实时)

Info

这是一个实验性功能。目前仅在 Python 中可用。

Info

这与服务端流式处理或令牌级流式处理不同。本节内容是关于双向流式处理(实时)的。

ADK 中的双向流式处理(实时)为 AI 智能体添加了 Gemini Live API 的低延迟双向语音和视频交互能力。

通过双向流式处理(实时)模式,你可以为终端用户提供自然的、类似人类的语音对话体验,包括用户能够通过语音命令中断智能体响应的能力。具有流式处理的智能体可以处理文本、音频和视频输入,并且可以提供文本和音频输出。

  • 快速入门(流式处理)


    在此快速入门中,你将构建一个简单的智能体,并使用 ADK 中的流式处理来实现低延迟和双向语音与视频通信。

  • 自定义音频流式处理应用示例


    本文概述了使用 ADK 流式处理和 FastAPI 构建的自定义异步 Web 应用的服务器和客户端代码,实现了使用服务器发送事件(SSE)和 WebSocket 的实时双向音频和文本通信。

  • 双向流式处理开发指南系列


    一系列文章帮助你深入了解使用 ADK 进行双向流式处理开发。你可以学习基本概念和用例、核心 API 以及端到端应用程序设计。

  • 流式处理工具


    流式处理工具允许工具(函数)将中间结果流式传输回智能体,智能体可以对这些中间结果做出响应。例如,我们可以使用流式处理工具来监控股票价格的变化,并让智能体对此做出反应。另一个例子是,我们可以让智能体监控视频流,当视频流中有变化时,智能体可以报告这些变化。

  • 自定义音频流式处理应用示例


    本文概述了使用 ADK 流式处理和 FastAPI 构建的自定义异步 Web 应用的服务器和客户端代码,实现了使用服务器发送事件(SSE)和 WebSocket 的实时双向音频和文本通信。

  • 博客文章:Google ADK + Vertex AI Live API


    本文展示了如何在 ADK 中使用双向流(实时)进行实时音视频流传输。它提供了一个使用 LiveRequestQueue 构建自定义交互式 AI 智能体的 Python 服务器示例。