语音到语音架构¶
Supported in ADKPython v0.1.0Java v0.2.0
在语音到语音架构中,单个多模态模型通过持久的 Gemini Live API 连接直接处理传入的音频、执行推理和工具调用,并生成语音音频,在输入和输出之间无需将语音转换为文本。
有关与链接式 STT-LLM-TTS 流水线的对比,请参阅选择语音架构。
配置语音到语音智能体¶
将受支持的原生音频 Live 模型传递给你的智能体:
使用 adk web 运行智能体,或将其传递给 Runner.run_live()。
语音到语音特有的能力¶
以下能力专门适用于原生音频模型:
- 实时视频和图像输入:与音频一起流式传输实时摄像头或屏幕画面帧,以便智能体能够看到用户展示的内容。参见音频和视频。
- 情感对话和主动音频:受支持的原生音频模型可以根据用户的情绪表达调整其说话语调,并自行决定何时发言或保持静默。参见主动性和情感对话。
- 有状态的会话恢复和上下文压缩:由于 Live API 在有状态的 WebSocket 会话中保存对话状态,ADK 支持在连接超时时自动进行会话恢复,并在长时间运行的会话中进行上下文窗口压缩。
- 会话级语音和 VAD 控制:通过
RunConfig或在模型实例上,在会话级别配置语音选择和自动语音活动检测 (VAD)。