Skip to content

语音到语音架构

Supported in ADKPython v0.1.0Java v0.2.0

在语音到语音架构中,单个多模态模型通过持久的 Gemini Live API 连接直接处理传入的音频、执行推理和工具调用,并生成语音音频,在输入和输出之间无需将语音转换为文本。

有关与链接式 STT-LLM-TTS 流水线的对比,请参阅选择语音架构。

配置语音到语音智能体

将受支持的原生音频 Live 模型传递给你的智能体:

import os
from google.adk.agents import Agent

root_agent = Agent(
    name="voice_assistant",
    model=os.getenv("DEMO_AGENT_MODEL", "gemini-live-2.5-flash-native-audio"),
    instruction="你是一个得力的语音助手。",
    tools=[...],
)
import com.google.adk.agents.LlmAgent;

LlmAgent rootAgent =
    LlmAgent.builder()
        .name("voice_assistant")
        .model("gemini-live-2.5-flash-native-audio")
        .instruction("你是一个得力的语音助手。")
        .build();

使用 adk web 运行智能体,或将其传递给 Runner.run_live()。

语音到语音特有的能力

以下能力专门适用于原生音频模型:

  • 实时视频和图像输入:与音频一起流式传输实时摄像头或屏幕画面帧,以便智能体能够看到用户展示的内容。参见音频和视频。
  • 情感对话和主动音频:受支持的原生音频模型可以根据用户的情绪表达调整其说话语调,并自行决定何时发言或保持静默。参见主动性和情感对话。
  • 有状态的会话恢复和上下文压缩:由于 Live API 在有状态的 WebSocket 会话中保存对话状态,ADK 支持在连接超时时自动进行会话恢复,并在长时间运行的会话中进行上下文窗口压缩。
  • 会话级语音和 VAD 控制:通过 RunConfig 或在模型实例上,在会话级别配置语音选择和自动语音活动检测 (VAD)。

考量与限制

  • 固定模型选择:语音到语音需要支持 Gemini Live API 的模型(支持的模型)。要在实时语音会话中使用标准 Gemini 文本模型或第三方 LLM,请使用级联架构。
  • 仅限音频输出:原生音频模型仅输出音频,无法在 Runner.run_async() 下运行。当你需要对话的文本时,请读取音频转录。
  • 护栏在音频生成的同时评估转录:由于模型直接生成音频而没有中间文本阶段,因此对话校验回调筛选的是输入和输出转录,而不是在合成之前拦截文本。如果必须在生成音频之前过滤或修订文本,请使用级联。