Skip to content

面向 ADK 智能体的 LiteRT-LM 模型宿主

Supported in ADKPython v0.1.0

LiteRT-LM 是一个 C++ 库，用于在边缘平台高效运行语言模型。在桌面端（Linux、macOS 和 Windows），ADK 通过 LiteRT-LM CLI lit 启动的 LiteRT-LM 服务端，与 LiteRT-LM 承载的模型进行集成。

开始使用

LiteRT-LM 可配合 Gemini 类使用。你只需设置 base_url 和 model 参数。

  1. 将 base_url 设置为 LiteRT-LM 服务端 URL，例如：localhost:8001。
  2. 将 model 设置为 LiteRT-LM 模型名称，例如：gemma3n-e2b。
from google.adk.agents import Agent
from google.adk.models import Gemini

root_agent = Agent(
    model=Gemini(
        model="gemma3n-e2b",
        base_url="http://localhost:8001",
    ),
    name="dice_agent",
    description=(
        "一个可以掷 8 面骰子并检查质数的 hello world 智能体。"
    ),
    instruction="""
      你负责掷骰子并回答关于掷骰子结果的问题。
    """,
    tools=[
        roll_die,
        check_prime,
    ],
)

然后照常运行智能体：

adk web

运行 LiteRT-LM 服务端

LiteRT-LM 服务端是一个独立的进程，用于提供 LiteRT-LM 模型服务。它由 LiteRT-LM CLI 工具 lit 启动。

下载 lit CLI 工具

请按照 LiteRT-LM GitHub 仓库中的这些说明下载 lit CLI 工具。

下载模型

在启动服务端之前，你需要下载一个模型。你需要一个 Hugging Face 用户访问令牌（access token）来使用 lit 下载 LiteRT-LM 模型。你可以在此处获取你的 Hugging Face 账号令牌。

若要查看可供下载的模型列表，请使用 lit list 命令：

lit list --show_all

使用 lit pull 命令下载模型：

export HUGGING_FACE_HUB_TOKEN="**你的 Hugging Face 令牌**"
lit pull gemma3n-e2b

运行服务端

下载模型后，通过运行以下命令在本地启动 LiteRT-LM 服务端：

lit serve --port 8001

本地服务端端口号

你可以为 LiteRT-LM 服务端选择任何端口号，只要它与你在智能体代码的 Gemini 类中设置的 base_url 相匹配即可。

调试

若要查看发送到 LiteRT-LM 服务端的请求以及发送到模型的具体输入，请使用 --verbose 标志：

lit serve --port 8001 --verbose