Laya Quickstart

安装 Laya AI：Python 本地运行快速指南

通过 pip 安装 Laya，使用 Router 预加载 checkpoint，完成第一次 typed decision，并选择适合本地 Python 推理的模型。

安装
pip install laya

Python 3.10+。第一次运行会下载所需 checkpoint。 查看内存、GPU 和硬盘要求

最新版本: v0.4.27· 2026/11/6
PyPI GitHub
Python
from laya import Router

router = Router(preload=True)

state = {
    "body": "I was charged twice. Please refund the duplicate."
}

questions = {
    "department": {
        "type": "choice",
        "instructions": "Which department should handle this?",
        "criteria": {
            "billing": "payments and refunds",
            "technical": "bugs and outages"
        }
    },
    "refund_requested": {
        "type": "noul",
        "instructions": "Does the user explicitly request a refund?"
    }
}

result = router.predict(state, questions)
print(result)
从 Recipe 开始

直接复制客服分流、模型路由、Guardrails、RAG 等完整示例。

选择 Runtime

除了 Python，还可以查看 MLX、Node.js / ONNX、MPS 与本地 serving。

托管版 Laya API · 不想自己部署？托管 Laya API，兼容 Jev 接口，按量付费，注册送 20 次调用。

获取 API Key

为什么要 preload

Laya 是本地模型。冷加载 checkpoint 可能花费数秒，所以服务器场景下，上游推荐提前加载。

router = Router(preload=True)

直接加载单个 checkpoint

import laya

agent = laya.load("convaiinnovations/laya")
result = agent.predict(state, questions)

应该加载哪个模型

  • laya：英文任务先从这里开始。
  • laya-multilingual：非英文和多语言任务。
  • laya-typed-decisions：和其微调工作流相近的 typed-decision 任务。

完整信息见 Laya Models。

在本地运行：CPU、NVIDIA GPU 或 Apple Silicon

Laya 完全在你自己的机器上运行，加载时指定设备即可：

import laya
from laya import Router

agent = laya.load("convaiinnovations/laya", device="cuda")  # NVIDIA GPU
router = Router(preload=True, device="mps")                # Apple Silicon

没有 GPU 就用 "cpu"。在 CPU 上，线程设置对速度的影响比想象中大，实测延迟和推荐设置见 Laya 在 CPU 上多快。

第一次运行会从 Hugging Face 下载权重：英文 checkpoint 约 808 MB，多语言 checkpoint 约 647 MB。下载后会缓存，之后直接从本地磁盘加载。如果要在断网环境运行，可以把包含 checkpoint 文件的本地目录传给 laya.load()，或者在文件缓存好之后设置 HF_HUB_OFFLINE=1。

想用 HTTP 接口而不是在 Python 里调用？见 自托管 Laya。

上线前检查

  1. 用自己的标注数据测试。
  2. 在自己的硬件上分别测冷启动与热运行延迟。
  3. 验证领域内的 confidence calibration。
  4. 专门测试大量 choice 选项的情况。
  5. 低置信度增加 fallback 或人工处理。
  6. 固定 package 与 model version。

下一步

最后对照上游核验：2026 年 9 月 25 日。