Laya AI Models：三个 Checkpoint 怎么选
对比 Laya、Laya Multilingual 与 Laya Typed Decisions 三个 checkpoint 的参数、context、语言能力、适用场景与限制。
最后更新: 2026/9/28
Laya 当前主要公开三个 checkpoint。它们使用相同的 typed-decision 接口，但不能简单互换。
| Checkpoint | Encoder | 参数 | 默认 Context | 优先场景 |
|---|---|---|---|---|
laya | ModernBERT-large | 421M | 512 | 英文 |
laya-multilingual | mmBERT-base | 322M | 1024 | 多语言 |
laya-typed-decisions | ModernBERT-large | 421M | 1024 | typed-decision 类任务 |
来源：Laya 上游仓库。
laya
默认英文 checkpoint。英文任务可以先拿它做 baseline。
laya-multilingual
基于 mmBERT-base，面向 100+ 语言。
上游自己的多语言测试表明，英文 checkpoint 在不擅长的语言上可能“高置信度地出错”，所以不要只靠 confidence 判断是否应该切换模型。
laya-typed-decisions
针对上游 typed-decisions 工作流做过专门微调。
它在该 benchmark 上拿到更高 headline accuracy，但不能把这个结果当成基础 Laya 的 zero-shot 能力。
各 Checkpoint 详情
- laya——英文 checkpoint 的实测数据与限制
- laya-multilingual——支持中文等 100+ 语言，校准与已知偏差
- laya-typed-decisions——0.766 成绩背后的微调版 checkpoint
上下文窗口
Laya 一次能读多少文本，取决于所用的 checkpoint：
| Checkpoint | 默认上下文 | 留给问题和选项的部分 |
|---|---|---|
| laya | 512 token | 192 |
| laya-multilingual | 1,024 token | 256 |
| laya-typed-decisions | 1,024 token | 256 |
默认情况下，状态文本超过上限时，predict() 会直接截断。处理更长的文本有两种办法：
- 调高上限：
agent.cfg["max_len"] = 8192；选项很多时，同时调高agent.cfg["head_max_len"]。上游文档给出 laya-multilingual 可到 8,192 token。短文本的答案不受影响，速度取决于实际输入长度，而不是上限。 - 分段扫描长文档：
agent.predict_long(state, questions, window=256)用相互重叠的窗口读完整个状态，每个问题取最有把握的那个窗口的答案。laya0.3.21 起可用（pip install -U laya）。每个答案会注明是哪个窗口给出的，返回的概率也是那个窗口的，不代表整篇文档的校准概率。
上游在 max_len=8192 下测试了 laya-multilingual：关键内容前面有最多约 4,000 token 的其他文本时，20 个请求答对 16 到 18 个；超过这个长度，结果开始不稳定（20 个答对 8 到 17 个）。一段 4,000 token 的输入在 Apple GPU 上约需 1.7 秒。来源：Laya GitHub 仓库。
Router
上游 Python package 提供 Router，根据输入自动选择 checkpoint：
from laya import Router
router = Router(preload=True)
result = router.predict(state, questions)
怎么选
- 先按语言选模型；
- 如果任务和 typed-decisions 工作流接近，再测试专用 checkpoint；
- 用自己的标注集做评估；
- 不只看 top-1 accuracy，也看 calibration；
- 大标签集合单独测试。
可继续阅读 如何安装 Laya。
最后核验：2026 年 9 月 25 日。