Laya vs 大模型：做分类和路由该用哪个？

很多团队已经在用大语言模型做工单分类、请求路由和 prompt 审核：让 LLM 返回一段 JSON。Laya 走的是另一条路：它从不生成文本，一次前向计算就回答多个 typed question。本文对比这两种方式，帮你判断各自适合放在系统的哪个位置。

阅读说明： Laya 的数据是 Laya 仓库的上游实测；关于生成式大模型的描述是这类模型的普遍特点。由于目前还没有受控的对比实验，我们不给出与具体某个大模型的准确率对比。其余内容是我们的归纳。

简短结论

用 Laya：高频、定义清晰的决策——一个标签、一个评分等级或一个是/否概率——你能收集到标注样本，并且看重低延迟、本地推理和天然结构化的输出。
用生成式大模型：任务需要开放式推理、世界知识、解释说明，标签空间很大或经常变化，或者你完全没有标注数据。
很多系统里最好的答案是两者结合：Laya 处理大部分简单情况，不确定的交给大模型。

逐项对比

	Laya	生成式大模型（JSON 输出）
输出	typed 答案：`choice`、`score`、`noul`，附概率	生成文本，再解析成结构
解析失败	设计上不存在——不生成任何文本	可能发生，可用 structured output 模式缓解
延迟	T4 上每次调用 32.8–39.5 ms（上游实测）	通常数百毫秒或更长，取决于模型和服务商
一次问多个问题	`laya-multilingual` 10 个问题 72.3 ms（上游实测）	字段越多，输出越长
成本	自有算力；Apache 2.0 开放权重	通常按 token 计费
部署	本地或自托管，数据不出你的机器	通常是托管 API；自托管大模型需要大显存 GPU
Zero-shot 能力	自定义工作流上较弱：基础 checkpoint 在 typed-decisions 上接近随机	很多任务上 zero-shot 就很强
微调之后	typed-decisions 上达到 0.766（上游实测）	可以微调，但成本更高
概率	用 proper scoring rule 训练，仍需拟合温度	token log-prob（如果提供）默认不是校准过的决策概率
标签数量	默认设置下单题建议 20 个选项以内	更能应付大标签空间
解释	不输出文字解释	可以解释自己的答案

Laya 更合适的场景

大流量的路由与分流：客服队列、模型路由、意图识别——每个请求都要跑一次，几十毫秒和零 token 成本很关键。
请求链路上的 Guardrails：在 prompt 到达昂贵的大模型之前做一道约 35 ms 的筛查，几乎不增加延迟。
隐私敏感数据：Laya 本地运行，工单、邮件、文档都不会离开你的基础设施。
按置信度自动化：每个答案都带概率，天然适合"高于阈值自动执行、低于阈值升级处理"——前提是先拟合校准。

具体示例见 Recipes：模型路由、LLM Guardrails 和客服工单分流。

大模型更合适的场景

没有标注数据，也没时间收集。Laya 的基础 checkpoint 在自定义工作流上 zero-shot 较弱，上游原话是"一个可以快速专项化的底座，而不是 zero-shot 决策引擎"。
标签很多或开放式的分类。默认设置下，选项达到几十个时 Laya 会明显下降（Banking77，77 个标签：0.425）。
需要推理或知识的任务：多步逻辑、世界知识、超出 Laya 上下文预算的长文档。
你需要的是解释，而不只是一个决策。

混合方案

常见的生产架构是两者结合：

from laya import Router

router = Router(preload=True)
result = router.predict(ticket, questions)
answer = result["answers"]["department"]

if answer["confidence"] >= THRESHOLD:        # 阈值需在你的留出数据上拟合
    route(answer["choice"])                   # 快路径：约 35 ms，无 API 调用
else:
    route(ask_llm(ticket))                    # 慢路径：少数模糊样本

有多少流量能走快路径，完全取决于你的数据和阈值。请实际测量，不要想当然。

Laya vs 其他小型分类模型

微调过的 BERT 类分类器同样快、同样能本地跑。关键区别在于：

传统分类器的标签集是写死在输出层里的。而根据模型卡，Laya 每个选项都在各自的标记位上打分，答案空间是按请求定义的：不用重新训练就能改标签、问新问题，还能一次问多个 typed question。不过新标签上的准确率仍然需要验证。
在 typed-decisions benchmark 上，上游列出的公开 ModernBERT-base 专用模型为 0.646，低于微调版 Laya 的 0.766。