Laya MLX（Apple Silicon）

pip install laya-mlx

laya-mlx 是 Laya 的独立 MLX 移植版：encoder、决策 Transformer、打分头和动作头全部在苹果的 MLX 框架里运行，推理时不需要 PyTorch、Transformers 运行时或云端 API。它保留了原始权重、prompt 格式、校准和输出结构。

环境要求

• Apple Silicon Mac，macOS 14+，Python 3.11+。
• 首次加载会下载 checkpoint，之后完全本地推理。

实测速度（项目 README，M3 Max，FP16）

计时包含 prompt 准备、分词、推理、校准和结果格式化，不含模型加载。硬件、文本长度和问题数量不同，结果都会变化。

移植一致性： 三个 checkpoint 在 63 道验证题上，FP32 和 FP16 都与上游答案完全一致（378/378 次对比）。README 特别说明，这只证明在这些样例上与上游一致，不代表一般意义上的准确率。

使用方式

import laya_mlx as laya

agent = laya.load("aac6fef/laya-mlx", dtype="float16")
result = agent.predict(
    "I was billed twice. Please refund the duplicate today.",
    {
        "department": {"type": "choice",
                       "instructions": "Which team should handle this request?",
                       "criteria": {"billing": "invoices, payments, refunds",
                                    "technical": "bugs and outages"}},
        "refund": {"type": "noul", "instructions": "Does the customer ask for money back?"},
    },
)

预转换好的 FP16 checkpoint：aac6fef/laya-mlx、aac6fef/laya-multilingual-mlx、aac6fef/laya-typed-decisions-mlx。也可以直接加载原始 ID（convaiinnovations/laya 加 subfolder=）。

值得了解的功能

• Router：沿用上游的语言路由和预设，例如 Router(dtype="float16", max_loaded=2)，中文会被路由到多语言 checkpoint。
• 精度：默认 FP16；需要和上游数值更接近时用 dtype="float32"。
• 重复性负载：可以开启 compile=True、pad_to_multiple=16 和 cache_prompts=True。
• 大标签集：predict_shortlist 先按向量相似度保留前 k 个标签，再做一次前向计算。
• 命令行与转换：laya-mlx predict ...、laya-mlx convert --model convaiinnovations/laya --dtype float16。
• Demo：pip install 'laya-mlx[demo]' 后运行 laya-snake，每一步都由 Laya 决定贪吃蛇怎么走。

限制

• 只支持 Apple Silicon。
• 只做推理和格式转换；RLCD 训练和微调仍在上游 Python 项目里。
• 模型本身的限制不变：英文 checkpoint 不能代替多语言 checkpoint，置信度也不等于准确率。

Apple Silicon 上的其他选择：MPS 运行时（PyTorch 跑 Mac GPU，有低内存模式），以及 Arbiter，它可以把这个 MLX 移植版当作推理引擎。

来源：mizorewww/laya-mlx · Apache 2.0 · 独立移植，非 Convai Innovations 官方发布。

最后对照项目 README 核实：2026 年 9 月 24 日。