Serving Layer

Arbiter 本地 Serving

使用 Jev-compatible HTTP API 服务 Laya，提供 checkpoint 路由、batch、metrics、Playground 与 NVIDIA / Apple Silicon recipe。

本地 APIJev-compatible 客户端NVIDIA GPUApple SiliconAgent 集成
快速开始
git clone https://github.com/0xBakeer/arbiter.git
cd arbiter
./run.sh setup
./run.sh serve
Source
0xBakeer/arbiter

这是社区 serving layer，不是 Laya 上游 package；部署前应核验其默认配置。

看 Recipes看 Benchmark看 Projects