别再烧大模型做分类判断：开源 Laya 一次前向传播 33 毫秒出结果

客服工单要自动分诊、邮件要按紧急度排序、评论区要过一遍审核——这些任务本质上都是"判断"，不是"写作"。很多团队的惯用做法是把它们全塞给大模型，结果每条判断都要跑一次完整的生成：慢的等几秒，成本按 token 计费，偶尔还会得到一段一本正经的错误答案。

其实判断类任务根本不需要自回归生成。最近登上 GitHub 趋势榜的开源项目 Laya（https://github.com/NandhaKishorM/laya） 换了条思路：它定位为"System 1"决策引擎，不做文本生成，只在单次前向传播里直接输出结构化决策。官方在 T4 GPU 上实测，单条判断约 33 毫秒，批量处理时平均每条只要 7.2 毫秒，项目已收获两万多颗星。

Laya 支持三种决策类型：choice 多选一、score 打分、yes-no 二分类，输入可以是纯文本、邮件原文，甚至一段 JSON 工单。以工单分诊为例，把"我被重复扣款了请退款"丢进去，它会直接返回分类标签或紧急度评分，全程不生成任何多余文字——没有输出就无从幻觉，这是它与传统大模型方案最大的差别。

多语言支持是另一个亮点。项目内置三个模型检查点：英文专用版、覆盖 100 多种语言的多语言版、以及面向结构化工作流的类型化决策版。内置 Router 会在亚毫秒级完成语言检测，自动把请求分发到最合适的检查点，避开了英文模型在非拉丁语系上"高置信度乱答"的经典陷阱。

上手成本很低，Python 3.10 以上环境执行 pip install laya 即可。装好后命令行直接运行 laya "邮件内容" --preset triage 就能调用现成预设，工单分诊、邮件分类、内容审核、护栏检查都内置了模板，一行代码不用写。要做系统集成，它提供 Python 和 TypeScript 两套 SDK，内置 MCP 服务器和 LangChain 支持，也能用 laya-serve 起一个 HTTP 服务挂进现有工作流，Docker 和 Nix 的部署配置一并给齐。

项目采用 Apache-2.0 许可，模型权重托管在 Hugging Face，CPU、NVIDIA 显卡、苹果芯片都能跑。它的边界也很清晰：只做判断不做生成，写文案、做总结仍然要交给大模型；但如果你手头正有一堆"看一眼就能分类"的活儿在被大模型慢吞吞地处理，把它换成 Laya，可能是本月最划算的一次架构瘦身。