别让大模型做选择题：Jev用70毫秒给AI应用装上决策路由层

调过智能体的开发者都有体感：一次Agent任务里，模型要回答大量鸡毛蒜皮的小问题——这个工具参数合不合规、这条用户评论该转客服还是转技术、上一步的结果有没有报错。每个判断都唤起一遍动辄数秒的生成式大模型，延迟和账单一起爆炸。Jev就是为这些「选择题」而生的。

它是TypeSafe公司在2026年9月推出的决策模型，创始人Diogo Almeida曾参与InstructGPT与RLHF研究。和ChatGPT这类「系统二」模型不同，Jev不生成任何文本：你发送一段状态（文字或JSON）加上类型化的问题，它直接返回带概率和置信度的结构化结果，代码拿来就能用。三类原语覆盖绝大多数判断场景：

• Choice（选择题）：从最多255个封闭选项里选一个，返回各选项概率与置信度，适合工单路由、意图识别；
• Score（打分题）：按0到4这样的评分标准打分并返回各级概率，适合风险评分、紧急度排序；
• Noul（是非题）：对单条命题输出0到1的概率，适合「这段内容是否包含注入指令」之类的安全检查。

同一状态的多个问题会并行评估，单次调用延迟约70到500毫秒，输入价格每百万Token 0.042美元，输出免费。按官方工作流测试，相比参考大模型最高有近200倍的速度优势和400倍以上的成本优势。

一个最小可用示例：把客服工单自动分流的逻辑收进一次调用。以前要写一长串关键词匹配，现在只需要三步：第一，定义选项列表，比如 billing、technical、sales、abuse 四个路由目标；第二，把用户工单原文作为状态发过去；第三，拿到返回的概率对象后按置信度分流——置信度高于0.9直接自动路由，0.5到0.9之间降级给更强的生成式模型复核，再低就转人工。整条链路里，贵的大模型只出现在复核环节，绝大多数工单在几十毫秒内就完成了分发。

怎么接入？目前有两条成熟路径：Cloudflare已把Jev收进其AI平台的模型目录，典型用法是请求路由和工具选择这类关键路径决策（见 Cloudflare AI Gateway（https://developers.cloudflare.com/ai-gateway/））；Vercel则把它用作编码智能体的安全审查员，并通过 Vercel AI Gateway（https://vercel.com/ai-gateway） 对外开放，护栏与路由是官方推荐的场景。社区实践也很活跃：有人用Jev压缩Claude Code的长对话上下文，把平均上下文砍掉八成以上；也有人用它给2300篇AI论文重打标签，83秒、0.14美元跑完全量。

个人观点：「AGI走了另一条路」这类叙事听听就好，Jev本质上是一个又快又便宜、输出可编程的分类决策模型，替代不了任何生成任务。但它抓住的问题真实存在：软件里的智能，不必都以「吐字符串」的方式呈现。如果你的应用里有大量靠人肉维护的if-else分支，或者Agent循环被小判断拖慢，把这类节点换成Jev，收益立竿见影；自由生成和开放式推理，仍应留给大模型。

总结：大模型当大脑、Jev当神经反射的混合架构，大概率会成为接下来一年Agent应用的主流形态。动手成本很低——挑一个你项目里调用最频繁的分类节点，先在测试环境跑一批历史数据，对一下Jev的判断和你现在方案的命中率，数据会告诉你答案。