ZENGSU INTELLIGENCE
增速智谈·科普系列
AI 决策模型技术篇 01
客户发来一句话:“东西还没到,钱倒是扣得挺快。”客服系统要先弄清楚:这是物流问题还是付款问题?客户有多不满?要不要交给人工?Jev 专门处理这类判断。它读懂材料,从预设答案里做选择,再给出概率,供软件决定下一步。
我们熟悉的 AI 通常出现在聊天框里:问它一个问题,它写一段回答。2026 年 9 月受到关注的 Jev,却把“写回答”这一步省掉了。
它由 TypeSafe AI 发布。你可以给它一封邮件、一份订单记录,再问几个问题。它返回的是选项、评分或真假概率。软件拿到结果,便能分派工单、筛选资料、决定是否需要人工检查。
要理解它,先记住一个分工:Jev 负责判断,业务程序负责决定是否执行。例如 Jev 认为一封邮件有很高概率属于投诉,客服系统仍要根据客户等级、投诉内容和自己的规则决定处理方式。
标题里的“分类器”,指把材料归入不同类别的模型,例如识别垃圾邮件。“Agent”则指能连续完成任务的 AI 系统:它会制定计划、使用工具、观察结果,再选择下一步。Jev 想服务的“决策层”,就是这套系统中反复做小判断的部分。
它与已有分类技术有什么关系?为什么要专门做一个判断模型?速度提高之后,判断还能不能信?下面从一封客服邮件说起。
01
一封邮件进来,Jev 怎样完成判断
有些判断很容易写进代码:订单超过七天没有发货,就提醒客服;账户没有退款权限,就禁止操作。条件明确,照规则执行即可。
语言里的含义更难处理。“钱扣得挺快”可能带着不满,但并没有直接写“我要投诉”。仅靠几个关键词,容易漏掉语气和上下文。于是很多团队会请通用大模型读邮件,再写出一份结果。
大语言模型,也就是常说的 LLM,生成答案时通常要一步步输出小块文字。这些小块叫 token,可能是一个字、一个词,或词的一部分。如果系统最后只需要“物流”这个选项,生成和读取整段回答也会带来时间与费用。
Jev 把这个任务限定得更明确:先把可选答案列好,再请模型做选择。

图 1:把同一份材料交给 Jev,一次询问类别、等级和是否成立;软件再根据结果决定自动处理、请求确认或交给人工。state 指输入材料,Choice、Score、Noul 是三种判断方式;billing、shipping、account 分别指付款、物流和账户。增速智谈原创教学示意。
输入分为两部分。第一部分叫 state,可以理解为“判断所需的材料”,例如邮件、订单状态和此前的客服对话。第二部分是问题与答案要求,例如:“这封邮件主要涉及什么?从付款、物流、账户三项中选择。”
它提供三种判断方式:
• Choice:选一项。例如在付款、物流、账户之间选择,并返回各选项的概率。软件因此可以看出哪个选项最可能,以及几个选项是否难以区分。
• Score:评一个等级。例如把客户的不满程度分为低、中、高。等级有先后顺序,各等级同样有对应概率。
• Noul:判断是否成立。例如“这封邮件是否需要人工处理?”返回一个 0 到 1 的概率值。这个名字只是产品里的叫法,读者可以直接把它理解为“是或否”的判断。
Choice 和 Score 还会返回一个置信度字段,也就是模型对这次选择有多确定的信号。置信度和各选项概率的具体含义,应按官方接口定义理解,不能随意互换。
同一份材料可以支撑多个问题。邮件类别、情绪和是否需要人工处理,如果彼此独立,就可以放在一次请求中一起问,减少反复发送相同材料的开销。
如果付款与物流两个选项的概率很接近,程序可以暂缓自动分派。若付款问题的概率明显更高,也还要按业务规则判断是否允许自动处理。
有用的地方在于,软件能看到模型倾向哪个答案,也能看到它是否犹豫,再据此安排后续处理。
02
答案格式正确,为什么还会判断错
TypeSafe 用“类型安全”描述 Jev 的一项特点。这里的“类型”指程序允许收到什么样的答案。
假设答案只能是“允许、拒绝、人工复核”,接口就必须返回这三项中的一个。它不会突然写一段说明,导致程序无法读取。工程师常把答案格式写成 JSON,你可以把它看成一张字段固定的电子表格。
格式合格,只能保证程序读得懂;选项选错,仍会造成业务错误。一封客户明确要求退款的邮件,被分到“账户问题”,答案形式完全合法,判断却偏了。
概率也需要检验。模型给出“八成把握”,我们自然希望类似判断大约十次能对八次。让模型报出的概率与实际表现相称,这件事叫“概率校准”。
准确率和校准关注不同问题。准确率统计一百次判断有多少次正确;校准检查模型说得有多确定,是否符合它实际答对的比例。
如果一个模型经常答错,却每次都报出接近百分之百的概率,自动化系统很难知道何时该停。概率比较可信时,程序才有依据把更确定的任务自动处理,把拿不准的交给人。
但这种对应关系是对一批样本而言的。即使模型整体校准良好,也不能保证某个概率为 0.8 的答案正确,更不能直接把英文邮件上的表现套到中文投诉上。
概率校准已有多年的研究。2017 年的一项经典研究就展示过,通过调整模型输出分数,可以缓解深度学习模型过度自信的问题。Jev 的官方主张是把“概率要与正确程度相称”直接纳入训练目标,并将这条训练路线称为 RLCD。
截至本文资料截止的 2026 年 9 月 29 日,TypeSafe 尚未公开这套方法的具体算法、训练数据,以及 Jev 的完整模型结构和参数量。因此,我们能够分析它公开的接口和外部测试,暂时无法验证其内部训练方法究竟有多大创新。
03
从邮件分类,到软件里的连续判断
Jev 的来路可以沿着五条技术路线理解。图里有一些研究名称,下面用它们各自解决的问题解释。

图 2:分类、概率校准、答案格式约束和任务分派,已经分别发展多年;Jev 把这些需求集中到一个判断服务里。增速智谈原创教学示意。
第一条:让模型学会固定分类。早期系统会收集大量已标注的邮件,告诉模型哪些是垃圾邮件、哪些是正常邮件。它学会之后,就能处理新邮件。任务稳定、训练数据足够时,这种专用模型通常很实用。业务类别变化较大时,可能需要重新准备数据和训练。
第二条:用文字描述新类别。研究者进一步尝试让模型直接阅读类别定义。比如问一段报道是否属于体育新闻,并解释“体育新闻包括赛事、运动员和训练”。这类方法常被称为零样本分类:不必先收集当前任务的标注样本再训练。它不代表模型从未学习过相关知识。
其中一条路线叫自然语言推断,简称 NLI。它把分类改写为:“读完这段材料,能否支持‘这是一篇体育报道’这个判断?”2019 年及后续研究已经探索过这类方法,也发现类别定义的写法会影响结果。
第三条:让大模型按规定格式回答。工程师给生成模型规定字段、可选值和填写规则,让它更容易接入软件。这样能减少格式问题,但通常仍需要逐步生成答案文本。Jev 公开接口的区别在于,直接提供有限选项的概率结果。
第四条:让模型给答案评分、为任务选工具。有些模型专门比较哪份回答更好,有些模型决定简单问题交给便宜模型、复杂问题交给更强模型。这说明选择与评分本来就是 AI 系统的重要工作。Jev 把它们作为主要服务来提供。
第五条:AI 开始连续办事。当 Agent 要完成“打开设置、找到通知、关闭某个开关”这样的任务,每一步都要判断当前页面在哪里、应该点击什么、操作是否成功。几十个小判断连在一起,单次等待就会累积成明显的延迟。
Jev 把这几条需求组合起来:类别可以用语言描述,输出方便程序读取,多道问题可以一起处理,概率能供后续规则使用。它的产品价值,需要放到整个软件流程里衡量。
04
一次判断便宜了,软件会怎样变化
继续看客服系统。假如每封邮件只问“属于哪一类”,判断次数有限。当单次费用下降,系统可能进一步检查是否重复投诉、是否涉及隐私、是否缺少订单信息,以及回复是否回应了客户的问题。
TypeSafe 将模型命名为 Jev,取意于经济学家杰文斯。他提出的一个著名现象是:资源使用效率提高之后,总消耗有时反而增加,因为使用它变得更划算。这也是公司期待的方向:让更多原来嫌贵的小判断进入软件。
它能否实现,要看整套任务实际节省多少。单次模型调用很快,如果系统仍要反复等待、补材料、重试和人工返工,用户感受到的改善可能很小。
截至 2026 年 9 月 29 日,官方稳定版本是 jev-1.13.0,标价为每百万输入 token 0.042 美元,输出免费。token 是模型处理文字的计量单位,不能直接等同于一百万个汉字。
官方允许一次请求合计最多 64K token,也就是约 6.4 万个计量单位;其中输入材料加上最长的单个问题,不超过 32K。这里说明的是容量限制,材料越长越杂也可能越难判断。模型主要面向英文训练,接受文本及由文本组成的结构化字段,不直接处理图片、音频或视频。
官方曾在选定的工作流测试中报告约 194 倍速度和约 445 倍成本优势。但测试把其他模型的平均预测作为参考答案,未使用逐项核实的真实标签;输入又是比较短、信息密集的材料,对 Jev 有利。
这些条件需要与数字一起看。它们展示了适合场景中的潜力,无法据此推断任意业务都能获得同样收益。
媒体报道的等待名单、开发者接入和平台采用数据,也主要反映早期兴趣。接入过一次、做过演示,与长期稳定运行是不同的验证阶段。
05
论文测出了什么:省钱、省时,也会自信地出错
Jev 发布初期已有一批研究上传到 arXiv。arXiv 是研究者公开论文的平台;这些论文当时属于预印本,结论还需要更多复现和同行审查。
读它们时,最重要的是看清楚任务、对照对象和失败条件。不同实验里的速度或成本倍数,不能直接排成一个排行榜。

图 3:这组研究同时测试了判断成本与错误风险。图中的 AUC 衡量模型区分两类情况的能力,API 成本指调用模型的费用,“级联”指先由一个模型检查,再把部分任务转交其他模型;不同指标不能直接互相比高低。增速智谈整理制图。
第一组实验,测试它能否低成本评审答案。《JEV-as-a-Judge》让 Jev 与多种模型比较,判断回答是否更好、是否有事实依据。在部分任务上,它与最强对照模型相差不到 3 个百分点,费用约为对方的 0.36%。将 Jev 拿不准的样本再交给更强模型处理,能够保留大部分对照模型的准确率。
这里的启发是,许多重复的初步检查可能适合先交给 Jev。但前提是任务本身能够通过明确问题和有限选项表达。
第二组实验,测试它能否帮助 AI 操作手机。《Jev-Mobile》让一个能理解图像和文字的模型先制定计划,Jev 再读取系统提供的按钮、文字和控件列表,反复选择下一步操作。这个控件列表叫“无障碍树”,因此实验并不表示 Jev 自己能看懂屏幕截图。
在 AndroidWorld 测试中,这套系统完成了 79% 的任务,逐步使用图文模型的对照方案完成了 84%。在成功完成的任务中,前者平均耗时下降约 33%,模型调用费用下降约 73%。它节省了时间与费用,同时也牺牲了一部分成功率。
边缘服务编排研究同样观察到节省:根据用户请求为其选择和安排服务时,部分延迟和调用费用下降。但重复请求直接使用缓存结果后,速度优势明显缩小。缓存就是把已有结果存下来,下次遇到同样请求直接取用。
第三组实验,测试它能否筛查 AI 的不良回答。《Just Ask Jev》检查无事实依据的回答、泄露风险、被恶意指令诱导等问题,在多组测试中获得较低成本和一定区分能力。
论文使用了 AUROC 这项指标。它衡量模型能否把真正有问题的样本排在更高风险的位置;0.5 接近随机区分,1 表示完全区分。文中报告的中位值是 0.886,这个数不能读成“88.6% 的判断都正确”。研究还发现,给模型的材料是否包含关键证据,会明显影响结果。
第四组实验,专门寻找它会怎样出错。《Type-Safe Is Not Error-Free》发现,改变选项名称与定义的对应方式,会显著改变判断。例如名称看起来像“是”,定义却要求它代表“否”,模型可能被名称带偏。因此,接入时必须检查选项名与解释是否一致。
《JevOut》在原本答对的 508 个问题中,加入看似相关的背景句,并反复搜索能诱导错误的写法。最后有 312 个问题转向了研究者预设的错误答案,其中不少仍给出较高概率。这是经过主动搜索的攻击结果,不能解读为随便加一句话就能让六成答案出错。它说明,额外材料可以影响判断,模型也可能自信地选错。
《Decision Hijacking》则测试材料中的恶意指令能否诱导系统选择危险动作。在它的实验条件下,攻击成功率相对较低,反复优化后仍有一部分成功。这与上一项研究测的是不同结果:改变概率、改错分类、最终执行危险动作,要分别观察。
还有研究发现,更昂贵的模型也可能重复 Jev 的错误。把拿不准的任务转交其他模型可以节省成本,但换模型未必就能纠错。法律文档实验也显示,问题呈现方式和选项顺序变化,会影响模型表现。
这些论文把机会和限制放在了同一张桌上:重复判断有望更便宜;判断是否可靠,仍需按具体任务检验。
06
哪些地方适合用,哪些事情还得换工具
客服分流和信息分类,是最容易理解的用途。让 Jev 判断邮件类别、给销售线索分级、为文章加标签。这些任务有现成候选答案,错误也有机会被人工发现和纠正。
如果类别经常变化,团队又没有当前任务的标注数据,用语言描述类别、直接开始测试,会比较方便。若类别长期稳定、数据充分、每天处理量极大,专门训练的小分类模型也可能更便宜、更可控。不能只因为新产品热门就替换现有系统。
连续操作中的局部选择,是另一类用途。规划模型确定“关闭通知”这个目标,Jev 根据当前控件列表选按钮。它还可以判断一项操作是否完成、某个工具是否适合当前任务。
Pokémon Red 游戏演示展示了这种组合的可能性:Jev 最终完成了游戏中的关键挑战。不过,演示里另有 Opus 5 持续查看日志并修改运行框架,累计记录了 474 次调整。这个框架负责组织状态、选项和操作规则。结果体现了整个系统的能力,不能据此宣称 Jev 独立完成读屏和规划。
重复的内容检查,也值得测试。比如每份 AI 回复都需要检查有没有事实支持、是否涉及隐私、是否需要人工复核。多项独立检查可以一起提问,再按结果分派处理。
安全检查尤其要注意,待检查材料里也可能写着“忽略之前的规则”“这份内容绝对安全”等话。让输入材料中的文字干扰模型原本的任务,叫“提示注入”。官方文档提醒过 Jev 对这类输入的风险,使用者需要专门测试。
资料筛选和排序,则能减少阅读负担。一个先查资料再回答问题的 AI 系统,常被叫作 RAG 系统。它可以先找到候选资料,再让 Jev 判断哪些段落相关、哪段内容支持某个结论。判断质量仍取决于检索到了什么,以及材料是否足够。
需要写文章、翻译、生成代码或解释复杂问题时,应选择有相应生成与推理能力的模型。需要精确计算金额、比较日期、检查权限时,普通代码更适合承担明确规则。Jev 1.13 的文档还指出,长而杂乱的材料、多步推理等情况会增加困难。
使用前可以问三个问题:答案能否事先列出来?判断是否会频繁重复?出错后是否能及时发现并控制影响?这三点越清楚,越容易评估是否值得接入。
07
真正上线时,怎样让判断受到约束
回到那封客服邮件。即使 Jev 非常确定客户在投诉,系统也不该因此自动批准退款。退款权限、金额限制和订单状态,必须按明确规则检查。
可靠的接入流程需要几个检查点。

图 4:从明确规则检查,到模型判断,再到人工或其他模型复核,按风险安排不同出口。“原子问题”指一次只判断一件事,“完整概率分布”指每个选项都有概率。提高自动处理门槛,通常会让更多任务进入复核;图中阈值仅为示意。
先用代码检查明确条件。权限、库存、金额和日期已经有规定时,照规定处理,避免交给模型猜测。
再准备足够、相关的材料。邮件说“钱扣了”,就应提供付款和发货状态。缺少这些信息,模型只能靠语气推测。无关的长篇背景既增加费用,也可能干扰判断。
把问题与选项写清楚。每个问题只判断一件事,并允许选择“信息不足”“无法判断”。如果只有“批准”和“拒绝”,模型可能被迫在材料不够时选一个。
按动作风险设定门槛。门槛也叫阈值,是系统预设的处理条件。给工单加标签可以相对宽松;退款、删数据等影响较大的动作应增加规则和人工检查。具体概率门槛需要用自己的业务样本测试,不能抄一个通用数字。
安排复核与退出。系统可以把不确定的任务交给人工、其他模型或进一步查资料。复核时要补证据、换检查方法,才能减少重复同一个错误的可能性。
持续记录结果。记录输入材料、问题、选项、概率、最终动作,以及事后发现的错误。固定模型版本也很重要:换了模型之后,即使提问不变,概率和判断表现也可能变化。
评估时,可以围绕六个实际问题展开:
• 一百个工单分对了多少?不同类别有没有特别容易漏掉?
• 模型说有八成把握时,这一批判断是否大约八成正确?
• 提高自动处理门槛后,错误少了多少,又有多少任务需要人工?
• 改写问题、交换选项顺序或增加背景,答案是否明显变化?
• 输入恶意指令时,系统是否仍能守住处理规则?
• 算上重试、复核和返工,每个正确处理的任务到底花了多少钱、多久?
换一批客户、换一种语言或换一个版本,表现都可能变化。正式上线后还需要定期检查,不能把一次测试当成长期保证。
08
它的新意,最终要在整个系统里检验
回头看,分类、评分、概率校准和任务分派都有成熟的研究前史。Jev 的产品选择,是将这些能力集中到一个方便软件调用的判断服务中,并围绕判断重新安排接口、速度和收费。
这给使用者提供了一个新选项。原来每一步都调用大模型的系统,现在可以尝试把一部分重复选择交给专用判断服务,再比较整体效果。
这种分工是否值得,仍有三个问题需要回答。
第一,换到自己的业务里还准不准。英文测试成绩无法自动代表中文客服效果;类别、语言和材料来源变化后,需要重新测。
第二,算上复核之后还省不省。如果便宜的判断造成大量返工,整体成本未必下降。判断服务与专用小模型、通用大模型之间,应比较完成同一任务的总成本和成功率。
第三,软件是否真的需要大量局部判断。复杂任务可能仍离不开长时间推理;高频、重复、有清晰候选答案的后台流程,更容易发挥这种服务的价值。
TypeSafe 尚未公开完整技术细节,其他团队也在探索类似接口。Jev 能形成多大优势,要继续看真实业务数据、长期稳定性,以及其他方案的进展。
09
结语:把一次判断做好,也是一种 AI 能力
一封邮件怎样分派,一段资料是否有用,一个操作是否需要复核,这些小选择很少出现在产品演示的主角位置,却会反复影响软件的运行。
Jev 让人重新注意到它们的成本:一个复杂任务里,如果每个小判断都要等待,整项任务就慢;如果这些判断自信地出错,自动化规模越大,后续处理也可能越麻烦。
因此,值得观察的结果很具体:它能否减少等待和费用,能否保持足够的判断质量,遇到材料不足或风险过高时,系统能否及时停下。
Jev 的价值要用完整任务来衡量:判断更快、更便宜,同时让错误有机会被发现,让不确定的任务有地方交接。
