决策模型不是通用大模型的替代品:四个常见误解
决策模型是2026年下半年最容易被误读的一类模型。它不生成文字,只在一组给定选项里输出概率分数——于是有人以为它能替掉通用大模型,有人以为概率高就等于准,有人以为单价便宜就一定省钱。以下四问,把最常见的四个误解逐个拆开。
Q1:决策模型能替代通用大模型吗?
A:不能,两者解决的不是同一个问题。通用大模型的任务是"生成"——写文案、写代码、做分析,输出开放文本;决策模型的任务是"评分"——在一组预定义选项上输出概率分布,通常是单次前向完成,不逐token生成。它没有开放式创作能力,也无法处理选项之外的需求。正确的用法是嵌在大模型的工作流里,承担路由、分类、分级这些高频小决策。微软在2026年11月18日把这件事做成了独立产品:Decision-1.1专门负责智能体高频"小决定",官方口径是比GPT-Sol 6.1快50倍、便宜79倍。注意它的定位——是配件,不是主力。
Q2:输出概率高就等于准确率高吗?
A:不等于。这是校准(calibration)问题,必须单独测量,指标是期望校准误差ECE——把预测按置信度分箱,比较每箱的平均置信度与该箱的实际准确率。可核数据有三组:
第一组,社区决策榜单上的实测:某主流决策模型在72594次抽样决策中平均置信度0.81、实际准确率0.74,ECE约0.074——即系统性过度自信约7个百分点。
第二组,跨任务迁移失效:同一模型在目标任务上的ECE约0.033,但合并到未做过调优的社会科学类任务后,ECE升到0.251(arXiv 2610.00346)。这解释了为什么第三方榜单之间经常互相打架——不是谁算错了,而是测的任务分布不同。
第三组,训练方式决定校准:标准做法(每题只给一个正确标签)微调出来的模型ECE约0.12至0.134;改用完整金标分布训练后,ECE降到0.019至0.02(Comet公开实验)。同一个架构,校准差6倍以上。
所以看任何"某决策模型ECE 0.0X"的宣传,先问三件事:测的什么任务、用的什么训练方式、是不是在自家数据上重校准过。
Q3:单价便宜就等于总账便宜吗?
A:不必然。节省来自三个条件同时成立:其一,高频。决策类调用一天几千上万次,才值得专门优化。其二,共享输入只计费一次。如果每个决策都重复送入同一份长上下文,账单会迅速吃掉单价优势;把多个决策打包进一次前向、共享同一份输入,才是真正的省钱办法——公开实验中把五个问题打包成一次,成本约减半而答案不变。其三,不做无效重试。决策模型出错后往往要回退到大模型复核,这部分开销必须计入总账。微软Decision-1.1的报价是每百万输入token 0.042美元、输出免费,但这是厂商自报价格,实际总成本要按你自己的调用结构算。
Q4:能全自动跑,不需要人管吗?
A:现阶段不行,至少要有三道闸。第一道,保留Other选项——选项集外的请求必须能被识别并转人工,否则模型会硬塞进最接近的错误类别。第二道,设阈值做选择性预测:置信度高于阈值自动执行,低于阈值升级人工,并定期统计自动执行部分的错误率。第三道,做顺序敏感性测试:公开实验显示,把选项顺序反转后,训练过的模型仍有5%至9%的问题会改变首选答案——这说明自动化之前必须做一轮鲁棒性检查。
另外要记住一条铁律:校准不跨任务迁移。在别人的数据上表现良好的阈值,搬到你的业务上会失效,必须用自己的真实样本重校准。
给企业的四条落地动作
一、把决策模型定位为"工作流配件",先在路由与分类两个场景试点,不要碰需要生成的任务。
二、试点前先建200至500条自有标注样本,测出自己场景下的ECE与准确率,作为基线。
三、把成本按"单次决策成本×日均次数"折算成月账单,与共享输入打包、批量复用一起算。
四、上线时强制保留Other选项与人工复核阈值,每季度重校准一次。
口径声明
文中ECE与准确率数据分别来自社区决策榜单实测、arXiv公开论文(2610.00346)与Comet公开实验,均为第三方可查口径;微软Decision-1.1的快50倍、便宜79倍、0.042美元每百万输入token为厂商自报数字,未经第三方复现。选型前请以自家任务复测为准。
参考来源
- arXiv:Benchmarking System One decision models against trained classifiers and language models https://arxiv.org/html/2610.00346v1
- Comet:Train your own decision model(校准与打包成本实验) https://www.comet.com/site/blog/train-a-decision-model
- Laurence Moroney:What Is a Decision Model? A Close Look at Your Options https://laurencemoroney.com/2026/10/02/decision-models-explained.html
- Kaoutar El Maghraoui:Decision Models - A New Breed, or a Systems Correction? https://kaoutarelmaghraoui.com/blog/jev-decision-models-hype
- CNMO科技:微软发布七款新AI模型(Decision-1.1口径) https://feng.ifeng.com/c/8y92tvst04d