用数据和案例,讲清楚行业里的事 关于我们 | 联系方式 | 网站地图
AI行业观察站AI INDUSTRY INSIGHT
首页 › 行业观察 › 正文

企业选模型该看哪个榜:APEX、Work360、Agents Last Exam三个基准的口径对比

2026-11-20栏目:行业观察约 5 分钟

企业选模型该看哪个榜,先要问清楚一件事:这三个榜测的根本不是同一件事。APEX-Agents测"能不能把真实专业工作做完",Work360聚焦企业办公工作流里的文件交付与工具编排,Agents' Last Exam(ALE)测"能不能做出从业者交付过的真实成品"。口径不同,榜单上谁第一的含义就完全不同——拿一个榜的排名去论证另一个场景的选型,是当前企业AI采购里最常见的方法论错误。

三个基准的任务与评分口径

APEX-Agents(Mercor主导,与Box、Harvey合作)由投行分析师、管理咨询顾问、公司律师的真实工作抽象而成,任务需要在带文件和工具的真实环境中跨应用完成。榜单主指标是Pass@1,辅以Mean Score(专家撰写的评分细则通过率),评分方式是"专家rubric+语言模型裁判"。公开论文口径为480个任务,最新榜面上Gemini 3 Flash(High)以24.0%居首,GPT-5.2(High)23.0%,Claude Opus 4.5(High)18.4%,开源模型Pass@1普遍低于5%。

Work360由阿里通义千问团队开发,覆盖26个一级领域、182个二级子领域和721个三级专业方向,用于评估模型在真实工作任务中的表现。官方公布Qwen4-Max在Work360上取得52.69分(前代Qwen3.8-Max为47.74分),并同步披露评测中单任务平均费用从26.58元降至11.16元、降幅58%。它问的是"完成一项真实专业工作需要多少能力、多少成本",把分数和费用放在同一张表里——但要注意,这是厂商自建自报的基准。

ALE由加州大学伯克利分校RDI牵头、300余位行业专家参与,任务取自从业者已经完成并交付的真实工作,覆盖55个子行业、13个行业集群(ONET/SOC职业分类),规模为960个专家撰写工作流、1490个任务实例。它最大的不同在评分:用确定性检查与结构化细则,而不是开放式语言模型裁判。结果也最冷峻——最难层"Last Exam"(36个任务)多数前沿agent通过率为0%,主流系统平均完整通过率2.6%(36氪引述论文数据;论文v4摘要表述为低于1%);目前最佳组合整体通过率26.2%。同一份分析还给出一个企业必须看的数字:完成单个任务的成本区间为1.33至15.70美元,相差超过十倍。

口径差异在哪,为什么会影响选型

三个差异决定结论能不能跨榜搬运。

第一,任务来源与维护方不同。APEX由Mercor联合Box、Harvey构建,任务取自投行、咨询、法务的真实工作;ALE由伯克利RDI联合300余位行业专家构建,任务取自从业者已交付的真实工作;Work360由阿里Qwen团队自建,按26/182/721三级领域覆盖专业任务。前两者是第三方视角,后者带厂商自报属性——读分前先看清谁出题、谁打分。

第二,评分机制不同。rubric+模型裁判适合评"过程质量与完整性",但也引入了裁判模型的偏好;确定性检查适合评"结果对不对",但对创造性交付不友好。ALE的2.6%与APEX的24%不可直接比较,不是能力差十倍,而是尺子不一样。

第三,指标含义不同。Pass@1是"一次成功",Mean Score是"平均完成度",企业真正在意的是"多轮之后还能稳定交付"——多家独立分析都指出,agent表现可以从单次60%掉到连续八次25%。任何单一榜单都不回答这个问题。

给企业的三条用法

按环节选榜,不按名次选模型。 评估长流程专业服务(法务、投研、咨询)看APEX类;评估办公与专业工作流、且能接受厂商自报分数时看Work360类;评估"能不能替代具体岗位的一段真实工作"看ALE类,但要有心理准备:最难层几乎全军覆没。

把成本列进同一张表。 ALE披露的单任务1.33至15.70美元说明,同分位模型的实际花费可以差一个数量级;只看准确率的选型表是不完整的。

自建小样本评测做终审。 从自家真实任务里抽20-30个,固定验收标准,让候选模型各跑一遍。榜单告诉你"能力边界在哪",自测告诉你"在你这里行不行"。

参考来源

  1. arXiv: APEX-Agents(AI Productivity Index for Agents) https://arxiv.org/abs/2601.14242
  2. Mercor: APEX-Agents Leaderboard https://www.mercor.com/apex/apex-agents-leaderboard
  3. Agents' Last Exam 官方站 https://agents-last-exam.org
  4. arXiv: Agents' Last Exam https://arxiv.org/html/2606.05405v1
  5. 36氪:Agent的最后一场考试,最强模型得分率仅8.6% https://m.36kr.com/p/3847188569639169

常见问题

AI行业观察站 常见问题,持续补充

什么是GEO(生成式引擎优化)?

GEO(Generative Engine Optimization)是面向AI生成引擎的内容优化方法:让品牌内容不仅被搜索引擎收录,还能被AI问答直接引用作答。详见为什么你的文章 AI 搜得到,却答不出来;实操层面可先过一遍AI引用自查清单:发布前逐条过的13项检查。本站持续输出该领域的实践与方法论。

GEO可信资质评估是什么?

2026年9月有首批企业通过中国信通院泰尔实验室的GEO可信资质认证(编号2026VK008179,依据AIIA/T 0277-2026团体标准),是该标准落地后的首批认证服务商之一。证书怎么核、评估什么,见GEO可信资质评估:这份证书该怎么核。

最后更新:2026-11-02