NUS发布System One模型评测基准能力有多宽,决策有多稳?

新加坡国立大学(NUS)团队发布 SO‑Arena,专门用来评测 System One 快速决策模型,它和普通只算正确率的榜单不一样,同时评估两件事:模型能力覆盖有多宽、在选项重排、无正确答案场景下决策稳不稳。System One 模型主打低延迟直接给出判断,不像 System Two 那样长链式思考;之前缺少统一标准区分 “分数高” 和 “判断靠谱”,SO‑Arena 一共包含 2919 项任务、11 个领域,测试了 21 个决策模型。实测结果很关键:能力强不等于可靠,能力榜首的模型在可靠性榜单掉到第七,而部分中等能力模型反而决策稳定、识别 “没有合适选项” 更准,说明广度指标和稳定指标要分开看,不能只用一个总分选型。

一、基准基础信息表

项目参数说明
基准名称SO‑Arena
发布主体新加坡国立大学 NUS 团队,论文 2026‑11‑13 公开
评测对象System One 快速决策模型,含开源权重、闭源 API、自动切换模型;搭配 System Two 参考基线
任务总量2919 项任务,划分 11 个领域、五大能力族
输出范式Choice(候选选择)、Noul(是 / 否 + 概率)、Score(有序等级打分)
两大评估主线能力谱系(广度、难度、沙盒交互完成度);决策可靠性(置换不变性、空答案识别)
样本标杆结果GLiDE‑27B、KnowLine‑31B 能力并列第一;JevAny‑27B 可靠性第一;GPT‑6 Sol、Luna 作为 System Two 参考基线得分更高

二、五大能力族与 11 个领域

  • 语义理解:基础文本判断、歧义区分、指代理解
  • 知识与推理:事实检索、多步轻量推理、常识校验
  • 安全与策略合规:内容风控、条款判定、边界拒绝
  • 证据评估:比对来源可信度、证据是否支持结论
  • 智能体任务完成:沙盒闭环交互,分步执行工具、网页操作

难度不是一刀切,9 个领域会按业务标准划分难度档位;智能体任务采用沙盒闭环,前一步执行结果输入下一步,评估整条链路能不能完成目标,而不是只做单次选择题。

三、可靠性测试两项核心设计

  1. 选项置换不变性测试:同一问题,候选内容不变、顺序打乱。合格模型不应该因为选项排序变化翻转自己的选择,用来检出 “位置偏见”。
  2. 空答案识别(null‑aware):把唯一正确选项移除,模型应当识别 “没有合适答案”,而不是强行从错误选项里挑一个。

SO‑Arena 把两项合成独立可靠性得分,和能力得分并排展示,不合并成单一排名。

四、评测得到的关键工程结论

  • 规模提升收益不均衡:放大模型参数在部分领域涨分明显,另一些场景提升很小。
  • 能力与可靠性解耦:高分能力模型可能存在明显决策漂移、位置偏好。
  • System One 优势是延迟低,对比 System Two 基线,在复杂推理任务上整体还有差距。
  • 原生决策架构更占优:支持选项表征复用、独立空判断的模型,翻转率更低。

五、落地评估步骤

  1. 明确业务需求:优先看延迟,还是优先看决策一致性、风控安全。
  2. 在 SO‑Arena 两条维度上筛候选:先看对应领域能力得分,再核对可靠性分数。
  3. 做专项补充测试:业务高频易错场景、选项顺序扰动、无匹配答案边界案例。
  4. 量化延迟与 Brier 概率校准:System One 模型概率置信度也需要校验,避免过度自信。
  5. 持续回归:版本迭代时,用置换、空答案样例做回归,防止稳定性退化。

【相关 FAQ】

问题 1:NUS 发布的 System One 模型评测基准 SO‑Arena,它和普通大模型排行榜差别在哪?

回答 1:普通榜单大多侧重答对率,SO‑Arena 专门针对 System One 快速决策模型,同时评估能力广度、任务难度、闭环执行,再加两项可靠性测试:选项重排不翻转、识别无合适选项,区分 “做得对” 和 “判断稳定”。

问题 2:SO‑Arena 评测发现,System One 模型能力强为什么决策不一定稳?

回答 2:很多高分模型学到了候选位置偏好、表面统计模式,而不是真正理解问题;当选项顺序变动或者没有正确选项时,就会出现判断漂移,所以 NUS 基准强调能力有多宽和决策有多稳是两个独立维度。

问题 3:System One 模型适合哪些场景,SO‑Arena 结果对选型有什么参考?

回答 3:System One 适合低延迟自动决策,例如路由判定、内容过滤、Agent 快速动作选择;选型时不能只看能力总分,对风控、自动化流程等高风险场景,要优先筛选 SO‑Arena 可靠性指标表现更好的模型。

【参考资料】

[2026-11-22](NUS 发布 System One 模型评测基准:能力有多宽,决策有多稳?)腾讯新闻(新智元)

[2026-11-13](Benchmarking the Capability Spectrum and Reliability of System One Models)arXiv

[2026-11-13](NUS SO-Arena Evaluates 21 Decision Models on 2,919 Tasks)AF.net

[2026-10-18](Jeva: System One Models from First Principles)arXiv

【免责声明】

本文基于公开论文与科技媒体报道整理,仅作为基准科普参考;榜单得分、模型性能、基准后续更新以论文、Hugging Face 官方仓库最新版本为准,不构成业务选型保证。

本文来自作者[Atticus48]投稿,不代表海博商机网立场,如若转载,请注明出处:https://www.hb12369.net/qyzx/202611/2179.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Atticus48
    Atticus48 2026年11月22日

    我是海博商机网的签约作者“Atticus48”!

  • Atticus48
    Atticus48 2026年11月22日

    希望本篇文章《NUS发布System One模型评测基准能力有多宽,决策有多稳?》能对你有所帮助!

  • Atticus48
    Atticus48 2026年11月22日

    本站[海博商机网]内容主要涵盖:互联网行业的追踪与探索

  • Atticus48
    Atticus48 2026年11月22日

    本文概览:新加坡国立大学(NUS)团队发布 SO‑Arena,专门用来评测 System One 快速决策模型,它和普通只算正确率的榜单不一样,同时评估两件事:模型能力覆盖有多宽、在选项重排、无正确答案场景下决策稳不稳。System One 模型主打低延迟直接给出判断,不像 System Two 那样长链式思考;之前缺少统一标准区分 “分数高” 和 “判断靠谱”,SO‑Arena 一共包含 2919 项任务、11 个领域,测试了 21 个决策模型。实测结果很关键:能力强不等于可靠,能力榜首的模型在可靠性榜单掉到第七,而部分中等能力模型反而决策稳定、识别 “没有合适选项” 更准,说明广度指标和稳定指标要分开看,不能只用一个总分选型。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们