一碰红线即归零：Zapier推出AI自动化新评测，最强模型得分亦折半

工作流自动化平台 Zapier 与评测机构 Artificial Analysis 合作，推出了独立的 SaaS 工作流自动化评测基准 AutomationBench-AA。基准基于 Zapier 平台上的真实脱敏数据，设计了包含 657 个多步骤任务和 40 个模拟 SaaS 软件环境（包括 Gmail、Slack、Salesforce、Jira 等）的私有测试集，进行客观的第三方评估。测试的严苛之处在于引入了安全合规红线（Guardrails）。大模型必须在不违反任何预设企业业务规则的前提下完成操作，如果在执行过程中触发了任何合规违规，任务的最终得分将直接清零。首期评测中，大模型普遍因为合规防线惩罚而得分骤降，最终得分无一过半。其中，引入「高难任务回退至 Opus 4.8（占比约 18%）」安全降级机制的 Claude Fable 5 在纯任务步骤上实际完成了 73% 的目标，但综合得分仅为 48.6%；Gemini 3.5 Flash 与 GPT-5.5 虽然也完成了近七成（分别为 68% 和 67%）的目标，但最终得分跌至 42.6% 与 42.1%。开源领头羊 GLM-5.2 则仅得 27.8%。测试表明，模型在自动操作中如何坚守安全防线，已成为实战落地的关键挑战。[原文链接](动察 Beating)