撞上了https://claw-eval.github.io//同时寻找可靠的代理基准测试。事实证明，它是设计最精良的eval框架之一。300个人工验证任务，19个带有错误注入的模拟服务，全轨迹审计。 有三件事很突出： 1/能力≠一致性。DeepSeek V4 Pro和Gemini 3.1 Pro以82.9%的得票率并列Claude Opus 4.6Pass@3（上限）——但在通过3（可靠性）时分别降至59.8%和57.8%。如果你不能再现它，那么峰值性能就毫无意义。 2/问题的质量比数量重要12倍。在多回合代理任务中，问题精度与成功相关r=0.87。轮数？r=0.07。停止添加转弯。开始问得更好。 3/每个模特在某些方面都很平庸。视频：克劳德领衔。文档/图像：GPT-5.4。代号：MiMo-V2-Omni。没有一种模式能主宰所有模式——“一种模式统治所有模式”的说法并不成立。 纸张：http://arxiv.org/abs/2604.06132 代码：http://（github）/caw-eval/caw-eval 向@_TobiasLee和团队（北大+港大）致敬！