xiyu
xiyu|2026年04月23日 03:19
看到一个说法——"某某国产模型有 GPT-4/Claude 70% 的能力,只要十分之一的价格"。 这个"70%"其实是最具误导性的表达。 因为 AI 能力不是线性的。70% 的能力,不等于能完成 70% 的任务。 简单任务上,差距可能只有 10-20%,你基本感觉不到。 但到了需要链式推理、长上下文、复杂创造的硬任务,差距会放大到"完全做不完"。 比喻一下:70% 能力的棋手能赢 99% 的业余选手,但对上顶尖大师胜率接近 0。这才是"70%"的真实含义。 所以评估模型时,不要看平均分,要看: 1. 高难度任务的完成率(GPQA、AIME、真实项目) 2. 多轮对话后的崩盘点(顶尖模型能聊 20 轮不乱,70% 模型 3-5 轮就开始胡说) 3. LMSYS Arena 的 Elo 差距(差 300 分≈胜率差 30%) 所以是否值得切换高性价比的国产模型,看的还是需求。(xiyu)
+6
曾提及
分享至:

脈絡

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀