Anthropic:把 70 万条 Claude 对话提练成 3000 条价值观,发现 Opus 4.7 最谨慎,Sonnet 4.6 更会哄人

CN
1小时前
这套方法让我们第一次能量化「AI 性格」是怎么随训练方式和文化语境变化的。

作者:Anthropic

编译:深潮 TechFlow

深潮导读:当 AI 被要求回答「该不该跳槽」这类主观问题时,它的回答本身就是价值观的体现。Anthropic 把 Claude 在 70 万真实对话中展现的 3000 多种价值观压缩成 4 条轴线,发现 Opus 4.7 比其他版本更警惕风险、更直言不讳,而用阿拉伯语对话的 Claude 比用英语对话的更温暖。这套方法让我们第一次能量化「AI 性格」是怎么随训练方式和文化语境变化的。

当有人问 Claude 一个没有标准答案的问题——比如要不要接受新工作、怎么处理和朋友的冲突——Claude 的回答必然反映某种价值观。我们希望 Claude 反映的价值观在其宪法中有高层次概述,但没有任何文件能预见 Claude.ai 上每天数百万次对话中可能出现的每一种价值观。相反,我们寻求在 Claude 的回应中培养"可以根据情境应用的良好判断力和健全价值观"。

我们究竟如何研究 Claude 表达的价值观,以及它们在不同情境下如何变化?在之前的工作中,我们分析了 70 万次匿名 Claude.ai 对话,识别出 Claude 回应中超过 3000 种不同的价值观,以及 Claude 表达它们的频率。但这么庞大的价值观列表很难理解。在这项工作中,我们通过将这些数千种价值观压缩成少数几条轴线,使研究这些价值观变得可行,这些轴线捕捉了 Claude 回应中的关键模式。每条轴是两组价值观之间的数轴——例如,一端是与情感温暖相关的价值观,另一端是与严谨相关的价值观——Claude 在这条线上的位置告诉我们它倾向于哪些价值观。

我们应用这种方法来衡量 Claude 表达的价值观在两个因素上如何变化。首先,我们比较了 Claude 表达的价值观在不同模型之间如何变化。每个 Claude 模型反映了略有不同的性格训练方法以及许多其他微调决策。因为我们的价值观轴线方法量化了模型之间的关键差异,它最终可能让我们将 Claude 表达的价值观变化与不同的训练决策联系起来。

其次,我们想了解用户在使用不同语言与 Claude 交谈时的体验如何比较。我们之前的研究表明 Claude 在不同语言中的行为有所不同。我们应用价值观轴线方法来理解 Claude 表达的价值观在 Claude.ai 上排名前 20 的语言中如何变化。

图 1:Claude 在 Opus 4.6 和 Opus 4.7 中以及英语和阿拉伯语版本中表达的价值观有所不同。Opus 4.6 倾向于表达与谦逊、严谨、简洁和执行力相关的价值观,而 Opus 4.7 则倾向于表达与谨慎、严谨、深刻和坦诚相关的价值观。在英语版本中,Claude 倾向于表达与谨慎、严谨、深刻和坦诚相关的价值观,而在阿拉伯语版本中,则倾向于表达谦逊、热情、简洁和执行力相关的价值观。

四条关键轴线捕捉了 Claude 价值观 15% 的变化:

顺从与谨慎:Claude 是倾向于满足他人想要的,还是防范可能的风险和伤害

温暖与严谨:Claude 是倾向于表达积极和关心他人,还是强调准确和精确

深度与简洁:Claude 是倾向于深入解释,还是只做被要求的事

坦率与执行:Claude 是倾向于突出自己的不确定性,还是产生更完善和自信的答案

这些轴线上的价值观档案与模型性格的感知相匹配。Sonnet 4.6 被认为特别温暖,而 Opus 4.7 以严谨著称。我们发现每个模型的价值观档案反映了这些主观评估:Sonnet 4.6 倾向于表达更多对用户的顺从和情感温暖,而 Opus 4.7 倾向于表达对准确性和精确性的关注以及防范滥用。

Claude 表达的价值观在不同语言中有所不同。当 Claude 说英语时,它强调的价值观与说葡萄牙语、印尼语或中文时不同。最大的变化在温暖与严谨轴线上,Claude 在阿拉伯语和印地语中最倾向于表达温暖相关价值观,在英语和俄语中最倾向于表达严谨相关价值观。

通过这种方法,我们可以开始追问为什么价值观在不同模型和语言中发生变化,并更好地测试行为训练或文化背景等因素如何影响 Claude 表达的价值观。

我们如何解读巨大的价值观空间?

最终,我们的目标是有一种方法来实证理解 Claude 表达的价值观,以及这些价值观在不同情境下如何变化。在这项工作中,我们特别关注价值观如何在模型和语言之间变化。但我们之前的工作《野生价值观》识别出了 Claude 表达的 3000 多种价值观。逐一比较这些数千种价值观会很笨拙,并且会掩盖更广泛的趋势。

为了使比较价值观更容易,我们构建了价值观轴线,根据哪些价值观倾向于在真实对话中一起出现,将这些数千种价值观减少到几个基本维度。例如,被描述为"温暖"的 Claude 回应通常也被描述为"鼓舞人心"和"积极"。这些"温暖"的回应不太常被描述为"严谨"和"准确"。构建一条从温暖到严谨的轴线让我们能够组织这些相关价值观组——温暖相关价值观在一侧,严谨相关价值观在另一侧——并捕捉 Claude 在对话中与人互动的一个重要方面。如果 Claude 在对话中表达的温暖相关价值观多于严谨相关价值观,那么该对话在这条轴线上更偏向温暖侧,反之亦然。这并不意味着轴线两端的价值观组是互斥的——Claude 可以在同一对话中表达温暖和严谨。但实际上,Claude 在轴线一侧表达的价值观越多,它倾向于在另一侧表达的就越少。这些轴线让我们能够比较 Claude 表达的最显著的价值观组,而不必跟踪数千个单独价值观的变化。

为了构建价值观轴线,我们从《野生价值观》中识别的 3307 种价值观开始,手动将具有相似含义的价值观聚类,产生了一个包含 339 种高层次价值观的较短列表。接下来,使用我们的隐私保护分析工具,我们从 Claude.ai 对话中抽样了 309,815 次用户给 Claude 主观任务的对话。我们的样本平均来自三个模型(Sonnet 4.6、Opus 4.6、Opus 4.7)和 Claude.ai 上最常用的 20 种语言,为我们提供了每个模型-语言对大约 5000 次对话。对于每次对话,该工具使用 Claude 将 339 种高层次价值观中的每一种标记为存在或不存在。我们遵循相同的过程来识别用户表达的价值观,以及对话的任务和主题。然后我们应用降维技术,这是一种根据 Claude 倾向于一起表达哪些价值观将标记的价值观压缩成轴线的技术。

这给我们留下了四条轴线,捕捉了 Claude 表达的价值观从一次对话到另一次对话的主要变化方式:

顺从与谨慎轴线对比了像适应和尊重偏好这样的价值观与像负责任的指导和减少伤害这样的价值观

温暖与严谨轴线对比了像积极框架和鼓励这样的价值观与像准确性和透明度这样的价值观

深度与简洁轴线对比了像细微差别和批判性思维这样的价值观与像简洁和服从这样的价值观

坦率与执行轴线对比了像诚实和透明这样的价值观与像结果导向和优化这样的价值观

为了确保我们测量的是 Claude 表达的价值观——而不是用户询问内容或询问方式的差异——我们控制了每次对话的任务、主题和用户表达的价值观。

图 2:代表 Claude 价值观最大差异的四个价值轴。每个轴都是一条连接两组数值的数轴。每个数值在每个轴上的位置取决于它对该轴的贡献是平均值的多少倍,贡献最大的数值已标注。大多数数值的贡献小于平均值,这意味着每个轴都由一小部分关键数值(图中已标注)驱动。

不同的 Claude 模型是否表达不同的价值观档案?

在本节中,我们比较了不同模型表达的价值观。对于每个模型,我们对其所有对话沿四条轴线的位置取平均值,每条轴线给出一个总体位置。结果是一幅高层次的图景,显示每个模型倾向于表达哪些价值观组多于其他模型。这些差异相对于对话之间的变化是很小的,但是结构化的和可检测的。

图 3:每个模型在四个价值轴上的平均位置(以所有对话平均值的标准差表示)及其独特行为。Sonnet 4.6 倾向于热情、恭敬和简洁,而 Opus 4.7 则更倾向于表达严谨、谨慎和深刻。Opus 4.6 则倾向于严谨、恭敬和简洁。

为了看到这些差异在实践中是什么样子,我们放大模型差异最大的具体价值观。每次我们基于 Claude 的隐私保护工具在对话中标记一个价值观时,它还会写一个关于 Claude 如何表达该价值观的简短描述。我们将反映价值观组内相似行为的描述分组,并总结如下,给出模型如何不同的更具体视图:

顺从与谨慎。Sonnet 4.6 最倾向于表达相对于谨慎的顺从,经常肯定用户的想法和工作。Opus 4.7 最倾向于表达谨慎,经常主动警告用户风险。

温暖与严谨。Sonnet 4.6 最倾向于表达温暖,经常通过幽默、玩笑和在不评判的情况下安慰用户。Opus 4.7 最倾向于表达相对于温暖的严谨,更可能挑战用户的假设并坦率地批评他们的工作。

深度与简洁。Opus 4.7 通过展示其结论背后的推理倾向于深度,而 Opus 4.6 和 Sonnet 4.6 倾向于简洁。Opus 4.6 特别倾向于直奔主题。

坦率与执行。Opus 4.7 通过坦率自己的局限性倾向于坦率,而 Opus 4.6 倾向于执行,更可能保持在用户请求的范围内。

这些发现与人们对这些模型的感知一致,无论是在 Anthropic 内部还是在网上。Claude.ai 用户评论说 Opus 4.7 比其他模型更频繁地对其答案设置限定条件。Anthropic 员工将 Opus 4.7 描述为表达相对更多的透明度、诚实和谦逊,将 Opus 4.6 描述为表达更多的简洁。我们还在 Sonnet 4.6 的发布博文中将其描述为温暖、诚实和亲社会。我们的轴线恢复这些印象的事实表明,我们标记和比较 Claude 表达的价值观的方法正在跟踪关于模型实际行为的一些真实情况。

在许多对话中,用户在与不同 Claude 模型互动时可能会遇到不同的价值观组合。例如,Opus 4.7 倾向于对用户的工作提供坦率的批评或主动警告风险,而 Sonnet 4.6 倾向于鼓励和幽默。模型之间价值观的这种差异可能是由性格训练决策(以及其他因素)塑造的,我们的价值观轴线方法突出了 Claude 表达的价值观的关键差异,我们最终可能能够将其追溯到这些训练选择。

Claude 表达的价值观在不同语言之间是否不同?

我们预期 Claude 表达的价值观会根据对话的语言而变化,原因有几个。首先,Claude 的训练数据在不同语言中有所不同,这可能塑造它表达的价值观。其次,我们在系统卡中分享的模型评估已经发现了不同语言在 Claude 知道什么以及它如何处理敏感请求方面的差异。衡量 Claude 表达的价值观在语言之间变化多少是确定语言之间的差异是否反映合理变化或应该在训练中解决的第一步。

我们使用与上一节相同的方法计算 Claude 的价值观档案在 Claude.ai 上最常用的 20 种语言中如何不同。下面,我们绘制了 Claude 在该平台上排名靠前的语言中的价值观档案,从 Claude 表达的价值观差异最大的语言开始。

图 4:Claude 在每种语言对话时,在四个价值轴上的平均位置(以所有对话平均值的标准差表示),以及Claude 在每种语言中的独特行为。Claude 在印地语中最倾向于热情,而在俄语中最倾向于严谨。Claude 在印尼语中最倾向于执行,而在荷兰语中最倾向于坦率。Claude 在阿拉伯语中最倾向于恭敬和简洁,而在英语中最倾向于谨慎和深入。

Claude 的价值表达在不同语言中差异最大的是温暖 vs 严谨和坦率 vs 执行两个轴,而在尊重 vs 谨慎和深度 vs 简洁两个轴上最为稳定。

尊重 vs  谨慎。Claude 在阿拉伯语中表现出最多的尊重,在英语中表现出最多的谨慎。

温暖 vs 严谨。Claude 在印地语和阿拉伯语中表现出最多的温暖,特征是礼貌的语言、幽默和趣味性,以及对他人想法和工作的肯定。Claude 在英语和俄语中最倾向于表达严谨,特征是质疑假设、纠正细节和要求证据。

深度 vs 简洁。Claude 在英语中倾向于深度,会完善和纠正细节,而在阿拉伯语中倾向于简洁。

坦率 vs 执行。Claude 在荷兰语中倾向于坦率,会承认自己的错误,而在印尼语中倾向于执行。

综合来看,这些结果表明 Claude 表达的价值观会随对话语言发生有意义的变化。面对同样的请求,Claude 在某些语言中更倾向于温暖和尊重,而在另一些语言中更倾向于严谨和谨慎。这带来了我们才刚开始探索的重要影响。举个例子:两个人就同一份商业计划寻求反馈,一个用印地语一个用俄语,可能会对计划质量产生不同的印象,因为 Claude 在表述评估时表达了不同的价值观。

我们还不清楚训练数据的哪些特性驱动了这些差异。一种可能是我们的训练数据在各语言间分布不均。某些语言的数据量远大于其他语言,而在数据丰富的语言中,训练 Claude 表达一致价值观可能更有效。数据构成也各不相同。例如某些语言可能在专业写作中占比过高,而这类文本可能反映不同的价值观。这些数量和构成上的不平衡可能共同导致 Claude 在不同语言中表达不同的价值观。

我们也不确定这种变化有多少是可取的。不同语言承载不同的对话规范,Claude 可能基于这些规范以不同的价值观回应。Claude 在某些语言中也可能更贴近我们的预期行为,导致 Claude 服务某些语言社区的效果出现差距。

这个方法让我们开始厘清训练数据的哪些特性驱动了这些差异——以及这种变化是否可取。

展望未来

我们展示了 Claude 表达的价值观可以压缩到少数几个轴,以及 Claude 在这些轴上的位置会随模型和语言变化。这让我们能在模型评估和部署后监控中追踪这些变化。但我们还不理解这些变化为何发生,以及它们对与 Claude 交互的人意味着什么。下面我们勾勒出我们认为最有前景的未来方向。

这些价值差异从何而来?

知道 Claude 的价值观会随模型和语言变化,并不能告诉我们原因。某些变化可能源于不同语言的预训练和微调数据差异。我们的四个轴突出了应在训练数据中更仔细检查哪些价值差异。将这些差异追溯到具体数据、训练阶段或上下文因素,能告诉我们如果想以更细致的方式塑造 Claude 的行为,应该在哪里干预。

这些差异对用户意味着什么?

我们测量了 Claude 表达的哪些价值观不同及其相关行为,但没有测量这些对用户的影响。使用 Anthropic Interviewer 等工具,我们可以询问用户关于他们的幸福感、对 Claude 的信任或 Claude 的决策质量,然后将这些影响与 Claude 表达的价值观关联起来。这将使我们能直接将价值差异与用户结果联系起来,让我们优先修复真正影响用户的价值差异。

Claude 的价值观应该如何在不同语言间变化?

Claude 的宪法描述了它应该表达的核心价值观,如温暖、谨慎和诚实,但没有具体说明这些应该如何在不同语言间变化。我们的结果显示不同语言的用户已经在以不同方式体验 Claude,但我们不知道用这些语言与 Claude 交互的人想要什么样的变化。确定 Claude 的价值观应该如何在不同语言间变化,意味着理解和权衡说这些语言的人的观点。

还有哪些其他因素驱动 Claude 表达的价值观差异?

语言和模型不太可能是 Claude 表达什么价值观的唯一驱动因素。价值观也可能受年龄、职业或地理区域等人口统计信号影响,无论是通过用户所写内容中的明确线索,还是通过与提问者相关的主题、语气和风格上的微妙差异。理解这些信号中哪些重要,以及由此产生的变化是否很好地服务用户,是我们方法支持的下一步。

我们能可靠地引导 Claude 表达的价值观吗?

有了测量模型价值概况的方法,自然会产生一个问题:我们能多可靠地引导 Claude 表达的价值观?我们可能测试的一种方式是尝试通过角色训练调整或系统提示更改来引导价值观,然后使用我们的价值轴方法验证模型表达的价值观是否如预期变化。

价值概况能成为我们评估和监控模型方式的一部分吗?

价值轴方法为我们提供了一种简单方式来总结模型在开放式对话中的行为倾向,我们可以将此构建到评估流程中。在模型发布前和发布后运行价值概况分析,可以标记 Claude 表达的价值观中的意外变化。我们还可以识别价值概况与问题行为(如不遵守 Claude 宪法)之间的相关性,并利用我们学到的知识改进 Claude 的行为。

Claude 每天在数百万次对话中、跨数十种语言表达价值观,而直到现在,这些价值观是我们可以在训练中塑造但无法在部署中可靠观察的东西。现在我们有了测量它们的方法,我们可以看到 Claude 表达的价值观以我们并未刻意选择的方式变化,我们可以研究它们为何变化以及这种变化是否服务用户。理解这种变化,并决定如何应对,是我们将继续进行的工作。

Matt Kearney, Miranda Zhang, Shan Carter, Judy Hanwen Shen, Kunal Handa, Jerry Hong, Saffron Huang, Miles McCain, Thomas Millar, Michael Stern, Mo Julapalli, Suzanne Wang, Devin Kuokka, Andrea Vallone, Shaoyi Zhang, Jim Baker, Kevin Troy, Matt Botvinick, Hanah Ho, Monika Tuchowska, Sarah Pollack, Jake Eaton, Deep Ganguli, Esin Durmus

致谢

感谢以下个人在本工作不同阶段提供反馈:Amanda Askell, Joe Carlsmith, Jack Clark, Ishita Dasgupta, Andrew Lampinen, Shayne Longpre, David Saunders, Taylor Sorensen, Heather Whitney。

可在此处获得。

我们将价值观定义为规范性考量,如诚实或谨慎,在 Claude 的回应中被陈述或展示。当我们提及 Claude 表达的价值观时,我们指的是 Claude 的行为和输出所反映的价值观。我们并不暗示 Claude 内在持有价值观。

参见我们 Claude Opus 4.7 系统卡第 56 页中良性请求评估的不同语言拒绝率。

在控制对话任务、主题和用户表达的价值观后,这四个轴占跨对话价值观总方差的 15%。

本文中任何提及不带模型名称的 Claude 的结果,都基于我们研究的所有三个模型的对话:Sonnet 4.6、Opus 4.6 和 Opus 4.7。

数据收集自 2026 年 5 月为期两周的对话。

我们删除了在 80% 以上对话中出现的 18 个价值观(例如乐于助人、清晰度、遵循指令)。否则这些近乎普遍的价值观会主导分析,而无法告诉我们关于跨对话价值观变化的任何信息。

参见我们 Claude Opus 4.7 系统卡第 215 页的 GMMLU 评估结果和第 56 页良性请求评估中的不同语言拒绝率。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接