Preference Model（Anthropic系创始人） 是一家总部位于旧金山的「超级智能数据研究公司」，专注于为前沿 AI 实验室构建强化学习（RL）环境，用于训练更强能力、更好对齐的模型。⁠ 公司的核心观点：模型的行为几乎完全由训练时的奖励信号塑造。因此，他们专注于构建高质量、抗「奖励黑客」（reward hacking）的 RL 环境，把训练 harness 和评分器（graders）当作攻击面来加固，防止模型找到捷径或漏洞来获取高分，而不是真正解决问题。 过去一年，公司已为多家前沿实验室构建 RL 环境，尤其聚焦 ML 研究与工程任务（如写 CUDA kernel、数据策展、实验设计等），因为这是当前实验室最看重的能力提升方向。 核心开源项目：Karotte（之前介绍过该项目）： -提供RL 环境构建框架。 -提供安全默认设置与原语，主动防御常见奖励黑客手段（沙箱隔离、非特权运行、评分前杀掉残留进程、拒绝危险文件、防止 OOM/fork bomb 等）。 -已在内部经过超过 100 万次评估运行和对抗性红队测试，用于生产环境。 团队： Jennifer Zhou：联合创始人兼 CEO。曾在 Anthropic 数据团队早期工作，负责构建预训练数据基础设施、tokenizer 以及 Claude 的预训练数据集； 融资： 2026 年 10 月 7 日宣布完成 1600 万美元种子轮，由 a16z 领投。天使投资人包括 Fei-Fei Li、Ian Goodfellow、Julian Schrittwieser 等知名研究者等。 Karotte：https://github.com/preferencemodel/karotte 官网：https://preferencemodel.com/