撰文：Techub News 整理
近日，AI数据平台Braintrust的联合创始人兼CEO Anker做客a16z，与主持人Martin Casado进行了一场深度对话。Anker的职业生涯横跨关系型数据库时代与深度学习革命，曾创立AI文档处理公司Impira（后被Figma收购），并领导Figma的AI团队。这种独特的「系统产品人」转向「AI人」的视角，让他对当前AI热潮下的工程实践、技术路径与行业生态有着冷静而犀利的观察。本次对话触及了AI研发的核心张力、工程价值的真正所在以及开发者面临的现实抉择，为理解AI应用的下一阶段提供了关键框架。
核心矛盾：连续的非确定性与离散的系统性
对话开篇便直指一个根本性的认知差异。Anker指出，AI本质上是连续和非确定性的，而传统的软件系统则是离散和确定性的。系统工程师的思维模式建立在可预测性、可靠性和一致性之上，他们习惯于构建编译器，追求每个查询都正确无误。而AI研发者则更像是在构建优化器，接受结果在一定范围内的波动和概率性。
这种思维差异导致了实践中的张力。当前，前沿AI实验室的研发模式在很大程度上遵循着所谓的「苦涩教训」——即通过投入海量数据和计算资源来获得能力跃升，而非依赖精巧的人工设计。这看起来像是一种「反工程」的范式。资本在此扮演了关键角色：只要能够持续筹集巨额资金，这些实验室就能通过「暴力计算」不断推动模型变得更强，而无需过早陷入复杂的工程优化。
然而，Anker认为这并非故事的终点。他用一个生动的比喻描述当前状态：「我们现在就像在建造『上帝』。」只要持续投入资本能让这个「上帝」哪怕聪明1%，这在经济上就是可行的。但当有一天，你无法再通过堆砌资源让『上帝』明显变聪明时，一个巨大的机会就会出现——那就是通过工程化，让『上帝』变得极其高效。届时，工程复杂性将成为真正的壁垒，而非资本的附属品。
评估：理解问题，而非理解模型
面对复杂且不透明的AI模型，如何构建可靠的应用？Anker强调了评估的核心地位。他澄清了一个常见误解：评估的目的并非为了理解模型内部的运作机制（那几乎是不可能的），而是为了深刻地理解你所要解决的具体问题。
他分享了自己在Impira和Figma的经验：当针对不同用例优化模型时，改善一个场景的性能可能会损害另一个场景。建立一套评估体系，通过假设、模拟、定量测量与定性分析相结合的反馈循环，是确保产品朝着正确方向迭代的唯一途径。他甚至认为，评估应该成为产品经理的主要工作，它是传统产品需求文档的自然演进——通过创建一个优秀的评估集，你实际上是在对你产品应有的行为做出声明式定义。
对于应用开发者而言，这意味着一种思维转变：不要试图去「理解」或「控制」那个从天而降的「外星科技」模型，而是构建精良的「 harness」（测试与集成框架）来「保护」你的应用。这个框架能让你灵活地测试新模型、调整提示词、管理上下文，并将AI的非确定性输出与传统的、确定性的状态机可靠地连接起来。框架内部的逻辑应该设计得足够轻量和可抛弃，因为模型本身在快速迭代。
开源模型的崛起与「智力红利」的扩散
对话的一个重要焦点是开源模型，特别是中国模型（如GLM-5、MiniMax 2.5）的迅猛发展。Anker分享了来自Braintrust平台的实际数据：
- 用例数量/客户数量：使用中国模型的占比很低。
- Token消耗量：占比却非常高。
- 美元支出权重：占比仍然较低。
这一分布揭示了当前市场的微妙状态。Anker的基准测试显示，在某些复杂代理任务上，顶尖的中国模型已经达到了与Claude 3.5 Sonnet等前沿模型相近的饱和性能（例如95% vs. 100%的得分），但成本却低至三分之一甚至九分之一。
那么，为何美元权重没有迅速转移？Anker指出了几个系统层面的原因：
- API与基础设施成熟度：开源模型提供商在速率限制、服务稳定性、规模化交付方面仍远不及OpenAI等巨头。
- 成本导向的采用：用户目前主要因成本原因转向这些模型，这自然限制了其收入规模。
- 创新周期的压制：闭源前沿模型大约每3-6个月出现一次阶跃式进步，每次进步都会吸引全行业注意力，暂时「扼杀」对开源替代品的讨论。只有当闭源创新进入平台期，而开源模型性能追平时，市场才会认真考虑大规模迁移。
Anker观察到一种有趣的模式：一些精明的客户会无视行业噪音，坚持使用如Llama 3.1等「过时」模型，因为他们对特定高容量、需求稳定的用例（如客服）已经了如指掌，能够持续优化并从模型中榨取极致性能。这预示着，当模型能力普遍超越某个阈值后，工程化、领域专精和成本控制将比单纯追求最新模型更重要。
「Bash狂热」与「SQL理性」：一场关于抽象层的较量
针对当前AI代理开发中的一个热门趋势——赋予模型类似Bash的底层系统访问权限，Anker表达了鲜明的不同意见。许多开发者发现，让模型直接操作文件系统、执行命令行指令，似乎比通过结构化的API（如MCP服务器）更能发挥其能力。于是出现了各种将问题「映射」到类Bash环境的工程尝试。
Anker认为，这本质上是一种「偷懒」的工程思维。模型本身擅长编写代码（这比写SQL更难），完全具备表达SQL查询的能力。问题的关键在于，如何将数据组织在SQL环境中供模型访问。如果SQL本身就是更高效的数据查询方式，那么强迫模型通过一系列Bash操作来模拟SQL，无疑是低效的。
Braintrust团队对此进行了基准测试，结果颇具讽刺意味：在准确性、效率、Token利用率和速度上，SQL方案全面优于Bash方案。甚至连性能较差的模型，在SQL环境下的表现也优于在Bash环境下的表现。
这引申出一个更深层的分野：一部分开发者倾向于赋予模型原始的计算环境，让其「暴力」解决问题；另一部分则主张运用计算机科学的基本原理，为模型提供强类型、引用透明、声明式的接口。Anker显然是后者的拥护者。他在Braintrust内部推行严格的类型规范，认为在类型系统层面达成一致，是保证复杂系统（尤其是涉及状态管理）可靠性的基石。这预示着，AI的普及可能反而会迎来一个计算机科学基础原理的「黄金时代」，因为要可靠地驾驭强大的模型，需要更严谨、更深刻的系统设计。
资本、需求与工程化的未来
最后，对话回归到那个根本问题：如果前沿实验室能持续募集远超下游生态的资金（例如，Anthropic一轮融资的金额可能超过所有依赖其模型的初创公司融资总额），那么工程化究竟何时会成为必须？
Anker提出了两个可能打破这种循环的因素：一是资本理性化，融资变得困难；二是模型缩放本身遇到根本性极限。如果两者都不发生，那或许就意味着AGI的临近，届时讨论的将是完全不同的问题。
然而，他提出了一个更近在眼前的限制因素：需求侧的消化能力。企业部署和消化AI系统的速度，远跟不上模型能力的进步。将一个在基准测试中得100分的模型集成到复杂的企业工作流中，并真正产生价值，其挑战是巨大的。这可能是模型能力供给侧的「太阳」遇到的第一个「行星环」限制。
对于创业者，Anker也给出了务实建议。在当前的「按Token付费」主导的商业模式下，任何AI原生产品的定价都需要与Token消耗量建立某种价值对齐。Braintrust本身虽然不转售Token，但其按数据量（与Token量近似）的定价策略，正是为了与客户的价值感知和自身成本结构保持一致。
总之，Anker的视角为喧嚣的AI领域注入了一剂系统工程的清醒剂。他的核心论点是：当前由资本和暴力计算驱动的模型能力提升阶段终将放缓，届时，工程化、效率优化和对问题本质的深刻理解，将成为构建持久、可靠、有价值AI应用的关键。而现在，正是为那个时代积累经验和工具的时候。
免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。
