qinbafrank
qinbafrank|2026年07月06日 04:48
企业采用AI成本工程化时代,6月底Brian的这条推文https://x.com/brian_armstrong/status/2070670644577280109?s=20非常值得重视,Coinbase通过一些列工程化的手段之后,在Token消耗量继续增长的视同,但是AI支出已减少近一半。这意味着企业 AI 成本管理的主战场,正在从“限制员工少用 AI”转向“用工程化基础设施让 AI 用得更多但更便宜”。详细聊聊: 1、Brian推文内容要点 Brian这条 X 推文中说,要实现的就是“AI支出持平,而 Token 使用量呈指数级增长”,也就是 AI token 用量指数级增长,但 AI 支出保持稳定甚至下降;方法不是增加使用摩擦、设置更多预算提醒或压低 usage cap,而是靠更好的默认模型、自动路由和缓存。 具体做法有五点: 1)Better defaults,不靠 usage cap。 工程师仍然可以选择任何模型,但 Coinbase 把默认模型切到更便宜的 open-weight 模型,例如 GLM 5.2 和 Kimi 2.7,并通过内部 LLM gateway 下发默认策略。 2)Better routing。 Coinbase 会在自定义 harness 里预处理 prompt,并根据任务、模型价格和缓存命中概率把请求路由到合适模型。复杂规划可以用 frontier model,执行类、重复类、低风险任务不一定需要最贵模型;Armstrong 的观点是,最终不应该由人手动选模型,而应由 AI 或路由系统自动选择。 3)Better caching。 这是最直接的成本杠杆。在 LibreChat 中把缓存命中率从 5% 提升到 60%,意味着大量重复上下文或重复请求不再触发完整的新模型调用。 4)Keep context lean。 他强调不要一味 compact,而是换任务就开新 session、缩小文件上下文、断开不用的工具。目标不是“少用 token”,而是“少浪费 token”。 5)Better visibility。 Coinbase 不禁止工程师多用 token,而是让每个人的 AI 使用成本透明化,并建立“你花得越多,就要产出越大影响”的责任机制。 最终效果是Coinbase的企业AI支出接近减半, token 用量继续增长。这个意义非常重大。 2. 对企业采用 AI 的影响 这条推文的真正信号是:企业 AI 采用正在进入“成本工程化”阶段。 过去一年很多企业的 AI 采用逻辑是“先让大家用起来”,甚至把 token 消耗当成 AI adoption 的 proxy。但现在账单开始变大,CFO、CTO、平台团队会开始问:同样一个代码生成、代码审查、客服总结、研究检索任务,为什么一定要走最贵模型? Reuters 也报道,企业正在重新评估 AI 使用成本,越来越多 CEO 认为更便宜、更小的模型可以覆盖大量企业需求。对企业来说,未来AI adoption 的关键不再只是“买 Claude、买 ChatGPT、买 Copilot”,而是搭一个“AI运营维护层”。 模型网关:统一接入 OpenAI、Anthropic、Google、开源/open-weight、私有部署模型。 路由系统:按任务难度、延迟要求、合规等级、缓存概率、历史成功率自动分发。 缓存系统:把 system prompt、代码仓库上下文、常用文档、重复问答做缓存复用。 评测系统:用 evals 判断哪个模型在某类任务上“足够好”。 成本可视化:把 token spend 映射到团队、项目、PR、ticket、客户工单。 治理系统:敏感数据、客户数据、代码 IP、监管要求决定哪些请求不能流向外部 API。 这意味着 AI的采用门槛会下降。以前企业担心“员工越用 AI,账单越失控”;现在Brian给出的范式是:不要压制使用量,而是把单位智能成本压下来。 一旦企业相信“更多 AI 使用不必等于更高成本”,AI 会更快从试点进入日常工作流。 但这也会拉开企业差距: 能搭 LLM gateway、router、cache、eval、observability 的公司,会比只买单一供应商账号的公司更快获得 ROI。换句话说,AI adoption 的壁垒正在从“有没有模型”转向“有没有 AI 平台工程能力”。 3、对 token 经济性的影响 这里的token经济性不能只看模型报价表上的 $ / 1M tokens。企业真正关心的是: 每个成功任务的成本 = 输入 token 成本 + 输出 token 成本 + 缓存成本 + 重试成本 + 工具调用成本 + 人工校验成本。 Brian给的方法是在每个变量上降本: 默认模型更便宜,降低 P_input 和 P_output。 缓存命中率从 5% 到 60%,降低重复输入成本。 精简上下文,减少无效 input token。 路由到“够用模型”,避免每个任务都用最高端模型。 可视化成本,把 token spend 和业务产出绑定,减少无效 token-maxxing。 这会推动企业从 token-maxxing 转向 ROI-maxxing。以前大家炫耀“我们用了多少 token”,以后更重要的是“每 1 美元 token spend 产生了多少 merged PR、关闭了多少客服工单、节省了多少人工小时、减少了多少故障恢复时间”。 不同模型能力、延迟、上下文、可靠性、安全承诺不同。但企业采购会越来越用“任务级性价比”来比较,而不是默认选择最强模型。 4. 对 AI 投入产出比的影响 这条推文对 AI ROI 的影响非常大,因为它把 AI 成本曲线从线性变成可优化曲线。 传统直觉是: AI 使用量 ↑ → token 用量 ↑ → AI 账单 ↑ Brian展示的路径是: AI 使用量 ↑ 但通过路由、缓存、上下文治理、低价模型 → 有效 token 成本 ↓ → 总账单可以下降或保持稳定 这对 ROI 的提升来自两边: 1)成本端下降,同样的任务,可能从最贵 frontier model 切到便宜 open-weight model;重复上下文走缓存;低价值输出减少;无效长上下文减少。 2)收益端上升,不靠 cap 限制员工使用,减少“我怕超预算所以不用 AI”的心理阻力。AI 使用频率提高,实际生产力收益更容易释放。 但是 ROI 不会自动提高。低价 token 也可能造成新的浪费,尤其是 agentic coding、long-context research、多 agent 工作流,token 消耗可以非常快。Reuters 提到,虽然 token 价格在下降,但因为企业转向 usage-based pricing、任务步骤变多、输入更长,完成一个任务的成本反而可能上升,导致账单更不可预测。 所以企业要看的不是“token 越便宜越好”,而是三个指标:1)成功完成任务、2)节省工时、3)产出成果。 比如软件工程场景可以看: 如果一个团队花了 10 万美元 token,但多交付了 200 万美元价值的软件产出,这就是好 ROI。 反过来,花 1 万美元 token 但只是生成大量低质量代码、增加 review burden,那就是差 ROI。 5、对模型公司意味着什么? Brian这条推文对 AI 模型公司的含义偏“中长期压力”。 对闭源 frontier labs 来说,风险是:企业不再把“最强模型”当默认,而是把它当高端工具。大量 routine workload 被路由到 cheaper open-weight / open-source / self-host 模型后,token volume 可能还在增长,但最贵 API 的 share 会下降。模型层如果无法证明显著更高的 task success rate,就会被 router 当作“过度配置”。 对开源模型和推理基础设施公司来说,这是利好。http://Z.AI、Moonshot、DeepSeek、Mistral、Llama 生态、推理云、模型路由器、LLM gateway、observability、eval 平台都会受益。因为企业真正要买的不只是模型,而是“用最便宜的足够好模型完成任务”的系统能力。 对云厂商来说也可能是利好。即便 API token 单价下降,企业 token 用量可能大幅上升,推理算力、GPU/ASIC、缓存、向量数据库、日志、监控、私有部署需求都会增加。这 有点像云计算早期:单位计算价格下降,但总计算量爆炸。 6、会不会带动一波token未来会有价格战? 个人角度会有价格战,但不是所有 token 打价格战,而是“分层价格战”。 最容易打价格战的是三类 token: 1)通用推理/执行类 token。 例如代码补全、简单脚本、摘要、分类、信息抽取、格式转换、普通客服问答。这些任务对“最强模型”的依赖低,只要小模型或 open-weight 模型达到足够质量,价格会快速下压。 2)cached input token。 各家已经在把 cached input 做成低价入口。GLM-5.2 cached input 是 0.26 美元/1M,Kimi K2.7 Code cache hit input 是 0.19 美元/1M,OpenAI chat-latest cached input 是 0.50 美元/1M。 缓存越普及,企业越会把可重复上下文工程化,供应商也会被迫继续压低缓存价格。 3)中端模型 token。 Reuters 报道称,企业正在拥抱便宜模型和 routing 工具,把复杂任务留给 premium models;OpenRouter 上 open-source token 占比从 1 月的 34% 上升到 6 月的 65%,这说明流量正在向低价模型迁移。 但 frontier token 不一定马上进入惨烈价格战。最强模型仍然有几个护城河: 复杂推理、系统设计、hard coding、科研、金融分析、法律/医疗等高风险任务仍愿意付 premium。 输出 token 尤其是 reasoning-heavy output 的真实算力成本更高。 企业还会为安全、审计、数据隔离、赔偿条款、SLA、延迟、上下文长度付费。 OpenAI、Anthropic、Google 等可以通过企业合约、订阅包、batch discount、reserved capacity、agent platform 来维持综合 ARPU,而不只是降 list price。 所以更可能出现的是: 低端/中端 token:明显降价,趋向算力成本 + 薄利润 ;cached token:继续大幅便宜化 ; frontier reasoning token:维持溢价,但会被迫推出更便宜的次旗舰/mini/fast 版本 ; 企业合约:公开价格之外出现大量私下折扣。 个人看法,Brian这条推文不是简单说“Coinbase 找到了便宜模型”,而是在宣告企业 AI 的下一阶段: 从:买最强模型 + 鼓励大家多用 到:多模型架构 + 自动路由 + 缓存 + 成本可视化 + ROI 约束 它会加速企业采用 AI,因为它证明 AI 使用增长和成本控制并不矛盾。它会改变 token 经济性,因为企业会从 $ / 1M tokens 转向 $ / successful task。它也大概率会触发 token 价格战,但主要发生在中低端、可缓存、可路由、可替代的 inference token 上; frontier reasoning token 仍会保留溢价,只是默认使用份额会被压缩。 未来不是不用贵模型,而是不再默认用贵模型。模型层会被路由器商品化,真正的企业壁垒会转向数据、流程、eval、缓存、治理和 AI 平台工程。 此内容由@BITstocks_CN赞助,买美股上BIT—16000+ 只美股与 ETF,真实持仓,享股息分红。(qinbafrank)
+4
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读