如何在令牌使用量呈指数增长的同时保持AI支出平稳：不是通过增加摩擦和支出警报，而是通过更好的默认设置、路由和缓存。 更好的默认设置（而非使用上限）——工程师可以选择任何他们想要的模型，但默认设置很重要。我们正在通过我们的LLM网关尝试将默认设置为开源权重模型，比如GLM 5.2和Kimi 2.7，同时仍然鼓励工程师根据任务选择合适的模型。91%的员工从未触及他们的使用上限，因此我们没有降低上限并增加警报，而是转向更便宜的默认设置。需要注意的是，代码审查会使用多样化的模型，以便相互检查工作。 更好的路由——在我们的自定义框架中，我们会预处理提示，并根据缓存命中率和模型定价将任务路由到最合适的模型。例如，规划可能需要前沿模型，但执行时这些模型可能显得过于复杂。最终，人类不应该选择模型——AI可以自动完成这项任务。 更好的缓存——缓存未命中是推高成本的最简单方式。我们所有的请求都支持缓存感知，因此我们尽可能重用热缓存。例如，在LibreChat中正确实施后，我们的缓存命中率从5%提升到了60%。 保持上下文精简——切换任务时开启新的会话。缩小文件上下文范围。断开未使用的工具。不要只是压缩。目标不是减少使用的令牌数量，而是减少浪费的令牌数量。 更好的可见性——我们的工程师可以使用任意数量的令牌，选择任何他们想要的模型，但我们让使用情况变得可见——你在AI上的支出越多，我们期望看到的影响就越大。 目标不是抑制使用，而是构建能够支持指数增长的基础设施。 将这些实践付诸实施后，我们的AI支出减少了近一半，而令牌使用量仍在持续增长。