关于模型路由的思考 模型路由通常被认为是通过将请求*路由到正确的模型来优化成本的想法* 我不认为这是正确的框架，也不认为路由公司应该关注什么。从根本上说，模型路由不是用户问题，而是提供者问题。人工智能很昂贵，供应商希望降低成本。 在代理时代，工作负载大致相同，处于同一个线束中，对于一个任务来说，没有更好或更坏的模型，它不仅仅是一个普遍的更好或更差的模型。 缓存是现代推理的关键部分，如果稍后将消息重新路由到更大的模型，或者反之亦然，则使用小模型的成本将被抵消。不管怎样，这不是我作为提供者关心的问题。 我关心的问题是成本，但我从模型路由器中寻找的是以我愿意花的价格为我买到最好的代币。 因此，它不是按请求路由的。它的路由基于我作为提供商所能获得的最佳模式，以我能够负担得起的价格为基础。 Opus 4.8每月5美元？当然。如果价格超过5美元，请以3美元/公吨的价格找到GPT-5.5提供商。如果这是干的，让我的GLM低于1美元/月。 我不想知道为什么代币这么便宜。这是你的工作，这就是为什么我付钱给你做路线安排。你的工作是通过交易或其他方式尽可能便宜地获得代币。这就是我愿意付出的代价。 大多数消费者人工智能都因为不得不提供与OpenAI和Anthropic竞争的定价而无法为账户提供大量补贴而受到阻碍。成本优化实际上是利润微薄的游戏名称。