Sahara AI 🔆
Sahara AI 🔆|2026年06月26日 00:49
在单模型时代,一个API调用通常意味着一个相对清晰的执行路径。你知道哪种型号运行。你有一个粗略的成本心理模型。您可以从外部推断延迟和使用情况。 在编排时代,这一切都不成立。 案例研究 ---- @SakanaAILabs本周推出了Fugu。它看起来像一个模型。您可以通过单个API调用它。但你所说的和实际运行的是两件不同的事情。 Fugu是一个经过训练的协调器,可以将任务分解,将其部分路由到其他模型池中,并递归调用自身的实例来处理子任务。一个提示可能会变成一大群用户从未见过的子调用。整个事情仍然作为一个模型反应出现。 两名开发人员几乎立刻就遇到了后果。@LLMJunky说,一个提示消耗了5小时配额的100%。@cortesi支付了Sakana 200美元的等级,发现API速度缓慢,并表示他在不到一小时内达到了极限。两者都无法说明哪些模型运行,福固自称多少次,或者为什么一个提示会花费它所做的一切。 这个问题也不是府谷特有的。当@AnthropicAI本月早些时候短暂打开Fable的访问权限时,用户报告了类似的配额消耗,但对原因同样知之甚少。 当一个请求分散到许多模型调用中,并且其中一些调用会产生更多调用时,买方看到的单元不再清晰地映射到下面发生的工作单元。预测成本变得更加困难。解释延迟、归因性能或了解实际运行情况也是如此。 Sakana的基准数据使这个问题更加尖锐。Fugu的共享数字包括SWE Pro上的54.2、GPQA-D上的95.1和LiveCodeBench v6上的93.2,测试人员注意到每个数字的分数都高于Opus、Gemini 3.1和GPT 5.4。但Sakana自己的基本模型大约有7B个参数。前沿层的结果来自一个协调器,其规模强烈表明,它所调用的较大的第三方模型正在完成有意义的工作。 在一个端点后面,系统可能会自行决定要做多少工作、调用哪些模型以及调用多少次。 对于业余爱好来说,不透明的执行是一种烦恼。对于涉及真实货币或真实工作流程的生产系统,它变得越来越难以忽视。你不能为你无法预测的东西定价,也不能调试你无法追踪的东西。当跑步是一个密封的盒子时,证明代理人实际做了什么也变得更加困难。 Fugu是一个早期的发射,Sakana可能会消除粗糙的边缘。但随着编排成为产品,执行可见性成为核心基础设施。 人工智能的下一层竞争将由能够使越来越复杂的代理运行清晰可信的团队赢得。 关注@SaharaAI,了解代理基础设施、人工智能经济以及实际建筑发生在哪里的分析。
+4
曾提及
分享至:

脈絡

熱門快訊

APP下載

X

Telegram

Facebook

Reddit

複製鏈接

熱門閱讀