Sahara AI 🔆
Sahara AI 🔆|2026年09月02日 22:48
向一个AI代理提一个关于一堆合同、文件或报告的问题,它可能需要处理多达100万个token。 其中很大一部分成本来自于反复打开相同的文档,寻找它已经见过的分散证据。 一篇新论文的研究人员测试了,如果事先将相关信息结构化,这个过程会便宜多少。在一个包含十个问题的FanOutQA实验中,基于理想结构化存储进行推理的成本比反复阅读原始文档便宜了28倍。随着问题需要从更多来源获取证据,节省的成本还在增加。 不过,提前将每个文档结构化并不现实。你无法预知哪些文档或细节会在有人提问时变得重要。 他们的替代方案被称为“代理数据破解”(agentic data cracking)。当一个代理打开文档时,另一个代理会提取可能对未来问题有帮助的基础信息并存储起来以供重复使用。 在每个基准问题中添加一个相关的后续问题后,这种方法在保持准确性的同时将成本降低了53%。每个问题都会让知识库变得比之前更有用,从而使后续相关问题的回答成本更低。 这正触及了Sahara数据理论的核心。原始文档需要一次次被处理。而在回答一个问题时创建的结构可以被后续所有问题重复使用,将一次性付出的工作转化为持久的数据基础设施。
+4
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读