如何使用jev，以及在哪些具体任务中70毫秒实际上比聊天模型更快。 jev不生成文本。你发送未结构化的状态加上一组类型化的问题，它会同时并行返回每个问题的概率评分答案，耗时70到500毫秒。而一个可比的聊天模型执行同类任务需要3到329秒，因为它是逐个生成token的，即使你实际需要的输出只是一个分类或决策。 这种差距并非普遍存在。它只对特定类别的任务有意义，而知道哪些类别是这里的关键技能。 70毫秒真正胜过聊天模型的场景： 在请求到达实际的llm调用之前进行路由。决定使用五个提示中的哪一个，调用哪个工具，或者支持票属于哪个部门。这些是类型化的、有界的决策，通过完整的聊天完成来处理它们是在为一个答案支付token生成的成本，而这个答案始终是少数几个选项之一。 大规模的安全和内容标记。标记消息需要审核，评分情绪，检查字段是否符合合规规则，任何你目前使用廉价llm调用仅仅为了获得一个分类答案的任务，这些答案被包裹在不必要的自然语言中，你还需要再次解析出来。 任何高频决策，位于延迟会累积的管道中。单次3秒的聊天调用感觉还好。但同样的调用每天运行10,000次，按顺序，在用户实际等待的响应之前，会成为整个系统的瓶颈。 在哪些场景下它完全无用，仍然需要使用真正的聊天模型： 任何需要响应本身是自然语言的任务。jev永远不会生成句子。它无法回复客户的邮件，只能决定客户的消息需要哪种邮件。 任何真正开放式的任务，可能答案的集合无法提前定义为固定的结构。jev需要类型化的问题和类型化的可能答案。一个任务如果你还不知道一个好答案的形状，那就不是jev的任务。 值得了解的真实限制。有界、类型化的输出不会幻觉生成文本，因为没有文本。但它仍然可能在有效的结构中选择错误的选项。这不是验证的替代品，而是一个廉价且快速的决策替代品，随后将输入到实际需要发生的下一步中。 实际的思维模型。jev是分类和路由层，位于你的真实llm调用之前和周围，而不是它们的竞争者。将它用于管道中每个类型化且重复的决策。对于仍然需要交流的任务，继续使用聊天模型。