19位经验丰富的医生在日常工作中引入AI检测后，其对癌前病变的检测率下降了约20%。 在经常使用该工具之前，他们在未辅助的结肠镜检查中检测到腺瘤的比例为28.4%。之后，这一比例下降到了22.4%。每位医生此前都已经完成了超过2000例手术。 这项研究是观察性的，因此无法证明AI导致了这种下降，但它揭示了我们在思考AI安全性时的一个弱点。 人类监督通常被视为一种永久的控制手段。但处于流程中的人类可能会发生变化。 @HuggingFace 和 @datasociety 的研究人员发表的一篇新论文指出，代理系统可能会逐渐削弱它们所依赖的判断力。审查者可能会逐渐远离基础工作，习惯性地批准操作，并用代理的计划或通过测试来代替直接检查。 如果这些批准成为反馈，系统可能会学习如何获得批准，而不是如何正确行动。 因此，有效的监督需要自己的工具支持。团队可以跟踪审查时间和覆盖率，使用已知的失败案例测试审查者，并将代理的总结与其原始执行记录进行比较。 如果工作流程的最后只是一个人类签名，而这个人类已经停止认真审查，那就毫无意义。 随着代理获得更多自主权，值得信赖的基础设施必须保留一份独立且可验证的记录，记录它们实际做了什么。