ANTHROPIC刚刚发布了一份36页的安全指南，其核心信息令人不舒服。 停止信任你自己的人工智能代理。 不是因为他们是恶意的。因为它们可以以大多数建筑商没有想到的方式被利用。 以下是指南的实际内容： 你的代理人阅读网页。 该网页的内容中嵌入了隐藏的说明。 你的经纪人跟着他们。 你永远不会看到它发生。 这是快速注射。 而且这不是理论上的。这正在生产系统中发生。 该指南涵盖了每个代理构建者在向真实用户发布任何内容之前需要了解的10个特定威胁类别： -从外部内容迅速注入 -扩展爆炸半径的权限过多 -内存中毒会破坏长时间运行的代理行为 -通过受损工具进行供应链攻击 -不安全的MCP服务器暴露了您的整个操作 大多数人会跳过的部分是关于人为监督的部分。 Anthropic对此很直接：你的代理人越有能力，让人类参与重大决策就越重要。 不是因为代理人会变得无赖。因为代理人会自信地做错事，直到为时已晚，你才会知道。 实际建议： -最低权限。代理应该只能访问特定任务所需的内容。没别的了。 -沙盒执行。具有现实后果的行动在开火前需要人工确认。 -输入和输出验证。所有进出你代理人的东西都需要检查。 -监控和记录。如果你看不到你的代理人在做什么，你就不知道它什么时候被泄露了。 -将代理输出视为不受信任。甚至你自己的代理的推理也会受到它在会话早期处理的外部内容的影响。 在你把下一个代理人交给任何重要的人之前，这36页值得一读。 在下次部署代理之前，将此标记为书签。 关注@cyrilXBT，了解每一个改变构建者对生产代理的看法的Anthropic安全版本。