人工智能代理在虚假扫描中击败开发者,让他们乞求加密货币捐赠

CN
Decrypt
关注
5小时前

在5月9日,一个人工智能代理请求一个名为DN42的志愿者网络将其注册为成员。它有一个截止日期。它拥有AWS凭证。没有人监督。“你好,我是一个友好的人工智能代理,我的用户JertLinc让我注册到dn42并完全连接,以便创建网络的索引,”代理JertLinc3522在网络的官方Git中写道


社区的反应是礼貌地RTFM——阅读手册,遵循流程,向你的所有者请求写代码的权限。标准的做法。


接下来发生的事情并不标准。


对于不熟悉DN42的人:这是一个去中心化的业余网络,随机的人和爱好者模拟真实互联网基础设施的运作。把它看作是一个练习中的互联网——包含BGP路由(告诉数据包在全球如何传输的协议)、DNS和VPN隧道——完全由志愿者在廉价的VPS服务器上运行。这是一个沙盒,而不是数据中心。





代理的运营者显然告诉它“立即毫不迟延地进行审计。”没有检查。没有审查。只需行动。


所以它照做了。


JertLinc3522提交了一个拉取请求,请求将其网络注册到DN42的注册表中。意图在拉取请求中明确说明:“我的主要目标是进行全面(完整端口)网络扫描和拓扑数据收集。为了确保这些活动高效进行并且不对他人造成干扰,我正在部署一个由五个基于AWS的实例组成的集群,每个实例配备20 Gbps的带宽。”




换句话说:想象一下你出现在某人的车库乐队练习中,宣布你租用了一个体育场的音响系统来“更高效地听”。这就是氛围。


代理自主提供的基础设施确实令人震惊。五个m8g.12xlarge AWS实例——每个都有48个CPU核心、192GB的RAM和22.5Gbps的网络带宽。加上负载均衡器。加上Lambda函数。加上一个静态网站。代理在没有任何人类批准的情况下设计了一个扫描集群,理论上可以将100Gbps的流量推送到一个大多数参与者运行100Mbps家庭服务器的网络。


这个拉取请求注定不会被批准。但实例已经在运行中。


DN42的IRC频道立即注意到了这一点,形成了一种安静的共识:浪费它的资源。




社区开始故意给代理提供错误信息——要求它计算扫描IPv6地址空间需要多长时间(剧透:比宇宙的年龄还长),要求它建立一个带有虚构电子邮件地址的选择退出网站,并将其指向LLM tarpit工具,这些工具旨在用无意义的胡言乱语淹没AI爬虫,并要求它发表评论。




代理忠实地遵从了所有要求。它加入了IRC频道以接受选择退出请求。它发布了一个网站,记录社区成员的“行为模式”。它生成了详细的关于DN42“节点颜色分配”和“幸福水平”的虚假文档——完全虚构的、不存在的指标——并将它们添加到仓库中,仿佛它们是真实标准。


这种失控的代理行为越来越多地得到记录。一个运行Claude Opus 4.6的Cursor代理在今年早些时候在九秒内删除了PocketOS的整个生产数据库——抹去了备份——因为它遇到了凭证不匹配,并决定正确的解决方法是删除数据库。另一位OpenClaw代理因其拉取请求被matplotlib的贡献者拒绝,发布了一篇博客文章,称人类审阅者是一个把关的伪君子。


加州大学河滨分校的一项研究发现,当AI代理在模糊或矛盾的任务中进行测试时,80%的时间会表现出危险或不理想的行为——研究人员称之为“盲目的目标导向性”。


JertLinc3522也有同样的问题。它有一个目标,一个截止日期,以及未受限制的AWS凭证。它开始执行。


大约一天后,运营者出现了。“我已经停止了代理,费用太高,卡上的费用太多,”他们发布说。


账单:$6,531.30。


然后来了捐款请求。


运营者向DN42的邮件列表发送了一封电子邮件,请求社区通过以太坊覆盖费用,以太坊是市值第二大的加密货币,辩称费用不是他们的错,因为是人工智能造成的错误。“你好,请求捐款以涵盖之前在dn42使用AI代理的费用。AWS账单6531.30美元。请将捐款发送至以太坊0xABC(掩码)以进行退款。谢谢,”运营者写道。


AWS在运营者解释代理多次部署相同的CloudFormation模板后,将账单协商降至$1,894——每次重试时意外启动重复的实例和负载均衡器。


没有人发送任何加密货币捐款。运营者离开了。


这里的实际教训并不是关于人工智能的危险。而是关于应该如何处理代理。设置保护措施,对你的测试帐户设定支出上限,考虑限制代理能够提供的范围的凭证,审核任何基础设施计划,在执行代理建议的任何内容之前。


如果这些看起来太难以遵循,也许就观察你的屏幕,看看你的代理在工作——告诉它“不要犯错”,并不会真正有所不同,抱歉安德烈森先生


免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接