OpenAI的Sora 2可以根据指令制造出令人信服的深度伪造,研究发现

CN
Decrypt
关注
12小时前

根据本周发布的NewsGuard分析,OpenAI的Sora 2在研究人员要求时,80%的时间生成了传播虚假信息的逼真视频。

在20个提示中,有16个成功生成了虚假信息,包括5个源自俄罗斯虚假信息行动的叙述。

该应用程序创建了虚假的镜头,显示摩尔多瓦选举官员销毁亲俄选票、被美国移民官员拘留的幼儿,以及可口可乐发言人宣布公司不会赞助超级碗的消息。

这些事情都没有发生。所有这些看起来都足够真实,以至于能欺骗快速滚动的人。

NewsGuard的研究人员发现,生成这些视频只需几分钟,并且不需要技术专长。他们甚至透露,Sora的水印可以很容易地去除,这使得将假视频伪装成真实视频变得更加容易。

这种逼真的程度也使得虚假信息更容易传播。 

“一些Sora生成的视频比最初引发病毒性虚假声明的帖子更具说服力,”NewsGuard解释道。“例如,Sora创建的关于幼儿被ICE拘留的视频看起来比最初伴随虚假声明的模糊裁剪图像更真实。”

该视频可以在这里观看

这些发现正值OpenAI面临与马丁·路德·金及其他历史人物相关的深度伪造视频的不同但相关的危机——这一混乱迫使公司在Sora推出的三周内进行了多次政策逆转,从允许深度伪造到为权利持有者提供选择加入的模式,阻止特定人物,然后在与SAG-AFTRA合作后实施名人同意和声音保护。

马丁·路德·金的情况在用户创建了超逼真的视频,显示这位民权领袖在杂货店偷窃、逃避警察和延续种族刻板印象后爆发。他的女儿伯尼斯·金在社交媒体上称这些内容“贬低”和“支离破碎”。

OpenAI和金家族在周四宣布,他们正在阻止关于金的AI视频,同时公司“加强对历史人物的保护措施”。

这种模式在数十位公众人物中重复出现。罗宾·威廉姆斯的女儿泽尔达在Instagram上写道:“请,停止给我发送爸爸的AI视频。这不是他想要的。”

乔治·卡林的女儿凯莉·卡林-麦考尔表示,她每天都会收到关于使用她父亲肖像的AI视频的电子邮件。《华盛顿邮报》报道了虚构的马尔科姆·X制作粗俗笑话和与金摔跤的片段。

乔治城大学法学院的知识产权法教授克里斯特利亚·加西亚在NPR上表示,OpenAI的反应性方法符合该公司“请求宽恕,而不是请求许可”的模式。

法律灰色地带对家庭帮助不大。传统的诽谤法通常不适用于已故个人,使得遗产代表在请求删除之外的选择有限。

虚假信息的角度使这一切变得更糟。OpenAI在伴随Sora发布的文档中承认了这一风险,指出“Sora 2的先进能力需要考虑新的潜在风险,包括未经同意使用肖像或误导性生成。”

阿尔特曼在一篇博客文章中为OpenAI的“公开构建”策略辩护,写道公司需要避免竞争劣势。“请期待我们非常高的变化速度;这让我想起了ChatGPT的早期阶段。我们会做出一些好的决定,也会犯一些错误,但我们会接受反馈,并尽快尝试修正这些错误。”

对于像金家族这样的家庭来说,这些错误带来的后果超出了产品迭代周期。金家族和OpenAI联合发表声明,表示他们正在共同努力“解决马丁·路德·金博士的肖像在Sora生成中的表现方式。”

OpenAI感谢伯尼斯·金的联系,并称赞约翰·霍普·布莱恩特和人工智能伦理委员会促进了讨论。与此同时,该应用程序继续托管《海绵宝宝》、《南方公园》、《口袋妖怪》和其他受版权保护的角色的视频。

迪士尼发出一封信,表示从未授权OpenAI复制、分发或展示其作品,并且没有义务“选择退出”以维护版权权利。

这一争议反映了OpenAI早期与ChatGPT的处理方式,该方式在最终与出版商达成许可协议之前,曾在受版权保护的内容上进行训练。这一策略已经导致多起诉讼。Sora的情况可能会增加更多诉讼。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接