哥伦比亚法院驳回人工智能写作的上诉,随后被自己的人工智能检测器标记。

CN
Decrypt
关注
3小时前


哥伦比亚最高法院拒绝了一项 cassation 上诉,理由是该上诉是由人工智能生成的。但法院用来判断上诉的所谓人工智能来源的同一工具表示,该法院自己的裁决也得到了生成性帮助。


这是否是法院的双重标准,还是工具存在故障?


“面对对律师提交的简报未由法律专业人士本人起草的合理怀疑,法院将文本提交给了 Winston AI 工具,”法院辩称。“它的分析表明该文档仅包含 7% 的人类内容,表明自动写作的明显影响,并导致得出结论称其使用了人工智能生成。”





在使用其他提供类似结果的工具进行分析后,法院裁定“由于该申请不能被视为适当提交的陈述,因此需要将其裁定为不予受理。”


但当法院的裁决面临法律专家的类似审查时,也显示出类似的结果。


“我将最高法院的 Auto AP760/2026 文本提交给了裁决中提到的同一 Winston AI 软件,”律师 Emmanuel Alessio Velasquez 在星期二写道。“结果:该文档包含 93% 的 AI 生成文本。”



“如果一个裁决本身决定使用人工智能却得到这样的百分比,那么使用这些检测器作为论证支持的方法论脆弱性是显而易见的,”他在后续推文中辩称。


在法院在 X 上发布关于该决定的主题帖后的几个小时内,律师们开始进行自己的测试。Velasquez 的帖子在法律圈中迅速传播,获得了数万次浏览。


我们也对法院的裁决进行了测试,结果最初看起来不太好。当 GPTZero 仅扫描法院文本的开头时,它返回了 100% 的 AI 结果。




当同一工具处理包含事实背景部分的较长版本时,它完全改道:100% 人类。


该工具显然不够可靠,无法在法庭上或需要高程度确定性的情况下信任。




哥伦比亚律师迅速对此进行了自己的实验。刑事辩护律师和讲师 Andres F. Arango G 提交了一份 2019 年的法庭文件,早于这些工具训练检测的大型语言模型的存在,但结果显示 95% 为 AI 生成。


“这些工具随后邀请你通过他们的付费服务‘人性化’文章,”他在 X 上写道,指出检测商业模型中的明显商业激励。


Nicolas Buelvas 对他 2020 年的本科学位论文进行了测试,主题为刑法中的信任原则。结果是?100% AI。


另一位哥伦比亚律师 Dario Cabrera Montealegre 指出了依靠技术试图打击其自身的虚伪。


“法院在使用人工智能来确定是否存在人工智能,”他说。“从我的实践角度来看,这是矛盾的。”



除法律界外,更多技术精英指出了过度依赖 AI 标记工具的危险。


“截至目前,没有任何公开可用的工具可以准确地定义在撰写文本时 AI 使用的百分比,”Carlos Alejandro Torres Pinedo 辩称。“更糟糕的是:没有人可以公开验证这些检测平台的源代码。它们怎么能用于否定某人获取正义的权利?”


这些失败的技术原因是有充分的文献证明的。AI 检测器测量统计模式:句子长度、词汇可预测性以及研究人员称之为“突发性”的特征,指的是人类在写作中引入的自然节奏变化。


问题在于,正式的法律散文、学术写作以及用第二语言写作的人所产生的文本共享许多相同的统计特征。


关于 AI 检测的研究


2023 年在 Patterns 上发表的一项研究发现,来自非母语英语使用者的托福(TOEFL)作文中超过 61% 的内容被错误标记为 AI 生成。


同年,Weber-Wulff 的一项系统评审得出结论,没有任何可用工具既准确也可靠。Turnitin 在 2023 年 6 月承认当 AI 内容水平在文档中低于 20% 时,其检测器产生更高的误报率。


甚至 OpenAI 也必须关闭自己的 AI 检测工具,因其常常不准确且无法完成其实际工作。


大学们多年来一直在为此苦苦挣扎。范德比尔特大学在 2023 年禁用了 Turnitin 的 AI 检测器,因为其估计每年会产生约 3000 个误报。


亚利桑那大学在一名学生因误报失去 20% 分数后,取消了其剽窃软件中的 AI 检测功能。在 UC Davis 的 2024 年案件中,有 17 名语言学学生被标记,其中 15 名为非母语英语使用者。


这种模式是一致的。这些工具惩罚那些写作最正式、重复性最高或最仔细的人,正是律师、学者和第二语言使用者的特征。


文化影响几近荒谬。在写作和新闻界,人们开始避免在作品中使用破折号,并不是因为任何风格指导,而是因为 AI 语言模型经常使用它们,而检测工具(和人们)也注意到了这一点。


作家因害怕算法偏见而自我编辑自然的标点符号。除了书面世界外,艺术家们因创作看起来像 AI 的艺术作品而遭到版主和同事的怒火。


哥伦比亚的两个裁决—— AC739-2026,民事法庭在 2 月因引用 10 个不存在的 AI 生成先例而对一名律师罚款,以及 AP760-2026——正在成为该地区直接应对生成 AI 在法律文件中误用的一些首批司法裁决。


哥伦比亚司法部门在 2024 年 12 月采纳了正式指南,规范法官和法庭员工如何使用人工智能。


这些规则允许在行政和支持任务中自由使用 AI,例如起草电子邮件、组织日程、翻译文件或总结文本,而对法律研究或起草程序性文件等更敏感的用途,仅在仔细的人类审查后允许。


这些指南明确禁止依赖 AI 来评估证据、解释法律或作出司法决定,强调人类法官对所有裁决仍然负全责,并必须在准备司法材料时公开使用 AI 工具的情况。


这些指南汇编在“PCSJA24-12243”协议中,可以用于对抗这样的决定。


最高法院尚未就其选择检测工具的反对意见发出任何额外声明。该裁决也没有使用破折号。


免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接