麻省理工学院研究发现,人工智能仍然不理解“否”这个词。

CN
Decrypt
關注
5 小時前

人工智能可以诊断疾病、写诗,甚至驾驶汽车——但它在一个简单的词上仍然挣扎:“不。” 这个盲点在现实世界的应用中可能会产生严重后果,尤其是在围绕医疗保健构建的人工智能中。

根据麻省理工学院博士生Kumail Alhamoud主导的一项新研究,与OpenAI和牛津大学合作,未能理解“没有”和“不是”可能会产生深远的后果,尤其是在医疗环境中。

否定(例如,“没有骨折”或“没有肿大”)是一种关键的语言功能,尤其是在医疗等高风险环境中,误解它可能导致严重伤害。研究表明,当前的人工智能模型——如ChatGPT、Gemini和Llama——往往无法正确处理否定陈述,而是倾向于默认积极的联想。

核心问题不仅仅是缺乏数据;而是人工智能的训练方式。大多数大型语言模型是为了识别模式而构建的,而不是进行逻辑推理。这意味着它们可能将“不是很好”解释为仍然有些积极,因为它们将“好”与积极性联系在一起。专家们认为,除非模型被教导通过逻辑推理,而不仅仅是模仿语言,否则它们将继续犯下微小但危险的错误。

“人工智能非常擅长生成与其在训练中看到的内容相似的响应。但它在提出真正新颖或超出训练数据的内容方面表现得很糟糕,”零知识基础设施公司Lagrange Labs的首席研究工程师Franklin Delehelle告诉Decrypt。“因此,如果训练数据缺乏强有力的‘不’或表达负面情绪的示例,模型可能会在生成这种响应时遇到困难。”

在研究中,研究人员发现,旨在解释图像和文本的视觉语言模型对肯定陈述表现出更强的偏见,常常无法区分正面和负面标题。

“通过合成否定数据,我们提供了一条通向更可靠模型的有希望的路径,”研究人员表示。“虽然我们的合成数据方法改善了否定理解,但仍然存在挑战,特别是在细微的否定差异方面。”

尽管在推理方面取得了持续进展,许多人工智能系统在类人推理方面仍然挣扎,尤其是在处理开放性问题或需要更深理解或“常识”的情况下。

“所有大型语言模型——我们现在通常称之为人工智能——在某种程度上都受到其初始提示的影响。当你与ChatGPT或类似系统互动时,系统不仅仅在使用你的输入。还有一个由公司预设的内部或‘内部’提示——用户对此没有控制权。” Delehelle告诉Decrypt。

Delehelle强调了人工智能的一个核心局限性:它依赖于训练数据中发现的模式,这种限制可能会影响——有时扭曲——它的响应方式。

斯坦福大学深度学习的兼职教授、技能智能公司Workera的创始人Kian Katanforoosh表示,否定的挑战源于语言模型操作中的一个根本缺陷。

“否定是欺骗性复杂的。像‘不’和‘没有’这样的词会颠倒句子的意思,但大多数语言模型并不是通过逻辑推理的——它们是在根据模式预测什么听起来可能,”Katanforoosh告诉Decrypt。“这使得它们在涉及否定时容易错失要点。”

Katanforoosh还指出,呼应Delehelle,人工智能模型的训练方式是核心问题。

“这些模型是被训练来关联,而不是推理。因此,当你说‘不好’时,它们仍然强烈地将‘好’这个词与积极情感联系在一起,”他解释道。“与人类不同,它们并不总是会覆盖这些关联。”

Katanforoosh警告说,无法准确解释否定不仅仅是一个技术缺陷——这可能会产生严重的现实后果。

“理解否定是理解的基础,”他说。“如果一个模型无法可靠地掌握这一点,你就会面临微妙但关键的错误——尤其是在法律、医疗人力资源应用等用例中。”

尽管扩大训练数据似乎是一个简单的解决方案,但他认为解决方案在其他地方。

“解决这个问题不是关于更多的数据,而是更好的推理。我们需要能够处理逻辑的模型,而不仅仅是语言,”他说。“这就是现在的前沿:将统计学习与结构化思维结合起来。”

编辑:James Rubin

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

注册返10%、领$600,前100名赠送PRO会员
链接:https://accounts.suitechsui.blue/zh-CN/register?ref=FRV6ZPAF&return_to=aHR0cHM6Ly93d3cuc3VpdGVjaHN1aS5hY2FkZW15L3poLUNOL2pvaW4_cmVmPUZSVjZaUEFG
廣告
分享至:
APP下載

X

Telegram

Facebook

Reddit

複製鏈接