去年9月，OpenAI发了一篇论文 论文作者是OpenAI的Adam Tauman Kalai、Edwin Zhang、Ofir Nachum，加上Georgia Tech的Santosh Vempala 他们建立了一个数学框架，核心发现是这个不等式： 生成错误率 ≥ 2 × 判断错误率 假设AI在判断"1+1等于几"这件事上有1%的概率判断错误。那它在生成回答时，出错的概率至少是2% 为什么会放大？因为一个错误的判断会衍生出多个错误的生成。比如AI判断1+1=3，那它同时犯了两个错：说1+1=3是对的，说1+1=2是错的。一个判断错误，至少两个生成错误 如果你回答"我不知道"，得0分。如果你瞎猜，哪怕只有10%的概率蒙对，期望得分是0.1分。理性选择？猜。 所以AI不是"学会了说谎"。AI是被训练体系逼着猜的 我做AI自动化做了大半年了。我的整个内容系统——从数据抓取到写作到配图——全是AI在跑 这篇论文改变我什么认知了吗？ 说实话，核心认知没变 我一直知道AI会犯错，我的系统设计里每个环节都有人工校验。 但有一件事变清晰了：幻觉不是bug，是feature 所以正确的做法不是等AI变得完美，而是在工作流里假设AI一定会犯错，然后设计兜底机制。 我的做法： 1. 所有AI生成的数据，必须有原始链接可以交叉验证 2. 写作内容里的具体数字，发布前必须人工确认 3. 不让AI做"判断"，只让AI做"整理"——判断是我的事(pepper 花椒)