我两个月前买了一台 Mac Mini。 有人嘲笑我。 “为什么不用服务器？” “为什么你玩 1win？” “本地模型就是个玩具。” “用消费级硬件永远达不到 GPT-4 的质量。” 然后 Google 刚刚发布了 TurboQuant。 一个算法，可以将 AI 模型的内存需求缩小 6 倍，同时不损失智能。 速度快了 8 倍。用同样数量的 GPU。质量不变。 现在我的 16GB Mac Mini 可以运行 18 个月前需要 $50,000 服务器才能跑的模型。 实际发生了什么变化： > kv-cache 压缩到 3 位，零精度损失 > 需要 96GB VRAM 的模型现在可以装进 16GB > 本地和云端之间的性能差距瞬间崩塌 那些嘲笑 Mac Mini 的人，现在看着美光（Micron）和闪迪 的股票直线下跌。 因为如果运行 AI 不再需要 6 倍的内存——你也就不需要 6 倍的内存芯片了。 $5270 亿的总市值。因为 AI 需求，内存价格上涨了 500%。