0xTodd ( thinking )
0xTodd ( thinking )|2025年11月11日 09:23
对于 AI,与其说大家需要中心化,不如说大家需要本地部署。 所谓“去中心化 AI”,在今天更多还是一种叙事,你从需求角度来说,其实用户真关心的就一件事:谁能看到后台信息。 有时候让 GPT 或者 Grok 处理一些敏感信息时,例如商业合同或者内心倾诉,其实比较纠结的,一方面觉得应该脱敏再给 AI 看,一方面又懒得去弄,相信对隐私敏感的人都有同感。 虽然 OpenAI 几次说不会使用客户隐私,但是只要它有那个权限,哪怕它不用,就总有一种如鲠在喉的感觉。 你指望 OpenAI 去中心化是不现实的。 现在两大思路: -盲计算。FHE 加密后再让 AI 去思考; -本地部署。不联网,一力破万法。 最近看到阿里云 Qwen 官方转发了 @Gradient_HQ 发布的这个 Parallax 服务。 演示里用了 4 台 Apple M4 Pro 的电脑,就跑了一个 235B 的 Qwen 大模型,这还是蛮振奋的。 虽然这个不是稠密模型,是 MoE 形式的,它每次推理激活的参数大概是 22B,但是日常用来处理这些敏感信息也绝对够用了。 按理说,一般人家里没有 4 台 M4 Pro 这么多算力,所以它还设计成可以找朋友做成 co-host。 也就是说,4 个人 4 台电脑,可以共同跑一个本地的 235B 的大模型。 PS:终于第一次理解 Mac 搞那么多冗余性能是干嘛的了 😂 虽然是站在前人的基础上,但是 Parallax 这个服务依然是一个很强的工程成果,把家用本地 AI 的成本进一步降低了。 过去偶尔会轻微鄙视“什么家庭边缘设备参与 AI ”这种叙事,但是人家真的做出来甩脸上之后,反而还挺不错。 以后敏感信息直接在本地或者几个朋友组建的局域网里跑,这种安全感还是很好的。(0xTodd)
分享至:

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读