Lao Bai
Lao Bai|2025年11月08日 13:00
趁着今天行情好,把前两天挖的坑给填了 - 去中心化推理的最终章 去中心化推理的PMF到底在哪 - 我看到一个,不一定是唯一的,但至少我觉得是当前Make Sense的一个 , 即 - 让4090/MacBook Pro这些民用级显卡可以参与到“大模型”推理,而非中小型模型的推理中去 这就把我上次说的暗线问题解决了 剩下的明线则更多是技术工程问题,上一弹评论区盘主@thecryptoskanda爆料了下IO技术外包的草根性,但这个问题并非不可解决,换一个靠谱的技术团队大概率能搞定明线的问题(稳定性,掉线率等) 而暗线那个事儿,需要的是黑科技,已经不是技术专业不专业的事儿了,也不是一个所谓“更好的http://IO.NET”能实现的 这个黑科技谁做出来了呢 - @Gradient_HQ, 也就是我第一个帖子提到的我去聊的那个AI项目团队 为什么找他们去聊?两个原因 一是我ABCDE的前同事@JoySong_J 大美女在解散之后,放弃了去一家大独角兽公链的机会,选了在我来看当时名气远不及那公链的Gradient,我当时有点好奇,但也一直没深入研究项目干啥的, 只知道是个DeAI 直到前两天我看到Qwen和Kimi转发了Gradient推理引擎Parallax的帖子,一个Web3 AI项目被国内两个顶级AI大模型官方点赞转发?什么鬼?这种事情几乎没在咱们圈发生过 你看Kimi的原帖 - “很高兴能与 Parallax 合作@Gradient_HQ 把开源模型 Kimi K2带给更多人。借助 Parallax,您可以在 Mac和PC集群上运行 Kimi K2 的万亿级 MoE。无需企业级 GPU” 你知道Kimi K2有多牛逼么?今天刚出的消息 - K2刚刚Release的Thinking版本拳打GPT5,脚踢Anthropic,训练成本只花了460万美元,AI圈又炸了 于是乎我就通过Joy找到了Founder @0xEricYang ,聊了俩小时,终于搞清楚了他们在做的事情,但感觉要让大家理解他们做的事情,又不是简单几句话能讲清楚的,恰逢前几天隐私赛道起飞,于是就有了前两弹的铺垫 技术上要讲比较复杂,你就这么简单理解 - 当年ETH想做的分片技术,被Parallax在大模型推理上近似实现了。把大模型推理过程切片成多个小“微任务”,每个显卡只负责计算某些层。最后聚合起来 里面黑科技就多了 - 过程如何切?切完了怎么调度分配?算完了节点上传通信如何优化(20-50M带宽环境)?结果怎么聚合?聚合完了如何通过加密签名 + 零知识证明 (ZKP)证明有效…… 不赘述细节,有兴趣的自己研究即可。Qwen(阿里巴巴)和Kimi(月之暗面)的认可基本上说明一切,应该是我知道的业内第一家。Pantera跟Multicoin的领投相比之下反而显得没那么重要(看看IO的投资机构,别迷信VC) 最后说三个事儿 1. Parallax这种去中心化推理的优势 - Kimi的帖子说的很清楚了 - Bring 开源大模型 to More people。这赋予了去中心化 VS 中心化的各种自主性,抗审查,隐私,单点故障等各种优势,当然还有更大的 - 价格优势 2. Parallax这种去中心化推理的劣势 - 劣势同样明显,效率速度必然不如中心化,这简直是一定的。但考虑到之前我帖子提到的电力能源短缺问题 - 未来几年可能会是“卡够电不够”,那数据中心级别的中心化大模型推理在电力不够的情况下资源必然变得稀缺,变得更加昂贵,去中心化推理的价格优势就变成了一个很吸引人的Trade off,以前你是没得选,只有中心化的,现在你有得选了 还有一点你要考虑 - 这也是黄仁勋三个缩放定律认为未来推理还有10亿倍的增长的逻辑基础之一,未来可能是一个Agent Economy主导的时代,Agent所有的动作,决策都是推理,其频率和密度是现在我们人类使用GPT的百倍千倍。 搜索引擎优化的SEO开始往针对LLM和Agent的GEO(Generative Engine Optimization)上转,现在的支付系统是给人类设计的,于是我们有了针对Agent的x402。未来针对Agent的推理,是不是对于性能的敏感程度远低于人类?人类等一个推理结果1秒和2,3秒会有体感的差距,一个24小时不间断运行的Agent可能没那么在乎,如果结果一样,而去中心化推理成本可以便宜70%甚至更多,Agent大概率不会在乎每个推理结果多等个2,3秒? 3. Parallax推理引擎只是Gradient黑科技的一半而已,他另一半的黑科技在去中心化训练上,能力一点不比我之前提到的Nous和Prime Intellect差,很有可能明年你就看到Gradient分布式训练出来的中性模型登场(感觉大概率Gradient主打的是后训练RL或者SFT的阶段,而不是预训练,逻辑我在上一帖第二弹有提)。但这个不在今天的讨论主题之内,对于去中心化训练这件事的PMF和商业前景我也没有去中心化推理看的这么清晰,如果明年看到一些不一样的东西再跟大家分享 总而言之,过去三年看了聊了上百个所谓DeAI项目之后,Gradient属于为数不多我觉得,或者说希望他们能一直跑下去的那一类。讲真不是太在乎他们未来开盘是几个B的FDV,而是在币圈99%的项目要么流于叙事,要么只能圈内自High的情况下,能够看到一个技术上出圈,被Web2顶级大厂认可,未来有希望找到传统世界与Crypto相结合PMF的Web3 AI项目,实在是太难了 就一个字 - 活下去!(Lao Bai)
+4
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读