vitalik.eth
vitalik.eth|2026年05月27日 20:52
自那以后更新: * Deepseek v4 已发布。有一个 2-bit quant 可以在 90 GB 内运行(https://huggingface.co/antirez/deepseek-v4-gguf),它确实有效,但只有在苹果硬件上速度较快(我听说大约 ~35 tok/s)。在 AMD 上,大约是 ~7 tok/s。个人认为,真正努力支持多个硬件制造商是“去中心化 AI”和真正“CROPS AI”之间差异的一个很好的例子。我希望我们能在这方面做得更好。 * https://(((github.com)))/vbuterin/messaging-daemon 现在也支持 alpha 版的 Telegram。不过,添加你的账户的流程有点繁琐。 * https://(((github.com)))/Luce-Org/lucebox-hub 看起来是一个更高效运行“密集”模型(例如 Qwen 27B)的有前途的方式。虽然有点粗糙,但在我的 5090 笔记本上,它似乎比 llama.cpp 快了大约 2 倍的 tok/s。 * VoxTerm(本地 AI 录音,无第三方服务器)仍在开发中 https://(((github.com)))/dmarzzz/VoxTerm 还有很多项目即将到来。 另一个让我思考的问题是,“CROPS 以太坊访问层”和“CROPS AI”之间实际上有很多交集。例如,我们希望有一种 ZK 方法来进行(付费)远程 LLM 调用。但如果我们有了这个,它同样可以解决另一个问题:以太坊中的私密 RPC 读取。 另一个例子:应用程序专用的微调 LLM。Leanstral(https://mistral.ai/news/leanstral;我在 AMD 上大约 ~38 tok/s)可以适配到 < 70 GB,但在编写 Lean 代码方面可以媲美 1T 模型。这类工具对于编写更安全的代码是一个巨大的帮助(https://vitalik.eth.limo/general/2026/05/18/fv.html)。我们也应该有针对以太坊相关用例微调的模型。
+6
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读