万亿参数 LLM 本地部署：AMD 发布了一份指南，使用 Ryzen AI Max+ 芯片和一个 Linux 内核 hack，将每个节点的显存从 96GB 提升到 120GB。这样，整个集群就拥有了 480GB 的统一 GPU 内存，并通过以太网上的 llama.cpp RPC 连接起来。 用 4 台消费级 AI PC（Ryzen AI Max+ 395 ×128GB RAM）成功运行 Kimi K2.5（万亿参数、375GB 模型），通过 llama.cpp RPC 分布式推理和 AMD ROCm Flash Attention（性能提升 140%），实现一次性投资$8-12K vs 云端 API 持续付费，数据完全本地化、支持 OpenAI API 兼容，为原型设计/企业私有部署/研究实验提供经济高效且隐私可控的替代方案。 https://www.amd.com/en/developer/resources/technical-articles/2026/how-to-run-a-one-trillion-parameter-llm-locally-an-amd.html(常为希 🔸🚢币安人生（Ai奇点）)