英伟达也认为存储是比gpu更大的瓶颈 — nvda最新文章解读 NVIDIA 最新发布的《AI Model Co-Design》是一篇介绍 TensorRT-LLM 和 Blackwell 的技术文章， 但也是一份未来几年大模型设计和 AI 基础设施的发展路线图。 文章真正讨论的是如何让模型从设计之初就适应 GPU。这意味着 AI 已经进入了一个新的阶段：模型开始围绕硬件设计，而不是硬件围绕模型优化。 过去大模型竞争的重点一直是 Accuracy，但本文开篇便将 AI 的目标重新定义为 Accuracy、Throughput 和 Interactivity 三者的平衡。准确率已经不再是唯一决定因素，更大的商业价值来自单位时间产生更多 Token，以及更低的响应延迟。整篇文章几乎完全围绕推理（Inference）展开，而很少讨论训练，这本身就是 NVIDIA 对未来市场重心的判断。 理解全文的关键是 Roofline Model：任何程序最终都会受到两个瓶颈中的一个限制，要么是 Compute，要么是 Memory。 决定程序属于哪一种的是每搬运一个 Byte 数据，GPU 能完成多少计算：算术强度高，程序受 Compute 限制；算术强度低，程序受 Memory 限制。 "Latency-sensitive decoding runs at low concurrency and is memory-bound." 推理为什么天然容易 Memory-bound？原因在于推理分成两个完全不同的阶段。Prefill 处理整个 Prompt，可以一次计算成千上万个 Token，大矩阵带来很高的 Weight Reuse，因此通常属于 Compute-bound。而 Decode 必须逐 Token 生成，下一个 Token 必须等待上一个 Token，天然无法沿时间维度并行，只能依赖不同用户之间的 Batch。随着 Batch 变小，每次生成一个 Token 仍然需要读取几乎完整的模型权重，Weight Reuse 急剧下降，GPU 更多时间花在等待数据，而不是计算。 文章用 FFN 举了一个典型例子。FFN 的 GEMM 可以写成 M×K 乘以 K×N，其中 M 对应 Token 数，N 和 K 对应模型维度。推理过程中，M 会随着并发下降迅速缩小，而 N 和 K 基本保持不变。这意味着真正的计算量下降了，但需要读取的 N×K 权重矩阵几乎没有减少。文章因此得出结论："FFN latency becomes memory-bound because the GEMM-N and GEMM-K dimensions remain large as GEMM-M shrinks." 换句话说，GPU 已经不是在等待计算完成，而是在等待 Weight Read。 这也是为什么文章不断强调 Memory，而几乎没有讨论 FLOPS。Roofline（天花板） 一节最有代表性的三句话分别是："Workloads with low arithmetic intensity are capped by memory bandwidth."、"Latency-sensitive decoding is memory-bound."、"Memory time exceeds math time at every token count." 三句话实际上表达的是同一个意思：对于现代推理而言，真正限制系统性能的已经不是 GPU 算力，而是 Memory 带宽和 Weight Read。 MoE 可以缓解这个问题，但无法彻底解决。MoE 将 Dense 模型每层全部计算变成只激活少数 Expert，大幅降低 Compute。然而 Compute 降低的同时，新的瓶颈开始出现。首先是 Expert Parallel 带来的 All-to-All 通信，其次是 Router 带来的负载均衡问题，最后是 Weight Read 本身仍然存在。每个 Expert 依然需要读取大量参数，因此 MoE 更多是把瓶颈从 Compute 转移到了 Memory 与 Communication，而不是消灭瓶颈。 这也是 NVIDIA 为什么重点介绍 Wide Expert Parallel。因为nvda希望将 Expert 分布到更多 GPU 上，可以提高整个系统的 Aggregate Memory Bandwidth，同时降低每张 GPU 保存的 Expert 数量，从而减少 Weight Read 带来的延迟。 注意，这里的收益并不是来自更多 FLOPS，而是来自更多 Memory Bandwidth。这也是文章第一次明确把 GPU 扩展解释为 Memory 扩展，而不是 Compute 扩展。 nvda25年发布的Helix Parallel 则解决了另一类 Memory 问题——KV Cache。传统 Tensor Parallel 在 GPU 数量超过 KV Head 数之后，不得不复制整份 KV Cache，导致 HBM 占用迅速增加。Helix 将 KV Cache 按 Sequence 切分，而不是按 Head 切分，每张 GPU 只保存部分 KV Cache，再在 Attention 阶段交换 Sequence，随后切换回 TP×EP 完成 FFN。这意味着 Attention 和 FFN 不再采用同一种并行策略，而是各自选择最优方案。随着 Long Context 从几万 Token 增长到百万 Token，Helix 的价值会越来越大。 整篇文章提出了七条设计原则，但本质上都围绕同一个目标。Near-square Matrix 提高 Arithmetic Intensity；128、256、512 对齐提高 Tensor Core 利用率；Prefer Width over Depth 增加 Weight Reuse；NVFP4 减少 Memory Traffic；Wide EP 提高 Aggregate Memory Bandwidth；Chunked Pipeline 减少 Pipeline Bubble；Helix 将 Attention 与 FFN 解耦，分别采用不同 Parallel Strategy。看似是七条独立建议，本质都是围绕 Roofline Model，目标只有一个：减少 Data Movement，提高 GPU 利用率。 真正值得关注的反而是文章没有直接说出来的内容。第一，GPU Compute 的增长已经快于模型真正需要的 Compute，未来继续增加 FLOPS 的边际收益正在下降。第二，推理时代的瓶颈已经从 Compute 转向 Memory，HBM、KV Cache、Weight Read 和 Memory Traffic 将越来越重要。第三，GPU 的竞争开始演变成整个系统的竞争，包括 HBM、NVLink、TensorRT、并行策略和软件栈，而不仅仅是单颗 GPU 的性能。第四，AI 基础设施未来真正需要优化的对象，不再是计算，而是 Data Movement。 总结来说就是：在越来越多的 AI 推理场景中，存储（准确地说是 Memory、Memory Bandwidth、Weight Read 和 Data Movement）已经比 GPU 算力更容易成为系统瓶颈。 作者背景：这篇文章的七位作者几乎全部来自 GPU Architecture、TensorRT-LLM、Distributed Inference、Model-Hardware Co-design 和 Compute Architecture 团队。(rick awsb ($people, $people))