显卡买得起，网费交不起？xAI前世界模型负责人曝光单月百万美元「网费账单」

视频模型预训练不仅消耗巨额显卡算力，网络传输与数据存储开支往往被行业低估。xAI 前世界模型负责人 Ethan He 在 Latent Space 播客中披露了实际基建成本测算：以 10 亿规模的互联网视频语料库为例，原始视频的物理存储需求约为 5PB。如果使用变分自编码器（VAE）压缩为连续 Latent 特征，最终管理的特征数据规模将迅速膨胀至数十 PB。在 AWS 等主流云服务上，静态存储 5PB 数据的月账单约为 10 万美元。然而更庞大的资金开销源于分布式训练节点在反复拉取和同步数据时产生的网络带宽（egress/ingress）费用。在多次预训练迭代中，单次拉取海量视频特征的网络流量开支即可超过 23 万美元，导致单月的综合存储与网费账单迅速突破数百万美元。海量视频特征也让训练过程呈现极度受限于数据输入输出（IO-bound）的特征。为了防止万卡显卡集群因等待数据加载而出现算力闲置，研发团队必须投入巨大的工程精力优化分块缓存和管道式数据分派。这也是视频模型训练效率远低于同等参数量纯文本大模型的底层物理限制。[原文链接](动察 Beating)