RamenPanda|2026年06月23日 05:07
到底需要多少内存?
这篇X帖子(长文)翻译与总结
zeitgeist_labs
核心论点(一句话总结):
即使美光(MU)等内存股已从低位大涨,HBM高带宽内存的需求仍可能远超供应,尤其是来自“代理式AI(Agentic AI)”工作负载的爆炸式增长,内存股仍有巨大上涨潜力(作者认为可再10x)。不要被历史高点或心理因素限制,而应从底层供需做数量级分析。
1. 开头例子
如果去年9月买入5万美元美光股票,今天已价值约48.9万美元。
作者指出:没买的人可能觉得“来不及了”;已买的人可能每天担心“自己是不是接盘侠”。但这篇文章用自下而上的分析论证:内存需求远大于当前全球产能。
2. 为什么AI需要这么多内存?(技术基础)
•LLM推理过程:消息→tokenization→GPU集群进行海量矩阵运算→生成回复。
•关键内存消耗来自KV Cache(键值缓存):它随上下文长度线性增长,且每个并发会话都需要独立缓存。
•GPU HBM容量有限(不可扩展):
◦H100:80GB
◦H200:141GB
◦B200:192GB
◦即将到来的B300:288GB
计算示例(以Llama 3.1-70B真实模型为例):
•每个token约消耗160KB内存。
•单个128K上下文会话 ≈ 20GB内存(仅一个用户)。
•前沿模型(更大attention维度)单个128K请求可能需要40-100GB。
3. 不是所有会话都一样 —— “代理式”工作负载是关键
•简单查询(如问天气):内存需求极低,可同时服务数千个。
•中等复杂度(如调试代码):约800MB。
•复杂任务(如律师上传50页合同红线):近5GB。
•代理式(Agentic)会话:自循环、多工具调用、上下文快速膨胀至100K+ tokens。这是未来主流(Sam Altman、Jensen Huang反复提到的方向)。
真实示例(帖子引用的代理会话图示):
一个企业客户流失分析+赢回策略的代理工作流(AE/CSM日常可能多次运行):
•先SQL查询Q2流失企业账户(25个,ARR合计690万美元)。
•spawn子代理深度研究支持票据、产品发布、公开信号、竞品证据。
•交叉查询产品发布记录、支持搜索、CRM数据。
•生成个性化赢回邮件草稿 + 人类审批环节。
•结果:上下文迅速接近128K token上限(实际用掉128,050 tokens),保留了大量引用、笔记、表格、邮件草稿等。1
这说明即使是“相对简单”的商业工作流,也能快速消耗海量内存。
4. 全球需求规模有多恐怖?
•全球约2.5亿知识工作者。
•如果每个知识工作者每天并发运行10个100K token的代理会话 → 单人峰值内存需求约152GB。
•规模化后,内存需求呈爆炸式增长(不是线性)。
•作者估算:在较高采用情景下,全球所需HBM内存是2026年预计产量的约60倍(例如某情景需3850亿GB级别)。
5. 当前HBM供应情况(作者估算)
作者通过两种方法交叉验证(晶圆产能→GB产量 + 营收/ASP反推),并参考TrendForce、Counterpoint、公司财报等,得出三星、SK海力士、美光的HBM产能估算。
结论:2026年全球HBM产量远不足,三大厂商目前基本处于“售罄”状态,多年前已锁定价格和数量。
6. 算法优化能救场吗?
能,但不够:
•Grouped Query Attention(GQA)、Multi-Latent Attention(MLA,如DeepSeek)等可将KV Cache减少4-8倍甚至更多。
•未来几年可能优化到10-16倍。
•但需求端增长是数量级(100x级别):代理取代聊天、上下文从128K→数百万tokens、知识工作者从0→大量使用。
•优化是“常数因子”,需求是“指数级”,缺口依然巨大。
7. 最终结论(作者观点)
我们需要海量内存。
金融分析师常盯着历史表现或ATH(历史高点)做决策,却难以想象LLM深度嵌入日常工作后的世界。
在这个世界里,内存是核心基础设施,生产HBM的公司将获得前所未有的收入。
作者鼓励读者自己 plug in 不同假设(采用率、优化速度、上下文长度)做数量级计算。
附录:作者详细说明了产能估算方法论(晶圆产量模型 + 营收交叉验证),并列出所有参考来源(Micron财报、SK Hynix、TrendForce、McKinsey等)。
我的简要点评(作为总结补充)
这是一篇典型的自下而上、数量级思考的长文,核心逻辑扎实(KV Cache + 代理式并发 + 全球知识工作者规模)。
HBM确实存在真实供应瓶颈(先进封装、良率、产能爬坡慢),这是行业共识。
但最终结果仍取决于:
•AI代理实际落地速度和ROI
•算法/架构优化幅度
•经济环境与资本开支
帖子本身偏极度看多内存需求,适合作为思考框架,而不是直接投资建议。
需要我进一步展开某个计算、翻译具体段落、或分析相关股票/公司吗?随时说!(RamenPanda)
分享至:
热门快讯
APP下载
X
Telegram
复制链接