芝能智芯出品

高带宽内存（HBM）技术正迅速成为高性能计算与人工智能发展的驱动力之一。

从HBM4到HBM8，韩国科学技术院TERA实验室发布的HBM架构路线图系统展示了未来十余年间HBM在带宽、容量、堆叠、冷却与智能设计等方面的演化路径。

随着3D集成、计算与内存融合、以及AI辅助设计的深入应用，HBM不再仅是内存，更正逐步成为系统计算架构的中心。从HBM4的模块化起点到HBM8的全3D协同架构，这份文档剖析了每一代的关键突破与系统价值，很全面，分享摘录给大家。

Part 1

  从HBM4到HBM6：

高速、高密、异构集成的三重进化

HBM4被定义为HBM技术迈入模块化架构的起点，其最大特征在于“定制基底芯片”与硅中介层的大幅升级。

其I/O数量达2048，数据速率提升至8Gbps，使总带宽突破2TB/s。相较于HBM3，其堆叠层数扩展至12或16层，单颗容量提升至24Gb，整颗模块可达36至48GB。

这一阶段的结构性创新是定制化基底芯片的引入，将NMC处理器与LPDDR控制器集成其中，打通CPU外的内存访问路径，从而使系统级内存容量提升40%。

通过强化学习手段对TSV与PDN进行布局优化，有效降低供电阻抗，提升信号完整性，为高频传输打下基础。

进入HBM5阶段，技术重点从单纯带宽容量扩展，转向“计算靠近内存”的3D异构架构。

HBM5在保留8Gbps速率的同时，通过TSV数量扩展至4096通道、堆叠优化与算存融合，带宽提升至4TB/s，容量升至80GB。

其核心在于3D近内存计算（NMC）的实现：处理器核心与L2缓存die堆叠于DRAM之上，借由专用TSV直连，显著提升GEMM类任务的算术强度（14.65 FLOPS/Byte），对于内存受限场景实现3倍性能增益。

HBM5引入非对称TSV/TPV与热Via设计，配合Cu-Cu键合与微凸块封装，从电源完整性和散热角度全面强化可靠性。

HBM6则是向更大带宽、容量和异构架构的纵深发展，其数据速率提升至16Gbps，带宽跃升至8TB/s，容量达96~120GB。

结构上，HBM6通过“四塔结构”整合四个堆叠单元（2×2阵列），在硅中介层上与GPU形成宽带连接。该结构下的LLM推理吞吐量相较HBM4提升超过一倍。而硅-玻璃混合中介层的引入，是为解决硅中介层在尺寸与成本上的物理限制，同时在高密度信号传输中维持低损耗。

架构方面，HBM6内嵌L3缓存，作为大型语言模型推理中的共享内存，有效减少HBM访问量73%，整体能耗降低40%。

信号完整性则通过条件扩散模型与对抗学习的AI设计方式进一步优化，提升系统稳定性。

◎ HBM4通过定制基底芯片与AI强化TSV布局优化，实现带宽与容量突破。

◎ HBM5确立近内存计算模式，通过垂直异构堆叠提升算力密度与能效比。

◎ HBM6在结构上实现空间扩展与容量共享，迈入多塔异构架构阶段，为大型模型提供更高效的内存平台。

◎ HBM7通过HBF集成与CXL连接，实现内存与闪存的物理融合，构建海量数据支撑平台。

◎ HBM8实现GPU-HBM全3D集成，将计算核心与内存深度融合，打破冯·诺依曼架构瓶颈，成为真正的“计算即内存”平台。

Part 2

  HBM7与HBM8：

存算融合与全3D时代的到来

HBM7以内存-存储一体化为目标，构建出由HBM与高带宽闪存（HBF）联合构成的异构存储网络体系。

在工艺规格方面，数据速率进一步提升至24Gbps，总带宽达24TB/s，单颗模块容量上探至192GB，I/O数量增至8192通道，堆叠层数支持20至24层。

技术亮点在于通过堆叠128层NAND闪存构成HBF，与HBM间通过高带宽H2F链路（128GB/s）连接，形成17.6TB容量的分层存储架构。

这种设计大幅提升系统存储能力，并通过CXL/PCIe接口实现模块间共享，减少40%网络数据流量。

HBM7在中介层上引入3D堆叠LPDDR，最多可达384GB，与HBM形成混合内存池，有效平衡系统成本与带宽需求。

封装冷却技术方面，ECS-TTL结构与流体TSV组合形成动态热管理机制，降低热阻18.5%。所有设计依托于大型语言模型（LLM）驱动的交互式强化学习AI代理完成，其在TSV布局、信号完整性、以及去耦电容分布等方面提供协同优化。

HBM8则代表当前技术路线图的终极形态。

其以“全3D集成”和“内存中心计算”为核心理念，数据速率攀升至32Gbps，总带宽高达64TB/s，模块容量扩展至240GB，I/O数量倍增至16384通道，并实现无凸点的同轴TSV连接。

其架构核心在于GPU堆叠至HBM之上，并借助垂直互联柱实现供电与信号传输，消除传统中介层瓶颈，计算延迟下降50%。

此外，采用双面中介层架构，将LPDDR、HBF与HBM分别连接于上下两层，形成立体内存池，总容量可达1.5TB。

在内存中心计算方面，HBM8将矩阵运算的执行路径直接移入HBM模块，通过本地化操作绕开CPU，令牌生成速率提升近7倍。热管理系统也随之升级，引入双面嵌入式冷却结构与微针鳍型TSV，提高散热效率并优化系统稳定性。

AI驱动的设计方法进一步成熟，依托LLM模型与自然语言交互优化3D布局，实现从设计到验证的闭环协同，设计周期缩短70%，为全栈异构系统开发提供强力支撑。

  小结

从HBM4到HBM8，内存技术正经历由“高速存储”向“内存即计算”的深刻转变，3D集成、热管理、AI辅助设计与异构互联正在共同构建新一代高性能系统的核心内存平台，HBM的发展还将进一步走向与光互联、片上网络（NoC）、存算融合等前沿技术的结合。

       原文标题 : 高带宽内存（HBM）架构路线图一览！