SK hynix今日宣布了iHBM，一个旨在提高人工智能系统性能的内存热管理技术。该热管理包装解决方案通过将ICEs（集成冷却元件）直接整合到HBM包裹中来改善热释放。SK hynix表示，结果是热阻力超过30%的降低，“确保在高温和高负载环境中稳定的运行特性。”

iHBM架构将非导电硅冷却元件直接嵌入到Die-to-Die Physical Layer（D2D PHY）中，这是HBM基准晶片和AI处理器之间的关键、高速连接接口，易受极端数据流量的高温脉冲影响。通过在此层中放置冷却元件，SK hynix消除了在重计算工作负载下导致AI系统性能下降的严重热性调速。

该公司认为，结构上预防热性调速将使下一代内存层（针对未来世代如HBM5）能够扩展到更高的堆栈高度，并在AI数据中心的重计算工作负载下保持最高的数据传输速度。

“iHBM是通过结合内存设计能力和先进包装技术来最小化热量产生的最佳解决方案，”SK hynix副总裁李康煜说。“我们将积极为AI环境提供所需的价值，并进一步巩固我们的AI内存领导地位。”

SK hynix计划将iHBM技术应用于下一代产品，如HBM5，以满足高性能计算（HPC）、AI数据中心和其他超高密度和超高带宽环境的热管理需求，从而改善整体系统稳定性和效率。

热管理是HBM（高带宽内存）技术面临的最大挑战。与传统内存不同，HBM通过垂直堆叠多个DRAM晶片来实现巨大的带宽，显著缩短数据必须传输的距离，从而实现更高的传输速度和更好的功耗效率。

为了最小化延迟并向GPU或AI加速器供给足够的数据以避免瓶颈，HBM被放在极其靠近GPU或AI加速器的同一包裹中，通过高速硅间接器连接。然而，这种密集的布局也会产生严重的热问题。

Die-to-Die Physical Layer（D2D PHY）：处理器和HBM堆栈之间的超高速接口持续传输每秒数TB的数据。随着数千条信号线和数十亿个晶体管在极高频率下交换，切换损失、漏电流和电阻产生大量的热量。

问题被进一步恶化了，因为处理器本身已经产生了大量的热量。由于HBM堆栈紧密地围绕着处理器，热量在一个非常小的区域内积聚。当温度超过安全限制时，系统自动减少时钟频率和电压以防止物理损伤，降低整体性能。

SK hynix的新iHBM方法试图在结构层面解决这个问题。与传统的HBM冷却设计相比，公司的iHBM架构将集成冷却元件（ICEs）直接放置在D2D PHY区域中，即热量积聚最严重的区域。这一方法在源头上创建了一个专门的释放路径，减少了总体热阻力30%，使芯片在高温、高压条件下保持稳定的运行。

SK hynix表示，该技术可以通过其现有的晶圆级包装（WLP）过程进行大规模制造，这种过程基于其现有的商业HBM产品中使用的Mass Reflow Molded Underfill（MR-MUF）包装技术。设计也与现有的系统在包裹（SiP）配置兼容，这意味着客户可以在不进行重大重新设计的情况下集成新的热能力。

https://www.tomshardware.com/tech-industry/semiconductors/sk-hynix-unveils-ihbm-thermal-architecture-that-cools-ai-memory-at-the-source-integrated-cooling-elements-inside-hbm-interface-cut-thermal-resistance-by-30-percent-target-next-gen-hbm5-accelerators-and-dense-ai-data-centers