HBM 是当前 AI 硬件领域短缺的昂贵高速内存。SK Hynix 和 SanDisk 最近推出了一个标准,称为高带宽闪存(High Bandwidth Flash),它基本上插入 HBM 之下,几乎同样快,但容量更大,价格便宜。谷歌已经加入了这一行列。

它是针对 AI 推断而设计的,而不是训练。训练是一次性成本,即构建模型;推断是每次有人实际使用它时的成本,这意味着永远。感觉整个行业都从“一次付清”转变为“永久付款”,而当前拥挤的内存可能并不是正确的内存。

请告诉我我是不是过于深思熟虑了。