这篇文章由人类撰写。我不会用大语言模型来写Reddit帖子。

还记得英伟达以200亿美元收购Groq芯片的事吗？https://groq.com/

Groq芯片在AI推理时不使用HBM或DDR这类外部内存，仅依赖芯片内部的SRAM。SRAM作为芯片的一部分制造而成，不像HBM或DDR那样是独立生产的。

SRAM容量极小且每GB成本高昂，但速度极快。

每块Groq芯片仅有500MB的SRAM，却拥有1200 TB/s的带宽，这大约是当前Blackwell芯片的150倍。

如果将足够多的Groq芯片连接在一起，就能实现高达150倍的令牌处理速度。大多数人不那么需要如此高速，但生物技术、金融、石油勘探、AI研究、芯片设计等极高价值行业会需要。

那么让我们算一笔基本账：

  • 像Anthropic的Fable这样的10万亿参数模型，每块芯片需要500MB SRAM，总计约需 25,000 块Groq芯片。
  • 制造25,000块Groq芯片需要 266片台积电N3晶圆。
  • 台积电每月为全球供应约150,000片N3晶圆。
  • 如果台积电将其全部N3产能仅用于制造Groq芯片来推理Anthropic的Fable模型，每个月只能生产约550套这样的系统。

换句话说，如果全世界都渴求极快的AI令牌速度（难道会有人不希望吗？），那么根本不会有足够的产能来满足需求。

台积电的产能早已被GPU、网络芯片、CPU等产品占满。

如果你相信这一假设，那么台积电、英特尔、三星等公司将从中受益。英伟达和Cerebras也将受益。Cerebras同样将模型存储在SRAM中。

我之前在这里的一些帖子：