日本的人工智能（AI）行业受 NVIDIA 的高昂价格负担的影响，正在积极寻找替代方案，打开了韩国人工智能半导体公司的新机遇。特别是，专门用于推理而非训练的神经处理单元（NPUs）正在获得关注，因为它们利用其功耗效率和价格竞争力成为下一代替代方案。据《日经》报道，NVIDIA 的 AI 服务器价格高达数百万韩元（数十万美元），已成为日本 AI 数据中心建设计划的最大障碍。虽然 NVIDIA 在全球数据中心 GPU 市场占有约 90%，但批评者认为，成本和供应链负担太大，无法满足 AI 基础设施爆炸式需求。日本公司正在积极探索超越简单地将 GPU 替换为其他芯片的选项，包括通过内存优化提高 GPU 利用效率，并采用低功耗、低成本的专门用于 AI 推理的半导体。美国基于的企鹅解决方案（Penguin Solutions）的日本子公司计划在今年内在日本市场推出其“内存 AI KV 缓存服务器”，解决 GPU 装备服务器的内存瓶颈问题。 当服务器的内存数据传输速度和容量无法与 GPU 的计算速度相匹配时，整体系统效率会大幅下降。这项解决方案将大型语言模型（LLMs）使用的 KV 缓存存储在外部内存中，减少 GPU 使用量，并显著提高成本效率。企鹅解决方案还与韩国 SK 电信有战略合作伙伴关系，引起了韩国和日本 AI 基础设施合作的潜力。韩国人工智能半导体初创公司 Rebellions 进入日本市场的迹象也变得明显。据《日经》报道，日本最大半导体和电子元器件分销商东门设备（Tomen Devices）已开始与当地 AI 公司合作，进行使用 Rebellions 的 NPUs 的服务器的概念验证测试。 NPUs 是专门用于实际服务阶段执行的推理计算而非 AI 模型训练的半导体，是比 GPU 提供更好的功耗效率和价格竞争力。东门设备总裁中岛清隆在接受《日经》采访时表达了乐观情绪，表示“NPUs 将成为建立 AI 基础设施的强大选择”。《日经》分析认为，这种 NPUs 采用的扩展，包括谷歌内部开发的张量处理单元（TPUs）“post-NVIDIA”运动，可能会成为影响 GPU 供应需求动态和市场格局的重要变量。业内观察家预计，随着 AI 行业的重心迅速从模型训练转向推理，NPUs 的需求将进一步扩大。虽然 GPU 维持其作为大规模 AI 模型训练核心基础设施的地位，但推理市场正在看到 NPUs、公司专属定制 AI 芯片和内存优化技术等新替代方案的出现，可能会进一步多样化 AI 半导体竞争格局。这一日本市场动向与减少对 NVIDIA GPU 的依赖的全球趋势相一致，预计将为韩国 AI 半导体公司的海外市场机会扩张提供重要推动力。