淘金不如卖铲，训练 AI 不如造 GPU？

过去半年，生成式 AI 让很多人为之激动，也让很多人忧虑。一些插画师的工作已经直接受到了 Midjourney、Stable Diffusion 等 AI 的冲击，ChatGPT、Notion AI 也让大量程序员和文字工作者感到了莫大的压力。

但恐慌没有必要。一方面面临失业风险的不只是包括笔者在内的内容创作者，生成式 AI 也进入了药物研发的流程，接下来还会有更多行业将不可避免引入，反正可能失业的远不止你我，甚至不少公司也焦虑于如何免于被淘汰。

另一方面以太平洋两岸的中美两国为核心，巨头们都在蜂拥进入 AI 大模型的战场，很多媒体称其为「百模大战」。还有不少科技公司高管也与其他创业者一样跳入 AI 创业的浪潮，比如谷歌 AR/VR 负责人 Clay Bavor、阿里副总裁贾扬清、英特尔首席架构师 Raja Koduri。

就像是一百多年前的淘金热。

淘金热，图/Ballou’s Pictorial Drawing-Room Companion (1856) 期刊

1849 年，美国加州发现金矿的消息传开后，淘金热开始了。数十万人涌入这片新土地，他们有的来自美国其他地方，有的来自欧洲，还有来到美国的第一代华人移民，他们刚开始把这个地方称为「金山」，而后又改称「旧金山」，以对比在澳大利亚墨尔本发现的「新金山」。

但在那场淘金热中，绝大部分赶来的淘金者并没有积累到过多的财富，反而是大量卖裤子、卖铲子、卖水的商人赚得盆满锅满。基于这段历史，后来的人习惯将产业链上游的公司比作「卖铲人」，而不管下游公司的乱战有多激烈，一些上游公司总能是赢家，比如英伟达。

甚至于，一百多年后生成式 AI 浪潮正在澎湃的此刻，英伟达的「铲子」已经卖到不够卖了。

英伟达的GPU，云服务器厂商也没货了

上周，3D 游戏先驱、前 Oculus CTO 约翰·卡马克（John Carmack）在推特上感叹：一张英伟达的 H100 GPU 在 eBay 上已经卖到了超过 4 万美元。

图/eBay

由于擅长大规模并发计算，从谷歌大脑开始，GPU 被广泛应用于深度神经网络的训练和推理等场景，全面替代了 CPU。根据 OpenAI 的研究报告显示，自 2012 年起，全球头部 AI 模型训练算力需求每 3-4 个月翻一番，每年头部训练模型所需算力增长幅度高达 10 倍。

仅以 ChatGPT 为例，在推出前训练阶段消耗的总算力就达到 3640 PF-days（即 1 PetaFLOP/s 效率跑 3640 天），成本也达到了单次 500 万美元。

同时在过去几个月，越来越多的公司加入到 AI 大模型和生成式 AI 的竞争，仅国内已经发布或预告发布的公司就达到了十家之多：百度、阿里、腾讯、字节、华为、知乎、商汤、360、讯飞、昆仑万维，此外还有美团联合创始人王慧文领衔的光年之外、前搜狗 CEO 王小川的百川智能等创业公司。

可想而知，在此期间 AI 训练和推理的算力需求持续狂飙，雪花般的订单涌向各大云计算平台。但云计算平台是真的赚钱都赚不过来。据 The Information 报道，近期包括亚马逊 AWS、微软 Azure、谷歌 GCP 和甲骨文在内的主要云计算平台都在限制客户对云服务器的使用，一些客户称租用硬件的等待时间已经长达数月。

无独有偶，21 世纪经济报道也表示，国内主流公有云计算平台也都出现了云端 GPU 算力供不应求的情况，包括阿里云、腾讯云和京东云，提供英伟达 A100 GPU 的云产品在多个区域都已售罄，或是仅少量可选。

图/英伟达

GPU 的大规模短缺，一方面当然离不开需求的激增。作为最近一个宣布进入 AI 大模型战争的巨头，亚马逊也在第一时间就购买了数万张英伟达 H100 GPU。稍早几天，媒体报道马斯克购买了约一万张高性能 GPU。此外，由于美国政府对 A100、H100 等英伟达高算力 GPU 的禁令，国内公司在禁令生效前一直在向云服务器厂商购买包含英伟达 GPU 的云产品，也在加剧高端 GPU 的缺货状况。

但另一方面，包括 OpenAI 在内，谁也没有预想到 ChatGPT 今天的影响规模和发展速度，以及随后引发的各方反应。再加之去年下半年，受大环境疲软影响，全球企业都在强调降本增效，主要云厂商也削减了采购力度，就连这场「百模大战」最大的赢家——英伟达也没有准备好足够多的计算卡：

否则台积电的产能利用率也不会降至 80%。

大模型或许会输，但总有一些公司肯定赢

4 月 11 日，科大讯飞对外表示，公司将于 5 月 6 日举办大模型的产品发布会。

又一个大模型。今年以来，国内多家厂商发布了自己的大模型，从互联网巨头百度、阿里到商汤、360 和昆仑万维，AI 大模型的准入门槛似乎已经被中国公司拉到了新低。在产品推出并开放使用之前，我们很难知道这些大模型的实际表现。

但不同于 ChatGPT 这类 AI 应用，AI 大模型的未来大概率不会走向「百花齐放」。不管是巨额的持续投入，还是考虑到生态的群聚效应，大模型可能都会走向比大部分互联网领域更强的「赢者通吃」。换句话说，这场「百模大战」中的幸存者只会很少，绝大部分大模型只会被残忍地淘汰。

然而，不管谁家的大模型能够活下来并获得成功，在「百模大战」背后提供「军备」的供应商，总是赢家，尤其是现阶段无可替代的英伟达。

图/ Wikimedia Commons

根据 New Street Research 报告显示，全世界用于进行深度神经网络学习的 GPU 中，95%都是英伟达的 GPU。其中英伟达 A100 是当前最主流的高性能 GPU，ChatGPT 的训练和推理，最早就是基于大量的 A100 GPU，后来更新为英伟达去年刚发布的 H100 GPU。

包括谷歌、特斯拉和 Facebook 等领先的 AI 公司也都采用了大量英伟达 GPU，用于 AI 的训练和推理。在国内也有大量公司依赖于英伟达的高端 GPU，包括阿里、腾讯、百度等云厂商和浪潮、联想、新华三等服务器厂商。

就在上周，腾讯云正式发布面向大模型训练的新一代 HCC 高性能计算集群，该集群搭载了英伟达 H800 GPU，后者是英伟达为应对美国禁令为国内开发的 H100 特供版。

台积电，图/Flickr

而除了英伟达和云服务器厂商，得益于这场盛况空前的「百模大战」对 GPU 的旺盛需求，台积电先进制程的产能利用率也能重新拉升，尤其是英伟达 A100 采用的 7nm 以及 H100 采用的 4nm 制程工艺。

事实上，近期业内消息就传出，台积电来自苹果和联发科等主要客户的订单仍在减少，英伟达 A100 和 H100 的代工订单还在持续增加。

不过，台积电生产交付的周期大概在两到三个月，这意味着 A100 和 H100 的缺货在短时间内可能还无法缓解。但最关键的问题还是，AI 的进化速度之快，两三个月的时间足以产生明显的差距，一些大模型公司，甚至可能因为缺少高性能的 GPU  而失去竞争的资格。

英伟达的挑战者不会消失

前段时间举办的英伟达 GTC 开发者大会上，英伟达 CEO 黄仁勋在总时长 1 小时 20 分钟的主题演讲中，前 1 个小时几乎都在讲 AI。偏心是肯定，但也足够合情合理。

黄仁勋，图/英伟达

从长远来看，未来大模型的研发和部署是必然趋势，每个大模型训练和部署的背后，都需要成千上万个 GPU 芯片支持。英伟达也很难完全垄断这块庞大的市场，不仅因为及时供货的能力，还在于其他 AI 公司不会乐见于英伟达 GPU 一家独大，这也给其他公司留下了空间和时间。

本月早些时候，谷歌研究人员在一篇论文中公布了用于训练 AI 模型的超级计算机的技术细节，包括如何将 4000 多个自研的第四代 TPU 芯片连接成一台超级计算机，通过协同来训练模型。谷歌宣称，该系统比基于英伟达 GPU 的超算系统速度快了 1.7 倍，能效高了 1.9 倍。

此外，过去几年国产 GPU 均取得了一定的突破，尽管距离英伟达等头部厂商还有很大的差距。但在美国禁令和缺货的背景下，国产 GPU 仍然有机会谋求成为国内 AI 市场的 Plan B，慢慢壮大之后再寻求进一步的发展，包括挑战英伟达的霸权。

正如投资机构 a16z 早前评价 ChatGPT 时所说，「基础设施服务商可能才是最大赢家，获得最多的财富。」尽管大众的目光大都放在各家的大模型上，但在战争的「幕后」，还会有好戏持续上演。

来源：雷科技

       原文标题 : AI“百模大战”，英伟达稳坐钓鱼台