极致协同设计：解决方案

但是，当摩尔定律（Moore's Law）真正达到极限时，我们该如何实现呢？答案就是协同设计（co-design）。你不能只设计芯片，然后寄希望于其上层的一切都会运行得更快。在设计芯片方面，你所能做的最好的事情，也就是每隔几年增加百分之五十的晶体管。如果你增加了更多的晶体管，我们就可以增加更多的晶体管，而台积电（TSMC）拥有大量的晶体管。这是一家令人难以置信的公司。我们将继续增加更多的晶体管。

然而，这都只是百分比的增长，而不是指数级的增长。我们需要复合指数级的增长才能保持这种良性循环。我们称之为极致协同设计（extreme co-design）。NVIDIA 是当今世界上唯一一家能够真正从一张白纸开始，同时思考全新的基础架构、计算机架构、新芯片、新系统、新软件、新模型架构和新应用的的公司。

在座的许多人来到这里，是因为你们是这个层次结构中、这个堆栈中与 NVIDIA 合作的不同部分。我们从根本上彻底重新构建了一切。然后，因为 AI 是一个如此庞大的问题，我们将其向上扩展（scale it up）。我们创造了一台完整的计算机，这是有史以来第一台扩展成一个完整机架的计算机。那是一台计算机，一个 GPU。

然后，我们通过发明一种新的 AI 以太网技术（我们称之为 Spectrum X Ethernet）将其向外扩展（scale it out）。每个人都会说以太网就是以太网。以太网可不是简单的以太网。Spectrum X Ethernet 是专为 AI 性能而设计的，这也是它如此成功的原因。

但即使这样也不够大。我们将用 AI 超级计算机和 GPU 填满整个房间。但这仍然不够大，因为 AI 的应用数量和用户数量仍在继续呈指数级增长。我们将多个这样的数据中心连接在一起，我们称之为跨越扩展（scale across）。Spectrum XGS，千兆级（gigascale），Spectrum X Gigascale，简称 XGS。

通过这样做，我们在如此巨大的、如此极致的层面上进行协同设计，以至于性能提升是惊人的。不是每一代提升百分之五十，也不是每一代提升百分之二十五，而是多得多。这是我们有史以来制造的，坦率地说，也是现代以来制造的最极致的协同设计计算机。我认为，自 IBM System 360 以来，还没有一台计算机像这样从零开始被重新发明。创建这个系统是极其困难的。