NVIDIA 又做了一次，但这次有所不同——似乎是从竞争对手的剧本中借用了一页。 在已成为 AI 行业最重要活动之一的 NVIDIA GTC 上，该公司宣布了其硬件架构和产品的最新迭代。 以下是公告的细目及其对整个生态系统的意义。
Hopper：NVIDIA 的新 GPU 架构
GTC 从周一开始一直持续到周四，共有 900 多场会议。 来自 50 多个国家/地区的 200,000 多名开发人员、研究人员和数据科学家已注册参加此次活动。 在 GTC 2022 主题演讲中，NVIDIA 创始人兼首席执行官黄仁勋宣布了数据中心和高性能计算、人工智能、设计协作和数字双胞胎、网络、汽车、机器人和医疗保健领域的大量新闻。
Huang 的框架是“公司正在处理、提炼他们的数据，制作人工智能软件……成为智能制造商。” 如果目标是将数据中心转变为“AI 工厂”（如 NVIDIA 所说），那么将 Transformers 置于其核心位置是有道理的。
公告的中心是新的 Hopper GPU 架构，NVIDIA 将其称为“下一代加速计算”。 新架构以美国计算机科学家先驱 Grace Hopper 的名字命名，继承了两年前推出的 NVIDIA Ampere 架构。 该公司还发布了其首款基于 Hopper 的 GPU，即 NVIDIA H100。
NVIDIA 声称 Hopper 比其前身带来了数量级的性能飞跃，而这一壮举基于六项突破性创新。 让我们通过它们，快速记录下它们与竞争对手的比较情况。
第一，制造业。 H100 采用专为 NVIDIA 的加速计算需求而设计的尖端 TSMC 4N 工艺，内置 800 亿个晶体管，在加速 AI、HPC、内存带宽、互连和通信方面取得了重大进步，包括每秒近 5 TB 的外部连接。 在制造层面，Cerebras 或 Graphcore 等新贵也在不断突破可能性的界限。
第二，多实例 GPU (MIG)。 MIG 技术允许将单个 GPU 划分为七个更小、完全隔离的实例，以处理不同类型的作业。 Hopper 架构通过在云环境中跨每个 GPU 实例提供安全的多租户配置，将 MIG 功能扩展到上一代产品的 7 倍。 NVIDIA 的合作伙伴 Run:AI 提供类似于软件层的东西，称为部分 GPU 共享。
第三，机密计算。 NVIDIA 声称 H100 是世界上第一个具有机密计算功能的加速器，可以在处理 AI 模型和客户数据时保护它们。 客户还可以将机密计算应用于医疗保健和金融服务等隐私敏感行业以及共享云基础设施的联合学习。 这不是我们在其他地方看到的功能。
四、第4代NVIDIA NVLink。 为了加速最大的 AI 模型，NVLink 与新的外部 NVLink 交换机相结合，将 NVLink 作为扩展网络扩展到服务器之外，连接多达 256 个 H100 GPU，带宽比使用 NVIDIA HDR Quantum InfiniBand 的上一代高 9 倍。 同样，这是 NVIDIA 特有的，尽管竞争对手也经常利用自己的专业基础设施来连接他们的硬件。
五、DPX指令加速动态规划。 动态规划既是一种数学优化方法，也是一种计算机编程方法，最初是在 20 世纪 50 年代发展起来的。 在数学优化方面，动态规划通常指的是通过将决策分解为随时间推移的一系列决策步骤来简化决策。 动态规划主要是对普通递归的优化。
NVIDIA 指出，动态编程被广泛用于各种算法，包括路线优化和基因组学，与 CPU 相比，它可以将执行速度提高多达 40 倍，与上一代 GPU 相比提高多达 7 倍。 我们不知道在竞争中有直接的等价物，尽管许多 AI 芯片新贵也利用了并行性。
第六项创新是我们认为最重要的一项：新的 Transformer 引擎。 正如 NVIDIA 指出的那样，转换器是自然语言处理的标准模型选择，也是有史以来最重要的深度学习模型之一。 H100 加速器的 Transformer Engine 旨在将这些网络的速度提高到与上一代相比的 6 倍，而不会降低准确性。 这值得进一步分析。
Hopper 核心的 Transformer 引擎
看着 NVIDIA H100 核心的新变压器引擎的标题，我们想起了英特尔架构师 Raja M. Koduri 对 ZDNet 的 Tiernan Ray 的评论。 Koduri 指出，矩阵乘法的加速现在是衡量芯片性能和效率的重要指标，这意味着每个芯片都将是一个神经网络处理器。
Koduri当然是现场。 除了英特尔自身的努力外，这也是推动一系列新贵的新一代 AI 芯片设计的原因。 看到 NVIDIA 提到变形引擎让我们想知道该公司是否对其 GPU 进行了彻底的重新设计。 毕竟，GPU 最初并不是为 AI 工作负载设计的，它们只是恰好擅长这些，而 NVIDIA 有远见和敏锐的眼光围绕它们构建生态系统。
然而，深入 NVIDIA 自己对 Hopper 架构的分析，彻底重新设计的想法似乎被打消了。 虽然 Hopper 确实引入了一种新的流式多处理器 (SM)，具有许多性能和效率改进，但仅此而已。 考虑到围绕 NVIDIA GPU 构建的生态系统的绝对重量，以及彻底重新设计将带来的大量更新和潜在的不兼容性，这并不奇怪。
分解 Hopper 的改进，内存似乎是其中很大的一部分。 正如流行的机器学习训练库 PyTorch 的 Facebook 产品经理告诉 ZDNet 的那样，“模型越来越大，它们真的非常大，而且训练起来非常昂贵。” 如今最大的模型通常不能完全存储在 GPU 附带的内存电路中。 Hopper 带有更快、更多并在 SM 之间共享的内存。
另一个提升来自 NVIDIA 全新的第四代张量核心，与 A100 相比，它的芯片到芯片速度最高可提高 6 倍。 张量核正是用于矩阵乘法的。 在 H100 中，使用了新的 FP8 数据类型，与上一代 16 位浮点选项相比，计算速度提高了 4 倍。 在等效数据类型上，仍然有 2 倍的加速。
至于所谓的“新 transformer 引擎”，事实证明这是 NVIDIA 用来指代“软件和定制的 NVIDIA Hopper Tensor Core 技术的组合，专门用于加速 transformer 模型训练和推理”。
NVIDIA 指出，transformer 引擎在 FP8 和 16 位计算之间进行智能管理和动态选择，自动处理每一层中 FP8 和 16 位之间的重铸和缩放，以提供高达 9 倍的 AI 训练速度和高达 30 倍的 AI 推理速度 与上一代 A100 相比，大型语言模型的加速。
因此，虽然这不是彻底的重新设计，但正如 NVIDIA 的技术博客所阐述的那样，性能和效率改进的结合导致与 Ampere 相比加速了 6 倍。 NVIDIA 专注于提高 transformer 模型的性能并没有错。
Transformer 模型是当今广泛使用的语言模型的支柱，例如 BERT 和 GPT-3。 最初是为自然语言处理用例开发的，它们的多功能性正越来越多地应用于计算机视觉、药物发现等，正如我们在 AI 现状报道中所记录的那样。 根据 NVIDIA 共享的一项指标，过去 2 年已发表的 AI 研究中有 70% 是基于 transformers 的。
软件方面：Apache Spark 用户的好消息
但是软件方面呢？ 在之前的 GTC 公告中，软件堆栈更新是新闻的关键部分。 在这种情况下，虽然在 FP8 和 FP16 计算之间动态选择的 NVIDIA 调整启发式算法在内部是新转换器引擎的关键部分，但相比之下，对面向外部的软件堆栈的更新似乎不那么重要。
NVIDIA 的 Triton 推理服务器和用于训练大型语言模型的 NeMo Megatron 框架正在更新。 Riva、Merlin 和 Maxin 也是如此——一种语音 AI SDK，分别包括预训练模型、端到端推荐 AI 框架以及音频和视频质量增强 SDK。 正如 NVIDIA 强调的那样，这些被 AT&T、微软和 Snapchat 等公司使用。
NVIDIA 的 CUDA-X 库还有 60 个 SDK 更新。 NVIDIA 选择突出新兴领域，例如加速量子电路仿真（cuQuantum 全面上市）和 6G 物理层研究（Sionna 全面上市）。 然而，对于大多数用户来说，好消息可能是针对 Apache Spark 的 RAPIDS 加速器的更新，它在不更改代码的情况下将处理速度提高了 3 倍以上。
虽然这在 NVIDIA 的公告中并不十分突出，但我们认为应该如此。 对于 Apache Spark 用户而言，无需更改代码即可在一夜之间实现 3 倍加速，80% 的财富 500 强企业在生产中使用 Apache Spark，这可不是什么小新闻。 这也不是 NVIDIA 第一次向 Apache Spark 用户展示一些爱。
总的来说，NVIDIA 似乎保持着它的势头。 尽管竞争非常激烈，但凭借 NVIDIA 成功创造的先机，可能并不需要彻底的重新设计。
