NVIDIA英偉達H100人工智慧伺服器爲各類資料中心提供出色的性能、可擴展性和安全性。

加速計算的數量級飛躍

通過 NVIDIA H100 Tensor Core GPU，在每個工作負載中實現出色性能、可擴展性和安全性。使用 NVIDIA？ NVLink？ Switch 系統，可連接多達 256 個 H100 來加速百億億級 (Exascale) 工作負載，另外可通過專用的 Transformer 引擎來處理萬億參數語言模型。與上一代產品相比，H100 的綜合技術創新可以將大型語言模型的速度提高 30 倍，從而提供業界的對話式 AI。

準備好迎接企業 AI 了嗎？

企業採用 AI 現已成爲主流，企業組織需要端到端的 AI 就緒型基礎架構，加快自身邁向新時代的步伐。

適用於主流伺服器的 H100 隨附五年期 NVIDIA AI Enterprise 軟體套件訂閱（包括企業支持），能夠以強大的性能簡化 AI 的採用。這可確保組織能夠訪問構建 H100 加速的 AI 工作流所需的 AI 框架和工具，例如 AI 聊天機器人、推薦引擎和視覺 AI 等。

 

NVIDIA英偉達H100人工智慧伺服器GPU算力租賃配置參數：

項目	標準配置
框架	8U 機架式伺服器
處理器	2 顆至強 Platinum 8468 48 核/3.8GHz 主頻/105MB 緩存
記憶體	DDR5 4800MHz ECC 記憶體容量 512GB
GPU	NVIDIA HGX H100 GPU 模組
系統硬碟	M.2 NVMe PCIe 介面  2TB SSD
資料硬碟	2*10TB 企業級 SATA 硬碟 RAID 10 陣列配置
InfiniBand 網路	200G/雙埠/QSFP56
Ethernet 網卡	OCP 網卡/雙電口/10G
PICE 插槽	9 個 PCIe 5.0 擴展插槽
電源	6*3000W，2*2700W，AC220 輸入
風扇	10 個 54V 風扇組
操作系統	Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi
工作溫度	+5°~+35°
其他介面	機箱後部：1 個 RJ45 管理介面，2 個 USB 3.0，1 個 VGA 機箱前部：2 個 USB 3.0，1 個 VGA
整機淨重	120KG（以實際配置爲準）

 

加速從企業級到百億億次級規模的工作負載

實時深度學習推理：AI 正在利用一系列廣泛的神經網路解決範圍同樣廣泛的一系列商業挑戰。出色的 AI 推理加速器不僅要提供非凡性能，還要利用通用性加速這些神經網路。

H100 進一步擴展了 NVIDIA 在推理領域的市場地位，其多項技術可將推理速度提高 30 倍，並提供低的延遲。第四代 Tensor Core 可加速所有精度（包括 FP64、TF32、FP32、FP16 和 INT8）。Transformer 引擎可結合使用 FP8 和 FP16 精度，減少記憶體佔用並提高性能，同時仍能保持大型語言模型的準確性。

超大模型的 AI 推理性能提升高達 30 倍

HPC 應用的性能提升高達 7 倍

百億億次級高性能計算：NVIDIA 資料中心平臺性能持續提升，超越摩爾定律。H100 的全新突破性 AI 性能進一步加強了 HPC+AI 的力量，加速科學家和研究人員的探索，讓他們全身心投入工作，解決世界面臨的重大挑戰。

H100 使雙精度 Tensor Core 的每秒浮點運算 (FLOPS) 提升 3 倍，爲 HPC 提供 60 teraFLOPS 的 FP64 浮點運算。融合 AI 的高性能計算應用可以利用 H100 的 TF32 精度實現 1 petaFLOP 的吞吐量，從而在不更改代碼的情況下，實現單精度矩陣乘法運算。

H100 還採用 DPX 指令，其性能比 NVIDIA A100 Tensor Core GPU 高 7 倍，在動態編程演算法（例如，用於 DNA 序列比對 Smith-Waterman）上比僅使用傳統雙路 CPU 的伺服器快 40 倍。

加速資料分析：在 AI 應用開發過程中，資料分析通常會消耗大部分時間。原因在於，大型資料集分散在多臺伺服器上，由僅配備商用 CPU 伺服器組成橫向擴展式的解決方案缺乏可擴展的計算性能，從而陷入困境。

搭載 H100 的加速伺服器可以提供相應的計算能力，並利用 NVLink 和 NVSwitch 每個 GPU 3 TB/s 的顯存帶寬和可擴展性，憑藉高性能應對資料分析以及通過擴展支持龐大的資料集。通過結合使用 NVIDIA Quantum-2 InfiniBand、Magnum IO 軟體、GPU 加速的 Spark 3.0 和 NVIDIA RAPIDS？，NVIDIA 資料中心平臺能夠以出色的性能和效率加速這些大型工作負載。

爲企業提高資源利用率：IT 經理設法大限度地提高資料中心計算資源的利用率（峯值和平均值）。他們通常會通過動態重新配置來合理調整計算資源，從而滿足正在處理的工作負載的需求。

H100 中的第二代多實例 GPU (MIG) 技術通過 地將每個 GPU 分爲 7 個獨立實例，大限度地提高每個 GPU 的利用率。憑藉機密計算支持，H100 可實現端到端多租戶的使用，非常適合雲 提供商 (CSP) 環境。

使用支持 MIG 技術的 H100，基礎架構管理員可對其 GPU 加速的基礎架構作標準化處理，同時能夠靈活地爲 GPU 資源配置精細的粒度，從而爲開發者提供正確的加速計算量，並確保其所有 GPU 資源得到充分利用。

內置機密計算：當今的機密計算解決方案基於 CPU，對於 AI 和 HPC 等計算密集型工作負載來說，這些解決方案遠遠無法滿足需求。NVIDIA 機密計算是 NVIDIA Hopper？ 架構的內置 功能，該功能使 H100 成爲 NVIDIA 推出的具有機密計算功能的加速器。用戶可以在獲取 H100 GPU 出色加速功能的同時，保護使用中的資料和應用的機密性和完整性。它創建了基於硬體的可信執行環境 (TEE)，用於保護並隔離在單個 H100 GPU、節點內多個 H100 GPU 或單個 MIG 實例上運行的整個工作負載。在 TEE 內，GPU 加速應用的運行可以保持不變，且不必對其進行分區。用戶可以將適用於 AI 和 HPC 的 NVIDIA 軟體的強大功能與 NVIDIA 機密計算提供的硬體信任根的安全性相結合。

爲大規模 AI 和高性能計算提供出色的性能：Hopper Tensor Core GPU 將爲 NVIDIA Grace Hopper CPU+GPU 架構提供支持，該架構專爲 TB 級加速計算而構建，可爲大型 AI 和 HPC 提供 10 倍的性能。NVIDIA Grace CPU 利用 Arm？ 架構的靈活性來創建 CPU 和伺服器架構，該架構是專門針對加速計算而從頭開始設計的。Hopper GPU 與 Grace CPU 搭配，使用 NVIDIA 超快速的晶片間互連技術，可提供 900GB/s 的帶寬，比 PCIe 5.0 快 7 倍。與當今運行快的伺服器相比，這種創新設計將 GPU 的聚合系統顯存帶寬提高 30 倍，並且會將運行數萬億位元組資料的應用性能提高 10 倍。