NVIDIA英偉達A100人工智慧伺服器在各種規模上實現出色的加速

適用於各種工作負載的強大計算平臺

NVIDIA英偉達A100人工智慧伺服器可在各個規模下爲 AI、資料分析和高性能計算（ HPC） 應用提供出色的加速性能，爲全球的 高性能彈性資料中心提供強勁助力。作爲 NVIDIA 資料中心平臺的引擎，與前一代 NVIDIA Volta？ 相比，A100 可使性能提升高達 20 倍。A100 可擴展，也可藉助多實例 GPU（ MIG） 技術劃分 爲 7 個獨立的 GPU 實例，從而提供統一的平臺，助力彈性資料中心根據不斷變化的工作負載需求動態進行調整。

NVIDIA A100 Tensor Core 技術支持廣泛的數學精度，可針對每個工作負載提供單個加速器。新一代 A100 80GB 將 GPU 顯存 加倍，提供 2TB/s 的全球超快顯存帶寬，可加速處理超大型模型和海量資料集。

A100 是完整 NVIDIA 資料中心解決方案的一部分，該解決方案由硬體、網路、軟體、庫以及 NGC？ 目錄中經優化的 AI 模型和 應用等疊加而成。作爲適用於資料中心且功能強大的端到端 AI 和 HPC 平臺，A100 可助力研究人員獲得真實的結果，並能將解決方案大規模部署到生產環境中。

 

NVIDIA英偉達A100人工智慧伺服器GPU算力租賃產品規格

	項目	標準配置	擴展配置
1	準系統	雙路4U機架式
2	處理器	英特爾 Xeon ？ Gold 6330 處理器 28核/基頻2GHz/ 3.1GHz/42MB緩存	英特爾 Xeon？ Platinum 8380 處理器 40核/基頻2.3GHz/ 3.4GHz/60MB緩存
3	記憶體	DDR4/RDIMM/3200MHz/64GB，總容量256GB	記憶體容量4TB
4	晶片組	Intel？ C621A
5	GPU	8張A100 80GB PCIe顯示卡	8張雙寬或16張單寬PCIe NVIDIA GPU卡
6	網路通信	乙太網卡，2路10G電口
7		InfiniBand（IB）網卡，2路200G QSFP56口
8	硬碟	系統盤，M.2 SATA SSD，容量1TB	前面板支持24塊2.5或12塊3.5寸 SAS/SATA硬碟 主板支持2塊M.2 SATA SSD
9		資料盤，4TB*4/SATA，總容量16TB
10	電源	單模組2000W，2+2冗餘配置	單模組3KW，總計12KW
9	外形尺寸	寬度480mm，高度180mm，深度830mm
10	工作溫度	5~35℃
11	重量	80kg

 

 

跨工作負載的 性能

針對大型模型提供高達 3 倍的 AI 訓練速度；

相較於 CPU 提供高達 249 倍的 AI 推理性能；

相較於 A100 40GB 提供高達 1.25 倍的 AI 推理性能；

爲 HPC 應用提供高達 1.8 倍的性能；

四年來 HPC 性能提升 11 倍；

相較於 A100 40GB，在大資料分析基準測試中速度提升 2 倍；

 

突破性的創新

NVIDIA AMPERE 架構：無論是使用 MIG 將 A100 GPU 分割爲較小的實例，還是使用 NVLink 連接多個 GPU 來加速 大規模工作負載，A100 均可輕鬆滿足不同規模的加速需求，從小型作業到大型多節點工作負載無一例外。A100 功能全面，這意味着 IT 經理可以全天候地充分利用資料中心內的每個 GPU。

第三代 TENSOR CORE 技術：NVIDIA A100 的深度學習 運算性能可達 312 teraFLOPS （TFLOPS）。其深度學習訓練的 Tensor 每秒浮點運算次數（ FLOPS） 和推理 的 Tensor 每秒萬億次運算次數（ TOPS） 皆爲 NVIDIA Volta？ GPU 的 20 倍。

新一代 NVLINK：A100 中採用的 NVIDIA NVLink 可提供兩倍於上一代的吞吐量。與 NVIDIA NVSwitch？ 結合使用時，此技術可將多達 16 個 A100 GPU 互連，並將速度提升至 600GB/s，從而在單個伺服器上實現出色的應用性能。NVLink 技術可應用在 A100 中：SXM GPU 通過 HGX A100 伺服器主板連接，PCIe GPU 通過 NVLink 橋接器可橋接多達兩塊 GPU。

多實例 GPU（ MIG） 技術：一個 A100 GPU 可劃分爲 7 個 GPU 實例，這些實例在硬體級別完全獨立，並獨自擁有高 帶寬顯存、緩存和計算核心。藉助 MIG， 開發者可爲其所有應用實現驚人加速，IT 管理員也可爲每個作業提供符合其規模的 GPU 加速，進而優化 GPU 利用率，並讓每個用戶和 應用都能使用 GPU 實例。

高帶寬顯存（ HBM2E）：憑藉 80GB 的高帶寬顯存（HBM2e），A100 提供超過 2TB/s 的超快 GPU 顯存帶寬， 並將動態隨機存取記憶體（ DRAM） 的利用效率 提高至 95%。A100 提供的顯存帶寬是上一代 產品的 1.7 倍。

結構化稀疏：AI 網路擁有數百萬至數十億個 參數。實現準確預測並非要使用所有參數，而且我們還可將某些參數轉換爲零，以在無損準確性的前提下使 模型變得“稀疏”。A100 中的 Tensor Core 可爲稀疏模型提供高達 2 倍的性能提升。稀疏功能不僅 容易使 AI 推理受益，同時還能提升 模型的訓練性能。

 

NVIDIA英偉達A100人工智慧伺服器GPU 是 NVIDIA 資料中心平臺的旗艦產品，可用於深度學習、高性能計算 （HPC） 和資料分析。該平臺可爲 2000 餘款應用和各大深度學習框架提供加速。A100 適用於桌面、伺服器以及雲 ，不僅能顯著提升性能，更可以節約成本。