樓主
新年之初
向各位讀者報告一則喜訊!
剛剛過去的12月
戴爾易安信PowerEdge XE8545
在“2021中國互聯網經濟論壇”上
喜提“2021年度卓越人工智能產品”獎
祝賀XE8545!
恭喜戴爾易安信AI服務器再創佳績!
2021 中國互聯網經濟論壇由互聯網周刊、中國社會科學院信息化研究中心、eNet研究院、德本咨詢聯合主辦,自2002年起已成功舉辦十九屆,是業內極具分量的 互聯網行業盛會。論壇核心板塊的“金i獎”極具權威性和專業度,覆蓋了AI、大數據、5G等各行業領域,歷來被業內視為代表互聯網精神和產業發展創新的風 向標。
辭舊迎新之際,宜總結過去展望未來,當下AI大潮席卷全球,作為底層邏輯的AI服務器又將走向何方?或許我們能從基準( Benchmark )測試里讀出一些趨勢。
基 準( Benchmark ) 測試是目前最主要的信息系統性能測試技術,它按照統一的測試規范(test specification)對被測對象進行測試,測試結果具有可比性和可再現性。在計算機領域,Benchmark測試應用最廣泛和最成功的是性能測 試,主要關注響應時間、傳輸速率和吞吐量等。
對生產廠商而言,Benchmark測試可以為產品進行市場宣傳,發現系統瓶頸;對用戶的作用則在于指導產品選擇。一個優秀的Benchmark測試可以為某一領域的技術發展起到積極導向作用,引導廠商采用新技術以改進產品。
筆者記得20年前最火的Benchmark測試無疑是TPC-C ,當年還是小型機(簡稱小機)時代,PS小機是中國特色的叫法,國外稱其為UNIX服務器。隨著x86和云原生應用的興起,TPC瞬間就不香了。
自2006年AlphaGo打敗李世石后,業界急需公認的AI時代基準測試程序,萬眾期待之下,MLPerf AI性能基準測試于2018年由MLCommons發布。
MLCommons成員包括谷歌、微軟、英特爾、NVIDIA、Facebook、阿里巴巴等多家在人工智能領域頗有建樹的領導企業。自推出后,MLPerf AI性能基準測試以其全面性、科學性、廣泛參與度,業已成為全球最受關注的AI性能基準測試,并為很多用戶AI計算方案設計及選型提供重要參考依據,(關于MLPerf AI性能基準測試詳細信息,歡迎移步這里查看)。
(一)
AI/DL落地傳統企業,
4GPU服務器是最佳平衡
在去年12月初發布的MLPerf Training v1.1基準測試中,戴爾易安信共提交了51項測試結果,包括全部八個項目的性能數據,取得多項世界紀錄。
戴爾易安信參評了兩款4GPU機型服務器——PowerEdge XE8545和R750xa,分別取得如下幾項的世界第一:
(1)XE8545獲得四卡GPU加速服務器的四項最佳:
目標檢測Mask R-CNN(83.77分鐘)
語音識別RNN-T(79.56分鐘)
自然語言處理BERT(38.85分鐘)
強化學習Mini Go(451.29分鐘)
(2)R750xa獲得四卡GPU加速服務器的語音識別RNN-T最佳(84.02分鐘);
戴爾易安信的測試數據、配置及Log,均可以在GitHub上找到：sourl.cn/3FXXed
和友商專注于8顆GPU的單機測試不同,戴爾易安信更關注4顆GPU的單機和集群測試。
根據IDC連續三年的統計,4個雙寬GPU的機型在2021年成為市場主流。主要在于隨著單GPU性能的提升(如A100 vs V100),現如今4*GPU機器的性能已經超越上代8*GPU的機型。
另一個主要原因是AI/DL(Deep Learning)的早期采用者,互聯網行業的GPU服務器占比正逐年下降,而金融/制造/政府/電信等行業占比則逐漸上升,AI/DL正逐漸落地傳統行業。
相比互聯網,傳統行業很少需要高密度GPU服務器,因而4GPU服務器是當前條件下的最佳平衡。
(二)
多機多卡GPU分布式訓練
成為必然選擇
MLPerf Training v1.1基準測試中,除了GPU服務器單機測試外,戴爾易安信是唯一的服務器廠家提供基于GPU多機分布式訓練測試結果的廠商。
萬億級參數規模的AI模型訓練、超大規模NLP/推薦系統特征向量、更大規模數據集更短訓練時間——AI時代洶涌而來的超級算力需求,僅靠單臺GPU服務器已經無法滿足,多機多卡GPU分布式訓練成為必然選擇。
我們可以類比一下從當年128路SMP小機到現在主流兩路x86集群的進化歷程,戴爾易安信認為GPU服務器的進化也是類似:單機16/20個GPU的服務器已經讓位于4/8個GPU服務器的集群。
2021年,戴爾易安信在國內發布了《戴爾科技AI GPU分布式訓練技術白皮書》,將戴爾易安信在構建AI GPU加速集群、進行AI GPU分布式訓練全局優化的參考架構和最佳實踐分享給更多的用戶和朋友(本公眾號后臺回復關鍵字“白皮書”即可獲取)。
特 別值得一提的是參與MLPerf Training v1.1基準測試的PowerEdge XE8545,它在4U機架式空間內可以支持風冷散熱的4張NVIDIA A100 80GB/500W GPU加速卡,通過最新的NVLink技術實現全互聯(full mesh)。
XE8545服務器設計簡單直接,CPU(AMD第三代EPYC米蘭)與GPU、GPU與GPU、CPU與網卡及NVME SSD存儲,采用PCI-E 4.0或者NVLink實現直連,可最大程度降低通信及IO延遲,同時大大簡化程序員工作。
戴爾易安信 PowerEdge XE8545
由于卓越的性能和市場表現,PowerEdge XE8545喜提“金i獎”榮譽,它歷經層層篩選脫穎而出,表明其不凡實力已獲得行業高度認可。
再過幾年,戴爾服務器也將迎來30周年,作為“在中國,為中國”的“外資本土”企業,戴爾易安信一定不負用戶和媒體的支持和厚愛,持續研發各行業都適用的IT基礎設施,推動AI項目在中國傳統行業真正落地。
向各位讀者報告一則喜訊!
剛剛過去的12月
戴爾易安信PowerEdge XE8545
在“2021中國互聯網經濟論壇”上
喜提“2021年度卓越人工智能產品”獎
祝賀XE8545!
恭喜戴爾易安信AI服務器再創佳績!
2021 中國互聯網經濟論壇由互聯網周刊、中國社會科學院信息化研究中心、eNet研究院、德本咨詢聯合主辦,自2002年起已成功舉辦十九屆,是業內極具分量的 互聯網行業盛會。論壇核心板塊的“金i獎”極具權威性和專業度,覆蓋了AI、大數據、5G等各行業領域,歷來被業內視為代表互聯網精神和產業發展創新的風 向標。
辭舊迎新之際,宜總結過去展望未來,當下AI大潮席卷全球,作為底層邏輯的AI服務器又將走向何方?或許我們能從基準( Benchmark )測試里讀出一些趨勢。
基 準( Benchmark ) 測試是目前最主要的信息系統性能測試技術,它按照統一的測試規范(test specification)對被測對象進行測試,測試結果具有可比性和可再現性。在計算機領域,Benchmark測試應用最廣泛和最成功的是性能測 試,主要關注響應時間、傳輸速率和吞吐量等。
對生產廠商而言,Benchmark測試可以為產品進行市場宣傳,發現系統瓶頸;對用戶的作用則在于指導產品選擇。一個優秀的Benchmark測試可以為某一領域的技術發展起到積極導向作用,引導廠商采用新技術以改進產品。
筆者記得20年前最火的Benchmark測試無疑是TPC-C ,當年還是小型機(簡稱小機)時代,PS小機是中國特色的叫法,國外稱其為UNIX服務器。隨著x86和云原生應用的興起,TPC瞬間就不香了。
自2006年AlphaGo打敗李世石后,業界急需公認的AI時代基準測試程序,萬眾期待之下,MLPerf AI性能基準測試于2018年由MLCommons發布。
MLCommons成員包括谷歌、微軟、英特爾、NVIDIA、Facebook、阿里巴巴等多家在人工智能領域頗有建樹的領導企業。自推出后,MLPerf AI性能基準測試以其全面性、科學性、廣泛參與度,業已成為全球最受關注的AI性能基準測試,并為很多用戶AI計算方案設計及選型提供重要參考依據,(關于MLPerf AI性能基準測試詳細信息,歡迎移步這里查看)。
(一)
AI/DL落地傳統企業,
4GPU服務器是最佳平衡
在去年12月初發布的MLPerf Training v1.1基準測試中,戴爾易安信共提交了51項測試結果,包括全部八個項目的性能數據,取得多項世界紀錄。
戴爾易安信參評了兩款4GPU機型服務器——PowerEdge XE8545和R750xa,分別取得如下幾項的世界第一:
(1)XE8545獲得四卡GPU加速服務器的四項最佳:
目標檢測Mask R-CNN(83.77分鐘)
語音識別RNN-T(79.56分鐘)
自然語言處理BERT(38.85分鐘)
強化學習Mini Go(451.29分鐘)
(2)R750xa獲得四卡GPU加速服務器的語音識別RNN-T最佳(84.02分鐘);
戴爾易安信的測試數據、配置及Log,均可以在GitHub上找到：sourl.cn/3FXXed
和友商專注于8顆GPU的單機測試不同,戴爾易安信更關注4顆GPU的單機和集群測試。
根據IDC連續三年的統計,4個雙寬GPU的機型在2021年成為市場主流。主要在于隨著單GPU性能的提升(如A100 vs V100),現如今4*GPU機器的性能已經超越上代8*GPU的機型。
另一個主要原因是AI/DL(Deep Learning)的早期采用者,互聯網行業的GPU服務器占比正逐年下降,而金融/制造/政府/電信等行業占比則逐漸上升,AI/DL正逐漸落地傳統行業。
相比互聯網,傳統行業很少需要高密度GPU服務器,因而4GPU服務器是當前條件下的最佳平衡。
(二)
多機多卡GPU分布式訓練
成為必然選擇
MLPerf Training v1.1基準測試中,除了GPU服務器單機測試外,戴爾易安信是唯一的服務器廠家提供基于GPU多機分布式訓練測試結果的廠商。
萬億級參數規模的AI模型訓練、超大規模NLP/推薦系統特征向量、更大規模數據集更短訓練時間——AI時代洶涌而來的超級算力需求,僅靠單臺GPU服務器已經無法滿足,多機多卡GPU分布式訓練成為必然選擇。
我們可以類比一下從當年128路SMP小機到現在主流兩路x86集群的進化歷程,戴爾易安信認為GPU服務器的進化也是類似:單機16/20個GPU的服務器已經讓位于4/8個GPU服務器的集群。
2021年,戴爾易安信在國內發布了《戴爾科技AI GPU分布式訓練技術白皮書》,將戴爾易安信在構建AI GPU加速集群、進行AI GPU分布式訓練全局優化的參考架構和最佳實踐分享給更多的用戶和朋友(本公眾號后臺回復關鍵字“白皮書”即可獲取)。
特 別值得一提的是參與MLPerf Training v1.1基準測試的PowerEdge XE8545,它在4U機架式空間內可以支持風冷散熱的4張NVIDIA A100 80GB/500W GPU加速卡,通過最新的NVLink技術實現全互聯(full mesh)。
XE8545服務器設計簡單直接,CPU(AMD第三代EPYC米蘭)與GPU、GPU與GPU、CPU與網卡及NVME SSD存儲,采用PCI-E 4.0或者NVLink實現直連,可最大程度降低通信及IO延遲,同時大大簡化程序員工作。
戴爾易安信 PowerEdge XE8545
由于卓越的性能和市場表現,PowerEdge XE8545喜提“金i獎”榮譽,它歷經層層篩選脫穎而出,表明其不凡實力已獲得行業高度認可。
再過幾年,戴爾服務器也將迎來30周年,作為“在中國,為中國”的“外資本土”企業,戴爾易安信一定不負用戶和媒體的支持和厚愛,持續研發各行業都適用的IT基礎設施,推動AI項目在中國傳統行業真正落地。
