英偉達其人工智能計算平臺再次打破了最新一輪MLPerf的性能記錄

2020-10-23 09:07:05 來源： TechWeb.com.cn

英偉達宣布其人工智能計算平臺再次打破了最新一輪MLPerf的性能記錄。這反過來又擴大了該公司在業(yè)界唯一一個衡量硬件、軟件和服務人工智能性

英偉達宣布其人工智能計算平臺再次打破了最新一輪MLPerf的性能記錄。這反過來又擴大了該公司在業(yè)界唯一一個衡量硬件、軟件和服務人工智能性能的獨立基準上的領先地位。

NVIDIA在第二版MLPerf Inference中贏得了針對數(shù)據(jù)中心和邊緣計算系統(tǒng)的所有六個應用領域的所有測試。這些測試的范圍從最初的兩個計算機視覺擴展到了四個，涵蓋了AI增長最快的領域：推薦系統(tǒng)、自然語言理解、語音識別和醫(yī)學成像。

各行各業(yè)的企業(yè)已經(jīng)在利用NVIDIA A100 Tensor Core GPU出色的推理性能，將AI從其研究團隊帶入日常運營中。金融機構(gòu)正在使用對話式AI來更快地回答客戶問題，零售商也在使用AI來保持貨架庫存。另一方面，醫(yī)療保健提供者正在使用AI分析數(shù)百萬幅醫(yī)學圖像，以更準確地識別疾病并幫助挽救生命。

MLPerf的最新結(jié)果來自NVIDIA在AI推理方面的足跡急劇增長。五年前，只有少數(shù)領先的高科技公司使用GPU進行推理。現(xiàn)在，通過每個主要的云端和數(shù)據(jù)中心基礎設施提供商均可使用NVIDIA的AI平臺，代表各行各業(yè)的公司都在使用其AI推理平臺來改善其業(yè)務運營并提供其他服務。

此外，與CPU相比，NVIDIA GPU現(xiàn)在在公共云中首次提供了更多的AI推理能力。NVIDIA GPU的云AI推理計算能力每兩年大約增長10倍。

NVIDIA將AI推論推向新的高度

NVIDIA及其合作伙伴使用NVIDIA的加速平臺提交了MLPerf 0.7結(jié)果，該平臺包括NVIDIA數(shù)據(jù)中心GPU、Edge AI加速器和NVIDIA優(yōu)化軟件。

NVIDIA A100于今年早些時候推出，采用了第三代Tensor內(nèi)核和多實例GPU技術(shù)，在ResNet-50測試中提高了領先優(yōu)勢，在上一輪中以30倍的優(yōu)勢擊敗了CPU，而現(xiàn)在其性能已提高了6倍。此外，根據(jù)MLPerf Inference 0.7基準測試，在針對數(shù)據(jù)中心推理的最新推薦測試中，A100的性能比最新CPU高出237倍。

這意味著單個NVIDIA DGX A100系統(tǒng)可以提供與大約1000個雙插槽CPU服務器相同的性能，從而使客戶在將AI推薦器模型從研究應用于生產(chǎn)時可以實現(xiàn)極高的成本效益。

基準測試還表明，NVIDIA T4 Tensor Core GPU仍然是主流企業(yè)，邊緣服務器和具有成本效益的云實例的可靠推理平臺。在相同的測試中，NVIDIA T4 GPU比CPU高出28倍。此外，NVIDIA Jetson AGX Xavier是基于SoC的邊緣設備中的性能領導者。

要獲得這些結(jié)果，需要高度優(yōu)化的軟件堆棧，包括NVIDIA TensorRT推理優(yōu)化器和NVIDIA Triton推理服務軟件，這兩種軟件都可以在NVIDIA的軟件目錄NGC上找到。

除了NVIDIA自己提交的文件外，還有11個NVIDIA合作伙伴使用NVIDIA GPU提交了總共1,029個結(jié)果，占數(shù)據(jù)中心和邊緣類別提交的文件總數(shù)的85%以上。