據(jù)國外媒體報道，英偉達用于開發(fā)和運行可理解和響應請求的對話式AI的GPU強化平臺，已經(jīng)達成了一些重要的里程碑，并打破了一些記錄。這對任
據(jù)國外媒體報道，英偉達用于開發(fā)和運行可理解和響應請求的對話式AI的GPU強化平臺，已經(jīng)達成了一些重要的里程碑，并打破了一些記錄。
這對任何基于其技術進行開發(fā)的人來說意義重大——當中包括大大小小的公司，因為英偉達將很多用于實現(xiàn)這些進步的代碼開源。那些代碼用PyTorch編寫，易于運行。
英偉達今天宣布的最大成果包括：BERT訓練用時打破記錄，進入1小時關口。BERT是世界上最先進的人工智能語言模型之一，也被廣泛認為是自然語言處理(NLP)標桿的先進模型。英偉達的AI平臺僅僅需要53分鐘就能夠完成模型訓練，經(jīng)過訓練的模型在短短2毫秒多一點的時間里(10毫秒在業(yè)內(nèi)被認為是高水平線)就能夠成功地做出推理(即利用通過訓練學習到的能力得出結果)——又一個記錄。
英偉達的這些突破不僅僅是吹噓的資本——這些進步可為任何使用NLP對話式人工智能和GPU硬件的人提供切實的好處。英偉達在它的其中一個SuperPOD系統(tǒng)上打破了訓練時間記錄，該SuperPOD系統(tǒng)由運行1472個V100 GPU的92個英偉達 DGX-2H系統(tǒng)組成;在運行英偉達 TensorRT的英偉達 T4 GPU上完成推理過程。英偉達 TensorRT在性能上超出高度優(yōu)化的CPU許多個量級。不過，該公司將公開BERT訓練代碼和經(jīng)過TensorRT優(yōu)化的BERT樣本，讓所有人都可以通過GitHub利用。
除了這些里程碑以外，英偉達的研究部門還建立并訓練了有史以來最大的一個基于“Transformer”的語言模型。這也是BERT的技術基礎。該定制模型包含的參數(shù)多達83億個，規(guī)模是當前最大的核心BERT模型BERT-Large的24倍。英偉達將這個模型命名為“Megatron”，它也對外提供了用于訓練這個模型的PyTorch代碼，因而其他人能夠自行訓練出類似的基于“Transformer”的大型語言模型。（樂邦）
