NVIDIA 為深度學習訓練挹注雙倍效能 全新版本 DIGITS、 cuDNN 將神經網路訓練速度加快兩倍

NVIDIA (輝達) 今日為其繪圖處理器 (GPU) 加速深度學習軟體宣布多項更新，並將深度學習訓練效能翻倍。

全新軟體可藉由更快的學習模式訓練和更精密的模型設計建立更準確的神經網路，為資料科學家和研究人員大幅加速其深度學習計畫和產品開發工作。

第二版的NVIDIA® DIGITS™深度學習 GPU訓練系統 (DIGITS 2) 和第三版的NVIDIA CUDA® 深度神經網路函式庫 (cuDNN 3) 可大幅提升效能和眾多全新功能。

DIGITS 2 現在可為資料科學家帶來更多優勢，它可讓神經網路訓練透過多顆高效能 GPU 自動擴充效能；相較於單一 GPU 的作法，DIGITS 2 可透過多顆 GPU 將深度神經網路對影像分類的訓練速度加快一倍。

對深度學習的研究人員而言，cuDNN 3 可針對更大型和更精密的神經網路訓練，提供 GPU 記憶體最佳化資料儲存功能。同時，cuDNN 3 也可以比 cuDNN 2 提供更高的效能，相較於使用單一GPU的方式，可讓研究人員以兩倍的速度來訓練各種神經網路。

廣泛用於訓練深度神經網路的軟體有 Caffe 、 Minerva 、 Theano 和 Torch，而全新的 cuDNN 3 函式庫也預期將整合到這些即將推出的深度學習架構最新版本中。

NVIDIA (輝達) 加速運算部門副總裁 Ian Buck 表示：「高效能 GPU 已成為各大學和網路服務大廠在研究深度學習和產品開發的基礎技術。我們與資料科學家、架構開發人員和整個深度學習社群緊密合作，協助他們運用各種效能最強悍的 GPU 技術，不斷超越種種極限。」

DIGITS 2運用自動多重 GPU 擴充功能將訓練速度翻倍
DIGITS 2是首款全功能 (all-in-one) 的圖像系統，可藉由引導使用者設計、訓練和驗證各種神經網路進行圖像分類。

DIGITS 2 提供全新的自動多重 GPU 擴充功能，可將深度學習訓練的工作負載自動分派到系統中所有的 GPU 進行運算，將可運用的 GPU 運算資源發揮其最大效能。相較於單一 GPU 運算作業1，NVIDIA (輝達) 的工程師運用 DIGITS 2 來訓練知名的 AlexNet 神經網路模型，其速度可比使用四顆 NVIDIA Maxwell™ 架構 GPU的運算效能快兩倍。而早期採用 DIGITS 2 進行類似應用運算客戶所獲得的初步結果甚至顯示更好的運算效能。

負責 Yahoo Flickr 的人工智慧架構設計工程師 Simon Osindero 表示：「使用一顆NVIDIA GeForce GTX TITAN X 來訓練我們其中一個負責自動標籤功能的深度學習網路，需要16天的時間。然而使用四顆 TITAN X GPU 來執行自動多重GPU擴充功能，訓練的時間則只需要五天。這對我們而言是一個極大的優勢，讓我們可以更快看到結果，也讓我們可以更全面地探索更多模型可以發揮之處，以達到更高的準確度。」

cuDNN 3 用更短的時間訓練更大、更複雜的模型
cuDNN 是一個針對深度神經網路的 GPU 加速數學常式函式庫，研究人員會將其整合至更高階的機器學習架構中。

cuDNN 3增加對 GPU 記憶體 16 位元浮點運算資料儲存的支援，將可儲存資料量增加一倍，同時最佳化記憶體頻寬。研究人員可運用這項 cuDNN 3 新功能來訓練更大型和更複雜的神經網路。

百度研究中心資深研究員 Bryan Catanzaro 表示：「我們相信 NVIDIA 的函式庫提供 16 位元浮點運算 GPU 儲存支援可讓我們進一步擴大模型，它可以增加我們硬體的有效記憶體容量，而且當我們將單一模型的訓練擴充到多重 GPU 來執行時，也可大幅提升效率。這樣也會進一步提升模型的準確度。」

相較於 cuDNN 2，cuDNN3 同樣可在使用單一 GPU 訓練神經網路時大幅提升效能速度。這項優點讓 NVIDIA (輝達) 工程師使用一顆 NVIDIA GeForce® GTX™ TITAN X GPU 訓練 AlexNet 模型的速度加快兩倍2。

供應時程
DIGITS 2 預覽版本現已開放給 NVIDIA 註冊開發人員免費下載。欲瞭解更多資訊或下載，請瀏覽 DIGITS 網站。

cuDNN 3 函式庫預計將陸續於各大深度學習架構最新版本中提供。欲瞭解更多資訊，請瀏覽 cuDNN 網站。