NVIDIA推出RAPIDS開源GPU加速平台,瞄準數據分析和機器學習市場

雷鋒網消息,10月23日,NVIDIA在北京召開溝通會,由亞太區解決方案架構主管趙立威詳解了RAPIDS開源GPU數據加速平台。

該平台發佈於2018年10月10日的GTC Europe大會上,是一款針對數據科學和機器學習的GPU加速平台,為數據科學家提供標準化的流水線式工具,數據處理速度較僅用CPU提升50倍。

溝通會後,雷鋒網與NVIDIA中國高級解決方案架構師何萍,以及NVIDIA亞太區解決方案高級總監趙立威等高管就RAPIDS平台和GPU加速數據科學和機器學習進行了進一步的交流。

據分析師估計,面向數據科學和機器學習的服務器市場每年價值約為200億美元,加上科學分析和深度學習市場,高性能計算市場總價值大約為360億美元,且該市場還在持續快速發展,幾乎每一家企業都在用數據驅動來增強自己的核心競爭力。

「數據分析和機器學習是高性能計算市場中最大的細分市場,不過目前尚未實現加速,」NVIDIA創始人兼首席執行官黃仁勛在發佈RAPIDS時提到,「全球最大的行業均在海量服務器上運行機器學習算法,目的在於了解所在市場和環境中的複雜模式,同時迅速、精準地做出將直接影響其基礎的預測。」

一個最典型的大數據分析流程大致分為數據準備、數據合併、數據降維三個步驟,很多數據特徵需要靠行業或專業領域的專家去理解,並事先把它們提取出來。因此在Machine Learning中需要訓練過程,這是一個不斷的循環過程,在不斷優化、不斷調整參數的過程中,提高訓練過程的精度,從而得到更準確的預測結果。


為了支持這樣一個大數據分析流程,需要用到DASK、PYTHON、PANDAS、SKLEARN、NUMPY、Apache Arrow等組件。RAPIDS構建於Apache Arrow、PANDAS和SKLEARN等組件之上,通過CUDF數據過濾、CUML機器學習、CUGRAPH數據圖像化來加速處理數據,為最流行的Python數據科學工具鏈帶來了GPU提速。

這三套軟件工具都是基於CUDA開發,可以把它們看成是CUDA的一部分。其中CUDF與Pandas的功能非常類似,Pandas的所有功能都可以在CUDF里找到對應的API;CUML則對應SKLEARN,無論是分類、聚類、回歸等算法都可以在CUML裡面找到。而CUGRAPH目前尚未正式推出,預計會在明年正式集成到RAPIDS中。

趙立威向雷鋒網透露,RAPIDS非常易與此前的計算框架整合,雖然不能說是「無代碼」過渡,但代價非常小,且數據處理效率可提升50倍以上。同時為了將更多的機器學習庫和功能引入RAPIDS,NVIDIA廣泛地與開源生態系統貢獻者展開合作,其中包括Anaconda、BlazingDB、Databricks,以及迅速增長的Python數據科學庫pandas等等。

此外,黃仁勛在GTC Europe大會上展示RAPIDS時用的DGX-2,使用了16塊Tesla V100計算卡,每塊卡配有32GB HBM2顯存,帶寬高達900GB/s,兩塊計算卡之間通過300GB/s的NV Switch總線互聯,使整台服務器擁有了un-block無阻滯通訊能力,總算力高達2PFLOPs(半精度浮點),數據處理能力相當於5台DGX-1。

除了DGX-2和DGX-1,NVIDIA還有一系列合作夥伴提供的很多的硬件產品,如一些ODM、OEM廠商基於HGX-1和HGX-2兩種架構標準生產的許多不同類型服務器,甚至包括上一代Pascal架構的GPU的服務器,都可以都可以很好的支撐RAPIDS的運行和使用。

趙立威笑稱,由於此前數據處理的速度太慢,數據科學家往往有大量的空閑等待時間,可以悠閑的喝咖啡。應用RAPIDS平台之後,等待時間變短,需要數據科學家創造性參與的部分相應變多了,數據科學家這一工作可能不再是美差。

當然,數據分析和機器學習領域的持續走熱,看中這片市場的也不只NVIDIA一家。上周賽靈思剛剛推出基於UltraScale+ FPGA打造的數據中心和AI加速卡Alveo U200和U250,號稱實時推斷吞吐量比高端CPU高出20倍。

賽靈思數據中心副總裁Manish Muthal表示,Alveo加速器卡的推出進一步推進了賽靈思向平台公司的轉型,使不斷增長的應用合作夥伴生態系統以比以往更快的速度加速創新,並將與應用生態系統展開合作,共同向客戶推出採用Alveo的各種可產品化的解決方案。

與NVIDIA推出的RAPIDS平台相比,二者通過一硬一軟的形式覆蓋了幾乎相同的範圍,對此趙立威對雷鋒網表示,數據分析和機器學習市場尚未探明其特定邊界,領域內應用場景非常多樣化,無論是基於FPGA還是ASIC進行異構加速都是可行的,完全取決於針對不同的場景所產生的不同需求。


想在手機閱讀更多電腦與科技資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems