從雲端加速技術看台灣高階人才培育問題(十二):GPU與深度學習

洪士灝
台大資訊工程系暨網路及多媒體研究所教授;主要研究領域為計算機架構與平行處理、計算機效能評估與最佳化、電子商務系統及雲端運算、嵌入式系統設計、以及網路資訊安全。

編按:本文是洪士灝教授一系列談論高階科技人才培育問題專文的第十二篇,前面幾篇請在此點閱:第一篇第二篇第三篇第四篇第五篇第六篇第七篇第八篇第九篇第十篇第十一篇

上一篇以及前幾篇談得比較多的是FPGA,因為我覺得這個是台灣產學仍可以嘗試把握的機會,而且知道的人不多,所以特別講。至於GPU,包括我們在內,目前有很多人都在研究,多年以來NVIDIA和AMD也大力推廣,而且在最近深度學習(Deep Learning)的推波助瀾下,非常多人已經開始用GPU來加速深度學習。

NVIDIA每年在矽谷舉辦GPU Technology Conference(GTC)會議,推廣General-Purpose GPU(GPGPU),重點擺在軟體的開發。每年都有來自全球產學界的研發團隊,在這個會議中展示以GPGPU加速應用的技術,非常熱鬧。我時常跟學生和業界人士說,不要只看你們耳熟能詳的那些應用,世界上還有很多高價值的應用,不妨參考GTC的展出項目,如下圖

GTC探討的應用領域 (截自GTC 網頁)。

針對最火熱的深度學習和人工智慧市場,NVIDIA於2016的GTC會議中,發表了專門為深度學習打造的DGX-1;基本上是把八張最新Pascal架構的GPU晶片,整合進一台小小3U高(13cm)的伺服器,要價US$129,000(約415萬台幣)。

NVIDIA黃仁勳執行長在 GTC2016公開DGX-1。

當時筆者被NVIDIA邀請坐在貴賓席,遇見幾位來自廣達(Quanta)的朋友;他們很驕傲地說,這台DGX-1是我們做的。後來我去展示間參觀,看到廣達的攤位上擺著一台3U伺服器T21W-3U,如下圖。這台伺服器號稱很會跑深度學習(Execute Deep Learning Algorithms Like Never Before),廣達還親切地將外殼打開來給大家看,不像NVIDIA DGX-1那麼神神秘秘的。

廣達的GPU伺服器。

問題是,NVIDIA DGX-1敢要價415萬台幣,廣達的T21W-3U要價多少?當然,這兩台伺服器雖然在硬體上有差別,但主要的差別,還是在於系統軟體和技術服務。DGX-1宣稱搭載NVIDIA自家最佳化過的深度學習軟體,廣達是否有軟體技術授權?能否針對深度學習引擎做技術服務?

要全面發揮硬體的計算效能,還需要最佳化的軟體。

很多人自己在伺服器上加裝GPU卡來做深度學習。有些伺服器規格夠高,可搭載8張GPU卡;一台幾十萬的伺服器,加上八張最新的GTX1080顯卡(每張兩萬元),拼湊起來一台頂多一百萬。不要懷疑,這就是買國產車來改裝、買原廠跑車(例如Mercedes Benz)和買原廠改裝好的車(例如AMG)之間的差別。

而這就是我所說的,系統軟硬體整合最佳化的價值之一例。比起國內其他多家業者,廣達的QCT部門算是走得快一點的,不過我曾當面對QCT的楊總經理說,你們還可以走得更快一點。

想自行最佳化GPU的軟硬體,雖然問題多多,但並非不可能;而且就連NVIDIA也還有很多懸而未決的問題,這都是商機。至於問題在哪裡?該如何解決?容筆者先賣個關子,之後再談。

(未完、待續)


喜歡我們的文章嗎?按讚立即加入粉絲團 :)

IDEAS Night

rocketlab_banner 網路的便利讓許多旅遊行程與價格更加透明,在去中間化的潮流下,比價訂房、行程販售,要如何從一片紅海中找到利基、並且做到今日的規模?這次 IDEAS Night 邀請兩位專家,分享重要的轉折與市場資訊。 立即搶位

直接報名



推薦您也參考

獎勵作者

歡迎您以點數獎勵作者:

關於點數的獲得與使用方式,請參閱說明