眾所周知，深度學習的神經(jīng)網(wǎng)絡(luò)層數(shù)更深，每個神經(jīng)元之間互相連接，形成了一個非常復雜的結(jié)構(gòu)。而每個神經(jīng)元中又都需要Sigmoid函數(shù)這類復雜的數(shù)學計算，加上圖像識別、語音識別這類工作本身數(shù)據(jù)訓練集就很大，最后就集結(jié)成了一種非常可怕的計算量。

這幾年深度學習的發(fā)展，離不開計算能力的發(fā)展。英偉達之所以能靠賣GPU超過同行，最大的原因就是深度學習對計算能力的依賴。

那么，超級計算機能不能應(yīng)用在深度學習上呢？答案是肯定的。

在今年年初的德?lián)淙藱C大賽中，打贏了人類牌手的Libratus就是一個在超級計算機上訓練的AI。Libratus甚至沒有搭建神經(jīng)網(wǎng)絡(luò)，光學習了游戲規(guī)則，利用強化學習自我博弈就超越了人類水平。

在國內(nèi)，百度旗下的深度學習開源平臺PaddlePaddle也支持超算應(yīng)用，甚至還入選了今年的ASC超算大賽總決賽。計算性能的超越讓一些以往不可能的事情成為可能，比如上面那個德?lián)涞陌咐粦?yīng)用神經(jīng)網(wǎng)絡(luò)、單純靠強化學習的自我博弈在沒有超算的情況下可能要花費無法想象的時間，而有了超算后，這件事情就成為了可能。

同理，一些大量數(shù)據(jù)、長時間的深度學習/深度強化學習模型訓練都可以在超計算機上完成。不過，這個領(lǐng)域中的超級計算機的競爭對手也不少。

首先就是芯片廠商們，英偉達、IBM、高通等等廠商都在爭先恐后的研發(fā)著適用于深度學習的芯片。早在3年前，IBM推出的TrueNorth就已經(jīng)集成了54億個硅晶體管，計算能力已經(jīng)接近當年的超級計算機，功耗卻只有65毫瓦。英偉達也曾推出過集成8個GPU的“超算系統(tǒng)”，計算能力也可以滿足大部分人的需求。

其次就是云服務(wù)供應(yīng)商，也就是上述芯片廠商的客戶們。他們不光花重金搭建起來能力超群的分布式計算系統(tǒng)，還貼心的和TensorFlow、caffe等等深度學習框架合作，讓算法可以無縫部署在系統(tǒng)上。阿里云在今年推出的異構(gòu)計算產(chǎn)品最高可提供每秒75萬億次的算力，雖然比起超級計算機還差的遠，但性價比卻不低。

最后，還有一大批以研究算法為主的技術(shù)供應(yīng)商。他們雖然不能提供算力，卻可以通過種種方式壓縮算法模型，讓算法模型在更低算力的硬件中也能運行。比如西雅圖的一個創(chuàng)業(yè)團隊，就在一直嘗試用二值化神經(jīng)網(wǎng)絡(luò)調(diào)整模型精度，試圖在能耗和成果中找到一個平衡。

加上在深度學習上，高成本、軟件環(huán)境復雜、數(shù)據(jù)隱私擔憂等等問題仍然有待解決。綜合看來超級計算機仍然不是最好的解決方案。

讓人哭笑不得的是，很多人認為深度學習帶來的高強度計算要求會推進超級計算機的商業(yè)化、民用應(yīng)用，結(jié)果反而是帶動了其他算力供應(yīng)商的發(fā)展，給超級計算機造就了更多的競爭對手。

即使我們暫時還不能在生活場景中享受到超算帶來的益處，但超算在天文、物理、軍工上帶來的貢獻仍然是巨大的，如果沒有超算，在研發(fā)火箭、衛(wèi)星時幾乎無法進行模擬計算。而超算帶來的快速、高精度的模擬，為這些高精尖技術(shù)的研發(fā)節(jié)約了無法估計金錢和時間成本。或許，等我們能在火星上觀光的那天，就會切實體會到超算帶來的福利吧。