2019云棲大會(huì)已經(jīng)揭開(kāi)了帷幕，就在9月25日，阿里巴巴集團(tuán)首席技術(shù)官兼阿里云智能總裁、達(dá)摩院院長(zhǎng)張建鋒發(fā)表了題為《構(gòu)建數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施》的演講。在演講中，張建鋒重磅推出AI推理芯片含光800，引發(fā)了眾多關(guān)于它的討論。

近年來(lái)科技熱潮一波接著一波。從物聯(lián)網(wǎng)到可穿戴電子、從人工智能到5G，它們推進(jìn)了國(guó)家的科技發(fā)展路徑，與其同時(shí)也催生出了一大批創(chuàng)新公司：比如專精于安防的曠視科技、專精于視頻的極鏈科技等等。其中的人工智能（AI）便曾在1950年代、1980年代先后熱議過(guò)，并因多項(xiàng)技術(shù)限制與過(guò)度期許而回復(fù)平淡。而到了2016年，它又隨著云端資料的增長(zhǎng)和影音辨識(shí)的需求，再次進(jìn)入了公眾的視野。

分析AI推理芯片，自然要從人工智能說(shuō)起。人工智能的運(yùn)用一般分為兩個(gè)階段，即開(kāi)發(fā)與執(zhí)行，這也與其他大部分應(yīng)用程序相類似。在實(shí)際投入運(yùn)行前，人工智能需要進(jìn)行學(xué)習(xí)與訓(xùn)練，借助大量繁復(fù)的運(yùn)算來(lái)使模型獲得更佳的參數(shù)調(diào)整數(shù)據(jù)，對(duì)運(yùn)算的精準(zhǔn)度、細(xì)膩度要求都相對(duì)較高；而在執(zhí)行階段，由于模型已經(jīng)訓(xùn)練完成，所以不再需要龐大的運(yùn)算量，再加上效率的考量，往往會(huì)采用較低的運(yùn)算精度。也就是說(shuō)，在這兩個(gè)階段，所需要的芯片能力其實(shí)是有所差異的。

目前人類要實(shí)現(xiàn)人工智能，只能靠芯片，別無(wú)選擇。但是現(xiàn)有的CPU、GPU、FPGA等芯片的基本架構(gòu)早在這次人工智能突破之前就已經(jīng)存在了，并非為人工智能而專門設(shè)計(jì)，因此它們并不能完美地承擔(dān)實(shí)現(xiàn)人工智能的任務(wù)。人工智能專家MichaelI.Jordan也認(rèn)為，我們今天所做的還不能算是真正的AI，而只是利用技術(shù)來(lái)增強(qiáng)一部分的智能而已，也就是所謂的IA（IntelligenceAugmentation：增強(qiáng)智能）。

所以近年來(lái)，人們已經(jīng)開(kāi)始普遍使用CPU之外的芯片來(lái)加速，例如GPGPU、FPGA、ASIC等，特別是GPGPU為多，原因在于GPGPU的高階軟體生態(tài)較為完備、可支援多種人工智能框架。相對(duì)的，F(xiàn)PGA需要熟悉低階硬體電路者方能開(kāi)發(fā)，而ASIC通常只針對(duì)限定的軟體或框架最佳化。雖然FPGA與ASIC較有難度與限制，但仍有科技大廠愿意投入，如Microsoft即主張用FPGA執(zhí)行人工智能運(yùn)算，Google則針對(duì)TensorFlow人工智能框架開(kāi)發(fā)ASIC，即CloudTPU芯片。

阿里此次推出的含光800，在業(yè)界標(biāo)準(zhǔn)的ResNet-50測(cè)試中推理性能達(dá)到78563IPS，比目前業(yè)界最好的AI芯片性能高4倍；能效比500IPS/W，是第二名的3.3倍。在杭州城市大腦的業(yè)務(wù)測(cè)試中，一顆含光800的算力相當(dāng)于十顆GPU。這固然令人驚喜，但更重要的是，平頭哥團(tuán)隊(duì)在過(guò)去一年中不斷探索芯片與場(chǎng)景的融合，如對(duì)算力需求較大的圖像視頻分析、搜索、推薦等業(yè)務(wù)場(chǎng)景。圍繞這一目標(biāo)，平頭哥針對(duì)場(chǎng)景深度定制了芯片的軟硬件，例如自研了架構(gòu)、軟件編譯器、框架、工具鏈等，如先后發(fā)布的玄鐵910、無(wú)劍SoC平臺(tái)，后期也針對(duì)INT數(shù)據(jù)類型做了大量?jī)?yōu)化。這說(shuō)明中國(guó)的AI推理芯片不再滿足于IA，而是試圖往真正的AI靠攏。

在推理芯片市場(chǎng)之外，人工智能的訓(xùn)練芯片市場(chǎng)也值得觀察。由于人工智能應(yīng)用的開(kāi)發(fā)、訓(xùn)練、參數(shù)調(diào)整等工作并非時(shí)時(shí)在進(jìn)行，通常在歷經(jīng)一段時(shí)間的密集開(kāi)發(fā)訓(xùn)練后回歸平淡，直到下一次修改調(diào)整才再次進(jìn)入密集運(yùn)算。因此，企業(yè)若為了人工智能應(yīng)用的開(kāi)發(fā)訓(xùn)練購(gòu)置大量的伺服器等運(yùn)算力，每次訓(xùn)練完成后，大量的伺服器將閑置無(wú)用，直到下一次參數(shù)調(diào)整、密集訓(xùn)練時(shí)才能再次顯現(xiàn)價(jià)值。鑒于此，許多企業(yè)傾向?qū)⒚芗?xùn)練的運(yùn)算工作交付給云端服務(wù)供應(yīng)商，依據(jù)使用的運(yùn)算量、運(yùn)算時(shí)間付費(fèi)，而不是自行購(gòu)置與維護(hù)龐大運(yùn)算系統(tǒng)。這也應(yīng)該是阿里只售賣基于含光800的阿里云服務(wù)，而非芯片本身的原因之一。

目前推理芯片市場(chǎng)的主流想法依然是在規(guī)格上做文章，而清華大學(xué)微電子研究所所長(zhǎng)魏少軍教授則認(rèn)為這是完全錯(cuò)誤的思路，“差異化并不是靠規(guī)格設(shè)計(jì)出來(lái)的，這樣設(shè)計(jì)出來(lái)的差異化只存在于產(chǎn)品產(chǎn)出的那一段時(shí)間，之后就無(wú)法更改。別人追上來(lái)，差異化越來(lái)越小，你的產(chǎn)品便出局。”

所以說(shuō)，如何讓推理芯片真正的具有智慧，才是我們當(dāng)前需要思考的。如果只是單純的推進(jìn)芯片的速度，收效只會(huì)越來(lái)越小。含光800已經(jīng)踏出了創(chuàng)新的第一步，可剩下的過(guò)程，依舊漫長(zhǎng)。