在這場(chǎng)大浪潮中，越來(lái)越多企業(yè)在尋求可以將AI集成到自有業(yè)務(wù)與產(chǎn)品中的渠道，無(wú)數(shù)開(kāi)發(fā)者渴望搶先在AI舞臺(tái)上釋放創(chuàng)造力，然而面對(duì)深度學(xué)習(xí)為代表的巨型數(shù)據(jù)集，如果自建數(shù)據(jù)中心或個(gè)人電腦帶不動(dòng)AI這匹“算力怪獸”，該怎么辦？

作為基礎(chǔ)設(shè)施一般存在的云服務(wù)商，此時(shí)就被賦予了一個(gè)新的角色——AI訓(xùn)練師。

花式AIaaS，離不開(kāi)“訓(xùn)練”二字

云計(jì)算的普及，讓各種AI能力以“即服務(wù)”的形式出現(xiàn)在了各行各業(yè)之中。去年，RightScale的云研究報(bào)告指出，企業(yè)格外關(guān)注于AI技術(shù)體系中的機(jī)器學(xué)習(xí)。當(dāng)被問(wèn)詢未來(lái)計(jì)劃使用哪種類型的公有云服務(wù)時(shí)，絕大多數(shù)的受訪者選擇了機(jī)器學(xué)習(xí)，12%的受訪者表示他們正在使用這一服務(wù)，46%的受訪者則表示他們正在測(cè)試或計(jì)劃部署機(jī)器學(xué)習(xí)服務(wù)。

目前看來(lái)，AI主要是以三種形式被“即服務(wù)”到產(chǎn)業(yè)當(dāng)中：一種是Chatbot，比如蘋果Siri、微軟Cortana或亞馬遜Alexa這樣的智能語(yǔ)音助理，被業(yè)務(wù)集成后可以直接打通AI體驗(yàn)，解放人力;第二種是API。云服務(wù)商開(kāi)發(fā)出的AI模型，如NLP、圖片分類、視頻識(shí)別等等，以應(yīng)用程序編程接口（API）的形式集成到自身的平臺(tái)上去，避免從零開(kāi)發(fā)。目前廣泛應(yīng)用的人臉識(shí)別、語(yǔ)音翻譯等都是以各種形式被普及的。第三種則是機(jī)器學(xué)習(xí)框架。開(kāi)發(fā)人員利用云訪問(wèn)機(jī)器學(xué)習(xí)框架構(gòu)建出模型，再基于自身現(xiàn)有的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，這種方式比起自建型算法模型更加便捷，節(jié)省時(shí)間。

顯然，這些讓AI全面開(kāi)花的主流方式，依然依賴于一個(gè)環(huán)節(jié)，那就是訓(xùn)練。

我們知道，雖然目前絕大多數(shù)云服務(wù)商都提供多種AI模型來(lái)幫助各行各業(yè)實(shí)現(xiàn)智能化。但云服務(wù)商無(wú)法深入到產(chǎn)業(yè)肌理的每一個(gè)細(xì)微紋路，想要讓AI落地時(shí)精準(zhǔn)地匹配現(xiàn)實(shí)需求，高度定制化的數(shù)據(jù)訓(xùn)練就十分必要了。

即使云服務(wù)商有類似的平臺(tái)模型可供企業(yè)客戶調(diào)用，一個(gè)良好的模型依然需要具備可擴(kuò)展、可訓(xùn)練性，也就是能夠根據(jù)實(shí)際數(shù)據(jù)隨時(shí)自我更新，不斷提升性能，才能真正成為提質(zhì)增效的神兵利器。

從這個(gè)層面看，面向企業(yè)和個(gè)人開(kāi)發(fā)者的AI訓(xùn)練服務(wù)，幾乎成了公有云無(wú)法繞開(kāi)的關(guān)鍵能力。

上探AI訓(xùn)練，對(duì)公有云意味著什么？

今天，在公有云上進(jìn)行深度學(xué)習(xí)訓(xùn)練可謂是人工智能的重要趨勢(shì)，然而有能力向企業(yè)和個(gè)人開(kāi)發(fā)者輸出云端訓(xùn)練服務(wù)的云服務(wù)商可說(shuō)是鳳毛麟角。

例如亞馬遜推出了AWS深度學(xué)習(xí)容器，也方便客戶定制AI訓(xùn)練流程;谷歌和Facebook也推出了適合自身深度學(xué)習(xí)框架TensorFlow的訓(xùn)練平臺(tái);在中國(guó)，華為、百度、阿里、浪潮、騰訊等也讓定制化AI訓(xùn)練服務(wù)走上了云端，整合到他們的企業(yè)服務(wù)解決方案中去。

我們知道，深度學(xué)習(xí)難以離開(kāi)大數(shù)據(jù)和規(guī)模化訓(xùn)練的支撐，二者就像緊密結(jié)合的輪軸推動(dòng)著算法向高性能、高精度的方向發(fā)展，進(jìn)而影響整個(gè)社會(huì)的AI進(jìn)程。但目前市面上只有少數(shù)幾家頭部公有云廠商有類似的服務(wù)。為什么云端AI訓(xùn)練如何“陽(yáng)春白雪”？

其中很大一部分原因在于，定制化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練任務(wù)，往往需要強(qiáng)大的計(jì)算能力，也就是GPU集群來(lái)保障。然而今天， AI算力依然是一種昂貴的計(jì)算資源，而云端訓(xùn)練往往會(huì)在不訓(xùn)練時(shí)將算力資源釋放出去，實(shí)現(xiàn)彈性調(diào)配，服務(wù)商按照實(shí)際計(jì)算消耗進(jìn)行付費(fèi)，個(gè)人開(kāi)發(fā)者與企業(yè)則可以省去購(gòu)買計(jì)算單元或是自建數(shù)據(jù)中心的高昂開(kāi)支，從而大大降低了AI落地的成本。

不過(guò)，目前用戶可以選擇的云端訓(xùn)練平臺(tái)并不多。主要原因是用于神經(jīng)訓(xùn)練的GPU芯片幾乎由英偉達(dá)一家獨(dú)大，云服務(wù)商建立訓(xùn)練平臺(tái)的成本很高。后來(lái)谷歌、華為分別推出了自己的大規(guī)模計(jì)算單元，起到了一定了市場(chǎng)制衡作用。但整體而言，訓(xùn)練環(huán)節(jié)的云端芯片依然難以滿足廣泛的部署需求。

還有一個(gè)顧慮是云巨頭在AI領(lǐng)域的投入與創(chuàng)新，正好具備了輸出基礎(chǔ)算力與應(yīng)用工具的雙重能力。大多企業(yè)想要AI，依然需要花費(fèi)大量時(shí)間與精力、人力去熟悉相應(yīng)的深度學(xué)習(xí)框架、標(biāo)注數(shù)據(jù)、調(diào)教參數(shù)、設(shè)計(jì)容錯(cuò)等等，在一份Vanson Bourne公司的“企業(yè)人工智能狀況”調(diào)查報(bào)告中，有34%的企業(yè)IT決策者表示他們沒(méi)有合適的人才來(lái)支持技術(shù)的成功部署，30%缺乏實(shí)施的預(yù)算。

舉個(gè)例子，大部分中小企業(yè)采用公有云來(lái)進(jìn)行超大規(guī)模的AI訓(xùn)練，一個(gè)基本出發(fā)點(diǎn)就是試錯(cuò)和驗(yàn)證AI進(jìn)入產(chǎn)業(yè)的新想法，因此時(shí)間成本就非常重要，這需要效率更高、擴(kuò)展性更好的深度學(xué)習(xí)框架和專項(xiàng)加速來(lái)支撐。因此，想要幫助企業(yè)減少定制化訓(xùn)練的學(xué)習(xí)門檻與風(fēng)險(xiǎn)成本，只有少數(shù)有意愿、有實(shí)力的頭部云技術(shù)巨頭才能切入。

另外值得注意的是，無(wú)論是需要財(cái)報(bào)好看的企業(yè)，還是渴望擁抱AI的開(kāi)發(fā)者，云平臺(tái)面臨的訓(xùn)練任務(wù)是五花八門的，接收到的數(shù)據(jù)資源也很可能放飛自我。不同的程序、業(yè)務(wù)模式可能對(duì)應(yīng)著不同的訪問(wèn)模式和存儲(chǔ)結(jié)構(gòu)，因此，如何存儲(chǔ)、處理、分析、最終輸出基于任意類型數(shù)據(jù)的訓(xùn)練模型，這就要求云平臺(tái)擁有構(gòu)建和管理數(shù)據(jù)湖，來(lái)處理各種結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，并統(tǒng)統(tǒng)投喂給神經(jīng)網(wǎng)絡(luò)。顯然，想要積累如此龐大且豐滿的全量數(shù)據(jù)，頭部選手的表現(xiàn)更優(yōu)且更完備。

總體來(lái)看，AI訓(xùn)練作為智能這座大廈所必備的原材料鍛造過(guò)程，迫切需要一個(gè)靈活機(jī)動(dòng)的全能選手“隨叫隨到”，就地完成特殊模塊的精雕細(xì)琢然后就功成身退，而不是在材料原產(chǎn)地處理完再運(yùn)往施工現(xiàn)場(chǎng)。

具備這種彈性作戰(zhàn)能力的“工程隊(duì)”，顯然具備爭(zhēng)奪市場(chǎng)的關(guān)鍵能力。這也是為什么今天幾乎所有頭部云廠商都開(kāi)始紛紛輸出自身的云端訓(xùn)練能力，甚至不惜“虧本賺吆喝”。

那么向AI的技術(shù)上游切入訓(xùn)練服務(wù)產(chǎn)業(yè)鏈，對(duì)于公有云廠商來(lái)說(shuō)，究竟意味著什么？是以算法API和應(yīng)用程序的方式“被連接”？還是提供工具和計(jì)算平臺(tái)“被集成”？亦或者向更底層的芯片等“硬實(shí)力”進(jìn)發(fā)？

如果某一朵云懷抱著的野望，是真正成為智能時(shí)代的容器與基礎(chǔ)設(shè)施，構(gòu)建全方位、立體化的AI技術(shù)體系，那么集硬件算力、軟件技術(shù)、生態(tài)開(kāi)發(fā)于一體的AI訓(xùn)練，雖然是復(fù)雜而漫長(zhǎng)的冒險(xiǎn)，卻是中國(guó)AI產(chǎn)業(yè)真正進(jìn)入千行萬(wàn)業(yè)所必要的投入與支撐。

一方面，云服務(wù)商需要開(kāi)放自身的計(jì)算資源，為了不掣肘他人，就必須倒逼半導(dǎo)體產(chǎn)業(yè)自我升級(jí)。尤其時(shí)我國(guó)的短板，如承擔(dān)訓(xùn)練任務(wù)的云端訓(xùn)練芯片，針對(duì)深度學(xué)習(xí)框架專項(xiàng)加速、提高性能的計(jì)算單元，高精度基礎(chǔ)模型的釋放等等，這些AI訓(xùn)練的必要支撐，伴隨云服務(wù)商的產(chǎn)業(yè)上探實(shí)現(xiàn)系聯(lián)動(dòng)升級(jí)，正是當(dāng)前的趨勢(shì)。

另外，云端分布式訓(xùn)練、終端模型部署相結(jié)合，正在成為AI開(kāi)發(fā)流程的全周期模式。企業(yè)利用公有云的算力、解決方案所訓(xùn)練的專有模型，大多需要在端、邊側(cè)部署和應(yīng)用，在“從硬到軟再到硬”的過(guò)程中，往往需要云平臺(tái)協(xié)同綜合考慮，這也讓構(gòu)建從訓(xùn)練到應(yīng)用的產(chǎn)業(yè)閉環(huán)成為可能。而中國(guó)企業(yè)和開(kāi)發(fā)者，以及各產(chǎn)業(yè)端的關(guān)鍵數(shù)據(jù)、創(chuàng)新應(yīng)用等都得以在國(guó)產(chǎn)云環(huán)境中運(yùn)行，在地域化情緒與環(huán)境不穩(wěn)定的當(dāng)下，也有著重要的產(chǎn)業(yè)安全戰(zhàn)略意義。

由此，我們可以引出一個(gè)新的話題：一個(gè)好的云端AI訓(xùn)練平臺(tái)，應(yīng)用具備哪些能力？

讓AI飛入尋常百姓家的云端“魔術(shù)手”

AI開(kāi)始走進(jìn)大眾視野，是以阿爾法狗所代表的深度學(xué)習(xí)技術(shù)為起點(diǎn)。而云服務(wù)商所扮演的角色，就是不斷將實(shí)驗(yàn)室中影影綽綽的技術(shù)“實(shí)體化”、工具化成一個(gè)個(gè)道具，運(yùn)用一雙虛實(shí)變幻、軟硬結(jié)合的“魔術(shù)手”，將AI驚艷地呈現(xiàn)在各行各業(yè)、普羅大眾眼前。

通過(guò)這雙魔術(shù)之手，我們則可以反向去理解，“云端訓(xùn)練”在AI普惠的過(guò)程當(dāng)中，都需要哪些條件的支持：

1.計(jì)算性能的持續(xù)升級(jí)。算力，是云端訓(xùn)練的基礎(chǔ)保障，這里涉及兩個(gè)基本命題，一是絕對(duì)規(guī)模，也就是硬件化計(jì)算能力，在訓(xùn)練時(shí)，數(shù)據(jù)會(huì)被分派給眾多訓(xùn)練機(jī)器，再通過(guò)反饋及標(biāo)志變量重新組合在一起，從而創(chuàng)建完整的訓(xùn)練模型，對(duì)GPU驅(qū)動(dòng)、底層庫(kù)之間的兼容性等硬件提出了不少挑戰(zhàn)。第二需要考慮的則是精度，通過(guò)網(wǎng)絡(luò)優(yōu)化和超參組合，云平臺(tái)可以利用少量數(shù)據(jù)就達(dá)到出色的訓(xùn)練效果和高性能的模型，這對(duì)于一些中小微開(kāi)發(fā)者來(lái)說(shuō)有著化不可能為可能的現(xiàn)實(shí)意義。

2.友好模式的開(kāi)發(fā)態(tài)。簡(jiǎn)單來(lái)說(shuō)，就是降低開(kāi)發(fā)者的訓(xùn)練成本、學(xué)習(xí)門檻。一種方式是提供簡(jiǎn)單易上手的開(kāi)發(fā)工具和交互界面。舉個(gè)例子，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集往往達(dá)到1PB的數(shù)據(jù)量，即使用1G帶寬的網(wǎng)絡(luò)來(lái)傳輸也需要耗費(fèi)將近4個(gè)月，黃花菜都要涼了，對(duì)此一些云巨頭借助新的傳輸工具，如谷歌的Transfer Appliance ，就能在25 小時(shí)內(nèi)將 1PB 的數(shù)據(jù)裝入數(shù)據(jù)中心。還有一些自動(dòng)化、可視化的任務(wù)管理工具，能夠大大解放開(kāi)發(fā)者的重復(fù)勞動(dòng)，比如訓(xùn)練任務(wù)一站式托管，可以自動(dòng)跟蹤任務(wù)的訓(xùn)練狀態(tài)，提供輸出日志功能，開(kāi)發(fā)者只需實(shí)時(shí)監(jiān)控就可以了;

友好的第二種意義，則是云平臺(tái)的兼容性。我們知道，目前深度學(xué)習(xí)框架有許多，開(kāi)發(fā)者需要在不同的框架下完成特定的訓(xùn)練及推論任務(wù)，因此云平臺(tái)的兼容并蓄就非常重要了。像是新的AWS容器就能夠支持谷歌的TensorFlow、Apache的MXNet以及臉書的PyTorch等不同的機(jī)器學(xué)習(xí)架構(gòu)，華為新發(fā)布的Atlas智能計(jì)算平臺(tái)，也志在解決中國(guó)企業(yè)和開(kāi)發(fā)者對(duì)算力與兼容性的難題。這意味著對(duì)每一種架構(gòu)提供針對(duì)性的優(yōu)化和加速，讓特定的模型訓(xùn)練速度更上一層樓，這也有助于打消企業(yè)開(kāi)發(fā)者的上云顧慮。

3.穿透各個(gè)場(chǎng)景的降本增效。一方面，成本控制作為云端訓(xùn)練的核心優(yōu)勢(shì)，在整個(gè)開(kāi)發(fā)過(guò)程中是不可或缺的。這意味著云平臺(tái)需要具備合理的擴(kuò)展性與靈活度，讓企業(yè)輕松獲得自己所需要的AI資源并靈活合理地支付費(fèi)用，如果試點(diǎn)項(xiàng)目沒(méi)有成功，也可以很容易地關(guān)閉;而項(xiàng)目成功后，也可以很容易地?cái)U(kuò)大資源規(guī)模。

另外，基于原生場(chǎng)景數(shù)據(jù)的訓(xùn)練完成以后，如何將模型快速擴(kuò)展到企業(yè)或產(chǎn)業(yè)其他業(yè)務(wù)部門及軟硬件，這是困擾AI開(kāi)發(fā)生態(tài)的落地難題。能夠集中打通數(shù)據(jù)，讓終端和云端在統(tǒng)一的智能基礎(chǔ)設(shè)施上協(xié)同完成復(fù)雜任務(wù)處理的開(kāi)發(fā)生態(tài)，將會(huì)在未來(lái)釋放更具應(yīng)用價(jià)值的能量。

4.云端數(shù)據(jù)訓(xùn)練的安全保障。定制化訓(xùn)練意味著企業(yè)和開(kāi)發(fā)者需要將自身的關(guān)鍵敏感數(shù)據(jù)上傳到云端，多個(gè)“租戶”任務(wù)同時(shí)進(jìn)行，不同訓(xùn)練任務(wù)數(shù)據(jù)之間的安全隔離就變得至關(guān)重要了。否則影響的不僅僅是模型的精度與性能，更可能在遷移、訓(xùn)練、存儲(chǔ)中面臨數(shù)據(jù)泄露風(fēng)險(xiǎn)。

云平臺(tái)一方面需要確保自身數(shù)據(jù)的合規(guī)性，保證算法不因?yàn)榈胤椒ㄒ?guī)的數(shù)據(jù)政策限制而失效;同時(shí)也需要應(yīng)對(duì)潛在的網(wǎng)絡(luò)攻擊，采取數(shù)加密等手段來(lái)實(shí)現(xiàn)完善安全的服務(wù)調(diào)用。

總體而言，云端訓(xùn)練讓AI得以在軟硬件雙重通道上得到淬煉，進(jìn)而以低門檻、可應(yīng)用的方式真正適配千行萬(wàn)業(yè)的智能化需求。同時(shí)我們應(yīng)該看到的是，云服務(wù)想要描繪出賦能無(wú)數(shù)產(chǎn)業(yè)、抵達(dá)生活方方面面的AI普惠藍(lán)圖，還需要跨越一座座高聳的山峰。而在這一條時(shí)代的跑道上，需要的不僅是宣傳口徑上的華麗辭藻，更是浸透了汗水與淚水的砥礪前行。

來(lái)源：腦極體