隨著企業(yè)上云和數(shù)字化轉(zhuǎn)型升級的不斷深化，云計算在人工智能領(lǐng)域的重要作用日漸凸顯，許多人工智能模型訓(xùn)練都需要高性能計算。CLOUDAM云端自主研發(fā)的云E算力平臺能夠為有算力需求的企業(yè)和個人用戶提供解決方案及算力服務(wù)。我們通過一個人工智能的案例來詳細(xì)介紹Cloudam云端,云E算力平臺是如何幫助用戶快速完成模型訓(xùn)練的。

一、云上高性能算力平臺助力人工智能

某人工智能企業(yè)從事語音設(shè)備相關(guān)技術(shù)研發(fā)，因A輪融資后，隨著規(guī)模急劇擴(kuò)張算力需求也隨之增加，所以企業(yè)急求一個靈活、彈性的HPC方案來滿足語音識別相關(guān)模型訓(xùn)練。人工智能的計算和訓(xùn)練往往會消耗大量計算機時和內(nèi)存，用戶需要一個能使用大量GPU，能支持多卡任務(wù)，且同時要能支持AI常用框架的解決方案，如Notebook、Pytorch、Tensorflow及Kaldi等。

針對這個問題，云E算力平臺SaaS接入，用戶通過瀏覽器直接使用Notebook、Pytorch等即可觸發(fā)人工智能訓(xùn)練任務(wù)，操作顯得十分簡單。同時，云E通過腳本夜間自動上傳脫敏后的訓(xùn)練數(shù)據(jù)，這將會自動觸發(fā)訓(xùn)練流程。全自動上傳可以充分利用帶寬，幫助用戶快速高效的上傳文件。此外，Cloudam云端與客戶簽訂數(shù)據(jù)安全及保密協(xié)議，云E平臺也會嚴(yán)格保障用戶輸入數(shù)據(jù)及計算結(jié)果的安全與私密性，給了用戶完美的安全保障。

這一方案獲得的顯著。該部署實現(xiàn)了支持多團(tuán)隊、多任務(wù)并行的模型訓(xùn)練，單模型最多時使用40張Nvidia V100 GPU，使得訓(xùn)練周期比在用戶本地縮短了5倍以上，讓人工智能的訓(xùn)練、研究更加高效。同時能讓客戶將很多研究型的訓(xùn)練任務(wù)放入云端，通過大規(guī)模的并行計算來快速驗證結(jié)果，極大的提升了客戶的創(chuàng)新速度，完美助力了企業(yè)發(fā)展和創(chuàng)新。

人工智能的數(shù)據(jù)分析與預(yù)測往往需要進(jìn)行大量的高性能計算，大規(guī)模的高性能計算則需要消耗大量的計算機時。云E算力平臺為人工智能提供的高性能計算一站式解決方案，全面使用閑置資源代替按量資源，將多個云資源整個成統(tǒng)一的獨享計算資源池，對于現(xiàn)有的云端異構(gòu)資源進(jìn)行合理化管理和分配。

云端Cloudam通過統(tǒng)一化的整合、管理資源，將現(xiàn)有資源的計算能力最優(yōu)化。云E采用自動化數(shù)據(jù)上傳，充分利用帶寬，讓用戶快速上傳、海量下載數(shù)據(jù)，提高了傳輸效率。同時，自動化的部署集群能夠讓同一時間內(nèi)無需所有機器都打開，除了任務(wù)運行時期需要讓云資源滿負(fù)荷外，在數(shù)據(jù)處理和數(shù)據(jù)上傳階段只需開啟部分機器，其他準(zhǔn)備時間不需要開啟機器。

值得一提的是，任務(wù)完成以后會及時下載結(jié)果并自動釋放資源，防止資源的浪費。云E能夠自動監(jiān)控用戶提交的任務(wù)數(shù)量和資源需求，動態(tài)的開啟、管理所需算力資源，在提升效率的同時有效降低成本。此外，用戶還可以根據(jù)自身需求，設(shè)置自動化調(diào)度集群規(guī)模上下限。若在實際操作中，遇上某個可用區(qū)資源暫時短缺的情況，云E會嘗試從別的區(qū)域開啟資源，或者選擇配置相近的實例來補充。

在這個案例中，我們可以看到，云E算力平臺確實有效的解決了算力需求不夠的問題以及資源管理復(fù)雜的問題，為有高算力需求的企業(yè)提供了統(tǒng)一化解決方案。
? ? ? ?責(zé)任編輯:tzh