在日前舉行的線上媒體會上，NVIDIA 網(wǎng)絡市場總監(jiān)孟慶和網(wǎng)絡技術專家崔巖向媒體介紹了最新公布的project Monterey以及DPU開發(fā)者們非常關注的即將在10月下旬舉行的黑客松競賽的情況。以下是電子發(fā)燒友網(wǎng)的記者的獨家報道。

DPU、AI發(fā)展迅猛，網(wǎng)絡算力從CPU卸載到DPU

NVIDIA 網(wǎng)絡市場總監(jiān)孟慶在開場表示，在GTC之前舉辦的VMware Explore大會上，NVIDIA CEO黃仁勛先生和Vmware CEO一起發(fā)布了重要的網(wǎng)絡相關產品和技術以及Monterey解決方案。DPU已經(jīng)從英偉達的產品名稱，變成了一個行業(yè)事實上的通用術語，“最近，在國內市場上發(fā)現(xiàn)有很多聲音討論DPU，討論2019年我們提出的概念，大家逐漸接受，并且把它變成行業(yè)術語繼續(xù)去使用。”

黃仁勛先生曾多次提到過CPU發(fā)展逐漸放緩，摩爾定律似乎已經(jīng)失效。以前老的DIY從業(yè)者會感受到CPU包括至強、包括PC每一代性能、晶體管數(shù)量日新月異，上一代比下一代高一倍以上的性能。再看今天一代代新的CPU，不管是消費級還是企業(yè)級能高出30-40%已經(jīng)算非常高的一個成績了。多數(shù)情況下更新一代只高出百分之十幾，這和制程、架構設計有關、也和應用有關。

反觀數(shù)據(jù)中心，在火熱的人工智能市場、云計算市場，行業(yè)把更多的算力卸載到GPU，卸載到相應的各種各樣的協(xié)處理器上。最多的GPU用在像人工智能、推理訓練，包括一些企業(yè)用它做更復雜的通用計算，這就產生了非常多的數(shù)據(jù)流量。而數(shù)據(jù)中心越來越演變成人工智能的中心，不管在后臺的訓練，在前臺，大家打開購物軟件搜索關鍵詞，立刻告訴你這是什么，搜出相關的產品，所有的圖形識別、所有的語義分析、推薦購物全部把數(shù)據(jù)導流到后臺，在數(shù)據(jù)中心里推演。

“所以，我們認為數(shù)據(jù)中心正在演化為一個AI工廠，很多AI應用經(jīng)常打開幾秒就關了，這樣每一次激活APP誕生多個容器，瞬間打開關閉，對數(shù)據(jù)中心和后臺就是一個個突發(fā)的小峰值，如果大家上下班坐地鐵會形成更大的峰值。這對數(shù)據(jù)中心來說都是前所未有的挑戰(zhàn)，而在里面負責網(wǎng)絡流量的，不管是交換機、智能網(wǎng)卡，他們也面臨很大的負荷。”孟慶解釋道。

“我們發(fā)現(xiàn)很多CPU的處理工作、擁塞都發(fā)生在了數(shù)據(jù)搬運、發(fā)生在流量分發(fā)、發(fā)生在云里、在AI的過程中。DPU（數(shù)據(jù)處理器）應運而生，它處理的就是數(shù)據(jù)，數(shù)據(jù)流量越大越需要DPU。最先部署DPU的可能是一些云服務商，包括BAT、京東、字節(jié)等等公司，海外有微軟這種大型企業(yè)，他們面臨大量的數(shù)據(jù)，他們需要用像DPU這樣的東西幫助他們做預處理，幫助他們區(qū)分每一個用戶做的信息隔離，還有一些安全問題，這就是DPU誕生的環(huán)境。”

從推出DPU到今天，可能到明年初NVIDIA BlueField-3 DPU將更多的被各個企業(yè)所應用，這里也和生態(tài)環(huán)境，軟件和相關解決方案有關。

關于VMware Explore上的Project Monterey補充說明

在不久前的VMware Explore大會上，NVIDIA、VMware和戴爾聯(lián)合發(fā)布Project Monterey的平臺。英傳達技術專家崔巖也對此作了補充和細節(jié)的說明。


目前Project Monterey的三大應用，包括簡化基礎設施和工作負載管理、提高基礎設施效率（性能和功能）、借助零信任模式加強基礎設施安全。

Project Monterey是將vSphere 8企業(yè)工作負載平臺，把它和NVIDIA BlueField DPU進行結合，在戴爾Power Edge服務器或VxRail超融合架構一體機上做運行，這樣就可以有效的把NVIDIA BlueField DPU、GPU和NVIDIA Enterprise AI軟件，針對vSphere 8做負載優(yōu)化，在運行一些AI軟件時，也可以把vSphere 8的一些功能，卸載、加速和隔離到NVIDIA BlueField DPU，這就是Project Monterey為未來的AI和現(xiàn)代應用程序工作負載重新構建一個現(xiàn)代的數(shù)據(jù)中心。既包括用于GPU的vSphere 8上的新功能來支持更強大的AI和機器學習的模型，更快的訓練速度，同時也簡化云和邊緣環(huán)境上的管理。

上面是比較完整的Project Monterey的架構。在VMware vSphere 8里有一個叫做Cloud Foundation云基礎架構組件，這個組件和NVIDIA BlueField DPU進行比較好的結合，這張圖上都是相當于跑在虛擬機上的這些應用，可以有不同的應用在系統(tǒng)平臺上跑。



如果大家經(jīng)常看DPU的介紹會看過這張圖。這是NVIDIA BlueField DPU在vSphere體系中主要卸載的作用。在基礎設施方面主要有四大架構：對基礎設施管理、存儲、安全、網(wǎng)絡。在傳統(tǒng)的服務器中，CPU要做這四個方面的工作，管理基礎設施，整個基礎設施管理、軟件定義的安全、軟件定義的存儲、軟件定義的網(wǎng)絡都是由CPU承擔工作負載的，所以它在上面分出相應計算資源放到基礎設施的操作上來，所以它在虛擬機和容器支持的數(shù)量和能力上就會受到一定性能上的限制。下面也是采用英偉達的智能網(wǎng)卡和加速引擎提供網(wǎng)絡上的服務。

當采用了NVIDIA BlueField DPU之后，CPU可以零介入基礎設施的部分，上述講的四大功能就卸載到了DPU。這里主要和vSphere配合的是有軟件定義的安全、軟件定義的網(wǎng)絡和整體性能加速的部分，將給上層應用提供更好的基礎設施的支撐。CPU資源會更好的支撐客戶業(yè)務應用，有更多支持虛機和容器的能力，這是整個NVIDIA BlueField DPU的作用。


加速下一代防火墻。這張圖強調除了很好的支持vSphere8之外，在NSX網(wǎng)絡和安全的組件上也有很好的支撐，現(xiàn)在已經(jīng)實現(xiàn)了NSX下一代防火墻功能，已經(jīng)卸載到了DPU之上，后續(xù)的入侵檢測、入侵防御等安全策略功能也會逐漸在DPU上實現(xiàn)，這將和VMware整個多云架構、企業(yè)應用有更加緊密的解決方案，能夠讓企業(yè)用戶直接采用，享受NVIDIA BlueField DPU帶來的性能上的回報。

關于Project Monterey主要的收益，總結下來主要體現(xiàn)在以下幾點：通過 NVIDIA BlueField DPU 來節(jié)省主機 CPU 內核，等同于節(jié)省了 22% 的主機 CPU 內核消耗，使服務器性能效率得到了提升，可將釋放出來的 CPU 內核來運行應用程序，并在三年的生命周期中提供 5倍的投資回報。

DPU好處這么多，除BAT等互聯(lián)網(wǎng)巨頭外，還適合什么樣的企業(yè)去部署？

DPU對于BAT、頭條這樣的企業(yè)和開發(fā)者已經(jīng)不是新鮮名詞，但它具體能給企業(yè)帶來什么樣的好處，除互聯(lián)網(wǎng)巨頭外，還有哪些企業(yè)適合采用或將來有機會采用到DPU呢？成本是不是可以接受？開發(fā)者社群有沒有培育起來？電子發(fā)燒友網(wǎng)記者在會議中向英偉達的專家提出來這個問題，英偉達網(wǎng)絡技術專家崔巖對此作了回應和解答。

崔巖表示，在前面講到的像BAT或字節(jié)這樣的公司，在數(shù)據(jù)中心里面大批量采用DPU主要還是在做公有云相應的云服務上面，他們的規(guī)模相對比較大，去通過DPU提升他們數(shù)據(jù)中心基礎設施上的性能，能夠更好的釋放CPU的資源，能夠給客戶提供更好的公有云服務。

其他互聯(lián)網(wǎng)類型的公司，像現(xiàn)在看到的做元宇宙類的公司，或者提供相應應用平臺的公司，有AI識別，不管是語音、視頻或者圖像的都會需要在數(shù)據(jù)中心中產生或者處理大量的數(shù)據(jù)。所以它就會需要DPU從基礎設施的角度做卸載、隔離和加速。除了大規(guī)模的應用之外，其他類型的互聯(lián)網(wǎng)公司也會在數(shù)據(jù)中心中去部署。再往其他行業(yè)里看，日后企業(yè)在多云環(huán)境下，其自身的私有云和混合云體系下也要部署和采用DPU，這是整個大勢所趨。


關于2022年第二屆英偉達DPU黑客松大賽

和上一屆的安排一樣，2022英偉達DPU黑客松大賽，仍然會有一個開幕式和訓練營的活動，之后會進入到24小時的比賽環(huán)節(jié)，比賽中各個團隊將投入到創(chuàng)新應用的開發(fā)之中，到第二天10月23日上午，是每個團隊現(xiàn)場比賽的演示，他們將對自己做的課題做一個整體展示，后面會有中國的本地評委和國際評委對他們的比賽結果進行評分，在10月24日周一公布比賽結果。

組委會將邀請到本地5位評委，從基礎架構、軟件開發(fā)、行業(yè)應用角度來看待這些開發(fā)團隊所做的項目和呈現(xiàn)的結果。整個結果最后會提交給國際評委，他們從創(chuàng)新角度和其他應用的角度做一個評分， 從五個方面，訓練營參與度、項目完成度、項目創(chuàng)新價值及題目匹配度，最后是現(xiàn)場演示的效果。

對于這場DPU開發(fā)者們的年度大賽，崔巖認為NVIDIA DPU 中國黑客松最大的價值就是讓開發(fā)者有機會深入了解 NVIDIA BlueField DPU 和 NVIDIA DOCA 軟件框架，并構建創(chuàng)新的加速應用程序，實現(xiàn) NVIDIA BlueField DPU 在人工智能、網(wǎng)絡、存儲和安全方面的獨特功能，驅動 NVIDIA BlueField DPU 在各行業(yè)應用場景中的廣泛應用。參與活動的團隊和開發(fā)者不但可以學習到相關的知識和技能，還可以構建以 DPU 技術應用為核心的人際網(wǎng)絡，并與 NVIDIA 專家進行交流，更有助于將創(chuàng)新想法變成現(xiàn)實。

談到今年秋季的DPU黑客松對比上一屆的亮點，他表示2022 秋季 NVIDIA DPU 中國黑客松以 RDMA 技術為核心題目，基于 InfiniBand 網(wǎng)絡來實現(xiàn)對存儲和人工智能應用的加速，同時將這種低延遲、高性能的IO 能力聚焦到一些行業(yè)應用場景中，比如金融的高頻交易等。

每次參加英偉達AI和DPU相關的媒體活動，都讓我們感受到了最前沿的技術的迅猛變化，電子發(fā)燒友網(wǎng)記者也認為，這個技術不會僅影響到頭部互聯(lián)網(wǎng)公司巨頭，一定會對其他的網(wǎng)絡公司，或者是使用到網(wǎng)絡的公司開發(fā)者有幫助。對于DPU未來將會給網(wǎng)絡技術帶來的影響，您怎么看？
（全文完）