在AI和大數(shù)據(jù)時(shí)代到來之后,GPU單兵作戰(zhàn)就變成了奢望,以現(xiàn)在的數(shù)據(jù)中心和超算為例,動(dòng)輒就是成千上萬張GPU,龐大的GPU網(wǎng)絡(luò)在交換機(jī)和光模塊的支持下代表了這個(gè)計(jì)算時(shí)代下最高的算力。但并非只有數(shù)據(jù)中心和超算里的GPU才需要這樣的擴(kuò)展性,嵌入式GPU和專業(yè)GPU同樣如此。
物理限制的嵌入式GPU
隨著各種傳感器的性能持續(xù)走高,譬如多線激光雷達(dá)、高分辨率的圖像傳感器等,我們對(duì)邊緣計(jì)算單元尤其是GPU的需求也在持續(xù)增加。但在實(shí)現(xiàn)的過程中,我們還有一些物理限制沒法消除,像是尺寸、重量和功耗等。
為了解決這一系列問題,美國政府和行業(yè)方案提供商們成立了SOSA聯(lián)盟,以求開發(fā)開放的標(biāo)準(zhǔn)和最好的方案來實(shí)現(xiàn)高性價(jià)比、互操作性強(qiáng)的傳感器系統(tǒng)。如何克服這些負(fù)載計(jì)算工作量提升帶來的挑戰(zhàn),又能不增加寶貴的物理資源呢?答案自然還是將GPU、DPU等技術(shù)集成到嵌入式結(jié)構(gòu)中去。
這類嵌入式GPU并非用來單獨(dú)售賣,而是交給合作伙伴整合到不同的邊緣計(jì)算系統(tǒng)中,比如研華、凌華、EIZO、Mercury Systems等,然后交付給美國空軍、洛克希德·馬丁這類軍事、航空、工業(yè)客戶。

MXM嵌入式GPU模塊 / 凌華科技
即便選擇了嵌入式結(jié)構(gòu),也還有著不少的路線,比如GPU、FPGA和ASIC等等。SOSA聯(lián)盟主席,來自美國空軍的Ilya Lipkin表示,如果想要更快的運(yùn)行速度,快速部署軟件,自然是選擇GPU最好。但他們也面臨著空間的問題,因?yàn)榍度胧紾PU往往會(huì)被塞到3U或者6U的服務(wù)器里,他們想要做到更小的體積,甚至是手掌大小,可這樣一來就不得不犧牲帶寬、容量。
所以,雖然嵌入式GPU仍然在這些嵌入式傳感系統(tǒng)中可以保持領(lǐng)先地位,但他們并沒有像獲得數(shù)據(jù)中心那樣不算嚴(yán)格的空間要求。目前的MXM嵌入式GPU可以做到PCIe GPU五分之一的尺寸,但這對(duì)于嵌入式GPU的擴(kuò)展性來說還不算完美。在邊緣計(jì)算上,反倒是一些FPGA和ASIC方案在能耗比和擴(kuò)展性上占優(yōu),如果嵌入式GPU不能做到更強(qiáng)大的擴(kuò)展性,很有可能會(huì)被后來者顛覆。
顯卡交火時(shí)代的結(jié)束
不管是最新發(fā)布的RTX4090消費(fèi)級(jí)顯卡,還是RTX 6000這樣的專業(yè)顯卡,都象征了英偉達(dá)在新架構(gòu)GPU上的又一次創(chuàng)新。在臺(tái)積電4N工藝的加持下,無論是晶體管數(shù)目還是CUDA核心都做到了極致。
然而,原本變成了專屬英偉達(dá)高端消費(fèi)顯卡和專業(yè)顯卡的交火技術(shù)NVLink,在RTX4090和RTX 6000上卻無處可尋,難不成英偉達(dá)徹底放棄顯卡交火技術(shù),也就此放棄NVLink了?根據(jù)英偉達(dá)CEO黃仁勛的說法,他們省下了NVLink連接器的空間,釋放了更多的空間來處理更多的AI計(jì)算。
在上一代顯卡的NVLink中,通過連接兩塊英偉達(dá)顯卡,使用高端顯卡和專業(yè)顯卡的專業(yè)系統(tǒng)能夠獲得更高的帶寬和雙倍的顯存容量。這樣的提升對(duì)于個(gè)人或?qū)I(yè)用戶來說是極大的提升,那么為何英偉達(dá)會(huì)放棄NVLink呢?筆者也在英偉達(dá)GTC的一次分享會(huì)議上提出了這一問題。

RTX6000 / 英偉達(dá)
英偉達(dá)方面表示,就RTX 6000這類專業(yè)顯卡而言,他們?nèi)∠鸑VLink后省下了足夠的空間,塞入了更多的計(jì)算單元來提升單卡的性能。與此同時(shí),雖然這些專業(yè)顯卡的NVLink支持被取消,不代表英偉達(dá)放棄了這一技術(shù)。英偉達(dá)決心將NVLink的重心放在數(shù)據(jù)中心產(chǎn)品上,比如Grace CPU、Hopper GPU,他們通過NVLink Die to Die和Chip to Chip的互聯(lián)可以實(shí)現(xiàn)更好的擴(kuò)展性。
但這確實(shí)象征著一個(gè)時(shí)代的結(jié)束,過去AMD的交火和英偉達(dá)的SLI也是兩家競爭最火熱的一項(xiàng)技術(shù),可隨著AMD放棄了交火支持,英偉達(dá)的SLI在換成NVLink后如今也迎來了終結(jié)。
但顯卡交火的落幕也情有可原,且不說這種互聯(lián)方式的受眾群體一再變少,要想享受到顯卡交火的性能也需要軟件追加更新支持。或許專業(yè)顯卡的目標(biāo)還是追求單卡性能就好,多卡互聯(lián)的支持還是讓給數(shù)據(jù)中心吧。
物理限制的嵌入式GPU
隨著各種傳感器的性能持續(xù)走高,譬如多線激光雷達(dá)、高分辨率的圖像傳感器等,我們對(duì)邊緣計(jì)算單元尤其是GPU的需求也在持續(xù)增加。但在實(shí)現(xiàn)的過程中,我們還有一些物理限制沒法消除,像是尺寸、重量和功耗等。
為了解決這一系列問題,美國政府和行業(yè)方案提供商們成立了SOSA聯(lián)盟,以求開發(fā)開放的標(biāo)準(zhǔn)和最好的方案來實(shí)現(xiàn)高性價(jià)比、互操作性強(qiáng)的傳感器系統(tǒng)。如何克服這些負(fù)載計(jì)算工作量提升帶來的挑戰(zhàn),又能不增加寶貴的物理資源呢?答案自然還是將GPU、DPU等技術(shù)集成到嵌入式結(jié)構(gòu)中去。
這類嵌入式GPU并非用來單獨(dú)售賣,而是交給合作伙伴整合到不同的邊緣計(jì)算系統(tǒng)中,比如研華、凌華、EIZO、Mercury Systems等,然后交付給美國空軍、洛克希德·馬丁這類軍事、航空、工業(yè)客戶。

MXM嵌入式GPU模塊 / 凌華科技
即便選擇了嵌入式結(jié)構(gòu),也還有著不少的路線,比如GPU、FPGA和ASIC等等。SOSA聯(lián)盟主席,來自美國空軍的Ilya Lipkin表示,如果想要更快的運(yùn)行速度,快速部署軟件,自然是選擇GPU最好。但他們也面臨著空間的問題,因?yàn)榍度胧紾PU往往會(huì)被塞到3U或者6U的服務(wù)器里,他們想要做到更小的體積,甚至是手掌大小,可這樣一來就不得不犧牲帶寬、容量。
所以,雖然嵌入式GPU仍然在這些嵌入式傳感系統(tǒng)中可以保持領(lǐng)先地位,但他們并沒有像獲得數(shù)據(jù)中心那樣不算嚴(yán)格的空間要求。目前的MXM嵌入式GPU可以做到PCIe GPU五分之一的尺寸,但這對(duì)于嵌入式GPU的擴(kuò)展性來說還不算完美。在邊緣計(jì)算上,反倒是一些FPGA和ASIC方案在能耗比和擴(kuò)展性上占優(yōu),如果嵌入式GPU不能做到更強(qiáng)大的擴(kuò)展性,很有可能會(huì)被后來者顛覆。
顯卡交火時(shí)代的結(jié)束
不管是最新發(fā)布的RTX4090消費(fèi)級(jí)顯卡,還是RTX 6000這樣的專業(yè)顯卡,都象征了英偉達(dá)在新架構(gòu)GPU上的又一次創(chuàng)新。在臺(tái)積電4N工藝的加持下,無論是晶體管數(shù)目還是CUDA核心都做到了極致。
然而,原本變成了專屬英偉達(dá)高端消費(fèi)顯卡和專業(yè)顯卡的交火技術(shù)NVLink,在RTX4090和RTX 6000上卻無處可尋,難不成英偉達(dá)徹底放棄顯卡交火技術(shù),也就此放棄NVLink了?根據(jù)英偉達(dá)CEO黃仁勛的說法,他們省下了NVLink連接器的空間,釋放了更多的空間來處理更多的AI計(jì)算。
在上一代顯卡的NVLink中,通過連接兩塊英偉達(dá)顯卡,使用高端顯卡和專業(yè)顯卡的專業(yè)系統(tǒng)能夠獲得更高的帶寬和雙倍的顯存容量。這樣的提升對(duì)于個(gè)人或?qū)I(yè)用戶來說是極大的提升,那么為何英偉達(dá)會(huì)放棄NVLink呢?筆者也在英偉達(dá)GTC的一次分享會(huì)議上提出了這一問題。

RTX6000 / 英偉達(dá)
但這確實(shí)象征著一個(gè)時(shí)代的結(jié)束,過去AMD的交火和英偉達(dá)的SLI也是兩家競爭最火熱的一項(xiàng)技術(shù),可隨著AMD放棄了交火支持,英偉達(dá)的SLI在換成NVLink后如今也迎來了終結(jié)。
但顯卡交火的落幕也情有可原,且不說這種互聯(lián)方式的受眾群體一再變少,要想享受到顯卡交火的性能也需要軟件追加更新支持。或許專業(yè)顯卡的目標(biāo)還是追求單卡性能就好,多卡互聯(lián)的支持還是讓給數(shù)據(jù)中心吧。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
gpu
+關(guān)注
關(guān)注
28文章
5194瀏覽量
135427
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
如何在Arm Neoverse N2平臺(tái)上提升llama.cpp擴(kuò)展性能
跨 NUMA 內(nèi)存訪問可能會(huì)限制 llama.cpp 在 Arm Neoverse 平臺(tái)上的擴(kuò)展能力。本文將為你詳細(xì)分析這一問題,并通過引入原型驗(yàn)證補(bǔ)丁來加以解決。測試結(jié)果表明,在基于 Neoverse N2 平臺(tái)的系統(tǒng)上運(yùn)行
使用NVIDIA Isaac Lab-Arena簡化通用機(jī)器人策略的仿真評(píng)估
通用機(jī)器人策略需要能夠處理多種任務(wù),適應(yīng)不同形態(tài)的機(jī)器人,并在多樣化的環(huán)境中運(yùn)行。因此,仿真評(píng)估過程必須具有可擴(kuò)展性且易于復(fù)現(xiàn)。目前,建立大規(guī)模的策略評(píng)估流程既繁瑣又依賴人工。如果缺乏系統(tǒng)化的方法,開發(fā)者將不得不以高昂成本構(gòu)建定制化基礎(chǔ)設(shè)施,即便如此,任務(wù)庫的復(fù)雜性和多樣
飛騰D3000M工控主板:強(qiáng)性能、多擴(kuò)展
在工業(yè)自動(dòng)化、智能制造加速升級(jí)的今天,主板作為設(shè)備核心大腦,其性能、擴(kuò)展性與穩(wěn)定性直接決定了終端設(shè)備的運(yùn)行效率。
汽車中的GPU是如何使用的?
(HMI)的發(fā)展尤為迅猛。隨著電子電氣架構(gòu)(EEA)的集中化,車輛對(duì)高性能計(jì)算能力的需求顯著提升,GPU(圖形處理單元)的靈活性、可擴(kuò)展性以及高效并行計(jì)算能力,使其成為支持這些創(chuàng)新應(yīng)用的核心組件
如何通過交替式幾何處理實(shí)現(xiàn)更優(yōu)的多核?GPU?擴(kuò)展
在理論上,通過增加更多GPU核心來提升性能似乎很簡單:核心越多,性能越強(qiáng)。但在實(shí)踐中,這是圖形架構(gòu)領(lǐng)域最棘手的挑戰(zhàn)之一。雖然某些工作負(fù)載因其獨(dú)立特性能實(shí)現(xiàn)良好擴(kuò)展,但另一些工作負(fù)載(尤其是幾何
如何評(píng)估電能質(zhì)量在線監(jiān)測裝置的擴(kuò)展性?
評(píng)估電能質(zhì)量在線監(jiān)測裝置的擴(kuò)展性,需圍繞 “ 硬件可擴(kuò)展、軟件可升級(jí)、協(xié)議可兼容、場景可適配 ” 四大核心維度展開,通過 “技術(shù)參數(shù)核查、廠商能力驗(yàn)證、實(shí)際場景測試” 三層驗(yàn)證,判斷裝置能否隨電網(wǎng)
電能質(zhì)量在線監(jiān)測裝置的兼容性和擴(kuò)展性對(duì)其性能有何影響?
電能質(zhì)量在線監(jiān)測裝置的兼容性和擴(kuò)展性,是決定其 “能否融入現(xiàn)有系統(tǒng)、適應(yīng)未來變化” 的核心屬性,直接影響裝置的 數(shù)據(jù)互通性、功能適配性、生命周期價(jià)值 ,進(jìn)而間接作用于諧波源識(shí)別準(zhǔn)確率、定位精度等核心
NVIDIA桌面GPU系列擴(kuò)展新產(chǎn)品
NVIDIA 桌面 GPU 系列擴(kuò)展,推出 NVIDIA RTX PRO 4000 SFF Edition GPU 和 RTX PRO 2000 Blackwell GPU,可提高工程
市場上的工控機(jī)改如何選擇?接口與擴(kuò)展性需求分析
在邊緣計(jì)算時(shí)代,工控機(jī)的選擇需緊密圍繞實(shí)時(shí)性、可靠性、環(huán)境適應(yīng)性三大工業(yè)核心需求,同時(shí)兼顧算力、接口與擴(kuò)展性的平衡。以下是關(guān)鍵考量因素及選型策略: 一、算力需求分析:從場景出發(fā)分層選型 傳感器數(shù)據(jù)
瑞薩電子RA系列微控制器的可擴(kuò)展性強(qiáng)的配置軟件包 (FSP)安裝下載與使用指南
瑞薩電子RA系列微控制器的可擴(kuò)展性強(qiáng)的配置軟件包 (FSP)安裝下載與使用指南
聚徽分享高性能工控機(jī)選購指南:穩(wěn)定性、擴(kuò)展性、抗干擾能力如何平衡?
協(xié)調(diào)的重任。而在選購高性能工控機(jī)時(shí),穩(wěn)定性、擴(kuò)展性與抗干擾能力成為了至關(guān)重要的考量因素,如何在這三者之間找到完美的平衡,成為了眾多企業(yè)面臨的關(guān)鍵難題。 穩(wěn)定性:工業(yè)運(yùn)行的基石 1. 硬件質(zhì)量與可靠性 工業(yè)級(jí)元器件的
飛凌嵌入式ElfBoard ELF 1板卡-Regmap的優(yōu)勢
的讀寫操作,沒有提供寄存器緩存功能。
四、可擴(kuò)展性:Regmap 提供了一個(gè)模塊化的框架,可以輕松擴(kuò)展支持更多的通信接口和寄存器映射類型。這使得驅(qū)動(dòng)程序可以適用于不同類型的設(shè)備和平臺(tái),提高了代碼的可復(fù)用性
發(fā)表于 05-22 10:39
瑞芯微RK3288解決方案:高性能、高擴(kuò)展性的嵌入式系統(tǒng)設(shè)計(jì)理念與應(yīng)用分析
。本文將深入剖析基于RK3288的處理方案,重點(diǎn)闡述其在硬件架構(gòu)、軟件平臺(tái)、擴(kuò)展性設(shè)計(jì)以及應(yīng)用場景等方面的優(yōu)勢,并探討其所蘊(yùn)含的嵌入式系統(tǒng)設(shè)計(jì)理念。一、RK328
IAR推動(dòng)嵌入式開發(fā):云就緒、可擴(kuò)展的CI/CD和可持續(xù)自動(dòng)化
IAR正式發(fā)布全新云就緒平臺(tái),為嵌入式開發(fā)團(tuán)隊(duì)提供企業(yè)級(jí)的可擴(kuò)展性、安全性和自動(dòng)化能力。
無法在GPU上運(yùn)行ONNX模型的Benchmark_app怎么解決?
在 CPU 和 GPU 上運(yùn)行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。
在 CPU 上推理成功,但在 GPU 上失敗。
發(fā)表于 03-06 08:02
GPU在不同形態(tài)下的擴(kuò)展性問題
評(píng)論