隨著ChatGPT的火爆，AIGC（生成式人工智能）這一新興概念也備受矚目。AIGC目前已經(jīng)在很多領(lǐng)域得到了廣泛應(yīng)用，如新聞報道、廣告創(chuàng)意、音樂創(chuàng)作等，它可以模仿人類的寫作風(fēng)格，甚至創(chuàng)造出全新的作品。然而AIGC的用途遠(yuǎn)非如此簡單，隨著AIGC通過海量數(shù)據(jù)訓(xùn)練的大規(guī)模神經(jīng)網(wǎng)絡(luò)模型（大模型）的模型層數(shù)、參數(shù)的增加，“思維方式”愈來愈趨向于人腦，使其在金融、制造、醫(yī)療等各領(lǐng)域的應(yīng)用越來越廣泛。

在訓(xùn)練過程中，大模型需要大量的計算資源來執(zhí)行復(fù)雜的矩陣運算和其他計算任務(wù)。為了支持這些計算任務(wù)，需要使用高性能的計算設(shè)備。同時，還需要有效的算法和架構(gòu)設(shè)計來優(yōu)化模型的訓(xùn)練速度和效率。為提升整體算力效率和滿足差異化需求，大模型一般需要萬億量級參數(shù)計算的“智算中心”。現(xiàn)階段的“智算中心”通常采用云模式，通過共享、共融集結(jié)現(xiàn)有算力，萬卡平臺及配備高效網(wǎng)絡(luò)交互機制構(gòu)建大模型訓(xùn)練與推理平臺。

可以看出，訓(xùn)練一個大模型代價是巨大的，且大模型落地部署的代價也極大，在工業(yè)界實際應(yīng)用中不得不考慮部署的成本，模型輕量化是必不可少的。輕量化的其中一個方法是模型壓縮，通過將通用大模型經(jīng)過剪枝、量化和蒸餾，將大模型進(jìn)行壓縮得到輕量化模型，使其能夠使用算力較小的設(shè)備進(jìn)行訓(xùn)練推理，減輕應(yīng)用單位的部署成本。

大模型通過不同的方法得到了有效的輕量化，還是無法阻止模型規(guī)模的增加，但是同時也刺激著各大芯片廠商在AI芯片上的研發(fā)投入，特別是受眾面更廣、性價比更高的AI系統(tǒng)化模塊（SOM），其算力發(fā)展更是一年數(shù)倍級的提升。系統(tǒng)化模塊（SOM）算力的提升，可處理大模型輕量化壓縮后的小模型，有助于實現(xiàn)從基礎(chǔ)大模型轉(zhuǎn)向行業(yè)微調(diào)模型（通用2B），進(jìn)而細(xì)化至場景結(jié)合模型（專用2B）的轉(zhuǎn)換。而這些小巧的AI系統(tǒng)化模塊是對空間、能耗、環(huán)境、安全、響應(yīng)要求苛刻的邊緣端設(shè)備的首選。在此過程中邊緣端設(shè)備發(fā)揮著重要的作用來推動AI部署，網(wǎng)絡(luò)邊緣端比過去而言會受到更多重視，也將帶來更大的市場。

研揚科技致力于為客戶提供高質(zhì)量、高性能的邊緣端計算產(chǎn)品，是業(yè)界領(lǐng)先的邊緣AI解決方案設(shè)計制造商。研揚作為英偉達(dá)Elite member of the NVIDIA Partner Network（合作伙伴網(wǎng)絡(luò)精英成員），推出基于NVIDIA Jetson AGX Orin系統(tǒng)化模塊（SOM）的兩款緊湊型無風(fēng)扇邊緣盒子ARES-240AI和ARES-241AI。ARES-240AI和ARES-241AI將NVIDIA Jetson AGX Orin的超高性能與全新打造的強化耐用機殼相結(jié)合，32/64GB版本可選，提供了卓越的275 TOPS 的服務(wù)器級算力，在以往需要專業(yè)顯卡支持才能運行的應(yīng)用，比如自動汽車駕駛，現(xiàn)在憑借ARES-240AI和ARES-241AI的實時物體偵測、數(shù)據(jù)加速傳輸和強大的嚴(yán)苛環(huán)境耐受度等特性，可將整個操作移至邊緣。這兩款邊緣盒子是重新定義自主邊緣應(yīng)用進(jìn)行AI深度學(xué)習(xí)的理想載體。通過NVIDIA Jetson AGX Orin與其他 NVIDIA Jetson 模組、開發(fā)者套件獲得同一 NVIDIA Jetson 軟件棧的支持，這樣您只需一次開發(fā)，即可在任意位置進(jìn)行部署，從而加快產(chǎn)品上市速度。

NVIDIA Jetson AGX Orin

功能特點

01

ARES-240AI和ARES-241AI搭載的NVIDIA Jetson AGX Orin，擁有12核ARM v8.2 64位CPU和64 個 Tensor Core 的 2048 核 NVIDIA Ampere 架構(gòu) GPU，最高可達(dá) 275 TOPS的算力，提供了比Jetson AGX Xavier 高達(dá)8倍的AI性能。ARES-240AI和ARES-241AI還具有64GB內(nèi)存，在W4A16量化中，可完美支持Llama-70B。借助NVIDIA TAO工具套件，以更小的體積在行人檢測、3D姿態(tài)估計、DashCamNet、車牌識別等模型架構(gòu)中提供與英偉達(dá)專業(yè)顯卡T4相似甚至更高的推理性能，這將有助于機器人和智能交通中對實時目標(biāo)檢測與多傳感器的結(jié)合，同時大大增強定位和目標(biāo)確認(rèn)精度。

適用于嚴(yán)苛環(huán)境

功能特點

02

ARES-240AI和ARES-241AI堅固耐用，采用強固輕型鋁合金材料外殼，傳導(dǎo)被動散熱，可在溫度范圍為-20°C ~ 55°C (-4°F ~ 131°F)下穩(wěn)定工作，具有極端溫度環(huán)境的耐受性，可以出色應(yīng)對各類工業(yè)環(huán)境。此外，小巧的尺寸和輕巧的重量讓其操作不受空間限制，非常適用于車載、工業(yè)AMR和自主采礦車等應(yīng)用，其物體檢測功能可應(yīng)用于狹窄的、能見度低的工業(yè)環(huán)境，并提供智慧物流解決方案。

高度整合智能接口

功能特點

03

為了能完整發(fā)揮NVIDIA Jetson AGX Orin的強大計算能力，ARES-240AI和ARES-241AI搭載了許多可應(yīng)用于垂直市場的功能。兩款邊緣盒子皆配備了多個USB 3.2接口，以及32/64GB LPDDR5x系統(tǒng)內(nèi)存、64G eMMC并支持5G、Wi-Fi和NVMe的M.2 Key，確保外接硬件如攝影機和傳感器等可進(jìn)行快速的信息傳輸，使其成為理想的智慧零售解決方案。

ARES-240AI區(qū)別于ARES-241AI的2個GbE LAN，它具有電源與多功能性相結(jié)合的4個PoE LAN端口，可將系統(tǒng)部署在距離其電源更遠(yuǎn)的地方，并可以通過同一根線纜實現(xiàn)互聯(lián)網(wǎng)連接和系統(tǒng)的遠(yuǎn)程監(jiān)控，從而降低了安裝的復(fù)雜性，非常適合各種工業(yè)自動化場景及自動駕駛領(lǐng)域。

接口展示

產(chǎn)品簡介

01

功能 & 區(qū)別

產(chǎn)品簡介

02