在以 ChatGPT 為代表的大模型應用的出現，加速了智能計算風暴的到來。隨著 AI 發展的浪潮，在終端本地運行大模型推理成為下一個熱點。在此背景下，算能發布支持運行大模型的終端處理器SG2300X，開啟邊緣大模型新時代！算能攜手瑞莎計算機(Radxa) 推出全球首款 SG2300X 微型智算盒子——瑞莎 Fogwise AirBox。

SG2300X：令人驚喜的端側生成式AI處理能力

SG2300X處理器擁有24T的算力，能夠流暢運行像LLAMA-2 7B這樣的生成式AI。

SG2300X驚人的算力使其可以在更短的時間內處理更多的數據，實現更快的響應速度，為用戶帶來更加流暢和智能的體驗。

瑞莎 AirBox：國產化邊緣智算設備

瑞莎 Fogwise AirBox是瑞莎計算機團隊研發的搭載SG2300X的邊緣智算盒子，算力高達 24TOPS@INT8，支持多精度（INT8、FP16/BF16、FP32），支持私有 GPT、文本到圖像等主流智能模型部署，配備鋁合金外殼，可在惡劣環境中部署。

AirBox 的核心元器件皆采用國產元器件，且瑞莎計算機擁有AirBox的完全知識產權，無懼“卡脖子”。

極致性價比，讓每個人都擁有端側智能設備

對比目前主流的端側算力產品，AirBox本地運行生成式AI的效率如何呢？

以Nvidia Jetson 系列多款支持生成式AI的設備為例。

AGX Orin 通過 MLC 加速之后 Llama-7B 47tokens/s，Llama-2-13B 25 tokens/s：airbox 上 Llama2-7B 性能是 12 tokens/s, Llama2-13B 性能是 6 tokens/s，可以支持int4、int8、fp16精度，llama2 及其各種變種模型性能相似；單芯最大可以跑20B-int4的模型。

(注：Orin數據來源英偉達官網；此處數據越高越好)

經測試發現：AGX Orin和AirBox的每人民幣（產品售價）可獲得的每秒token數（實際性能），AirBox有著顯著的優勢。

Llama-7B:

AGX Orin(64G)≈0.00301 每秒token數/每人民幣

AirBox≈0.00445每秒token數/每人民幣

Llama-13B:

AGX Orin(32G)≈0.00160 每秒token數/每人民幣

AirBox≈0.00222每秒token數/每人民幣

AGX Orin上 Stable Diffusion 每張圖耗時 2.2s，SDXL 耗時 23.1s；Airbox使用LCM加速之后，SD1.5 耗時 1.1s，SDXL耗時 7.4s。

(注：Orin數據來源英偉達官網；Orin未標明步數，此處假設都是20步；此處數據越低越好)

豐富的生態應用

瑞莎 Fogwise AirBox 可提供卓越的智能性能，滿足您對強大計算能力的需求。這款小巧但功能強大的設備可與 Tensorflow、Pytorch 和 Caffe 等領先的深度學習框架無縫兼容，為用戶提供便攜、高效的智能體驗。無論您是制造商、智算愛好者、業余愛好者還是專業人士，Fogwise AirBox都是您的最佳選擇。

AICore SG2300X：助力企業輕松獲得高性能智算產品能力

Radxa AICore SG2300X 是一款配備先進 SOPHON智算處理器 SG2300X 的計算模塊，可提供強大的性能來釋放您的全部潛力。配備16GB內存，和64GB eMMC存儲。Radxa AICore SG2300x 擁有令人印象深刻的24TOPS INT8計算能力，在各種任務中表現出色，并全面支持主流深度學習框架，集成核心電路及元件，可大幅加速產品研發速度，是企業快速開發高性能 AI 產品的首選。

審核編輯：劉清