本文來自邊緣域 AI 的“寒武大爆發(fā)”，自 ChatGPT 問世以來，從 GPT-1 到 GPT-3.5，GPT 模型的智能化程度不斷提升，GPT-4 多模態(tài)模型的發(fā)布進一步加速產(chǎn)業(yè)革命。ChatGPT 對智能終端的賦能開啟新一輪“寒武大爆發(fā)”時代。

根據(jù)在網(wǎng)絡(luò)中的位置，AI 芯片可以分為云端 AI芯片 、邊緣和終端 AI 芯片；根據(jù)其在實踐中的目標(biāo)，可分為訓(xùn)練（training ）芯片和推理（inference ）芯片。

云端主要部署高算力的 AI 訓(xùn)練芯片和推理芯片，承擔(dān)訓(xùn)練和推理任務(wù)，具體有智能數(shù)據(jù)分析、模型訓(xùn)練任務(wù)和部分對傳輸帶寬要求比高的推理任務(wù)；

邊緣和終端主要部署推理芯片，承擔(dān)推理任務(wù)，需要獨立完成數(shù)據(jù)收集、環(huán)境感知、人機交互及部分推理決策控制任務(wù)。

全球新一輪 AI 風(fēng)暴漸起，各家大廠相繼發(fā)布多款 AI 產(chǎn)品和大模型突破進展，可以預(yù)見未來訓(xùn)練和推理端需要的算力將呈指數(shù)級增長。單 AI 芯片或計算架構(gòu)或面臨傳輸時延、功耗、成本等多方面因素制約，因此，未來 AI 運算將呈現(xiàn)邊云協(xié)同的多層次算力網(wǎng)絡(luò)趨勢，AI 訓(xùn)練迭代優(yōu)化等復(fù)雜性任務(wù)主要在云端，實時、局部數(shù)據(jù)處理和推理任務(wù)主要在邊緣側(cè)。

1、邊緣 AI 芯片：打通推理加速的“最后一公里”

目前邊緣計算市場上參與者眾多，不同陣營廠商正以不同的路線共同推動邊緣計算快速發(fā)展。以英特爾、AMD 等為代表的芯片廠商積極推出 CPU、GPU、FPGA、DPU、IPU 等邊緣算力芯片；亞馬遜、微軟等云服務(wù)廠商將云計算能力向設(shè)備和用戶側(cè)延伸，擴充云數(shù)據(jù)中心的外延，將云原生的統(tǒng)一編程模式通過邊緣網(wǎng)關(guān)的能力應(yīng)用到設(shè)備構(gòu)成的邊緣云，主打云邊協(xié)同一體化

嚴(yán)格意義上的邊緣 AI 市場，包括邊緣終端市場和邊緣服務(wù)器市場兩類。邊緣終端市場是指直接在終端設(shè)備上做計算的 AI 芯片，對于功耗和能效要求比較高，包括針對特定應(yīng)用的 SOC 芯片和通用加速器獨立芯片兩種形態(tài)。另一種針對邊緣服務(wù)器市場，通常以處理器加上通用型深度學(xué)習(xí)加速芯片為主流方案，傳統(tǒng)巨頭英偉達、華為等在此市場有較深布局。而本文則將重點討論邊緣終端市場的芯片架構(gòu)，邊緣服務(wù)器市場暫不涉及。

2、計算芯片：NPU 算力是“兵家必爭之地”

在經(jīng)歷文本、圖像、語音等生成式 AI 系統(tǒng)陸續(xù)落地之后，我們認(rèn)為視頻將是后續(xù) AIGC 落地的重要應(yīng)用場景，人機交互的輸入端也將從文字、語音識別擴展至機器視覺等形態(tài)。智能終端的主控芯片也將從傳統(tǒng)的音視頻編解碼功能，擴展至更高性能、更大算力的要求。

目前，實現(xiàn)智能終端算力的最常用方式是在 SoC 芯片中內(nèi)置 NPU 模塊，即神經(jīng)網(wǎng)絡(luò)處理單元。這是專為物聯(lián)網(wǎng)人工智能設(shè)計的處理器模塊，用于加速神經(jīng)網(wǎng)絡(luò)的運算，解決傳統(tǒng)芯片在神經(jīng)網(wǎng)絡(luò)運算時效率低下的問題，特別擅長處理視頻、圖像類的海量多媒體數(shù)據(jù)。

國內(nèi)芯片廠商均在加大自研 NPU 能力，以把握 AI 浪潮。以阿里平頭哥的含光 800 為例，其是一款面向數(shù)據(jù)中心 AI 應(yīng)用的人工處理推理芯片，采用臺積電12nm 制程，集成高達 170 億顆晶體管。

含光 800 自研 NPU 架構(gòu)為 AI 推理專門定制和創(chuàng)新，包括專有計算引擎和執(zhí)行單元、192M 本地存儲（SRAM）以及便于快速存取數(shù)據(jù)的核間通信，從而實現(xiàn)了高算力、低延遲的性能體驗。含光 800 還支持主流的深度學(xué)習(xí)框架，包括 TensorFlow、MXNet、ONNX 等，能夠以行業(yè)領(lǐng)先的性能和效率來處理推理任務(wù)。

除專門推出 NPU 推理芯片，國產(chǎn) SoC 廠商也在加大 NPU IP 自研力度，以豐富和提升 SoC 人工智能處理能力。如瑞芯微目前已迭代了 4 代 NPU 的 IP，不斷提升對神經(jīng)網(wǎng)絡(luò)模型的支持和效率，公司最新旗艦芯片 RK3588 支持 6 Tops 的NPU 算力，可以賦能各類 AI 場景，給復(fù)雜場景的本地離線 AI 計算、復(fù)雜視頻流分析等應(yīng)用提供了各種可能。

晶晨股份也基于在多媒體音視頻領(lǐng)域的長期積累和技術(shù)優(yōu)勢，致力于疊加神經(jīng)網(wǎng)絡(luò)處理器、專用 DSP 等技術(shù)，通過深度機器學(xué)習(xí)和高速的邏輯推理/系統(tǒng)處理，并結(jié)合行業(yè)先進的 12nm 制造工藝，形成了多樣化應(yīng)用場景的人工智能系列芯片，公司的 A311D 系列人工智能芯片最高可支持 5Tops的 NPU 算力。