Ascend310 AI處理器邏輯架構(gòu)昇騰AI處理器的主要架構(gòu)組成：芯片系統(tǒng)控制CPU（Control CPU）AI計算引擎（包括AI Core和AI CPU）多層級的片上系統(tǒng)緩存（Cache）或緩沖區(qū)（Buffer）數(shù)字視覺預(yù)處理模塊（Digital Vision Pre-Processing，DVPP）等AI Core：集成了2個AI Core。

下載鏈接：

Ascend310 AI處理器規(guī)格

Ascend310 AI處理器邏輯架構(gòu)

昇騰AI處理器本質(zhì)上是一個片上系統(tǒng)（System on Chip，SoC），主要可以應(yīng)用在和圖像、視頻、語音、文字處理相關(guān)的應(yīng)用場景。其主要的架構(gòu)組成部件包括特制的計算單元、大容量的存儲單元和相應(yīng)的控制單元。該芯片大致可以劃為：芯片系統(tǒng)控制CPU（Control CPU），AI計算引擎（包括AI Core和AI CPU），多層級的片上系統(tǒng)緩存（Cache）或緩沖區(qū)（Buffer），數(shù)字視覺預(yù)處理模塊（Digital Vision Pre-Processing，DVPP）等。芯片可以采用LPDDR4高速主存控制器接口，價格較低。目前主流SoC芯片的主存一般由DDR（Double Data Rate）或HBM（High Bandwidth Memory）構(gòu)成，用來存放大量的數(shù)據(jù)。HBM相對于DDR存儲帶寬較高，是行業(yè)的發(fā)展方向。其它通用的外設(shè)接口模塊包括USB、磁盤、網(wǎng)卡、GPIO、I2C和電源管理接口等。

昇騰AI處理器的主要架構(gòu)組成：

芯片系統(tǒng)控制CPU（Control CPU）

AI計算引擎（包括AI Core和AI CPU）

多層級的片上系統(tǒng)緩存（Cache）或緩沖區(qū)（Buffer）

數(shù)字視覺預(yù)處理模塊（Digital Vision Pre-Processing，DVPP）等

AI Core：集成了2個AI Core。昇騰AI芯片的計算核心，主要負責執(zhí)行矩陣、向量、標量計算密集的算子任務(wù)，采用達芬奇架構(gòu)。

ARM CPU核心：集成了8個A55。其中一部分部署為AI CPU，負責執(zhí)行不適合跑在AI Core上的算子（承擔非矩陣類復(fù)雜計算）；一部分部署為專用于控制芯片整體運行的控制CPU。兩類任務(wù)占用的CPU核數(shù)可由軟件根據(jù)系統(tǒng)實際運行情況動態(tài)分配。此外，還部署了一個專用CPU作為任務(wù)調(diào)度器（Task Scheduler，TS），以實現(xiàn)計算任務(wù)在AI Core上的高效分配和調(diào)度；該CPU專門服務(wù)于AI Core和AI CPU，不承擔任何其他的事務(wù)和工作。

DVPP：數(shù)字視覺預(yù)處理子系統(tǒng)，完成圖像視頻的編解碼。用于將從網(wǎng)絡(luò)或終端設(shè)備獲得的視覺數(shù)據(jù)，進行預(yù)處理以實現(xiàn)格式和精度轉(zhuǎn)換等要求，之后提供給AI計算引擎。

Cache & Buffer：SOC片內(nèi)有層次化的memory結(jié)構(gòu)，AI core內(nèi)部有兩級memory buffer，SOC片上還有8MB L2 buffer，專用于AI Core、AI CPU，提供高帶寬、低延遲的memory訪問。芯片還集成了LPDDR4x控制器，為芯片提供更大容量的DDR內(nèi)存。

對外接口：支持PCIE3.0、RGMII、USB3.0等高速接口、以及GPIO、UART、I2C、SPI等低速接口。

昇騰AI處理器集成了多個ARM公司的CPU核心，每個核心都有獨立的L1和L2緩存，所有核心共享一個片上L3緩存。集成的CPU核心按照功能可以劃分為專用于控制芯片整體運行的主控CPU 和專用于承擔非矩陣類復(fù)雜計算的AI CPU。兩類任務(wù)占用的CPU核數(shù)可由軟件根據(jù)系統(tǒng)實際運行情況動態(tài)分配。

除了CPU之外，該芯片真正的算力擔當是采用了達芬奇架構(gòu)的AI Core。這些AI Core通過特別設(shè)計的架構(gòu)和電路實現(xiàn)了高通量、大算力和低功耗，特別適合處理深度學(xué)習中神經(jīng)網(wǎng)絡(luò)必須的常用計算如矩陣相乘等。目前該芯片能對整型數(shù)（INT8、INT4） 或?qū)Ω↑c數(shù)（FP16）提供強大的乘加計算力。由于采用了模塊化的設(shè)計，可以很方便的通過疊加模塊的方法提高后續(xù)芯片的計算力。

針對深度神經(jīng)網(wǎng)絡(luò)參數(shù)量大、中間值多的特點，該芯片還特意為AI計算引擎配備了容量為8MB的片上緩沖區(qū)（On-Chip Buffer），提供高帶寬、低延遲、高效率的數(shù)據(jù)交換和訪問。能夠快速訪問到所需的數(shù)據(jù)對于提高神經(jīng)網(wǎng)絡(luò)算法的整體性能至關(guān)重要，同時將大量需要復(fù)用的中間數(shù)據(jù)緩存在片上對于降低系統(tǒng)整體功耗意義重大。為了能夠?qū)崿F(xiàn)計算任務(wù)在AI Core上的高效分配和調(diào)度，還特意配備了一個專用CPU作為任務(wù)調(diào)度器（Task Scheduler，TS）。該CPU專門服務(wù)于AI Core和AI CPU，而不承擔任何其他的事務(wù)和工作。

數(shù)字視覺預(yù)處理模塊主要完成圖像視頻的編解碼，支持4K分辨率，視頻處理，對圖像支持JPEG和PNG等格式的處理。來自主機端存儲器或網(wǎng)絡(luò)的視頻和圖像數(shù)據(jù)，在進入昇騰AI芯片的計算引擎處理之前，需要生成滿足處理要求的輸入格式、分辨率等，因此需要調(diào)用數(shù)字視覺預(yù)處理模塊進行預(yù)處理以實現(xiàn)格式和精度轉(zhuǎn)換等要求。數(shù)字視覺預(yù)處理模塊主要實現(xiàn)視頻解碼（Video Decoder，VDEC），視頻編碼（Video Encoder，VENC），JPEG編解碼（JPEG Decoder/Encoder，JPEGD/E），PNG解碼（PNG Decoder，PNGD）和視覺預(yù)處理（Vision Pre-Processing Core，VPC）等功能。圖像預(yù)處理可以完成對輸入圖像的上/下采樣、裁剪、色調(diào)轉(zhuǎn)換等多種功能。

開發(fā)者在利用昇騰硬件進行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練或者推理的過程中，可能會遇到以下場景：

訓(xùn)練場景下，將第三方框架（例如TensorFlow、PyTorch等）的網(wǎng)絡(luò)訓(xùn)練腳本遷移到昇騰AI處理器時遇到了不支持的算子。

推理場景下，將第三方框架模型（例如TensorFlow、Caffe、ONNX等）使用ATC工具轉(zhuǎn)換為適配昇騰AI處理器的離線模型時遇到了不支持的算子。

網(wǎng)絡(luò)調(diào)優(yōu)時，發(fā)現(xiàn)某算子性能較低，影響網(wǎng)絡(luò)性能，需要重新開發(fā)一個高性能算子替換性能較低的算子。

推理場景下，應(yīng)用程序中的某些邏輯涉及到數(shù)學(xué)運算（例如查找最大值，進行數(shù)據(jù)類型轉(zhuǎn)換等），希望通過自定義算子的方式實現(xiàn)這些邏輯，從而獲得性能提升。

此時我們就需要考慮進行自定義算子的開發(fā)，本期我們主要帶您了解CANN自定義算子的幾種開發(fā)方式和基本開發(fā)流程，讓您對CANN算子有宏觀的了解。

一、算子基本概念

相信大家對算子的概念并不陌生，這里我們來做簡單回顧。深度學(xué)習算法由一個個計算單元組成，我們稱這些計算單元為算子（Operator，簡稱OP）。

在網(wǎng)絡(luò)模型中，算子對應(yīng)層中的計算邏輯，例如：卷積層（Convolution Layer）是一個算子；全連接層（Fully-connected Layer， FC layer）中的權(quán)值求和過程，是一個算子。

再例如：tanh、ReLU等，為在網(wǎng)絡(luò)模型中被用做激活函數(shù)的算子。

二、CANN自定義算子開發(fā)方式

學(xué)習CANN自定義算子開發(fā)方式之前，我們先來了解一下CANN算子的運行位置：包括AI Core和AI CPU。

AI Core是昇騰AI處理器的計算核心，負責執(zhí)行矩陣、向量、標量計算密集的算子任務(wù)。

AI CPU負責執(zhí)行不適合跑在AI Core上的算子，是AI Core算子的補充，主要承擔非矩陣類、邏輯比較復(fù)雜的分支密集型計算。

CANN支持用戶使用多種方式來開發(fā)自定義算子，包括TBE DSL、TBE TIK、AICPU三種開發(fā)方式。其中TBE DSL、TBE TIK算子運行在AI Core上，AI CPU算子運行在AI CPU上。

1. 基于TBE開發(fā)框架的算子開發(fā)

TBE（Tensor Boost Engine：張量加速引擎）是CANN提供的算子開發(fā)框架，開發(fā)者可以基于此框架使用Python語言開發(fā)自定義算子，通過TBE進行算子開發(fā)有TBE DSL、TBE TIK兩種方式。

TBE DSL（Domain-Specific Language ，基于特性域語言）開發(fā)方式

為了方便開發(fā)者進行自定義算子開發(fā)，CANN預(yù)先提供一些常用運算的調(diào)度，封裝成一個個運算接口，稱為基于TBE DSL開發(fā)。DSL接口已高度封裝，用戶僅需要使用DSL接口完成計算過程的表達，后續(xù)的算子調(diào)度、算子優(yōu)化及編譯都可通過已有的接口一鍵式完成，適合初級開發(fā)用戶。

TBE TIK（Tensor Iterator Kernel）開發(fā)方式

TIK（Tensor Iterator Kernel）是一種基于Python語言的動態(tài)編程框架，呈現(xiàn)為一個Python模塊，運行于Host CPU上。開發(fā)者可以通過調(diào)用TIK提供的API基于Python語言編寫自定義算子，TIK編譯器會將其編譯為昇騰AI處理器應(yīng)用程序的二進制文件。

TIK需要用戶手工控制數(shù)據(jù)搬運和計算流程，入門較高，但開發(fā)方式比較靈活，能夠充分挖掘硬件能力，在性能上有一定的優(yōu)勢。

2. AI CPU算子開發(fā)方式

AI CPU算子的開發(fā)接口即為原生C++接口，具備C++程序開發(fā)能力的開發(fā)者能夠較容易的開發(fā)出AI CPU算子。AI CPU算子在AI CPU上運行。

下面的開發(fā)方式一覽表，對上述幾種開發(fā)方式作對比說明，您可以根據(jù)各種開發(fā)方式的適用場景選擇適合的開發(fā)方式。

三、CANN算子編譯運行

算子構(gòu)成

一個完整的CANN算子包含四部分：?算子原型定義、對應(yīng)開源框架的算子適配插件、算子信息庫和算子實現(xiàn)。?這四個組成部分會在算子編譯運行的過程中使用。

算子編譯

推理場景下，進行模型推理前，我們需要使用ATC模型轉(zhuǎn)換工具將原始網(wǎng)絡(luò)模型轉(zhuǎn)換為適配昇騰AI處理器的離線模型，該過程中會對網(wǎng)絡(luò)中的算子進行編譯。

訓(xùn)練場景下，當我們跑訓(xùn)練腳本時，CANN內(nèi)部實現(xiàn)邏輯會先將開源框架網(wǎng)絡(luò)模型下發(fā)給Graph Engine進行圖編譯，該過程中會對網(wǎng)絡(luò)中的算子進行編譯。

CANN算子的編譯邏輯架構(gòu)如下：

具體的CANN算子編譯流程如下，在編譯流程中會用到上文提到的算子的四個組成部分。

Graph Engine調(diào)用?算子插件?，將原始網(wǎng)絡(luò)模型中的算子映射為適配昇騰AI處理器的算子，從而將原始開源框架圖解析為適配昇騰AI處理器的圖。

調(diào)用算子原型庫校驗接口進行基本參數(shù)的校驗，校驗通過后，會根據(jù)原型庫中的推導(dǎo)函數(shù)推導(dǎo)每個節(jié)點的輸出shape與dtype，進行輸出tensor的靜態(tài)內(nèi)存的分配。

Graph Engine根據(jù)圖中數(shù)據(jù)將圖拆分為子圖并下發(fā)給FE。FE在處理過程中根據(jù)算子信息庫中算子信息找到?算子實現(xiàn)?，將其編譯成算子kernel，最后將優(yōu)化后子圖返回給Graph Engine。

Graph Engine進行圖編譯，包含內(nèi)存分配、流資源分配等，并向FE發(fā)送tasking請求，F(xiàn)E返回算子的taskinfo信息給Graph Engine，圖編譯完成后生成適配昇騰AI處理器的模型。

算子運行

推理場景下，使用ATC模型轉(zhuǎn)換工具將原始網(wǎng)絡(luò)模型轉(zhuǎn)換為適配昇騰AI處理器的離線模型后，開發(fā)AscendCL應(yīng)用程序，加載轉(zhuǎn)換好的離線模型文件進行模型推理，該過程中會進行算子的調(diào)用執(zhí)行。

訓(xùn)練場景下，當我們跑訓(xùn)練腳本時，內(nèi)部實現(xiàn)邏輯將開源框架網(wǎng)絡(luò)模型下發(fā)給Graph Engine進行圖編譯后，后續(xù)的訓(xùn)練流程會進行算子的調(diào)用執(zhí)行。

CANN算子的運行邏輯架構(gòu)如下：

具體流程如下，首先Graph Engine下發(fā)算子執(zhí)行請求給Runtime，然后Runtime會判斷算子的Task類型，若是TBE算子，則將算子執(zhí)行請求下發(fā)到AI Core上執(zhí)行；若是AI CPU算子，則將算子執(zhí)行請求下發(fā)到AI CPU上執(zhí)行。

審核編輯：湯梓紅

?