圖引擎模塊(GE)由C++實現，位于前端模塊MindSpore/Tensorflow和底層硬件之間，起到承接作用。圖引擎模塊以ME/TF下發(fā)的圖作為輸入，然后進行一系列的深度圖優(yōu)化操作，最后輸出一張可以在底層硬件上高效運行的圖。GE針對昇騰AI處理器的硬件結構特點，做了特定的優(yōu)化工作，以此來充分發(fā)揮出昇騰AI處理器的強大算力。在進行模型訓練/推理時，GE會被自動調用而用戶并不感知。GE主要由GE API和GE Core兩部分組成，詳細的架構圖如下所示。

• GE API

  GE API是連接前端模塊ME/TF和GE Core的接口，負責GE Core中初始化、Session管理模塊的接口，支持運行環(huán)境初始化，Session創(chuàng)建、銷毀，圖添加執(zhí)行。

• GE Core

  GE Core是GE的核心模塊，負責整個訓練過程中的圖管理。GE Core中的圖處理可細分為六大步驟，分別是圖準備、圖拆分、圖優(yōu)化、圖編譯、圖加載和圖執(zhí)行，對于ME下發(fā)的每一張圖都會經過這六個步驟的操作，最終得到可以直接在底層硬件上高效執(zhí)行的圖。

  • 圖準備 & 整圖優(yōu)化

    完成整圖級別的數據準備和優(yōu)化，涉及到IR庫及算子庫。使用IR庫中算子的InferShape函數，完成整圖的Shape推導，以便后續(xù)申請內存；同時根據算子的聚合屬性，完成某些算子的聚合優(yōu)化，如allreduce算子，會按照聚合參數，將若干各參數對應梯度的allreduce算子聚合為一個，以此減少通訊耗時。

  • 圖拆分

    昇騰AI處理器是一種異構芯片，含有CPU(AICPU)和向量計算部件AICORE，圖中每個算子會按照開銷模型選擇執(zhí)行的核心，此階段會對算子進行最優(yōu)的核心分配，每種核心對應軟件上的一個抽象引擎；按照之前對各算子的引擎分配，以引擎為邊界，將整圖拆分為若干子圖，在圖邊界算子上插入相應的Placeholder算子以做標識，之后的優(yōu)化、編譯、加載操作均會以子圖為單位進行，這樣可以有效減少優(yōu)化過程的耗時。

  • 子圖優(yōu)化

    根據子圖所屬引擎，調用不同的優(yōu)化器接口執(zhí)行優(yōu)化。為了充分發(fā)揮昇騰AI處理器中AICORE模塊的算力，在AICORE內CUBE單元進行計算的算子會采用一種5D的數據格式，圖優(yōu)化階段會對相應算子進行4D/5D的類型轉換；為了進一步發(fā)揮CUBE單元的算力，減少數據搬運次數，GE會對某種范式的算子連接進行融合操作，此步驟也在圖優(yōu)化階段進行；對所有子圖優(yōu)化之后，需進行算子運行屬性計算，以計算輸入輸出內存大小。

  • 圖編譯 & 圖加載

    GE采用即時算子編譯技術，即按照實際網絡結構即時編譯生成算子可執(zhí)行程序，同時完成內存復用與內存分配、流分配、算子可執(zhí)行程序加載等。每個算子執(zhí)行任務綁定到特定的流上，同一個流的任務是串行執(zhí)行的，不同流上的任務可以并行執(zhí)行。圖加載階段按照引擎歸屬的runtime，將子圖加載到硬件上準備執(zhí)行。

  • 圖執(zhí)行

    最終在硬件上執(zhí)行子圖，并返回相應的輸出值。為了提高運行效率，圖執(zhí)行階段提供了一種下沉模式，可以在底層硬件上連續(xù)運行多輪再返回輸出值，以此減少從底層硬件拷貝數據的次數。

在訓練/推理過程中，上述過程會自動執(zhí)行，通過上述圖操作，GE可以將前端下發(fā)的圖轉換為一種可以在昇騰AI處理器上高效運行的圖模式。

• 安裝說明
  • 安裝GE
  • 源碼安裝
  • 社區(qū)
  • 貢獻

安裝說明

安裝GE

GE內嵌在MindSpore/Ascend安裝包中，MindSpore/Ascend安裝完畢后，GE以動態(tài)庫的方式被調用。

源碼安裝

GE也支持由源碼編譯，進行源碼編譯前，首先確保你有昇騰910 AI處理器的環(huán)境（可通過昇騰開發(fā)者社區(qū)獲取），同時系統(tǒng)滿足以下要求：

• GCC >= 7.3.0
• CMake >= 3.14.0
• Autoconf >= 2.64
• Libtool >= 2.4.6
• Automake >= 1.15.1

編譯完成后會生成幾個動態(tài)庫，他們會鏈接到MindSpore/Ascend中執(zhí)行，無法單獨運行。

1. 下載GE源碼。

   GE源碼托管在碼云平臺，可由此下載。

   git clone https://gitee.com/mindspore/graphengine.git
   cd graphengine

2. 在GE根目錄下執(zhí)行下列命令即可進行編譯。

   bash build.sh

   • 開始編譯之前，請確保正確設置相關的環(huán)境變量。
   • 在build.sh的腳本中，會進行git clone操作，請確保網絡連接正常且git配置正確。
   • 在build.sh的腳本中，默認會8線程編譯，如果機器性能較差，可能會編譯失敗。可以通過-j{線程數}來控制線程數，如bash build.sh –j4。

3. 完成編譯后，相應的動態(tài)庫文件會生成在output文件夾中。

更多指令幫助，可以使用：

bash build.sh –h

如果想清除歷史編譯記錄，可以如下操作：

rm -rf build/ output/
bash build.sh

社區(qū)

• MindSpore Slack?- 可以提問和找答案。

貢獻

歡迎參與貢獻，更多信息詳見Contributor Wiki。

路標

以下將展示graphengine近期的計劃，我們會根據用戶的反饋訴求，持續(xù)調整計劃的優(yōu)先級。

總體而言，我們會努力在以下幾個方面不斷改進。

1、完備性：Cast/ConcatV2算子支持輸入數據類型為int64的常量折疊；

2、完備性：onnx parser支持一對多映射；

3、架構優(yōu)化：ATC解耦并遷移至parser；

4、易用性：提供tensorflow訓練的checkpoint文件轉pb文件的一鍵式轉化工具；

5、易用性：提供一鍵式本地編譯環(huán)境構建工具；

6、可維測：ATC轉換生成的om模型包含框架信息、cann版本信息和芯片信息等；