當下，邊緣側AI應用需求越來越迫切，帶動著相應的AI推理芯片向前發展。所謂邊緣側AI，是指在端側設備本身，而不是在云端或大型數據中心服務器上運行AI推理，這樣做具有多種益處，例如消除了處理延遲，減少了數據傳輸量和帶寬，并且還可以增加隱私安全。鑒于這種優勢，邊緣AI芯片市場的增長非常顯著——2017年，市場才出現第一款商用企業邊緣AI芯片，據德勤預計，2020年，邊緣AI芯片銷量將超過7.5億個。

2018年，全球人工智能芯片市場規模為66.4億美元，預計未來幾年將大幅增長，到2025年將達到911.9億美元，年復合增長率為45.2%。因此，許多公司都在努力開發人工智能芯片。然而，類似于CPU、GPU和基帶處理器市場的成長過程，AI芯片市場也在經歷著由少數大型玩家主導的命運。

在人工智能芯片市場競爭的公司，從英特爾、高通、Arm和Nvidia等芯片巨頭，到傳統的互聯網科技巨頭，以及眾多新興企業，如Graphcore、Mythic和Wave Computing。目前，絕大多數（90%）邊緣 AI 芯片用于消費類設備，許多智能手機制造商也沒有錯過這個機會，開發了自己的AI加速器，例如，蘋果用于iPhone的8核神經引擎。

目前，邊緣AI芯片市場仍處于較為開放的競爭狀態，還沒有絕對的霸主。業內人士和投資者都在密切關注那些技術和產品力突出的公司。該領域將不可避免地通過投資、收購和優勝劣汰向前發展。未來幾年內，可能會出現市場領導者，那么，誰將成為邊緣AI芯片領域的英特爾或高通呢？

在廣義層面，AI芯片的領跑者是英特爾和英偉達（Nvidia）。目前，英特爾的CPU在AI推理市場占據主導地位，而Nvidia則主導著AI訓練芯片市場。然而，相對于英特爾，Nvidia似乎更勝一籌，在數據中心AI芯片市場處于領先地位。為了趕超對手，英特爾不斷通過收購相關的AI芯片初創企業來提升技術能力，就在2019年12月，英特爾以20億美元收購了以色列的深度學習加速器開發商Habana。

Habana的Goya加速器確實有獨到之處，其技術很新穎，例如支持遠程直接內存訪問 （RDMA），即從一臺計算機的內存直接訪問到另一臺計算機的內存，而無需使用任一計算機的操作系統。此功能特別適用于大規模并行計算機集群，從而用于在云上訓練復雜模型（目前，Nvidia在該領域占主導地位）。另一方面，Nvidia 最近發布了其 Jetson Xavier NX 邊緣AI芯片，其算力高達21TOPS，特別是針對AI推理。

此外，一些AI芯片新星也很吸睛，如英國的Graphcore，最近，該公司與微軟合作，以19.5億美元的估值融資1500萬美元。他們的旗艦產品 - 智能處理單元（IPU） - 具有極強的性能指標和新穎的架構，例如，使用處理器內內存將整個 ML 模型放在處理器內，以最大限度地減少延遲并最大化內存帶寬。

另外一家初創企業Mythic 的體系結構同樣值得關注，它結合了硬件技術，如內存計算（無需構建緩存層次結構）、數據流體系結構（特別適用于基于圖形的應用，如推理）和模擬計算（通過使用內存元素作為可調諧電阻器計算直接在內存內部進行神經網絡矩陣操作）。Mythic在融資方面也沒有落后于 Graphcore — — 2019 年 6 月，軟銀等投資者向其增加了3000萬美元的投資。

雖然還不清楚誰將最終主導AI芯片市場，但從歷史發展（如CPU和基帶處理器領域）經驗來看，IP是取勝關鍵，誰在這方面占據了先機，就將在競爭中處于優勢地位。因此，創新依然是發展壯大的關鍵。

新的芯片架構和技術

在創新方面，今年陸續出現了一些新的邊緣AI芯片架構，重點針對邊緣 AI 進行了優化。而新興的RISC-V在其中扮演著重要的角色。由于是開源的，RISC-V指令集體系結構具有各種指令擴展，可提高邊緣AI的性能，并降低功耗。基于這些，RISC-V在邊緣側應用對Arm發起了挑戰。

今年10月，Nvidia提議收購Arm，再次引起了Arm與RISC-V之爭的話題。對此，Facebook首席人工智能科學家Yann LeCun在法國研究實驗室CEA-Leti的創新日上發言說，應該向RISC-V轉移，用于為邊緣AI應用運行神經網絡。

他說：“Nvidia收購Arm這一變化讓人感到不安，這讓人們更多地看到了RISC-V的發展潛力，RISC-V處理器的價格非常便宜，不到10美元，許多來自中國，它們將變得無處不在。“

”邊緣AI是一個超級重要的話題，“Yann LeCun說：”在未來兩到三年內，它意味著盡可能降低功耗，修剪神經網絡，優化權重，關閉系統中未使用的部分。在未來兩到三年內，使用這種AI芯片的AR設備將陸續出現。“

他還提到：“十年后，在自旋電子學方面是否會有一些突破，或者任何允許模擬計算而無需硬件多路復用？我們能否想出類似的東西，在不進行硬件多路復用的情況下，大大縮小單個芯片的設備尺寸，這是一個很大的挑戰。“

Leti 首席執行官 Emmanual Sabonnadiere 表示：”公司正在為下一代芯片開發 1nm 和 2nm 技術，我堅信我們可以不同的方式，使用傳感器、神經網絡和控制器來實現這種硬件。我們正在努力制定國家計劃，邊緣AI旨在阻止數據泛濫并保護隱私。“

Leti 也是全歐洲神經網絡計劃的一份子，該計劃正在研究神經網絡芯片的新平臺。

CEA-Leti的副首席執行官兼首席技術長讓·雷內·萊奎佩斯（Jean Rene Lequeypes）表示：“現在，我們已有 2000 多人在努力研究下一代AI技術。位于貝爾焦姆的伊梅克、德國的弗勞恩霍夫和萊蒂正在開發一個邊緣AI平臺，除此之外，我們還在格勒諾布爾的因里亞（Inria）工作，以研發Facebook和硅谷大公司需要的下一代技術和產品。“

挑戰在于集成所有不同的元素，而無需使用 5nm制程及以下所需的EUV光刻機。

Lequeypes 說：”我們希望獲得 1000TOPS/mW 的終極性能，這是一個非常大的挑戰，以及如何處理信息存儲，以及如何集成這些存儲器而無需使用EUV。“

邊緣AI芯片的低功耗突破

以上，提到了高性能和低功耗，在邊緣側，對低功耗的要求非常高，在某種意義上講，它比性能更為重要。這是當下邊緣AI芯片研究的一個重點。

比利時的 Imec 利用一種新技術開發了一種測試芯片，這種技術可顯著降低機器學習邊緣 AI 系統的功耗。

模擬內存計算（AiMC）架構使用經過修改的內存單元在網絡邊緣處理經過訓練的神經網絡中的數據，其功率效率為 2900TOPS/W。

“我們建立了一個特殊的計算單元，通過減少數字傳輸來節省能耗，”imec機器學習項目主管迪得里克·維克斯特說。“根據脈沖寬度，在繼續進行數字計算之前，可以得到ADC上權重的求和，”他說。

“在這個芯片中，我們使用3級權重。權重可以是 -1、0 或 1，我們使用兩個 SRAM 單元來存儲此權重級別。計算單元是一個模擬電路，在兩個SRAM單元上有幾個額外的晶體管，這會產生與存儲的3級權重和激活信號（DAC 的輸出）的乘法成正比的模擬信號。因此，嚴格地說，3 級權重以數字方式存儲，但所有計算都是在模擬域中完成的。“

”模擬推理加速器（AnIA）的成功流片標志著向AiMC驗證邁出了重要一步，“他補充說：”參考設計不僅表明模擬內存計算在實踐中是可行的，而且表明它們比數字加速器實現了10到100倍的能效。從我們的角度來看，這是機器學習程序中的一個里程碑，表明模擬計算可以具有與數字計算相同的精度。“

AnIA測試芯片已采用格芯（GF）位于德國德累斯頓的22nm FD-SOI低功耗工藝平臺，芯片面積為 4平方毫米，具有 1024 個輸入和 512 個輸出信號，其性能與當今的GPU類似。它顯示的精度與數字實現相同，達到1%，但能效為 2900TOPS/W。低功耗和低成本的結合為嵌入式硬件中的邊緣AI圖像識別和傳感提供了機會。

GF計算和有線基礎設施產品管理副總裁 Hiren Majmudar 表示：”在AI領域，模擬計算是一種很有發展前景的前沿技術，因為它允許減少數據移動，這將成為主流。“

Majmudar說：“此測試芯片向業界展示了22FDX是如何顯著降低機器學習應用芯片功耗的。我們獲得了與GPU相同的性能，但具有更高的能效。“

目前，新的 AiMC 功能正在德國德累斯頓Fab 1的先進300mm生產線上進行開發。

預計模擬計算AI芯片將在今年年底或明年初投入生產，并在2022年晚些時候進入大眾市場，甚至可能更早。

GF使用了經過修改的SRAM單元，也可采用其他內存技術，如MRAM，閃存，DRAM等。

在低功耗AI芯片方面，Socionext開發了一個原型芯片，它結合了新開發的量化深度神經網絡（DNN）技術，為小型和低功耗邊緣計算設備實現了先進的AI處理能力。該原型是日本新能源和工業技術開發組織（NEDO）委托的”低功耗AI-Edge LSI技術開發“項目的一部分。

Socionext開發了一種基于”量化DNN技術“的專有架構，以減少深度學習所需的參數和激活位。結果是提高了 AI 處理的性能，同時降低了功耗。該體系結構除了傳統的 8 位之外，還集成了 1 位（二進制）和 2 位（三位）的位縮減，以及該公司的原始參數壓縮技術，大大減少了計算數據量。

此外，該公司還開發了一種新型的片上存儲技術，可提供高效的數據傳輸。

這些新技術集成在原型AI芯片中，據報道，它的功耗不到5W。該公司稱，這比傳統的通用GPU效率高10倍。

另外一家初創AI公司Sima.ai研發了名為MLSoC的芯片，這是一個針對計算機視覺的卷積神經網絡平臺。該芯片原計劃在2020年底流片，采用16nm制程。該公司的目標是處理每秒最高幀/瓦。

該公司稱，該芯片將在5W時提供50TOPS的算力，在20W時提供200TOPS的算力。

當被問及如何與英特爾-Mobileye和Nvidia等老牌企業競爭時，Sima.ai的高層表示，降低功耗是關鍵，因為客戶希望在能耗受限的情況下擴展其工作負載。

待解決的問題

目前，邊緣AI芯片技術和市場都不成熟，處于群雄逐鹿的階段。此時，各種規范還沒成型，存在著一些問題和隱患，如系統偏差和AI倫理道德問題。

亞馬遜AI和機器學習相關人士表示，即使有最好的意圖，數據集中也可能存在偏差，并引入具有業務、道德和監管模型中。這意味著模型管理員必須了解系統中潛在的偏差來源。

對于簡單且易于理解的算法，破解模型、檢查訓練期間學到的參數，以及確定它主要使用哪些功能相當容易。

然而，隨著模型變得越來越復雜，這種分析變得不可能。許多公司和組織可能需要 ML 模型才能解釋，然后才能在生產中使用。此外，當 ML 模型用作相應決策的一部分時，某些規則可能需要解釋，而關閉循環時，可解釋性也有助于檢測偏差。

關鍵是將這些偏差監視和緩解工具集成到邊緣 AI 工作流中，以便開發人員可以使用它們。

隨著AI的發展，其倫理道德問題開始浮出水面，涉及到以下原則：人類自主性、可解釋性、持續關注和警惕性、隱私和安全設計。

恩智浦在一份聲明中表示：”作為AI領域的創新者，我們致力于應用道德原則。消費者依靠AI來承擔更多責任和決策，尤其是在人們希望其設備透明、公平、安全地運行時，安全性是關鍵。通過將這些道德原則構建到能夠感知、解釋和分析邊緣數據的設備中，就可以啟用以合乎道德方式采取行動的AI了。

責任編輯：lq