人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 的加速發(fā)展既得益于基礎(chǔ)硬件的不斷改進(jìn)，也離不開軟件領(lǐng)域的發(fā)展成果。

以 Transformer 架構(gòu)為例。2017 年，谷歌在一篇研究論文中[1]首次提出這一架構(gòu)，它采用自注意力機(jī)制 (self-attention)，使模型能夠在進(jìn)行預(yù)測時(shí)對不同的輸入詞元 (token) 賦予不同權(quán)重。利用自注意力機(jī)制，Transformer 模型能夠捕捉數(shù)據(jù)中的遠(yuǎn)程依賴關(guān)系，因此在執(zhí)行語言翻譯、圖像處理、文本生成和情感分析等任務(wù)時(shí)非常高效。例如，生成式預(yù)訓(xùn)練模型 (GPT) 就是當(dāng)前流行訓(xùn)練有素的 Transformer 模型。這些模型已經(jīng)在語音助手和 AI 圖像生成工具中得到應(yīng)用。

這之于感知器 (perceptron) 還是存在很大的差別。感知器是早期的一種神經(jīng)網(wǎng)絡(luò)，由單層人工神經(jīng)元組成，可在模式識別任務(wù)（例如，識別手寫數(shù)字）中做出二元決策。相較于卷積神經(jīng)網(wǎng)絡(luò) (CNN)，Transformer 架構(gòu)已開始受到更多青睞。CNN 對數(shù)據(jù)架構(gòu)方式會進(jìn)行內(nèi)置假設(shè)，它關(guān)注附近的關(guān)系，以及觀察圖像或視頻中的對象移動或變化方式。

而 Transformer 架構(gòu)則不會做出這些假設(shè)。相反地，它利用自注意力來理解序列的不同部分如何相互關(guān)聯(lián)，而忽略其位置信息。得益于這種靈活性，基于 Transformer 的模型能夠更加輕松地適應(yīng)不同的任務(wù)。

這是如何實(shí)現(xiàn)的？Transformer 架構(gòu)及其采用的注意力機(jī)制徹底改變了 AI 應(yīng)用的格局，因?yàn)樽⒁饬C(jī)制具備的相關(guān)功能可以為諸多用例提供支持。文本（及語言）本身就是編碼信息，圖像、音頻以及其他形式的串行數(shù)據(jù)同樣如此。由于編碼信息可以解讀為一種語言，因此 Transformer 模型可以廣泛應(yīng)用于不同的用例中。這種適應(yīng)性對于理解視頻、填充圖像的缺失部分或同時(shí)分析來自多個(gè)攝像頭的數(shù)據(jù)或多模態(tài)數(shù)據(jù)來源（參見下文示例）等任務(wù)非常有效。

2020 年問世的 Vision Transformer (ViT) 是將 Transformer 架構(gòu)成功應(yīng)用于圖像分類的最早一批神經(jīng)網(wǎng)絡(luò)技術(shù)[2]之一。ViT 將圖像劃分為多個(gè)圖塊，并使用自注意力機(jī)制對這些圖塊之間的交互進(jìn)行建模。

自此，Transformer 模型被迅速應(yīng)用于各類視覺任務(wù)中，例如：

圖像分類

目標(biāo)檢測

語義分割

圖像超分辨率

圖像生成

視頻分類

在硬件上優(yōu)化模型

那么，硬件與這一切有什么關(guān)系呢？關(guān)系相當(dāng)密切！而且硬件將是未來發(fā)展的關(guān)鍵因素。

GPU、TPU 或 NPU（甚至 CPU）都可以處理 Transformer 模型所需的密集矩陣運(yùn)算和并行計(jì)算。同時(shí)，Transformer 架構(gòu)可使更復(fù)雜的模型運(yùn)行于資源更為受限的邊緣設(shè)備上。

主要有以下三個(gè)原因：

與 CNN 或循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 相比，Transformer 架構(gòu)從本質(zhì)上而言更具可并行性。這一特性能更有效地利用硬件，從而可以在計(jì)算資源受限的邊緣設(shè)備上部署基于 Transformer 的模型。

自注意力機(jī)制意味著通過較小的 Transformer 模型所帶來的性能表現(xiàn)，可以媲美基于 CNN 或 RNN 的較大模型，從而降低邊緣部署的算力與內(nèi)存需求。

模型壓縮技術(shù)（例如剪枝、量化、知識提煉和注意力稀疏）的提升可進(jìn)一步縮小 Transformer 模型的大小，同時(shí)又不會造成性能或準(zhǔn)確性的明顯下降。

Transformer 架構(gòu)提升

現(xiàn)在，不妨想象一下功能更強(qiáng)大的計(jì)算資源，畢竟這一切并不遙遠(yuǎn)。通過優(yōu)化支持 Transformer 架構(gòu)的硬件，創(chuàng)新者可充分發(fā)掘這些強(qiáng)大神經(jīng)網(wǎng)絡(luò)的全部潛力，并為跨不同領(lǐng)域和模式的 AI 應(yīng)用帶來全新的可能性。

例如，硬件性能和效率的提升可以：

加快 Transformer 模型的推理速度，從而提高響應(yīng)能力，并改善用戶體驗(yàn)。

部署更大的 Transformer 模型，從而在語言翻譯、文本生成和圖像處理等任務(wù)中獲得更佳表現(xiàn)。

提高在一系列應(yīng)用和部署場景中的邊緣設(shè)備、云服務(wù)器或?qū)Ｓ?AI 加速器中部署 Transformer 解決方案的可擴(kuò)展性。

探索全新架構(gòu)，并不斷優(yōu)化 Transformer 模型。這其中包括嘗試不同的層配置、注意力機(jī)制和正則化技術(shù)，以進(jìn)一步提高模型的性能和效率。

顯著提高能效，鑒于某些模型的規(guī)模增長，這一點(diǎn)至關(guān)重要。

試想一下，當(dāng)你打開手機(jī)或智能眼鏡上[3]的某個(gè)視覺應(yīng)用，它可以識別某個(gè)款式的襯衫，并從你的衣柜中推薦與之搭配的下半身穿著。或者由于算力提升而出現(xiàn)的新的圖像生成功能[4]。

增加計(jì)算資源并不困難。集成子系統(tǒng)可提供經(jīng)過驗(yàn)證的各種處理單元塊，包括 CPU、NPU、互連、內(nèi)存和其他組件。而軟件工具可以根據(jù)處理器來優(yōu)化 Transformer 模型，以獲得性能和效率的最大化。

擁抱未來

通過硬件優(yōu)化，Transformer 模型架構(gòu)有望推動一些令人驚嘆的新應(yīng)用。借助優(yōu)化的硬件配置以及集成子系統(tǒng)、互連和軟件開發(fā)，無論是更快的推理速度，為更大的模型提供更好的性能，還是更出色的可擴(kuò)展性等等，這一切都將成為可能。這條通往創(chuàng)新和探索的全新旅程，正在蓬勃發(fā)展，引領(lǐng)我們走向更遠(yuǎn)的未來。

審核編輯：劉清