嵌入式視覺技術賦予機器視覺的力量，但今天的系統仍然無法理解圖像的所有細微差別。一種用于自然語言處理的方法可以解決這個問題。

基于注意力的神經網絡，尤其是變換器網絡，徹底改變了自然語言處理 （NLP），讓機器比以往任何時候都更好地理解語言。這種技術旨在通過為人工神經網絡提供歷史或背景的概念來模擬認知過程，與使用記憶的舊方法（如長短期記憶（LSTM）和循環記憶）相比，它產生了更復雜的人工智能代理。神經網絡（RNN）。NLP 現在對輸入的問題或提示有了更深層次的理解，并且可以創建很長的文本作為響應，這些文本通常與人類可能寫的內容沒有區別。

注意力當然可以應用于圖像處理，盡管到目前為止它在計算機視覺中的使用受到限制。Perceive 首席執行官、人工智能專家 Steve Teig 在接受 EE Times 的獨家采訪時認為，注意力對于視覺應用程序將變得極為重要。

基于注意力的網絡

注意機制查看輸入序列，例如句子，并在序列中的每條數據（音節或單詞）之后決定序列的其他部分是相關的。這類似于您閱讀本文的方式：您的大腦在記憶中保留了某些單詞，即使它專注于您正在閱讀的每個新單詞，因為您已經閱讀的單詞與您正在正確閱讀的單詞結合在一起現在提供有價值的上下文來幫助您理解文本。

泰格的例子是：

汽車在街上打滑，因為它很滑。

當你讀完這句話時，你會明白“滑”可能是指街道而不是汽車，因為你已經記住了“街道”和“汽車”這兩個詞，你的經驗告訴你， “slippery”和“street”比“slippery”和“car”之間的關聯性強得多。神經網絡可以嘗試使用注意力機制來模仿這種能力。

該機制“獲取最近過去的所有單詞，并以某種方式將它們進行比較，以了解哪些單詞可能與哪些其他單詞相關，”Teig 說。“然后網絡知道至少要關注這一點，因為“滑”更有可能與街道或汽車［相關］而不是［任何其他詞］。

因此，注意力是一種專注于將呈現數據的序列減少到可能感興趣的子集（可能僅是當前和以前的句子），然后分配每個單詞可能相關程度的可能性的方法。

“［注意力］最終成為了一種利用時間的方式，以一種有點原則的方式，沒有查看曾經發生的一切的開銷，”泰格說。“這導致人??們，直到最近，還認為注意力是一種可以管理時間的技巧。當然，它對語音處理、語言處理和其他時間事物產生了巨大的積極影響。最近，就在最近幾個月，人們開始意識到，也許我們可以用注意力來做其他的信息聚焦。”

視覺轉換器

迄今為止，為視覺設計的神經網絡對注意力技術的使用非常有限。到目前為止，注意力已與卷積神經網絡 （CNN） 一起應用或用于替換 CNN 的某些組件。但谷歌科學家最近發表的一篇論文（“一幅圖像值得 16 × 16 字：大規模圖像識別的變形金剛，” 2020 年 10 月）認為注意力的概念更廣泛地適用于視覺。作者表明，純 Transformer 網絡是 NLP 中廣泛使用的一種依賴于注意力機制的網絡，當直接應用于圖像塊序列時，可以很好地執行圖像分類任務。研究人員構建的變壓器網絡 Vision Transformer （ViT） 取得了優于 CNN 的結果，但訓練所需的計算資源更少。

雖然很容易想象注意力如何應用于文本或口語對話，但將相同的概念應用于靜止圖像（而不是諸如視頻之類的時間序列）就不那么明顯了。事實上，注意力可以用在空間上，而不是這里的時間上下文中。音節或單詞類似于圖像的補丁。

Teig 的例子是一張狗的照片。顯示狗耳朵的圖像補丁可能會將自己識別為耳朵，即使是在毛茸茸的動物或四足動物身上發現的特定類型的耳朵。同樣，尾巴補丁知道它也存在于毛茸茸的動物和四足動物身上。圖像背景中的樹塊知道它有樹枝和樹葉。注意力機制詢問耳貼和樹貼有什么共同點。答案是，不多。然而，耳貼和尾貼確實有很多共同點。他們可以討論這些共性，也許神經網絡可以找到比“耳朵”或“尾巴”更大的概念。也許網絡可以理解圖像提供的一些上下文，以計算出耳朵加尾巴可能等于狗。

注意力可以通過了解圖像塊之間的相關性來推斷上下文，從而幫助 AI 代理更好地理解圖像中發生的事情。

“狗的耳朵和尾巴不是獨立的這一事實使我們能夠更簡潔地描述圖片中發生的事情：‘圖片中有一只狗’，而不是‘旁邊有一個棕色像素到一個灰色像素，旁邊是……’，這是對圖片中正在發生的事情的可怕描述，”Teig 說。“可以這么說，當系統用這些語義術語描述圖像的各個部分時，這就是可能的。然后它可以將這些聚合成更有用的概念，用于下游推理。”

Teig 說，最終的目標是讓神經網絡理解圖片是一只追逐飛盤的狗。

“祝你好運，用 1600 萬色像素做到這一點，”他說。“這是一種嘗試將其處理為‘有一只狗；有一個飛盤；狗在跑。‘ 現在我有機會理解狗可能在玩飛盤。”

更近一步

谷歌在視覺系統注意力方面的工作是朝著正確方向邁出的一步，Teig 說，“但我認為無論從理論和軟件的角度，還是從硬件的角度來看，這里都有很大的進步空間，當一個不必用巨大的矩陣來打擊數據，我非常懷疑你的大腦正在做什么。有很多東西可以在上下文中過濾掉，而無需將其與其他所有內容進行比較。”

雖然 Google 研究團隊的解決方案比 CNN 更節省地使用計算資源，但 NLP 中通常實現注意力的方式使得像轉換器這樣的網絡非常耗費資源。Transformer 經常構建巨大的 N × N 音節矩陣（用于文本）或像素（用于圖像），需要大量的計算能力和內存來處理。

“那里的數據中心人員認為，‘太好了——我們有一個數據中心，所以一切對我們來說都像是釘子，’”Teig 說，這就是我們最終得到像 OpenAI 的 GPT-3 這樣的 NLP 模型的方式，它的 1750 億個參數。“當你先驗地看到所有東西時，你可以說前面句子中的幾乎所有內容都無關緊要，這有點荒謬。你不能提前做任何過濾嗎？你真的要因為你有一個巨大的矩陣乘法器就粗暴地做這個嗎……？這有任何意義嗎？可能不是。”

科學界最近嘗試減少注意力的計算開銷，已將所需的操作數量從 N 2減少到 N√N。但這些嘗試延續了“近乎普遍的信念——我不同意——即深度學習完全是關于矩陣和矩陣乘法，”Teig 說，并指出最先進的神經網絡研究正在由那些能夠獲得大規模矩陣乘法加速器。

Teig 作為邊緣 AI 加速器芯片公司 Perceive 的首席執行官的觀點是，有更有效的方法來概念化神經網絡計算。Perceive 已經在使用其中一些概念，Teig 認為類似的見解將適用于注意力機制和轉換器網絡。

“我認為關注的精神非常重要，”他說。“我認為機器本身將在未來幾年內迅速發展……在軟件、理論上和硬件方面來代表它。”

今天的大型變壓器網絡最終會安裝到邊緣設備的加速器上嗎？在 Teig 看來，部分問題在于像 GPT-3 的 1750 億個參數這樣的網絡——大約 1 萬億位信息（為了論證而假設 8 位參數）。

他說：“這就像我們在玩20個問題的游戲，只是我要問你一萬億個問題，才能理解你剛才說的話。”也許兩萬或兩百萬不能完成，但一萬億——滾出去！缺陷不是我們有一個20-MW的小芯片；缺陷在于，擁有1750億個參數意味著你真的做錯了什么。

根據泰格的說法，減少基于注意力的網絡的參數數量，并有效地表示它們，可以為邊緣設備帶來基于注意力的嵌入式視覺。而這樣的發展“并不遙遠”。

Percept首席執行官Steve Teig將在嵌入式愿景峰會上發表兩次演講。在“直面偏見”中，他將討論人工智能系統中歧視的來源，而在“TinyML不夠大”中，他將挑戰TinyML模型必須在準確性上妥協以及它們應該在CPU或MCU上運行的觀念。

審核編輯：郭婷