我們在為 Arm Cortex-M 處理器系列設計矢量擴展 (MVE) —— Arm Helium 技術時，希望它能廣泛地適用于各種數字信號處理 (DSP) 的應用。具備高效的數據計算能力只成功了一半，同樣重要的是具備在內存中訪問和存儲這些數據的能力。

正如之前的文章內容所述，Helium 是一種四節拍矢量架構。將數據加載到矢量中的最直接的方法是連續加載操作（見圖一）。在每個節拍中，都從標量寄存器中指定的基址開始依次訪問內存。無論目標數據類型如何（8、16 或 32 位），都可以通過充分利用總線寬度的訪問來高效地執行這一操作，因為數據元素在內存和矢量中都是相鄰的，存儲操作也是如此。

圖一：連續加載操作

內存是一種稀缺資源，通常情況下，要盡可能緊湊地打包數據，使用可容納數據的最小數據類型。不過，在處理數據時，可能需要更多的空間，以避免在計算的中間階段出現溢出。這可以作為一個獨立的拓寬指令來執行，但正如本系列第一篇文章所述，它存在時間跨越問題（對于 8 到 32 位的擴展，將數據擴展到最后一節拍需要第一節拍的數據，而第一節拍的數據已不可用）。

因此，擴展指令不能與其他指令重疊，否則會對性能產生不利影響。相反，Helium 引入了改變大小的內存操作。數據可以作為單個 8、16 或 32 位訪問，針對每個節拍高效加載，并用零或符號擴展，以匹配所需的數據類型。在圖二的示例中，我們希望執行將每個矢量通道的 8 位加載擴展到 16 位。兩個 8 位數據樣本作為一個 16 位加載操作加載，每個樣本在寫入矢量通道之前擴展到 16 位。同樣，對于存儲來說，數據可以截斷到所需的大小，實現高效存儲。

圖二：加載擴展

Helium 加載和存儲指令具有與 M 系列架構的其他部分相同的豐富的尋址模式集，支持預遞增或后遞增以及指針回寫等功能。這樣，在大多數情況下就不需要單獨進行指針操作了。

DSP 應用通常在數據結構而非單個元素上運行。例如，立體聲音頻數據通常以左右數值交織流的形式存儲。同樣，圖像數據通常以紅、綠、藍、Alpha 交錯值的形式存儲。這是上一篇文章的主題內容，其中介紹了可以有效實現這一目標的結構化加載/存儲指令。

有時，存儲在內存中的數據無法以便捷的方式構建以實現連續訪問。在某些架構中，這實際上會阻礙代碼的矢量化。Helium 通過“離散?聚合”操作解決了這一問題。這些操作將偏移矢量指向內存，這樣就可以用一條指令訪問多個非連續地址（見圖三）。它們還能擴展或截斷所訪問的數據。

圖三：匯總負載

“離散-聚合”操作是一種功能強大的指令，可為應用提供很大的靈活性。例如，它們幾乎是實現 FFT（快速傅里葉變換）不可或缺的工具；在這種算法中，第一個或最后一個蝴蝶階段的內存訪問需要使用反位尋址執行。專用反位指令 (VBRSR) 生成反位尋址模式，供這些離散-聚合指令使用。為了提高性能，這些指令重疊執行，加載數據的效率遠遠超過同等序列的標量指令。而且，它們也更容易使用。雖然連續矢量訪問能為規律模式提供更好的性能，但由于離散-聚合指令無法對數據布局做出假設，因此有多少個不同的元素，匯總加載指令就必須執行多少次單獨的訪問。對于 8 位數據，訪問次數可能多達 16 次，這就成了不斷加載的負載。

DSP 應用通常使用一種稱為循環尋址的內存布局。可以按順序訪問元素，但最多只能訪問配置的緩沖區大小，之后的訪問會繞回到第一個元素（見圖四）。例如，從元素 N?1 開始的四元素讀取操作將會訪問元素 N?1, 0, 1, 2。

圖四：循環緩沖區示例

這在 DSP 應用中用途廣泛，包括在處理數據流后只需要前 N 個數據樣本時避免指針操作。在 FIR 濾波器中，最后 N 個數據樣本需要與一組系數相乘，才能產生所需的濾波器響應。當一個新的數據樣本到來時，需要處理的是之前的 N?1 個樣本和新樣本，最舊的樣本不再使用。數據可以重新排列，使要處理的緩沖區總是按正確的順序包含元素，但這需要在開始處理前將每個樣本復制到不同的位置，耗費大量資源。如果使用循環緩沖區，就可以就地訪問數據，必要時還可以繞回到開頭，而且只需要寫入一次就可以用最新的樣本替換最舊的樣本。

一些 DSP 通過專用訪問指令和專用寄存器來實現循環緩沖區的起始地址和結束地址。指針每次遞增時，硬件都會將其與結束地址進行比較，并相應地回繞。這意味著同時支持的循環緩沖區數量受到可用硬件的限制。這也意味著每次中斷都需要保留大量額外狀態，而這會影響延遲。為此，所需的硬件支持不容忽視；在典型的實施中，需要更復雜的地址生成單元。為了避免這種情況，一些 DSP 要求循環緩沖區的大小等于 2 的冪次方，緩沖區的地址調整為該大小的倍數。可以通過將指針與位掩碼進行 AND 運算實現，從而簡化硬件要求。但是，這樣會限制這些緩沖區的放置和使用，特別是幾乎無法直接從高級語言使用緩沖區。由于 M 系列的宗旨是讓一切都能通過 C 語言輕松使用，因此我們需要想出一種更好的方法。

我們的解決方案是將循環緩沖區分成兩個不同的操作，其方式與上文討論的反位尋址類似。我們將用于生成回繞偏移的指令與離散?聚合指令相結合來訪問這些偏移地址的數據。這就為緩沖區大小和位置提供了靈活性，而且關鍵路徑上也不需要有專用硬件。循環緩沖區生成指令 (VIWDUP) 可創建一個矢量，其中包含一連串遞增的偏移量，當到達終點位置時會回繞到開頭（見圖五）。該指令用從 R0 值開始的序列填充矢量寄存器 Q0，并在達到 R1 值時回繞。然后，它將更新后的起始偏移量 2 寫回 R0。這條指令的一個巧妙設計是，每次寫入 Q0 的偏移量矢量都是由標量值重新生成的。

通常下一條指令就是使用偏移量的離散?聚合指令，因此 Q0 可以直接重復用于其他目的。立即值指定偏移量的增量，這對于處理不同的元素大小非常有用。例如，如果加載的是 32 位數值，將使用四個字節的增量。可以指定任意增量或減量，因此該指令可用于其他需要通用數字模式的情況。通過這種方式，Helium 可以提供任意數量的循環緩沖區，在內存中具有靈活的大小、方向和對齊方式，而且這個過程只需要使用現有的硬件就可以提供序列生成指令。

圖五：序列生成指令的操作示例

那么性能表現如何呢？雖然需要額外的偏移生成指令 (VIWDUP)，但我們發現在許多情況下，可能會因為與內存訪問本身重疊而隱藏了開銷。在所有情況下，這一開銷都小于在沒有硬件支持的情況下管理回繞的計算工作量。我們之前也說過，出于性能考慮，最好使用連續訪問。循環緩沖區的特別之處在于，大部分訪問都是連續的，只有偶爾發生回繞時才會出現不連續。一種方法是離散-聚合指令比較偏移值，然后合并連續的訪問。遺憾的是，這樣做將需要大量額外的硬件，并給設計的關鍵部分增加許多額外的復雜性。在負載連續的情況下，離散?聚合操作會降低性能，這違背了我們追求將每個 gate 的性能發揮到極致的原則。

當我們試圖找到解決這個問題的方法時，我們注意到偏移生成指令 (VIWDUP) 已經掌握回繞點的位置。如果能將這一信息傳遞給離散-聚合指令，它就能將訪問提升為連續訪問，而無需使用昂貴又耗時的偏移比較器。那么我們能不能指定一個額外的標量寄存器來傳輸這些信息呢？遺憾的是，這將增加所需的讀取端口數量，而且標量依賴關系從 VIWDUP 改為離散?聚合指令將會導致指令無法重疊。Helium 實現是否可以將這些信息存儲在隱藏的微架構元數據中，并在矢量發生修改時清除元數據？一般不建議這樣做，因為元數據需要在中斷時保留，而這會影響延遲。

但我們發現，在這種情況下，我們不需要保留元數據。在出現異常的極少數情況時，備選措施是正常執行離散-聚合，而不是優化連續訪問。通過使用易失性隱藏元數據來指示連續訪問，可以優化普通非回繞情況下的性能，同時避免出現額外的架構狀態和中斷延遲。

在受限的環境中工作極具挑戰性，Helium 要求我們不斷尋找創新的解決方案，充分發揮硬件性能。我們努力聯合設計架構和微架構，尋找一系列內存訪問指令，既能滿足 DSP 應用的需要，又能最大限度地減少實現這些指令所需的硬件數量。特別是在循環緩沖區方面，我們延續了 M 系列的傳統，確保每個 gate 都物盡其用，從而以較低的面積實現性能表現，同時為終端用戶提供良好的體驗感。

審核編輯：劉清