一般來講高性能處理器都會采用深度壓縮、多管道、分支預測和動態執行等技術來最大限度的提升性能，但是這也都是有代價的，尤其會影響功率的效率。

如果這些任務是可以并行執行的，那么就可以采用更多CPU的解決方案，不僅提升了性能還提高了功率效率。為了實現這個功能，CPU供應商開始提供多核和多集群的解決方案，此外操作系統和應用開發者們也開始調整他們的軟件設計來利用這些特性。

隨著時間的推移應用的性能要求也在不斷的變化，因此如果可能，我們需要將它們移植到更高效的CPU上來執行提升功效。對于專業的計算密集型任務，專用的加速器能夠提供非常好的功效，但是不宜長時間使用。

當異構處理器時代到來，從性能和低功耗的角度來看我們需要考慮哪些因素呢？不妨看看下面幾條。

多線程

即使采用動態執行技術，對于一般的工作負載來講，在每個時鐘周期內CPU都不是被全部占用的，大部分時間是用來等待訪問存儲器系統。然而當其中一部分程序（指某個線程）發生阻塞時，硬件資源會用于其他線程任務的執行。這也是多線程對我們是有利的原因：當第一個線程阻塞時有機制能夠切換到第二個線程來執行，這會提升整個系統的吞吐量。充分利用CPU運行的每個執行周期會帶來性能的顯著提升。更具不同的應用，設置第二個線程會從總體上提升CPU的性能達40%，芯片的成本則只增加10%左右。Imagination推出的MIPS CPU就專門集成了硬件多線程特性。

共同的觀點

將一個執行任務從一個處理器移植到另一個處理器上需要處理器具有相同的指令集和系統內存空間。這個特性主要是通過共享虛擬內存（SVM）來實現的，程序中的任何指針必須連續指向相同的代碼或者數據空間，任何被占用的緩存空間對于后續的處理器來說也必須是可見的。

圖1：集群之間轉換時內存移動

圖2：單個集群內部轉換時更小更快的內存移動

緩存空間的一致性

緩存一致性可以通過軟件進行管理，這需要在向后續處理器（CPU B）轉換之前初始處理器（CPU A）要清空它的緩存空間，備份到主存儲空間。然后CPU B從主存儲空間獲取數據和指令。這個過程會頻繁的對存儲空間進行訪問，因此會比較耗時而且消耗功率比較大；因為訪問主存儲空間通常消耗的功率會比從緩存空間取數據明顯高很多，因此這個影響會被進一步放大。為了解決這個問題，硬件緩存一致性能夠記住這些緩存空間的位置，確保后續的訪問能夠獲取正確的數據。

“在很多異構系統中，一個集群往往采用多個高性能處理器，同時另一個集群也會部署更小的高效處理器。在這些不同類型的處理器之間進行任務的轉換意味著新處理器的一級和二級緩存都是空閑的，在轉換期間需要之前的緩存結構和時間才能將新的緩存空間利用起來。

然而，我們又另一個選擇—MIPS I6500 CPU。I6500通過集成的I/O相干單元模塊（IOCU）支持異構混合外部加速器以及同一個集群中不同類型的處理器，即一個集群中允許高性能多線程功率優化的處理器混合使用。現在將任務從一種類型的處理器遷移到另一種類型的處理器上變得更加的高效，因為只有一級緩存是空閑的，而且對于之前的一級緩存的訪問代價也很低，這樣整個遷移過程就變得更加高效了。”

CPU與專用加速器的結合

CPU是通用的處理機器，它們的靈活性使他們能夠處理幾乎所有的任務，但是在效率上就大大折扣了。通過優化PowerVR GPU能夠處理大型高并行計算密集型任務，并體現出較高的性能和功效，相對CPU而言其靈活性則有所降低，但是逐漸建立起了良好的軟件開發生態系統，豐富的API接口如OpenCL、OpneVX等。

專用的硬件加速器具有更高的性能和功效，這一點明顯優于CPU，但在靈活性方面則遠遠落后。

然而對于計算密集型應用使用加速器能夠最大限度的提升系統性能和功效，一些專業的計算型應用場景如音頻和視頻處理、機器學習中的神經網絡處理等都采用類似的數學運算。

硬件加速可以集成到CPU器件中，增加單指令多數據（SIMD）特性以及浮點計算單元（ALUs）。然而通過SIMD單元來處理數據時CPU相當于是一個DMA（直接數據訪問）控制器搬運數據，CPU作為DMA控制器效率是非常低的。

相反地異構系統則能兩者兼顧，它集成了一些專用的硬件加速器，融合了多個CPU內核，通過專用的硬件的設計不僅具備更好的效率，同時也保持非常大的靈活性。

功耗的降低和性能的提升是與加速器執行有效任務占用的時間相關的，適合加速器執行的任務包大小范圍很廣—你可能期望少量的大型任務，而不是很多小型任務。

當然在CPU和加速器之間的轉換也是有代價的，這會限制執行任務的大小從而節省功率提升性能。對于小型任務，功率的消耗和任務傳輸的時間明顯超過了使用加速器節省的功率和時間。

數據傳輸的代價

為了降低時間和功耗的代價，共享虛擬內存（SVM）和緩存一致性技術（I6500 CPU集成了這兩個特性）是最理想的選擇，它們解決了任務傳輸的問題，因為我們不需要再進行數據的拷貝和緩存的清除，當然還有其他可用的技術能夠進一步降低數據傳輸的代價。

HAS組織開發了一個工具來支持異構處理模塊的集成，一個系統的設計遠遠不止CPUs和GPUs，當然HAS系統還提供了一種中間性過渡語言稱為HSAL，通過常規的編譯轉換為異構指令集架構（ISAs），這樣就大大簡化了系統軟件的開發，同時也定義了用戶模式隊列。

用戶模式隊列能夠讓我們有計劃的安排任務的執行順序，以及采用觸發信號，這樣就可以降低任務執行之間的銜接開銷。

異構帶來的好處

異構系統能夠讓我們有機會顯著的提升系統性能并且降低系統的功耗，使得系統能夠繼續擴展，不再受之前處理能力的限制。

多線程、異構和一致性的CPU集群如MIPS I6500處理器集成了所有這些功能特性，是異構系統核心的理想選擇。因此很多應用場景都將其用在下一代產品中，例如ADAS（高級駕駛輔助系統）、自動駕駛汽車、網絡、無人機、工業自動化、安全、視頻分析和機器學習等方面。