境外服務器的3種體系架構：SMP、NUMA、MPP!

從系統(tǒng)的體系架構來看，目前的商用服務器大體上可以分為3類：SMP(對稱多處理器)結構、NUMA(非一致存儲訪問)結構和MPP(海量并行處理)結構。這3類系統(tǒng)體系架構的服務器，它們具體的特征描述如下：

一、 SMP(Symmetric Multi-Processor)

所謂“對稱多處理器”結構，是指服務器中多個CPU對稱工作，無主次或從屬關系。各CPU共享相同的物理內存，每個CPU訪問內存中的任何地址所需時間是相同的，因此SMP也被稱為“一致存儲器訪問”結構(UMA：Uniform Memory Access)。對SMP服務器進行擴展的方式，包括增加內存、使用更快的CPU、增加CPU、擴充I/O(槽口數(shù)與總線數(shù))，以及添加更多的外部設備(通常是磁盤存儲)。

SMP服務器的主要特征是“共享”，系統(tǒng)中所有資源(CPU、內存、I/O等)都是共享的。也正是由于這種特征，導致了SMP服務器的主要問題，那就是它的擴展能力非常有限。對于SMP服務器而言，每一個共享的環(huán)節(jié)都可能造成SMP服務器擴展時的瓶頸，而最受限制的則是內存。由于每個CPU必須通過相同的內存總線訪問相同的內存資源，因此隨著CPU數(shù)量的增加，內存訪問沖突也將隨之增加，最終會造成CPU資源的浪費，使得CPU性能的有效性大大降低。實驗證明，SMP服務器CPU利用率最好的情況是2至4個CPU。

二、NUMA(Non-Uniform Memory Access)

由于SMP服務器在擴展能力上的限制，人們開始探究如何進行有效地擴展從而構建大型系統(tǒng)的技術，NUMA(非一致存儲訪問)就是這種努力下的結果之一。利用NUMA(非一致存儲訪問)技術，可以把幾十個CPU，甚至上百個CPU組合在一個服務器內。

NUMA服務器的基本特征是，具有多個CPU模塊，每個CPU模塊由多個CPU(例如4個)組成，并且具有獨立的本地內存、I/O槽口等。由于其節(jié)點之間可以通過互聯(lián)模塊進行連接和信息交互，因此每個CPU都可以訪問整個系統(tǒng)的內存。顯然，訪問本地內存的速度，將遠遠快于訪問遠地內存(系統(tǒng)內其它節(jié)點的內存)的速度，這也是“NUMA(非一致存儲訪問)”的由來。由于它的這個特點，為了更好地發(fā)揮系統(tǒng)性能，開發(fā)應用程序時需要盡量減少不同CPU模塊之間的信息交互。利用NUMA(非一致存儲訪問)技術，可以較好地解決原來SMP系統(tǒng)的擴展問題，在一個物理服務器內可以支持上百個CPU。

但NUMA(非一致存儲訪問)技術同樣具有一定的缺陷，由于訪問遠地內存的延時，遠遠超過本地內存，因此當CPU數(shù)量增加時，系統(tǒng)性能無法線性增加。例如惠普公司發(fā)布Superdome(超級穹頂)服務器時，曾公布了這款服務器與惠普其它UNIX服務器的“相對性能值”，結果發(fā)現(xiàn)，64路CPU的Superdome服務器 (NUMA結構)的相對性能值是20，而8路N4000服務器(SMP結構)的相對性能值是6.3。從這個結果可以看到，8倍數(shù)量的CPU換來的只是3倍性能的提升。

三、 MPP(Massive Parallel Processing)

和NUMA(非一致存儲訪問)不同，MPP(海量并行處理)提供了另外一種進行系統(tǒng)擴展的方式，MPP(海量并行處理)由多個SMP服務器通過一定的節(jié)點互聯(lián)網(wǎng)絡進行連接，協(xié)同工作，完成相同的任務，從用戶的角度來看是一個服務器系統(tǒng)。

MPP服務器基本特征是，由多個SMP服務器(每個SMP服務器稱為一個“節(jié)點”)通過節(jié)點互聯(lián)網(wǎng)絡連接而成，每個節(jié)點只訪問自己的本地資源(內存、存儲等)，是一種“完全無共享/零共享”結構，因而擴展能力最好，理論上其擴展無限制，目前的技術可實現(xiàn)512個節(jié)點的互聯(lián)，數(shù)千個CPU。

在MPP(海量并行處理)系統(tǒng)中，每個SMP(對稱多處理器)節(jié)點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等。但和NUMA(非一致存儲訪問)不同的是，MPP(海量并行處理)系統(tǒng)不存在“異地內存訪問”的問題。換言之，每個節(jié)點內的CPU，都不能訪問另一個節(jié)點的內存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡實現(xiàn)的，這個過程一般稱為“數(shù)據(jù)重分配”。

MPP服務器需要一種復雜的機制來調度和平衡各個節(jié)點的負載和并行處理過程。目前一些基于MPP(海量并行處理)技術的服務器，往往通過系統(tǒng)級軟件(如：數(shù)據(jù)庫)來屏蔽這種復雜性。舉例來說，NCR的Teradata就是基于MPP(海量并行處理)技術的一個關系數(shù)據(jù)庫軟件，基于此數(shù)據(jù)庫來開發(fā)應用時，不管后臺服務器由多少個節(jié)點組成，開發(fā)人員所面對的都是同一個數(shù)據(jù)庫系統(tǒng)，而不需要考慮如何調度其中某幾個節(jié)點的負載。

四、 NUMA(非一致存儲訪問)與MPP(海量并行處理)的區(qū)別

從系統(tǒng)架構來看，NUMA(非一致存儲)與MPP(海量并行處理)具有許多相似之處：它們都由多個節(jié)點組成，每個節(jié)點都具有自己的CPU、內存、I/O，節(jié)點之間都可以通過節(jié)點互聯(lián)機制進行信息交互。那么它們的區(qū)別在哪里?通過下面分析NUMA(非一致存儲訪問)和MPP(海量并行處理)服務器的內部架構和工作原理不難發(fā)現(xiàn)兩者的差異所在。

1、首先是節(jié)點互聯(lián)機制不同，NUMA(非一致存儲訪問)的節(jié)點互聯(lián)機制是在同一個物理服務器內部實現(xiàn)的，當某個CPU需要進行遠地內存訪問時，它必須等待，這也是NUMA服務器無法實現(xiàn)CPU增加時，性能線性擴展的主要原因。而MPP(海量并行處理)的節(jié)點互聯(lián)機制，是在不同的SMP服務器外部通過I/O實現(xiàn)的，每個節(jié)點只訪問本地內存和存儲，節(jié)點之間的信息交互與節(jié)點本身的處理是并行進行的。因此MPP(海量并行處理)在增加節(jié)點時，性能基本上可以實現(xiàn)線性擴展。

2、其次是內存訪問機制不同。在NUMA服務器內部，任何一個CPU都可以訪問整個系統(tǒng)的內存，但遠地內存訪問的性能，遠遠低于本地內存訪問，因此在開發(fā)應用程序時應該盡量避免遠地內存訪問。而在MPP服務器中，每個節(jié)點只訪問本地內存，不存在遠地內存訪問的問題。

審核編輯：湯梓紅