分布式存儲簡介

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

分布式存儲常見的架構

中間控制節點架構（HDFS）

分布式存儲最早是由谷歌提出的，其目的是通過廉價的服務器來提供使用與大規模，高并發場景下的Web訪問問題。如圖3是谷歌分布式存儲（HDFS）的簡化的模型。在該系統的整個架構中將服務器分為兩種類型，一種名為namenode，這種類型的節點負責管理管理數據（元數據），另外一種名為datanode，這種類型的服務器負責實際數據的管理。

圖3 HDFS簡化架構圖示意圖

上圖分布式存儲中，如果客戶端需要從某個文件讀取數據，首先從namenode獲取該文件的位置（具體在哪個datanode），然后從該位置獲取具體的數據。在該架構中namenode通常是主備部署，而datanode則是由大量節點構成一個集群。由于元數據的訪問頻度和訪問量相對數據都要小很多，因此namenode通常不會成為性能瓶頸，而datanode集群可以分散客戶端的請求。因此，通過這種分布式存儲架構可以通過橫向擴展datanode的數量來增加承載能力，也即實現了動態橫向擴展的能力。

完全無中心架構---計算模式（Ceph）

如圖是Ceph存儲系統的架構，在該架構中與HDFS不同的地方在于該架構中沒有中心節點。客戶端是通過一個設備映射關系計算出來其寫入數據的位置，這樣客戶端可以直接與存儲節點通信，從而避免中心節點的性能瓶頸。

圖4 Ceph無中心架構

在Ceph存儲系統架構中核心組件有Mon服務、OSD服務和MDS服務等。對于塊存儲類型只需要Mon服務、OSD服務和客戶端的軟件即可。其中Mon服務用于維護存儲系統的硬件邏輯關系，主要是服務器和硬盤等在線信息。Mon服務通過集群的方式保證其服務的可用性。OSD服務用于實現對磁盤的管理，實現真正的數據讀寫，通常一個磁盤對應一個OSD服務。

完全無中心架構---一致性哈希（Swift）

與Ceph的通過計算方式獲得數據位置的方式不同，另外一種方式是通過一致性哈希的方式獲得數據位置。一致性哈希的方式就是將設備做成一個哈希環，然后根據數據名稱計算出的哈希值映射到哈希環的某個位置，從而實現數據的定位。

圖5 一致性哈希原理

如圖5是一致性哈希的基本原理，為了繪制簡單，本文以一個服務器上的一個磁盤為例進行介紹。為了保證數據分配的均勻性及出現設備故障時數據遷移的均勻性，一致性哈希將磁盤劃分為比較多的虛擬分區，每個虛擬分區是哈希環上的一個節點。整個環是一個從0到32位最大值的一個區間，并且首尾相接。當計算出數據（或者數據名稱）的哈希值后，必然落到哈希環的某個區間，然后以順時針，必然能夠找到一個節點。那么，這個節點就是存儲數據的位置。

Swift存儲的整個數據定位算法就是基于上述一致性哈希實現的。在Swift對象存儲中，通過賬戶名/容器名/對象名三個名稱組成一個位置的標識，通過該唯一標識可以計算出一個整型數來。而在存儲設備方面，Swift構建一個虛擬分區表，表的大小在創建集群是確定（通常為幾十萬），這個表其實就是一個數組。這樣，根據上面計算的整數值，以及這個數組，通過一致性哈希算法就可以確定該整數在數組的位置。而數組中的每項內容是數據3個副本（也可以是其它副本數量）的設備信息（包含服務器和磁盤等信息）。也就是經過上述計算，可以確定一個數據存儲的具體位置。這樣，Swift就可以將請求重新定向到該設備進行處理。

圖6 Swift數據定位示意圖

上述計算過程是在一個名為Proxy的服務中進行的，該服務可以集群化部署。因此可以分攤請求的負載，不會成為性能瓶頸。
責任編輯人：CC