對于分布式存儲產品，朋友們第一反應總是：基于Ceph的嗎?

Ceph、HDFS、Glusterfs、Lustre、BeeGFS都是優秀的分布式文件系統，是我們學習的榜樣。但碧海存儲系統是堅持近十年、一次自主研發的嘗試。碧海存儲系統具有良好的擴展能力，業界領先的優異性能，在重負載時系統運行穩定，IO性能波動小。

1.系統架構與可擴展性

碧海存儲采用無中心架構，基于分布式NoSQL數據庫方式管理名字空間，目錄訪問具有更好的性能，并支持搜索功能;基于一致性hash算法實現數據定位，徹底消除傳統存儲中元數據服務器所帶來的可擴展性瓶頸;系統從3節點起步，可輕松擴展至上千個節點。

碧海存儲支持塊、文件、對象多種存儲方式。

碧海存儲系統屬于軟件定義存儲，可部署在標準的x86、ARM、飛騰、申威、龍芯等服務器上。

2.數據保護

碧海存儲系統無單點故障，實現了磁盤級、節點級、機架級的容錯。支持多副本、糾刪碼、RAID，以及RAID+多副本等多種容錯方式，可針對不同的數據安全和存儲成本需求選擇不同的容錯方式。多副本之間使用強一致性協議。

碧海存儲系統以自適應速率方式修復受損數據：既可避免修復流量影響業務負載，又可以在系統空閑時全速率修復，降低數據丟失風險。

3.性能優化技術

分布式存儲系統的IO路徑很長，從客戶端的消息編碼、發送，到數據存儲服務器端的消息接收、解碼，從磁盤讀寫數據，再發回應答。每個環節處理不好都會拖慢整體的性能。只有處理好每一個細節，才能取得優異的性能。

在所有影響性能的因素中，并發性是第一重要的因素。

目前計算機系統中應用程序級別實現并發的方法，主要有進程池、線程池、基于非阻塞IO的事件驅動等方式。學術界和工業界對這些方法的優劣存在長期的爭論，新編程語言的出現也使得這一選擇更加難以分辨。實踐是檢驗真理的標準。碧海存儲系統在開發過程中，嘗試比較了所有的方法，最終選擇“進程池+事件驅動”的并發模型，每個CPU啟動一個IO進程，每個進程內部使用事件驅動模型。這樣既能夠發揮多核CPU的性能,又消除了多線程并發方式導致的調度開銷和鎖開銷，為優異性能奠定了基礎，程序的容錯性也更好。當然，事件驅動模式使得程序的開發和調試更加困難，這是其代價。

其它面向性能優化的措施有：

● 通信協議設計大量使用復合過程，減少IO交互次數;

●使用二進制編解碼方式;

●使用類似于Slab、復雜度為O(1)的緩存管理算法;

●基于零拷貝方式在不同模塊間傳遞數據，避免數據拷貝;

●在處理大數據量時，使用高效的算法和數據結構。

4.流控與IO公平性

分布式系統中，流控可能是最具挑戰性的問題之一。既要高吞吐量、低延遲，又要避免網絡擁塞和存儲系統IO Hang，這也是TCP協議發展幾十年，還需要不斷研究和發展的原因。

碧海存儲系統并沒有設計新的流控算法和機制，而是充分利用了TCP的流控機制，實現了端到端的流控。在具體實現中，流控問題轉換為緩沖區的分配問題。在收到讀請求時，立即為其預留緩存區，而不是在執行讀操作時因缺乏緩沖區而返回失敗;寫請求也采取同樣策略;只有當可用緩沖區大小超過設定閾值時才接收新的讀寫請求，否則不再接收新的請求。這樣就可以從全局避免類似于“receive-livelock”問題。

在分布式存儲系統中，多副本的推送會形成環狀的依賴關系，相互等待，導致性能劇烈波動。碧海存儲系統采用數據寫入磁盤后才發送確認的方式，抑制發送方過快發送數據。

碧海存儲系統實現了針對TCP連接的IO公平性調度。在多個業務共享存儲系統時，運行更穩定。在VDI場景中，能夠實現多個虛機同時顯示登錄界面的效果。

5.易用性

碧海存儲系統的易用性，源自對用戶體驗的極致追求，每個菜單和交互過程，都力求符合用戶的直覺。用戶無需編寫任何配置文件，部署實施簡單快速，20節點1PB容量的存儲系統可在15分鐘內創建完成;Web界面簡潔，運維管理輕松直觀，集群、節點、磁盤實時性能狀態一目了然。長達一年的歷史性能記錄，為業務負載分析、故障排錯提供強有力的支持。

6.性能測試

在使用固態盤和native客戶端時，碧海存儲系統的隨機讀IOPS達到ceph的3倍，隨機寫性能達到Ceph的4倍;讀寫延遲分別為Ceph的1/3和1/4(對比版本為：Ceph 12.2.5)。碧海存儲系統的性能也超越了優異的同類產品Scaleio。

7.客戶體驗