超融合基礎架構（HCI）是繼服務器虛擬化技術之后的一次重大IT技術革新，其特點是通過分布式存儲技術將各個計算節點（Hypervisor）的存儲資源整合為一個統一的存儲資源池，給虛擬化平臺提供存儲服務，實現計算、存儲、網絡、虛擬化的統一管理和資源的橫向擴展，保障用戶業務的高可用。

在超融合基礎架構中，虛擬化是基礎，而分布式存儲則是超融合的技術核心。從架構而言，HCI的分布式存儲通常有兩種方式來支持虛擬化，一種是以Nutanix NGFS為代表的采用控制虛擬機方式支持Hypervisor，如圖一；另一種是直接在Hypervisor中集成分布式存儲功能，如VSAN。業界除了VSAN外，其它HCI全部采用控制虛擬機方案支持VMware虛擬化，而對于KVM虛擬化，各廠家采用在物理主機中實現分布式存儲功能。

圖一

主流的超融合廠商有Nutanix（NGFS），VMware（VSAN），以及國內新興代表力量如華為（FusionCube），H3C（OneStor），SMARTX（ZBS），深信服（aSAN）,和道熵（Titlis）。其中Nutanix的NGFS和SMARTX 的ZBS 脫胎于Google的GFS分布式文件系統；華為的FusionCube和H3C的OneStor是基于Ceph的定制化開發；而深信服的aSAN則是基于GlusterFS；VSAN在很大程度上和Ceph架構類似；而道熵的Titlis分布式存儲在接口層兼容了標準Ceph接口，底層采用了磁盤陣列中常見的存儲虛擬化技術。

根據對超融合產品的重要程度，我們選擇了幾方面的技術功能進行了相關考察：

1、抗靜默錯誤

2副本或3副本機制可以保證在硬盤損壞甚至節點宕機的惡劣環境下，仍然保持高可用。但是面對“靜默錯誤”的情況，分布式塊存儲的副本機制則無能為力，騰訊云在不久前的“靜默錯誤”風波證明了這一點，后果也是相當嚴重，用戶的所有數據全部丟失，無法修復。

靜默錯誤譯自英文：Silent Data Corruption。磁盤在使用過程中，除了會發生硬件錯誤、固件BUG或者軟件BUG、供電問題、介質損壞等可以正常捕獲和告警的常規故障之外，還會發生一些無法預警的錯誤，用戶直到使用的時候才發現數據是錯誤的、損壞的，這就是靜默錯誤。簡而言之，就是用戶在使用的時候發現寫入數據和讀取出來的不一致。

“靜默錯誤”的概率不低。硬盤的誤碼率是“靜默錯誤”產生的原因之一，根據官方數據，企業級硬盤每120Tb就會有一位靜默錯誤的概率；另一方面，磁盤次記錄磨損、磁盤幻象寫、磁盤指向錯誤、DMA校驗錯誤等等，都有可能引發靜默錯誤，主板老化、內存條松動、連接線和卡的松動等都會導致讀出的數據不是當初寫入的數據。

在線數據完整性校驗技術被認為是唯一能夠有效應對靜默錯誤的關鍵技術。 在線數據完整性校驗技術確保每個數據塊都有相對應的數據校驗碼，數據在讀出時，必須與校驗碼匹配后才交付前端應用，否則，啟動數據自修復機制。目前，在所有的超融合廠商中，只有Nutanix的NDFS和道熵的Titlis支持在線數據完整性校驗和數據自修復技術。 VSAN只在全閃存環境中具備在線數據完整性校驗功能。

2、應對大延遲問題

分布式存儲常產生大延遲現象，隨著節點數增多，數據量增大而頻次提升。此現象的根源在于分布式存儲共有的數據在磁盤間隨機分布的特征造成的：小數據塊隨機落盤在不同節點磁盤上，由概率論可知，這就造成了每塊磁盤上的工作流呈現“正態分布”，盡管多數磁盤的工作負載呈平均狀態，而正態分布的“尾部效應”可知，有極少部分磁盤的工作負載遠遠超過平均值，成為系統中的“熱點磁盤”而構成性能瓶頸，而帶來大延遲問題。

市場上的分布式存儲技術（除道熵Titlis外）有一個共同點，就是均采用2副本或3副本的方式實現數據在不同節點的磁盤上隨機均勻分布，從而實現高可用和磁盤故障保護。在應對大延遲問題方面，道熵Titlis采用存儲虛擬化技術將節點內存儲資源池化管理，不僅實現節點內RAID保護，同時實現了節點內負載自動均衡功能，有效避免由“熱點磁盤”導致的大延遲問題。

3、Flash加速

Flash緩存加速技術是分布式存儲提升IOPS性能的重要手段。基于Ceph或GlusterFS的超融合廠商在該項技術面臨挑戰，因為原生的Ceph并沒有一個成熟的Flash緩存技術手段，需要各個廠家自行研發解決方案。目前大都在Flashcache、bcache、lvmcache基礎上進行二次開發，總體而言，其穩定性和性能差強人意。