01
分布式存儲系統與糾刪碼技術背景
分布式存儲是當代大數據的基本存在形式,在工業界和學術界已經得到深入研究和高度重視,為了解決大規模存儲帶來的磁盤故障,跨節點直接復制數據包存儲是最簡單的解決方案。分布式存儲能增強存儲系統可靠性、柔性生存力、抗數據損毀風險;是實現網絡熱點訪問負載均衡的技術途徑、提高邊緣計算的處理效率;能達成數據共享服務和隱私保護的便利性。
02
存儲系統局部再生修復技術的興起
數據編碼分布式存儲有明顯的短板,從而提出分布式存儲的局部可修復問題和熱數據節點負載平衡問題。歸納為發展局部再生修復編碼技術的源動力包括減少修復成本以提高維護效率,負載均衡與邊緣計算服務。當今分布式存儲的新需求是節點數據間接訪問的局部重構開銷問題和節點數據的局部修復開銷問題。
03
局部可修復碼LRC及其技術發展態勢
分布式存儲的局部修復碼LRC是一個欲求解的科學問題,分布式數據的局部再生的性能參數直接的制約博弈關系。分布式存儲的局部修復碼研究現狀:LRC碼性能界的上限和LRC糾刪碼的具體構造辦法,此處列舉了實例和成果。
04
Remarks and Summary
從應用需求看,LRC或RGC糾刪碼尚存在的不足和傾向如下:
LRC和RGC糾刪碼的研究存在瓶頸,未來十年需要大家一起挑戰存儲糾刪碼,提升優異技術性能。
隨著計算機技術和存儲技術的發展,數據正以爆炸式的速度增長,海量數據對存儲系統提出了巨大的挑戰。糾刪碼技術以犧牲CPU計算量和網絡負載為代價,提高存儲空間利用率,同時提供近似副本的可靠性。 本篇文章聚焦于分布式存儲系統中的糾刪碼技術,將豐富的理論和工程實踐經驗加以糅合,探討可局部再生修復糾刪碼技術用于提高分布式存儲可靠性的實質問題,有助于存儲產業在分布式存儲架構層面上不斷探索和完善。
原文標題:分布式存儲系統中的糾刪碼技術:可局部再生修復技術
文章出處:【微信公眾號:存儲加速器】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
存儲
+關注
關注
13文章
4791瀏覽量
90058 -
LCR
+關注
關注
0文章
167瀏覽量
22097 -
大數據
+關注
關注
64文章
9063瀏覽量
143743
原文標題:分布式存儲系統中的糾刪碼技術:可局部再生修復技術
文章出處:【微信號:TopStorage,微信公眾號:存儲加速器】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
分布式數據恢復—Ceph+TiDB數據恢復報告
陽臺微儲及戶用混合儲能等分布式能源存儲系統的架構演進
PLC遠程上下載在分布式設備運維系統中的作用
【節能學院】Acrel-1000DP分布式光伏監控系統在奉賢平高食品 4.4MW 分布式光伏中應用
一鍵部署無損網絡:EasyRoCE助力分布式存儲效能革命
Ceph分布式存儲系統解析
曙光存儲領跑中國分布式存儲市場
分布式存儲數據恢復—虛擬機上hbase和hive數據庫數據恢復案例
27MHz HCSL 差分晶體振蕩器在數據中心網絡存儲系統中的應用方案
抗干擾CAN總線通信技術在分布式電力系統中的應用
分布式光伏發運維系統實際應用案例分享
秒殺傳統存儲!億萬克DM3000分布式存儲:EB級擴容+協議瞬通
分布式存儲系統與糾刪碼技術背景
評論