存儲系統(tǒng)是計算機的核心，在人工智能、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)等新興戰(zhàn)略產(chǎn)業(yè)的可持續(xù)發(fā)展中起著重要作用。隨著處理器和網(wǎng)絡設備性能不斷提高，存儲軟件棧成為限制數(shù)據(jù)密集型系統(tǒng)性能的主要因素。近年來，新型存儲設備因其打破“內存墻”的能力而受到廣泛關注。這些設備包括支持塊尋址的閃存設備、支持字節(jié)尋址的非易失性存儲器、存算一體化設備以及大容量光存儲。構建高吞量、低延遲和高可靠性的大規(guī)模存儲系統(tǒng)，需要對算法、軟件設計和硬件的持續(xù)創(chuàng)新。這些創(chuàng)新可以應對大規(guī)模、高性能復雜結構系統(tǒng)構建中存在的挑戰(zhàn)，還可以增加相關系統(tǒng)的構建和應用經(jīng)驗，加快大數(shù)據(jù)處理系統(tǒng)的開發(fā)速度。

研究人員一直致力于解決“內存墻”問題，并改進相關軟硬件生態(tài)系統(tǒng)，從而在新型存儲系統(tǒng)設計和應用方面取得很大進展，包括但不限于以下方面：

1. 不斷推出和優(yōu)化新型存儲設備，例如開放通道固態(tài)盤、可字節(jié)尋址的非易失性存儲器以及存算一體化設備。此外，陸續(xù)推出模擬器、仿真器和軟件定義設備開發(fā)平臺，促進了新型存儲設備的設計和優(yōu)化。

2. 現(xiàn)有存儲軟件系統(tǒng)最初為硬盤或傳統(tǒng)固態(tài)硬盤而設計，不能充分發(fā)揮新型存儲設備性能潛力。針對新型存儲設備，設計了許多新型文件系統(tǒng)、存儲管理軟件、非關系型數(shù)據(jù)庫以及關鍵組件。

3. 利用新型存儲設備加速應用求解（如組合優(yōu)化問題）和提升傳統(tǒng)存儲系統(tǒng)（如基于機械硬盤的糾刪碼存儲）性能。

在此背景下，《信息與電子工程前沿（英文）》期刊組織了本期“新型存儲系統(tǒng)設計與應用”專題。專題涵蓋針對新型存儲設備的輔助設計工具、各種存儲軟件、方法與相關應用，以及對新型存儲系統(tǒng)前沿進展和未來研究方向的綜述。經(jīng)嚴格評審，選入7篇論文，包括1篇綜述和6篇研究。

張廣艷等從5個關鍵指標——吞吐量、延遲、壽命、性能隔離和資源利用率——對開放通道固態(tài)硬盤的設計和應用進行了全面綜述。首先從物理布局、閃存轉換層性質以及接口設計等方面介紹了開放通道固態(tài)硬盤，指出其性能優(yōu)勢和進一步提升性能的機會。然后，詳細討論了發(fā)掘開放通道固態(tài)硬盤性能的方法，包括設計接口、協(xié)同設計閃存轉換層、利用內部并行性以及優(yōu)化I/O調度和垃圾回收等。同時，討論了將這一領域的理論研究成果應用到實際部署時面臨的挑戰(zhàn)。此外，展望了開放通道固態(tài)硬盤的發(fā)展?jié)撃堋?/p>

盡管市場上固態(tài)硬盤的特性在迅速發(fā)展，但由于缺乏真實且可擴展的固態(tài)硬盤開發(fā)平臺，目前對閃存固件的研究主要基于模擬仿真。邵子力等提出一種軟件定義的固態(tài)硬盤開發(fā)平臺SoftSSD，用于快速設計閃存固件原型。SoftSSD的核心是一個具有事件驅動編程模型的新框架?？梢酝ㄟ^編程模型來部署新的閃存轉換層算法，并將其直接集成到全功能閃存固件中。SoftSSD已在實際硬件上實現(xiàn)，并在真實應用場景中進行測量。實驗表明，SoftSSD可以取得良好性能、可觀察性和可擴展性。SoftSSD的開源代碼已發(fā)布。

持久化內存和智能網(wǎng)卡這類新硬件的出現(xiàn)，給文件系統(tǒng)設計帶來新機遇。然而，如何利用持久化內存和智能網(wǎng)卡的特性仍是一項挑戰(zhàn)。楊倚天和陸游游設計并實現(xiàn)了一個名為NICFS的本地文件系統(tǒng)，該系統(tǒng)利用持久化內存的高吞吐量和字節(jié)尋址能力以及智能網(wǎng)卡的處理能力來改善文件系統(tǒng)性能，并減少主機CPU的使用。作者通過一系列實驗驗證了系統(tǒng)的性能、可擴展性和設計的每個部分的有效性。

持久化內存文件系統(tǒng)通過利用持久化內存的非易失性、字節(jié)可尋址性和與動態(tài)隨機存取存儲器相近的性能來實現(xiàn)高性能。然而，持久化內存文件系統(tǒng)存在寫入持久性有限的問題?，F(xiàn)有持久化內存文件系統(tǒng)中的空間管理策略會導致嚴重的磨損不均衡問題，迅速損壞底層持久化內存。張潤宇、劉鐸等提出一種高效的磨損均衡感知多粒度分配器WMAlloc。此外，提出一種基于位圖的多堆樹（BMT），通過避免遞歸分割和低效的堆搜索來優(yōu)化WMAlloc，稱作WMAlloc-BMT，為底層持久化內存提升磨損均衡性的同時顯著降低空間管理開銷。文中通過大量實驗驗證了WMAlloc和WMAlloc-BMT的有效性。

可擴展哈希是管理大規(guī)模數(shù)據(jù)和提高存儲系統(tǒng)效率的有效方法。蔡濤等設計了一種用于非易失性存儲器的高并發(fā)可擴展哈希NEHASH，它使用具有懶惰擴展的多層哈希目錄來提高哈希目錄管理的并發(fā)度和效率。該研究優(yōu)化了哈希目錄和哈希桶的管理策略，并將其分布在動態(tài)隨機存取存儲器和非易失性存儲器之間。相比現(xiàn)有可擴展哈希方案，NEHASH在多線程環(huán)境中實現(xiàn)了更高讀寫吞吐率。

糾刪碼具有更高存儲效率，但與副本相比，其更新開銷和修復成本也更高。此外，并發(fā)更新會使糾刪碼應用面臨一致性和可靠性挑戰(zhàn)。屠要峰、韓銀俊等提出一種數(shù)據(jù)更新與編碼解耦（DDUC）的糾刪碼存儲系統(tǒng)，該系統(tǒng)使用持久化內存實現(xiàn)輕量級日志機制，并將數(shù)據(jù)更新和糾刪碼編碼過程解耦。此外，提出一種副本和校驗塊相結合的數(shù)據(jù)放置策略，解決了由并發(fā)更新引起的數(shù)據(jù)可靠性降低問題，同時通過在校驗和節(jié)點上保存臨時冗余數(shù)據(jù)塊來確保高并發(fā)性能。

組合優(yōu)化問題重要且常見，但許多組合優(yōu)化問題是NP完全的?；煦缒M退火算法有效解決了組合優(yōu)化問題。然而，一般計算平臺無法有效執(zhí)行該算法。孫廣宇等提出一種軟硬件協(xié)同優(yōu)化方案。首先，對算法實現(xiàn)作了修改，使其在保持高效率的同時對硬件更加友好。然后，設計了一種名為COPPER的硬件架構，使用憶阻器進行存內計算。COPPER可有效運行混沌模擬退火算法，并顯著提高計算速度和能效。

總體而言，本專題涵蓋了許多與新型存儲系統(tǒng)設計和應用相關的最新研究課題，包括新型存儲設備和軟件定義的設備開發(fā)平臺、為新存儲設備設計的文件系統(tǒng)、文件系統(tǒng)中的存儲分配器、非易失存儲器的可擴展散列以及新設備的應用，相信對新型存儲系統(tǒng)及相關領域感興趣的人員能夠從中受益。

本文編譯自 Zhang GY， Feng D， Li KQ， et al.， 2023. Design and application of new storage systems. Front Inform Technol Electron Eng， 24（5）：633-636. https://doi.org/10.1631/FITEE.2310000