2018天貓雙11全球狂歡節(jié)，全天成交額再次刷新紀(jì)錄達到2135億元，其中總成交額在開場后僅僅用了2分05秒即突破100億元，峰值的交易量達到驚人的高度，背后離不開阿里云大數(shù)據(jù)計算和存儲能力的支撐。在整個交易的鏈路上，賬單業(yè)務(wù)是一個重要的環(huán)節(jié)，尤其對商家系統(tǒng)來說，需要定期對賬，賬單子系統(tǒng)出現(xiàn)一點點問題都會影響商家的運營，2018的雙十一，承載賬單的消息系統(tǒng)把全網(wǎng)賣家賬單系統(tǒng)60%的流量托付給了阿里云文件存儲。在11日0點的峰值交易時刻，賬單消息系統(tǒng)的寫入流量瞬間達到日常流量的60倍以上，阿里云文件存儲表現(xiàn)穩(wěn)定，順利扛下這一波洪峰，幫助業(yè)務(wù)系統(tǒng)完美度過0點的考驗。本文將介紹阿里云文件存儲的背景，以及文件存儲是如何來保障業(yè)務(wù)系統(tǒng)應(yīng)對高壓力的。

什么是云上的NAS文件存儲

在阿里云的發(fā)展早期，在云服務(wù)器ECS上運行的應(yīng)用需要進行數(shù)據(jù)存儲時，有兩個選擇：

• 云盤：兼容應(yīng)用的IO接口，但是和物理機使用硬盤一樣，云盤和ECS綁定，單塊云盤只能特定ECS訪問；
  

• OSS：多ECS可以共享訪問，但需要應(yīng)用調(diào)整IO接口，使用OSS的REST接口；
  

但如果應(yīng)用既想保留原有的IO接口（一般是POSIX接口），又需要實現(xiàn)多ECS共享存儲，就沒有很好的解決辦法。NAS文件存儲在這樣的背景下應(yīng)運而生，針對傳統(tǒng)企業(yè)級應(yīng)用的存儲需求，通過標(biāo)準(zhǔn)NAS系統(tǒng)協(xié)議（NFS/SMB），為ECS提供共享存儲，支持隨機讀寫以及PB級別容量，并且支持容量動態(tài)擴展，方便業(yè)務(wù)從小規(guī)模逐漸擴大過程中，不需要再擔(dān)心存儲容量的擴容以及運維問題。

阿里云NAS文件系統(tǒng)從2016年推出至今，已經(jīng)應(yīng)用在豐富的業(yè)務(wù)場景中，包括高HPC性能計算、Web服務(wù)和內(nèi)容管理、媒體和娛樂處理工作流、容器存儲、基因和生命科學(xué)數(shù)據(jù)存儲處理，深度學(xué)習(xí)大數(shù)據(jù)處理等等，很好地服務(wù)了云上的客戶。

NAS文件存儲架構(gòu)設(shè)計

阿里云文件存儲是一個可共享訪問，彈性擴展，高可靠，高性能的分布式文件系統(tǒng)，其架構(gòu)設(shè)計如圖1所示。

圖1： 阿里云文件存儲架構(gòu)

整個技術(shù)棧分五層，第一層是各類計算節(jié)點（比如ECS、Docker、GPU等）不同操作系統(tǒng)使用標(biāo)準(zhǔn)文件協(xié)議NFS/SMB訪問文件存儲。第二層是阿里云網(wǎng)絡(luò)負(fù)載均衡，把客戶端請求輪轉(zhuǎn)發(fā)送到前端機。第三層是負(fù)責(zé)協(xié)議處理的前端機，具備scale-out的能力。第四層是文件系統(tǒng)元數(shù)據(jù)管理，實現(xiàn)高效的數(shù)據(jù)結(jié)構(gòu)保證元數(shù)據(jù)的快速操作。第五層是元數(shù)據(jù)和數(shù)據(jù)的持久化存儲，使用阿里云盤古存儲系統(tǒng)。

整個架構(gòu)通過盤古保證高可靠，另外通過文件存儲高效的數(shù)據(jù)和元數(shù)據(jù)管理技術(shù)實現(xiàn)scale-out、高可用，超高的數(shù)據(jù)訪問性能以及一系列企業(yè)級存儲的特性，如圖2所示。

圖2?阿里云文件存儲特性

賬單業(yè)務(wù)消息系統(tǒng)適配文件存儲

隨著云上文件存儲的知名度越來越廣，阿里集團的很多內(nèi)部業(yè)務(wù)也開始接入文件存儲，其中就包括支撐賬單業(yè)務(wù)的消息系統(tǒng)。

架構(gòu)設(shè)計

消息系統(tǒng)的存儲本來使用的是本地盤，這樣最主要的問題就是當(dāng)單機故障時，存儲在磁盤上的數(shù)據(jù)沒法及時被其他主機訪問，其他主機不能快速接管原來主機的業(yè)務(wù)，缺乏容災(zāi)的能力，對應(yīng)用的影響非常大。而使用文件存儲天然具有多機共享訪問的能力，可以很好的解決這個問題。

但是，如果只是簡簡單單地做一個替換，把本地存儲換成文件存儲，如圖3那樣，

圖3 本地存儲替換成文件存儲（共享訪問）

多臺ECS通過NFSv4掛載同一個文件系統(tǒng)，每個ECS會使用到一個文件系統(tǒng)里的多個子目錄作為消息文件的存儲空間，雖然解決了前述的容災(zāi)問題，但這個架構(gòu)的問題是過于依賴單點的存儲，萬一單文件系統(tǒng)發(fā)生故障，所有消息隊列的訪問都會受到影響，因此需要對架構(gòu)進行進一步調(diào)整。調(diào)整的基本思路就是將流量盡量打散到多個文件系統(tǒng)上，同時又避免對業(yè)務(wù)方軟件的改造。

調(diào)整后的架構(gòu)入圖4所示，為業(yè)務(wù)創(chuàng)建多個虛擬云機房，每個虛擬云機房的消息系統(tǒng)存儲由4個NAS文件系統(tǒng)來承載，消息系統(tǒng)計算節(jié)點ECS會同時掛載4個文件系統(tǒng)，并且通過軟鏈接的方式在‘nasroot’目錄下看到多個隊列，對業(yè)務(wù)使用上來說，這些隊列對應(yīng)的目錄是在同一個文件系統(tǒng)（原來的架構(gòu)）還是多個文件系統(tǒng)（新的架構(gòu)）是不感知的，這樣就將業(yè)務(wù)需要改造的量最小化，只需要在部署時候進行相應(yīng)的自動化（掛載和創(chuàng)建軟鏈接）即可，但帶來的好處是巨大的，萬一發(fā)生單文件系統(tǒng)的故障，業(yè)務(wù)可以自動分流到存活的文件系統(tǒng)，可以有效應(yīng)對各種故障場景。

圖4?架構(gòu)優(yōu)化

細(xì)節(jié)優(yōu)化

相對于使用本地盤，計算存儲分離架構(gòu)下，如果應(yīng)對存儲測的異常和故障呢？標(biāo)準(zhǔn)的NFS掛載下，如果服務(wù)端出現(xiàn)故障或者網(wǎng)絡(luò)發(fā)生故障，客戶端訪問文件存儲將會是完全hang住，直到服務(wù)或者網(wǎng)絡(luò)恢復(fù)為止。針對這個問題，消息系統(tǒng)進行了相應(yīng)改造，業(yè)務(wù)系統(tǒng)對消息的一致性保障進行了優(yōu)化，可以支持寫消息失敗。這樣就可以使用NFS的soft掛載模式，當(dāng)服務(wù)端出現(xiàn)故障或者網(wǎng)絡(luò)發(fā)生故障時，應(yīng)用程序?qū)⒉粫偈峭耆玥ang住，而是能迅速監(jiān)測到IOError，并立即采取對應(yīng)的行動。結(jié)合前述的架構(gòu)設(shè)計，應(yīng)用程序能進行快速響應(yīng)，把流量分流到其他存活的文件系統(tǒng)上，快速恢復(fù)。

雙十一的考驗

經(jīng)過架構(gòu)設(shè)計和細(xì)節(jié)優(yōu)化，文件存儲的scale-out能力在雙十一尖峰發(fā)揮出了應(yīng)有的能力，即使在0點時刻流量是平時的60倍以上，表現(xiàn)依然穩(wěn)定，在文件存儲的給力表現(xiàn)下，業(yè)務(wù)系統(tǒng)的響應(yīng)依然如日常一樣順滑，完全感覺不出超大流量對系統(tǒng)的沖擊。

總結(jié)

阿里云文件存儲為云上業(yè)務(wù)提供支持標(biāo)準(zhǔn)接口（POSIX）以及標(biāo)準(zhǔn)文件訪問協(xié)議（NFS，SMB）的存儲服務(wù)，并且具有簡單易用、安全可靠、性能和容量scale-out等特性。經(jīng)過雙十一的錘煉，文件存儲的服務(wù)能力必將繼續(xù)上升一個臺階，將提升后的能力以普惠技術(shù)的形式向云上各行各業(yè)輸出，推動社會生產(chǎn)力的發(fā)展。