GFS是google的分布式文件存儲系統(tǒng)，是專為存儲海量搜索數(shù)據(jù)而設(shè)計的，2003年提出，是閉源的分布式文件系統(tǒng)。適用于大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續(xù)穩(wěn)定帶寬，而不是單次讀寫的延遲。

　　1.GFS的主要架構(gòu)GFS架構(gòu)比較簡單，一個GFS集群一般由一個master、多個chunkserver和多個clients組成。在GFS中，所有文件被切分成若干個chunk，每個chunk擁有唯一不變的標識（在chunk創(chuàng)建時，由master負責分配），所有chunk都實際存儲在chunkserver的磁盤上。為了容災(zāi)，每個chunk都會被復(fù)制到多個chunkserve

　　2.GFS的功能模塊

　　?GFSclient客戶端：為應(yīng)用提供API，與POSIXAPI類似。同時緩存從GFSmaster讀取的元數(shù)據(jù)chunk信息；?GFSmaster元數(shù)據(jù)服務(wù)器：管理所有文件系統(tǒng)的元數(shù)據(jù)，包括命令空間（目錄層級）、訪問控制信息、文件到chunk的映射關(guān)系，chunk的位置等。同時master還管理系統(tǒng)范圍內(nèi)的各種活動，包括chunk創(chuàng)建、復(fù)制、數(shù)據(jù)遷移、垃圾回收等；?GFSchunksever存儲節(jié)點：用于所有chunk的存儲。一個文件被分割為多個大小固定的chunk（默認64M），每個chunk有全局唯一的chunkID。

　　3.GFS的寫入流程

　　Client向master詢問要修改的chunk在哪個chunkserver上，以及該chunk其他副本的位置信息。

　　Master將Primary、secondary的相關(guān)信息返回給client。

　　Client將數(shù)據(jù)推送給primary和secondary；。

　　當所有副本都確認收到數(shù)據(jù)后，client發(fā)送寫請求給primary，primary各不同client的操作分配序號，保證操作順序執(zhí)行。

　　Primary把寫請求發(fā)送到secondary，secondary按照primary分配的序號順序執(zhí)行所有操作

　　當Secondary執(zhí)行完后回復(fù)primary執(zhí)行結(jié)果。

　　Primary回復(fù)client執(zhí)行結(jié)果。

　　由上述可見，GFS在進行寫數(shù)據(jù)時，有如下特點：

　　GFS在數(shù)據(jù)讀寫時，數(shù)據(jù)流與控制流是分開的，并通過租約機制，在跨多個副本的數(shù)據(jù)寫入中，保障順序一致性;

　　Master將chunk租約發(fā)放給其中一個副本，這個副本稱為主副本，由主副本確定chunk的寫入順序，此副本則遵守這個順序，這樣就保障了全局順序一致性

　　Master返回客戶端主副本和次副本的位置信息，客戶端緩存這些信息以備將來使用，只有當主副本所在chunkserver不可用或返回租約過期了，客戶端才需要再次聯(lián)系Master；

　　GFS采用鏈式推送，以最大化利用每個機器的網(wǎng)絡(luò)帶寬，避免網(wǎng)絡(luò)瓶頸和高延遲連接，最小化推送延遲；

　　GFS使用TCP流式傳輸數(shù)據(jù)，以最小化延遲。

　　4.GFS特點?適合大文件場景的應(yīng)用，特別是針對GB級別的大文件，適用于數(shù)據(jù)訪問延時不敏感的搜索類業(yè)務(wù)?中心化架構(gòu)，只有1個master處于active狀態(tài)?緩存和預(yù)取，通過在client端緩存元數(shù)據(jù)，盡量減少與master的交互，通過文件的預(yù)讀取來提升并發(fā)性能?高可靠性，master需要持久化的數(shù)據(jù)會通過操作日志與checkpoint的方式存放多份，故障后master會自動切換重啟。