一、方案原理

常規的Documentum遷移工具，如圖1所示EMC原廠提供的EMA（Documentum Enterprise Migration Appliance）遷移工具，通常通過繞開Documentum的內容服務器API接口，根據Documentum內部文件對象索引規則直接訪問數據庫和NAS服務器來加速Documentum遷移過程，性能相比于通過API接口遷移能夠提升10倍，但是每個小時也只能搬遷120萬對象，如果Documentum存儲了10億文件對象，刨去其他工作或者異常處理的時間，最短也需要35天時間，這是一個充滿風險和不可控因素的過程，另外因為應用側不可能停機等待35天，所以應用側必須改造業務支持同時從兩邊去讀寫數據，增大了業務改造工作量和業務代碼的復雜度。

如圖2所示，杉巖提供的Documentum遷移方案，同樣通過直接訪問Documentum的數據庫獲取文件的元數據和索引信息來提高遷移性能，另外基于NAS納管特性，針對歷史存量數據，在業務無需停機的情況下短時間內完成歷史存量數據的納管，然后在業務切割的極短時間窗口內，基于數據庫時間戳快速完成增量數據的納管，此時上層業務即可立即恢復正常服務，整個業務切換完成。

圖2 Documentum遷移時間線

業務切割后影像系統數據訪問流程示意圖

業務切割到SandStone MOS完成后，整個影像系統訪問NAS和SandStone MOS的數據流程如圖3所示：

所有新的文件保存到SandStone MOS，歷史文件數據的讀取由對象網關服務層自動代理到NAS；

業務在線的情況下，管理員通過SandStone MOS生命周期轉移特性，設置NAS數據轉移到SandStoneMOS的具體時間點和策略，SandStone MOS將自動完成全量NAS文件到自身的搬遷。

二、 業務接口改造

影像平臺使用Documentum，通過Documentum提供的HTTP方式的API接口完成增刪改查操作，SandStone MOS提供的S3接口同樣屬于HTTP方式的API，所以業務系統改造只需要從原來的Documentum接口改為調用SandStone MOS提供的標準S3接口即可。原有的方式是：影像系統通過Documentum API對數據進行檢索，得到文件的r_object_id，進而根據r_object_id獲取文件。數據完成遷移之后：影像系統通過MOS提供的檢索接口檢索對象，得到對象名，進而根據對象名稱獲取對象。

三 業務切割關鍵問題

1、 NAS納管性能

NAS文件納管的過程中，從Documentum的數據庫查詢文件的元數據和索引信息，然后將文件索引以及標簽信息一并寫入到SandStone MOS，Oracle 數據庫的查詢性能一般比存儲系統寫入的性能高，存在數量級的差別，所以NAS文件納管的速度主要瓶頸在存儲系統。

參考杉巖實驗室測試報告數據，4節點環境8KB文件的寫入TPS可以達到5000，因為NAS納管的過程中業務尚未切割到SandStone MOS，所以所有寫性能全部可以分配給到NAS作業，也就是納管的性能參考指標為： 5000/s （具體值需要根據上線方案配置計算，一般會更高）。

2、 數據存量

XX銀行當前影像系統的文件主要以50KB以下，以及50~900KB的文件為主，整套系統的數據量在300~400TB的體量，全國30多個分支銀行，每個分支每年視頻監控數據在50~60TB左右。

3、切割時間估算

假設存量數據總量按照300TB，平均200KB大小，總共大概是16億個文件，按照5000/s的速度，那么如圖4所示：

存量數據的納管需要89小時，大概4天完成；

存量數據納管的這4天內，業務數據增量為(30*50TB)/365 = 4.1TB，增量文件數量大概是2200萬

2200萬增量數據的納管需要1.2小時，也就是業務切割時需要停機的時間，加上其他操作時間，預計2小時可以完成。

圖4 業務切割時間線

4、 失敗回滾

假如業務切割到SandStone MOS上之后，驗收測試發現異常需要處理，可以立即回滾業務系統，切回Documentum，因為實際數據和元數據都沒有刪除掉，整個系統能夠立即恢復服務，風險小。

四、完整遷移步驟

1、準備工作

如圖所示，保證Documentum的DB和NAS服務可以正常訪問，業務系統正常運行，部署好SandStone MOS分布式對象存儲可用。

2、存量數據納管

無需停業務，保持業務正常在線。

記錄當前時間點T1，通過遷移工具從數據庫讀取T1時間點及之前的文件元數據及索引一并寫入SandStone MOS，完成存量NAS文件的納管工作，預計花費時間4天。

3 業務停機

業務切割過程開始，記錄當前時間點T2，停掉業務程序。

4、 增量數據納管

完成T1到T2時間點新增數據文檔的納管，預計花費時間2小時。

5、 業務切換

此時所有Documentum文件數據通過SandStone MOS均可以統一訪問，執行業務程序切換動作，將業務流量指向SandStone MOS。

6 業務恢復

啟動新的業務程序，執行功能驗證測試，如果失敗則執行回滾操作，如果驗證測試成功表明業務切割成功，整個遷移過程結束。

五 后期內容搬遷

1、數據正確性

SandStone MOS內置生命周期轉移NAS文件的過程中，會自動對遷移完成的文件做MD5值校驗，從而保證數據的完整性和正確性。

2、平滑遷移QoS

NAS文件搬遷的過程中為了防止對正常業務造成性能影響，SandStone MOS支持生命周期轉移QoS控制功能，可以根據業務性能需求以及系統性能做合理調配，優先保證業務訪問性能的前提下，最大化數據搬遷效率。

3、數據搬遷周期

業務切割成功之后，所有的新文件都直接寫入SandStone MOS，所以后續需要搬遷的NAS文件數量是固定的，按照16億計算，然后搬遷的生命周期轉移QoS控制TPS為500，那么需要40天的搬遷時間，具體需要根據生產環境配置調整。

六、總結

面對XX銀行上10億的Documentum存量數據，EMC原廠提供的遷移方案需要超過一個月的遷移時間，工作量大、周期長，幾乎不可行。

杉巖數據提供的Documentum遷移方案，結合SandStone MOS特有的NAS納管特性，只需要4天的時間完成存量數據納管以及2小時的停機時間窗完成增量納管以及業務切割，極大簡化了Documentum向對象存儲遷移的業務復雜度，減輕應用改造和遷移工作量，能夠滿足XX銀行Documentum遷移需求。