基于網格技術的校園VOD系統的研究

摘要：提出了一種基于網格技術的校園VOD系統的實現框架，描述了系統的硬件構成和軟件層次體系結構，提出了一種對點播任務的自適應調度算法。

關鍵詞：網格VOD校園VOD網格

目前各個高校都已建立好了自己的校園網絡平臺。由于校園網絡平臺硬件設施的不斷更新發展，使得校園視頻點播服務VOD(Video On Demand)也迅速發展起來。VOD系統利用了網絡和視頻技術的優勢，為廣大師生提供了在線的新聞、教學、資料、娛樂等節目的點播和廣播服務，并提供了大型會議和活動的直播服務。然而還存在一些具體技術問題的困擾，如流量難以控制，無法保證服務質量，服務器集群如何布局，資源該如何共享等。網格技術就是將各種計算機資源連接起來，以實現真正意思上的資源共享。網格技術的應用可以解決校園V0D系統中所存在的一些問題。

1 網格技術的應用研究
網格是構筑在互聯網上的一組新興技術，是信息社會的一種網絡基礎設施。將高速互聯網、高性能計算機、大型數據庫、遠程設備等融為一體，可以提供更多的資源，實現真正意義上的資源共享。網格是目前越來越重要的研究領域，被稱為是下一代的Internet。隨著網格計算研究的深入，人們越來越發現網格體系結構的重要性，提出了一種新型網格體系結構——開放網格體系結構OGSA(Open Grid Services Architecture)。

OGSA是Global Grid forum 4的重要標準，是當前獲得廣泛支持的一種網絡體系結構。OGSA是GT3的設計原型，重點在于把Globus思想和Web service結臺起來。在OGSA框架中，可以將一切資源(包括計算資源、存儲資源、帶寬資源、軟件資源、數據資源等)都抽象為服務。利用OGSA，有利于通過統一的標準接口來管理和使用網格。Web Service提供了一種基于服務的框架結構。但是，Web Service面對的一般都是永久服務，而在網格應用環境中，大量的服務是臨時性的短暫服務，如一個計算任務的執行等?？紤]到網格環境的具體特點，OGSA在原來Web Service服務概念的基礎上，提出了網格服務(Grid Service)的概念，用于解決服務發現、動態服務創建、服務生命周期管理等與l臨時服務有關的問題。

2 基于網格技術的校園VOD系統
校園VOD系統的服務對象是全體使用校園網的普通用戶。由于用戶的層次較多．計算機水平各異，因此校園VOD一般采用基于瀏覽器的Web收看方式。在網絡上傳輸音／視頻多媒體信息目前主要采用流式傳輸方案。這種在Intemet／Intranet中使用流式傳輸技術的連續時基媒體稱為流媒體。然而在現有的大多數VOD系統的點播傳輸方式中，視頻內容仍需經由服務器到客戶端的整個端到端的路徑。由于視頻流傳輸需要很高的傳輸帶寬，且單個視頻的傳輸時間很長，一般在120min左右，這就要求解決一些技術問題：多種資源的合理調度和協調工作等；一些實時性的要求要盡快解決；對于不斷擴大的視頻服務的需求還要求解決地理上分布于校園內部的各個孤立的VOD服務系統的統一管理和調度_。網格將突破傳統Web的局限性，將校園網內所有資源(包括計算資源、存儲資源、帶寬資源、軟件資源、數據資源、信息資源、知識資源等)連成一個邏輯整體，就像一臺超級計算機一樣，為用戶提供一體化信息和應用服務(計算、存儲、訪問等)。而虛擬組織在這個虛擬環境下將最終實現資源共享和協同工作，徹底消除資源“孤島”。這樣，人們使用網格上的資源就像用電一樣簡單，為校園VOD系統提供了更加可靠的保障。

校園VOD網格解決方案的指導思想是采用OGSA。對于系統平臺中各個網格服務器之問的數據傳輸，采用現在國際上公認的符合OGSA規范的Globus的網格計算協議作為數據之間的傳輸協議。Globus是一個構成網格基礎設施的平臺，它的作用相當于網格操作系統，擔負管理網格資源的重任，但它距離具體應用還相對較遠。如果直接基于Globus編寫應用程序，則會像直接使用底層API編寫windows程序一樣麻煩。因此Globus和應用程序間還需有一個橋梁，即Cactus(仙人掌)。有了Caetus的支持，編寫應用程序幾乎不需要考慮網格的具體問題，甚至以前的應用程序可以不加修改就能使用。Cactus是一種集成的、通用的、開放源碼的計算科學與工程問題解決環境。Cactus允許用戶將原來在個人計算機上開發的程序(不管它們原來是用C語言、C++寫的，還是用Fortran、Java語言編寫的)，轉換成能夠在虛擬的網格計算機上運行的并行程序；Cactus提供了簡單、抽象的API調用接口，屏蔽了系統的復雜特性，從而簡化了用戶界面，獲得了很強的可移置性；Cactus能夠在不同體系結構的機器上運行，如單處理器、集群計算機和其他體系結構的并行計算機。這樣對于那些分散在校園各處．采用不同應用程序的VOD服務器，都可以在caetus的支持下直接使用。

基于網格技術的校園VOD系統主要是利用網格的方法將校園網格內的多個VOD服務及其他相關信息加以整合，為用戶提供統一、透明的視圖。用戶只需選取其喜歡的視頻，系統便會自動為用戶提供最佳的視頻資源供用戶使用。而這一切對用戶來說都是透明的，用戶無需關注到底是哪個VOD主機為其提供視頻服務，更不需要關注系統后臺復雜的技術實現。

3 關鍵問題
3．1 系統硬件構成
系統的構建是基于地理上分布于校園網中的以各個VOD服務器為中心的網格VOD子系統的若干資源，如圖1所示。這些網格子系統在網絡拓撲、軟硬件體系結構、安全和認證策略等方面都不盡相同。各個VOD服務器之間利用多個路由器等網絡設備通過校園寬帶網互聯起來，而在網格子系統內的其他一些計算機則作為視頻服務器，可以對用戶透明。每個視頻服務器都掛接著獨立的大容量磁盤陣列，還有高速緩存和控制管理單元。另外在系統中至少還要設置一臺與所有VOD服務器都連通的網格管理服務器，提供與管理有關的全局動、靜態Web Service服務信息，例如，在線的用戶數、帶寬的占用率、帶寬限制、視頻所在服務器的地址等。網格管理服務器與用戶和VOD服務器之間所傳送的只是查詢、控制等信息，而沒有流媒體數據，帶寬要求比較低。
 

網格管理服務器主要承擔網格檢索信息服務GIIS(Grid Index Informafion Service)，具體講就是對VOD網格中的一些用戶信息(髟視材料)的整理和安全保密等綜合信息的索引。而視頻服務器主要對媒體數據實現壓縮和存儲、根據用戶的請求讀取存儲器上的節目、實時地向用戶端進行軟件傳輸。此外，每臺視頻服務器還要啟動若干信息提供者負責將播放的一些信息及各硬件資源的負載狀況等提交給本地的VOD服務器中的網格資源信息服務GRIS(Grid Resource Information Service)，以便于動態選擇負載較輕、響應較快的視頻服務器來提供資源。網格路由器的運行機制類似于IP路由器，不同之處在于網格路由器既可以接收或轉發資源定位請求，同時也可以存儲物理服務到虛擬服務的映射關系。為防止信息泛洪和路由回路，可對資源請求的傳播距離——轉發跳數規定上限。此外還可以限定資源匹配的數量來減少網格路由器間的通信量，提高資源定位的性能。

3．2 系統軟件體系結構
網格VOD系統的軟件體系結構主要由三個層次構成，如圖2所示。

(1)網格資源層
這些資源包括VOD系統中的所有數據庫、數據倉庫及文件目錄，各種存儲設備，各種計算資源(包括超級計算機、PC)，它們通過校園寬帶網絡實現物理連接。

(2)網格VOD服務層
提供網格VOD系統的一體化管理與處理平臺，主要功能是協調多種資源的共享，為綜合使用各類資源提供數據存儲、組織管理、分發、檢索和處理認證等服務。

(3)網格VOD應用層
在VOD網格服務層的基礎上，提供一個面向應用領域的VOD集成應用環境。面向各個具體應用領域，提供Web服務、用戶管理、資源調配、統一調度和流量監視等功能。根據資源信息的使用模式和使用特點提供使用政策和協議、應用軟件工具和應用開發平臺等，以建立資源信息處理與服務集成環境。

整個系統的信息可分為靜態信息(如網絡拓撲、網絡節點的IP地址和軟件版本等)和動態實時信息(如系統的負載狀況)兩類，信息共享，尤其是資源、負載等動態信息的共享和管理是網格系統的主要特征之一，也是一個網格系統順利調度與運轉的基礎。

3.3 調度程序
在整個網格VOD系統中，應用層的調度程序是最復雜的部分，幾乎牽涉到系統中的所有組件系統中所維護管理的信息大都為調度程序的決策暇務。不論是采用面向系統的調度策略(如Condoz-G)，還是采用面向應用的調度策略(如Apples，Nimrod／G，Netsolve)，它們的主要調度對象都是面向科學計算任務的處理器、存儲器和網絡等“裸”的硬件資源，向用戶提供的接口也是主要針對批處理作業設計的接口，調度目標比較單一，主要是宴現結點的負載平衡。當經過安全認證的用戶請求提交給調度程序時，調度程序首先根據用戶IP、任務的資酥需求、網絡配置等靜態信息進行初步的過濾，然后收集細節的動態信息。按照一定的策略選定一個視頻服務器，進行資源的預留、任務提交并監督任務的執行。其間可能會觸發視頻服務器文件資源的配置的改變，任務完成后還要清除任務。其調度策略遵循以下兩個原則：
 

(1)本地優先原則。當本地網格VOD子系統負載較輕且存儲有所要求的節目時，直接在本地進行調度，不必考慮全局情況。該原則出于兩個考慮：①跨子網傳輸的延遲一般較大；②在主干網絡上的帶寬一般是有限的，而且費用也較高。
 

(2)VOD子系統問負載相對均衡原則。當本地的負載量已達到某個給定的平衡點但還沒有達到允許的上限時，就開始考慮在整個網絡內使用目標規劃的方法選擇合適的子系統，這樣既避免了負載很輕時做無謂的全局協調，又避免了本地滿載時才進行系統間調度有可能造成的被動局面。當本地系統負載達到平衡點時，調度管理模塊開始查看是否有必要對該節目增加備份。

基于對網格概念、相關技術的研究和網格應用的探索以及對校園VOD系統的研究和建設經驗，本文提出的一種基于網格技術的校園VOD系統的實現方案，主要特點在于它可以構建在各種異構平臺之上，具有廣泛的適用性和自適應性，支持前所未有的規模和擴張能力。