光子網(wǎng)格技術,光子網(wǎng)格技術定義和應用

光子網(wǎng)格技術,光子網(wǎng)格技術定義和應用

1引言

網(wǎng)格(grid)是20世紀90年代中期發(fā)展起來的一項技術，其標志性應用為全球范圍內(nèi)的大規(guī)?？茖W計算(E-science)[1]。它將位于不同地理位置的科學儀器、高性能計算機、分布式數(shù)據(jù)庫、傳感器、遠程設備等組合起來，以解決復雜的科學問題，如全球氣候模擬、高能物理、基因圖譜的測繪、核試驗模擬、新藥的研制、虛擬專家會診、大規(guī)模信息和決策支持系統(tǒng)等。網(wǎng)格技術使人們能夠共享計算資源、存儲資源和相關服務，因此它在天文、航空航天、交通、汽車制造、氣象、鋼鐵生成、核反應堆等諸多領域的科研計劃和產(chǎn)業(yè)發(fā)展中起著至關重要的作用。

在網(wǎng)格應用中，傳感器、遠程設備、高性能計算機及可視化設備之間需要實時傳送terabyte甚至petabyte量級的海量數(shù)據(jù)，網(wǎng)絡在網(wǎng)格應用中占有十分重要的地位。傳統(tǒng)互聯(lián)網(wǎng)無法提供低延時保證下海量數(shù)據(jù)的高速傳輸，同時其盡力而為的服務方式無法滿足用戶的QoS要求。因此，構建在傳統(tǒng)互聯(lián)網(wǎng)上的網(wǎng)格應用存在著諸多的局限性，如數(shù)據(jù)傳輸速度慢、可靠性差、用戶交互性差、使用界面不夠友善等，極大地影響了應用系統(tǒng)的效率。

光子網(wǎng)格（opticalgrid）是近年來在上述背景下發(fā)展起來的一種新興技術[2~3]。其基本思想是將分布在不同地理位置的高性能并行計算機、計算機集群、大型存儲設備、高清晰顯示設備、大型科學儀器以及各種類型的個人計算機、服務器等通過光網(wǎng)絡相互關聯(lián)起來。由于光網(wǎng)絡具有大帶寬、高度透明、低延時、低成本、高可靠性和動態(tài)帶寬調(diào)整能力，因此光子網(wǎng)格在滿足用戶共享網(wǎng)格信息資源的同時，還可為網(wǎng)格應用提供海量數(shù)據(jù)的快速傳輸、高可靠性管理及資源的靈活調(diào)度和控制。

光子網(wǎng)格網(wǎng)絡的實施，可突破網(wǎng)格應用中的網(wǎng)絡瓶頸問題，使網(wǎng)格用戶能夠與高端計算資源保持同步并維持令人滿意的互動功能，從而加速應用領域的科研進程，促進相關產(chǎn)業(yè)的發(fā)展。另一方面，光子網(wǎng)格的實施，使得高性能計算資源、存儲資源及科學儀器的擁有者能夠更有效地拓展應用市場，提高資源的利用率。由此可見，光子網(wǎng)格是使網(wǎng)格應用真正走向?qū)嵱玫目尚屑夹g。

2 光子網(wǎng)格產(chǎn)生的背景

近年來，隨著大規(guī)?？茖W計算應用的不斷發(fā)展，其對計算機處理能力、存儲能力及高性能可視化的要求在不斷增加。計算機處理或存儲能力受技術及成本等因素的制約，為每個用戶配備高性能計算、存儲及可視化設備既不經(jīng)濟也不現(xiàn)實。一種可行的解決方法是將計算及存儲任務分配給不同的計算機，通過共享不同研究機構的計算、存儲及可視化資源來實現(xiàn)大規(guī)?？茖W計算及可視化應用。這種方法可以有效地節(jié)省成本，提高資源的利用率。

與此同時，當今科學計算問題的復雜性在不斷增加，它需要不同領域、不同國家的科學家共同協(xié)作才能取得突破性的成果。因此，必須構建一個高速網(wǎng)絡將這些科學研究工作者、高性能計算及存儲設備、高精密儀器及可視化設備關聯(lián)起來，實現(xiàn)不同地理位置之間海量數(shù)據(jù)的高效傳送。上述應用導致了對網(wǎng)絡的連通性及帶寬要求的不斷增加。

光纖及光網(wǎng)絡傳輸設備的大范圍敷設及廣泛應用為互聯(lián)高性能計算機、大型存儲設備、高清晰顯示設備及大型科學儀器提供了可能。目前，在10Gbit/s及更高速率上，與IP交換機相比，光交換機具有更低的功耗和成本。光網(wǎng)絡可以提供低成本、高帶寬、高可靠性光連接，已被絕大多數(shù)研究機構甚至一些個人用戶所接受。

光子網(wǎng)格即是在上述背景下產(chǎn)生的，它通過光網(wǎng)絡將終端用戶、計算、存儲等資源關聯(lián)起來，從而實現(xiàn)遠程海量數(shù)據(jù)的高速傳輸。

3光子網(wǎng)格研究的關鍵問題

光子網(wǎng)格不等于簡單地用光網(wǎng)絡來提供大數(shù)據(jù)傳輸。要有效地支持網(wǎng)格應用，傳統(tǒng)的光通信網(wǎng)絡及網(wǎng)格技術面臨著一系列的挑戰(zhàn)。

首先，要支持網(wǎng)格應用，需要為大量的用戶和終端設備提供從Mbit/s至Tbit/s量級的傳輸帶寬。用戶對帶寬的請求具有突發(fā)性、并行性、大規(guī)模、多種粒度并存的特點，而光網(wǎng)絡的帶寬資源及網(wǎng)格的計算與存儲資源均是有限的。很顯然，為每個用戶任務提供專用的光通路既不經(jīng)濟也不現(xiàn)實。因此，光通信系統(tǒng)需要支持不同類型、多粒度、突發(fā)性帶寬需求，具有按需分配帶寬的能力；提供組播和廣播能力；同時，系統(tǒng)為滿足應用需求，還需要為用戶或應用提供自組織、自管理和自控制分布式網(wǎng)絡資源的能力，支持靈活、快速的通道建立。

其次，網(wǎng)格應用不同于通信網(wǎng)絡上的點到點通信業(yè)務，它具有分布式、多任務流的工作特點，多個任務可以分配至不同的計算資源上并行運行，不同的任務分配方式會導致不同的光網(wǎng)絡資源分配方式。即使計算資源分配方案是確定的，由于光通道源、宿節(jié)點對之間可以有不同的路由選擇，因此光網(wǎng)絡資源將有不同的調(diào)度方案。而不同的任務分配方法又會導致不同的任務完成時間。因此，要在給定的限制條件下高效地完成一個給定的業(yè)務，系統(tǒng)必須支持大規(guī)模的分布式并行網(wǎng)絡服務，必須合理地描述各業(yè)務流程之間的相互關系，并通過一種全新的方式來協(xié)同調(diào)度計算資源及光網(wǎng)絡資源，否則將直接導致系統(tǒng)運行效率及資源利用率的降低。

再者，目前網(wǎng)格計算在完成資源發(fā)現(xiàn)、任務調(diào)度的過程中，通常不考慮網(wǎng)絡資源的限制及可用性，并且缺少從網(wǎng)絡中獲取可用的網(wǎng)絡資源信息的發(fā)現(xiàn)機制。而在實際應用中，網(wǎng)絡資源是一個影響系統(tǒng)效率和應用功效的重要因素。因此，必須尋找一種新的資源描述、資源發(fā)現(xiàn)及資源更新機制，以實現(xiàn)對計算資源和網(wǎng)絡資源的統(tǒng)一管理和合理利用。

最后，網(wǎng)格應用的多業(yè)務流、大數(shù)據(jù)量特性要求通信網(wǎng)絡具有更高的安全性及數(shù)據(jù)正確性保證。雖然網(wǎng)格具有一定的容錯機制，網(wǎng)絡也具有一定的保護/恢復能力，但是如何根據(jù)用戶的QoS需求，通過光網(wǎng)絡和網(wǎng)格的協(xié)同操作來實現(xiàn)更高級別的系統(tǒng)容錯，以保證網(wǎng)絡的安全性及網(wǎng)格用戶與通信網(wǎng)絡接口的安全性，也是需要解決的問題。

針對上述關鍵問題，國內(nèi)外研究機構及相關學者就光子網(wǎng)格及其應用重點從以下幾個方面開展了研究。

·光子網(wǎng)格體系結構及實現(xiàn)技術：重點研究建造光子網(wǎng)格的技術、光子網(wǎng)格的基本組成與功能、光子網(wǎng)格各組成部分的相互關系、各部分集成的方式或方法以及它們與網(wǎng)格應用之間的相互關系。

·控制與管理協(xié)議：重點研究光子網(wǎng)格的控制及管理機制，包括用戶網(wǎng)絡接口、計算資源調(diào)用及控制機制、光網(wǎng)絡突發(fā)帶寬的動態(tài)調(diào)用及調(diào)整、信令和路由協(xié)議、域間和層間控制協(xié)議、光子網(wǎng)格中間件的接口技術及實現(xiàn)方法等。

·光子網(wǎng)格資源發(fā)現(xiàn)及調(diào)度機制：重點研究光子網(wǎng)格環(huán)境下網(wǎng)格信息資源和光網(wǎng)絡資源的描述、注冊、發(fā)布、更新、服務部署、資源發(fā)現(xiàn)和資源調(diào)度機制，并在此基礎上研究不同工作模式下網(wǎng)格信息資源與光網(wǎng)絡資源的協(xié)同優(yōu)化調(diào)度機制、實現(xiàn)算法及性能指標分析。

·光子網(wǎng)格容錯及安全訪問機制：重點研究光子網(wǎng)格權限管理機制、用戶身份認證技術以及跨域調(diào)度的安全和權限管理技術，研究在光子網(wǎng)格發(fā)生光纖鏈路中斷、設備節(jié)點故障、服務器宕機或服務程序中斷情況下，如何設立不同等級的容錯策略，在保障數(shù)據(jù)傳輸?shù)臏蚀_性和及時性的同時，使用戶察覺不到系統(tǒng)故障，以滿足不同用戶的QoS要求。

·業(yè)務模型及應用實驗：重點研究多種網(wǎng)格應用模型下業(yè)務類型的分類和整理方法，對不同類型業(yè)務，根據(jù)用戶的QoS要求，制訂不同的業(yè)務等級機制，給出不同類型、不同等級下業(yè)務工作流的描述方法，并提供一種輔助用戶進行流程定義、生成描述文件的可視化工具，在此基礎上針對高性能計算及可視化、大規(guī)模協(xié)同設計、實時數(shù)據(jù)傳輸?shù)鹊湫蛻?，探討多業(yè)務應用模式下光子網(wǎng)格的實現(xiàn)技術、應用流程和發(fā)展前景。

由此可見，構建一個新型的網(wǎng)絡架構，集成網(wǎng)絡、網(wǎng)格信息資源和服務，實現(xiàn)對終端用戶、網(wǎng)絡資源和網(wǎng)格信息資源的協(xié)同管理，無論在理論研究或?qū)嶋H應用中都存在很多問題有待進一步探討。

?

?

4光子網(wǎng)格研究進展

目前，國內(nèi)外相關機構已在光子網(wǎng)格領域開展了一系列研究工作，具有代表性的研究計劃或項目包括：

·美國的OptiPuter項目[4]，它通過多個波長來互連計算機集群系統(tǒng)、可視化及協(xié)同操作工具，并通過擴展的GMPLS協(xié)議及接口實現(xiàn)對光網(wǎng)絡的控制；

·由日本和美國合作研究的G-lambda項目[5]，其目的是在網(wǎng)格資源調(diào)度器（gridresourcescheduler，GRS)和網(wǎng)絡資源管理（network resource management，NRM）系統(tǒng)之間建立一個標準的Web服務接口(GNS-WSI)，以保證GRS和NRM之間信息的協(xié)同交互，并在此基礎上實現(xiàn)動態(tài)跨域連接的建立及相關應用；

·加拿大CA*net4研究網(wǎng)絡的UCLP（usercontrolled lightpath）計劃[6]，其目標是倡導“用戶使能的網(wǎng)絡”，旨在為用戶提供動態(tài)分配網(wǎng)絡資源的功能，授予用戶更大的能力革新基于網(wǎng)絡的應用；

·歐盟的Phosphorus項目[7]，其目的是設計和實現(xiàn)一種新的網(wǎng)絡服務平面結構，以提供網(wǎng)格網(wǎng)絡服務，實現(xiàn)對網(wǎng)絡和非網(wǎng)絡（計算、存儲）資源的集成管理。

與此同時，國際標準化組織，如互聯(lián)網(wǎng)工程任務組（IETF）、分布式管理任務組（DMTF）、開放網(wǎng)格論壇（OGF），就網(wǎng)格計算的網(wǎng)絡應用和編程環(huán)境、體系結構、數(shù)據(jù)管理、信息系統(tǒng)和性能、P2P、調(diào)度和資源管理以及安全等問題開展了一系列研究。OGF的網(wǎng)格高性能網(wǎng)絡（gridhighperformancenetwork，GHPN）研究組已提出多個協(xié)議草案，如面向網(wǎng)格的光網(wǎng)絡基礎結構（draft-ggf-ghpn-opticalnets-2）、網(wǎng)格基礎結構的聯(lián)網(wǎng)問題（draft-ggf-ghpn-netissues-4）、傳送協(xié)議綜述（draft-ggf-ghpn-transportsurvey-1）、網(wǎng)格網(wǎng)絡服務的用例（draft-ggf-ghpn-netservices-usecases）和網(wǎng)格網(wǎng)絡服務（draft-ggf-ghpn-netservices-2）以及網(wǎng)格光突發(fā)交換網(wǎng)絡（draft-ggf-ghpn-GOBS）等。全球光網(wǎng)格論壇（GLIF）也在近期就光網(wǎng)絡控制平面及網(wǎng)格網(wǎng)絡接口技術啟動了一系列的標準化研究工作。

此外，一些企業(yè)（如HP、IBM、Intel等）也在大力開展光子網(wǎng)格相關技術及應用研究（如云計算、云存儲等），他們在世界各地正在投巨資建立數(shù)據(jù)中心，這些都對光子網(wǎng)格技術及應用起到了或多或少的推動作用。

中國也對光子網(wǎng)格技術給予了高度重視，國家“863”計劃、國家自然科學基金已設立多個項目開展了相關技術的研究，目前一些重要的研究技術包括：光網(wǎng)絡集成計算環(huán)境[8,9]、網(wǎng)格與網(wǎng)絡資源協(xié)同調(diào)度[10,11]、光子網(wǎng)格容錯技術等[12]。

目前常見的光子網(wǎng)格體系結構主要有：基于密集波分復用、暗光纖和低成本光交換機的波長網(wǎng)格；基于光突發(fā)交換網(wǎng)絡（OBS）的網(wǎng)格；基于自動交換光網(wǎng)絡（ASON）的網(wǎng)格。圖1所示為典型的基于ASON的光子網(wǎng)格體系結構。

該體系結構框架分成3個層次。第1層為應用層，包括所有運行在光子網(wǎng)格上的分布式應用。第2層為服務層，是該體系結構的實體，包括工作流和網(wǎng)格中間件兩個部分。工作流封裝多種不同的應用業(yè)務并對外發(fā)布服務。網(wǎng)格中間件負責向下調(diào)度、封裝資源，具有資源監(jiān)控、資源發(fā)現(xiàn)、資源調(diào)度、容錯及安全控制等多種功能。第3層為物理資源層，它分為兩個部分:一部分為傳統(tǒng)的網(wǎng)格信息資源，包括計算資源、存儲資源、顯示設備等；另一部分為光子網(wǎng)格特有的資源，包括端口資源、節(jié)點資源、鏈路帶寬資源、光路資源等。

其基本工作流程為：首先，服務層通過相關接口獲取物理資源層的相關信息；當服務層接收到應用層的用戶請求時，它調(diào)用資源管理和調(diào)度模塊，將計算、存儲、顯示等任務分配至不同的可用資源上，當需要進行數(shù)據(jù)傳送時，調(diào)用光網(wǎng)絡的控制平面，動態(tài)地建立光通道連接。通過上述步驟，可有效地實現(xiàn)資源的最優(yōu)化利用并最大限度地滿足用戶的QoS需求。

5光子網(wǎng)格技術的應用

眾所周知，E-science對很多領域的科研計劃和產(chǎn)業(yè)發(fā)展起著至關重要的作用，例如：天文領域中的行星流體與磁流體動力學計算；新一代無毒、無污染運載火箭的計算和仿真；飛機設計中數(shù)值風洞、載荷疲勞計算；汽車制造中的虛擬制造、整車空氣動力學設計；鋼鐵生產(chǎn)中鋼板碰撞性能計算、鋼管成型仿真分析；核反應堆堆芯熱工水力分析、核反應堆保護和控制分析、核級設備應力分析與抗震力學分析等。在這些應用中，位于不同區(qū)域的用戶需要共享數(shù)據(jù)資源、進行大規(guī)模協(xié)同計算和分析并實現(xiàn)大數(shù)據(jù)流的數(shù)據(jù)交互和傳送。

一個典型的光子網(wǎng)格應用實例是歐洲原子能研究機構CERN開展的高能物理實驗，它的目標是處理大型粒子對撞機源源不斷產(chǎn)生的petabyte量級實驗數(shù)據(jù)。這些數(shù)據(jù)的分析和處理超出了目前世界上任何一臺超級計算機或集群系統(tǒng)的能力，因此，CERN計算機中心負責將這些數(shù)據(jù)通過高速網(wǎng)絡分配給歐洲、北美、日本等國的區(qū)域中心，后者再將任務進一步分解到物理學家的桌面上，通過不同區(qū)域物理學家的計算和協(xié)同分析來共同完成相關實驗。目前，已有位于世界60多個國家和地區(qū)的近萬名科學家參加到該實驗中，不同區(qū)域間采用的是10Gbit/s的光網(wǎng)絡通道進行數(shù)據(jù)交互和傳輸。

另一個應用例子是實時甚長基線干涉測量法（electronic-verylongbaselineinterferometry，e-VLBI）應用。e-VLBI是采用網(wǎng)絡將天文望遠鏡的觀測數(shù)據(jù)實時傳送到數(shù)據(jù)處理中心進行處理的射電干涉技術。它在航天器精密跟蹤、航天測控、精密時間比對、深空觀測、人造地球衛(wèi)星、月球探測器、太陽系行星際探測器等領域均有重要的科學意義和實用價值。在下一代e-VLBI系統(tǒng)中，其觀測站的射電望遠鏡的采樣速率將達到10 Gbit/s，數(shù)據(jù)處理中心的數(shù)據(jù)匯聚速率將達到40 Gbit/s，數(shù)據(jù)需要從位于偏遠地區(qū)的觀測站通過超長距離的高速光網(wǎng)絡實時傳送至數(shù)據(jù)處理中心進行相關處理。面對上述應用需求，歐洲、美國、日本、韓國、澳大利亞等國的科學家正在開展一系列基于高速光網(wǎng)絡的e-VLBI技術研究，如歐洲EXPRES研究計劃和東亞e-VLBI研究計劃。美國自然科學基金資助的GRAGON研究項目也針對e-VLBI應用就光通路動態(tài)建立、大文件數(shù)據(jù)傳輸?shù)冗M行了相關研究及現(xiàn)場實驗[13]。

光子網(wǎng)格可以突破E-science應用的網(wǎng)絡瓶頸，使得高性能計算廣泛應用成為現(xiàn)實，用戶和用戶之間、用戶和高性能計算機之間可方便、實時地實現(xiàn)數(shù)據(jù)交換和信息互動，這些將加速用戶的科研進程，促進相關產(chǎn)業(yè)的發(fā)展，給科研工作者及高性能計算資源的擁有者帶來光明的前景。

光子網(wǎng)格可用來管理分布在各地的貴重儀器，通過提供遠程訪問儀器設備的手段，可提高儀器的利用率，大大方便用戶的使用。同時，它還可以用于構造網(wǎng)絡化虛擬現(xiàn)實環(huán)境，實現(xiàn)對高性能計算結果或數(shù)據(jù)庫的可視化，使分布在各地的使用者能夠在相同的虛擬空間協(xié)同工作。該環(huán)境可以廣泛應用于交互式科學可視化、醫(yī)療、教育、訓練、藝術、娛樂、工業(yè)設計、信息可視化等許多領域，如遠程醫(yī)療、遠程教學、虛擬歷史博物館、協(xié)同學習環(huán)境等。

從上述分析可以看出，光子網(wǎng)格具有廣闊的應用前景。光子網(wǎng)格代表著光傳送網(wǎng)發(fā)展的一個方向，體現(xiàn)了網(wǎng)絡和業(yè)務應用融合的一個大趨勢。光子網(wǎng)格技術及應用體系研究將有助于推動網(wǎng)格應用的發(fā)展和光網(wǎng)絡技術的進步。可以預見，光子網(wǎng)格具有十分重要的理論研究價值和社會意義，同時有著廣闊的市場應用前景，在經(jīng)濟建設和社會發(fā)展中將起著極為重要的作用。