一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，在混合云應用服務層和混合云服務之間增加云數(shù)據(jù)虛擬化層，負責提供用戶數(shù)據(jù)訪問以及管理的服務；其特征在于，云數(shù)據(jù)虛擬化層包括數(shù)據(jù)連接模塊：負責與不同的數(shù)據(jù)源建立連接，并且管理不同的連接，優(yōu)化網(wǎng)絡通信以及數(shù)據(jù)傳輸；數(shù)據(jù)集成模塊：負責為來自不同數(shù)據(jù)源的異構數(shù)據(jù)提供統(tǒng)一視圖，同時，根據(jù)上層應用的需求，來自不同數(shù)據(jù)源的數(shù)據(jù)進行不同的組合以及優(yōu)化，形成不同的數(shù)據(jù)虛擬視圖；數(shù)據(jù)發(fā)布模塊：負責為數(shù)據(jù)虛擬池進行封裝，為上層應用提供可以統(tǒng)一訪問并且管理虛擬數(shù)據(jù)池的服務；通過數(shù)據(jù)發(fā)布，上層的服務獲取數(shù)據(jù)的元數(shù)據(jù)，得到當前數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式以及其他基本信息。
【專利說明】
一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)
技術領域
[0001]本發(fā)明涉及一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，屬于云計算應用領域。技術背景
[0002]云計算經(jīng)過將近八年的迅速發(fā)展，如今已由最初的公有云和私有云的單一服務迎來了新的衍生模式一“混合云”模式。在公有云誕生之前，大部分企業(yè)擁有自己的私有機房。隨著公有云的發(fā)展，中小企業(yè)可以不需要花費大量資金去購買計算、存儲以及網(wǎng)絡資源，而是根據(jù)自己的需求在公有云平臺上(如亞馬遜、阿里云等)租賃資源。同時，這些本身擁有數(shù)據(jù)中心資源的企業(yè)可以利用云端技術單獨搭建自己的私有云，提高資源的利用率。然而現(xiàn)在我們進入云計算的融合時代，單一服務形式并不能滿足企業(yè)的需求。比如，中小企業(yè)需要在不同地方部署自己的應用，可能需要租賃不同的公有云;大型企業(yè)如12306.cn為了應付峰時資源需求，可能也需要租賃公共云(阿里云)。公有云和私有云承載著不同的業(yè)務需求，但面對如今日益開放和細分的市場結構及業(yè)務模式，往往會束手無策。因此，混合云融合公有云以及私有云特點，取長補短，可以解決多層次、定制化等特殊業(yè)務需求的痛點。
[0003]然而，混合云不是私有云和公有云的簡單加法，無縫融合它們需要解決很多問題，其中最突出的問題就是云互操作性(Cloud Interoperability)。比如，公有云和私有云管理兩處不同的數(shù)據(jù)中心，都有自己的服務門戶，而且彼此對資源的使用方式也是不一樣的。如公有云通常是預付費模式，按需使用，而私有云通常是審批式的，不需要支付，只需要完成相應的申請流程。在混合云中，如何構建服務門戶的統(tǒng)一以及資源狀態(tài)監(jiān)控的統(tǒng)一，需要不同云之間的互聯(lián)、可互操作。除了服務的統(tǒng)一，VPC(Virtual Private Cloud，虛擬私有云)互通也需要解決公有云和私有云的互操作問題，讓租戶可以在混合云中構建屬于自己的私有云。
[0004]傳統(tǒng)的方法解決云的互操作性主要是采用編程接口集成的方式，即抽象出公共的云操作接口，不同的云提供商用各自的編程接口實現(xiàn)這個公共操作接口，從而到達互通。不同廠商的數(shù)據(jù)有著不同的格式，不同的存儲訪問方式，編程接口集成相當于為不同廠商提供了一個相同的數(shù)據(jù)格式以及訪問方式，不同的廠商再各自轉化成各自的格式進行訪問或存儲。然而傳統(tǒng)的編程接口集成有很多問題，其中最突出的問題就是導致軟件模塊耦合度高，在云端難以擴展，可伸縮性(scalability)差。其次，編程接口集成耗費大量資源在數(shù)據(jù)格式轉化上，以及缺乏對數(shù)據(jù)結果質量的評估，在混合云通信環(huán)境下性能下降很快。
[0005]我們未發(fā)現(xiàn)目前有相關混合云系統(tǒng)運用數(shù)據(jù)虛擬化技術?，F(xiàn)有的混合云方案絕大部分是基于統(tǒng)一技術的混合云融合，如企業(yè)的私有云和公有云都使用同一家云服務解決方案如IBM或者EMC。他們的解決方案不涉及異構云平臺之間的融合。我們基于數(shù)據(jù)虛擬化技術的混合云平臺可以一站式解決異構云平臺之間的互操作性問題，加速不同云平臺的之間的融合。

【發(fā)明內容】

[0006]本發(fā)明提出一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化，極大的降低了軟件模塊之間的耦合性;這樣新的云平臺可以很快接入混合云平臺，同時減少混合云的開發(fā)、管理、以及維護的成本。
[0007]本發(fā)明一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，在混合云應用服務層和混合云服務之間增加云數(shù)據(jù)虛擬化層，負責提供用戶數(shù)據(jù)訪問以及管理的服務;其特征在于，云數(shù)據(jù)虛擬化層包括數(shù)據(jù)連接模塊、數(shù)據(jù)集成模塊和數(shù)據(jù)發(fā)布模塊;其中:
[0008]數(shù)據(jù)連接模塊:負責與不同的數(shù)據(jù)源建立連接，并且管理不同的連接，優(yōu)化網(wǎng)絡通信以及數(shù)據(jù)傳輸。
[0009]數(shù)據(jù)集成模塊:負責為來自不同數(shù)據(jù)源的異構數(shù)據(jù)提供統(tǒng)一視圖，包括傳統(tǒng)的數(shù)據(jù)抽取、轉化、加載以及不同數(shù)據(jù)格式之間的映射匹配；同時，根據(jù)上層應用的需求，來自不同數(shù)據(jù)源的數(shù)據(jù)進行不同的組合以及優(yōu)化，形成不同的數(shù)據(jù)虛擬視圖；不同的虛擬視圖組成了數(shù)據(jù)虛擬池，管理不同的異構數(shù)據(jù)；
[0010]數(shù)據(jù)發(fā)布模塊:負責為數(shù)據(jù)虛擬池進行封裝，為上層應用提供可以統(tǒng)一訪問并且管理虛擬數(shù)據(jù)池的服務;通過數(shù)據(jù)發(fā)布，上層的服務獲取數(shù)據(jù)的元數(shù)據(jù)，得到當前數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式以及其他基本信息，方便上層應用的調用。
[0011]進一步地，數(shù)據(jù)連接模塊基于SOAP或者REST搭建WebService，或通過數(shù)據(jù)庫連接器直接連接關系型數(shù)據(jù)庫，實現(xiàn)運行在不同云端的不同應用可以輕松實現(xiàn)相互交換數(shù)據(jù)或集成，從而實現(xiàn)平臺的獨立性，以及低耦合。
[0012]本發(fā)明的有益效果:
[0013]本發(fā)明提出一種基于數(shù)據(jù)虛擬化技術混合云計算系統(tǒng)，數(shù)據(jù)虛擬化類似于資源虛擬化技術，提供一種允許用戶訪問、管理和優(yōu)化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統(tǒng)一的資源一樣。我們在混合云環(huán)境下運用數(shù)據(jù)虛擬化技術，這使得用戶能夠從一些服務、功能或其他資源的內部部署中對外部界面進行抽象化，極大的降低了軟件模塊之間的耦合性。
【附圖說明】
[0014]圖1為本發(fā)明實施方式的架構設計圖；
[0015]圖2為軟件模塊概要設計圖；
[0016]圖3為混合云計費管理設計圖。
【具體實施方式】
[0017]下面結合附圖和實施例對本發(fā)明作進一步說明。
[0018]本發(fā)明在數(shù)據(jù)源以及數(shù)據(jù)服務之間抽象出一層數(shù)據(jù)虛擬化層，如圖1架構設計所示。我們考慮一個實際的混合云環(huán)境部署案例，一個公司的私有云需要和兩個公有云服務商進行融合，以滿足其不同的服務需求。我們專利發(fā)明可以幫助這些企業(yè)在公有云和私有IT資源(私有云資源，或者僅僅是虛擬化、硬件資源)之上做統(tǒng)一管理和解決方案，提供技術和不同層次的服務支持。
[0019]如圖1所示，我們可以選取不同特點的云計算平臺組成混合云，實現(xiàn)優(yōu)勢互補，滿足客戶多樣化的需求。比如，我們可以選取公有云I提供不同層次的平臺服務如軟件(SaaS，Software as a service)、平臺(PaaS,Platform as a Service)以及基礎設施(IaaS,Infrastructure as a Service);公有云2側重于云端數(shù)據(jù)存儲，部署不同類型的數(shù)據(jù)庫，如關系數(shù)據(jù)庫，Key-Value NoSQL數(shù)據(jù)庫以及HDFS;私有云則側重大量的企業(yè)級服務軟件(ERP)以及辦公自動化OA系統(tǒng)等?；谌N高度異構的平臺，我們抽象出一層數(shù)據(jù)虛擬化層，其思想和資源虛擬化類似，為用戶提供一種允許用戶訪問、管理和優(yōu)化異構基礎架構的方法，就好像它們是一種單一、且在邏輯上是統(tǒng)一的資源一樣。具體來說，云數(shù)據(jù)虛擬化層在混合云應用服務層和混合云服務提供商之間增加了新的一層，負責提供用戶數(shù)據(jù)訪問以及管理的服務。如圖1所示，混合云管理服務層的應用服務(如用戶管理、計費管理、資源管理、服務管理、權限管理以及資源監(jiān)控管理)就不需要知道數(shù)據(jù)存在哪以及具體存儲格式，而只需要和數(shù)據(jù)虛擬化層交互。因此，云數(shù)據(jù)虛擬化層極大降低了混合云服務應用集成部署的耦合性，加速混合云間的融合。
[0020]圖2具體給出了云數(shù)據(jù)虛擬化層的具體概要設計圖，主要包括以下三個核心模塊:
[0021](I)數(shù)據(jù)連接模塊:負責與不同的數(shù)據(jù)源建立連接，并且管理不同的連接，優(yōu)化網(wǎng)絡通信以及數(shù)據(jù)傳輸。通?？梢曰赟OAP或者REST搭建Web Service，也可以通過數(shù)據(jù)庫連接器(如JDBC)等直接連接關系型數(shù)據(jù)庫，實現(xiàn)運行在不同云端的不同應用可以輕松實現(xiàn)相互交換數(shù)據(jù)或集成，從而實現(xiàn)平臺的獨立性，以及低耦合。
[0022](2)數(shù)據(jù)集成模塊:負責為來自不同數(shù)據(jù)源的異構數(shù)據(jù)提供一個統(tǒng)一的視圖，包括傳統(tǒng)的數(shù)據(jù)抽取、轉化、加載以及不同數(shù)據(jù)格式之間的映射匹配等。同時，根據(jù)上層應用的需求，來自不同數(shù)據(jù)源的數(shù)據(jù)將進行不同的組合以及優(yōu)化，形成不同的數(shù)據(jù)虛擬視圖。不同的虛擬視圖從而組成了一個數(shù)據(jù)虛擬池，管理不同的異構數(shù)據(jù)。
[0023](3)數(shù)據(jù)發(fā)布模塊:主要為虛擬數(shù)據(jù)池進行封裝，為上層應用提供一個可以統(tǒng)一訪問并且管理虛擬數(shù)據(jù)池的服務。通過數(shù)據(jù)發(fā)布，上層的服務可以獲取數(shù)據(jù)的元數(shù)據(jù)，得只當前數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式以及其他基本信息，方便上層應用的調用。
[0024]除了以上三個核心服務模塊，云數(shù)據(jù)虛擬化層還提供一下6個優(yōu)化模塊，提高數(shù)據(jù)訪問、查詢以及管理效率:
[0025](I)查詢優(yōu)化器:針對對于復雜的數(shù)據(jù)查詢，實現(xiàn)查詢優(yōu)化，其中考慮數(shù)據(jù)大小、位置以及網(wǎng)絡狀態(tài)等因素；
[0026](2)數(shù)據(jù)緩存模塊:針對不同數(shù)據(jù)的訪問頻率，建立數(shù)據(jù)緩存，使得常用的數(shù)據(jù)可以緩存在云數(shù)據(jù)虛擬化層，而不用每次都去云端數(shù)據(jù)源獲取，提高數(shù)據(jù)訪問效率；
[0027](3)元數(shù)據(jù)管理模塊:元數(shù)據(jù)用于描述來自不同的數(shù)據(jù)源的數(shù)據(jù)特征，需要發(fā)布給上層應用服務，方便其被訪問。元數(shù)據(jù)管理可以提高數(shù)據(jù)訪問效率，更好的為上層應用提供數(shù)據(jù)服務；
[0028](4)數(shù)據(jù)審查模塊:針對上層應用，可以制定不同數(shù)據(jù)的質量模型，根據(jù)質量模型，對數(shù)據(jù)進行審核，提高數(shù)據(jù)質量；
[0029](5)性能監(jiān)控模塊:負責監(jiān)控云數(shù)據(jù)虛擬化層訪問負荷，實時保證上層服務數(shù)據(jù)調用的響應水平，并對能夠檢測異常數(shù)據(jù)訪問，防護數(shù)據(jù)服務。
[0030](6)資源調度模塊:針對不同的系統(tǒng)調用請求，按需分配云數(shù)據(jù)虛擬化層資源，實現(xiàn)虛擬化層資源調用的彈性擴展。
[0031]以上模塊可以根據(jù)混合云服務應用的特點進行擴展，同時云數(shù)據(jù)虛擬化層可以支持其他優(yōu)化模塊插件，方便用戶的擴展以及個性化需求。從圖2也可以看出，上層混合云管理應用主要涉及三個層次SaaS，PaaS以及IaaS，來獲取混合云中軟件、平臺以及基礎設施的不同的信息，方便混合云用戶以及管理員的使用和管理。我們云數(shù)據(jù)虛擬化層針對這三層服務推出的優(yōu)化模塊可以高效的實現(xiàn)這些上層服務。而位于不同云端的服務如資源管理、身份管理以及數(shù)據(jù)庫，我們可以利用傳統(tǒng)的Web Service技術，將其封裝成開放、獨立以及低耦合的外部數(shù)據(jù)源服務。
[0032]以下，我們通過一個具體的混合云計費管理系統(tǒng)，具體說明如何實現(xiàn)本方法。對應圖2所示的云數(shù)據(jù)虛擬化層模塊設計圖，實施混合云計費管理系統(tǒng)的具體的步驟如下:
[0033](I)數(shù)據(jù)連接模塊負責管理與混合云下不同云平臺的連接，遠程獲取計費管理系統(tǒng)相關數(shù)據(jù)，如圖3所示，不同的云平臺有著不同的數(shù)據(jù)格式以及存儲方式。這些數(shù)據(jù)包括三部分，即用戶數(shù)據(jù)、賬單數(shù)據(jù)以及計費數(shù)據(jù)；
[0034](2)數(shù)據(jù)集成模塊首先抽取出元數(shù)據(jù)，交于云數(shù)據(jù)管理模塊。來自不同云平臺的數(shù)據(jù)存在巨大的異構性。不同的云計算平臺有著不同的客戶信息、不同的賬單格式以及不同的計費策略。舉個例子，如計費策略，云計算平臺會根據(jù)不同的產(chǎn)品(計算、存儲以及網(wǎng)絡等)有著不同的計費模型(階梯收費、流量收費以及會員收費等)。甚至，因為資源的地理位置不同，計費的標準也不一樣。利用元數(shù)據(jù)，我們建立異構數(shù)據(jù)之間的映射關系，形成虛擬數(shù)據(jù)視圖。云數(shù)據(jù)虛擬化層的所有虛擬視圖組成一個虛擬數(shù)據(jù)池；
[0035](3)數(shù)據(jù)發(fā)布模塊則將云虛擬化層所維護的虛擬數(shù)據(jù)池封裝發(fā)布，供上層應用提供一個統(tǒng)一的服務調用。我們同時提供查詢優(yōu)化器以及數(shù)據(jù)緩存功能，提高用戶查詢數(shù)據(jù)的效率。
[0036]以上步驟可以看到異構系統(tǒng)的集成是很復雜的，傳統(tǒng)的方法要求開發(fā)人員需要十分熟悉每一個不同的云計算系統(tǒng)，從而增加了系統(tǒng)集成的復雜度以及時間成本。然而我們通過云數(shù)據(jù)虛擬化層可以封裝這些系統(tǒng)復雜性，為上層混合云應用的開發(fā)人員提供一個統(tǒng)一的數(shù)據(jù)視圖，從而不去了解具體的數(shù)據(jù)細節(jié)，如數(shù)據(jù)存在哪、如何存等。上層的服務如用戶管理、賬單管理、支付管理等都運行在由云數(shù)據(jù)虛擬化層提供的一個虛擬的數(shù)據(jù)池中，而具體的數(shù)據(jù)獲取、集成以及發(fā)布由數(shù)據(jù)虛擬化層的各個模塊完成。
[0037]從混合云計費管理的實際部署案例，原有的軟件開發(fā)周期縮短了三分之一，后期的維護成本也大大降低。同時，我們發(fā)現(xiàn)，不同云計算提供商的數(shù)據(jù)的改變對我們混合云的管理是幾乎沒有影響。我們只需要更新數(shù)據(jù)連接方式以及相應的通信格式，而不需要對上層應用做出修改。因此，云數(shù)據(jù)虛擬化層為不同的云服務提供商以及混合云應用提供了很好的隔離性，降低對云服務提供商的依賴；同時也能更加靈活迅速的接入新的云服務提供商。
【主權項】
1.一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，在混合云應用服務層和混合云服務之間增加云數(shù)據(jù)虛擬化層，負責提供用戶數(shù)據(jù)訪問以及管理的服務;其特征在于，所述的云數(shù)據(jù)虛擬化層包括數(shù)據(jù)連接模塊、數(shù)據(jù)集成模塊和數(shù)據(jù)發(fā)布模塊;其中， 數(shù)據(jù)連接模塊:負責與不同的數(shù)據(jù)源建立連接，并且管理不同的連接，優(yōu)化網(wǎng)絡通信以及數(shù)據(jù)傳輸。 數(shù)據(jù)集成模塊:負責為來自不同數(shù)據(jù)源的異構數(shù)據(jù)提供統(tǒng)一視圖，包括傳統(tǒng)的數(shù)據(jù)抽取、轉化、加載以及不同數(shù)據(jù)格式之間的映射匹配；同時，根據(jù)上層應用的需求，來自不同數(shù)據(jù)源的數(shù)據(jù)進行不同的組合以及優(yōu)化，形成不同的數(shù)據(jù)虛擬視圖；不同的虛擬視圖組成了數(shù)據(jù)虛擬池，管理不同的異構數(shù)據(jù)； 數(shù)據(jù)發(fā)布模塊:負責為數(shù)據(jù)虛擬池進行封裝，為上層應用提供可以統(tǒng)一訪問并且管理虛擬數(shù)據(jù)池的服務;通過數(shù)據(jù)發(fā)布，上層的服務獲取數(shù)據(jù)的元數(shù)據(jù)，得到當前數(shù)據(jù)的數(shù)據(jù)源、數(shù)據(jù)格式以及其他基本信息，方便上層應用的調用。2.如權利要求1所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，數(shù)據(jù)連接模塊基于SOAP或者REST搭建Web Service，或通過數(shù)據(jù)庫連接器直接連接關系型數(shù)據(jù)庫，實現(xiàn)運行在不同云端的不同應用可以輕松實現(xiàn)相互交換數(shù)據(jù)或集成，從而實現(xiàn)平臺的獨立性，以及低耦合。3.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括查詢優(yōu)化器，負責復雜的數(shù)據(jù)查詢，實現(xiàn)查詢優(yōu)化，包括基于數(shù)據(jù)大小、位置以及網(wǎng)絡狀態(tài)因素的查詢。4.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括數(shù)據(jù)緩存模塊，負責針對不同數(shù)據(jù)的訪問頻率，建立數(shù)據(jù)緩存，使得常用的數(shù)據(jù)可以緩存在云數(shù)據(jù)虛擬化層，而不用每次都去云端數(shù)據(jù)源獲取，提高數(shù)據(jù)訪問效率。5.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括元數(shù)據(jù)管理模塊，元數(shù)據(jù)用于描述來自不同的數(shù)據(jù)源的數(shù)據(jù)特征，需要發(fā)布給上層應用服務，方便其被訪問，元數(shù)據(jù)管理可以提高數(shù)據(jù)訪問效率，更好的為上層應用提供數(shù)據(jù)服務。6.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括數(shù)據(jù)審查模塊，負責針對上層應用制定不同數(shù)據(jù)的質量模型，并根據(jù)質量模型，對數(shù)據(jù)進行審核，提高數(shù)據(jù)質量。7.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括性能監(jiān)控模塊，負責監(jiān)控云數(shù)據(jù)虛擬化層訪問負荷，實時保證上層服務數(shù)據(jù)調用的響應水平，并對能夠檢測異常數(shù)據(jù)訪問，防護數(shù)據(jù)服務。8.如權利要求1或2所述的一種基于數(shù)據(jù)虛擬化的混合云計算管理系統(tǒng)，其特征在于，進一步地，該管理系統(tǒng)還包括資源調度模塊，負責針對不同的系統(tǒng)調用請求，按需分配云數(shù)據(jù)虛擬化層資源，實現(xiàn)虛擬化層資源調用的彈性擴展。
【文檔編號】H04L29/08GK105915588SQ201610210949
【公開日】2016年8月31日
【申請日】2016年4月6日
【發(fā)明人】莊浩, 張繼勇
【申請人】易云捷訊科技（北京）股份有限公司