專利名稱：基于私有云存儲的海洋實時數(shù)據(jù)同步系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)存儲系統(tǒng)，特別是一種基于私有云存儲的計算機文件利用網(wǎng)絡(luò)存儲技術(shù)實現(xiàn)的數(shù)據(jù)同步方法。
背景技術(shù)：
隨著數(shù)據(jù)流模型的實例化研究平臺“數(shù)字海洋”輔助決策系統(tǒng)的建設(shè)和完善，當(dāng)前科研人員和業(yè)務(wù)化使用人員對輔助決策系統(tǒng)的需求不僅僅是將海洋數(shù)據(jù)“數(shù)字化”存儲， 這在“數(shù)字海洋”建設(shè)第一階段已經(jīng)完成，在“數(shù)字海洋”輔助決策系統(tǒng)的研發(fā)和業(yè)務(wù)化使用過程中，科研人員和業(yè)務(wù)使用者提出了一些新的問題，比如如何對海量數(shù)據(jù)動態(tài)分配存儲空間以保證其存儲系統(tǒng)的負(fù)載均衡性和可靠性，并可以更加節(jié)約人力和財力資源，因為在實際工作中，服務(wù)器集群和冷卻所消耗的電量極大，而且海洋實時監(jiān)測數(shù)據(jù)源源不斷的從采集觀測站發(fā)送到各自所屬的海洋站中做存儲，海洋站將實時數(shù)據(jù)存儲并傳輸?shù)剿鶎俸Ｑ笾行恼?，各海洋中心站最終將實時數(shù)據(jù)存儲后發(fā)送至海區(qū)中心站做存儲和數(shù)據(jù)挖掘。實際工作中，海區(qū)中心站服務(wù)器將每一條數(shù)據(jù)的不同屬性提取出來，將具體的屬性值存儲到有著不同業(yè)務(wù)需求的專題數(shù)據(jù)庫中，而不是整條存儲數(shù)據(jù)。由于海洋數(shù)據(jù)具有海量、多源、 異構(gòu)的特點，當(dāng)實時數(shù)據(jù)不間斷的傳輸至海區(qū)中心站時，接收數(shù)據(jù)的服務(wù)器將會出現(xiàn)計算入庫延遲甚至由于不停計算存儲空間產(chǎn)生了操作系統(tǒng)死鎖最終導(dǎo)致死機，嚴(yán)重影響了海洋中心站的業(yè)務(wù)進(jìn)度。比如在實際工作中，海洋臺站以頻率為每10分鐘發(fā)送一條大小為1MB 的監(jiān)測數(shù)據(jù)到海洋中心站，假設(shè)國家海洋局某海區(qū)中心站同時接收15個海洋中心站(每個海洋中心站由15個臺站組成)發(fā)送的實時監(jiān)測數(shù)據(jù)，而且當(dāng)服務(wù)器集群在分配存儲空間的同時，一些服務(wù)器仍需面對負(fù)載比較重的請求比如進(jìn)行計算密集的查詢、數(shù)據(jù)庫訪問等； 而大部分服務(wù)器僅僅負(fù)載比較輕的請求比如只需要讀一個HTML頁面或者進(jìn)行很簡單的計算，該服務(wù)器集群的負(fù)載不均衡性將會導(dǎo)致個別服務(wù)器死機甚至造成整個數(shù)字海洋系統(tǒng)的工作效率降低。然而以上假設(shè)也僅僅考慮了每個臺站僅發(fā)送的一條數(shù)據(jù)所耗費的資源量， 事實上海洋臺站采集各種海洋數(shù)據(jù)并將這些數(shù)據(jù)分成若干條發(fā)送至海洋中心站進(jìn)行存儲， 海區(qū)服務(wù)器集群的負(fù)載壓力可想而知。所以符合實際需求的海洋數(shù)據(jù)的存儲動態(tài)負(fù)載均衡存儲問題急需解決。私有存儲云只對受限的用戶提供相應(yīng)的存儲服務(wù)，使用存儲服務(wù)的用戶不需要了解“云”組成的具體細(xì)節(jié)，只要知道相應(yīng)的接口，并提供相應(yīng)的策略，剩下的工作交由“云” 來完成，這朵“云”就提供存儲空間，并且其中的數(shù)據(jù)可以做到隨時訪問，就像訪問本地的存儲一樣。作為云端則在不影響用戶的情況下，提供了很多的附加功能，使得云成為高效、可靠、安全的存儲池。就較低的整體存儲成本而言，使用云存儲技術(shù)的好處對非結(jié)構(gòu)化數(shù)據(jù)來說是顯而易見的。云存儲技術(shù)是以服務(wù)為基礎(chǔ)，無需購買、管理和維護(hù)存儲硬件設(shè)備，私有云存儲具有的特點是1.統(tǒng)一管理；2.易于實現(xiàn)集中備份及容災(zāi)；3.易于擴展、升級方便； 4.節(jié)約成本，綠色節(jié)能。隨著海洋數(shù)據(jù)傳輸專線的不斷升級和網(wǎng)絡(luò)電腦性能的不斷提高，海洋數(shù)據(jù)傳輸網(wǎng)絡(luò)已經(jīng)具備了構(gòu)建私有云存儲海洋數(shù)據(jù)的條件，構(gòu)建基于數(shù)字海洋數(shù)據(jù)傳輸專線的私有云存儲的優(yōu)勢包括1.提高靈活性，包括顯著縮短內(nèi)部傳輸響應(yīng)時間；2.通過提高資源利用率來實現(xiàn)更高的效率，包括大幅節(jié)約能源；3.充分利用網(wǎng)絡(luò)內(nèi)部空閑的硬件和軟件，在提升可用性的同時，最大程度地控制成本增加；4.利用全新的數(shù)據(jù)同步入庫系統(tǒng)來優(yōu)化改進(jìn)數(shù)據(jù)管理機制，私有云存儲技術(shù)通過消除傳統(tǒng)數(shù)據(jù)存儲預(yù)期的增長容量和負(fù)載而配置的大量存儲空間，以達(dá)到數(shù)據(jù)空間接近100%的利用率。除了以上提到的四個優(yōu)勢外，私有云存儲還具有可擴展性、透明的支持基礎(chǔ)能力和解決高峰負(fù)荷能力強等特點。

發(fā)明內(nèi)容
本發(fā)明是利用海洋數(shù)據(jù)傳輸專線網(wǎng)絡(luò)，構(gòu)建一個海洋傳輸?shù)乃接性拼鎯ο到y(tǒng)，私有云存儲不僅是在通過統(tǒng)一數(shù)據(jù)接口進(jìn)行傳輸和存儲實時數(shù)據(jù)功能中發(fā)揮了作用，更重要的是該存儲系統(tǒng)將會優(yōu)化現(xiàn)有的實時數(shù)據(jù)多數(shù)據(jù)庫存儲機制，可以實現(xiàn)當(dāng)實時數(shù)據(jù)傳輸?shù)胶^(qū)中心站時，利用私有云存儲系統(tǒng)對每條新數(shù)據(jù)的屬性進(jìn)行存儲并分析，根據(jù)目標(biāo)專題數(shù)據(jù)庫不同的業(yè)務(wù)需求，自動智能的提取相關(guān)屬性值分別入庫存儲。


圖1為本發(fā)明所揭示的私有云存儲的多數(shù)據(jù)庫同步系統(tǒng)的框架圖。圖2為本發(fā)明所揭示的私有云存儲系統(tǒng)工作流程圖。
具體實施例方式如圖1，基于私有云存儲的多數(shù)據(jù)庫同步更新系統(tǒng)的工作原理是利用數(shù)據(jù)傳輸專線網(wǎng)絡(luò)構(gòu)建私有云存儲系統(tǒng)，當(dāng)海洋臺站采集到新的實時海洋監(jiān)測數(shù)據(jù)時，數(shù)據(jù)通過統(tǒng)一的數(shù)據(jù)流接收端口存儲到私有云端，數(shù)據(jù)流接口的設(shè)計思想是利用編程技術(shù)設(shè)計一套軟件接口，目的是規(guī)避不同海洋數(shù)據(jù)采集硬件之間無法傳輸?shù)剿接性贫瞬⑶医?jīng)過私有云存儲優(yōu)化后無法將各屬性值同步到各個數(shù)據(jù)庫中的缺陷。當(dāng)實時數(shù)據(jù)存儲到私有云端后，實時數(shù)據(jù)將會被存儲在私有云存儲裝置，元數(shù)據(jù)分析模塊將會對實時數(shù)據(jù)按照屬性進(jìn)行分析，并與Agent對目標(biāo)專題數(shù)據(jù)庫的屬性需求的返回值進(jìn)行匹配，提取屬性值后通過數(shù)據(jù)流發(fā)送接口同步至各個目標(biāo)專題數(shù)據(jù)庫。之后過期實時數(shù)據(jù)將會被系統(tǒng)定期的轉(zhuǎn)存至永久性存儲裝置，用以釋放私有云的彈性存儲空間，優(yōu)化其工作效率。如圖2，該私有云模塊由四部分組成1.數(shù)據(jù)映射接口、2.存儲設(shè)備、3.元數(shù)據(jù)分析模塊4.代理層(Agent)，而彈性私有云存儲中的實現(xiàn)是依托一些真正在運行中的虛擬機服務(wù)器分配給用戶的虛擬機，該用戶具有全部的訪問權(quán)限，包括對此虛擬機的管理員權(quán)限。由于用戶在部署網(wǎng)絡(luò)程序的時候，大多數(shù)情況會通過多個實例的協(xié)同工作來實現(xiàn)一個運行效果。彈性私有云存儲系統(tǒng)通過內(nèi)部的IP地址實現(xiàn)了內(nèi)部結(jié)構(gòu)中實例間的傳輸與交互網(wǎng)絡(luò)，使用戶的運行的應(yīng)用程序在不同的實例之間可以相互調(diào)用和處理通信資源， 大大的提高了工作效率。為了將海洋實時監(jiān)測數(shù)據(jù)利用云存儲實現(xiàn)負(fù)載均衡分配存儲空間，以及實時解析數(shù)據(jù)流中個屬性值存儲至各個海洋專題數(shù)據(jù)庫中的目的，本發(fā)明設(shè)計了一個完善的私有云存儲系統(tǒng)的工作流程。各個部分的工作機制以及通信機制如下闡述(1)數(shù)據(jù)映射接口
該接口是圍繞如何解決海洋實時監(jiān)測數(shù)據(jù)流進(jìn)行數(shù)據(jù)映射，并在映射存儲到對應(yīng)的專題數(shù)據(jù)庫。該接口的設(shè)計思想是利用編程技術(shù)設(shè)計一套軟件接口，目的是規(guī)避不同海洋數(shù)據(jù)采集硬件之間無法傳輸?shù)剿接性贫瞬⑶医?jīng)過私有云存儲優(yōu)化后無法將各屬性值同步到專題數(shù)據(jù)庫中的缺陷。(2)存儲設(shè)備存儲設(shè)備層是云存儲最基礎(chǔ)的部分，存儲設(shè)備是在組成私有云的所有工作的計算機。其中私有云存儲內(nèi)部的存儲設(shè)備通過海洋數(shù)據(jù)傳輸專線網(wǎng)絡(luò)連接在一起。當(dāng)臺站采集新的實時數(shù)據(jù)后，臺站的浮標(biāo)、傳感器等硬件設(shè)備將利用數(shù)據(jù)映射接口將數(shù)據(jù)通過數(shù)據(jù)傳輸專線傳送至私有云端，私有云端首先接收實時數(shù)據(jù)存儲在緩存中，然后根據(jù)當(dāng)前各個私有云存儲系統(tǒng)內(nèi)的虛擬服務(wù)器的實時存儲狀態(tài)和當(dāng)前的計算負(fù)載狀態(tài)等評定指標(biāo)綜合計算并分配存儲空間，以實現(xiàn)彈性存儲的目的，并在存儲層中對實時數(shù)據(jù)進(jìn)行存儲。該存儲設(shè)備層的另一個設(shè)計目的是實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、硬件設(shè)備的狀態(tài)監(jiān)控等功能。這與現(xiàn)有的私有云管理層相比，增加了更多的監(jiān)控內(nèi)容以保證私有云內(nèi)工作計算機的負(fù)荷穩(wěn)定性，實現(xiàn)了動態(tài)負(fù)載均衡分配存儲機制。管理層通過集群、分布式文件系統(tǒng)等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能。(3)數(shù)據(jù)分析模塊在利用私有云端對實時數(shù)據(jù)進(jìn)行存儲后，系統(tǒng)將使用元數(shù)據(jù)分析技術(shù)對實時數(shù)據(jù)的屬性進(jìn)行分析歸類，系統(tǒng)將自頂向下的將實時數(shù)據(jù)頂層屬性開始進(jìn)行分析，最終通過統(tǒng)一的XML格式傳遞給代理層(Agent)。(4)代理層(Agent)在代理層，系統(tǒng)智能的對各數(shù)據(jù)庫的業(yè)務(wù)需求進(jìn)行分析并獲取目標(biāo)專題數(shù)據(jù)庫的需求業(yè)務(wù)屬性，并反饋給存儲設(shè)備，存儲設(shè)備將會根據(jù)具體各個數(shù)據(jù)庫的業(yè)務(wù)需求來提取每一條實時數(shù)據(jù)的不同屬性值，如果沒有找到對應(yīng)屬性值，系統(tǒng)則默認(rèn)回溯到原數(shù)據(jù)分析模塊繼續(xù)查找。最終通過數(shù)據(jù)映射接口同步至各個數(shù)據(jù)庫，真正實現(xiàn)了實時數(shù)據(jù)的同步。綜上所述，本發(fā)明是基于私有云存儲技術(shù)解決實時數(shù)據(jù)的同步存儲問題，由于海洋監(jiān)測數(shù)據(jù)特殊的實時性、海量性和異構(gòu)性，使用傳統(tǒng)方法對實時數(shù)據(jù)的各條屬性分別提取后存儲到分布式數(shù)據(jù)庫中時，往往會造成實時數(shù)據(jù)屬性值的缺損，用戶使用這些缺失數(shù)據(jù)將會對工作造成極大的困難，傳統(tǒng)的海洋監(jiān)測數(shù)據(jù)同步方法無法的解決這個難題。針對這個缺陷，本發(fā)明提出了一種全新的基于私有云存儲的多數(shù)據(jù)庫同步更新方法，利用數(shù)據(jù)傳輸專線網(wǎng)絡(luò)和網(wǎng)絡(luò)內(nèi)的計算機構(gòu)建私有云存儲，利用私有云存儲和管理技術(shù)對海洋實時數(shù)據(jù)庫進(jìn)行存儲，并根據(jù)目標(biāo)專題數(shù)據(jù)庫不同的業(yè)務(wù)需求，設(shè)計Agent與元數(shù)據(jù)分析模塊進(jìn)行智能匹配提取屬性值，最終通過數(shù)據(jù)映射接口將每一條實時數(shù)據(jù)的屬性值同步到目標(biāo)專題數(shù)據(jù)庫中。以上所述僅為舉例性，而非為限制性。本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制， 任何未脫離本發(fā)明的精神與范疇，均應(yīng)包含于申請范圍之內(nèi)
權(quán)利要求
1.基于私有云存儲的多數(shù)據(jù)庫同步系統(tǒng)的設(shè)計，其特征在于，應(yīng)該包括有一套完整閉合的數(shù)據(jù)傳輸網(wǎng)絡(luò)，用來進(jìn)行高速、保密的傳輸實時數(shù)據(jù)；一套數(shù)據(jù)流接收、發(fā)送接口，用來統(tǒng)一接收臺站傳輸?shù)膶崟r數(shù)據(jù)存儲到私有云存儲裝置中，并且將最終結(jié)果同步到目標(biāo)專題數(shù)據(jù)庫中；一套私有云存儲裝置，該裝置通過數(shù)據(jù)流接收接口與分布式的臺站相連，負(fù)責(zé)存儲由臺站傳輸?shù)膶崟r數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行分析，根據(jù)各個目標(biāo)專題數(shù)據(jù)庫的需求提取其對應(yīng)屬性進(jìn)行分發(fā)同步存儲；一套永久性存儲裝置，其目的是存儲過期的海洋監(jiān)測數(shù)據(jù)，以釋放私有云的彈性存儲空間。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)傳輸網(wǎng)絡(luò)，其特征在于該網(wǎng)絡(luò)擁有高帶寬，網(wǎng)絡(luò)內(nèi)部擁有至少三臺以上的M小時不停止工作的計算機。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)流接收、發(fā)送接口，其特征在于負(fù)責(zé)將各個臺站的實時數(shù)據(jù)傳輸至私有云存儲裝置中，并將提取的屬性值同步至目標(biāo)專題數(shù)據(jù)庫中存儲。
4.根據(jù)權(quán)利要求1所述的私有云存儲裝置，其特征在于構(gòu)建了私有云進(jìn)行存儲實時數(shù)據(jù)，同時根據(jù)目標(biāo)專題數(shù)據(jù)庫的不同需求，分析并提取相應(yīng)的數(shù)據(jù)屬性值同步至目標(biāo)專題數(shù)據(jù)庫進(jìn)行存儲。
5.根據(jù)權(quán)利要求1所述的永久性存儲裝置，其特征在于使用相對廉價的大容量磁盤陣列存儲過期的海洋監(jiān)測數(shù)據(jù)。
全文摘要
本發(fā)明提供一套基于私有云存儲的海洋實時數(shù)據(jù)同步存儲系統(tǒng)，以彌補目前實時數(shù)據(jù)同步存儲系統(tǒng)由于各個專題數(shù)據(jù)庫的庫表結(jié)構(gòu)以及對屬性的提取方式不同等原因造成實時數(shù)據(jù)接收后的處理延遲甚至內(nèi)存溢出等缺陷。本發(fā)明尤其是在提出了利用私有云存儲對海洋數(shù)據(jù)進(jìn)行分析后提取屬性信息并同步保存于多數(shù)據(jù)庫的方面做出了貢獻(xiàn)。它至少包括以下部分一套完整閉合的數(shù)據(jù)傳輸網(wǎng)絡(luò)，一套數(shù)據(jù)流接收、發(fā)送接口，一套私有云存儲裝置，一套永久性存儲裝置以及一套正常工作的分布式數(shù)據(jù)庫系統(tǒng)。本發(fā)明適合針對海量的實時數(shù)據(jù)提取其中的各個屬性值并同步存儲至多個目標(biāo)專題數(shù)據(jù)庫的應(yīng)用。
文檔編號H04L29/08GK102404406SQ20111039424
公開日2012年4月4日 申請日期2011年12月2日 優(yōu)先權(quán)日2011年12月2日
發(fā)明者張弛, 張明華, 黃冬梅 申請人:上海海洋大學(xué)