亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法

文檔序號:10569950閱讀:290來源:國知局
基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法
【專利摘要】本發(fā)明公開了一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,步驟如下:1)數(shù)據(jù)監(jiān)聽器監(jiān)聽指定目錄,則將新的Argo數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器;2)數(shù)據(jù)分類器將匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件按照文件格式分為三個(gè)類別;3)數(shù)據(jù)控制器檢查數(shù)據(jù)庫中是否存在當(dāng)前數(shù)據(jù),并檢查數(shù)據(jù)文件內(nèi)容是否完整;4)數(shù)據(jù)提取器從數(shù)據(jù)文件中提取相關(guān)的元數(shù)據(jù)和數(shù)據(jù)塊;5)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng);6)數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,形成日志文件。本發(fā)明基于混合數(shù)據(jù)庫架構(gòu),將全球Argo數(shù)據(jù)中不同類型的數(shù)據(jù)文件統(tǒng)一到同一個(gè)數(shù)據(jù)庫平臺中進(jìn)行存儲與更新,為全球Argo數(shù)據(jù)提供了高效的、可靈活擴(kuò)展的存儲與更新解決方案。
【專利說明】
基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及數(shù)據(jù)存儲與更新技術(shù)領(lǐng)域,尤其涉及一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法。
【背景技術(shù)】
[0002]全球Argo計(jì)劃是由美國、法國和日本等國的大氣、海洋科學(xué)家于1998年推出的全球性海洋觀測計(jì)劃,旨在快速、準(zhǔn)確、大范圍地收集全球海洋上層的海水溫、鹽度剖面資料,以提高氣候預(yù)報(bào)的精度,有效防御全球日益嚴(yán)重的氣候?yàn)?zāi)害(如颶風(fēng)、龍卷風(fēng)、臺風(fēng)、冰暴、洪水和干旱等)給人類造成的威脅。十五年以來,各國在全球海洋布放的Argo浮標(biāo)數(shù)量超過12,000個(gè),已累計(jì)獲得了約150萬條溫、鹽度剖面,形成了龐大的全球Argo數(shù)據(jù)海洋。
[0003]隨著全球Argo數(shù)據(jù)量的不斷遞增,且由于Argo數(shù)據(jù)存在多源異構(gòu)、動態(tài)多維以及海量等特性,全球Arg0數(shù)據(jù)的高效存儲與更新一直都是一個(gè)挑戰(zhàn)性的難題。目前Argo數(shù)據(jù)以文件存儲作為主要存儲形式,對未經(jīng)加工的原始數(shù)據(jù)的提取和分類工作難以進(jìn)行,也不利于進(jìn)一步的數(shù)據(jù)挖掘,無法匹配當(dāng)前日益增長的Argo數(shù)據(jù)海洋。長期積累下來的各類Argo資料被存放在相互孤立的不同地點(diǎn),無法進(jìn)行有效的協(xié)同工作,數(shù)據(jù)的更新也無法做到快速的時(shí)效性。因此,將不同類型的全球Argo數(shù)據(jù)統(tǒng)一到同一個(gè)數(shù)據(jù)庫平臺中進(jìn)行存儲與更新,成為科研業(yè)務(wù)的迫切需求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為克服現(xiàn)有技術(shù)存在的問題,提供一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法。
[0005]基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,它的步驟如下:
[0006]I)數(shù)據(jù)監(jiān)聽器在遠(yuǎn)程數(shù)據(jù)主機(jī)上監(jiān)聽指定目錄,一旦有新的Argo數(shù)據(jù)文件生成,則將數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器;
[0007]2)數(shù)據(jù)分類器將匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件按照文件格式分為全球Argo浮標(biāo)元數(shù)據(jù)、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品三個(gè)類別;
[0008]3)數(shù)據(jù)控制器檢查數(shù)據(jù)庫中是否存在當(dāng)前數(shù)據(jù),并檢查數(shù)據(jù)文件內(nèi)容是否完整;
[0009]4)數(shù)據(jù)提取器從數(shù)據(jù)文件中提取相關(guān)的元數(shù)據(jù)和數(shù)據(jù)塊;
[0010]5)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),將結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,并建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引;
[0011 ] 6)數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,形成日志文件。
[0012]所述的步驟I)具體為:數(shù)據(jù)監(jiān)聽器是一個(gè)常駐在數(shù)據(jù)服務(wù)器上的模塊,它會周期性地啟動線程,用于連接全球Argo數(shù)據(jù)相關(guān)的各個(gè)遠(yuǎn)程數(shù)據(jù)主機(jī),并通過日志文檔判斷指定目錄上是否有新的Argo數(shù)據(jù)生成,一旦有新文件生成,則將該數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器上,并記錄在日志文檔中。
[0013]所述的步驟2)具體為:數(shù)據(jù)分類器對匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件進(jìn)行分類,DAT文件格式為全球Argo浮標(biāo)元數(shù)據(jù),NetCDF文件格式的為全球Argo浮標(biāo)觀測剖面數(shù)據(jù),PNG文件格式的為全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品,由此將這三類文件劃分到各自的數(shù)據(jù)中心。
[0014]所述的步驟3)具體為:數(shù)據(jù)控制器根據(jù)文件名稱從PostgreSQL關(guān)系型數(shù)據(jù)庫中查詢是否存在該數(shù)據(jù)文件,并根據(jù)文件大小判斷該數(shù)據(jù)文件是否完整,若符合數(shù)據(jù)庫中不存在該數(shù)據(jù)文件且數(shù)據(jù)文件完整,則可確定為新的數(shù)據(jù)文件,可以入庫。
[0015]所述的步驟4)具體為:數(shù)據(jù)提取器從全球Argo浮標(biāo)元數(shù)據(jù)文件、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品中分別提取對應(yīng)的元數(shù)據(jù),同時(shí)從全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件提取塊數(shù)據(jù)并轉(zhuǎn)換為JSON格式文件。
[0016]所述的步驟5)具體包括如下子步驟:
[0017]5.1)數(shù)據(jù)入庫模塊將步驟4)中提取出來的結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,主要存儲在浮標(biāo)元數(shù)據(jù)表、浮標(biāo)觀測剖面數(shù)據(jù)信息表和浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表這三類表,其中浮標(biāo)元數(shù)據(jù)表用于存儲所有Argo浮標(biāo)的元數(shù)據(jù)信息,即每個(gè)Argo浮標(biāo)的技術(shù)參數(shù),包括WMO編號、平臺號、傳輸系統(tǒng)、信號傳輸重復(fù)率、定位系統(tǒng)、制造商、剖面采樣方向、傳感器信息以及循環(huán)信息等;浮標(biāo)觀測剖面數(shù)據(jù)信息表用于存儲所有觀測剖面相關(guān)信息,為提高查詢效率,該表按年份分多表存儲,主要包括浮標(biāo)ID、WMO編號、剖面循環(huán)數(shù)、剖面觀測方向、日期以及經(jīng)瑋度等;浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表用于存儲所有網(wǎng)格化數(shù)據(jù)產(chǎn)品相關(guān)信息,主要包括產(chǎn)品類別、產(chǎn)品日期、產(chǎn)品范圍等;
[0018]5.2)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的JSON和PNG文件數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),并在多個(gè)物理節(jié)點(diǎn)上完成存儲和冗余備份,其數(shù)據(jù)塊訪問路徑存放在集群的主節(jié)點(diǎn)上;
[0019]5.3)數(shù)據(jù)入庫模塊同時(shí)將數(shù)據(jù)塊訪問路徑與對其對應(yīng)的元數(shù)據(jù)信息統(tǒng)一存儲在PostgreSQL關(guān)系型數(shù)據(jù)庫中,以此建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引,實(shí)現(xiàn)全球Argo數(shù)據(jù)在HDFS分布式存儲系統(tǒng)和PostgreSQL關(guān)系型數(shù)據(jù)庫的混合存儲。
[0020]所述的步驟6)具體為:數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,以日為單位,按照全球Argo數(shù)據(jù)的三個(gè)類別分別形成日志文件。
[0021]本發(fā)明與現(xiàn)有技術(shù)相比具有的有益效果是:
[0022]I)本發(fā)明克服了目前文件存儲方式和單一關(guān)系型數(shù)據(jù)庫無法協(xié)同存儲和有效更新的不足,將全球Argo數(shù)據(jù)中不同類型的數(shù)據(jù)文件統(tǒng)一到同一個(gè)數(shù)據(jù)庫平臺中進(jìn)行存儲與更新,為全球Argo數(shù)據(jù)提供了一種高效的、可靈活擴(kuò)展的存儲與更新解決方案。
[0023]2)本發(fā)明利用HDFS存儲全球Argo數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù),將每個(gè)數(shù)據(jù)塊復(fù)制到集群中的多個(gè)節(jié)點(diǎn)上,提高了數(shù)據(jù)的容錯(cuò)性,并可以動態(tài)添加或移除節(jié)點(diǎn),保證了數(shù)據(jù)的可擴(kuò)展性,為全球Argo數(shù)據(jù)的高效訪問及快速更新提供了基礎(chǔ)保障。
【附圖說明】
[0024]圖1為基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法的流程圖;
[0025]圖2為混合數(shù)據(jù)庫架構(gòu)圖。
【具體實(shí)施方式】
[0026]下面結(jié)合附圖對本發(fā)明做進(jìn)一步闡述和說明。本發(fā)明中各個(gè)實(shí)施方式的技術(shù)特征在沒有相互沖突的前提下,均可進(jìn)行相應(yīng)組合。
[0027]如圖1所示,一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,它的步驟如下:
[0028]I)數(shù)據(jù)監(jiān)聽器在遠(yuǎn)程數(shù)據(jù)主機(jī)上監(jiān)聽指定目錄,一旦有新的Argo數(shù)據(jù)文件生成,則將數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器。具體為:
[0029]數(shù)據(jù)監(jiān)聽器是一個(gè)常駐在數(shù)據(jù)服務(wù)器上的模塊,它會周期性地啟動線程,用于連接全球Argo數(shù)據(jù)相關(guān)的各個(gè)遠(yuǎn)程數(shù)據(jù)主機(jī),并通過日志文檔判斷指定目錄上是否有新的Argo數(shù)據(jù)生成,一旦有新文件生成,則將該數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器上,并記錄在日志文檔中。
[0030]2)數(shù)據(jù)分類器將匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件按照文件格式分為全球Argo浮標(biāo)元數(shù)據(jù)、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品三個(gè)類別。具體為:
[0031]數(shù)據(jù)分類器對匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件進(jìn)行分類,DAT文件格式為全球Argo浮標(biāo)元數(shù)據(jù),Net⑶F文件格式的為全球Argo浮標(biāo)觀測剖面數(shù)據(jù),PNG文件格式的為全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品,由此將這三類文件劃分到各自的數(shù)據(jù)中心。
[0032]3)數(shù)據(jù)控制器檢查數(shù)據(jù)庫中是否存在當(dāng)前數(shù)據(jù),并檢查數(shù)據(jù)文件內(nèi)容是否完整。具體為:
[0033]數(shù)據(jù)控制器根據(jù)文件名稱從PostgreSQL關(guān)系型數(shù)據(jù)庫中查詢是否存在該數(shù)據(jù)文件,并根據(jù)文件大小判斷該數(shù)據(jù)文件是否完整,若符合數(shù)據(jù)庫中不存在該數(shù)據(jù)文件且數(shù)據(jù)文件完整,則可確定為新的數(shù)據(jù)文件,可以入庫;否則不可入庫。一般可預(yù)設(shè)一個(gè)對比值,用于判斷數(shù)據(jù)文件是否完整。對比值可根據(jù)目前國際Argo文件的標(biāo)準(zhǔn)進(jìn)行確定,正常的剖面文件大小都為38KB。
[0034]4)數(shù)據(jù)提取器從數(shù)據(jù)文件中提取相關(guān)的元數(shù)據(jù)和數(shù)據(jù)塊。具體為:
[0035]數(shù)據(jù)提取器從全球Argo浮標(biāo)元數(shù)據(jù)文件、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品中分別提取對應(yīng)的元數(shù)據(jù),同時(shí)從全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件提取塊數(shù)據(jù)并轉(zhuǎn)換為JSON格式文件。
[0036]5)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),將結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,并建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引。具體為:
[0037]5.1)數(shù)據(jù)入庫模塊將步驟4)中提取出來的結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,主要存儲在浮標(biāo)元數(shù)據(jù)表、浮標(biāo)觀測剖面數(shù)據(jù)信息表和浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表這三類表,其中浮標(biāo)元數(shù)據(jù)表用于存儲所有Argo浮標(biāo)的元數(shù)據(jù)信息,即每個(gè)Argo浮標(biāo)的技術(shù)參數(shù),包括WMO編號、平臺號、傳輸系統(tǒng)、信號傳輸重復(fù)率、定位系統(tǒng)、制造商、剖面采樣方向、傳感器信息以及循環(huán)信息等;浮標(biāo)觀測剖面數(shù)據(jù)信息表用于存儲所有觀測剖面相關(guān)信息,為提高查詢效率,該表按年份分多表存儲,主要包括浮標(biāo)ID、WMO編號、剖面循環(huán)數(shù)、剖面觀測方向、日期以及經(jīng)瑋度等;浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表用于存儲所有網(wǎng)格化數(shù)據(jù)產(chǎn)品相關(guān)信息,主要包括產(chǎn)品類別、產(chǎn)品日期、產(chǎn)品范圍等;
[0038]5.2)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的JSON和PNG文件數(shù)據(jù)塊(即前述“JS0N格式文件”和“PNG文件格式的為全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品”)上傳到HDFS分布式存儲系統(tǒng),并在多個(gè)物理節(jié)點(diǎn)上完成存儲和冗余備份,其數(shù)據(jù)塊訪問路徑存放在集群的主節(jié)點(diǎn)上;
[0039]5.3)數(shù)據(jù)入庫模塊同時(shí)將數(shù)據(jù)塊訪問路徑與對其對應(yīng)的元數(shù)據(jù)信息統(tǒng)一存儲在PostgreSQL關(guān)系型數(shù)據(jù)庫中,以此建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引,實(shí)現(xiàn)全球Argo數(shù)據(jù)在HDFS分布式存儲系統(tǒng)和PostgreSQL關(guān)系型數(shù)據(jù)庫的混合存儲。
[0040]6)數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,以日為單位,按照全球Argo數(shù)據(jù)的三個(gè)類別分別形成日志文件。
[0041]下面以實(shí)施例對本發(fā)明做進(jìn)一步闡述,實(shí)施例的操作步驟與上述方法一致,因此簡潔起見,部分步驟未具體說明。
[0042]實(shí)施例
[0043]I)數(shù)據(jù)監(jiān)聽器在遠(yuǎn)程數(shù)據(jù)主機(jī)上(ftp://ftp.arg0.0rg.cn/pub/ARGO)監(jiān)聽指定目錄,一旦有新的Argo數(shù)據(jù)文件生成,比如說監(jiān)聽到新的數(shù)據(jù)文件1900726_285.nc,則將該數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器;
[0044]2)數(shù)據(jù)分類器將匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件1900726_285.nc按照文件格式判斷為全球Argo浮標(biāo)觀測剖面數(shù)據(jù),將此文件轉(zhuǎn)移到對應(yīng)的數(shù)據(jù)中心;
[0045]3)數(shù)據(jù)控制器檢查PostgreSQL關(guān)系型數(shù)據(jù)庫是否存在當(dāng)前數(shù)據(jù),若不存在,則可確定為新數(shù)據(jù)文件,并根據(jù)文件大小判斷此數(shù)據(jù)文件內(nèi)容是否完整,若該文件大小為38KB,則確定該文件內(nèi)容完整;
[0046]4)數(shù)據(jù)提取器從1900726_285.nc數(shù)據(jù)文件中提取相關(guān)的元數(shù)據(jù)和數(shù)據(jù)塊,元數(shù)據(jù)內(nèi)容包括了WMO編號為1900726、平臺號為39506、傳輸系統(tǒng)為ARG0S、定位系統(tǒng)為ARG0S、制造商為Webb、循環(huán)周期為285、經(jīng)瑋度信息為南瑋25.761°西經(jīng)115.159°等相關(guān)信息;數(shù)據(jù)塊內(nèi)容則為提取的具體觀測剖面信息,并轉(zhuǎn)換為JSON格式文件1900726_285.json;
[0047]5)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的1900726_285.json文件作為數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),保存在各個(gè)數(shù)據(jù)節(jié)點(diǎn)中,將結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中的浮標(biāo)觀測剖面數(shù)據(jù)信息表,同時(shí)將數(shù)據(jù)塊訪問路徑與對其對應(yīng)的元數(shù)據(jù)信息統(tǒng)一存儲在PostgreSQL關(guān)系型數(shù)據(jù)庫中,以此建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引,具體如圖2所示;
[0048]6)數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,形成日志文件。
[0049]以上所述的實(shí)施方式只是本發(fā)明的一種較佳的方案,然其并非用以限制本發(fā)明。有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本發(fā)明的精神和范圍的情況下,還可以做出各種變化和變型。因此凡采取等同替換或等效變換的方式所獲得的技術(shù)方案,均落在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于它的步驟如下: 1)數(shù)據(jù)監(jiān)聽器在遠(yuǎn)程數(shù)據(jù)主機(jī)上監(jiān)聽指定目錄,一旦有新的Argo數(shù)據(jù)文件生成,則將數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器; 2)數(shù)據(jù)分類器將匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件按照文件格式分為全球Argo浮標(biāo)元數(shù)據(jù)、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品三個(gè)類別; 3)數(shù)據(jù)控制器檢查數(shù)據(jù)庫中是否存在當(dāng)前數(shù)據(jù),并檢查數(shù)據(jù)文件內(nèi)容是否完整; 4)數(shù)據(jù)提取器從數(shù)據(jù)文件中提取相關(guān)的元數(shù)據(jù)和數(shù)據(jù)塊; 5)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),將結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,并建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引; 6)數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,形成日志文件。2.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟I)為:數(shù)據(jù)監(jiān)聽器是一個(gè)常駐在數(shù)據(jù)服務(wù)器上的模塊,它會周期性地啟動線程,用于連接全球Argo數(shù)據(jù)相關(guān)的各個(gè)遠(yuǎn)程數(shù)據(jù)主機(jī),并通過日志文檔判斷指定目錄上是否有新的Argo數(shù)據(jù)生成,一旦有新文件生成,則將該數(shù)據(jù)文件轉(zhuǎn)發(fā)到數(shù)據(jù)服務(wù)器上,并記錄在日志文檔中。3.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟2)為:數(shù)據(jù)分類器對匯總在數(shù)據(jù)服務(wù)器上的Argo數(shù)據(jù)文件進(jìn)行分類,DAT文件格式為全球Argo浮標(biāo)元數(shù)據(jù),NetCDF文件格式的為全球Argo浮標(biāo)觀測剖面數(shù)據(jù),PNG文件格式的為全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品,由此將這三類文件劃分到各自的數(shù)據(jù)中心。4.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟3)為:數(shù)據(jù)控制器根據(jù)文件名稱從PostgreSQL關(guān)系型數(shù)據(jù)庫中查詢是否存在該數(shù)據(jù)文件,并根據(jù)文件大小判斷該數(shù)據(jù)文件是否完整,若符合數(shù)據(jù)庫中不存在該數(shù)據(jù)文件且數(shù)據(jù)文件完整,則可確定為新的數(shù)據(jù)文件,可以入庫。5.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟4)為:數(shù)據(jù)提取器從全球Argo浮標(biāo)元數(shù)據(jù)文件、全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件和全球Argo網(wǎng)格化數(shù)據(jù)產(chǎn)品中分別提取對應(yīng)的元數(shù)據(jù),同時(shí)從全球Argo浮標(biāo)觀測剖面數(shù)據(jù)文件提取塊數(shù)據(jù)并轉(zhuǎn)換為JSON格式文件。6.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟5)為: 5.1)數(shù)據(jù)入庫模塊將步驟4)中提取出來的結(jié)構(gòu)化的元數(shù)據(jù)記錄到PostgreSQL關(guān)系型數(shù)據(jù)庫中,主要存儲在浮標(biāo)元數(shù)據(jù)表、浮標(biāo)觀測剖面數(shù)據(jù)信息表和浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表這三類表,其中浮標(biāo)元數(shù)據(jù)表用于存儲所有Argo浮標(biāo)的元數(shù)據(jù)信息,即每個(gè)Argo浮標(biāo)的技術(shù)參數(shù),包括WMO編號、平臺號、傳輸系統(tǒng)、信號傳輸重復(fù)率、定位系統(tǒng)、制造商、剖面采樣方向、傳感器信息以及循環(huán)信息;浮標(biāo)觀測剖面數(shù)據(jù)信息表用于存儲所有觀測剖面相關(guān)信息,為提高查詢效率,該表按年份分多表存儲,包括浮標(biāo)ID、WMO編號、剖面循環(huán)數(shù)、剖面觀測方向、日期以及經(jīng)瑋度;浮標(biāo)網(wǎng)格化數(shù)據(jù)產(chǎn)品信息表用于存儲所有網(wǎng)格化數(shù)據(jù)產(chǎn)品相關(guān)信息,包括產(chǎn)品類別、產(chǎn)品日期、產(chǎn)品范圍; 5.2)數(shù)據(jù)入庫模塊將非結(jié)構(gòu)化的JSON和PNG文件數(shù)據(jù)塊上傳到HDFS分布式存儲系統(tǒng),并在多個(gè)物理節(jié)點(diǎn)上完成存儲和冗余備份,其數(shù)據(jù)塊訪問路徑存放在集群的主節(jié)點(diǎn)上; 5.3)數(shù)據(jù)入庫模塊同時(shí)將數(shù)據(jù)塊訪問路徑與對其對應(yīng)的元數(shù)據(jù)信息統(tǒng)一存儲在PostgreSQL關(guān)系型數(shù)據(jù)庫中,以此建立數(shù)據(jù)塊與元數(shù)據(jù)之間的索引,實(shí)現(xiàn)全球Argo數(shù)據(jù)在HDFS分布式存儲系統(tǒng)和PostgreSQL關(guān)系型數(shù)據(jù)庫的混合存儲。7.根據(jù)權(quán)利要求1所述的一種基于混合數(shù)據(jù)庫架構(gòu)的全球Argo數(shù)據(jù)存儲與更新方法,其特征在于所述的步驟6)為:數(shù)據(jù)歸檔模塊將入庫完成的數(shù)據(jù)進(jìn)行歸檔,以日為單位,按照全球Argo數(shù)據(jù)的三個(gè)類別分別形成日志文件。
【文檔編號】G06F17/30GK105930381SQ201610230748
【公開日】2016年9月7日
【申請日】2016年4月13日
【發(fā)明人】曹敏杰, 許建平, 劉增宏, 孫朝輝, 吳曉芬, 盧少磊
【申請人】國家海洋局第二海洋研究所
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1