專利名稱：一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及物聯(lián)網(wǎng)服務(wù)層的數(shù)據(jù)處理領(lǐng)域，尤其是一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法。
背景技術(shù)：
水利物聯(lián)網(wǎng)處在一個快速發(fā)展的階段，隨著傳感器技術(shù)、嵌入式系統(tǒng)等新技術(shù)在物聯(lián)網(wǎng)的廣泛應(yīng)用，對系統(tǒng)的處理能力、數(shù)據(jù)量等需求將都將飛速提高，從感知層傳感器、傳輸網(wǎng)絡(luò)到應(yīng)用系統(tǒng)，大量的傳感器數(shù)據(jù)信息、視頻信息、音頻信息以及調(diào)度、處理與控制信息需要進行記錄和保存，涉及海量的數(shù)據(jù)信息存儲與處理。針對于快速成長的數(shù)據(jù)量，需要借助靈活、可擴展的儲存技術(shù)，根據(jù)應(yīng)用的需要不斷對系統(tǒng)進行升級以適應(yīng)未來對海量數(shù)據(jù)的存儲。同時存儲技術(shù)還影響著數(shù)據(jù)的處理能力，集中式的存儲方式會為系統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)傳輸產(chǎn)生較大的壓力。目前，水利物聯(lián)網(wǎng)應(yīng)用發(fā)展迅速，應(yīng)用范圍不斷擴大，涉及到的數(shù)據(jù)呈幾何級數(shù)增加，形成海量數(shù)據(jù)，同時網(wǎng)絡(luò)數(shù)據(jù)壓力及大量遠程數(shù)據(jù)調(diào)用而造成局部網(wǎng)絡(luò)擁塞，如何解決解決海量數(shù)據(jù)的存儲及處理已成了水利物聯(lián)網(wǎng)發(fā)展的瓶頸問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是:為了克服上述中存在的問題，提供了一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，其實現(xiàn)了針對大量的傳感器數(shù)據(jù)信息、視頻信息、音頻信息以及調(diào)度與控制信息需要進行記錄和保存等海量信息的存儲與處理，滿足了水利物聯(lián)網(wǎng)的發(fā)展需要。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，具體步驟如下:a.建立一種基于可擴展網(wǎng)絡(luò)存儲技術(shù)(Network AttachedStorage:NAS)的存儲結(jié)構(gòu)模式，NAS技術(shù)是一種將分布、獨立的數(shù)據(jù)整合為大型、集中化管理的數(shù)據(jù)中心，以便對不同主機和應(yīng)用服務(wù)器進行訪問的技術(shù)，是一種特殊的、能完成單一或一組指定功能的基于網(wǎng)絡(luò)的存儲設(shè)備；b.利用上述a中的存儲結(jié)構(gòu)模式通過自帶的網(wǎng)絡(luò)接口把存儲設(shè)備直接連入到網(wǎng)絡(luò)中，實現(xiàn)海量數(shù)據(jù)的網(wǎng)絡(luò)共享，把應(yīng)用程序服務(wù)器從繁重的I/o負載中解脫出來，它是新興的面向網(wǎng)絡(luò)存儲模式的標志性設(shè)備。NAS技術(shù)解決了水利物聯(lián)網(wǎng)不斷增長的數(shù)據(jù)需求，可以根據(jù)不同階段的數(shù)據(jù)存儲需求對數(shù)據(jù)中心進行升級，以滿足不同階段應(yīng)用發(fā)展的需要。同時分布式的存儲方式便于對不同數(shù)據(jù)的異地管理，系統(tǒng)可以根基需要將存儲設(shè)備分布在不同的地點，減少由于大數(shù)據(jù)量的遠程數(shù)據(jù)傳輸而造成的網(wǎng)絡(luò)擁塞。a中存儲結(jié)構(gòu)模式采用DAS與NAS相結(jié)合的混合存儲結(jié)構(gòu)模式，其由高速數(shù)據(jù)采集卡、數(shù)據(jù)記錄服務(wù)器、磁帶庫、RAID磁盤陣列、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)記錄子系統(tǒng)組成，輸入信號ECL到TTL電平的轉(zhuǎn)換、串并轉(zhuǎn)換、數(shù)據(jù)緩存、數(shù)據(jù)管理及高速PCI接口通過高速數(shù)據(jù)采集卡完成，采集后的數(shù)據(jù)通過數(shù)據(jù)記錄服務(wù)器將數(shù)據(jù)經(jīng)過主機PCI總線將數(shù)據(jù)實時記錄在RAID磁盤陣列上，實時記錄后的數(shù)據(jù)可以轉(zhuǎn)存到磁帶庫中，還可以利用數(shù)據(jù)記錄子系統(tǒng)通過千兆網(wǎng)絡(luò)設(shè)備接口與外部進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出。本發(fā)明的有益效果是:所述的一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，解決隨著所處理數(shù)據(jù)的容量不斷提高、數(shù)據(jù)處理能力要求不斷增強的問題，提高了水利物聯(lián)網(wǎng)的海量數(shù)據(jù)儲存和處理能力。
具體實施例方式現(xiàn)在本發(fā)明作進一步詳細的說明。一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，具體步驟如下:a.建立一種基于可擴展網(wǎng)絡(luò)存儲技術(shù)的存儲結(jié)構(gòu)模式，存儲結(jié)構(gòu)模式采用DAS與NAS相結(jié)合的混合存儲結(jié)構(gòu)模式，其由高速數(shù)據(jù)采集卡、數(shù)據(jù)記錄服務(wù)器、磁帶庫、RAID磁盤陣列、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)記錄子系統(tǒng)組成，輸入信號ECL到TTL電平的轉(zhuǎn)換、串并轉(zhuǎn)換、數(shù)據(jù)緩存、數(shù)據(jù)管理及高速PCI接口通過高速數(shù)據(jù)采集卡完成，采集后的數(shù)據(jù)通過數(shù)據(jù)記錄服務(wù)器將數(shù)據(jù)經(jīng)過主機PCI總線將數(shù)據(jù)實時記錄在RAID磁盤陣列上，也就是說，在主機管理和調(diào)度下，數(shù)據(jù)流首先輸入到高速數(shù)據(jù)記錄卡，在完成接口匹配及速率調(diào)整后進行數(shù)據(jù)緩沖，然后經(jīng)主機PCI總線將數(shù)據(jù)寫入到RAID盤上，實時完成對數(shù)據(jù)的記錄，高速數(shù)據(jù)記錄服務(wù)器上設(shè)置多個緩沖區(qū)數(shù)據(jù)，并由數(shù)據(jù)管理模塊來保證不同通道間的數(shù)據(jù)同步，實時記錄后的數(shù)據(jù)可以轉(zhuǎn)存到磁帶庫中，還可以利用數(shù)據(jù)記錄子系統(tǒng)通過千兆網(wǎng)絡(luò)設(shè)備接口與外部進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出，在高速數(shù)據(jù)的記錄系統(tǒng)設(shè)計中，高速數(shù)據(jù)在主機內(nèi)部的傳輸受到計算機系統(tǒng)結(jié)構(gòu)的影響，如果在高速數(shù)據(jù)傳輸系統(tǒng)的設(shè)計中忽略對現(xiàn)代微機系統(tǒng)內(nèi)部數(shù)據(jù)傳輸通道結(jié)構(gòu)的分析，會成為設(shè)計系統(tǒng)中的一道潛在的瓶頸，服務(wù)器作為系統(tǒng)架構(gòu)的平臺是必不可少的，它必須具有較強的處理能力和較強的I/O能力，才能夠適應(yīng)海量數(shù)據(jù)存儲和交換的要求，磁盤陣列作為實時數(shù)據(jù)的存儲介質(zhì)，與高速服務(wù)器的接口采用SCSI以保證傳輸速度，RAID盤具有高速度、高可靠性，支持RAID硬盤具有熱插拔功能。支持多種RAID模式，這些RAID功能保證了用戶數(shù)據(jù)的高可用性，保證數(shù)據(jù)的高可靠性。同時磁盤陣列容量具有擴展性，支持后續(xù)任務(wù)的增加，易于擴容。數(shù)據(jù)記錄子系統(tǒng)中提供的LT0-2磁帶驅(qū)動器，作為數(shù)據(jù)備份設(shè)備，用于事后數(shù)據(jù)的轉(zhuǎn)存。存儲結(jié)構(gòu)模式由于不同類型傳感器在設(shè)計上的獨立性，無論數(shù)據(jù)類型還是數(shù)據(jù)格式都沒有一個統(tǒng)一的規(guī)范。從物聯(lián)網(wǎng)數(shù)據(jù)記錄系統(tǒng)的發(fā)展來看，隨著所處理數(shù)據(jù)的容量不斷提高，工作站的處理能力不斷提高，存儲技術(shù)也在不斷更新。因此為了提高水利物聯(lián)網(wǎng)的海量數(shù)據(jù)儲存和處理能力，將采用DAS與NAS相結(jié)合的混合存儲結(jié)構(gòu)模式。直接連接存儲(Direct Attached Storage, DAS)作為傳統(tǒng)的存儲方式,是指將存儲設(shè)備直接連接至一臺服務(wù)器上。NAS采用了專業(yè)化的操作系統(tǒng)用于網(wǎng)絡(luò)文件的訪問，這些操作系統(tǒng)既支持標準的文件訪問，也支持相應(yīng)的網(wǎng)絡(luò)協(xié)議。NAS可以使應(yīng)用層對于傳感數(shù)據(jù)的調(diào)取和訪問操作變得更為快捷，并且易于根據(jù)應(yīng)用的不斷擴展和傳感器數(shù)量的增加向基礎(chǔ)設(shè)施增加數(shù)據(jù)存儲容量。由于NAS關(guān)注的是文件服務(wù)而不是實際文件系統(tǒng)的執(zhí)行情況，所以NAS設(shè)備經(jīng)常是自包含的，而且相當易于部署，可以根據(jù)監(jiān)測和數(shù)據(jù)處理的需要將儲存設(shè)備至于傳感器數(shù)據(jù)源和信息計算處理設(shè)備之間，降低整個網(wǎng)絡(luò)的數(shù)據(jù)傳輸壓力?；贜AS的水利物聯(lián)網(wǎng)將采用NFS (Sun)溝通Unix陣營和CIFS溝通NT與Unix，將所獲取的海量傳感數(shù)據(jù)及信息在儲存設(shè)備在操作系統(tǒng)的“文件級”進行讀寫操作，訪問請求將根據(jù)“文件句柄+偏移量”得出。而句柄作為比進程還要小的單元，更適用于進程之間通信和資源定位。NFS(網(wǎng)絡(luò)文件系統(tǒng))是Unix系統(tǒng)間實現(xiàn)磁盤文件共享的一種方法，支持應(yīng)用程序在客戶端通過網(wǎng)絡(luò)存取位于服務(wù)器磁盤中數(shù)據(jù)的一種文件系統(tǒng)協(xié)議。具體來說NFS包括許多種協(xié)議，最簡單的網(wǎng)絡(luò)文件系統(tǒng)是網(wǎng)絡(luò)邏輯磁盤，即客戶端的文件系統(tǒng)通過網(wǎng)絡(luò)操作位于遠端的邏輯磁盤，如IBM SVD (共享虛擬盤)。現(xiàn)一般在Unix主機之間采用Sun開發(fā)的NFS(Sun)，它能夠在所有Unix系統(tǒng)之間實現(xiàn)文件數(shù)據(jù)的互訪，逐漸成為主機間共享資源的一個標準。CIFS(Common Internet File System,通用互聯(lián)網(wǎng)文件系統(tǒng))是由微軟開發(fā)的,用于連接Windows客戶機和服務(wù)器。經(jīng)過Unix服務(wù)器廠商的重新開發(fā)后，它可以用于連接Windows客戶機和Unix服務(wù)器，執(zhí)行文件共享和打印等任務(wù)。它最早的由來是NetBIOS，這是微軟開發(fā)的在局域網(wǎng)內(nèi)實現(xiàn)基于Windows名稱資源共享的API。之后，產(chǎn)生了基于NetBIOS的NetBEH協(xié)議和NBT(NetB10S 0VERTCP/IP)協(xié)議。NBT協(xié)議進一步發(fā)展為SMB (Server Message Block Protocol)和 CIFS 協(xié)議。其中 CIFS 用于 Windows 系統(tǒng)，而 SMB廣泛用于Unix和Linux,兩者可以互通。SMB協(xié)議還被稱作Un Manager協(xié)議。CIFS可籍由與支持SMB的服務(wù)器通信而實現(xiàn)共享。微軟操作系統(tǒng)家族和幾乎所有Unix服務(wù)器都支持SMB協(xié)議/SMBBA軟件包。與傳統(tǒng)意義上的文件服務(wù)器相比，針對于水利物聯(lián)網(wǎng)不斷發(fā)展和數(shù)據(jù)快速增長的需要，NAS擁有更大的存儲空間和相對低廉的價格，使NAS設(shè)備在性能價格比上具有明顯的優(yōu)勢，并且NAS在安裝、使用和管理等方面要相對簡單得多，這也會為水利物聯(lián)網(wǎng)后期的數(shù)據(jù)維護節(jié)省大量的管理和維護成本。NAS的擴展能力也是它的優(yōu)勢之一，這樣它就可以滿足物聯(lián)網(wǎng)未來的發(fā)展需求。此外，由于NAS產(chǎn)品的部件都固化在系統(tǒng)內(nèi)部，使它的可用性和安全性也要優(yōu)于傳統(tǒng)的文件服務(wù)器可以預(yù)見，隨著NAS技術(shù)的不斷深人，它將會完全取代傳統(tǒng)意義上的文件服務(wù)器對于準備組建網(wǎng)絡(luò)的用戶來說，由于NAS已經(jīng)是一部性能優(yōu)越的文件服務(wù)器了，在網(wǎng)絡(luò)中使用NAS設(shè)備意味著不必再布設(shè)傳統(tǒng)意義上的文件服務(wù)器，只需要設(shè)置相應(yīng)的應(yīng)用服務(wù)器就可以了，同時NAS設(shè)備還可以與應(yīng)用服務(wù)器進行很好的配合，達到提升網(wǎng)絡(luò)整體性能的效果。對于需要充分借助現(xiàn)有網(wǎng)絡(luò)資源的水利物聯(lián)網(wǎng)多重異構(gòu)網(wǎng)絡(luò)來說，增加NAS設(shè)備并不僅僅是以較低的成本擴大了網(wǎng)絡(luò)的存儲空間，NAS設(shè)備可以與已有文件服務(wù)器配合使用，極大地利用了現(xiàn)有的資源。NAS也可以與多功能服務(wù)器配合使用，這樣可以減輕服務(wù)器的工作壓力，節(jié)省更多的時間進行其他應(yīng)用，從而提高網(wǎng)絡(luò)的性能。由于水利物聯(lián)網(wǎng)系統(tǒng)直接應(yīng)用于水資源監(jiān)控、預(yù)警，對數(shù)據(jù)安全性、存儲性能要求高，在系統(tǒng)存儲方方面面需要有可擴展性和靈活性。同時，存儲的數(shù)據(jù)存儲時相對比較分散，數(shù)據(jù)管理邏輯上又彼此獨立，并要求能夠?qū)ξ锢矸稚⒌臄?shù)據(jù)完成高速集中備份。因此選用DAS與NAS相結(jié)合的混合存儲結(jié)構(gòu)模式。選擇磁盤陣列作為在線存儲設(shè)備，LTO磁帶庫作為集中離線存儲設(shè)備。以上述依據(jù)本發(fā)明的理想實施例為啟示，通過上述的說明內(nèi)容，相關(guān)工作人員完全可以在不偏離本項發(fā)明技術(shù)思想的范圍內(nèi)，進行多樣的變更以及修改。本項發(fā)明的技術(shù)性范圍并不局限于說明書上的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù)性范圍。
權(quán)利要求
1.一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，其特征是具體步驟如下:a.建立一種基于可擴展網(wǎng)絡(luò)存儲技術(shù)的存儲結(jié)構(gòu)模式； b.利用上述a中的存儲結(jié)構(gòu)模式通過自帶的網(wǎng)絡(luò)接口把存儲設(shè)備直接連入到網(wǎng)絡(luò)中，實現(xiàn)海量數(shù)據(jù)的網(wǎng)絡(luò)共享。
2.根據(jù)權(quán)利要求1所述的一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，其特征是:a中存儲結(jié)構(gòu)模式采用DAS與NAS相結(jié)合的混合存儲結(jié)構(gòu)模式，其由高速數(shù)據(jù)采集卡、數(shù)據(jù)記錄服務(wù)器、磁帶庫、RAID磁盤陣列、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)記錄子系統(tǒng)組成，輸入信號ECL到TTL電平的轉(zhuǎn)換、串并轉(zhuǎn)換、數(shù)據(jù)緩存、數(shù)據(jù)管理及高速PCI接口通過高速數(shù)據(jù)采集卡完成，采集后的數(shù)據(jù)通過數(shù)據(jù)記錄服務(wù)器將數(shù)據(jù)經(jīng)過主機PCI總線將數(shù)據(jù)實時記錄在RAID磁盤陣列上，實時記錄后的數(shù)據(jù)可以轉(zhuǎn)存到磁帶庫中，還可以利用數(shù)據(jù)記錄子系統(tǒng)通過千兆網(wǎng)絡(luò)設(shè)備接口與外部進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出。
全文摘要
本發(fā)明涉及一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，具體步驟如下a.設(shè)計一種基于可擴展網(wǎng)絡(luò)存儲技術(shù)的存儲結(jié)構(gòu)模式；b.利用上述a中的存儲結(jié)構(gòu)模式通過自帶的網(wǎng)絡(luò)接口把存儲設(shè)備直接連入到網(wǎng)絡(luò)中，實現(xiàn)海量數(shù)據(jù)的網(wǎng)絡(luò)共享。所述的一種面向水利物聯(lián)網(wǎng)的海量信息存儲與處理方法，解決隨著所處理數(shù)據(jù)的容量不斷提高、數(shù)據(jù)處理能力要求不斷增強的問題，提高了水利物聯(lián)網(wǎng)的海量數(shù)據(jù)儲存和處理能力。
文檔編號H04L29/08GK103200252SQ20131010376
公開日2013年7月10日 申請日期2013年3月27日 優(yōu)先權(quán)日2013年3月27日
發(fā)明者劉海濱, 顧順清, 張雁東 申請人:江蘇航天智聯(lián)信息科技發(fā)展有限公司