專利名稱：基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法
技術領域：
本發(fā)明涉及計算機網(wǎng)絡的數(shù)據(jù)采集系統(tǒng)，具體為一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法。
背景技術：
云計算(cloud computing),分布式計算技術的一種,其最基本的概念,是透過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結果回傳給用戶。透過這項技術，網(wǎng)絡服務提供者可以 在數(shù)秒之內(nèi)，達成處理數(shù)以千萬計甚至億計的信息，達到和“超級計算機”同樣強大效能的網(wǎng)絡服務。一個基于云計算技術的計算機集群稱為“云”。云計算具有以下特點(I)超大規(guī)模?！霸啤本哂邢喈?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺服務器?！霸啤蹦苜x予用戶前所未有的計算能力；(2)虛擬化。云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”，而不是固定的有形的實體。應用在“云”中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置；(3)高可靠性。“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構可互換等措施來保障服務的高可靠性，使用云計算比使用本地計算機可靠；(4)通用性。云計算不針對特定的應用，在“云”的支撐下可以構造出千變?nèi)f化的應用，同一個“云”可以同時支撐不同的應用運行；(5)高可擴展性?！霸啤钡囊?guī)?？梢詣討B(tài)伸縮，滿足應用和用戶規(guī)模增長的需要；(6)極其廉價。由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構成云。數(shù)據(jù)采集指從一個系統(tǒng)或者終端獲取數(shù)據(jù)，并按照一定的格式存儲進入另一個系統(tǒng)或者終端的過程。計算機科學中的數(shù)據(jù)采集根據(jù)終端和系統(tǒng)的不同可以進行不同劃分，其中一種就是從異構的分散的數(shù)據(jù)庫中采集數(shù)據(jù)，然后進行統(tǒng)一的數(shù)據(jù)管理和存儲。在移動搜索中，需要采集大量的用戶數(shù)據(jù)和移動環(huán)境數(shù)據(jù)。移動數(shù)據(jù)具有兩個主要特點，分散化和海量性。分散化指移動數(shù)據(jù)存在于運營商的各種異構數(shù)據(jù)庫中，且分散于各個數(shù)據(jù)中心。海量性是指由于時間的累積和用戶的增長，移動用戶的消費記錄和無線環(huán)境數(shù)據(jù)都會呈現(xiàn)海量的特點。各個結點采集的數(shù)據(jù)，可以通過定義統(tǒng)一的數(shù)據(jù)格式而達到分散數(shù)據(jù)整合的目的，云計算透過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多部服務器所組成的龐大系統(tǒng)經(jīng)搜尋、計算分析之后將處理結果回傳給用戶的特點，可以將分散的移動數(shù)據(jù)整合到一個統(tǒng)一的平臺上加以利用，這是其他計算模式無法提供的優(yōu)點。對于單個結點采集到的海量數(shù)據(jù)，云計算通過自己的超大規(guī)模和高容錯能力，更好的發(fā)揮整個系統(tǒng)的處理能力而不是單個結點的處理能力。Mesh網(wǎng)絡即“無線網(wǎng)格網(wǎng)絡”，它是一個無線多跳網(wǎng)絡，是由adhoc網(wǎng)絡發(fā)展而來，是解決“最后一公里”問題的關鍵技術之一。在像下一代網(wǎng)絡演進的過程中，無線是一個不可或缺的技術。無線mesh可以與其它網(wǎng)絡協(xié)同通信。是一個動態(tài)的可以不斷擴展的網(wǎng)絡架構，任意的兩個設備均可以保持無線互聯(lián)。Mesh WLAN網(wǎng)絡要比單跳網(wǎng)絡更加穩(wěn)定，這是因為在數(shù)據(jù)通信中，網(wǎng)絡性能的發(fā)揮并不是僅依靠某個節(jié)點。在傳統(tǒng)的單跳無線網(wǎng)絡中，如果固定的AP發(fā)生故障，那么該網(wǎng)絡中所有的無線設備都不能進行通信。而在Mesh網(wǎng)絡中，如果某個節(jié)點的AP發(fā)生故障，它可以重新再選擇一個AP進行通信，數(shù)據(jù)仍然可以高速地到達目的地。從物理角度而言，無線通信意味著通信距離越短，通信的效果會越好。因為隨著通信距離的增長，無線信號不但會衰弱而且會相互干擾，從而降低數(shù)據(jù)通信的效率。而在Mesh網(wǎng)絡中，是以一條條較短的無線網(wǎng)絡連接代替以往長距離的連接，從而保證數(shù)據(jù)可以以高速率在節(jié)點之間快速傳遞。Mesh技術可以使WLAN的安裝部署，網(wǎng)絡擴容更加方便。許多廠家都推出了功能豐富的Mesh產(chǎn)品，從而使部署大規(guī)模運營級無線城域網(wǎng)成為可能。(具體的Mesh技術表示可以參考相關廠家的技術文檔。)比如Strix開發(fā)了 DMA協(xié)議(Strix Dynamic Mesh Architecture,動態(tài)mesh架構)，使無線訪問點具有自動配置網(wǎng)絡，并使網(wǎng)絡效率最優(yōu)化的特性。提供自我·組織，自我修復，更新動態(tài)網(wǎng)絡連接，確保網(wǎng)絡安全等等功能。無線Mesh網(wǎng)絡(無線網(wǎng)狀網(wǎng)絡)也稱為“多跳(multi-hop)”網(wǎng)絡，它是一種與傳統(tǒng)無線網(wǎng)絡完全不同的新型無線網(wǎng)絡技術。在傳統(tǒng)的無線局域網(wǎng)(WLAN)中，每個客戶端均通過一條與AP相連的無線鏈路來訪問網(wǎng)絡，用戶如果要進行相互通信的話，必須首先訪問一個固定的接入點(AP)，這種網(wǎng)絡結構被稱為單跳網(wǎng)絡。而在無線Mesh網(wǎng)絡中，任何無線設備節(jié)點都可以同時作為AP和路由器，網(wǎng)絡中的每個節(jié)點都可以發(fā)送和接收信號，每個節(jié)點都可以與一個或者多個對等節(jié)點進行直接通信。這種結構的最大好處在于如果最近的AP由于流量過大而導致?lián)砣脑挘敲磾?shù)據(jù)可以自動重新路由到一個通信流量較小的鄰近節(jié)點進行傳輸。依此類推，數(shù)據(jù)包還可以根據(jù)網(wǎng)絡的情況，繼續(xù)路由到與之最近的下一個節(jié)點進行傳輸，直到到達最終目的地為止。這樣的訪問方式就是多跳訪問。與傳統(tǒng)的交換式網(wǎng)絡相比，無線Mesh網(wǎng)絡去掉了節(jié)點之間的布線需求，但仍具有分布式網(wǎng)絡所提供的冗余機制和重新路由功能。在無線Mesh網(wǎng)絡里，如果要添加新的設備，只需要簡單地接上電源就可以了，它可以自動進行自我配置，并確定最佳的多跳傳輸路徑。添加或移動設備時，網(wǎng)絡能夠自動發(fā)現(xiàn)拓撲變化，并自動調整通信路由，以獲取最有效的傳輸路徑。目前，云計算雖然將計算工作分布到網(wǎng)絡中的各個計算節(jié)點，但計算結果的管理以及應用服務的提供仍然需要管理中心承擔，因此整個網(wǎng)絡中的各個節(jié)點、網(wǎng)關節(jié)點以及管理中心之間的數(shù)據(jù)通道尤為重要，單個節(jié)點故障也許并不影響云計算網(wǎng)絡的整體功能，但負責與管理中心連接的網(wǎng)關出現(xiàn)故障，則會導致分布計算、處理的數(shù)據(jù)結果無法匯總至管理中心，管理中心也就無法提供相關的應用服務。其次，在傳感網(wǎng)絡中，即使具備自愈能力，但網(wǎng)絡中的關鍵節(jié)點(例如網(wǎng)關節(jié)點)產(chǎn)生故障時，仍然會使網(wǎng)絡的數(shù)據(jù)交互出現(xiàn)障礙，導致整個傳感網(wǎng)絡的應用失效。此外，為了應對因為網(wǎng)關故障導致的數(shù)據(jù)傳輸失敗，有的傳感網(wǎng)絡對數(shù)據(jù)進行了預處理，這就需要為傳感器或傳感節(jié)點增加數(shù)據(jù)處理和存儲的模塊，并對其進行應用功能開發(fā)和設定，這種方式將直接增加傳感器或傳感節(jié)點的開發(fā)和生產(chǎn)成本，從而增加了整個傳感網(wǎng)絡的建設成本，受制于開發(fā)和生產(chǎn)成本，傳感器和傳感節(jié)點的數(shù)據(jù)處理能力必然受限，通常只能進行簡單的數(shù)據(jù)處理，無法完成復雜的運算。由于傳感網(wǎng)絡的應用范圍日益廣泛，即便采用了數(shù)據(jù)預處理的方案，單純靠傳感器或傳感節(jié)點自身的計算處理能力遠遠不足以滿足實際應用，仍然需要大型數(shù)據(jù)處理中心或管理中心的支撐，因此數(shù)據(jù)預處理的方案并不能解決傳感網(wǎng)絡因關鍵節(jié)點(例如網(wǎng)關節(jié)點)產(chǎn)生故障而導致的數(shù)據(jù)傳輸障礙。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法，使用模塊化設計，分布式部署，即插即用，有效減少網(wǎng)絡數(shù)據(jù)量和管理中心計算量，大大降低網(wǎng)絡維護難度和部署成本。本發(fā)明的技術方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所 述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術；所述主節(jié)點系統(tǒng)包括處理模塊用于選擇數(shù)據(jù)的處理方式；智能分析決策模塊主要用于調用所述處理模塊，生成針對從節(jié)點的預連接任務、預處理任務、預存儲任務，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預連接反饋信息，包括預連接信息、預處理信息、預存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務，或者用戶報告，提交云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊；所述從節(jié)點系統(tǒng)包括前臺連接模塊連接前臺的各種異構數(shù)據(jù)庫，并反饋前臺連接信息；數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理；數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息；云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預連接任務、預處理任務、預存儲任務，數(shù)據(jù)采集任務，調用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所述擴展通信模塊包括GSM，GPRS，3G，4G，WIFI和有線連接通信方式。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，所述Mesh網(wǎng)絡采用802. lla/b/g/n 標準。本發(fā)明的另一技術方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，包括以下步驟步驟I :通過擴展通信模塊與附近網(wǎng)絡建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術；步驟2 :智能分析決策模塊調用處理模塊，生成預連接任務輸出到云計算輔助管理主節(jié)點模塊；步驟3 :云計算輔助管理主節(jié)點模塊將預連接任務通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊；步驟4:云計算輔助管理從節(jié)點模塊調用前臺連接模塊，通過JDBC接口連接前臺 的各種異構數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息；步驟5 :云計算輔助管理從節(jié)點模塊將前臺預連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預連接信息表示預連接任務執(zhí)行成功，則由智能分析決策模塊調用處理庫模塊，生成預處理任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)處理模塊，根據(jù)前臺預連接的信息為各種異構數(shù)據(jù)庫的表生成相應的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預處理信息；否則，生成預連接失敗信息，反饋用戶；步驟6 :云計算輔助管理從節(jié)點模塊將數(shù)據(jù)預處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預處理信息表示數(shù)據(jù)預處理任務執(zhí)行成功，生成預存儲任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預處理任務給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預存儲信息；否則，生成預處理失敗信息，反饋用戶。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，所述擴展通信模塊包括GSM，GPRS，3G，4G，WIFI和有線連接通信方式。優(yōu)選的，上述基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，所述Mesh網(wǎng)絡采用802. lla/b/g/n 標準。與現(xiàn)有技術相比，本發(fā)明的優(yōu)點在于本發(fā)明提供的云計算節(jié)點采用模塊化設計，嵌入式微架構，可根據(jù)實際應用范圍增加或減少擴展功能模塊，功能豐富，即插即用，可以網(wǎng)絡中任意位置部署，降低網(wǎng)絡搭建成本，大大降低網(wǎng)絡維護難度，有效減少網(wǎng)絡數(shù)據(jù)傳輸對通信鏈路的資源占用，降低管理中心的計算量，間接降低了網(wǎng)絡搭建和管理中心架設的投入成本，如果網(wǎng)絡中關鍵節(jié)點(例如網(wǎng)關節(jié)點)故障導致數(shù)據(jù)無法正常傳輸至管理中心，但因為數(shù)據(jù)在云計算節(jié)點已經(jīng)進行了計算處理并保存結果，因此應用仍然有效，一旦關鍵節(jié)點恢復正常，計算結果仍可及時傳輸至管理中心以供展現(xiàn)，避免了因網(wǎng)絡中關鍵節(jié)點(例如網(wǎng)關節(jié)點)的故障導致的應用功能失效。云計算節(jié)點可以覆蓋一定的范圍，因此在網(wǎng)絡中部署時可視具體情況增加或減少云計算節(jié)點的數(shù)量，相比于為每個節(jié)點增強計算能力，大大降低了成本投入，云計算節(jié)點可以支持MESH網(wǎng)絡，GSM, GPRS，3G，4G，WIFI和有線連接等通信方式?？赏瑫r支持多鏈路的工作請求。而且在無線Mesh網(wǎng)絡中，任何無線設備節(jié)點都可以同時作為AP和路由器，網(wǎng)絡中的每個節(jié)點都可以發(fā)送和接收信號，每個節(jié)點都可以與一個或者多個對等節(jié)點 進行直接通信。如果某個節(jié)點的AP發(fā)生故障，它可以重新再選擇一個AP進行通信，數(shù)據(jù)仍然可以高速地到達目的地。


下面結合附圖對本發(fā)明的具體實施方式
作進一步詳細的說明圖I:本發(fā)明基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)結構示意圖。
具體實施例方式為詳細說明本發(fā)明的技術內(nèi)容、構造特征、所實現(xiàn)目的及效果，以下結合實施方式并配合附圖詳予說明。請參閱圖1，本發(fā)明的一個實施例為提供的一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術；所述擴展通信模塊包括6311，6 1 ，36，46，1正1和有線連接通信方式。所述Mesh網(wǎng)絡采用802. lla/b/g/n標準。所述主節(jié)點系統(tǒng)包括處理模塊用于選擇數(shù)據(jù)的處理方式，定義統(tǒng)一的數(shù)據(jù)格式，確定數(shù)據(jù)內(nèi)容的篩選策略，生成數(shù)據(jù)處理任務化參數(shù)；生成數(shù)據(jù)處理任務輸出；智能分析決策模塊主要用于調用所述處理模塊，用于選擇后臺存儲的策略，生成預存儲任務化參數(shù)，生成存儲任務化參數(shù)；生成后臺預存儲任務輸出；分別生成針對從節(jié)點的預連接任務、預處理任務、預存儲任務，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預連接反饋信息，包括預連接信息、預處理信息、預存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務，或者用戶報告，提交云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊；所述從節(jié)點系統(tǒng)包括前臺連接模塊連接前臺的各種異構數(shù)據(jù)庫，并反饋前臺連接信息；數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理；根據(jù)前臺預連接的信息為各種異構數(shù)據(jù)庫的表生成相應的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉化、文本處理，并反饋數(shù)據(jù)處理信息；數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息；實現(xiàn)將經(jīng)過預處理的數(shù)據(jù)，存儲到云計算系統(tǒng)的文件系統(tǒng)中，或者通過JBDC接口存儲到新建數(shù)據(jù)庫中，并反饋存儲信息；云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預連接任務、預處理任務、預存儲任務，數(shù)據(jù)采集任務，調用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。本發(fā)明的又一實施例為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，包括以下步驟步驟I :通過擴展通信模塊與附近網(wǎng)絡建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術；·步驟2 :智能分析決策模塊調用處理模塊，生成預連接任務輸出到云計算輔助管理主節(jié)點模塊；步驟3 :云計算輔助管理主節(jié)點模塊將預連接任務通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊；步驟4:云計算輔助管理從節(jié)點模塊調用前臺連接模塊，通過JDBC接口連接前臺的各種異構數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息；步驟5 :云計算輔助管理從節(jié)點模塊將前臺預連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預連接信息表示預連接任務執(zhí)行成功，則由智能分析決策模塊調用處理庫模塊，生成預處理任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)處理模塊，根據(jù)前臺預連接的信息為各種異構數(shù)據(jù)庫的表生成相應的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預處理信息；否則，生成預連接失敗信息，反饋用戶；步驟6 :云計算輔助管理從節(jié)點模塊將數(shù)據(jù)預處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預處理信息表示數(shù)據(jù)預處理任務執(zhí)行成功，生成預存儲任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預處理任務給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預存儲信息；否則，生成預處理失敗信息，反饋用戶。本發(fā)明的實施例中，其中節(jié)點是指現(xiàn)有技術的移動節(jié)點、固定節(jié)點、網(wǎng)關節(jié)點以及各類傳感節(jié)點，各個模塊包括普通計算機，服務器或計算機群組、大型數(shù)據(jù)處理中心等。
各個節(jié)點通過擴展通信模塊與附近的網(wǎng)絡建立連接，入網(wǎng)后，各節(jié)點根據(jù)其內(nèi)嵌的模塊具備的功能向網(wǎng)內(nèi)廣播功能標識并開放鏈路。當工作節(jié)點需要數(shù)據(jù)計算和處理時，向網(wǎng)內(nèi)鏈路發(fā)起請求。云計算節(jié)點收到請求后需驗證合法性以及該請求是否屬于其功能范圍，驗證通過則開始接收工作節(jié)點的初始數(shù)據(jù)并進行計算處理，之后按工作節(jié)點的要求返回計算結果或將計算結果經(jīng)網(wǎng)關節(jié)點傳輸至管理中心。支持工作節(jié)點通過他工作節(jié)點的鏈路發(fā)起數(shù)據(jù)計算處理的請求。如果網(wǎng)關節(jié)點出現(xiàn)故障，則云計算節(jié)點會將計算結果暫存本地，并在網(wǎng)關節(jié)點恢復正常后將計算結果再傳輸給管理中心。本發(fā)明以一個主節(jié)點和若干個從節(jié)點組網(wǎng)工作的方式來說明流程，但在實際應用中，從至少一個主節(jié)點和若干個從節(jié)點組網(wǎng)工作，到多個主節(jié)點和若干個從節(jié)點組網(wǎng)工作都在本發(fā)明的應用實例范圍。本發(fā)明實施例中可由手機等數(shù)據(jù)采集終端將采集到的數(shù)據(jù)發(fā)送給路由節(jié)點，路由節(jié)點將接收到的數(shù)據(jù)通過網(wǎng)關發(fā)送給主節(jié)點系統(tǒng)，當網(wǎng)關發(fā)生故障，不能接收數(shù)據(jù)并將其 發(fā)送給主節(jié)點系統(tǒng)，這時，云備用鏈路節(jié)點被喚醒，云備用鏈接節(jié)點通過與其鏈接的路由節(jié)點接收數(shù)據(jù)并將其暫時存儲。云計算系統(tǒng)的文件系統(tǒng)、各種參數(shù)配置，以及基于云計算的后臺存儲數(shù)據(jù)庫都是云計算系統(tǒng)固有特性，本系統(tǒng)在實現(xiàn)中可以加以利用。同時，本系統(tǒng)由于下面的決策是以上面的決策正確為前提的，上面的決策正確獲取的參數(shù)，又可以作為下面決策的參考的依據(jù)，這樣不僅可以保證決策的邏輯順序，同時可以大大提高決策的質量和正確，保證系統(tǒng)最后產(chǎn)生的決策結果是可以在系統(tǒng)上運行的。就大大提高系統(tǒng)的智能化水平和成功率，減少不必要的操作失誤和系統(tǒng)盲區(qū)導致的低效問題。由于云計算是現(xiàn)有的技術并且有統(tǒng)一的技術規(guī)范，本發(fā)明僅就系統(tǒng)進行闡述，其他具體實現(xiàn)的技術細節(jié)，不再贅述。以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內(nèi)。
權利要求
1.一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)； 所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術； 所述主節(jié)點系統(tǒng)包括 處理模塊用于選擇數(shù)據(jù)的處理方式； 智能分析決策模塊主要用于調用所述處理模塊，生成針對從節(jié)點的預連接任務、預處理任務、預存儲任務，提交給云計算輔助管理主節(jié)點模塊；接收云計算輔助管理主節(jié)點模塊的預連接反饋信息，包括預連接信息、預處理信息、預存儲信息，根據(jù)該反饋信息生成數(shù)據(jù)采集任務，或者用戶報告，提交給云計算輔助管理主節(jié)點模塊； 云計算輔助管理主節(jié)點模塊是主節(jié)點系統(tǒng)通過擴展通信模塊與從節(jié)點系統(tǒng)的接口界面，并用于接收用戶提交的數(shù)據(jù)采集任務，提交給智能分析決策模塊，然后接受智能分析決策模塊的任務輸出，通過給擴展通信模塊提交給從節(jié)點系統(tǒng)的云計算輔助管理從節(jié)點模塊； 所述從節(jié)點系統(tǒng)包括 前臺連接模塊連接前臺的各種異構數(shù)據(jù)庫，并反饋前臺連接信息； 數(shù)據(jù)處理模塊對采集的數(shù)據(jù)進行必要的處理； 數(shù)據(jù)存儲模塊存儲數(shù)據(jù)，反饋存儲信息； 云計算輔助管理從節(jié)點模塊是從節(jié)點系統(tǒng)通過擴展通信模塊與主節(jié)點系統(tǒng)的接口界面，用于接收云計算輔助管理主節(jié)點模塊的預連接任務、預處理任務、預存儲任務，數(shù)據(jù)采集任務，調用所述前臺連接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊，并將各種反饋信息通過返回給云計算輔助管理主節(jié)點模塊。
2.根據(jù)權利要求I所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述擴展通信模塊包括GSM，GPRS, 3G，4G，WIFI和有線連接通信方式。
3.根據(jù)權利要求I所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)，其特征在于，所述Mesh網(wǎng)絡采用802. lla/b/g/n標準。
4.一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，包括以下步驟 步驟1 :通過擴展通信模塊與附近網(wǎng)絡建立連接，云計算輔助管理主節(jié)點模塊接收用戶提交的一個數(shù)據(jù)采集請求，提交給智能分析決策模塊；所述擴展通信模塊用于組網(wǎng)和通信并且基于Mesh網(wǎng)絡技術； 步驟2 :智能分析決策模塊調用處理模塊，生成預連接任務輸出到云計算輔助管理主節(jié)點模塊； 步驟3 :云計算輔助管理主節(jié)點模塊將預連接任務通過擴展通信模塊提交給從節(jié)點上的云計算輔助管理從節(jié)點模塊； 步驟4 :云計算輔助管理從節(jié)點模塊調用前臺連接模塊，通過JDBC接口連接前臺的各種異構數(shù)據(jù)庫，并向云計算輔助管理從節(jié)點模塊反饋前臺連接信息； 步驟5 :云計算輔助管理從節(jié)點模塊將前臺預連接反饋信息通過擴展通信模塊返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇如果反饋的預連接信息表示預連接任務執(zhí)行成功，則由智能分析決策模塊調用處理庫模塊，生成預處理任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊通過通信擴展模塊提交給從節(jié)點的云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)處理模塊，根據(jù)前臺預連接的信息為各種異構數(shù)據(jù)庫的表生成相應的數(shù)據(jù)表格處理類和函數(shù)，對采集的數(shù)據(jù)進行必要的處理，包括數(shù)據(jù)格式轉化、文本處理，并反饋數(shù)據(jù)處理信息，并向云計算輔助管理從節(jié)點模塊反饋預處理信息； 否則，生成預連接失敗信息，反饋用戶； 步驟6 :云計算輔助管理 從節(jié)點模塊將數(shù)據(jù)預處理反饋信息返回給云計算輔助管理主節(jié)點模塊，并最終反饋智能分析決策模塊，智能分析決策模塊根據(jù)反饋的信息進行分支判斷選擇 如果反饋的預處理信息表示數(shù)據(jù)預處理任務執(zhí)行成功，生成預存儲任務輸出到云計算輔助管理主節(jié)點模塊；云計算輔助管理主節(jié)點模塊提交預處理任務給云計算輔助管理從節(jié)點模塊；云計算輔助管理從節(jié)點模塊調用數(shù)據(jù)存儲模塊，實現(xiàn)將經(jīng)過預處理的數(shù)據(jù)存儲到數(shù)據(jù)存儲模塊，或者通過JDBC接口存儲到新建數(shù)據(jù)庫中，并向云計算輔助管理從節(jié)點模塊反饋后臺預存儲信息； 否則，生成預處理失敗信息，反饋用戶。
5.根據(jù)權利要求4所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，所述擴展通信模塊包括GSM，GPRS, 3G，4G，WIFI和有線連接通信方式。
6.根據(jù)權利要求4所述的基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的方法，其特征在于，所述Mesh網(wǎng)絡采用802. lla/b/g/n標準。
全文摘要
本發(fā)明涉及一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法。本發(fā)明系統(tǒng)使用模塊化設計，分布式部署，即插即用，有效減少網(wǎng)絡數(shù)據(jù)量和管理中心計算量，大大降低網(wǎng)絡維護難度和部署成本。本發(fā)明的技術方案為提供一種基于云計算系統(tǒng)的數(shù)據(jù)采集與匯總分流的系統(tǒng)和方法，其中所述數(shù)據(jù)采集與匯總分流的系統(tǒng)包括擴展通信模塊、分別部署在云計算系統(tǒng)主節(jié)點和從節(jié)點的主節(jié)點系統(tǒng)和從節(jié)點系統(tǒng)。本發(fā)明的優(yōu)點在于使用無線Mesh網(wǎng)絡，避免了因網(wǎng)絡中關鍵節(jié)點的故障導致的應用功能失效，并可根據(jù)實際應用范圍增加或減少擴展功能模塊，降低網(wǎng)絡搭建成本，還可降低管理中心的計算量，間接降低了網(wǎng)絡搭建和管理中心架設的投入成本。
文檔編號H04L29/08GK102882979SQ20121039636
公開日2013年1月16日 申請日期2012年10月18日 優(yōu)先權日2012年10月18日
發(fā)明者王林林 申請人:深圳訊騰軟件技術有限公司