物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件及其工作方法
【專利摘要】本發(fā)明公開了物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件及其工作方法，包括：數(shù)據(jù)采集模塊，用于將從不同類型的傳感器中采集的數(shù)據(jù)解析后轉(zhuǎn)發(fā)給應(yīng)用交互模塊；應(yīng)用交互模塊，用于實(shí)現(xiàn)物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的通信，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)的控制命令進(jìn)行解析，并傳輸給數(shù)據(jù)采集模塊；還將解析后的傳感器數(shù)據(jù)傳輸給數(shù)據(jù)管理模塊；數(shù)據(jù)管理模塊，用于對應(yīng)用交互模塊解析過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別、融合、轉(zhuǎn)換，最后將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中；開發(fā)規(guī)范模塊，用于制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范等；它能夠滿足不同應(yīng)用領(lǐng)域、多種通信信道、多種通信協(xié)議的大規(guī)模感知設(shè)備的高并發(fā)接入與管理。
【專利說明】物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件及其工作方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件及其工作方法。

【背景技術(shù)】
[0002]物聯(lián)網(wǎng)已成為當(dāng)前世界新一輪經(jīng)濟(jì)和科技發(fā)展的戰(zhàn)略制高點(diǎn)之一，發(fā)展物聯(lián)網(wǎng)對于促進(jìn)經(jīng)濟(jì)發(fā)展和社會進(jìn)步具有重要的現(xiàn)實(shí)意義。隨著物聯(lián)網(wǎng)應(yīng)用的快速發(fā)展，如何高效、實(shí)時的對海量、異構(gòu)感知數(shù)據(jù)進(jìn)行傳輸、分析、管理已成為物聯(lián)網(wǎng)業(yè)務(wù)持續(xù)、穩(wěn)定、有序開展的關(guān)鍵支撐。
[0003]物聯(lián)網(wǎng)中有各種各樣的傳感器，而每類傳感器在不同物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中又有不同用途，這些傳感器結(jié)構(gòu)不同、性能各異，其采集的數(shù)據(jù)結(jié)構(gòu)也不盡相同，數(shù)據(jù)的多樣性、感知模型的異構(gòu)性導(dǎo)致了數(shù)據(jù)的異構(gòu)性。
[0004]為實(shí)現(xiàn)對異構(gòu)數(shù)據(jù)的感知，物聯(lián)網(wǎng)各領(lǐng)域的業(yè)務(wù)應(yīng)用一般都構(gòu)建了自己的數(shù)據(jù)感知、處理平臺，但隨著物聯(lián)網(wǎng)應(yīng)用領(lǐng)域的快速發(fā)展，現(xiàn)有物聯(lián)網(wǎng)應(yīng)用開發(fā)模式已無法滿足需求，主要表現(xiàn)在:
[0005](I)只針對特定領(lǐng)域，缺乏通用性
[0006]現(xiàn)有的數(shù)據(jù)感知、處理平臺的開發(fā)，都只是針對特定的領(lǐng)域，不具備良好的通用性，并且當(dāng)前存在大量的重復(fù)性建設(shè)，使得對于平臺的設(shè)計和開發(fā)成為當(dāng)前工作的重心，造成了人力、技術(shù)資源的重復(fù)投資和浪費(fèi)，嚴(yán)重滯緩了物聯(lián)網(wǎng)應(yīng)用的發(fā)展。
[0007](2)同業(yè)務(wù)應(yīng)用綁定過于緊密，缺乏獨(dú)立性
[0008]現(xiàn)有的數(shù)據(jù)感知、處理平臺是面向物聯(lián)網(wǎng)應(yīng)用系統(tǒng)開發(fā)的，一般采用緊耦合的部署模式，其傳輸協(xié)議、指令集和控制方式均與應(yīng)用系統(tǒng)的業(yè)務(wù)模式存在著密不可分的聯(lián)系，該種模式下對平臺的調(diào)整會影響到正常的業(yè)務(wù)處理功能，同時業(yè)務(wù)處理系統(tǒng)出現(xiàn)問題也會導(dǎo)致現(xiàn)有平臺無法運(yùn)行，從而影響到物聯(lián)網(wǎng)整體業(yè)務(wù)的正常運(yùn)行。
[0009](3)海量數(shù)據(jù)實(shí)時感知、處理能力不足
[0010]隨著物聯(lián)網(wǎng)產(chǎn)業(yè)化發(fā)展的不斷推進(jìn)，物聯(lián)網(wǎng)應(yīng)用所面向的感知數(shù)據(jù)呈幾何級增長，已達(dá)到海量數(shù)據(jù)級別，現(xiàn)有的數(shù)據(jù)感知、處理平臺已不能滿足高并發(fā)、大容量數(shù)據(jù)的實(shí)時處理需求，成為制約物聯(lián)網(wǎng)業(yè)務(wù)拓展的瓶頸。
[0011 ] (4)缺乏可視化監(jiān)控能力
[0012]現(xiàn)有數(shù)據(jù)感知、處理平臺對通信信道、傳感器設(shè)備的實(shí)時運(yùn)行狀況和通信效率的監(jiān)控程度依然處于較低水平，運(yùn)行狀況分析主要通過各類查詢統(tǒng)計實(shí)現(xiàn)，此種方式既不直觀，也缺乏實(shí)時性，整體通信情況得不到有效監(jiān)管。


【發(fā)明內(nèi)容】

[0013]本發(fā)明的目的就是為了解決上述問題，提供一種物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件及其工作方法，它具有能夠滿足不同應(yīng)用領(lǐng)域、多種通信信道、多種通信協(xié)議的大規(guī)模感知設(shè)備的高并發(fā)接入與管理的優(yōu)點(diǎn)。
[0014]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0015]物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，包括:
[0016]數(shù)據(jù)采集模塊，用于與不同類型傳感器通信，將從不同類型的傳感器中采集的數(shù)據(jù)解析后轉(zhuǎn)發(fā)給應(yīng)用交互模塊；
[0017]應(yīng)用交互模塊，用于實(shí)現(xiàn)物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的通信，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)的控制命令進(jìn)行解析，并傳輸給數(shù)據(jù)采集模塊；還將解析后的傳感器數(shù)據(jù)傳輸給數(shù)據(jù)管理模塊；
[0018]數(shù)據(jù)管理模塊，用于對應(yīng)用交互模塊解析過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別、數(shù)據(jù)融合、數(shù)據(jù)轉(zhuǎn)換，最后將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中；
[0019]監(jiān)控管理模塊，用于在增強(qiáng)物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件運(yùn)行穩(wěn)定性的同時，為中間件運(yùn)行監(jiān)控和傳感器設(shè)備故障維護(hù)提供有效的工況信息；
[0020]開發(fā)規(guī)范模塊，用于制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范；
[0021]將符合制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范的物聯(lián)網(wǎng)不同應(yīng)用領(lǐng)域的插件部署在物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件中，即實(shí)現(xiàn)不同行業(yè)各類傳感器與各類物聯(lián)網(wǎng)應(yīng)用之間的并行海量數(shù)據(jù)的傳輸。
[0022]所述數(shù)據(jù)采集模塊包括多信道多協(xié)議智能傳感器接入引擎、可擴(kuò)展信道、可擴(kuò)展協(xié)議和數(shù)據(jù)通信協(xié)議解析引擎；
[0023]所述多信道多協(xié)議智能傳感器接入引擎負(fù)責(zé)建立與傳感器的通信鏈路，通過可擴(kuò)展信道匹配多種通信信道的傳感器的接入，通過可擴(kuò)展協(xié)議匹配多種協(xié)議的傳感器的接入，建立傳感器與信道和協(xié)議的適配，滿足大規(guī)模、不同類型傳感器的通信需求，發(fā)送及接收傳感器數(shù)據(jù)；
[0024]所述數(shù)據(jù)通信協(xié)議解析引擎將傳感器傳輸過來的數(shù)據(jù)進(jìn)行規(guī)約解析，然后將數(shù)據(jù)轉(zhuǎn)發(fā)至應(yīng)用交互模塊。
[0025]所述應(yīng)用交互模塊包括物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊、控制命令協(xié)議解析模塊、控制命令轉(zhuǎn)發(fā)模塊和元數(shù)據(jù)加載與同步模塊；
[0026]所述物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的多種通信接口進(jìn)行管理；
[0027]所述控制命令協(xié)議解析模塊對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)下發(fā)的控制命令進(jìn)行中間件內(nèi)部的協(xié)議解析；
[0028]所述控制命令轉(zhuǎn)發(fā)模塊用于將解析后的控制命令轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊予以執(zhí)行；
[0029]所述元數(shù)據(jù)加載與同步模塊用于設(shè)計物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)模型，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)結(jié)構(gòu)和元數(shù)據(jù)語義進(jìn)行定義，并將經(jīng)過數(shù)據(jù)解析后的傳感器數(shù)據(jù)傳輸至數(shù)據(jù)管理模塊。
[0030]所述數(shù)據(jù)管理模塊包括數(shù)據(jù)甄別引擎、數(shù)據(jù)融合引擎、大數(shù)據(jù)管理引擎和數(shù)據(jù)持久化接口 ；
[0031]所述數(shù)據(jù)甄別引擎負(fù)責(zé)對應(yīng)用交互模塊的元數(shù)據(jù)加載與同步模塊處理過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別，
[0032]所述數(shù)據(jù)融合引擎負(fù)責(zé)對數(shù)據(jù)甄別后的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)融合；
[0033]所述大數(shù)據(jù)管理引擎并行進(jìn)行采集數(shù)據(jù)標(biāo)準(zhǔn)模型到業(yè)務(wù)應(yīng)用數(shù)據(jù)模型的轉(zhuǎn)換計算；
[0034]所述數(shù)據(jù)持久化接口將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中。
[0035]所述監(jiān)控管理模塊包括通信信道運(yùn)行監(jiān)控模塊、傳感器運(yùn)行監(jiān)控模塊、數(shù)據(jù)傳輸中間件監(jiān)控模塊、數(shù)據(jù)采集情況監(jiān)控模塊、信道管理模塊、協(xié)議管理模塊和傳感器狀態(tài)管理模塊；
[0036]所述通信信道運(yùn)行監(jiān)控模塊，用于對通信信道進(jìn)行監(jiān)控，所述通信信道包括扣?/口0？通信、串口通信、230冊12無線通信、了⑶口化社通信、網(wǎng)絡(luò)230通信，監(jiān)控內(nèi)容主要包括通信總次數(shù)、通信成功次數(shù)、通信失敗次數(shù)、接受字節(jié)數(shù)、發(fā)送字節(jié)數(shù)、接收數(shù)據(jù)幀數(shù)和發(fā)送數(shù)據(jù)幀數(shù)；
[0037]所述傳感器運(yùn)行監(jiān)控模塊，用于對傳感器運(yùn)行設(shè)備進(jìn)行監(jiān)控，包含傳感器詳細(xì)信息查詢、傳感器通信控制、傳感器通信報文、傳感器上下線記錄和傳感器流量統(tǒng)計；
[0038]所述數(shù)據(jù)傳輸中間件監(jiān)控模塊，用于對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件自身進(jìn)行監(jiān)控，包含分布式節(jié)點(diǎn)監(jiān)控、服務(wù)器狀態(tài)監(jiān)控和數(shù)據(jù)庫信息監(jiān)控；
[0039]所述數(shù)據(jù)采集情況監(jiān)控模塊，用于對數(shù)據(jù)采集情況進(jìn)行監(jiān)控，包含傳感器采集率監(jiān)控、總數(shù)據(jù)監(jiān)控和數(shù)據(jù)文件讀取情況監(jiān)控；
[0040]所述信道管理模塊，用于信道進(jìn)行管理，實(shí)現(xiàn)不同信道信息的查詢、新增、修改和刪除，對中間件支持的信道進(jìn)行維護(hù)，方便新信道類型的傳感器接入；
[0041]所述協(xié)議管理模塊，用于對協(xié)議進(jìn)行管理，實(shí)現(xiàn)不同協(xié)議的查詢、新增、修改和刪除，對中間件支持的協(xié)議進(jìn)行維護(hù)，方便新協(xié)議的傳感器接入；
[0042]所述傳感器狀態(tài)管理模塊，用于對傳感器狀態(tài)進(jìn)行管理，按照傳感器編號、名稱、地址碼實(shí)現(xiàn)傳感器類型、協(xié)議、信道類型、信道編號、傳感器I？地址、傳感器端口號和傳感器運(yùn)行狀態(tài)進(jìn)行設(shè)置；
[0043]所述開發(fā)規(guī)范模塊包括通信協(xié)議插件規(guī)范模塊、通信信道插件規(guī)范模塊、面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊；
[0044]所述通信信道插件規(guī)范模塊用于定義信道類型、信道使用接口和信道I？；
[0045]所述通信協(xié)議插件規(guī)范模塊用于定義通信協(xié)議名稱和協(xié)議數(shù)據(jù)幀中各字節(jié)碼含義；
[0046]所述面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊用于定義傳感器數(shù)據(jù)對應(yīng)的傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、傳感器數(shù)據(jù)內(nèi)容、傳感器數(shù)據(jù)標(biāo)識、傳感器數(shù)據(jù)長度、傳感器基本參數(shù)和傳感器通訊參數(shù)；
[0047]所述物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊用于定義任務(wù)執(zhí)行規(guī)范及應(yīng)用通信規(guī)范，
[0048]所述任務(wù)執(zhí)行規(guī)范定義任務(wù)編號、任務(wù)類型、任務(wù)開始執(zhí)行時間和任務(wù)解析策略。
[0049]所述應(yīng)用通信規(guī)范定義通信任務(wù)唯一序列號、傳感器編號、通信任務(wù)類型和通信協(xié)議名稱。
[0050]物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的工作方法，包括如下步驟:
[0051]步驟(1):物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件插件的開發(fā)部署；
[0052]步驟(2):傳感器與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接；
[0053]步驟(3):物聯(lián)網(wǎng)應(yīng)用系統(tǒng)向物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件下發(fā)任務(wù)控制命令，應(yīng)用交互模塊對任務(wù)控制命令進(jìn)行解析，然后按照任務(wù)類型將任務(wù)轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊；
[0054]步驟(4):數(shù)據(jù)采集模塊將數(shù)據(jù)采集任務(wù)下發(fā)給傳感器，傳感器采集數(shù)據(jù)后，通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的數(shù)據(jù)管理模塊處理后將數(shù)據(jù)上送至物聯(lián)網(wǎng)應(yīng)用系統(tǒng)；
[0055]步驟(5):物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件通過監(jiān)控模塊執(zhí)行監(jiān)控任務(wù)，對通信信道、傳感器運(yùn)行設(shè)備、數(shù)據(jù)傳輸中間件自身和數(shù)據(jù)采集情況進(jìn)行監(jiān)控，對信道、協(xié)議和傳感器狀態(tài)進(jìn)行管理，對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件支持的信道、協(xié)議進(jìn)行維護(hù)。
[0056]所述步驟(I)中在Eclipse集成開發(fā)環(huán)境中開發(fā)遵循開發(fā)規(guī)范模塊規(guī)定的技術(shù)標(biāo)準(zhǔn)的插件，將插件部署到物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件中。
[0057]所述步驟(I)的技術(shù)標(biāo)準(zhǔn)包括通信信道插件規(guī)范、協(xié)議插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范。
[0058]所述步驟(2)中傳感器通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件數(shù)據(jù)采集模塊的多信道多協(xié)議智能傳感器接入引擎開放的Socket端口接入中間件，中間件識別出傳感器的規(guī)約后從可擴(kuò)展協(xié)議中自動選擇合適的傳輸協(xié)議；中間件識別出傳感器的信道類型后從可擴(kuò)展信道中自動選擇合適的通信信道；中間件與傳感器進(jìn)行三次握手建立TCP連接，生成Sess1n對象,并將傳感器地址碼放入Sess1n對象中，以便物聯(lián)網(wǎng)應(yīng)用系統(tǒng)在下發(fā)任務(wù)時識別相應(yīng)的傳感器，對相應(yīng)的傳感器下發(fā)相應(yīng)的任務(wù)控制命令。
[0059]所述步驟(3)中物聯(lián)網(wǎng)應(yīng)用系統(tǒng)通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的應(yīng)用交互模塊的物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理與中間件建立連接，下發(fā)任務(wù)控制命令。
[0060]所述步驟(3)的物聯(lián)網(wǎng)應(yīng)用系統(tǒng)通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件應(yīng)用交互模塊的物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊接入中間件，并下發(fā)包含任務(wù)編號、任務(wù)開始執(zhí)行時間、任務(wù)類型、任務(wù)解析策略的任務(wù)控制命令，控制命令協(xié)議解析模塊識別任務(wù)類型，按照中間件內(nèi)部的傳輸協(xié)議及任務(wù)解析策略對任務(wù)控制命令進(jìn)行解析，控制命令轉(zhuǎn)發(fā)模塊根據(jù)任務(wù)類型將解析后的控制命令轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊。
[0061]所述步驟(4)包括:
[0062]步驟(4-1):數(shù)據(jù)采集模塊將采集任務(wù)下發(fā)至傳感器，傳感器感知相關(guān)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)，上送傳感器數(shù)據(jù)至數(shù)據(jù)采集模塊的通信協(xié)議解析引擎，通信協(xié)議解析引擎對傳感器數(shù)據(jù)進(jìn)行解析，將解析后的數(shù)據(jù)上傳至應(yīng)用交互模塊，應(yīng)用交互模塊的元數(shù)據(jù)加載與同步將傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊；
[0063]步驟(4-2):數(shù)據(jù)管理模塊對數(shù)據(jù)進(jìn)行甄別、融合、處理后存儲到物聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用系統(tǒng)中。
[0064]所述步驟(4-1)的傳感器通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件數(shù)據(jù)采集模塊上送的傳感器數(shù)據(jù)包括傳感器編號、傳感器類型、傳感器地址碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)標(biāo)識、數(shù)據(jù)長度、傳感器基本參數(shù)和傳感器通訊參數(shù)；數(shù)據(jù)采集模塊的數(shù)據(jù)通信協(xié)議解析引擎對傳感器數(shù)據(jù)進(jìn)行解析，識別傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、數(shù)據(jù)內(nèi)容和數(shù)據(jù)標(biāo)識，將數(shù)據(jù)組織提交至應(yīng)用交互模塊，應(yīng)用交互模塊通過元數(shù)據(jù)加載與同步模塊，將傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊。
[0065]所述步驟(4-2)的步驟如下:
[0066]步驟(4-2-1):數(shù)據(jù)管理模塊的數(shù)據(jù)甄別引擎將傳感器數(shù)據(jù)看作不同類型的事件，通過事件預(yù)處理、事件壓縮、事件聚合和事件規(guī)則匹配對數(shù)據(jù)進(jìn)行過濾組合，繼而判斷推理決策，完成大量無關(guān)數(shù)據(jù)及不符合標(biāo)準(zhǔn)的數(shù)據(jù)的甄別，從海量傳感器數(shù)據(jù)中快速提取有意義的包含高級語義信息的數(shù)據(jù)提交至數(shù)據(jù)融合引擎。
[0067]步驟(4-2-2):數(shù)據(jù)管理模塊的數(shù)據(jù)融合引擎首先通過關(guān)聯(lián)多類型數(shù)據(jù)，來建立各類數(shù)據(jù)之間的關(guān)聯(lián)，形成對同一實(shí)體的多維度、全方面描述，然后對多類型數(shù)據(jù)進(jìn)行數(shù)據(jù)變換，最后進(jìn)行數(shù)據(jù)合并，合并后的數(shù)據(jù)提交至大數(shù)據(jù)管理引擎。
[0068]步驟(4-2-3):數(shù)據(jù)管理模塊的大數(shù)據(jù)管理引擎將數(shù)據(jù)存儲及并行處理，完成數(shù)據(jù)分塊、存儲以及復(fù)制工作，記錄分塊數(shù)據(jù)及處理任務(wù)與節(jié)點(diǎn)的對應(yīng)關(guān)系，基于元數(shù)據(jù)模型將傳感器數(shù)據(jù)轉(zhuǎn)化為物聯(lián)網(wǎng)應(yīng)用系統(tǒng)業(yè)務(wù)數(shù)據(jù)，提交至數(shù)據(jù)持久化接口。
[0069]步驟(4-2-4):數(shù)據(jù)管理模塊的數(shù)據(jù)持久化接口通過多持久化語句分級策略構(gòu)建可調(diào)控的優(yōu)先級隊列，引擎在持久化之前將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為持久化語句。持久化語句依據(jù)業(yè)務(wù)元數(shù)據(jù)模型的分級配置，被劃分成多個不同的優(yōu)先級別，不同優(yōu)先級別的語句作為不同的語句執(zhí)行序列，動態(tài)調(diào)整持久化策略，在壓力高峰期控制流量保證物聯(lián)網(wǎng)應(yīng)用系統(tǒng)安全穩(wěn)定運(yùn)行，在壓力低谷期加大流量保證數(shù)據(jù)的完整和高效傳輸。
[0070]本發(fā)明的有益效果:
[0071]1本發(fā)明設(shè)計的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，能夠滿足不同應(yīng)用領(lǐng)域、多種通信信道、多種通信協(xié)議的大規(guī)模感知設(shè)備的高并發(fā)接入與管理。
[0072]2本發(fā)明設(shè)計的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，能夠?qū)崿F(xiàn)海量采集數(shù)據(jù)的實(shí)時、并行化傳輸與處理，并支持異構(gòu)數(shù)據(jù)的融合、大數(shù)據(jù)的管理，為物聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用提供標(biāo)準(zhǔn)格式的高質(zhì)量數(shù)據(jù)支撐，保障物聯(lián)網(wǎng)相關(guān)業(yè)務(wù)的開展。
[0073]3本發(fā)明設(shè)計的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，將監(jiān)控模塊部署在中間件容器中，實(shí)現(xiàn)監(jiān)控的高效性、實(shí)時性，保證物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件運(yùn)行的穩(wěn)定性和可靠性。
[0074]4所述步驟(4)的數(shù)據(jù)管理模塊的數(shù)據(jù)融合引擎對多類型數(shù)據(jù)進(jìn)行數(shù)據(jù)變換以節(jié)省物聯(lián)網(wǎng)的計算資源，最后進(jìn)行數(shù)據(jù)合并，減少數(shù)據(jù)冗余，降低網(wǎng)絡(luò)的傳輸開銷和能耗。
[0075]5所述步驟(4)的數(shù)據(jù)管理模塊的數(shù)據(jù)持久化接口通過多持久化語句分級策略構(gòu)建可調(diào)控的優(yōu)先級隊列，引擎在持久化之前將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為持久化語句。持久化語句依據(jù)業(yè)務(wù)元數(shù)據(jù)模型的分級配置，被劃分成多個不同的優(yōu)先級別，不同優(yōu)先級別的語句作為不同的語句執(zhí)行序列，動態(tài)調(diào)整持久化策略，在壓力高峰期控制流量保證物聯(lián)網(wǎng)應(yīng)用系統(tǒng)安全穩(wěn)定運(yùn)行，在壓力低谷期加大流量保證數(shù)據(jù)的完整和高效傳輸。通過語句執(zhí)行分級策略，有效保證高優(yōu)先級語句高實(shí)時、高可靠的傳輸?shù)轿锫?lián)網(wǎng)業(yè)務(wù)應(yīng)用系統(tǒng)中。

【專利附圖】

【附圖說明】
[0076]圖1物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件架構(gòu)；
[0077]圖2物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的實(shí)現(xiàn)流程；
[0078]圖3物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件插件開發(fā)部署流程；
[0079]圖4傳感器與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接流程；
[0080]圖5物聯(lián)網(wǎng)應(yīng)用系統(tǒng)下發(fā)任務(wù)控制命令流程；
[0081]圖6傳感器通過中間件將數(shù)據(jù)上送至物聯(lián)網(wǎng)應(yīng)用系統(tǒng)流程；
[0082]圖7物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件實(shí)施監(jiān)控流程；
[0083]其中，
[0084]100、數(shù)據(jù)采集模塊，101、多信道多協(xié)議智能傳感器接入引擎，102、可擴(kuò)展信道，103、可擴(kuò)展協(xié)議，104、數(shù)據(jù)通信協(xié)議解析引擎，
[0085]200、應(yīng)用交互模塊，201、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊，202、控制命令協(xié)議解析模塊，203、控制命令轉(zhuǎn)發(fā)模塊，204、元數(shù)據(jù)加載與同步模塊，
[0086]300、數(shù)據(jù)管理模塊，301、數(shù)據(jù)甄別引擎，302、數(shù)據(jù)融合引擎，303、大數(shù)據(jù)管理引擎，304、數(shù)據(jù)持久化接口，
[0087]400、監(jiān)控管理模塊，401、通信信道運(yùn)行監(jiān)控模塊，402、傳感器運(yùn)行監(jiān)控模塊，403、數(shù)據(jù)傳輸中間件監(jiān)控模塊，404、數(shù)據(jù)采集情況監(jiān)控模塊，405、信道管理模塊，406、協(xié)議管理模塊，407、傳感器狀態(tài)管理模塊，
[0088]500、開發(fā)規(guī)范模塊，501、通信協(xié)議插件規(guī)范模塊，502、通信信道插件規(guī)范模塊，503、面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊，504、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊。

【具體實(shí)施方式】
[0089]下面結(jié)合附圖與實(shí)施例對本發(fā)明作進(jìn)一步說明。
[0090]本發(fā)明實(shí)施例提供的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件是在智能用電領(lǐng)域的應(yīng)用，采用松耦合、模塊化的0%1體系架構(gòu)對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件進(jìn)行設(shè)計。獨(dú)立軟件開發(fā)商遵循開發(fā)規(guī)范模塊定義的協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范等各類技術(shù)標(biāo)準(zhǔn)在￡(:111)86集成開發(fā)環(huán)境中開發(fā)適用于智能用電領(lǐng)域的插件，將插件部署到物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件容器中。傳感器通過中間件的采集模塊與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接，中間件將物聯(lián)網(wǎng)應(yīng)用系統(tǒng)下發(fā)的任務(wù)控制命令分配并下發(fā)，通過多種通信信道類型接收不同類型傳感器上送的海量數(shù)據(jù)，元數(shù)據(jù)加載與同步將傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊，數(shù)據(jù)管理模塊對其進(jìn)行甄別、融合，最后通過并行計算服務(wù)將其轉(zhuǎn)化成業(yè)務(wù)數(shù)據(jù)，存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中。
[0091]下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。
[0092]參考圖1，是本發(fā)明物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件架構(gòu)，包括數(shù)據(jù)采集模塊100、應(yīng)用交互模塊200、數(shù)據(jù)管理模塊300、監(jiān)控管理模塊400、開發(fā)規(guī)范模塊500。
[0093]數(shù)據(jù)采集模塊100包括多信道多協(xié)議智能傳感器接入引擎101、可擴(kuò)展信道102、可擴(kuò)展協(xié)議103、數(shù)據(jù)通信協(xié)議解析引擎104。多信道多協(xié)議智能傳感器接入引擎101負(fù)責(zé)建立與傳感器的通信鏈路，通過可擴(kuò)展信道102、可擴(kuò)展協(xié)議103匹配多種通信信道、多種協(xié)議的傳感器接入，建立傳感器與信道及協(xié)議的適配，滿足大規(guī)模、不同類型傳感器的通信需求，發(fā)送及接收傳感器數(shù)據(jù)。數(shù)據(jù)通信協(xié)議解析引擎104將傳感器傳輸過來的數(shù)據(jù)進(jìn)行規(guī)約解析，然后將數(shù)據(jù)轉(zhuǎn)發(fā)至應(yīng)用交互模塊200。
[0094]應(yīng)用交互模塊200包括物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊201、控制命令協(xié)議解析模塊202、控制命令轉(zhuǎn)發(fā)模塊203、元數(shù)據(jù)加載與同步模塊204。物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊201對中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的多種通信接口進(jìn)行管理；控制命令協(xié)議解析模塊202對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)下發(fā)的控制命令進(jìn)行中間件內(nèi)部的協(xié)議解析；控制命令轉(zhuǎn)發(fā)模塊203將解析后的控制命令轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊予以執(zhí)行；元數(shù)據(jù)加載與同步模塊204設(shè)計物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)模型，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)結(jié)構(gòu)和元數(shù)據(jù)語義進(jìn)行定義，并將經(jīng)過數(shù)據(jù)解析后的傳感器數(shù)據(jù)傳輸至數(shù)據(jù)管理模塊。
[0095]數(shù)據(jù)管理模塊300包括數(shù)據(jù)甄別引擎301、數(shù)據(jù)融合引擎302、大數(shù)據(jù)管理引擎303、數(shù)據(jù)持久化接口 304。數(shù)據(jù)甄別引擎301負(fù)責(zé)對應(yīng)用交互模塊的元數(shù)據(jù)加載與同步模塊204處理過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別，數(shù)據(jù)融合引擎302負(fù)責(zé)對數(shù)據(jù)甄別后的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)融合；大數(shù)據(jù)管理引擎303并行進(jìn)行采集數(shù)據(jù)標(biāo)準(zhǔn)模型到業(yè)務(wù)應(yīng)用數(shù)據(jù)模型的轉(zhuǎn)換計算；數(shù)據(jù)持久化接口 304將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中。
[0096]監(jiān)控管理模塊400包括通信信道運(yùn)行監(jiān)控模塊401、傳感器運(yùn)行監(jiān)控模塊402、數(shù)據(jù)傳輸中間件監(jiān)控模塊403、數(shù)據(jù)采集情況監(jiān)控模塊404、信道管理模塊405、協(xié)議管理模塊406、傳感器狀態(tài)管理模塊407等。通過對通信信道、傳感器運(yùn)行設(shè)備、數(shù)據(jù)傳輸中間件自身、數(shù)據(jù)采集情況等的監(jiān)控，在增強(qiáng)中間件運(yùn)行穩(wěn)定性的同時為中間件運(yùn)行監(jiān)控和傳感器設(shè)備故障維護(hù)提供有效的工況信息；通過對信道、協(xié)議、傳感器狀態(tài)等進(jìn)行管理，對中間件支持的信道、協(xié)議進(jìn)行維護(hù)，以方便新信道及新協(xié)議類型的傳感器接入。
[0097]開發(fā)規(guī)范模塊500包括通信協(xié)議插件規(guī)范模塊501、通信信道插件規(guī)范模塊502、面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊503、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊504，用于制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范等各類技術(shù)標(biāo)準(zhǔn)。通信信道插件規(guī)范定義信道類型、信道使用接口、信道IP等內(nèi)容。通信協(xié)議插件規(guī)范定義通信協(xié)議名稱、協(xié)議數(shù)據(jù)幀中各字節(jié)碼含義等內(nèi)容。業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范定義傳感器數(shù)據(jù)對應(yīng)的傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、傳感器數(shù)據(jù)內(nèi)容、傳感器數(shù)據(jù)標(biāo)識、傳感器數(shù)據(jù)長度、傳感器基本參數(shù)、傳感器通訊參數(shù)等內(nèi)容。物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范定義任務(wù)執(zhí)行規(guī)范及應(yīng)用通信規(guī)范，任務(wù)執(zhí)行規(guī)范定義任務(wù)編號、任務(wù)類型、任務(wù)開始執(zhí)行時間、任務(wù)解析策略。應(yīng)用通信規(guī)范定義通信任務(wù)唯一序列號、傳感器編號、通信任務(wù)類型、通信協(xié)議名稱等內(nèi)容。物聯(lián)網(wǎng)不同應(yīng)用領(lǐng)域的獨(dú)立軟件開發(fā)商只需將遵循這些規(guī)范的插件部署在中間件容器中，即可實(shí)現(xiàn)不同行業(yè)各類傳感器與各類物聯(lián)網(wǎng)應(yīng)用之間的并行海量數(shù)據(jù)的透明傳輸。
[0098]如圖2所示，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件在智能用電領(lǐng)域的實(shí)施例包括四個部分，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸插件的開發(fā)部署，傳感器與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接，物聯(lián)網(wǎng)應(yīng)用系統(tǒng)任務(wù)控制命令下發(fā)，傳感器感知數(shù)據(jù)上送，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件通過監(jiān)控模塊對通信信道、傳感器運(yùn)行設(shè)備、數(shù)據(jù)傳輸中間件自身、數(shù)據(jù)采集情況等進(jìn)行監(jiān)控。
[0099]如圖3所示，其中，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸插件的開發(fā)部署是這樣實(shí)現(xiàn)的:
[0100]獨(dú)立軟件開發(fā)商按照開發(fā)規(guī)范模塊設(shè)計的通信信道插件規(guī)范、通信協(xié)議插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范、物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范等技術(shù)標(biāo)準(zhǔn)，基于Eclipse3.5開發(fā)平臺，使用Java開發(fā)語言，SDK1.6開發(fā)工具包，OSGi插件為Equinox 3.6,按照插件開發(fā)規(guī)范，開發(fā)通信信道插件，定義信道類型ChannelType、信道使用接口Channellnterface、信道IP ChannelIP,開發(fā)通信協(xié)議插件，定義協(xié)議名稱ProtocolName、協(xié)議數(shù)據(jù)巾貞格式ProtocolDateFormat。開發(fā)業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件，定義傳感器編號 TransducerIcU 傳感器類型 TransducerType、傳感器地址碼 TransducerAddress、傳感器通道類型傳感器規(guī)約1、傳感器數(shù)據(jù)內(nèi)容傳感器數(shù)據(jù)標(biāo)識傳感器數(shù)據(jù)長度丁傳感器基本參數(shù)傳感器通訊參數(shù)11-8118(111061-0011111111^81-8 0開發(fā)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入插件，定義任務(wù)編號1^181^1(1、任務(wù)類型丁88^:1?？6、任務(wù)開始執(zhí)行時間了5181^8681112-1:11116、任務(wù)解析策略1^8狀68031:1^ 1:60、傳感器編號通信任務(wù)類型03臟111^81^7？6、通信協(xié)議名稱00臟11？1~01:0⑶1他1116?；?^1動態(tài)、熱插拔的插件機(jī)制，將插件部署到物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件容器中。
[0101]如圖4所示，傳感器與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接是這樣實(shí)現(xiàn)的:
[0102]傳感器通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件數(shù)據(jù)采集模塊的多信道多協(xié)議智能傳感器接入引擎開放的30土的端口接入中間件，可擴(kuò)展信道、可擴(kuò)展協(xié)議識別傳感器信道類型、傳感器規(guī)約，匹配傳輸協(xié)議，分配信道，進(jìn)行三次握手建立扣？連接，生成368810！！對象，并將傳感器地址碼放入368810！！對象中，以便物聯(lián)網(wǎng)應(yīng)用系統(tǒng)在下發(fā)任務(wù)時識別相應(yīng)的傳感器，對其下發(fā)相應(yīng)的任務(wù)控制命令。
[0103]如圖5所示，物聯(lián)網(wǎng)應(yīng)用系統(tǒng)任務(wù)控制命令下發(fā)是這樣實(shí)現(xiàn)的:
[0104]物聯(lián)網(wǎng)應(yīng)用系統(tǒng)通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件應(yīng)用交互模塊的物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理接入中間件，并下發(fā)包含任務(wù)編號、任務(wù)開始執(zhí)行時間、任務(wù)類型、任務(wù)解析策略等的傳感器數(shù)據(jù)采集任務(wù)控制命令，控制命令協(xié)議解析對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)發(fā)送來的采集任務(wù)進(jìn)行預(yù)處理，按照中間件的內(nèi)部傳輸協(xié)議對命令進(jìn)行協(xié)議解析，識別任務(wù)名稱、任務(wù)類型，控制命令轉(zhuǎn)發(fā)根據(jù)任務(wù)類型將解析后的控制命令轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊，數(shù)據(jù)采集模塊為采集任務(wù)控制命令建立通信信道、選擇任務(wù)執(zhí)行進(jìn)程執(zhí)行傳感器數(shù)據(jù)采集任務(wù)。
[0105]如圖6所示，傳感器感知數(shù)據(jù)上送是這樣實(shí)現(xiàn)的:
[0106](1)傳感器通過采集模塊上送由傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、數(shù)據(jù)內(nèi)容、數(shù)據(jù)標(biāo)識、數(shù)據(jù)長度、傳感器運(yùn)行狀態(tài)、傳感器基本參數(shù)、傳感器通訊參數(shù)組成的傳感器數(shù)據(jù)，將其上送至數(shù)據(jù)通信協(xié)議解析引擎，數(shù)據(jù)通信協(xié)議解析引擎對傳感器數(shù)據(jù)進(jìn)行解析，識別傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、數(shù)據(jù)內(nèi)容、數(shù)據(jù)標(biāo)識等內(nèi)容，將數(shù)據(jù)組織提交至應(yīng)用交互模塊。
[0107](2)應(yīng)用交互模塊的元數(shù)據(jù)加載與同步將解析完成的傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊，數(shù)據(jù)管理模塊的數(shù)據(jù)甄別引擎將傳感器數(shù)據(jù)看作不同類型的事件，通過事件預(yù)處理、事件壓縮、事件聚合、事件規(guī)則匹配對元數(shù)據(jù)進(jìn)行過濾組合，繼而判斷推理決策，完成大量無關(guān)數(shù)據(jù)及不符合標(biāo)準(zhǔn)的數(shù)據(jù)的甄別，快速、高效的從海量傳感器數(shù)據(jù)中提取有意義的包含高級語義信息的數(shù)據(jù)提交至數(shù)據(jù)融合引擎。
[0108](3)數(shù)據(jù)管理模塊的數(shù)據(jù)融合引擎首先通過關(guān)聯(lián)傳感器上送的多類型數(shù)據(jù)，建立各類數(shù)據(jù)之間的關(guān)聯(lián)，形成對同一類型數(shù)據(jù)的多維度、全方面描述，然后對多類型數(shù)據(jù)進(jìn)行數(shù)據(jù)變換以節(jié)省物聯(lián)網(wǎng)的計算資源，最后進(jìn)行數(shù)據(jù)合并，減少數(shù)據(jù)冗余，降低網(wǎng)絡(luò)的傳輸開銷和能耗，合并后的數(shù)據(jù)提交至大數(shù)據(jù)管理引擎。
[0109](4)數(shù)據(jù)管理模塊的大數(shù)據(jù)管理引擎基于妨叩如如⑶模型將數(shù)據(jù)存儲及并行處理，完成數(shù)據(jù)分塊、存儲以及復(fù)制工作，記錄分塊數(shù)據(jù)及處理任務(wù)與節(jié)點(diǎn)的對應(yīng)關(guān)系，基于元數(shù)據(jù)模型將傳感器數(shù)據(jù)轉(zhuǎn)化為包含終端編號、終端通信地址、測量點(diǎn)編號、測量點(diǎn)類型、采集數(shù)據(jù)內(nèi)容、采集數(shù)據(jù)標(biāo)識、采集數(shù)據(jù)長度在內(nèi)的智能用電業(yè)務(wù)數(shù)據(jù)，將智能用電業(yè)務(wù)數(shù)據(jù)提交至數(shù)據(jù)持久化接口。
[0110](5)數(shù)據(jù)管理模塊的數(shù)據(jù)持久化接口通過多持久化語句分級策略構(gòu)建可調(diào)控的優(yōu)先級隊列，引擎在持久化之前將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換成持久化語句。持久化語句依據(jù)智能用電業(yè)務(wù)元數(shù)據(jù)模型的分級配置，被劃分成多個不同的優(yōu)先級別，不同優(yōu)先級別的語句作為不同的語句執(zhí)行序列，動態(tài)調(diào)整持久化策略，在壓力高峰期控制流量保證物聯(lián)網(wǎng)應(yīng)用系統(tǒng)安全穩(wěn)定運(yùn)行，在壓力低谷期加大流量保證數(shù)據(jù)的完整和高效傳輸。通過語句執(zhí)行分級策略，有效保證高優(yōu)先級語句高實(shí)時、高可靠的傳輸?shù)轿锫?lián)網(wǎng)業(yè)務(wù)應(yīng)用系統(tǒng)中。
[0111]如圖7所示，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件通過監(jiān)控模塊執(zhí)行監(jiān)控任務(wù)，對通信信道、傳感器運(yùn)行設(shè)備、數(shù)據(jù)傳輸中間件自身和數(shù)據(jù)采集情況進(jìn)行監(jiān)控，物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件對信道、協(xié)議和傳感器狀態(tài)進(jìn)行管理，對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件支持的信道、協(xié)議進(jìn)行維護(hù)。
[0112]上述雖然結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。
【權(quán)利要求】
1.物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是，包括: 數(shù)據(jù)采集模塊，用于與不同類型傳感器通信，將從不同類型的傳感器中采集的數(shù)據(jù)解析后轉(zhuǎn)發(fā)給應(yīng)用交互模塊； 應(yīng)用交互模塊，用于實(shí)現(xiàn)物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的通信，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)的控制命令進(jìn)行解析，并傳輸給數(shù)據(jù)采集模塊；還將解析后的傳感器數(shù)據(jù)傳輸給數(shù)據(jù)管理模塊； 數(shù)據(jù)管理模塊，用于對應(yīng)用交互模塊解析過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別、數(shù)據(jù)融合、數(shù)據(jù)轉(zhuǎn)換，最后將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中； 監(jiān)控管理模塊，用于在增強(qiáng)物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件運(yùn)行穩(wěn)定性的同時，為中間件運(yùn)行監(jiān)控和傳感器設(shè)備故障維護(hù)提供有效的工況信息； 開發(fā)規(guī)范模塊，用于制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范； 將符合制定協(xié)議插件規(guī)范、通信信道插件規(guī)范、業(yè)務(wù)領(lǐng)域元數(shù)據(jù)插件規(guī)范和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范的物聯(lián)網(wǎng)不同應(yīng)用領(lǐng)域的插件部署在物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件中，即實(shí)現(xiàn)不同行業(yè)各類傳感器與各類物聯(lián)網(wǎng)應(yīng)用之間的并行海量數(shù)據(jù)的傳輸。
2.如權(quán)利要求1所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是， 所述數(shù)據(jù)采集模塊包括多信道多協(xié)議智能傳感器接入引擎、可擴(kuò)展信道、可擴(kuò)展協(xié)議和數(shù)據(jù)通信協(xié)議解析引擎； 所述多信道多協(xié)議智能傳感器接入引擎負(fù)責(zé)建立與傳感器的通信鏈路，通過可擴(kuò)展信道匹配多種通信信道的傳感器的接入，通過可擴(kuò)展協(xié)議匹配多種協(xié)議的傳感器的接入，建立傳感器與信道和協(xié)議的適配，滿足大規(guī)模、不同類型傳感器的通信需求，發(fā)送及接收傳感器數(shù)據(jù)； 所述數(shù)據(jù)通信協(xié)議解析引擎將傳感器傳輸過來的數(shù)據(jù)進(jìn)行規(guī)約解析，然后將數(shù)據(jù)轉(zhuǎn)發(fā)至應(yīng)用交互模塊。
3.如權(quán)利要求1所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是， 所述應(yīng)用交互模塊包括物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊、控制命令協(xié)議解析模塊、控制命令轉(zhuǎn)發(fā)模塊和元數(shù)據(jù)加載與同步模塊； 所述物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入管理模塊對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)之間的多種通信接口進(jìn)行管理； 所述控制命令協(xié)議解析模塊對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)下發(fā)的控制命令進(jìn)行中間件內(nèi)部的協(xié)議解析； 所述控制命令轉(zhuǎn)發(fā)模塊用于將解析后的控制命令轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊予以執(zhí)行； 所述元數(shù)據(jù)加載與同步模塊用于設(shè)計物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)模型，對物聯(lián)網(wǎng)應(yīng)用系統(tǒng)元數(shù)據(jù)結(jié)構(gòu)和元數(shù)據(jù)語義進(jìn)行定義，并將經(jīng)過數(shù)據(jù)解析后的傳感器數(shù)據(jù)傳輸至數(shù)據(jù)管理模塊。
4.如權(quán)利要求1所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是， 所述數(shù)據(jù)管理模塊包括數(shù)據(jù)甄別引擎、數(shù)據(jù)融合引擎、大數(shù)據(jù)管理引擎和數(shù)據(jù)持久化接口 ； 所述數(shù)據(jù)甄別引擎負(fù)責(zé)對應(yīng)用交互模塊的元數(shù)據(jù)加載與同步模塊處理過的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)甄別， 所述數(shù)據(jù)融合引擎負(fù)責(zé)對數(shù)據(jù)甄別后的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)融合； 所述大數(shù)據(jù)管理引擎并行進(jìn)行采集數(shù)據(jù)標(biāo)準(zhǔn)模型到業(yè)務(wù)應(yīng)用數(shù)據(jù)模型的轉(zhuǎn)換計算； 所述數(shù)據(jù)持久化接口將計算后的數(shù)據(jù)存儲到物聯(lián)網(wǎng)應(yīng)用系統(tǒng)中。
5.如權(quán)利要求1所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是， 所述監(jiān)控管理模塊包括通信信道運(yùn)行監(jiān)控模塊、傳感器運(yùn)行監(jiān)控模塊、數(shù)據(jù)傳輸中間件監(jiān)控模塊、數(shù)據(jù)采集情況監(jiān)控模塊、信道管理模塊、協(xié)議管理模塊和傳感器狀態(tài)管理模塊； 所述通信信道運(yùn)行監(jiān)控模塊，用于對通信信道進(jìn)行監(jiān)控，所述通信信道包括TCP/UDP通信、串口通信、230MHz無線通信、TCPClient通信、網(wǎng)絡(luò)230通信，監(jiān)控內(nèi)容主要包括通信總次數(shù)、通信成功次數(shù)、通信失敗次數(shù)、接受字節(jié)數(shù)、發(fā)送字節(jié)數(shù)、接收數(shù)據(jù)幀數(shù)和發(fā)送數(shù)據(jù)幀數(shù)； 所述傳感器運(yùn)行監(jiān)控模塊，用于對傳感器運(yùn)行設(shè)備進(jìn)行監(jiān)控，包含傳感器詳細(xì)信息查詢、傳感器通信控制、傳感器通信報文、傳感器上下線記錄和傳感器流量統(tǒng)計； 所述數(shù)據(jù)傳輸中間件監(jiān)控模塊，用于對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件自身進(jìn)行監(jiān)控，包含分布式節(jié)點(diǎn)監(jiān)控、服務(wù)器狀態(tài)監(jiān)控和數(shù)據(jù)庫信息監(jiān)控； 所述數(shù)據(jù)采集情況監(jiān)控模塊，用于對數(shù)據(jù)采集情況進(jìn)行監(jiān)控，包含傳感器采集率監(jiān)控、總數(shù)據(jù)監(jiān)控和數(shù)據(jù)文件讀取情況監(jiān)控； 所述信道管理模塊，用于信道進(jìn)行管理，實(shí)現(xiàn)不同信道信息的查詢、新增、修改和刪除，對中間件支持的信道進(jìn)行維護(hù)，方便新信道類型的傳感器接入； 所述協(xié)議管理模塊，用于對協(xié)議進(jìn)行管理，實(shí)現(xiàn)不同協(xié)議的查詢、新增、修改和刪除，對中間件支持的協(xié)議進(jìn)行維護(hù)，方便新協(xié)議的傳感器接入； 所述傳感器狀態(tài)管理模塊，用于對傳感器狀態(tài)進(jìn)行管理，按照傳感器編號、名稱、地址碼實(shí)現(xiàn)傳感器類型、協(xié)議、信道類型、信道編號、傳感器IP地址、傳感器端口號和傳感器運(yùn)行狀態(tài)進(jìn)行設(shè)置。
6.如權(quán)利要求1所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件，其特征是， 所述開發(fā)規(guī)范模塊包括通信協(xié)議插件規(guī)范模塊、通信信道插件規(guī)范模塊、面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊； 所述通信信道插件規(guī)范模塊用于定義信道類型、信道使用接口和信道IP ； 所述通信協(xié)議插件規(guī)范模塊用于定義通信協(xié)議名稱和協(xié)議數(shù)據(jù)幀中各字節(jié)碼含義；所述面向業(yè)務(wù)領(lǐng)域的元數(shù)據(jù)插件規(guī)范模塊用于定義傳感器數(shù)據(jù)對應(yīng)的傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、傳感器數(shù)據(jù)內(nèi)容、傳感器數(shù)據(jù)標(biāo)識、傳感器數(shù)據(jù)長度、傳感器基本參數(shù)和傳感器通訊參數(shù)； 所述物聯(lián)網(wǎng)應(yīng)用系統(tǒng)接入規(guī)范模塊用于定義任務(wù)執(zhí)行規(guī)范及應(yīng)用通信規(guī)范， 所述任務(wù)執(zhí)行規(guī)范定義任務(wù)編號、任務(wù)類型、任務(wù)開始執(zhí)行時間和任務(wù)解析策略； 所述應(yīng)用通信規(guī)范定義通信任務(wù)唯一序列號、傳感器編號、通信任務(wù)類型和通信協(xié)議名稱。
7.物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的工作方法，其特征是，包括如下步驟: 步驟(I):物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件插件的開發(fā)部署； 步驟(2):傳感器與物聯(lián)網(wǎng)應(yīng)用系統(tǒng)建立連接； 步驟(3):物聯(lián)網(wǎng)應(yīng)用系統(tǒng)向物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件下發(fā)任務(wù)控制命令，應(yīng)用交互模塊對任務(wù)控制命令進(jìn)行解析，然后按照任務(wù)類型將任務(wù)轉(zhuǎn)發(fā)至數(shù)據(jù)采集模塊；步驟(4):數(shù)據(jù)采集模塊將數(shù)據(jù)采集任務(wù)下發(fā)給傳感器，傳感器采集數(shù)據(jù)后，通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的數(shù)據(jù)管理模塊處理后將數(shù)據(jù)上送至物聯(lián)網(wǎng)應(yīng)用系統(tǒng)； 步驟(5):物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件通過監(jiān)控模塊執(zhí)行監(jiān)控任務(wù)，對通信信道、傳感器運(yùn)行設(shè)備、數(shù)據(jù)傳輸中間件自身和數(shù)據(jù)采集情況進(jìn)行監(jiān)控，對信道、協(xié)議和傳感器狀態(tài)進(jìn)行管理，對物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件支持的信道、協(xié)議進(jìn)行維護(hù)。
8.如權(quán)利要求7所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的工作方法，其特征是，所述步驟⑷包括: 步驟(4-1):數(shù)據(jù)采集模塊將采集任務(wù)下發(fā)至傳感器，傳感器感知相關(guān)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)，上送傳感器數(shù)據(jù)至數(shù)據(jù)采集模塊的通信協(xié)議解析引擎，通信協(xié)議解析引擎對傳感器數(shù)據(jù)進(jìn)行解析，將解析后的數(shù)據(jù)上傳至應(yīng)用交互模塊，應(yīng)用交互模塊的元數(shù)據(jù)加載與同步將傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊； 步驟(4-2):數(shù)據(jù)管理模塊對數(shù)據(jù)進(jìn)行甄別、融合、處理后存儲到物聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用系統(tǒng)中。
9.如權(quán)利要求7所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的工作方法，其特征是，所述步驟(4-1)的傳感器通過物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件數(shù)據(jù)采集模塊上送的傳感器數(shù)據(jù)包括傳感器編號、傳感器類型、傳感器地址碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)標(biāo)識、數(shù)據(jù)長度、傳感器基本參數(shù)和傳感器通訊參數(shù)；數(shù)據(jù)采集模塊的數(shù)據(jù)通信協(xié)議解析引擎對傳感器數(shù)據(jù)進(jìn)行解析，識別傳感器編號、傳感器類型、傳感器地址碼、傳感器信道類型、傳感器規(guī)約、數(shù)據(jù)內(nèi)容和數(shù)據(jù)標(biāo)識，將數(shù)據(jù)組織提交至應(yīng)用交互模塊，應(yīng)用交互模塊通過元數(shù)據(jù)加載與同步模塊，將傳感器數(shù)據(jù)存儲到數(shù)據(jù)管理模塊。
10.如權(quán)利要求7所述的物聯(lián)網(wǎng)并行海量數(shù)據(jù)傳輸中間件的工作方法，其特征是，所述步驟(4-2)的步驟如下: 步驟(4-2-1):數(shù)據(jù)管理模塊的數(shù)據(jù)甄別引擎將傳感器數(shù)據(jù)看作不同類型的事件，通過事件預(yù)處理、事件壓縮、事件聚合和事件規(guī)則匹配對數(shù)據(jù)進(jìn)行過濾組合，繼而判斷推理決策，完成大量無關(guān)數(shù)據(jù)及不符合標(biāo)準(zhǔn)的數(shù)據(jù)的甄別，從海量傳感器數(shù)據(jù)中快速提取有意義的包含高級語義信息的數(shù)據(jù)提交至數(shù)據(jù)融合引擎； 步驟(4-2-2):數(shù)據(jù)管理模塊的數(shù)據(jù)融合引擎首先通過關(guān)聯(lián)多類型數(shù)據(jù)，來建立各類數(shù)據(jù)之間的關(guān)聯(lián)，形成對同一實(shí)體的多維度、全方面描述，然后對多類型數(shù)據(jù)進(jìn)行數(shù)據(jù)變換，最后進(jìn)行數(shù)據(jù)合并，合并后的數(shù)據(jù)提交至大數(shù)據(jù)管理引擎； 步驟(4-2-3):數(shù)據(jù)管理模塊的大數(shù)據(jù)管理引擎將數(shù)據(jù)存儲及并行處理，完成數(shù)據(jù)分塊、存儲以及復(fù)制工作，記錄分塊數(shù)據(jù)及處理任務(wù)與節(jié)點(diǎn)的對應(yīng)關(guān)系，基于元數(shù)據(jù)模型將傳感器數(shù)據(jù)轉(zhuǎn)化為物聯(lián)網(wǎng)應(yīng)用系統(tǒng)業(yè)務(wù)數(shù)據(jù)，提交至數(shù)據(jù)持久化接口 ； 步驟(4-2-4):數(shù)據(jù)管理模塊的數(shù)據(jù)持久化接口通過多持久化語句分級策略構(gòu)建可調(diào)控的優(yōu)先級隊列，引擎在持久化之前將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為持久化語句；持久化語句依據(jù)業(yè)務(wù)元數(shù)據(jù)模型的分級配置，被劃分成多個不同的優(yōu)先級別，不同優(yōu)先級別的語句作為不同的語句執(zhí)行序列，動態(tài)調(diào)整持久化策略，在壓力高峰期控制流量保證物聯(lián)網(wǎng)應(yīng)用系統(tǒng)安全穩(wěn)定運(yùn)行，在壓力低谷期加大流量保證數(shù)據(jù)的完整和高效傳輸。
【文檔編號】H04L29/08GK104410662SQ201410570932
【公開日】2015年3月11日 申請日期:2014年10月23日 優(yōu)先權(quán)日:2014年10月23日
【發(fā)明者】史玉良, 李慶忠, 王新軍, 閆中敏, 孔蘭菊 申請人:山東大學(xué), 山大地緯軟件股份有限公司