本實(shí)用新型涉及數(shù)據(jù)交換技術(shù)領(lǐng)域,具體地說,是一種跨網(wǎng)絡(luò)多源異構(gòu)數(shù)據(jù)采集裝置。
背景技術(shù):
目前很多大型企業(yè)網(wǎng)絡(luò)分為物理隔離的內(nèi)、外網(wǎng),內(nèi)網(wǎng)用于企業(yè)內(nèi)部生產(chǎn)經(jīng)營管理,外網(wǎng)用于提供互聯(lián)網(wǎng)服務(wù),業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)根據(jù)需要分別部署在內(nèi)、外網(wǎng)網(wǎng)絡(luò)上的數(shù)據(jù)庫中。隨著互聯(lián)網(wǎng)應(yīng)用發(fā)展,部署在外網(wǎng)的業(yè)務(wù)應(yīng)用越來越多,企業(yè)經(jīng)營管理決策通常需要采集內(nèi)、外網(wǎng)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析、綜合評(píng)估。由于內(nèi)、外網(wǎng)絡(luò)物理隔離,內(nèi)、外網(wǎng)間一般采用U盤等存儲(chǔ)介質(zhì)進(jìn)行數(shù)據(jù)交換,存在數(shù)據(jù)格式受限、內(nèi)外網(wǎng)間數(shù)據(jù)交換實(shí)時(shí)性差等問題。常見數(shù)據(jù)采集裝置的網(wǎng)絡(luò)接口分別設(shè)有內(nèi)網(wǎng)網(wǎng)絡(luò)接口和外網(wǎng)網(wǎng)絡(luò)接口,在裝置組裝完成后其數(shù)量配比就已固定,當(dāng)內(nèi)網(wǎng)或外網(wǎng)的業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)量變多時(shí),網(wǎng)絡(luò)接口數(shù)量不夠用。
技術(shù)實(shí)現(xiàn)要素:
本實(shí)用新型要解決的技術(shù)問題是提供一種跨網(wǎng)絡(luò)的多源異構(gòu)數(shù)據(jù)采集裝置,解決傳輸數(shù)據(jù)格式受限、內(nèi)外網(wǎng)間數(shù)據(jù)交換實(shí)時(shí)性差等問題;可根據(jù)實(shí)際需求靈活配比內(nèi)網(wǎng)和外網(wǎng)的網(wǎng)絡(luò)接口。
為了解決上述技術(shù)問題,本實(shí)用新型提供了一種跨網(wǎng)絡(luò)多源異構(gòu)數(shù)據(jù)采集裝置,包括:多個(gè)網(wǎng)絡(luò)接口、與所述網(wǎng)絡(luò)接口一一對(duì)應(yīng)的單刀雙擲開關(guān)、用于采集內(nèi)網(wǎng)數(shù)據(jù)并進(jìn)行處理的內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊、用于采集外網(wǎng)數(shù)據(jù)并進(jìn)行處理的外網(wǎng)數(shù)據(jù)采集處理模塊、用于將外網(wǎng)數(shù)據(jù)單向傳輸至內(nèi)網(wǎng)并將數(shù)據(jù)進(jìn)行合并的網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊、用于存儲(chǔ)合并后的數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)模塊,
其中,所述網(wǎng)絡(luò)接口通過所述單刀雙擲開關(guān)的兩個(gè)不動(dòng)端分別連接至所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊和外網(wǎng)數(shù)據(jù)采集處理模塊;
所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊和外網(wǎng)數(shù)據(jù)采集處理模塊分別通過所述網(wǎng)絡(luò)隔離和數(shù)據(jù)交換模塊連接至所述數(shù)據(jù)存儲(chǔ)模塊。
進(jìn)一步地,所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊,包括用于采集內(nèi)網(wǎng)數(shù)據(jù)的內(nèi)網(wǎng)數(shù)據(jù)采集單元和用于將所采集到的內(nèi)網(wǎng)數(shù)據(jù)進(jìn)行格式規(guī)范化處理的內(nèi)網(wǎng)數(shù)據(jù)處理單元。
進(jìn)一步地,所述外網(wǎng)數(shù)據(jù)采集處理模塊,包括用于采集外網(wǎng)數(shù)據(jù)的外網(wǎng)數(shù)據(jù)采集單元和用于將所采集到的外網(wǎng)數(shù)據(jù)進(jìn)行格式規(guī)范化處理的外網(wǎng)數(shù)據(jù)處理單元。
進(jìn)一步地,所述網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊包括網(wǎng)絡(luò)隔離單元和數(shù)據(jù)整合單元,
所述網(wǎng)絡(luò)隔離單元,用于將外網(wǎng)數(shù)據(jù)依據(jù)專用通信協(xié)議單向傳輸至內(nèi)網(wǎng);
所述數(shù)據(jù)整合單元,用于將外網(wǎng)數(shù)據(jù)和內(nèi)網(wǎng)數(shù)據(jù)整合并發(fā)送至所述數(shù)據(jù)存儲(chǔ)模塊。
進(jìn)一步地,還包括主板,所述網(wǎng)絡(luò)隔離和數(shù)據(jù)合并模塊、數(shù)據(jù)存儲(chǔ)模塊通過所述主板上電路連接,所述外網(wǎng)數(shù)據(jù)采集處理模塊和內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊通過插槽與所述主板連接。
進(jìn)一步地,所述主板還設(shè)置有多個(gè)預(yù)留插槽。
進(jìn)一步地,還包括存儲(chǔ)端接口,所述存儲(chǔ)端接口與所述數(shù)據(jù)存儲(chǔ)模塊連接。
進(jìn)一步地,所述存儲(chǔ)端接口為RJ-45接口。
進(jìn)一步地,所述網(wǎng)絡(luò)接口為RJ-45接口。
進(jìn)一步地,設(shè)置有四個(gè)RJ-45接口。
本實(shí)用新型的跨網(wǎng)絡(luò)的多源異構(gòu)數(shù)據(jù)采集裝置,具有以下有益效果:
1、本裝置集數(shù)據(jù)采集、內(nèi)外網(wǎng)數(shù)據(jù)傳輸、數(shù)據(jù)處理于一體,可以有效降低系統(tǒng)部署工作量,縮短設(shè)備設(shè)計(jì)、安裝和調(diào)試周期;
2、本裝置集成了物理隔離網(wǎng)絡(luò)數(shù)據(jù)單向傳輸模塊,解決了異構(gòu)數(shù)據(jù)在物理隔離網(wǎng)絡(luò)之間交互的問題,在保證內(nèi)網(wǎng)安全基礎(chǔ)上提高了數(shù)據(jù)交互性能;
3、本裝置數(shù)據(jù)采集處理模塊采用插槽模式,擴(kuò)展性能高;
4、本裝置的網(wǎng)絡(luò)接口可自由切換至數(shù)據(jù)采集處理模塊或數(shù)據(jù)采集處理模塊,實(shí)現(xiàn)內(nèi)網(wǎng)或外網(wǎng)的網(wǎng)絡(luò)接口靈活配比。
附圖說明
圖1是實(shí)用新型的跨網(wǎng)絡(luò)的多源異構(gòu)數(shù)據(jù)采集裝置一實(shí)施例的結(jié)構(gòu)示意圖;
圖2是實(shí)用新型的內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊結(jié)構(gòu)示意圖;
圖3是實(shí)用新型的外網(wǎng)數(shù)據(jù)采集處理模塊結(jié)構(gòu)示意圖;
圖4是實(shí)用新型的網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊結(jié)構(gòu)示意圖。
圖中,1網(wǎng)絡(luò)接口,2單刀雙擲開關(guān),3 內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊,31 內(nèi)網(wǎng)數(shù)據(jù)采集單元,32 內(nèi)網(wǎng)數(shù)據(jù)處理單元,4 外網(wǎng)數(shù)據(jù)采集處理模塊,41 外網(wǎng)數(shù)據(jù)采集單元,42 外網(wǎng)數(shù)據(jù)處理單元,5 網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊,51 數(shù)據(jù)整合單元,52 網(wǎng)絡(luò)隔離單元,6 數(shù)據(jù)存儲(chǔ)模塊,7 存儲(chǔ)端接口。
具體實(shí)施方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本實(shí)用新型作進(jìn)一步說明,以使本領(lǐng)域的技術(shù)人員可以更好地理解本實(shí)用新型并能予以實(shí)施,但所舉實(shí)施例不作為對(duì)本實(shí)用新型的限定。
實(shí)施例一:
如圖1、圖2、圖3,所示,一種跨網(wǎng)絡(luò)多源異構(gòu)數(shù)據(jù)采集裝置,包括:多個(gè)網(wǎng)絡(luò)接口1、與所述網(wǎng)絡(luò)接口1一一對(duì)應(yīng)的單刀雙擲開關(guān)2、用于采集內(nèi)網(wǎng)數(shù)據(jù)并進(jìn)行處理的內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3、用于采集外網(wǎng)數(shù)據(jù)并進(jìn)行處理的外網(wǎng)數(shù)據(jù)采集處理模塊4、用于將外網(wǎng)數(shù)據(jù)單向傳輸至內(nèi)網(wǎng)并將數(shù)據(jù)進(jìn)行合并的網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊5、用于存儲(chǔ)合并后的數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)模塊6,
其中,所述網(wǎng)絡(luò)接口1通過所述單刀雙擲開關(guān)2的兩個(gè)不動(dòng)端分別連接至所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3和外網(wǎng)數(shù)據(jù)采集處理模塊4;
所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3和外網(wǎng)數(shù)據(jù)采集處理模塊4分別通過所述網(wǎng)絡(luò)隔離和數(shù)據(jù)交換模塊5連接至所述數(shù)據(jù)存儲(chǔ)模塊6。
所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3,包括用于采集內(nèi)網(wǎng)數(shù)據(jù)的內(nèi)網(wǎng)數(shù)據(jù)采集單元31和用于將所采集到的內(nèi)網(wǎng)數(shù)據(jù)進(jìn)行格式規(guī)范化處理的內(nèi)網(wǎng)數(shù)據(jù)處理單元32。
所述外網(wǎng)數(shù)據(jù)采集處理模塊4,包括用于采集外網(wǎng)數(shù)據(jù)的外網(wǎng)數(shù)據(jù)采集單元41和用于將所采集到的外網(wǎng)數(shù)據(jù)進(jìn)行格式規(guī)范化處理的外網(wǎng)數(shù)據(jù)處理單元42。
所述內(nèi)網(wǎng)數(shù)據(jù)采集單元31通過所述單刀雙擲開關(guān)2、網(wǎng)絡(luò)接口1與內(nèi)網(wǎng)設(shè)備連接,采集內(nèi)網(wǎng)設(shè)備的第一數(shù)據(jù)并發(fā)送至所述內(nèi)網(wǎng)數(shù)據(jù)處理單元32,所述內(nèi)網(wǎng)數(shù)據(jù)處理單元32,將所述第一數(shù)據(jù)標(biāo)記、清洗、格式規(guī)范化轉(zhuǎn)換為第三數(shù)據(jù),并將所述第三數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊5;
所述外網(wǎng)數(shù)據(jù)采集單元41通過所述單刀雙擲開關(guān)2、網(wǎng)絡(luò)接口1與外網(wǎng)設(shè)備連接,采集外網(wǎng)設(shè)備的第二數(shù)據(jù)并發(fā)送至所述外網(wǎng)數(shù)據(jù)處理單元42,所述外網(wǎng)數(shù)據(jù)處理單元42,將所述第二數(shù)據(jù)標(biāo)記、清洗、格式規(guī)范化轉(zhuǎn)換為第四數(shù)據(jù),并將所述第四數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊5;
所述網(wǎng)絡(luò)隔離和數(shù)據(jù)整合模塊5包括網(wǎng)絡(luò)隔離單元52和數(shù)據(jù)整合單元51,
所述網(wǎng)絡(luò)隔離單元52,用于將所述第四數(shù)據(jù)依據(jù)專用通信協(xié)議單向傳輸至數(shù)據(jù)整合單元51;
所述數(shù)據(jù)整合單元51,用于將所述第四數(shù)據(jù)和所述第三數(shù)據(jù)整合為第五并發(fā)送至所述數(shù)據(jù)存儲(chǔ)模塊6。
內(nèi)網(wǎng)數(shù)據(jù)采集單元31、外網(wǎng)數(shù)據(jù)采集單元41通過配置相關(guān)策略,定義相關(guān)的接口、周期、調(diào)用頻率和對(duì)象等參數(shù),自動(dòng)從內(nèi)網(wǎng)設(shè)備和外網(wǎng)設(shè)備中抽取數(shù)據(jù),數(shù)據(jù)采集策略可以根據(jù)不同的業(yè)務(wù)系統(tǒng)、應(yīng)用場(chǎng)景及需求分別進(jìn)行定義;采集上來的數(shù)據(jù)來源多樣、數(shù)量龐大、結(jié)構(gòu)各異、屬性繁多,需要進(jìn)行數(shù)據(jù)標(biāo)記、清洗、格式規(guī)范化轉(zhuǎn)換等預(yù)處理工作。數(shù)據(jù)標(biāo)記和清洗主要根據(jù)數(shù)據(jù)所屬的業(yè)務(wù)系統(tǒng)、類型、結(jié)構(gòu)、大小等,打上統(tǒng)一規(guī)范的標(biāo)記,用于標(biāo)識(shí)數(shù)據(jù)的來源、種類等屬性。同時(shí),結(jié)合數(shù)據(jù)規(guī)則庫,根據(jù)數(shù)據(jù)的標(biāo)記,將相應(yīng)的規(guī)則與數(shù)據(jù)進(jìn)行封裝,封裝完成的數(shù)據(jù)可識(shí)別、可控制并帶有相應(yīng)清洗規(guī)則。數(shù)據(jù)格式規(guī)范化轉(zhuǎn)換主要通過數(shù)據(jù)泛化、規(guī)范化、數(shù)據(jù)屬性構(gòu)造等操作,提高數(shù)據(jù)挖掘或數(shù)據(jù)流挖掘的精度和性能。數(shù)據(jù)泛化使用概念分層,用高層次概念替換低層次“原始”數(shù)據(jù),將數(shù)據(jù)庫中的原始數(shù)據(jù)泛化成用戶感興趣的概念層次上的、聚合的、具有統(tǒng)計(jì)意義的元數(shù)據(jù),為在線分類提供了良好的數(shù)據(jù)環(huán)境。泛化的主要策略包括在最小分解單位上泛化、屬性去除、概念樹攀升、增加屬性等,相關(guān)的泛化算法有面向?qū)傩詺w納的泛化算法和基于數(shù)據(jù)立方體的泛化算法等。
內(nèi)、外網(wǎng)數(shù)據(jù)經(jīng)過處理后,形成統(tǒng)一格式的規(guī)范化第三數(shù)據(jù)和第四數(shù)據(jù)。網(wǎng)絡(luò)隔離單元52在內(nèi)、外網(wǎng)間采用專用通信協(xié)議,只允許數(shù)據(jù)整合單元51和外網(wǎng)數(shù)據(jù)處理單元42之間的數(shù)據(jù)單向傳輸。外網(wǎng)數(shù)據(jù)處理單元42完成處理之后,向數(shù)據(jù)整合單元51發(fā)出數(shù)據(jù)傳輸請(qǐng)求消息,數(shù)據(jù)整合單元51對(duì)請(qǐng)求消息進(jìn)行驗(yàn)證之后,按照預(yù)定義數(shù)據(jù)傳輸規(guī)則從外網(wǎng)數(shù)據(jù)處理單元42提取數(shù)據(jù),經(jīng)過數(shù)據(jù)有效性和安全性驗(yàn)證之后,將數(shù)據(jù)整合為第五數(shù)據(jù)并存儲(chǔ)到數(shù)據(jù)存儲(chǔ)模塊6中。數(shù)據(jù)傳輸規(guī)則可以根據(jù)不同的業(yè)務(wù)系統(tǒng)、應(yīng)用場(chǎng)景及需求進(jìn)行定義。
所述數(shù)據(jù)存儲(chǔ)模塊6,用于存儲(chǔ)所述第五數(shù)據(jù)。
存儲(chǔ)在數(shù)據(jù)存儲(chǔ)模塊6中的第五數(shù)據(jù)可以通過存儲(chǔ)端接口7,提供給外部設(shè)備使用,所述存儲(chǔ)端接口為RJ-45接口。
所述跨網(wǎng)絡(luò)多源異構(gòu)數(shù)據(jù)采集裝置還包括主板,所述網(wǎng)絡(luò)隔離和數(shù)據(jù)合并模塊5、數(shù)據(jù)存儲(chǔ)模塊6通過所述主板上電路連接,所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3和外網(wǎng)數(shù)據(jù)采集處理模塊4通過插槽與所述主板連接。
所述主板還設(shè)置有多個(gè)預(yù)留插槽,可用來擴(kuò)展所述內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3和外網(wǎng)數(shù)據(jù)采集處理模塊4的數(shù)量。
本實(shí)施例中,設(shè)置有四個(gè)網(wǎng)絡(luò)接口1,所述網(wǎng)絡(luò)接口為RJ-45接口,所述網(wǎng)絡(luò)接口1也可以根據(jù)需要設(shè)置不同數(shù)量。
所述跨網(wǎng)絡(luò)多源異構(gòu)數(shù)據(jù)采集裝置使用過程中,可以通過切換單刀雙擲開關(guān)6的不同狀態(tài),選擇將網(wǎng)絡(luò)接口1接入內(nèi)網(wǎng)數(shù)據(jù)采集處理模塊3或外網(wǎng)數(shù)據(jù)采集處理模塊4,即實(shí)現(xiàn)網(wǎng)絡(luò)接口數(shù)量固定的情況下,自由選擇連接外網(wǎng)設(shè)備和內(nèi)網(wǎng)設(shè)備的網(wǎng)絡(luò)接口1的比例。
以上所述實(shí)施例僅是為充分說明本實(shí)用新型而所舉的較佳的實(shí)施例,本實(shí)用新型的保護(hù)范圍不限于此。本技術(shù)領(lǐng)域的技術(shù)人員在本實(shí)用新型基礎(chǔ)上所作的等同替代或變換,均在本實(shí)用新型的保護(hù)范圍之內(nèi)。本實(shí)用新型的保護(hù)范圍以權(quán)利要求書為準(zhǔn)。