數(shù)據(jù)源融合的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)源融合的方法和裝置。
【背景技術(shù)】
[0002]大數(shù)據(jù)技術(shù)的發(fā)展為海量數(shù)據(jù)的分析提供了保證，使得機(jī)器生成的海量數(shù)據(jù)能夠得到有效的挖掘。
[0003]時(shí)間序列數(shù)據(jù)源是一類特殊的數(shù)據(jù)源，每條數(shù)據(jù)信息都有一個(gè)相應(yīng)的時(shí)間戳，各條數(shù)據(jù)信息按照時(shí)間戳的先后順序排列。當(dāng)今社會(huì)基礎(chǔ)設(shè)施十分發(fā)達(dá)，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)通訊、移動(dòng)定位等系統(tǒng)廣泛存在，每時(shí)每刻機(jī)器產(chǎn)生海量的數(shù)據(jù)(Machine-generateddata)，這些數(shù)據(jù)從不同的角度反映了社會(huì)的方方面面，因此對機(jī)器生成的時(shí)間序列數(shù)據(jù)源分析是大數(shù)據(jù)分析的一個(gè)重要分支。
[0004]對不同機(jī)器生成的時(shí)間序列數(shù)據(jù)源作系統(tǒng)性的分析往往需要首先將不同機(jī)器生成的時(shí)間序列數(shù)據(jù)源進(jìn)行融合，要求融合后的數(shù)據(jù)中各條數(shù)據(jù)信息仍然以時(shí)間戳的先后排序，這種融合后數(shù)據(jù)能夠直觀詳實(shí)地反映目標(biāo)體的時(shí)空軌跡狀態(tài)。
[0005]然而現(xiàn)有時(shí)間序列數(shù)據(jù)源的融合技術(shù)對待融合的數(shù)據(jù)源的數(shù)據(jù)信息的時(shí)間戳要求嚴(yán)格、計(jì)算復(fù)雜、融合效率低。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的主要目的在于解決現(xiàn)有的數(shù)據(jù)源融合技術(shù)對待融合的數(shù)據(jù)源的數(shù)據(jù)信息的時(shí)間戳要求嚴(yán)格、計(jì)算復(fù)雜、融合效率低的技術(shù)問題。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)源融合的方法，所述方法包括:
[0008]根據(jù)接收的融合指令，為每種待融合的數(shù)據(jù)源生成記錄有數(shù)據(jù)信息的時(shí)間戳的概要信息；
[0009]根據(jù)所述概要信息，將所有待融合的數(shù)據(jù)源的數(shù)據(jù)信息按照時(shí)間戳的先后順序排列融合。
[0010]優(yōu)選地，所述根據(jù)所述概要信息，將所有待融合的數(shù)據(jù)源的數(shù)據(jù)信息按照時(shí)間戳的先后順序排列融合具體包括:
[0011]步驟一、計(jì)算時(shí)鐘步進(jìn)值，根據(jù)當(dāng)前待處理時(shí)鐘點(diǎn)和所述時(shí)鐘步進(jìn)值計(jì)算下一步待處理時(shí)鐘點(diǎn)；
[0012]步驟二、在所述每種待融合的數(shù)據(jù)源中，提取時(shí)間戳處于所述當(dāng)前待處理時(shí)鐘點(diǎn)和所述下一步待處理時(shí)鐘點(diǎn)之間的數(shù)據(jù)信息；
[0013]步驟三、將提取的所有數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合；判斷所有待融合的數(shù)據(jù)源內(nèi)的數(shù)據(jù)信息是否全部融合完畢；若否，則返回步驟一；若是，則結(jié)束流程。
[0014]優(yōu)選地，所述的數(shù)據(jù)源融合的方法，當(dāng)所述時(shí)鐘步進(jìn)值為第I?η個(gè)時(shí)鐘步進(jìn)值，則所述計(jì)算時(shí)鐘步進(jìn)值具體為:根據(jù)所有待融合的數(shù)據(jù)源中數(shù)據(jù)信息時(shí)間戳最早和最晚的時(shí)間點(diǎn)計(jì)算時(shí)鐘步進(jìn)值；
[0015]當(dāng)所述時(shí)鐘步進(jìn)值為第m個(gè)時(shí)鐘步進(jìn)值，則所述計(jì)算時(shí)鐘步進(jìn)值具體為:根據(jù)第m-z個(gè)至第m-Ι個(gè)時(shí)鐘步進(jìn)值，及第m-z個(gè)至第m_l個(gè)時(shí)鐘步進(jìn)值對應(yīng)的融合數(shù)據(jù)信息量和融合時(shí)間，計(jì)算第m個(gè)時(shí)鐘步進(jìn)值；
[0016]其中，η為3?10的自然數(shù)，m為大于η的自然數(shù)，ζ為3?6的自然數(shù)。
[0017]優(yōu)選地，所述的數(shù)據(jù)源融合的方法，步驟三中將提取的所有數(shù)據(jù)信息進(jìn)行融合之前還包括:
[0018]將提取的所有數(shù)據(jù)信息轉(zhuǎn)換為設(shè)定的格式。
[0019]優(yōu)選地，所述將提取的所有數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合具體包括:
[0020]采用線程迭代算法，將所有待融合的數(shù)據(jù)源中每兩種數(shù)據(jù)源中提取的數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合，形成多個(gè)融合數(shù)據(jù)；
[0021]將多個(gè)融合數(shù)據(jù)中每兩個(gè)融合數(shù)據(jù)進(jìn)行進(jìn)一步融合，直至融合為一個(gè)融合數(shù)據(jù)。
[0022]優(yōu)選地，所述的數(shù)據(jù)源融合的方法，當(dāng)待融合的數(shù)據(jù)源種類為奇數(shù)，在將所有待融合的數(shù)據(jù)源中每兩種數(shù)據(jù)源中提取的數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合之后還包括:
[0023]將剩余的一種數(shù)據(jù)源中提取的數(shù)據(jù)信息與所述多個(gè)融合數(shù)據(jù)中的一個(gè)融合數(shù)據(jù)進(jìn)行融合。
[0024]優(yōu)選地，所述的數(shù)據(jù)源融合的方法，還包括:
[0025]根據(jù)接收的融合指令，為每種待融合的數(shù)據(jù)源生成相應(yīng)的數(shù)據(jù)融合進(jìn)度表，并實(shí)時(shí)更新數(shù)據(jù)融合進(jìn)度表。
[0026]此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)源融合的裝置，包括:
[0027]概要信息生成模塊，用于根據(jù)接收的融合指令，為每種待融合的數(shù)據(jù)源生成記錄有數(shù)據(jù)信息的時(shí)間戳的概要信息；
[0028]數(shù)據(jù)融合模塊，用于根據(jù)所述概要信息，將所有待融合的數(shù)據(jù)源的數(shù)據(jù)信息按照時(shí)間戳的先后順序排列融合。
[0029]優(yōu)選地，所述數(shù)據(jù)融合模塊還包括:
[0030]計(jì)算單元，用于計(jì)算時(shí)鐘步進(jìn)值，根據(jù)當(dāng)前待處理時(shí)鐘點(diǎn)和所述時(shí)鐘步進(jìn)值計(jì)算下一步待處理時(shí)鐘點(diǎn)；
[0031]數(shù)據(jù)提取單元，用于在所述每種待融合的數(shù)據(jù)源中，提取時(shí)間戳處于所述當(dāng)前待處理時(shí)鐘點(diǎn)和所述下一步待處理時(shí)鐘點(diǎn)之間的數(shù)據(jù)信息；
[0032]數(shù)據(jù)融合單元，用于將提取的所有數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合；
[0033]循環(huán)控制單元，用于在數(shù)據(jù)融合單元將提取的所有數(shù)據(jù)信息按時(shí)間戳的先后順序排列融合后，判斷所有待融合的數(shù)據(jù)源內(nèi)的數(shù)據(jù)信息是否全部融合完畢；若否，則返回依次調(diào)用計(jì)算單元、數(shù)據(jù)提取單元、數(shù)據(jù)融合單元執(zhí)行各自相應(yīng)的操作，直至所有待融合的數(shù)據(jù)源內(nèi)的數(shù)據(jù)信息全部融合完畢。
[0034]優(yōu)選地，所述計(jì)算單元，具體還用于當(dāng)所述時(shí)鐘步進(jìn)值為第I?η個(gè)時(shí)鐘步進(jìn)值，則根據(jù)所有待融合的數(shù)據(jù)源中數(shù)據(jù)信息時(shí)間戳最早和最晚的時(shí)間點(diǎn)計(jì)算時(shí)鐘步進(jìn)值；當(dāng)所述時(shí)鐘步進(jìn)值為第m個(gè)時(shí)鐘步進(jìn)值，則根據(jù)第m-z個(gè)至第m-Ι個(gè)時(shí)鐘步進(jìn)值，及第m_z個(gè)至第m-Ι個(gè)時(shí)鐘步進(jìn)值對應(yīng)的融合數(shù)據(jù)信息量和融合時(shí)間，計(jì)算第m個(gè)時(shí)鐘步進(jìn)值；其中，η為3?10的自然數(shù)，m為大于η的自然數(shù)，ζ為3?6的自然數(shù)。
[0035]優(yōu)選地，所述數(shù)據(jù)融合模塊還包括:
[0036]轉(zhuǎn)換單元，用于在將提取的所有數(shù)據(jù)信息融合之前，將所提取的所有數(shù)據(jù)信息轉(zhuǎn)換為設(shè)定的格式。
[0037]優(yōu)選地，所述數(shù)據(jù)融合單元，具體用于采用線程迭代算法，將所有待融合的數(shù)據(jù)源中每兩種數(shù)據(jù)源中提取的數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合，形成多個(gè)融合數(shù)據(jù)；將多個(gè)融合數(shù)據(jù)中每兩個(gè)融合數(shù)據(jù)進(jìn)行進(jìn)一步融合，直至融合為一個(gè)融合數(shù)據(jù)。
[0038]優(yōu)選地，所述數(shù)據(jù)融合單元，具體還用于當(dāng)數(shù)據(jù)源種類為奇數(shù)，在將所有待融合的數(shù)據(jù)源中每兩種數(shù)據(jù)源中提取的數(shù)據(jù)信息，按時(shí)間戳的先后順序排列融合之后，將剩余的一種數(shù)據(jù)源中提取的數(shù)據(jù)信息與所述多個(gè)融合數(shù)據(jù)中的一個(gè)融合數(shù)據(jù)進(jìn)行融合。
[0039]優(yōu)選地，所述的數(shù)據(jù)源融合的裝置，還包括:
[0040]進(jìn)度表生成模塊，用于根據(jù)接收的融合指令，為每種待融合的數(shù)據(jù)源生成相應(yīng)的數(shù)據(jù)融合進(jìn)度表，并實(shí)時(shí)更新數(shù)據(jù)融合進(jìn)度表。
[0041]本發(fā)明所提供的數(shù)據(jù)源融合的方法和裝置，根據(jù)接收的融合指令，為每種待融合的數(shù)據(jù)源生成記錄有數(shù)據(jù)信息的時(shí)間戳的概要信息；根據(jù)所述概要信息，將所有待融合的數(shù)據(jù)源的數(shù)據(jù)信息按照時(shí)間戳的先后順序排列融合的方式，對待融合的數(shù)據(jù)源的數(shù)據(jù)信息的時(shí)間戳沒有要求，能夠?qū)崿F(xiàn)多種不同種類的時(shí)間序列數(shù)據(jù)源融合，能有效利用待融合的數(shù)據(jù)源中數(shù)據(jù)信息的時(shí)間戳的排序特性，融合效率高，數(shù)據(jù)源融合的實(shí)現(xiàn)過程簡單、成本低。
【附圖說明】
[0042]圖1是本發(fā)明的數(shù)據(jù)源融合的方法第一實(shí)施例的流程圖；
[0043]圖2是圖1中步驟S20的細(xì)化流程示意圖；
[0044]圖3是本發(fā)明的數(shù)據(jù)源融合的裝置第一實(shí)施例的功能模塊示意圖；
[0045]圖4是圖3中數(shù)據(jù)融合模塊的細(xì)化功能模塊示意圖；
[0046]圖5是圖3中數(shù)據(jù)融合模塊的另一細(xì)化功能模塊示意圖；
[0047]圖6是本發(fā)明的數(shù)據(jù)源融合的裝置第二實(shí)施例的功能模塊示意圖。