一種數(shù)據(jù)管理方法及系統(tǒng)、業(yè)務(wù)平臺(tái)的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)管理方法及系統(tǒng)、業(yè)務(wù)平臺(tái)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，許多企業(yè)為了達(dá)成了解市場(chǎng)的動(dòng)態(tài)變化及競(jìng)爭(zhēng)對(duì)手分析，通常需要網(wǎng)上采集與自己行業(yè)相關(guān)的業(yè)務(wù)數(shù)據(jù)
[0003]目前，傳統(tǒng)的數(shù)據(jù)采集系統(tǒng)主要利用垂直搜索和網(wǎng)絡(luò)爬蟲(chóng)技術(shù)相結(jié)合以實(shí)現(xiàn)數(shù)據(jù)采集業(yè)務(wù)，根據(jù)用戶(hù)提供的關(guān)鍵詞，利用相應(yīng)的搜索引擎進(jìn)行垂直搜索，然后獲取對(duì)應(yīng)關(guān)鍵詞的多個(gè)初始URL (Uniform Resoure Locator，統(tǒng)一資源定位符)地址，進(jìn)而利用網(wǎng)絡(luò)爬蟲(chóng)獲取每一個(gè)初始URL地址分別對(duì)應(yīng)的多個(gè)下級(jí)URL地址，利用相應(yīng)的數(shù)據(jù)采集規(guī)則從多個(gè)初始URL地址以及多個(gè)下級(jí)URL地址分別對(duì)應(yīng)的目標(biāo)網(wǎng)頁(yè)上采集相應(yīng)的業(yè)務(wù)數(shù)據(jù)。
[0004]但是，在上述技術(shù)方案中，數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)與企業(yè)內(nèi)部行業(yè)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)可能完全不同，并不能將數(shù)據(jù)采集系統(tǒng)采集到的業(yè)務(wù)數(shù)據(jù)和企業(yè)內(nèi)部的行業(yè)數(shù)據(jù)整合到一起。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種數(shù)據(jù)管理方法及系統(tǒng)、業(yè)務(wù)平臺(tái)，可實(shí)現(xiàn)將數(shù)據(jù)采集系統(tǒng)采集到的業(yè)務(wù)數(shù)據(jù)和企業(yè)內(nèi)部的行業(yè)數(shù)據(jù)整合到一起。
[0006]第一方面，本發(fā)明提供了一種數(shù)據(jù)管理方法，包括:
[0007]S1:從外部數(shù)據(jù)采集系統(tǒng)獲取業(yè)務(wù)信息，其中，所述業(yè)務(wù)信息攜帶至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)及每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的第一屬性信息；
[0008]S2:根據(jù)每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的第一屬性信息構(gòu)建目標(biāo)文件目錄結(jié)構(gòu)；
[0009]S3:根據(jù)所述文件目錄結(jié)構(gòu)在至少一個(gè)第一數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第一目標(biāo)文件夾，并將所述至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別存儲(chǔ)到對(duì)應(yīng)的第一目標(biāo)文件夾下；
[0010]S4:從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；
[0011 ] S5:根據(jù)目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第二目標(biāo)文件夾，并將所述目標(biāo)行業(yè)數(shù)據(jù)分別存儲(chǔ)到對(duì)應(yīng)的第二目標(biāo)文件夾下；
[0012]S6:將每一個(gè)第二目標(biāo)文件夾下的目標(biāo)行業(yè)數(shù)據(jù)分別鏡像到對(duì)應(yīng)的第一目標(biāo)文件夾下。
[0013]進(jìn)一步的，在所述將每一個(gè)第二目標(biāo)文件夾下的目標(biāo)行業(yè)數(shù)據(jù)分別鏡像到對(duì)應(yīng)的第一目標(biāo)文件夾下之后，還包括:
[0014]接收外部客戶(hù)端發(fā)送的數(shù)據(jù)讀取請(qǐng)求，其中，所述數(shù)據(jù)讀取請(qǐng)求攜帶對(duì)應(yīng)第二目標(biāo)業(yè)務(wù)數(shù)據(jù)的第二屬性信息；
[0015]根據(jù)所述第二屬性信息查詢(xún)所述目標(biāo)文件目錄結(jié)構(gòu)，從對(duì)應(yīng)所述第二屬性信息的第一目標(biāo)文件夾內(nèi)讀取第二目標(biāo)業(yè)務(wù)數(shù)據(jù)，并將所述第二目標(biāo)業(yè)務(wù)數(shù)據(jù)發(fā)送到外部客戶(hù)端。
[0016]進(jìn)一步的，
[0017]所述從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，包括:從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取攜帶目標(biāo)行業(yè)數(shù)據(jù)的至少一張數(shù)據(jù)庫(kù)表；
[0018]所述根據(jù)目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第二目標(biāo)文件夾，包括:
[0019]根據(jù)每一張數(shù)據(jù)庫(kù)表分別對(duì)應(yīng)的標(biāo)識(shí)信息在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第二目標(biāo)文件夾。
[0020]第二方面，本發(fā)明提供了一種業(yè)務(wù)平臺(tái)，包括:
[0021]第一接口單元，用于從外部數(shù)據(jù)采集系統(tǒng)獲取業(yè)務(wù)信息，其中，所述業(yè)務(wù)信息攜帶至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)及每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的第一屬性信息；
[0022]構(gòu)建單元，用于根據(jù)每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的第一屬性信息構(gòu)建目標(biāo)文件目錄結(jié)構(gòu)；
[0023]處理單元，用于根據(jù)所述文件目錄結(jié)構(gòu)在至少一個(gè)第一數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第一目標(biāo)文件夾，并將所述至少一條第一目標(biāo)數(shù)據(jù)分別存儲(chǔ)到對(duì)應(yīng)的第一目標(biāo)文件夾下；根據(jù)目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第二目標(biāo)文件夾，并將所述目標(biāo)行業(yè)數(shù)據(jù)分別存儲(chǔ)到對(duì)應(yīng)的第二目標(biāo)文件夾下;將每一個(gè)第二目標(biāo)文件夾下的目標(biāo)行業(yè)數(shù)據(jù)分別鏡像到對(duì)應(yīng)的第一目標(biāo)文件夾下；
[0024]第二接口單元，用于從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。
[0025]進(jìn)一步的，還包括:
[0026]第三接口單元，用于接收外部客戶(hù)端發(fā)送的數(shù)據(jù)讀取請(qǐng)求，其中，所述數(shù)據(jù)讀取請(qǐng)求攜帶對(duì)應(yīng)第二目標(biāo)業(yè)務(wù)數(shù)據(jù)的第二屬性信息;將第二目標(biāo)業(yè)務(wù)數(shù)據(jù)發(fā)送到外部客戶(hù)端；
[0027]所述處理單元，進(jìn)一步用于根據(jù)所述第二屬性信息查詢(xún)所述目標(biāo)文件目錄結(jié)構(gòu)，從對(duì)應(yīng)所述第二屬性信息的第一目標(biāo)文件夾內(nèi)讀取第二目標(biāo)業(yè)務(wù)數(shù)據(jù)，并將所述第二目標(biāo)業(yè)務(wù)數(shù)據(jù)發(fā)送給第三接口單元。
[0028]進(jìn)一步的，
[0029]所述第二接口單元，用于從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取攜帶目標(biāo)行業(yè)數(shù)據(jù)的至少一張數(shù)據(jù)庫(kù)表；
[0030]所述處理單元，用于根據(jù)每一張數(shù)據(jù)庫(kù)表分別對(duì)應(yīng)的標(biāo)識(shí)信息在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建第二目標(biāo)文件夾。
[0031]第三方面，本發(fā)明提供了一種數(shù)據(jù)管理系統(tǒng)，包括:
[0032]如上述第二方面中任一所述的業(yè)務(wù)平臺(tái)、客戶(hù)端及數(shù)據(jù)采集系統(tǒng)；
[0033]其中，所述客戶(hù)端包括:
[0034]第四接口單元，用于向數(shù)據(jù)采集系統(tǒng)發(fā)送目標(biāo)數(shù)據(jù)采集指令，其中，所述目標(biāo)數(shù)據(jù)采集指令攜帶目標(biāo)統(tǒng)一資源定位符URL地址及待采集的每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的屬性信息；
[0035]所述數(shù)據(jù)采集系統(tǒng)，用于根據(jù)所述目標(biāo)統(tǒng)一資源定位符URL地址及待采集的每一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)分別對(duì)應(yīng)的屬性信息配置對(duì)應(yīng)的數(shù)據(jù)采集模版，利用所述數(shù)據(jù)采集模版采集至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)，并將所述至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)發(fā)送到所述業(yè)務(wù)-ψ
I 口 ο
[0036]進(jìn)一步的，
[0037]當(dāng)所述業(yè)務(wù)平臺(tái)包括第三接口單元時(shí)，所述客戶(hù)端，進(jìn)一步包括:
[0038]第五接口單元，用于向所述業(yè)務(wù)平臺(tái)發(fā)送數(shù)據(jù)讀取請(qǐng)求，其中，所述數(shù)據(jù)讀取請(qǐng)求攜帶對(duì)應(yīng)第二目標(biāo)業(yè)務(wù)數(shù)據(jù)的第二屬性信息；接收所述業(yè)務(wù)平臺(tái)發(fā)送的第二目標(biāo)業(yè)務(wù)數(shù)據(jù)。
[0039]本發(fā)明提供了一種數(shù)據(jù)管理方法及系統(tǒng)、業(yè)務(wù)平臺(tái)，根據(jù)外部數(shù)據(jù)采集系統(tǒng)發(fā)送的至少一條第一目標(biāo)業(yè)務(wù)數(shù)據(jù)及其對(duì)應(yīng)的屬性信息構(gòu)建文件目錄結(jié)構(gòu)，根據(jù)該文件目錄結(jié)構(gòu)在至少一個(gè)第一數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上構(gòu)建相應(yīng)的第一目標(biāo)文件夾來(lái)分別存儲(chǔ)對(duì)應(yīng)的第一目標(biāo)業(yè)務(wù)數(shù)據(jù);相應(yīng)的，從外部關(guān)系型數(shù)據(jù)庫(kù)中獲取對(duì)應(yīng)的目標(biāo)行業(yè)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，并根據(jù)該數(shù)據(jù)結(jié)構(gòu)在至少一個(gè)第二數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上分別創(chuàng)建對(duì)應(yīng)的第二目標(biāo)文件夾來(lái)存儲(chǔ)對(duì)應(yīng)的目標(biāo)行業(yè)數(shù)據(jù);進(jìn)而將每一個(gè)第二目標(biāo)文件夾下存儲(chǔ)的行業(yè)數(shù)據(jù)鏡像到對(duì)應(yīng)的第一目標(biāo)文件夾下;可見(jiàn)，通過(guò)本發(fā)明的技術(shù)方案，可實(shí)現(xiàn)將數(shù)據(jù)采集系統(tǒng)采集到的業(yè)務(wù)數(shù)據(jù)和企業(yè)內(nèi)部的行業(yè)數(shù)據(jù)整合到一起。
【附圖說(shuō)明】
[0040]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出