本發(fā)明涉及數(shù)據(jù)交易技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)獲取方法。

背景技術(shù)：

隨著大數(shù)據(jù)技術(shù)的成熟和發(fā)展，大數(shù)據(jù)在商業(yè)上的應(yīng)用越來越廣泛，提供數(shù)據(jù)的服務(wù)商也越來越多，但是由于每個(gè)服務(wù)商都有其特定的數(shù)據(jù)提供方式，數(shù)據(jù)需求者一般需要通過數(shù)據(jù)交易平臺向提供數(shù)據(jù)的服務(wù)商發(fā)送請求，目前的數(shù)據(jù)交易平臺針對每個(gè)服務(wù)商，需要專門編寫實(shí)現(xiàn)上述數(shù)據(jù)交易過程的程序，即現(xiàn)有的數(shù)據(jù)交易平臺的數(shù)據(jù)交易程序只能實(shí)現(xiàn)一對一的數(shù)據(jù)交易，這樣，若數(shù)據(jù)交易平臺要接入多個(gè)服務(wù)商時(shí)，就需要開發(fā)多套程序，開發(fā)程序費(fèi)時(shí)費(fèi)力，交易平臺的程序組成復(fù)雜，維護(hù)管理不方便；另外，不同服務(wù)商提供的數(shù)據(jù)格式種類較多，現(xiàn)有技術(shù)中的數(shù)據(jù)交易平臺一般是將從服務(wù)商處獲取的數(shù)據(jù)直接以原格式發(fā)送給用戶，導(dǎo)致數(shù)據(jù)需求者需要對部分格式的數(shù)據(jù)進(jìn)行解析后才能使用，極大的增加了需求者工作量。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種大數(shù)據(jù)獲取方法，用以解決現(xiàn)有數(shù)據(jù)交易平臺的程序只能實(shí)現(xiàn)一對一數(shù)據(jù)獲取的問題，通過一個(gè)方法流程實(shí)現(xiàn)一對多自動獲取數(shù)據(jù)的目的。

本發(fā)明提供一種大數(shù)據(jù)獲取方法，包括：

接收數(shù)據(jù)請求端的獲取數(shù)據(jù)請求；所述獲取數(shù)據(jù)請求包括查詢參數(shù)；

驗(yàn)證所述數(shù)據(jù)請求端是否具有獲取數(shù)據(jù)權(quán)限；

當(dāng)所述數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限時(shí)，判斷根據(jù)預(yù)先設(shè)置的匹配規(guī)則從模板庫中是否能獲取到所記錄的請求參數(shù)與所述查詢參數(shù)相匹配的數(shù)據(jù)源配置模板；所述模板庫中存儲有多個(gè)預(yù)先設(shè)置的數(shù)據(jù)源配置模板，每個(gè)數(shù)據(jù)源配置模板記錄有請求參數(shù)及對應(yīng)的數(shù)據(jù)源的地址和數(shù)據(jù)源參數(shù)；

當(dāng)根據(jù)預(yù)先設(shè)置的匹配規(guī)則從模板庫中獲取到所記錄的請求參數(shù)與所述查詢參數(shù)相匹配的至少一個(gè)數(shù)據(jù)源配置模板時(shí)，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板；

判斷當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源是否滿足所述獲取數(shù)據(jù)請求的要求；若是，則將當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源確定為目標(biāo)數(shù)據(jù)源并執(zhí)行下一步驟；否則，當(dāng)所述至少一個(gè)數(shù)據(jù)源配置模板中還有未被選擇過的數(shù)據(jù)源配置模板時(shí)，返回執(zhí)行從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板的步驟；

根據(jù)當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的地址，向所述目標(biāo)數(shù)據(jù)源請求數(shù)據(jù)；

判斷所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)是否正常；若是，則將所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的數(shù)據(jù)后返回給所述數(shù)據(jù)請求端；否則，當(dāng)所述至少一個(gè)數(shù)據(jù)源配置模板中還有未被選擇過的數(shù)據(jù)源配置模板時(shí)，返回執(zhí)行從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板的步驟。

在一個(gè)實(shí)施例中，所述判斷當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源是否滿足所述獲取數(shù)據(jù)請求的要求，包括：

向所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求；

接收所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源返回的數(shù)據(jù)源參數(shù)；

判斷接收的數(shù)據(jù)源參數(shù)是否與所述當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的數(shù)據(jù)源參數(shù)相一致，若是，則斷定所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源滿足所述獲取數(shù)據(jù)請求的要求。

在一個(gè)實(shí)施例中，所述選擇一個(gè)數(shù)據(jù)源配置模板之后，判斷當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源是否滿足所述獲取數(shù)據(jù)請求的要求之前，還包括：確定本地與當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式；

所述向所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求，包括：

根據(jù)確定的本地與所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式，建立通信鏈路；

通過所述通信鏈路，向所述當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求。

在一個(gè)實(shí)施例中，所述接收數(shù)據(jù)請求端發(fā)來的獲取數(shù)據(jù)請求之前，還包括：預(yù)先為所述模板庫中的各數(shù)據(jù)源配置模板設(shè)置優(yōu)先級；

所述從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板，包括：根據(jù)優(yōu)先級從高到低的順序，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。

在一個(gè)實(shí)施例中，所述方法還可包括：

根據(jù)所述數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為，預(yù)測所述數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度；根據(jù)所述數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度，確定所述數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級；

所述根據(jù)優(yōu)先級從高到低的順序，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板，包括：

根據(jù)所述數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。

在一個(gè)實(shí)施例中，所述數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為包括：當(dāng)前時(shí)間之前的預(yù)設(shè)時(shí)間段內(nèi)的數(shù)據(jù)請求行為，所述數(shù)據(jù)請求行為包括數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)每次獲取到的數(shù)據(jù)源配置模板的標(biāo)識及其數(shù)據(jù)源的標(biāo)識；

所述根據(jù)所述數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為，確定所述數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度，包括：

根據(jù)所述數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為，統(tǒng)計(jì)所述數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)對數(shù)據(jù)源配置模板i的使用次數(shù)Ni、和從數(shù)據(jù)源配置模板i對應(yīng)的數(shù)據(jù)源Mi獲取到數(shù)據(jù)的次數(shù)Q_Mi，以及統(tǒng)計(jì)預(yù)設(shè)數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)對數(shù)據(jù)源配置模板i的總使用次數(shù)Ri、和從數(shù)據(jù)源配置模板i對應(yīng)的數(shù)據(jù)源Mi獲取到數(shù)據(jù)的總次數(shù)T_Mi；根據(jù)以下計(jì)算公式計(jì)算所述數(shù)據(jù)請求端對數(shù)據(jù)源配置模板i的喜好度Pi，所述計(jì)算公式為：

其中，所述N為所述數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)對所有數(shù)據(jù)源配置模板的總使用次數(shù)；所述R為預(yù)設(shè)數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)對所有數(shù)據(jù)源配置模板的總使用次數(shù)；所述Q為所述數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)從所有數(shù)據(jù)源獲取到數(shù)據(jù)的總次數(shù)；所述T為預(yù)設(shè)數(shù)據(jù)請求端在所述預(yù)設(shè)時(shí)間段內(nèi)從所有數(shù)據(jù)源獲取到數(shù)據(jù)的總次數(shù)；所述預(yù)設(shè)數(shù)據(jù)請求端是指滿足以下條件的所有數(shù)據(jù)請求端：用戶信息與所述數(shù)據(jù)請求端的用戶信息之間的信息匹配度達(dá)到預(yù)設(shè)匹配度的數(shù)據(jù)請求端；

所述根據(jù)所述數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度，確定所述數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，包括：

按照所述數(shù)據(jù)請求端對各個(gè)數(shù)據(jù)源配置模板的喜好度從大到小的順序排列數(shù)據(jù)源配置模板，形成第一排列；

將第一排列中的數(shù)據(jù)源配置模板從中間位置一分為二，形成喜好度較大的第二排列和喜好度較小的第三排列；其中，當(dāng)?shù)谝慌帕兄械臄?shù)據(jù)源配置模板為2N個(gè)時(shí)，第一排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～2N；第二排列中的數(shù)據(jù)源配置模板為N個(gè)、第三排列中的數(shù)據(jù)源配置模板為N個(gè)，第二排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～N，第三排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)镹+1～2N；當(dāng)?shù)谝慌帕兄械臄?shù)據(jù)源配置模板為2N+1個(gè)時(shí)，第一排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～2N+1，第二排列中的數(shù)據(jù)源配置模板為N個(gè)、第三排列中的數(shù)據(jù)源配置模板為N+1個(gè)，第二排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～N，第三排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)镹+1～2N+1；

將第三排列中的數(shù)據(jù)源配置模板按照喜好度從大到小的順序逐個(gè)穿插入第二排列中，形成第四排列；第四排列中的第一個(gè)數(shù)據(jù)源配置模板為原屬于第二排列的第一個(gè)數(shù)據(jù)源配置模板；在第四排列中，原屬于第二排列的數(shù)據(jù)源配置模板的兩側(cè)均為原屬于第三排列的數(shù)據(jù)源配置模板，并且，原屬于第三排列的數(shù)據(jù)源配置模板的兩側(cè)均為原屬于第二排列的數(shù)據(jù)源配置模板；在第四排列中，原屬于第三排列的數(shù)據(jù)源配置模板對應(yīng)的喜好度依序從大變小，原屬于第二排列的數(shù)據(jù)源配置模板對應(yīng)的喜好度依序從大變小；

將所述第四排列中的數(shù)據(jù)源配置模板的先后順序，作為所述數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，數(shù)據(jù)源配置模板在第四排列中的排位越靠前，其優(yōu)先級越高。

在一個(gè)實(shí)施例中，所述預(yù)定格式為json格式。

在一個(gè)實(shí)施例中，所述接收數(shù)據(jù)請求端發(fā)來的獲取數(shù)據(jù)請求，包括：

通過網(wǎng)絡(luò)應(yīng)用程序接口Web API接收數(shù)據(jù)請求端的獲取數(shù)據(jù)請求。

在一個(gè)實(shí)施例中，所述獲取數(shù)據(jù)請求還包括數(shù)據(jù)請求端的用戶身份信息；

所述驗(yàn)證所述數(shù)據(jù)請求端是否具有獲取數(shù)據(jù)權(quán)限，包括：

驗(yàn)證所述數(shù)據(jù)請求端的用戶身份信息是否通過；

當(dāng)所述數(shù)據(jù)請求端的用戶身份信息驗(yàn)證通過后，確定所述數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限。

在一個(gè)實(shí)施例中，在所述數(shù)據(jù)請求端的用戶身份信息驗(yàn)證通過之后，確定所述數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限之前，還包括：

獲取當(dāng)前驗(yàn)證通過的用戶身份信息對應(yīng)用戶的剩余數(shù)據(jù)請求次數(shù)及余額；

判斷當(dāng)前獲取的剩余請求次數(shù)是否大于0，若是，則執(zhí)行確定所述數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限的步驟，否則，

判斷當(dāng)前獲取的余額是否不小于預(yù)定的單次獲取數(shù)據(jù)所需金額，若是，則執(zhí)行確定所述數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限的步驟，否則結(jié)束流程。

本發(fā)明的一些有益效果可以包括：

本發(fā)明提供的大數(shù)據(jù)獲取方法通過預(yù)先設(shè)置與不同數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源配置模板，對于有獲取數(shù)據(jù)權(quán)限的用戶輸入的查詢參數(shù)，能夠根據(jù)所述查詢參數(shù)匹配數(shù)據(jù)源配置模板，從而自動獲得數(shù)據(jù)源地址，通過獲得的數(shù)據(jù)源地址對應(yīng)的數(shù)據(jù)源返回的參數(shù)校驗(yàn)數(shù)據(jù)源的正確性和穩(wěn)定性，當(dāng)當(dāng)前數(shù)據(jù)源不符合用戶要求時(shí)，可以自動切換到另一個(gè)配置模板對應(yīng)的數(shù)據(jù)源，自動實(shí)現(xiàn)數(shù)據(jù)交易平臺一端對多端數(shù)據(jù)提供端獲取數(shù)據(jù)的目的，簡化數(shù)據(jù)交易平臺軟件開發(fā)工作，方便維護(hù)管理。此外，多配置模板動態(tài)自動化切換調(diào)度，能夠確保本平臺用戶調(diào)用本平臺數(shù)據(jù)API的穩(wěn)定性與正確性。此外，將獲取的數(shù)據(jù)通過自定義的解析程序統(tǒng)一轉(zhuǎn)換成預(yù)定格式的數(shù)據(jù)結(jié)構(gòu)輸出給數(shù)據(jù)請求端，方便用戶使用。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說明

附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為本發(fā)明實(shí)施例中一種大數(shù)據(jù)獲取方法的流程圖；

圖2為圖1所示方法中步驟S105的流程圖；

圖3為本發(fā)明實(shí)施例一中一種大數(shù)據(jù)獲取方法的流程圖。

具體實(shí)施方式

以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明實(shí)施例中一種大數(shù)據(jù)獲取方法的流程圖。如圖1所示，包括以下步驟S101-S110：

S101：接收數(shù)據(jù)請求端的獲取數(shù)據(jù)請求；其中，所述獲取數(shù)據(jù)請求包括用戶輸入的查詢參數(shù)。

優(yōu)選地，本發(fā)明提供的數(shù)據(jù)交易平臺提供一個(gè)網(wǎng)絡(luò)應(yīng)用程序接口(Web API)，此步驟中通過該網(wǎng)絡(luò)應(yīng)用程序接口接收數(shù)據(jù)請求端的獲取數(shù)據(jù)請求，即數(shù)據(jù)請求端調(diào)用本平臺的Web API，本平臺視為收到其獲取數(shù)據(jù)請求。在調(diào)用Web API時(shí)，用戶需要輸入預(yù)先定義的該接口的查詢參數(shù)。

S102：驗(yàn)證所述數(shù)據(jù)請求端是否具有獲取數(shù)據(jù)權(quán)限；若是，則執(zhí)行步驟S103；否則，結(jié)束流程。

優(yōu)選地，所述獲取數(shù)據(jù)請求還包括數(shù)據(jù)請求端的用戶身份信息，則此步驟S102中通過驗(yàn)證所述數(shù)據(jù)請求端的用戶身份信息是否通過來確定該數(shù)據(jù)請求端是否具有獲取數(shù)據(jù)權(quán)限，若用戶身份信息驗(yàn)證通過，則認(rèn)為該數(shù)據(jù)請求端具有獲取數(shù)據(jù)權(quán)限。

S103：判斷根據(jù)預(yù)先設(shè)置的匹配規(guī)則，從模板庫中是否能獲取到所記錄的請求參數(shù)與所述查詢參數(shù)相匹配的數(shù)據(jù)源配置模板；若是，則執(zhí)行步驟S104；否則，結(jié)束流程。

其中，模板庫中存儲有多個(gè)預(yù)先設(shè)置的數(shù)據(jù)源配置模板，每個(gè)數(shù)據(jù)源配置模板記錄有請求參數(shù)及對應(yīng)的數(shù)據(jù)源的地址和數(shù)據(jù)源參數(shù)。例如，模板庫中預(yù)先存儲有一個(gè)第一數(shù)據(jù)源配置模板和第二數(shù)據(jù)源配置模板，該第一數(shù)據(jù)源配置模板記錄有：“請求參數(shù)：A1＝x1、A2＝x2、A3＝x3；第一數(shù)據(jù)源地址，第一數(shù)據(jù)源參數(shù)”，該第二數(shù)據(jù)源配置模板記錄有：“請求參數(shù)：A1＝y(tǒng)1、A2＝x2、A3＝x3；第二數(shù)據(jù)源地址，第二數(shù)據(jù)源參數(shù)”；若步驟S101中收到的獲取數(shù)據(jù)請求中的查詢參數(shù)為：A1＝x1、A2＝x2、A3＝x3，則此步驟S103從模板庫中匹配獲取到第一數(shù)據(jù)源配置模板。

S104：從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。

優(yōu)選地，在步驟S101之前，可以預(yù)先為模板庫中的各數(shù)據(jù)源配置模板設(shè)置優(yōu)先級，則此步驟S104在獲取的至少一個(gè)數(shù)據(jù)源配置模板中，根據(jù)優(yōu)先級從高到低的順序，選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。例如，若步驟S103中獲取到{數(shù)據(jù)源配置模板A、數(shù)據(jù)源配置模板B、數(shù)據(jù)源配置模板C}，這三個(gè)數(shù)據(jù)源配置模板的優(yōu)先級高低為：數(shù)據(jù)源配置模板C﹥數(shù)據(jù)源配置模板A﹥數(shù)據(jù)源配置模板B，首次執(zhí)行此步驟時(shí)，由于獲取的多個(gè)數(shù)據(jù)源配置模板在本輪流程中都未被選擇過，因此選擇數(shù)據(jù)源配置模板C，若此步驟在是步驟S106之后執(zhí)行的，在本次流程中，由于數(shù)據(jù)源配置模板C已在首次選擇時(shí)被選擇過，此時(shí)還有數(shù)據(jù)源配置模板A和數(shù)據(jù)源配置模板B未被選擇過，則此步驟在數(shù)據(jù)源配置模板A和數(shù)據(jù)源配置模板B中選擇一個(gè)，則此時(shí)根據(jù)優(yōu)先級選擇數(shù)據(jù)源配置模板A。當(dāng)數(shù)據(jù)源配置模板沒有優(yōu)先級時(shí)，每次選擇時(shí)在未被選擇過的數(shù)據(jù)源配置模板中隨機(jī)選擇。

S105：判斷當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源是否滿足所述獲取數(shù)據(jù)請求的要求；若是，則執(zhí)行S107；否則，執(zhí)行S106。

S106：判斷獲取的至少一個(gè)數(shù)據(jù)源配置模板中是否還有未被選擇過的數(shù)據(jù)源配置模板；若是，則返回執(zhí)行S104；否則結(jié)束流程。

例如，若步驟S103中獲取到{數(shù)據(jù)源配置模板A、數(shù)據(jù)源配置模板B、數(shù)據(jù)源配置模板C}，步驟S104中選擇了數(shù)據(jù)源配置模板C，在本次流程中，此時(shí)還有數(shù)據(jù)源配置模板A和數(shù)據(jù)源配置模板B未被選擇過，則返回執(zhí)行步驟S104。

S107：將當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源確定為目標(biāo)數(shù)據(jù)源。

S108：根據(jù)當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的地址，向目標(biāo)數(shù)據(jù)源請求數(shù)據(jù)。

S109：判斷所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)是否正常；若是，則執(zhí)行S110；否則，返回執(zhí)行S104。

S110：將所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的數(shù)據(jù)后返回給所述數(shù)據(jù)請求端。

優(yōu)選地，所述預(yù)定格式為json格式，即將從各個(gè)數(shù)據(jù)提供方獲取的不同格式(如json或xml格式)的數(shù)據(jù)通過自定義handler解析程序統(tǒng)一轉(zhuǎn)換為json格式的數(shù)據(jù)結(jié)構(gòu)返回給數(shù)據(jù)請求端的用戶。

在一個(gè)實(shí)施例中，如圖2所示，步驟S105可實(shí)施為以下步驟S201-S203：

S201：向當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求。

優(yōu)選的，在此步驟之前，上述方法還包括步驟：確定本地與當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式。則步驟S201首先根據(jù)已確定的本地與當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式，建立通信鏈路，隨后通過所述通信鏈路，向當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求。

S202：接收當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源返回的數(shù)據(jù)源參數(shù)。

S203：判斷接收的數(shù)據(jù)源參數(shù)是否與當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的數(shù)據(jù)源參數(shù)相一致；若一致，則斷定當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源滿足所述獲取數(shù)據(jù)請求的要求，執(zhí)行S107；若不一致，則執(zhí)行S106。

此實(shí)施例中，通過當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源返回的數(shù)據(jù)源參數(shù)驗(yàn)證數(shù)據(jù)源是否滿足用戶要求，驗(yàn)證簡單有效。

下面通過具體實(shí)施例來說明本發(fā)明實(shí)施例提供的大數(shù)據(jù)獲取方法。

實(shí)施例一

圖3為本發(fā)明實(shí)施例一中一種數(shù)據(jù)獲取方法的流程圖。如圖3所示，包括以下步驟S301-S317：

S301：通過網(wǎng)絡(luò)應(yīng)用程序接口接收數(shù)據(jù)請求端的獲取數(shù)據(jù)請求；其中，所述獲取數(shù)據(jù)請求包括用戶輸入的查詢參數(shù)。

S302：驗(yàn)證數(shù)據(jù)請求端的用戶身份信息是否通過；若通過，則執(zhí)行S303；否則，數(shù)據(jù)請求端調(diào)用網(wǎng)絡(luò)應(yīng)用程序接口失敗，結(jié)束流程。

S303：獲取當(dāng)前驗(yàn)證通過的用戶身份信息對應(yīng)用戶的剩余數(shù)據(jù)請求次數(shù)及余額。

本實(shí)施例中，對于付費(fèi)用戶才具有獲取數(shù)據(jù)權(quán)限的情況，在用戶身份信息驗(yàn)證通過后，還需要獲取系統(tǒng)中記錄的該用戶的剩余數(shù)據(jù)請求次數(shù)及余額，例如，若用戶購買的是交易次數(shù)(例如可刷10次的用戶卡)，則記錄的是剩余數(shù)據(jù)請求次數(shù)；若用戶采用手機(jī)話費(fèi)進(jìn)行數(shù)據(jù)交易，則需要查詢其話費(fèi)余額。

S304：判斷當(dāng)前獲取的剩余請求次數(shù)是否大于0，若是，則執(zhí)行S306；否則，執(zhí)行S305。

S305：判斷當(dāng)前獲取的余額是否不小于預(yù)定的單次獲取數(shù)據(jù)所需金額Y，若是，則執(zhí)行S306；否則結(jié)束流程。

S306：判斷根據(jù)預(yù)先設(shè)置的匹配規(guī)則，從模板庫中是否能獲取到所記錄的請求參數(shù)與所述查詢參數(shù)相匹配的數(shù)據(jù)源配置模板；若是，則執(zhí)行步驟S307；否則，結(jié)束流程。

本實(shí)施例中，步驟S306的實(shí)施過程和上述方法實(shí)施例的步驟S103類似，此處不再贅述。

S307：從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。

本實(shí)施例中，步驟S307的實(shí)施過程和上述方法實(shí)施例的步驟S104類似，此處不再贅述。

S308：確定本地與當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式。

S309：根據(jù)已確定的本地與當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源之間的通信方式，建立通信鏈路。

S310：通過已建立的通信鏈路，向當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源發(fā)送獲取參數(shù)請求。

S311：接收當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源返回的數(shù)據(jù)源參數(shù)。

S312：判斷接收的數(shù)據(jù)源參數(shù)是否與當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的數(shù)據(jù)源參數(shù)相一致；若一致，則執(zhí)行S314；否則，執(zhí)行S313。

本實(shí)施例中，步驟S308-S312的實(shí)施過程和上述方法實(shí)施例的步驟S201-S203類似，此處不再贅述。

S313：判斷獲取的至少一個(gè)數(shù)據(jù)源配置模板中是否還有未被選擇過的數(shù)據(jù)源配置模板；若是，則返回執(zhí)行S307；否則結(jié)束流程。

本實(shí)施例中，步驟S313的實(shí)施過程和上述方法實(shí)施例的步驟S106類似，此處不再贅述。

S314：將當(dāng)前選擇的數(shù)據(jù)源配置模板對應(yīng)的數(shù)據(jù)源確定為目標(biāo)數(shù)據(jù)源。

S315：根據(jù)當(dāng)前選擇的數(shù)據(jù)源配置模板中記錄的地址，向所述目標(biāo)數(shù)據(jù)源請求數(shù)據(jù)。

S316：判斷所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)是否正常；若是，則執(zhí)行S317；否則，返回執(zhí)行S307。

S317：將所述目標(biāo)數(shù)據(jù)源返回的數(shù)據(jù)轉(zhuǎn)換為預(yù)定格式的數(shù)據(jù)后返回給所述數(shù)據(jù)請求端。

本實(shí)施例中，步驟S314-S317的實(shí)施過程和上述方法實(shí)施例的步驟S107-S110類似，此處不再贅述。

本發(fā)明實(shí)施例提供的上述大數(shù)據(jù)獲取方法通過預(yù)先設(shè)置與不同數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源配置模板，對于有獲取數(shù)據(jù)權(quán)限的用戶輸入的查詢參數(shù)，能夠根據(jù)所述查詢參數(shù)匹配數(shù)據(jù)源配置模板，從而自動獲得數(shù)據(jù)源地址，通過獲得的數(shù)據(jù)源地址對應(yīng)的數(shù)據(jù)源返回的參數(shù)校驗(yàn)數(shù)據(jù)源的正確性和穩(wěn)定性，當(dāng)當(dāng)前數(shù)據(jù)源不符合用戶要求時(shí)，可以自動切換到另一個(gè)配置模板對應(yīng)的數(shù)據(jù)源，自動實(shí)現(xiàn)數(shù)據(jù)交易平臺一端對多端數(shù)據(jù)提供端以獲取數(shù)據(jù)的目的。此外，多配置模板動態(tài)自動化切換調(diào)度，能夠確保本平臺用戶調(diào)用本平臺數(shù)據(jù)API的穩(wěn)定性與正確性。此外，該方法能夠?qū)@取的數(shù)據(jù)統(tǒng)一轉(zhuǎn)換成預(yù)定格式的數(shù)據(jù)結(jié)構(gòu)輸出給數(shù)據(jù)請求端，方便用戶使用。

在一個(gè)實(shí)施例中，上述方法在執(zhí)行步驟S101之前，還可以為模板庫中的各數(shù)據(jù)源配置模板設(shè)置優(yōu)先級。下面提供一種設(shè)置優(yōu)先級的實(shí)施方式，該方式設(shè)置的是數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，此時(shí)，上述方法在執(zhí)行步驟S101之前，還可包括步驟D1-D2：

D1、根據(jù)數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為，預(yù)測數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度；D2、根據(jù)數(shù)據(jù)請求端對數(shù)據(jù)源配置模板的喜好度，確定數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級。

相應(yīng)地，前述步驟“根據(jù)優(yōu)先級從高到低的順序，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板”可實(shí)施為如下方式：

根據(jù)數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板。

即，考慮到有時(shí)數(shù)據(jù)請求端的用戶對數(shù)據(jù)源配置模板的喜好度是不同的，有的數(shù)據(jù)請求端的用戶對數(shù)據(jù)源A的數(shù)據(jù)感興趣或者認(rèn)為該數(shù)據(jù)源A的數(shù)據(jù)更能符合自己的需求，因此，本實(shí)施例中，可根據(jù)數(shù)據(jù)請求端的用戶對數(shù)據(jù)源配置模板的喜好度來設(shè)置該數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，每個(gè)數(shù)據(jù)請求端都對應(yīng)有自己的數(shù)據(jù)源配置模板優(yōu)先級。

本實(shí)施例中，根據(jù)數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，從獲取的至少一個(gè)數(shù)據(jù)源配置模板中選擇一個(gè)未被選擇過的數(shù)據(jù)源配置模板，考慮了數(shù)據(jù)請求端用戶的使用習(xí)慣，能夠較快地獲得滿足數(shù)據(jù)獲取請求的要求的數(shù)據(jù)，提高獲取效率。

下面說明確定數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級的方法。

在一個(gè)實(shí)施例中，數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為包括：當(dāng)前時(shí)間之前的預(yù)設(shè)時(shí)間段內(nèi)的數(shù)據(jù)請求行為，數(shù)據(jù)請求行為包括數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)每次獲取到的數(shù)據(jù)源配置模板的標(biāo)識及其數(shù)據(jù)源的標(biāo)識；

前述步驟D1可實(shí)施為：

根據(jù)數(shù)據(jù)請求端的歷史數(shù)據(jù)請求行為，統(tǒng)計(jì)數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)對數(shù)據(jù)源配置模板i的使用次數(shù)Ni、和從數(shù)據(jù)源配置模板i對應(yīng)的數(shù)據(jù)源Mi獲取到數(shù)據(jù)的次數(shù)Q_Mi，以及統(tǒng)計(jì)預(yù)設(shè)數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)對數(shù)據(jù)源配置模板i的總使用次數(shù)Ri、和從數(shù)據(jù)源配置模板i對應(yīng)的數(shù)據(jù)源Mi獲取到數(shù)據(jù)的總次數(shù)T_Mi；根據(jù)以下計(jì)算公式計(jì)算數(shù)據(jù)請求端對數(shù)據(jù)源配置模板i的喜好度Pi，計(jì)算公式為：

其中，N為數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)對所有數(shù)據(jù)源配置模板的總使用次數(shù)；R為預(yù)設(shè)數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)對所有數(shù)據(jù)源配置模板的總使用次數(shù)；Q為數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)從所有數(shù)據(jù)源獲取到數(shù)據(jù)的總次數(shù)；T為預(yù)設(shè)數(shù)據(jù)請求端在預(yù)設(shè)時(shí)間段內(nèi)從所有數(shù)據(jù)源獲取到數(shù)據(jù)的總次數(shù)；預(yù)設(shè)數(shù)據(jù)請求端是指滿足以下條件的所有數(shù)據(jù)請求端：用戶信息與數(shù)據(jù)請求端的用戶信息之間的信息匹配度達(dá)到預(yù)設(shè)匹配度的數(shù)據(jù)請求端；

在一個(gè)實(shí)施例中，系統(tǒng)可預(yù)先要求數(shù)據(jù)請求端的用戶提供用戶信息，用戶信息包括用戶的個(gè)人基本情況，例如年齡、性別、職業(yè)等，用戶信息之間的信息匹配度達(dá)到預(yù)設(shè)匹配度，說明用戶是相似用戶，其對數(shù)據(jù)源配置模板的喜好可能也具有相似性。因此上述計(jì)算公式不僅考慮了數(shù)據(jù)請求端的用戶本身的喜好，也考慮了相似用戶的喜好，使得最終計(jì)算結(jié)果更加準(zhǔn)確可靠。

前述步驟D2可實(shí)施為D21-D24：

D21、按照數(shù)據(jù)請求端對各個(gè)數(shù)據(jù)源配置模板的喜好度從大到小的順序排列數(shù)據(jù)源配置模板，形成第一排列。

D22、將第一排列中的數(shù)據(jù)源配置模板從中間位置一分為二，形成喜好度較大的第二排列和喜好度較小的第三排列；其中，當(dāng)?shù)谝慌帕兄械臄?shù)據(jù)源配置模板為2N個(gè)時(shí)，第一排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～2N；第二排列中的數(shù)據(jù)源配置模板為N個(gè)、第三排列中的數(shù)據(jù)源配置模板為N個(gè)，第二排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～N，第三排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)镹+1～2N；當(dāng)?shù)谝慌帕兄械臄?shù)據(jù)源配置模板為2N+1個(gè)時(shí)，第一排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～2N+1，第二排列中的數(shù)據(jù)源配置模板為N個(gè)、第三排列中的數(shù)據(jù)源配置模板為N+1個(gè)，第二排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～N，第三排列中的數(shù)據(jù)源配置模板的編號從前往后依序?yàn)镹+1～2N+1。

D23、將第三排列中的數(shù)據(jù)源配置模板按照喜好度從大到小的順序逐個(gè)穿插入第二排列中，形成第四排列；第四排列中的第一個(gè)數(shù)據(jù)源配置模板為原屬于第二排列的第一個(gè)數(shù)據(jù)源配置模板；在第四排列中，原屬于第二排列的數(shù)據(jù)源配置模板的兩側(cè)均為原屬于第三排列的數(shù)據(jù)源配置模板，并且，原屬于第三排列的數(shù)據(jù)源配置模板的兩側(cè)均為原屬于第二排列的數(shù)據(jù)源配置模板；在第四排列中，原屬于第三排列的數(shù)據(jù)源配置模板對應(yīng)的喜好度依序從大變小，原屬于第二排列的數(shù)據(jù)源配置模板對應(yīng)的喜好度依序從大變小。

D24、將第四排列中的數(shù)據(jù)源配置模板的先后順序，作為數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，數(shù)據(jù)源配置模板在第四排列中的排位越靠前，其優(yōu)先級越高。

下面舉例說明：假設(shè)第一排列中有10個(gè)數(shù)據(jù)源配置模板，其編號從前往后依序?yàn)?～10，其喜好度分別為0.9、0.85、0.8、0.75、0.7、0.65、0.6、0.55、0.5、0.4。

根據(jù)步驟D23，可將第一排列分為第二排列和第三排列。其中，第二排列中數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～5，其喜好度分別為0.9、0.85、0.8、0.75、0.7。第三排列中數(shù)據(jù)源配置模板的編號從前往后依序?yàn)?～10，其喜好度分別為0.65、0.6、0.55、0.5、0.4。根據(jù)步驟D24，將第三排列中的數(shù)據(jù)源配置模板按照喜好度從大到小的順序逐個(gè)穿插入第二排列中，形成第四排列，此時(shí)第四排列中數(shù)據(jù)源配置模板的編號依序?yàn)?、6、2、7、3、8、4、9、5、10，喜好度依序?yàn)?.9、0.65、0.85、0.6、0.8、0.55、0.75、0.5、0.7、0.4?？梢?，第四排列中數(shù)據(jù)源配置模板的喜好度是忽大忽小的。將第四排列中的數(shù)據(jù)源配置模板的從前往后的順序，確定為數(shù)據(jù)請求端對應(yīng)的數(shù)據(jù)源配置模板優(yōu)先級，在考慮了用戶的喜好度的同時(shí)，還能避免對喜好度依賴過度，兼顧了用戶可能會有與平時(shí)不同的喜好和特殊需求的因素；這種間隔地、跳躍式地從用戶可能喜好和可能不喜好的數(shù)據(jù)源配置模板中選擇數(shù)據(jù)源配置模板的方式，兼顧了用戶的喜好和偶爾可能產(chǎn)生的特殊需求，加快了處理速度。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲器中，使得存儲在該計(jì)算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。