亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法及裝置與流程

文檔序號(hào):11155090閱讀:447來源:國知局
數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法及裝置與制造工藝

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域,特別是涉及一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法及裝置。



背景技術(shù):

數(shù)據(jù)分析是組織有目的地收集數(shù)據(jù)、數(shù)據(jù)處理、分析數(shù)據(jù),使之成為信息的過程。數(shù)據(jù)分析的前提是數(shù)據(jù)采集和數(shù)據(jù)處理,在數(shù)據(jù)采集過程中數(shù)據(jù)來源可能不同,格式也可能不同,因此在進(jìn)行數(shù)據(jù)采集時(shí),可以使用現(xiàn)有技術(shù)中提供的數(shù)據(jù)采集軟件,例如,在采集網(wǎng)頁視頻播放數(shù)據(jù)時(shí),可以使用采集網(wǎng)頁視頻播放數(shù)據(jù)的軟件開發(fā)包(Software Development Kit,SDK);在采集移動(dòng)端的用戶行為數(shù)據(jù)時(shí),可以使用移動(dòng)端的用戶行為數(shù)據(jù)SDK等等。在數(shù)據(jù)采集過程中使用的SDK,均有特定的來源信息、特定的數(shù)據(jù)格式、特定的數(shù)據(jù)傳送格式,在數(shù)據(jù)處理時(shí)要分別針對(duì)特定的來源信息、特定的數(shù)據(jù)格式、特定的數(shù)據(jù)傳送格式進(jìn)行數(shù)據(jù)處理。

在使用數(shù)據(jù)采集軟件進(jìn)行數(shù)據(jù)采集時(shí),發(fā)明人發(fā)現(xiàn)其存在如下問題:當(dāng)同時(shí)采集網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為數(shù)據(jù)時(shí),需要對(duì)網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為分別部署不同的數(shù)據(jù)采集平臺(tái),才能實(shí)現(xiàn)同時(shí)采集到網(wǎng)頁視頻播放數(shù)據(jù)與移動(dòng)端的用戶行為數(shù)據(jù);由于不同的數(shù)據(jù)采集平臺(tái)的技術(shù)構(gòu)架存在較大差異,即不同的數(shù)據(jù)采集平臺(tái)使用的數(shù)據(jù)采集方法及數(shù)據(jù)處理方法存在較大差異,因此不同的數(shù)據(jù)采集平臺(tái)只能采集特定類型的數(shù)據(jù),導(dǎo)致不同的數(shù)據(jù)采集平臺(tái)之間通用性較差。



技術(shù)實(shí)現(xiàn)要素:

有鑒于此,本發(fā)明提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法及裝置,主要目的在于解決由于不同的數(shù)據(jù)采集平臺(tái)使用不同的采集數(shù)據(jù)方法,因此不同的數(shù)據(jù)采集平臺(tái)只能采集特定類型的數(shù)據(jù),導(dǎo)致不同的數(shù)據(jù)采集平臺(tái)之間通用性較差的問題。

為了解決上述問題,本發(fā)明主要提供如下技術(shù)方案:

一方面,本發(fā)明提供了一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法,該方法包括:

接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù);其中,所述預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集所述待處理數(shù)據(jù),所述數(shù)據(jù)采集指令中包含所述待處理數(shù)據(jù)的數(shù)據(jù)類型;

確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致;

若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理,所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式;

將格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

另一方面,本發(fā)明還提供一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置,該裝置包括:

接收單元,用于接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù);其中,所述預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集所述待處理數(shù)據(jù),所述數(shù)據(jù)采集指令中包含所述待處理數(shù)據(jù)的數(shù)據(jù)類型;

確定單元,用于確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述接收單元接收的所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致;

處理單元,用于當(dāng)所述確定單元確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致時(shí),根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理,所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式;

發(fā)送單元,用于將所述處理單元格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

借由上述技術(shù)方案,本發(fā)明提供的技術(shù)方案至少具有下列優(yōu)點(diǎn):

本發(fā)明提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法及裝置,接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù),該預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集待處理數(shù)據(jù),該數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的數(shù)據(jù)類型,確定待處理數(shù)據(jù)的數(shù)據(jù)類型與數(shù)據(jù)采集指令中的數(shù)據(jù)類型是否一致,若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將該待處理數(shù)據(jù)進(jìn)行格式化處理,將格式化處理后的待處理 數(shù)據(jù)發(fā)送至服務(wù)器,與現(xiàn)有技術(shù)相比,本發(fā)明在數(shù)據(jù)采集平臺(tái)中能夠?qū)㈩A(yù)設(shè)采集接口采集的不同數(shù)據(jù)類型的待處理數(shù)據(jù)進(jìn)行統(tǒng)一的格式化處理,即該數(shù)據(jù)采集平臺(tái)的通用性好。

上述說明僅是本發(fā)明技術(shù)方案的概述,為了能夠更清楚了解本發(fā)明的技術(shù)手段,而可依照說明書的內(nèi)容予以實(shí)施,并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂,以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的,而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號(hào)表示相同的部件。在附圖中:

圖1示出了本發(fā)明實(shí)施例提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法的流程圖;

圖2示出了本發(fā)明實(shí)施例提供的另一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法的流程圖;

圖3示出了本發(fā)明實(shí)施例提供的一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置的組成框圖;

圖4示出了本發(fā)明實(shí)施例提供的另一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置的組成框圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開,并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法,如圖1所示,該方法包括:

101、接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù)。

在本發(fā)明實(shí)施例中,預(yù)設(shè)數(shù)據(jù)采集接口位于客戶端中,用于采集客戶端中各種各樣的數(shù)據(jù),包括:用戶行為數(shù)據(jù)、移動(dòng)終端設(shè)備的視頻播放數(shù)據(jù)、終端設(shè)備的網(wǎng)頁信息數(shù)據(jù)等等;其中,該客戶端可以安裝于終端設(shè)備中;也可以安裝于移動(dòng)終端設(shè)備中,本發(fā)明對(duì)客戶端的安裝位置不進(jìn)行限定。需要說明的是,預(yù)設(shè)數(shù)據(jù)采集接口在采集待處理數(shù)據(jù)時(shí),基于服務(wù)器發(fā)送的數(shù)據(jù)采集指令采集待處理數(shù)據(jù),其中,該數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的數(shù)據(jù)類型。

本發(fā)明實(shí)施例應(yīng)用于采集待處理數(shù)據(jù)的過程中,當(dāng)預(yù)設(shè)數(shù)據(jù)采集接口從客戶端中采集完待處理數(shù)據(jù)之后,將該待處理數(shù)據(jù)發(fā)送至數(shù)據(jù)采集平臺(tái)中,數(shù)據(jù)采集平臺(tái)接收該待處理數(shù)據(jù)對(duì)該待處理數(shù)據(jù)進(jìn)行格式化處理,處理之后,將處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器,完成服務(wù)器采集客戶端中的數(shù)據(jù)。其中,數(shù)據(jù)采集平臺(tái)接收到的待處理數(shù)據(jù)可能為一個(gè),也可能為多個(gè),本發(fā)明實(shí)施例對(duì)接收待處理數(shù)據(jù)的具體個(gè)數(shù)不進(jìn)行限定。

預(yù)設(shè)數(shù)據(jù)采集接口在基于數(shù)據(jù)采集指令采集待處理數(shù)據(jù)時(shí),其待處理數(shù)據(jù)的數(shù)據(jù)類型需根據(jù)客戶端、數(shù)據(jù)采集平臺(tái)的編程語言確定,不同的編程語言對(duì)應(yīng)的數(shù)據(jù)類型類型可能存在差異。本發(fā)明實(shí)施例中,所述待處理數(shù)據(jù)的數(shù)據(jù)類型包含但不局限于下列內(nèi)容,例如:整型、字符型、浮點(diǎn)型、字符串等等,本發(fā)明實(shí)施例對(duì)待處理數(shù)據(jù)的數(shù)據(jù)類型不進(jìn)行具體限定。

102、確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致。

在數(shù)據(jù)采集平臺(tái)接收到待處理數(shù)據(jù)之后,首先,確定待處理數(shù)據(jù)的個(gè)數(shù),若待處理數(shù)據(jù)的個(gè)數(shù)為至少兩個(gè),需分別對(duì)至少兩個(gè)待處理數(shù)據(jù)確定該待處理數(shù)據(jù)的數(shù)據(jù)類型;其次,獲取數(shù)據(jù)采集指令中的數(shù)據(jù)類型與數(shù)據(jù)采集平臺(tái)確定的待處理數(shù)據(jù)的數(shù)據(jù)類型是否一致。

本發(fā)明實(shí)施例中,數(shù)據(jù)采集平臺(tái)除了確定待處理數(shù)據(jù)的數(shù)據(jù)類型,還包括:確定待處理數(shù)據(jù)是否包含特殊字符、待處理數(shù)據(jù)的長度信息等等。若確定待處理數(shù)據(jù)中包含特殊字符,則將包含特殊字符的待處理數(shù)據(jù)進(jìn)行 編碼處理;若待處理數(shù)據(jù)的長度超過預(yù)設(shè)長度閾值,則將該待處理數(shù)據(jù)根據(jù)預(yù)設(shè)長度閾值進(jìn)行截取,其中,所述預(yù)設(shè)長度閾值為人為設(shè)置,在設(shè)置預(yù)設(shè)長度閾值時(shí),要基于不同的待處理數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行設(shè)置。

103、若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理。

由步驟102可知,當(dāng)確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致時(shí),說明該待處理數(shù)據(jù)為服務(wù)器需要采集的數(shù)據(jù)。在數(shù)據(jù)采集平臺(tái)中,在向服務(wù)器發(fā)送待處理數(shù)據(jù)之前,由于不確定接收的待處理數(shù)據(jù)的具體個(gè)數(shù),因此需要對(duì)待處理數(shù)據(jù)進(jìn)行格式化。若待處理數(shù)據(jù)的個(gè)數(shù)為至少兩個(gè),則需要將該至少兩個(gè)待處理數(shù)據(jù)進(jìn)行拼接,在根據(jù)預(yù)置規(guī)范規(guī)則對(duì)拼接后的待處理數(shù)據(jù)進(jìn)行格式化處理;其中,預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式。

需要說明的是,步驟102和步驟103中涉及的對(duì)待處理數(shù)據(jù)的處理,但是步驟102中,涉及的是對(duì)單個(gè)待處理數(shù)據(jù)的處理;若待處理數(shù)據(jù)為多個(gè)時(shí),步驟103需要將多個(gè)待處理數(shù)據(jù)進(jìn)行拼接,將多個(gè)待處理數(shù)據(jù)作為一個(gè)整體,對(duì)拼接后的待處理數(shù)據(jù)進(jìn)行格式化處理。

本發(fā)明實(shí)施例中,預(yù)置規(guī)范規(guī)則為人為設(shè)置的,包括:待處理數(shù)據(jù)的長度信息、待處理數(shù)據(jù)的特定格式轉(zhuǎn)換、向服務(wù)器發(fā)送待處理數(shù)據(jù)時(shí)使用的發(fā)送協(xié)議等等。本發(fā)明實(shí)施例中,預(yù)設(shè)規(guī)范規(guī)則可以選定默認(rèn)的預(yù)設(shè)規(guī)范規(guī)則,也可以對(duì)該預(yù)設(shè)規(guī)范規(guī)則進(jìn)行設(shè)置,具體的,本發(fā)明實(shí)施例對(duì)此不進(jìn)行限定。

示例性的,以預(yù)置規(guī)范規(guī)則中的待處理數(shù)據(jù)的特定格式轉(zhuǎn)換為例進(jìn)行說明。若待處理數(shù)據(jù)為視頻緩沖時(shí)長vido play buffer time=1200毫秒,而預(yù)置規(guī)范規(guī)則中要求待處理數(shù)據(jù)的單位為秒,則需要將視頻緩沖時(shí)長vido play buffer time=1200毫秒格式化處理為視頻緩沖時(shí)長vido play buffer time=1.2秒,以上僅為示例性的舉例,本發(fā)明實(shí)施例對(duì)預(yù)置規(guī)范規(guī)則不進(jìn)行具體限定。

104、將格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

將格式化處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器,實(shí)現(xiàn)在一個(gè)數(shù)據(jù)采集平 臺(tái)中實(shí)現(xiàn)多種數(shù)據(jù)類型的待處理數(shù)據(jù)采集。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方法,接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù),該預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集待處理數(shù)據(jù),該數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的數(shù)據(jù)類型,確定待處理數(shù)據(jù)的數(shù)據(jù)類型與數(shù)據(jù)采集指令中的數(shù)據(jù)類型是否一致,若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將該待處理數(shù)據(jù)進(jìn)行格式化處理,將格式化處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器,與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例在數(shù)據(jù)采集平臺(tái)中能夠?qū)㈩A(yù)設(shè)采集接口采集的不同數(shù)據(jù)類型的待處理數(shù)據(jù)進(jìn)行統(tǒng)一的格式化處理,即該數(shù)據(jù)采集平臺(tái)的通用性好。

進(jìn)一步的,在根據(jù)預(yù)置規(guī)范規(guī)則將待處理數(shù)據(jù)進(jìn)行格式化處理時(shí),首先確定該待處理數(shù)據(jù)的數(shù)量是否為至少兩個(gè),若確定該待處理數(shù)據(jù)的數(shù)量為至少兩個(gè),則將該些待處理數(shù)據(jù)進(jìn)行拼接,并對(duì)拼接后的待處理數(shù)據(jù)進(jìn)行格式化處理。若確定待處理數(shù)據(jù)的數(shù)量為一個(gè)時(shí),基于所述預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理。本發(fā)明實(shí)施例中,在將多個(gè)待處理數(shù)據(jù)進(jìn)行拼接時(shí),通過預(yù)設(shè)連接符進(jìn)行拼接,其中,所述預(yù)設(shè)連接符包含但不局限于以下內(nèi)容,例如:&、/等等。示例性的,假設(shè),待處理數(shù)據(jù)為兩個(gè),分別為:vido play begin time=09:10,vido play end time=10:00,則拼接后的待處理數(shù)據(jù)為vido play begin time=09:10&vido play end time=10:00。以上僅為示例性的舉例,本發(fā)明實(shí)施例對(duì)待處理數(shù)據(jù)的個(gè)數(shù)及內(nèi)容不進(jìn)行限定。

進(jìn)一步的,為了能夠成功將格式化處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器,在向服務(wù)器發(fā)送格式化后的待處理數(shù)據(jù)時(shí),首先確定發(fā)送格式化后待處理數(shù)據(jù)的發(fā)送協(xié)議,基于該確定的發(fā)送協(xié)議將格式化后的待處理數(shù)據(jù)發(fā)送至服務(wù)器。作為本發(fā)明實(shí)施例一種實(shí)現(xiàn)方式,解析數(shù)據(jù)采集指令,獲取并確定發(fā)送協(xié)議,其中,該數(shù)據(jù)采集指令中還包含有待處理數(shù)據(jù)的發(fā)送協(xié)議;作為本發(fā)明實(shí)施例的另一種實(shí)現(xiàn)方式,在數(shù)據(jù)采集平臺(tái)中會(huì)默認(rèn)設(shè)置一種發(fā)送協(xié)議,確定該默認(rèn)的發(fā)送協(xié)議為發(fā)送待處理數(shù)據(jù)的發(fā)送協(xié)議;或者,確定在數(shù)據(jù)采集平臺(tái)中選定的發(fā)送協(xié)議為待處理數(shù)據(jù)的發(fā)送協(xié)議。本發(fā)明實(shí)施例中,所述數(shù)據(jù)發(fā)送協(xié)議包含但不局限于以下方式,例如,超文本傳送協(xié)議(Hypertext transfer protocol,HTTP)的GET方法、POST方法以及PUT 方法;本發(fā)明實(shí)施例對(duì)發(fā)送協(xié)議的具體內(nèi)容不進(jìn)行限定。

進(jìn)一步的,在確定待處理數(shù)據(jù)的數(shù)據(jù)類型是否與數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致時(shí),首先,解析數(shù)據(jù)采集指令,確定該數(shù)據(jù)采集指令中的待處理數(shù)據(jù)的第一數(shù)據(jù)類型,其次,確定接收到的待處理數(shù)據(jù)的第二數(shù)據(jù)類型,并將第一數(shù)據(jù)類型與第二數(shù)據(jù)類型進(jìn)行比對(duì),確定第一數(shù)據(jù)類型與第二數(shù)據(jù)類型是否一致,若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理;若不一致,則數(shù)據(jù)采集平臺(tái)將接收到的待處理數(shù)據(jù)丟棄。

示例性的,假設(shè),數(shù)據(jù)采集指令指示采集的待處理數(shù)據(jù)的第一數(shù)據(jù)類型為電話號(hào)碼telephone number為數(shù)值型,若數(shù)據(jù)采集平臺(tái)確定待處理數(shù)據(jù)telephone number=1234567,確定待處理數(shù)據(jù)的第二數(shù)據(jù)類型為數(shù)值型,確定所述待處理數(shù)據(jù)的第二數(shù)據(jù)類型與所述數(shù)據(jù)采集指令中的第一數(shù)據(jù)類型一致;若數(shù)據(jù)采集平臺(tái)確定待處理數(shù)據(jù)telephone number=abCd的第二數(shù)據(jù)類型為字符型,則確定待處理數(shù)據(jù)的第二數(shù)據(jù)類型與所述數(shù)據(jù)采集指令中的第一數(shù)據(jù)類型不一致,說明該待處理數(shù)據(jù)為錯(cuò)誤的數(shù)據(jù),則將該待處理數(shù)據(jù)丟棄。

進(jìn)一步的,為了能夠確保數(shù)據(jù)采集平臺(tái)中格式化處理后的待處理數(shù)據(jù)均能夠發(fā)送至服務(wù)器,在將格式化處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器之前,將格式化處理后的待處理數(shù)據(jù)添加到發(fā)送等待隊(duì)列中,該發(fā)送等待隊(duì)列用于存儲(chǔ)格式化處理后的待處理數(shù)據(jù)。作為本發(fā)明實(shí)施例的一種實(shí)現(xiàn)方式,該發(fā)送等待隊(duì)列還能夠控制發(fā)送待處理數(shù)據(jù)的發(fā)送時(shí)間、監(jiān)測待處理數(shù)據(jù)是否發(fā)送成功。具體包括:將格式化處理后的待處理數(shù)據(jù)添加到發(fā)送等待隊(duì)列中,發(fā)送等待隊(duì)列中設(shè)置發(fā)送待處理數(shù)據(jù)的間隔時(shí)長為10s,即發(fā)送等待隊(duì)列中每隔10s發(fā)送一個(gè)待處理數(shù)據(jù),并監(jiān)測該待處理數(shù)據(jù)是否發(fā)送成功,若該待處理數(shù)據(jù)發(fā)送成功,則對(duì)該待處理數(shù)據(jù)進(jìn)行發(fā)送成功的標(biāo)識(shí);若該待處理數(shù)據(jù)發(fā)送失敗,則對(duì)該待處理數(shù)據(jù)進(jìn)行發(fā)送失敗的標(biāo)識(shí)。本發(fā)明實(shí)施例中,有關(guān)對(duì)待處理數(shù)據(jù)進(jìn)行發(fā)送成功/失敗的標(biāo)識(shí)方法請(qǐng)參考現(xiàn)有技術(shù)中的相關(guān)實(shí)現(xiàn),本發(fā)明實(shí)施例在此不再進(jìn)行贅述。需要說明的是,本發(fā)明實(shí)施例對(duì)發(fā)送等待隊(duì)列中發(fā)送待處理數(shù)據(jù)的間隔時(shí)長不進(jìn)行限定。

進(jìn)一步的,本發(fā)明實(shí)施例還提供另一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的方 法,如圖2所示,該方法包括:

201、預(yù)設(shè)數(shù)據(jù)采集接口采集待處理數(shù)據(jù),并將所述待處理數(shù)據(jù)發(fā)送至數(shù)據(jù)采集平臺(tái)。

202、數(shù)據(jù)采集平臺(tái)接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù)。

203、數(shù)據(jù)采集平臺(tái)確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致。

若一致,則執(zhí)行步驟204;若不一致,則執(zhí)行步驟205。

204、數(shù)據(jù)采集平臺(tái)將所述待處理數(shù)據(jù)丟棄。

205、數(shù)據(jù)采集平臺(tái)確定所述待處理數(shù)據(jù)的數(shù)量是否為至少兩個(gè)。

若確定所述待處理數(shù)據(jù)的數(shù)量為至少兩個(gè),則執(zhí)行步驟206;確定所述待處理數(shù)據(jù)的數(shù)量為一個(gè),則執(zhí)行步驟207。

206、數(shù)據(jù)采集平臺(tái)將所述待處理數(shù)據(jù)進(jìn)行拼接。

繼續(xù)執(zhí)行步驟207。

207、數(shù)據(jù)采集平臺(tái)根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理。

208、數(shù)據(jù)采集平臺(tái)將格式化處理后的所述待處理數(shù)據(jù)添加到發(fā)送等待隊(duì)列中。

209、數(shù)據(jù)采集平臺(tái)通過發(fā)送等待隊(duì)列向服務(wù)器發(fā)送待處理數(shù)據(jù)。

需要說明的是,有關(guān)圖2中步驟201至步驟209的詳細(xì)描述,請(qǐng)參考以上有關(guān)描述,本發(fā)明實(shí)施例在此不再進(jìn)行贅述。

根據(jù)上述方法實(shí)施例,下面提供一種裝置實(shí)施例,該裝置實(shí)施例與前述方法實(shí)施例對(duì)應(yīng),為便于閱讀,本裝置實(shí)施例不再對(duì)前述方法實(shí)施例中的細(xì)節(jié)內(nèi)容進(jìn)行逐一贅述,但應(yīng)當(dāng)明確,本實(shí)施例中的裝置能夠?qū)?yīng)實(shí)現(xiàn)前述方法實(shí)施例中的全部內(nèi)容。

進(jìn)一步的,還提供一種數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置,如圖3所示,該裝置包括:

接收單元31,用于接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù);其中,所述預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集所述待處理數(shù)據(jù),所述數(shù)據(jù)采集指令中包含所述待處理數(shù)據(jù)的數(shù)據(jù)類型;

確定單元32,用于確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述接收單元31接收的所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致;

處理單元33,用于當(dāng)所述確定單元32確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致時(shí),根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理,所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式;

發(fā)送單元34,用于將所述處理單元33格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

進(jìn)一步的,如圖4所示,所述處理單元33包括:

確定模塊331,用于確定所述待處理數(shù)據(jù)的數(shù)量是否為至少兩個(gè);

拼接模塊332,用于當(dāng)所述確定模塊331確定所述待處理數(shù)據(jù)的數(shù)量為至少兩個(gè)時(shí),將所述待處理數(shù)據(jù)進(jìn)行拼接;

第一處理模塊333,用于基于所述預(yù)置規(guī)范規(guī)則對(duì)所述拼接模塊332拼接后的所述待處理數(shù)據(jù)進(jìn)行格式化處理;

第二處理模塊334,用于當(dāng)所述確定模塊331確定所述待處理數(shù)據(jù)的數(shù)量為一個(gè)時(shí),基于所述預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理。

進(jìn)一步的,如圖4所示,所述發(fā)送單元34包括:

確定模塊341,用于確定發(fā)送格式化處理后的所述待處理數(shù)據(jù)的發(fā)送協(xié)議;

發(fā)送模塊342,用于基于所述確定模塊341確定的所述發(fā)送協(xié)議將格式化處理后的所述待處理數(shù)據(jù)發(fā)送至所述服務(wù)器。

進(jìn)一步的,如圖4所示,所述確定模塊341包括:

解析子模塊3411,用于解析所述數(shù)據(jù)采集指令;其中,所述數(shù)據(jù)采集指令中還包含所述發(fā)送協(xié)議;

獲取子模塊3412,用于在所述解析子模塊3411解析所述數(shù)據(jù)采集指令之后,獲取并確定所述發(fā)送協(xié)議;

確定子模塊3413,用于確定所述數(shù)據(jù)采集平臺(tái)中默認(rèn)的或者選定的發(fā)送協(xié)議為所述發(fā)送協(xié)議。

進(jìn)一步的,如圖4所示,所述確定單元32包括:

解析模塊321,用于解析所述數(shù)據(jù)采集指令,所述第一數(shù)據(jù)類型為所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型;

獲取模塊322,用于在所述解析模塊321解析所述數(shù)據(jù)采集指令之后,獲取第一數(shù)據(jù)類型;

第一確定模塊323,用于確定第二數(shù)據(jù)類型,所述第二數(shù)據(jù)類型為所述待處理數(shù)據(jù)的數(shù)據(jù)類型;

第二確定模塊324,用于確定所述獲取模塊322獲取的所述第一數(shù)據(jù)類型與得到第一確定模塊323確定的所述第二數(shù)據(jù)類型是否一致;

所述處理單元33,還用于當(dāng)所述確定單元32確定所述第一數(shù)據(jù)類型與所述第二數(shù)據(jù)類型一致時(shí),根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理。

進(jìn)一步的,如圖4所示,所述裝置還包括:

添加單元35,用于在所述發(fā)送單元34將格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器之前,將格式化處理后的所述待處理數(shù)據(jù)添加到發(fā)送等待隊(duì)列中,所述發(fā)送等待隊(duì)列用于存儲(chǔ)格式化處理后的所述待處理數(shù)據(jù)。

本發(fā)明實(shí)施例提供的數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置,接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù),該預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集待處理數(shù)據(jù),該數(shù)據(jù)采集指令中包含待處理數(shù)據(jù)的數(shù)據(jù)類型,確定待處理數(shù)據(jù)的數(shù)據(jù)類型與數(shù)據(jù)采集指令中的數(shù)據(jù)類型是否一致,若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將該待處理數(shù)據(jù)進(jìn)行格式化處理,將格式化處理后的待處理數(shù)據(jù)發(fā)送至服務(wù)器,與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例在數(shù)據(jù)采集平臺(tái)中能夠?qū)㈩A(yù)設(shè)采集接口采集的不同數(shù)據(jù)類型的待處理數(shù)據(jù)進(jìn)行統(tǒng)一的格式化處理,即該數(shù)據(jù)采集平臺(tái)的通用性好。

所述數(shù)據(jù)采集平臺(tái)中數(shù)據(jù)處理的裝置包括處理器和存儲(chǔ)器,上述接收單元、確定單元、處理單元和發(fā)送單元等均作為程序單元存儲(chǔ)在存儲(chǔ)器中,由處理器執(zhí)行存儲(chǔ)在存儲(chǔ)器中的上述程序單元來實(shí)現(xiàn)相應(yīng)的功能。

處理器中包含內(nèi)核,由內(nèi)核去存儲(chǔ)器中調(diào)取相應(yīng)的程序單元。內(nèi)核可以設(shè)置一個(gè)或以上,通過調(diào)整內(nèi)核參數(shù)來解決由于不同的數(shù)據(jù)采集平臺(tái)使用不同的采集數(shù)據(jù)方法,因此不同的數(shù)據(jù)采集平臺(tái)只能采集特定類型的數(shù)據(jù),導(dǎo)致不同的數(shù)據(jù)采集平臺(tái)之間通用性較差的問題。

存儲(chǔ)器可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式,如只讀存儲(chǔ)器(ROM)或閃存(flash RAM),存儲(chǔ)器包括至少一個(gè)存儲(chǔ)芯片。

本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)在數(shù)據(jù)處理設(shè)備上執(zhí)行時(shí),適于執(zhí)行初始化有如下方法步驟的程序代碼:接收預(yù)設(shè)數(shù)據(jù)采集接口發(fā)送的待處理數(shù)據(jù);其中,所述預(yù)設(shè)數(shù)據(jù)采集接口根據(jù)數(shù)據(jù)采集指令采集所述待處理數(shù)據(jù),所述數(shù)據(jù)采集指令中包含所述待處理數(shù)據(jù)的數(shù)據(jù)類型;確定所述待處理數(shù)據(jù)的數(shù)據(jù)類型是否與所述數(shù)據(jù)采集指令中的數(shù)據(jù)類型一致;若一致,則根據(jù)預(yù)置規(guī)范規(guī)則將所述待處理數(shù)據(jù)進(jìn)行格式化處理,所述預(yù)置規(guī)范規(guī)則用于規(guī)范所述待處理數(shù)據(jù)的格式;將格式化處理后的所述待處理數(shù)據(jù)發(fā)送至服務(wù)器。

在本發(fā)明的上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒有詳述的部分,可以參見其他實(shí)施例的相關(guān)描述。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此,本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且,本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流 程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

在一個(gè)典型的配置中,計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

存儲(chǔ)器可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式,如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。存儲(chǔ)器是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括,但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶,磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì),可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定,計(jì)算機(jī)可讀 介質(zhì)不包括暫存電腦可讀媒體(transitory media),如調(diào)制的數(shù)據(jù)信號(hào)和載波。

還需要說明的是,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、商品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、商品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括要素的過程、方法、商品或者設(shè)備中還存在另外的相同要素。

本領(lǐng)域技術(shù)人員應(yīng)明白,本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此,本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且,本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

以上僅為本申請(qǐng)的實(shí)施例而已,并不用于限制本申請(qǐng)。對(duì)于本領(lǐng)域技術(shù)人員來說,本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本申請(qǐng)的權(quán)利要求范圍之內(nèi)。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1