本發(fā)明涉及大數(shù)據(jù)分析領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器。

背景技術(shù)：

大數(shù)據(jù)分析，是指企業(yè)采用各種方式捕獲到海量、多樣、真實(shí)的數(shù)據(jù)，然后對(duì)這些數(shù)據(jù)進(jìn)行分析處理。分布式文件系統(tǒng)是大數(shù)據(jù)分析的基礎(chǔ)，其中包含多個(gè)數(shù)據(jù)服務(wù)器，為大數(shù)據(jù)分析提供所需的數(shù)據(jù)。分布式文件系統(tǒng)對(duì)應(yīng)有多個(gè)客戶端，各個(gè)客戶端采用頁(yè)面埋點(diǎn)技術(shù)收集用戶行為數(shù)據(jù)，然后將采集的數(shù)據(jù)上報(bào)至分布式文件系統(tǒng)，由分布式文件系統(tǒng)過(guò)濾不合格的數(shù)據(jù)，保留合格的數(shù)據(jù)。

在現(xiàn)有技術(shù)中，分布式文件系統(tǒng)不能提供其內(nèi)部的數(shù)據(jù)處理情況，從而無(wú)法為技術(shù)人員判斷分布式文件系統(tǒng)的運(yùn)行情況提供依據(jù)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器，以解決現(xiàn)有技術(shù)中分布式文件系統(tǒng)不能提供其內(nèi)部的數(shù)據(jù)處理情況的問(wèn)題。技術(shù)方案如下：

一種數(shù)據(jù)處理方法，所述方法應(yīng)用于分布式文件系統(tǒng)，所述方法包括：

接收客戶端上傳的數(shù)據(jù)；

統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，所述分布式文件系統(tǒng)包括多個(gè)數(shù)據(jù)服務(wù)器；所述統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)，包括：

獲取每個(gè)所述數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；其中，所述接收數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計(jì)該數(shù)據(jù)服務(wù)器所接收到的、所述客戶端上傳的數(shù)據(jù)的條數(shù)得到；

對(duì)獲取的各個(gè)所述接收數(shù)據(jù)條數(shù)求和，得到所述接收數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，所述分布式文件系統(tǒng)包括多個(gè)數(shù)據(jù)服務(wù)器；所述統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)，包括：

獲取每個(gè)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)；其中，所述過(guò)濾數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計(jì)該數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的條數(shù)得到；

對(duì)獲取的各個(gè)所述過(guò)濾數(shù)據(jù)條數(shù)求和，得到所述過(guò)濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

實(shí)時(shí)顯示所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

按照預(yù)設(shè)周期，保存所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

當(dāng)接收到包含目標(biāo)時(shí)間范圍的查詢請(qǐng)求時(shí)，確定與所述目標(biāo)時(shí)間范圍相對(duì)應(yīng)的單位時(shí)間；

按所述單位時(shí)間將所述目標(biāo)時(shí)間范圍劃分成多個(gè)時(shí)間區(qū)間；

對(duì)于每一個(gè)所述時(shí)間區(qū)間，當(dāng)所述時(shí)間區(qū)間內(nèi)存在已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)時(shí)，確定所述時(shí)間區(qū)間為目標(biāo)時(shí)間區(qū)間；

依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)，計(jì)算所述目標(biāo)時(shí)間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)；

顯示與每個(gè)所述目標(biāo)時(shí)間區(qū)間相對(duì)應(yīng)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)。

上述的方法，優(yōu)選的，所述依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)，計(jì)算所述目標(biāo)時(shí)間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)，包括：

在所述目標(biāo)時(shí)間區(qū)間內(nèi)，確定所述接收數(shù)據(jù)總條數(shù)的最大值和最小值，以及，確定所述過(guò)濾數(shù)據(jù)總條數(shù)的最大值和最小值；

對(duì)所述接收數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)接收數(shù)據(jù)條數(shù)，以及，對(duì)所述過(guò)濾數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)。

一種數(shù)據(jù)處理方法，應(yīng)用于數(shù)據(jù)服務(wù)器，包括：

接收客戶端上傳的數(shù)據(jù)；

統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)。

一種分布式文件系統(tǒng)，包括統(tǒng)計(jì)裝置和多個(gè)數(shù)據(jù)服務(wù)器，其中，所述統(tǒng)計(jì)裝置包括第一統(tǒng)計(jì)單元和第二統(tǒng)計(jì)單元；其中：

所述數(shù)據(jù)服務(wù)器用于，接收客戶端上傳的數(shù)據(jù)；

所述第一統(tǒng)計(jì)單元用于，統(tǒng)計(jì)每個(gè)所述數(shù)據(jù)服務(wù)器接收到所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

所述數(shù)據(jù)服務(wù)器還用于，過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

所述第二統(tǒng)計(jì)單元用于，統(tǒng)計(jì)每個(gè)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。

一種數(shù)據(jù)服務(wù)器，包括：

接收單元，用于接收客戶端上傳的數(shù)據(jù)；

第一統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過(guò)濾單元，用于過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

第二統(tǒng)計(jì)單元，用于統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)。

本發(fā)明提供了一種數(shù)據(jù)處理方法，應(yīng)用于分布式文件系統(tǒng)，該方法包括：接收客戶端上傳的數(shù)據(jù)；統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。從而使得，分布式文件系統(tǒng)對(duì)接收到客戶端上傳的所有數(shù)據(jù)的條數(shù)，以及，對(duì)過(guò)濾掉的所有不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計(jì)，從而可使技術(shù)人員以統(tǒng)計(jì)的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品并不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明提供的一種數(shù)據(jù)處理方法的流程圖；

圖2為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖3為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖4為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖5為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖6為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖7為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖8為本發(fā)明提供的一種分布式文件系統(tǒng)的結(jié)構(gòu)示意圖；

圖9為本發(fā)明提供的一種數(shù)據(jù)服務(wù)器的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明中，客戶端指的是智能電視、互聯(lián)網(wǎng)電視機(jī)頂盒、有線電視機(jī)頂盒、智能手機(jī)、平板電腦和計(jì)算機(jī)等終端設(shè)備。

實(shí)施例一

本發(fā)明提供的一種數(shù)據(jù)處理方法的流程圖如圖1所示，該方法應(yīng)用于分布式文件系統(tǒng)，包括：

步驟s11：接收客戶端上傳的數(shù)據(jù)；

本實(shí)施例中，分布式文件系統(tǒng)對(duì)應(yīng)有多個(gè)客戶端，各客戶端采用“埋點(diǎn)”的方式采集用戶的行為數(shù)據(jù)?？蛻舳寺顸c(diǎn)采集的數(shù)據(jù)，當(dāng)滿足以下兩個(gè)條件中的任意一個(gè)時(shí)，即進(jìn)行上傳。兩個(gè)條件為：①用戶行為數(shù)據(jù)滿足預(yù)設(shè)條數(shù)，如20條，預(yù)設(shè)條數(shù)可以根據(jù)實(shí)際情況進(jìn)行設(shè)置；②滿足預(yù)設(shè)時(shí)間間隔，如1分鐘，同樣的，預(yù)設(shè)時(shí)間間隔也可以根據(jù)實(shí)際情況進(jìn)行設(shè)置。

分布式文件系統(tǒng)接收客戶端上傳的數(shù)據(jù)。

步驟s12：統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

本實(shí)施例中，在所有客戶端上傳的數(shù)據(jù)中，對(duì)于接收到的所有數(shù)據(jù)，分布式文件系統(tǒng)統(tǒng)計(jì)它們的條數(shù)，作為接收數(shù)據(jù)總條數(shù)。接收數(shù)據(jù)總條數(shù)是一個(gè)累計(jì)值。

步驟s13：過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

本實(shí)施例中，步驟s13即為，分布式文件系統(tǒng)對(duì)接收到的所有數(shù)據(jù)中的不合格數(shù)據(jù)進(jìn)行過(guò)濾。不合格數(shù)據(jù)即不符合上報(bào)規(guī)范的數(shù)據(jù)。不合格數(shù)據(jù)如果不被篩除，將會(huì)占據(jù)真實(shí)數(shù)據(jù)的比例，最后導(dǎo)致大數(shù)據(jù)分析時(shí)結(jié)果失真。

步驟s14：統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。

本實(shí)施例中，對(duì)于在分布式文件系統(tǒng)中被過(guò)濾掉的所有不合格數(shù)據(jù)，分布式文件系統(tǒng)統(tǒng)計(jì)它們的條數(shù)，作為過(guò)濾數(shù)據(jù)總條數(shù)。過(guò)濾數(shù)據(jù)總條數(shù)是一個(gè)累計(jì)值。

本實(shí)施例提供的數(shù)據(jù)處理方法，接收客戶端上傳的數(shù)據(jù)；統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。從而使得，分布式文件系統(tǒng)對(duì)接收到客戶端上傳的所有數(shù)據(jù)的條數(shù)，以及，對(duì)過(guò)濾掉的所有不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計(jì)，從而可使技術(shù)人員以統(tǒng)計(jì)的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

在前述的基礎(chǔ)上，進(jìn)一步的，本實(shí)施例提供的數(shù)據(jù)處理方法，可以應(yīng)對(duì)客戶端數(shù)據(jù)采集機(jī)制、生成機(jī)制、上報(bào)機(jī)制等問(wèn)題。數(shù)據(jù)采集機(jī)制存在問(wèn)題使客戶端無(wú)法正常采集數(shù)據(jù)，數(shù)據(jù)上報(bào)機(jī)制存在問(wèn)題使客戶端無(wú)法上報(bào)數(shù)據(jù)，數(shù)據(jù)生成機(jī)制存在問(wèn)題使客戶端上報(bào)的數(shù)據(jù)不符合規(guī)范而被過(guò)濾。這些問(wèn)題，會(huì)使整個(gè)大數(shù)據(jù)系統(tǒng)出現(xiàn)異常。例如，廣東省網(wǎng)數(shù)據(jù)采集機(jī)制出現(xiàn)程序異常導(dǎo)致沒(méi)有采集到數(shù)據(jù)，進(jìn)而會(huì)使分布式文件系統(tǒng)無(wú)法從廣東省接收到數(shù)據(jù)，整個(gè)大數(shù)據(jù)系統(tǒng)也會(huì)因此出現(xiàn)異常。

如前述所說(shuō)，本實(shí)施例提供的方法可使技術(shù)人員以統(tǒng)計(jì)的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況，也就可以及時(shí)發(fā)現(xiàn)數(shù)據(jù)采集機(jī)制、生成機(jī)制、上報(bào)機(jī)制等存在問(wèn)題，避免數(shù)月過(guò)后發(fā)現(xiàn)無(wú)合格數(shù)據(jù)上報(bào)才給出補(bǔ)救措施的情況出現(xiàn)。

實(shí)施例二

在實(shí)施例一的基礎(chǔ)上，本實(shí)施例具體介紹實(shí)施例一中步驟s12和步驟s14的具體過(guò)程。在本實(shí)施例中，首先需要說(shuō)明的是，在分布式文件系統(tǒng)中，包括多個(gè)數(shù)據(jù)服務(wù)器。

在分布式文件系統(tǒng)中，接收客戶端上傳的數(shù)據(jù)，以及，過(guò)濾客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)，均由系統(tǒng)內(nèi)的各個(gè)數(shù)據(jù)服務(wù)器完成。同樣的，與分布式文件系統(tǒng)對(duì)應(yīng)的多個(gè)客戶端，則是分別與各個(gè)數(shù)據(jù)服務(wù)器相對(duì)應(yīng)。

對(duì)于步驟s12，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖2所示，示出了統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)的具體步驟，包括：

步驟s21：獲取每個(gè)所述數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；其中，所述接收數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計(jì)該數(shù)據(jù)服務(wù)器所接收到的、所述客戶端上傳的數(shù)據(jù)的條數(shù)得到；

本實(shí)施例中，對(duì)于任意一個(gè)數(shù)據(jù)服務(wù)器，該數(shù)據(jù)服務(wù)器對(duì)其所接收到的、客戶端上傳的數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計(jì)，得到該數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。分布式文件系統(tǒng)獲取每個(gè)數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。

數(shù)據(jù)服務(wù)器本身在統(tǒng)計(jì)接收數(shù)據(jù)條數(shù)時(shí)，可采用以下方法：只要成功接收到一條客戶端上傳的數(shù)據(jù)，及可認(rèn)定為一條數(shù)據(jù)的成功上傳，將接收數(shù)據(jù)條數(shù)作加1處理，依此方法累計(jì)接收數(shù)據(jù)條數(shù)。更具體的，這個(gè)過(guò)程是由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每成功接收到一條數(shù)據(jù)，函數(shù)累計(jì)值加1。

步驟s22：對(duì)獲取的各個(gè)所述接收數(shù)據(jù)條數(shù)求和，得到所述接收數(shù)據(jù)總條數(shù)。

本實(shí)施例中，對(duì)獲取的各個(gè)數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)求和，即為分布式文件系統(tǒng)的接收數(shù)據(jù)總條數(shù)。

對(duì)于步驟s14，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖3所示，示出了統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)的具體步驟，包括：

步驟s31：獲取每個(gè)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)；其中，所述過(guò)濾數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計(jì)該數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的條數(shù)得到；

本實(shí)施例中，對(duì)于任意一個(gè)數(shù)據(jù)服務(wù)器，該數(shù)據(jù)服務(wù)器對(duì)其接收到的、客戶端上傳的數(shù)據(jù)進(jìn)行過(guò)濾，并對(duì)所過(guò)濾掉的不合格數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計(jì)，得到該數(shù)據(jù)服務(wù)器的過(guò)濾數(shù)據(jù)條數(shù)。分布式文件系統(tǒng)獲取每個(gè)數(shù)據(jù)服務(wù)器的過(guò)濾數(shù)據(jù)條數(shù)。

數(shù)據(jù)服務(wù)器本身在統(tǒng)計(jì)過(guò)濾數(shù)據(jù)條數(shù)時(shí)，可采用以下方法：只要過(guò)濾掉一條數(shù)據(jù)，就將過(guò)濾數(shù)據(jù)條數(shù)作加1處理，依此方法累計(jì)過(guò)濾數(shù)據(jù)條數(shù)。更具體的，這個(gè)過(guò)程同樣是由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每過(guò)濾掉一條數(shù)據(jù)，函數(shù)累計(jì)值加1。

步驟s32：對(duì)獲取的各個(gè)所述過(guò)濾數(shù)據(jù)條數(shù)求和，得到所述過(guò)濾數(shù)據(jù)總條數(shù)。

本實(shí)施例中，對(duì)獲取的各個(gè)數(shù)據(jù)服務(wù)器的過(guò)濾數(shù)據(jù)條數(shù)求和，即為分布式文件系統(tǒng)的過(guò)濾數(shù)據(jù)總條數(shù)。

在本實(shí)施例中，還需要說(shuō)明的是，對(duì)于圖2和圖3所示的數(shù)據(jù)處理方法，優(yōu)選的，可以基于zabbix(一個(gè)基于web界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級(jí)的開(kāi)源解決方案)來(lái)實(shí)現(xiàn)其中的獲取過(guò)程和求和過(guò)程。zabbix可以實(shí)時(shí)監(jiān)視并獲取各個(gè)數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)和過(guò)濾數(shù)據(jù)條數(shù)，并可以對(duì)這兩者各自求和，得到接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)。

實(shí)施例三

在實(shí)施例一的基礎(chǔ)上，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖4所示，在步驟s14之后，還可以包括：

步驟s15：實(shí)時(shí)顯示所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)。

本實(shí)施例提供的數(shù)據(jù)處理方法，將接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)實(shí)時(shí)顯示，便于直觀查看。顯示時(shí)可以采用單一的數(shù)字顯示方式，也可以采用數(shù)字、曲線圖相結(jié)合的方式，曲線圖內(nèi)保留一個(gè)歷史時(shí)間段(如1小時(shí)等)的歷史曲線。

實(shí)施例四

在實(shí)施例一的基礎(chǔ)上，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖5所示，包括：

步驟s41：接收客戶端上傳的數(shù)據(jù)；

步驟s42：統(tǒng)計(jì)接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

步驟s43：過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

步驟s44：統(tǒng)計(jì)過(guò)濾掉的所有不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。

步驟s45：按照預(yù)設(shè)周期，保存所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)；

本實(shí)施例中，預(yù)設(shè)周期可以根據(jù)實(shí)際需求進(jìn)行設(shè)置，通常可以為1分鐘。在保存時(shí)，同時(shí)記錄保存時(shí)間，以便于后期的歷史查詢，或者作為基礎(chǔ)數(shù)據(jù)被使用。

步驟s46：當(dāng)接收到包含目標(biāo)時(shí)間范圍的查詢請(qǐng)求時(shí)，確定與所述目標(biāo)時(shí)間范圍相對(duì)應(yīng)的單位時(shí)間；

本實(shí)施例中，目標(biāo)時(shí)間范圍通常是某一天、某一月或者某一年。對(duì)于某一天，其相對(duì)應(yīng)的單位時(shí)間是小時(shí)；對(duì)于某一月，其相對(duì)應(yīng)的單位時(shí)間是天；對(duì)于某一年，其相對(duì)應(yīng)的單位時(shí)間是月。根據(jù)目標(biāo)時(shí)間范圍確定相對(duì)應(yīng)的單位時(shí)間。

考慮到本實(shí)施例中，最小的單位時(shí)間為1小時(shí)，同時(shí)，各個(gè)單位時(shí)間的起點(diǎn)都是某小時(shí)的起點(diǎn)，各個(gè)單位時(shí)間的終點(diǎn)都是某小時(shí)的終點(diǎn)。因此，步驟s45中的預(yù)設(shè)周期在設(shè)置時(shí)應(yīng)相匹配，在時(shí)間覆蓋和節(jié)約系統(tǒng)資源綜合考慮，1分鐘為佳。

步驟s47：按所述單位時(shí)間將所述目標(biāo)時(shí)間范圍劃分成多個(gè)時(shí)間區(qū)間；

本實(shí)施例中，將目標(biāo)時(shí)間范圍按對(duì)應(yīng)的單位時(shí)間劃分為多個(gè)時(shí)間區(qū)間，如，對(duì)于某一天，將其劃分為24小時(shí)，即24個(gè)時(shí)間區(qū)間。

步驟s48：對(duì)于每一個(gè)所述時(shí)間區(qū)間，當(dāng)所述時(shí)間區(qū)間內(nèi)存在已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)時(shí)，確定所述時(shí)間區(qū)間為目標(biāo)時(shí)間區(qū)間；

本實(shí)施例中，對(duì)于目標(biāo)時(shí)間范圍，可能存在以下情況：該目標(biāo)時(shí)間范圍內(nèi)不存在已保存的接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)；該目標(biāo)時(shí)間范圍內(nèi)包含有不存在已保存的接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)的時(shí)間段。由于這些情況的存在，因此，對(duì)于步驟s47中劃分出的多個(gè)時(shí)間區(qū)間，首先確定存在已保存的接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)的時(shí)間區(qū)間為目標(biāo)時(shí)間區(qū)間。

步驟s49：依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)，計(jì)算所述目標(biāo)時(shí)間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)；

本實(shí)施例中，分布式文件系統(tǒng)對(duì)于每一個(gè)目標(biāo)時(shí)間區(qū)間，依據(jù)該目標(biāo)時(shí)間區(qū)間內(nèi)的、已保存的接收數(shù)據(jù)總條數(shù)，計(jì)算目標(biāo)接收數(shù)據(jù)條數(shù)；依據(jù)該目標(biāo)時(shí)間區(qū)間內(nèi)的、已保存的過(guò)濾數(shù)據(jù)總條數(shù)，計(jì)算目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)

步驟s410：顯示與每個(gè)所述目標(biāo)時(shí)間區(qū)間相對(duì)應(yīng)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)。

本實(shí)施例中，分布式文件系統(tǒng)在計(jì)算得到各個(gè)目標(biāo)時(shí)間區(qū)間的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)后，可以按表格的形式，或者折線圖的形式，將它們顯示出來(lái)。

本實(shí)施例提供的數(shù)據(jù)處理方法，分布式文件系統(tǒng)提供了歷史數(shù)據(jù)追溯的功能，可以直觀的反應(yīng)所要查詢的一個(gè)歷史時(shí)期內(nèi)各目標(biāo)時(shí)間區(qū)間的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)。從而，使技術(shù)人員可以以此為依據(jù)，分析數(shù)據(jù)走向，進(jìn)而從中判斷分布式文件系統(tǒng)的運(yùn)行情況。

本實(shí)施例中，優(yōu)選的，提供一種數(shù)據(jù)處理方法的又一流程圖如圖6所示，示出了依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過(guò)濾數(shù)據(jù)總條數(shù)，計(jì)算所述目標(biāo)時(shí)間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)的具體步驟，包括：

步驟s51：在所述目標(biāo)時(shí)間區(qū)間內(nèi)，確定所述接收數(shù)據(jù)總條數(shù)的最大值和最小值，以及，確定所述過(guò)濾數(shù)據(jù)總條數(shù)的最大值和最小值；

本實(shí)施例中，之所以采用確定接收數(shù)據(jù)總條數(shù)的最大值和最小值、確定過(guò)濾數(shù)據(jù)總條數(shù)的最大值和最小值，是因?yàn)椋邮諗?shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)均為累計(jì)值，也就是說(shuō)，在一個(gè)目標(biāo)時(shí)間區(qū)間內(nèi)，存在已保存的接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)的最初時(shí)刻必然對(duì)應(yīng)接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)兩者的最小值，最末時(shí)刻必然對(duì)應(yīng)兩者的最大值。還需要說(shuō)明的是，在本實(shí)施例中，對(duì)于接收數(shù)據(jù)總條數(shù)和過(guò)濾數(shù)據(jù)總條數(shù)，在目標(biāo)時(shí)間區(qū)間內(nèi)，任意一者的最大值和最小值可以相等。

步驟s52：對(duì)所述接收數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)接收數(shù)據(jù)條數(shù)，以及，對(duì)所述過(guò)濾數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)過(guò)濾數(shù)據(jù)條數(shù)。

實(shí)施例五

本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖7所示，該方法應(yīng)用于數(shù)據(jù)服務(wù)器，包括：

步驟s61：接收客戶端上傳的數(shù)據(jù)；

本實(shí)施例中，分布式文件系統(tǒng)內(nèi)包含多個(gè)數(shù)據(jù)服務(wù)器，分布式文件系統(tǒng)接收客戶端上傳的數(shù)據(jù)，其實(shí)質(zhì)上是，各個(gè)數(shù)據(jù)服務(wù)器接收與其各自相對(duì)應(yīng)的客戶端上傳的數(shù)據(jù)。

客戶端采集、上傳數(shù)據(jù)的情況如實(shí)施例一種步驟s11處所述，不再贅述。

步驟s62：統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

本實(shí)施例中，對(duì)該數(shù)據(jù)服務(wù)器所接收到的、客戶端上傳的數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計(jì)，得到該數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。接收數(shù)據(jù)條數(shù)是一個(gè)累計(jì)值。

更具體的，只要成功接收到一條客戶端上傳的數(shù)據(jù)，及可認(rèn)定為一條數(shù)據(jù)的成功上傳，將接收數(shù)據(jù)條數(shù)作加1處理，依此方法累計(jì)接收數(shù)據(jù)條數(shù)。這個(gè)過(guò)程可以由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每成功接收到一條數(shù)據(jù)，函數(shù)累計(jì)值加1。

步驟s63：過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

本實(shí)施例中，對(duì)于該數(shù)據(jù)服務(wù)器接收到的數(shù)據(jù)中的不合格數(shù)據(jù)進(jìn)行過(guò)濾。不合格數(shù)據(jù)即不符合上報(bào)規(guī)范的數(shù)據(jù)。

步驟s64：統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)。

本實(shí)施例中，對(duì)該數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計(jì)，得到該數(shù)據(jù)服務(wù)器的過(guò)濾數(shù)據(jù)條數(shù)。過(guò)濾數(shù)據(jù)條數(shù)是一個(gè)累計(jì)值。

更具體的，只要過(guò)濾掉一條數(shù)據(jù)，就將過(guò)濾數(shù)據(jù)條數(shù)作加1處理，依此方法累計(jì)過(guò)濾數(shù)據(jù)條數(shù)。這個(gè)過(guò)程同樣可以由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每過(guò)濾掉一條數(shù)據(jù)，函數(shù)累計(jì)值加1。

本實(shí)施例提供的數(shù)據(jù)處理方法，接收客戶端上傳的數(shù)據(jù)；統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)。從而使得，分布式文件系統(tǒng)中的各個(gè)數(shù)據(jù)服務(wù)器，對(duì)接收到與其對(duì)應(yīng)的客戶端上傳的數(shù)據(jù)的條數(shù)，以及，對(duì)過(guò)濾掉的不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計(jì)，從而可使技術(shù)人員通過(guò)匯總各個(gè)數(shù)據(jù)服務(wù)器統(tǒng)計(jì)的數(shù)據(jù)處理情況，并以此為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

實(shí)施例六

與實(shí)施例一相對(duì)應(yīng)，本發(fā)明提供了一種分布式文件系統(tǒng)的結(jié)構(gòu)示意圖，如圖8所示，包括統(tǒng)計(jì)裝置71和多個(gè)數(shù)據(jù)服務(wù)器72，其中，所述統(tǒng)計(jì)裝置71包括第一統(tǒng)計(jì)單元711和第二統(tǒng)計(jì)單元712；其中：

所述數(shù)據(jù)服務(wù)器72用于，接收客戶端上傳的數(shù)據(jù)；

所述第一統(tǒng)計(jì)單元711用于，統(tǒng)計(jì)每個(gè)所述數(shù)據(jù)服務(wù)器72接收到所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

所述數(shù)據(jù)服務(wù)器72還用于，過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

所述第二統(tǒng)計(jì)單元712用于，統(tǒng)計(jì)每個(gè)所述數(shù)據(jù)服務(wù)器72過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)總條數(shù)。

實(shí)施例七

與實(shí)施例五相對(duì)應(yīng)，本發(fā)明提供了一種數(shù)據(jù)服務(wù)器的結(jié)構(gòu)示意圖，如圖9所示，包括：

接收單元81，用于接收客戶端上傳的數(shù)據(jù)；

第一統(tǒng)計(jì)單元82，用于統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過(guò)濾單元83，用于過(guò)濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

第二統(tǒng)計(jì)單元84，用于統(tǒng)計(jì)所述數(shù)據(jù)服務(wù)器過(guò)濾掉的不合格數(shù)據(jù)的過(guò)濾數(shù)據(jù)條數(shù)。

需要說(shuō)明的是，本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于裝置類實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。

為了描述的方便，描述以上裝置時(shí)以功能分為各種單元分別描述。當(dāng)然，在實(shí)施本發(fā)明時(shí)可以把各單元的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn)。

通過(guò)以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。

以上對(duì)本發(fā)明所提供的一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。