亚洲狠狠干,亚洲国产福利精品一区二区,国产八区,激情文学亚洲色图

一種數(shù)據(jù)檢測方法及裝置與流程

文檔序號:12271325閱讀:186來源:國知局
一種數(shù)據(jù)檢測方法及裝置與流程
本申請涉及計算機
技術領域
,尤其涉及一種數(shù)據(jù)檢測方法及裝置。
背景技術
:隨著信息技術的發(fā)展,大數(shù)據(jù)已經(jīng)成為信息行業(yè)發(fā)展中的一種嶄新的數(shù)據(jù)資源。不同的網(wǎng)絡服務商通過對大數(shù)據(jù)進行相應的處理(如:對大數(shù)據(jù)進行數(shù)據(jù)挖掘、數(shù)據(jù)集成等),可為用戶提供豐富的各類數(shù)據(jù)服務。大數(shù)據(jù)中往往包括類型多樣的數(shù)據(jù),其中一種重要的數(shù)據(jù)類型稱為離散數(shù)據(jù)(在統(tǒng)計學中,數(shù)據(jù)按變量值是否連續(xù)可分為連續(xù)數(shù)據(jù)與離散數(shù)據(jù)兩種),例如:人員編號、性別屬性值等等均屬于離散數(shù)據(jù)。在實際應用中,離散數(shù)據(jù)中可能會出現(xiàn)異常(異常的離散數(shù)據(jù)是臟數(shù)據(jù)的一種),造成離散數(shù)據(jù)出現(xiàn)異常的原因多樣,如:某些離散數(shù)據(jù)由相應的業(yè)務系統(tǒng)生成,在此情況下,如果業(yè)務系統(tǒng)中的某些業(yè)務邏輯出現(xiàn)問題,那么,其產(chǎn)生的離散數(shù)據(jù)就可能出現(xiàn)異?!,F(xiàn)有技術中,為了檢測離散數(shù)據(jù)中是否存在臟數(shù)據(jù),通常采用的方式是對離散數(shù)據(jù)進行人工檢測,即:在離散數(shù)據(jù)產(chǎn)生后,通過人工介入的方式,針對生成的離散數(shù)據(jù)按照不同的方式進行劃分,并由人工進行判斷劃分后的離散數(shù)據(jù)是否存在異常。采用人工介入的方式對離散數(shù)據(jù)進行檢測,在海量離散數(shù)據(jù)的情況下,效率和準確性均較低。技術實現(xiàn)要素:本申請實施例提供一種數(shù)據(jù)檢測方法,用以解決現(xiàn)有技術中的離散數(shù)據(jù)檢測方式存在的效率和準確性較低的問題。本申請實施例還提供一種數(shù)據(jù)檢測裝置,用以解決現(xiàn)有技術中的離散數(shù)據(jù)檢測方式存在的效率和準確性較低的問題。本申請實施例提供的一種數(shù)據(jù)檢測方法,包括:接收針對離散數(shù)據(jù)的檢測請求;確定所述檢測請求所對應的離散數(shù)據(jù),及該離散數(shù)據(jù)對應的檢測方式;根據(jù)確定出的所述檢測方式,對所述離散數(shù)據(jù)進行檢測,以判斷所述離散數(shù)據(jù)是否異常。本申請實施例提供的一種數(shù)據(jù)檢測裝置,包括:接收模塊,用于接收針對離散數(shù)據(jù)的檢測請求;確定模塊,用于確定所述檢測請求所對應的離散數(shù)據(jù),及該離散數(shù)據(jù)對應的檢測方式;檢測模塊,用于根據(jù)確定出的所述檢測方式,以對所述離散數(shù)據(jù)進行檢測,判斷所述離散數(shù)據(jù)是否異常。本申請實施例提供一種數(shù)據(jù)檢測方法及裝置,通過該方法,在針對待測試的離散數(shù)據(jù)集合的檢測請求的觸發(fā)下,可以實現(xiàn)自動根據(jù)該檢測請求確定出待測試的離散數(shù)據(jù)集合以及與該離散數(shù)據(jù)集合相匹配的檢測方式,并通過該檢測方式,對該待檢測的離散數(shù)據(jù)集合是否異常進行檢測。通過本方法,改變了現(xiàn)有技術中需要人工介入對離散數(shù)據(jù)進行檢測的方式,檢測過程可由檢測設備自動執(zhí)行,在有效提升對離散數(shù)據(jù)進行檢測的便捷性的同時,也有效提升了檢測的效率和準確性。附圖說明此處所說明的附圖用來提供對本申請的進一步理解,構成本申請的一部分,本申請的示意性實施例及其說明用于解釋本申請,并不構成對本申請的不當限定。在附圖中:圖1為本申請實施例提供的數(shù)據(jù)檢測過程;圖2a為本申請實施例提供的數(shù)據(jù)檢測方法在實際應用中的系統(tǒng)架構示意圖;圖2b為本申請實施例提供的數(shù)據(jù)檢測裝置結構示意圖。具體實施方式為使本申請的目的、技術方案和優(yōu)點更加清楚,下面將結合本申請具體實施例及相應的附圖對本申請技術方案進行清楚、完整地描述。顯然,所描述的實施例僅是本申請一部分實施例,而不是全部的實施例?;诒旧暾堉械膶嵤├绢I域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本申請保護的范圍。在本申請實施例對應的實際應用場景下,離散數(shù)據(jù)存儲在大數(shù)據(jù)下的數(shù)據(jù)倉庫中,其中,數(shù)據(jù)倉庫可以看作是一種針對大數(shù)據(jù)進行存儲的存儲環(huán)境。該數(shù)據(jù)倉庫還可以對其中存儲的各類數(shù)據(jù)進行歸納、重組、整合等操作,供不同的使用者使用。需要說明的是,上述的數(shù)據(jù)倉庫為網(wǎng)絡服務商的服務系統(tǒng)提供了海量的數(shù)據(jù)支持。比如,服務系統(tǒng)中的離散數(shù)據(jù)均可以存儲在數(shù)據(jù)倉庫中,相應地,服務系統(tǒng)也可以從數(shù)據(jù)倉庫中提取需要的離散數(shù)據(jù)。其中,存儲在數(shù)據(jù)倉庫中的離散數(shù)據(jù)可以是由網(wǎng)絡服務商自身的服務系統(tǒng)運行所產(chǎn)生的離散數(shù)據(jù)(如:各類業(yè)務數(shù)據(jù)),也可以是不同的開發(fā)者所開發(fā)的應用在運行時生成的離散數(shù)據(jù)。當服務系統(tǒng)需要使用數(shù)據(jù)倉庫中的上述數(shù)據(jù)時,數(shù)據(jù)倉庫就會根據(jù)該服務系統(tǒng)的指示,將對應的數(shù)據(jù)進行整合而“生產(chǎn)”出來。具體地,對數(shù)據(jù)倉庫中的離散數(shù)據(jù)進行整合生成的操作,可以由運行在該數(shù)據(jù)倉庫上的數(shù)據(jù)生產(chǎn)系統(tǒng)完成。例如:某一用戶在網(wǎng)絡服務商的服務系統(tǒng)中運行統(tǒng)計任務(可看作一種進程),該統(tǒng)計任務用于統(tǒng)計該用戶自一年以前至今,在指定網(wǎng)站中所購買商品使用的金額。那么,該統(tǒng)計任務運行后,數(shù)據(jù)倉庫中的生產(chǎn)系統(tǒng)就會根據(jù)該統(tǒng) 計任務,集成并提取屬于該用戶的自一年以前至今的金額數(shù)據(jù),反饋給用戶。顯然,上述的金額數(shù)據(jù)中的不同額度值往往不是在某一數(shù)值區(qū)間內(nèi)的連續(xù)取值,而是間斷且離散的取值,所以,金額數(shù)據(jù)就是一種離散數(shù)據(jù)。在本申請中,由數(shù)據(jù)倉庫的數(shù)據(jù)生產(chǎn)系統(tǒng)所生成的離散數(shù)據(jù)可看作是一個離散數(shù)據(jù)集合,該離散數(shù)據(jù)集合中包含了多個離散數(shù)據(jù)。正如上例中統(tǒng)計的金額數(shù)據(jù),就可以看作是一個離散數(shù)據(jù)集合,而其中用戶購買每一種商品的金額,就是該離散數(shù)據(jù)集合中的離散數(shù)據(jù)。但是,數(shù)據(jù)倉庫中所存儲的離散數(shù)據(jù)可能存在冗余或錯誤,這樣就會導致數(shù)據(jù)倉庫整合后的離散數(shù)據(jù)集合存在異常。為了避免整合后的離散數(shù)據(jù)集合中的異常情況對后續(xù)的處理過程造成影響,因此在本申請實施例中,提供了一種數(shù)據(jù)檢測方法,具體而言,如圖1所示。圖1為本申請實施例提供的數(shù)據(jù)檢測過程,該過程具體包括以下步驟:S101,接收針對離散數(shù)據(jù)集合的檢測請求。當數(shù)據(jù)倉庫生成了相應的離散數(shù)據(jù)集合之后,為了保證該離散數(shù)據(jù)集合的準確性,故數(shù)據(jù)倉庫可以針對所述離散數(shù)據(jù)集合生成相應的檢測請求,以觸發(fā)該請求的接收方對生產(chǎn)出的所述離散數(shù)據(jù)集合進行檢測。當然,作為本申請實施例中的一種可選方式,本申請中對離散數(shù)據(jù)集合進行檢測的操作,可以由具有數(shù)據(jù)檢測功能的設備(如:服務器)完成。在實際應用場景中,為了對海量的離散數(shù)據(jù)集合進行檢測,單一一臺檢測設備無法承受大量的工作負荷,所以,可以采用分布式系統(tǒng)的方式或者服務器集群(形成具有數(shù)據(jù)檢測功能的檢測系統(tǒng)),來完成對海量離散數(shù)據(jù)集合的檢測操作。本申請中所述的數(shù)據(jù)檢測設備,可以設置在數(shù)據(jù)倉庫中,也可以設置在網(wǎng)絡服務商后臺的服務系統(tǒng)中,當然,這里并不構成對本申請的限定。S102,確定所述檢測請求所對應的離散數(shù)據(jù)集合,及該離散數(shù)據(jù)集合對應的檢測方式。需要說明的是,在實際應用中,數(shù)據(jù)倉庫中包含大量原始的離散數(shù)據(jù),并 且,數(shù)據(jù)倉庫可以同時整合生成不同的離散數(shù)據(jù),為了保證整合生成的不同離散數(shù)據(jù)集合在進行檢測時不發(fā)生混亂,所以,數(shù)據(jù)倉庫會在已經(jīng)整合生成的離散數(shù)據(jù)集合的基礎上,生成與該離散數(shù)據(jù)對應的檢測請求。從而,以所述檢測請求的接收方為某檢測設備為例,當該檢測設備接收到了檢測請求后,可以根據(jù)該檢測請求中包含的離散數(shù)據(jù)集合標識,唯一確定出與該檢測請求相對應的離散數(shù)據(jù)集合,即確定該標識所對應的離散數(shù)據(jù)集合。當僅存在一個離散數(shù)據(jù)集合時,該檢測請求中也可以不包含離散數(shù)據(jù)集合標識,從而所述檢測請求的接收方可以直接響應于該檢測請求,確定存在的該一個離散數(shù)據(jù)集合為該檢測請求所對應的、默認的離散數(shù)據(jù)集合。由于不同的離散數(shù)據(jù)集合中離散數(shù)據(jù)的類型、數(shù)據(jù)構成均不相同,如果針對不同的離散數(shù)據(jù)集合,僅采用單一的檢測方式,可能會造成檢測結果不準確的情況,所以,在本申請實施例中,對不同的離散數(shù)據(jù)集合進行檢測時,可以采用不同的檢測方式。為達到該目的,經(jīng)過上述步驟確定出檢測請求所對應的離散數(shù)據(jù)集合之后,可以根據(jù)所述離散數(shù)據(jù)集合進一步確定該離散數(shù)據(jù)集合對應的檢測方式。本申請中,既可以根據(jù)預先建立的檢測方式與離散數(shù)據(jù)類型之間的對應關系,來確定離散數(shù)據(jù)集合對應的檢測方式;也可以根據(jù)預設的檢測配置信息,來確定離散數(shù)據(jù)集合對應的檢測方式。當然,這里并不構成對本申請的限定。S103,根據(jù)確定出的所述檢測方式,對所述離散數(shù)據(jù)集合進行檢測,以判斷所述離散數(shù)據(jù)是否異常。若是,則執(zhí)行步驟S104;否則,則執(zhí)行步驟S105。由于出現(xiàn)了異常的離散數(shù)據(jù)集合,將影響后續(xù)對數(shù)據(jù)進行處理時的準確性,所以,當檢測到離散數(shù)據(jù)集合出現(xiàn)了異常后,就將執(zhí)行步驟S104。反之,對于正常的離散數(shù)據(jù)集合,就可以執(zhí)行步驟S105。本申請實施例中,如不考慮根據(jù)判斷結果對離散數(shù)據(jù)集合進行處理,則也可以在得到判斷結果后,不執(zhí)行步驟S104或步驟S105。S104,對所述離散數(shù)據(jù)集合進行相應處理。在本申請實施例中,為了最大程度降低異常的離散數(shù)據(jù)集合對后續(xù)處理過程的影響,可以對異常的離散數(shù)據(jù)集合進行處理,例如:根據(jù)異常的離散數(shù)據(jù)集合,修復前續(xù)的業(yè)務運行邏輯。又例如:對于出現(xiàn)異常的離散數(shù)據(jù)集合,可以向開發(fā)者用戶發(fā)送通知消息,以告知開發(fā)者用戶該離散數(shù)據(jù)集合中出現(xiàn)了異常,后續(xù)可由該開發(fā)者用戶對異常的離散數(shù)據(jù)集合進行修正調(diào)整。這里對離散數(shù)據(jù)集合進行處理的方式并不構成對本申請的限定。S105,將所述離散數(shù)據(jù)集合進行存儲。對于沒有出現(xiàn)異常的離散數(shù)據(jù)集合,將不會對后續(xù)的數(shù)據(jù)處理過程造成影響,故這些離散數(shù)據(jù)集合就可以確定是正常的,那么,檢測設備就會將正常的離散數(shù)據(jù)集合進行存儲,以便后續(xù)對這些正常的離散數(shù)據(jù)集合進行使用。通過上述步驟,本申請實施例中,相應的檢測設備在接收到了針對待檢測的離散數(shù)據(jù)集合的檢測請求后,就會根據(jù)該檢測請求,確定出待檢測的離散數(shù)據(jù)集合,以及與該離散數(shù)據(jù)相匹配的檢測方式,再通過該檢測方式,對該待檢測的離散數(shù)據(jù)集合進行檢測。從而確定出離散數(shù)據(jù)集合是否出現(xiàn)異常。通過本方法,改變了現(xiàn)有技術中需要人工介入對離散數(shù)據(jù)進行檢測的方式,在有效提升對離散數(shù)據(jù)進行檢測的便捷性的同時,也有效提升了檢測的效率和準確性。在實際應用中,當數(shù)據(jù)倉庫針對其中存儲的數(shù)據(jù)進行整理生成了相應的離散數(shù)據(jù)集合后,通常會將生成的離散數(shù)據(jù)集合以數(shù)據(jù)表的形式,臨時存儲在數(shù)據(jù)倉庫的不同分區(qū)中。為了能夠保證數(shù)據(jù)檢測設備準確地查找到生成的離散數(shù)據(jù)集合,數(shù)據(jù)倉庫可以將待檢測的離散數(shù)據(jù)集合所存儲的數(shù)據(jù)表的標識、在數(shù)據(jù)倉庫中的分區(qū)等存儲位置信息,攜帶在檢測請求中,一并發(fā)送至數(shù)據(jù)檢測設備。因此,當數(shù)據(jù)檢測設備接收到了檢測請求后,就可以根據(jù)其中攜帶的離散數(shù)據(jù)集合的存儲位置信息,確定并查找到離散數(shù)據(jù)集合,也即,本申請上述步驟S102中,確定所述檢測請求所對應的離散數(shù)據(jù)集合,具體包括:獲取所述檢測請求中包含的所述離散數(shù)據(jù)集合的存儲位置信息,根據(jù)所述存儲位置信息, 查找所述離散數(shù)據(jù)集合。例如:某開發(fā)者用戶在數(shù)據(jù)倉庫中運行某查詢?nèi)蝿?,查詢指定?名用戶的貸款利率數(shù)據(jù)。相應的數(shù)據(jù)生產(chǎn)系統(tǒng)就會根據(jù)運行的查詢?nèi)蝿?,在?shù)據(jù)倉庫中查詢并整合生成這5名用戶的貸款利率數(shù)據(jù)集合(屬于一種離散數(shù)據(jù)集合),并將生成的貸款利率數(shù)據(jù)集合以數(shù)據(jù)表的方式存儲在了數(shù)據(jù)倉庫的分區(qū)A中。假設,該貸款利率數(shù)據(jù)集合的存儲位置信息為“貸款利率表A-101”,顯然,該存儲位置信息中不僅反映了,貸款利率數(shù)據(jù)集合所在的分區(qū)(字符“A-101”中“A”就表示了數(shù)據(jù)倉庫中的分區(qū)A)、也標示出了數(shù)據(jù)表的具體名稱(字符“A-101”中“101”就是數(shù)據(jù)表的名稱)。當然,該示例只是為了清楚說明存儲位置信息的表現(xiàn)形式,并不作為對本申請的限定。當數(shù)據(jù)檢測設備接收到了檢測請求后,就可以根據(jù)檢測請求中所攜帶的離散數(shù)據(jù)集合的上述存儲位置信息,查詢到具體的離散數(shù)據(jù)集合。而在實際應用中,不同的離散數(shù)據(jù)集合通常匹配有不同的檢測方式,那么,在查詢到了具體的離散數(shù)據(jù)集合后,便可以確定該離散數(shù)據(jù)集合所匹配的檢測方式。需要說明的是,在本申請實施例中的一種可選方式下,針對離散數(shù)據(jù)集合的檢測方式,通常由相應的開發(fā)者用戶進行配置,也即,本申請實施例中的檢測設備提供不同類型的檢測方式,由開發(fā)者用戶進行選擇,當然,為了提升對離散數(shù)據(jù)集合進行檢測的準確性,開發(fā)者用戶可以針對某一離散數(shù)據(jù)集合,選擇多種檢測方式,從而,檢測設備就可以針對離散數(shù)據(jù)集合進行多項檢測。開發(fā)者用戶所選定的檢測方式,會以檢測方式信息的形式,保存在相應的配置信息中。故在本申請實施例中,確定所述離散數(shù)據(jù)對應的檢測方式,具體包括:獲取與所述離散數(shù)據(jù)集合相匹配的檢測配置信息(其中,所述檢測配置信息中包含有檢測方式信息),讀取所述檢測配置信息中包含的檢測方式,確定所述檢測方式信息對應的檢測方式,作為所述離散數(shù)據(jù)集合對應的檢測方式。當數(shù)據(jù)檢測設備確定出需要檢測的離散數(shù)據(jù),以及與該離散數(shù)據(jù)相匹配的檢測方式后,數(shù)據(jù)檢測設備就可以對離散數(shù)據(jù)進行檢測。在本申請實施例中根 據(jù)確定出的所述檢測方式,對所述離散數(shù)據(jù)集合進行檢測,以判斷所述離散數(shù)據(jù)集合是否異常,具體可以包括:根據(jù)所述檢測方式,確定所述離散數(shù)據(jù)集合中相應的離散數(shù)據(jù)的指定特征,采集所述離散數(shù)據(jù)的指定特征作為待測樣本數(shù)據(jù),通過比對預設的標準數(shù)據(jù)與所述待測樣本數(shù)據(jù),判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,若是,則判定所述離散數(shù)據(jù)集合正常;否則,則判定所述離散數(shù)據(jù)集合異常。換言之,本申請實施例中對離散數(shù)據(jù)集合的檢測方式,就是對離散數(shù)據(jù)集合中,部分或全部的離散數(shù)據(jù)的指定特征進行檢測,如果離散數(shù)據(jù)的某種指定特征出現(xiàn)了異常,那么,也就表示該離散數(shù)據(jù)集合是異常的。需要說明的是,“相應的離散數(shù)據(jù)”,是指與通過執(zhí)行步驟S102確定出的“檢測方式”對應的離散數(shù)據(jù)。舉例而言,若該檢測方式包括“確定所述離散數(shù)據(jù)集合中所有離散數(shù)據(jù)的指定特征”,則所述的“相應的離散數(shù)據(jù)”,是指離散數(shù)據(jù)集合中的所有離散數(shù)據(jù);而若該檢測方式包括“確定所述離散數(shù)據(jù)集合的某個子集合中的離散數(shù)據(jù)的指定特征”,則所述的“相應的離散數(shù)據(jù)”,是指該子集合中的所有離散數(shù)據(jù);以此類推。為了清楚的闡述本申請中的檢測過程,下面將以不同的檢測方式為例進行詳細說明。一、對相應的離散數(shù)據(jù)的類別的數(shù)量進行檢測實際應用中,離散數(shù)據(jù)集合中的某些離散數(shù)據(jù),擁有不同的類別,在某些情況下,類別的多少就能反映出該離散數(shù)據(jù)集合是否異常。也即,在該場景下,當所述指定特征為所述相應的離散數(shù)據(jù)的類別的數(shù)量時,所述標準數(shù)據(jù)為類別的預設標準數(shù)量,那么,判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,具體為:判斷所述相應的離散數(shù)據(jù)的類別的數(shù)量是否匹配所述類別的預設標準數(shù)量。例如:假設,某離散數(shù)據(jù)集合是5名用戶的性別數(shù)據(jù)集合,這5名用戶的性別數(shù)據(jù)具體如下表1a所示:用戶性別用戶11用戶21用戶32用戶41用戶52表1a針對上述表1a中的性別數(shù)據(jù),假設相應的指定特征為性別數(shù)據(jù)的類別的數(shù)量,那么,對上述表1a所示的性別數(shù)據(jù)進行采集后,可得到表1b所示的兩組待測樣本數(shù)據(jù):性別為1性別為2用戶1用戶3用戶2用戶5用戶4表1b在表1b中,性別數(shù)據(jù)按照性別劃分為兩組數(shù)據(jù),也即,類別的數(shù)量為2。顯然,人類性別的數(shù)量通常是固定的,即類別的預設標準數(shù)量就為2(表示只有兩種性別),那么,表1b中以性別進行采集后,得到的類別的數(shù)量與預設標準數(shù)量相匹配。所以,可以認為上述表1a的性別數(shù)據(jù)是正常的(在實際應用中,如果以性別進行采集后只得到一組數(shù)據(jù),那么,該待測樣本數(shù)據(jù)也可以認為是正常的)。當然,如果對性別進行采集后的類別的數(shù)量超過2,那么,就證明待測樣本數(shù)據(jù)出現(xiàn)了異常,也即,離散數(shù)據(jù)集合是異常的。一、對相應的離散數(shù)據(jù)的類別數(shù)量的變化率進行檢測實際應用中的某些情況下,只通過相應的離散數(shù)據(jù)的類別的數(shù)量多少來確定離散數(shù)據(jù)集合是否異常并不一定準確。例如:假設離散數(shù)據(jù)集合是針對某應用程序進行測試后,所得到的不同類別的測試結果出現(xiàn)次數(shù)的統(tǒng)計數(shù)據(jù)集合, 該離散數(shù)據(jù)集合如下表2所示:測試結果次數(shù)異常九類1異常三類1異常五類2異常四類1表2對應用程序的測試結果中,允許存在多類異常類別的測試結果,在這樣的情況下,如果只采集測試結果的類別的數(shù)量(表2中有4種測試結果,也即,類別的個數(shù)也為4),來判斷測試是否通過,那么,將影響對應用程序測試的準確性。所以,在該場景下,當所述指定特征為所述相應的離散數(shù)據(jù)的類別數(shù)量的變化率時,所述標準數(shù)據(jù)為類別數(shù)量的預設標準變化率區(qū)間,那么,判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,具體為:判斷相應的離散數(shù)據(jù)的類別數(shù)量的變化率是否落入所述類別數(shù)量的預設標準變化率區(qū)間。延續(xù)表2對應的示例,假設上一次針對該應用程序的測試后,沒有出現(xiàn)異常結果(即,類別數(shù)量為0),而本次測試后,表2中的測試結果類別為4(即指定特征為4),假設針對該應用程序的各次測試結果,可接受的異常結果的變化率為[1,3](也即,此時的預設標準變化率區(qū)間為[1,3]),顯然,表2中離散數(shù)據(jù)的指定特征(為4)并未落入到預設標準變化率區(qū)間中,因此,可以認為此次測試結果不通過。在上述兩種方式中,指定特征均是與離散數(shù)據(jù)集合中離散數(shù)據(jù)的類別數(shù)量相關。除此之外,指定特征還可以與離散數(shù)據(jù)對應的數(shù)據(jù)值相關。三、對相應的離散數(shù)據(jù)的數(shù)據(jù)值進行檢測在該場景下,當所述待測樣本數(shù)據(jù)為相應的離散數(shù)據(jù)的數(shù)據(jù)值時,所述標準數(shù)據(jù)為標準數(shù)據(jù)值,那么,判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,具 體為:判斷相應的離散數(shù)據(jù)的數(shù)據(jù)值是否符合所述標準數(shù)據(jù)值。例如:假設離散數(shù)據(jù)集合為5名用戶的貸款利率數(shù)據(jù),如下表3所示:用戶貸款利率用戶11.9用戶21.7用戶31.8用戶41.7用戶50.9表3其中,表3中各用戶對應的貸款利率值就是離散數(shù)據(jù)的數(shù)據(jù)值。并假設用戶的貸款利率至少為1.5(也即,標準數(shù)據(jù)值為1.5),顯然,用戶5的貸款利率0.9低于該標準數(shù)據(jù)值1.5,因此,可以認為表3中的貸款利率數(shù)據(jù)異常。四、對相應的離散數(shù)據(jù)的數(shù)據(jù)值的變化率進行檢測與上述基于類別數(shù)量的變化率的檢測方式類似,實際應用中的某些情況下,離散數(shù)據(jù)的數(shù)據(jù)值也存在一定范圍的波動,那么,在這樣的情況下,只通過數(shù)據(jù)值的大小來確定離散數(shù)據(jù)集合是否異常并不一定準確。所以,在該場景下,當所述指定特征為離散數(shù)據(jù)的數(shù)據(jù)值的變化率時,所述標準數(shù)據(jù)為數(shù)據(jù)值的預設標準變化率區(qū)間,判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,具體為:判斷所述離散數(shù)據(jù)的數(shù)據(jù)值的變化率是否落入所述預設的標準變化率區(qū)間。例如:假設離散數(shù)據(jù)集合是針對某應用程序進行測試后,所得到的不同類別測試結果出現(xiàn)的次數(shù),該離散數(shù)據(jù)集合如下表4a所示:測試結果次數(shù)異常一類12異常二類10表4a表4a中,異常的測試結果類別所出現(xiàn)的次數(shù),就是離散數(shù)據(jù)的數(shù)據(jù)值,假設歷史數(shù)據(jù)中,測試結果類別為“異常一類”出現(xiàn)次數(shù)的均值為3,測試結果類別為“異常二類”出現(xiàn)次數(shù)的均值為2,那么,本次測試的測試結果中,異常一類的變化率為4、異常二類的變化率為5。假設,標準變化率區(qū)間為[1.5~3.5],顯然,本次測試所得到的測試結果類型的次數(shù),已經(jīng)超出了標準變化率區(qū)間的范圍,這就表明,本次測試得到的結果出現(xiàn)了異常。上述內(nèi)容僅作為本申請實施例中的可選方式,并不構成對本申請的限定。顯然,通過上述的檢測方式,可以針對離散數(shù)據(jù)集合進行不同方面的檢測,尤其在實際應用中,用戶針對待測試的離散數(shù)據(jù)集合,可以配置多種檢測方式,從而有效地提升了對離散數(shù)據(jù)集合檢測的準確性,而且,用戶所配置的檢測方式將由相應的檢測設備自動執(zhí)行,不需要檢測過程中的人工介入,有效提升了對離散數(shù)據(jù)集合進行檢測的效率。以上為本申請實施例提供的數(shù)據(jù)檢測方法,在實際應用中,本申請中的上述方法,可以通過如圖2a所示的系統(tǒng)架構實現(xiàn),在圖2a所示的架構中,由運行在數(shù)據(jù)倉庫上的數(shù)據(jù)生產(chǎn)系統(tǒng)向離散數(shù)據(jù)監(jiān)控系統(tǒng)發(fā)送檢測請求,相應地,離散數(shù)據(jù)監(jiān)控系統(tǒng)中的監(jiān)控觸發(fā)模塊會根據(jù)該檢測請求進行初始化操作,包括:校驗該檢測請求的信息格式、與該檢測請求對應的離散數(shù)據(jù)集合、確定相應的檢測方式等操作。完成了初始化操作后,就會由監(jiān)控采集模塊進一步采集待測樣本數(shù)據(jù),再由監(jiān)控校驗數(shù)據(jù)完成對樣本數(shù)據(jù)的檢測。其中,監(jiān)控采集模塊可以通過數(shù)據(jù)庫(DataBase,DB)、開放數(shù)據(jù)處理服務(OpenDataProcessingService,ODPS)平臺或Hive(一種數(shù)據(jù)倉庫工具),采集到樣本數(shù)據(jù)和標準數(shù)據(jù)。監(jiān)控校驗模塊在檢測到離散數(shù)據(jù)集合為正常后,會將離散數(shù)據(jù)集合存儲在DB中,以便后續(xù)使用?;谕瑯拥乃悸罚旧暾垖嵤├€提供一種數(shù)據(jù)檢測裝置,如圖2b所示。在圖2b中,所述數(shù)據(jù)檢測裝置包括:接收模塊201、確定模塊202以及檢測模塊203,其中,所述接收模塊201,用于接收針對離散數(shù)據(jù)集合的檢測請求。所述確定模塊202,用于確定所述檢測請求所對應的所述離散數(shù)據(jù)集合,及該離散數(shù)據(jù)集合對應的檢測方式。所述檢測模塊203,用于根據(jù)確定出的所述檢測方式,對所述離散數(shù)據(jù)集合進行檢測,以判斷所述離散數(shù)據(jù)集合是否異常。若是,則對所述離散數(shù)據(jù)集合進行相應處理;否則,則將所述離散數(shù)據(jù)集合進行存儲。在本申請實施例中,所述檢測請求中攜帶有所述離散數(shù)據(jù)集合的存儲位置信息,此時,所述確定模塊202,具體用于獲取所述檢測請求中包含的所述離散數(shù)據(jù)集合的存儲位置信息,根據(jù)所述存儲位置信息,查找所述離散數(shù)據(jù)集合。在查找到了所述離散數(shù)據(jù)后,便可以確定與該離散數(shù)據(jù)相匹配的檢測方式,故所述確定模塊202,具體用于獲取與所述離散數(shù)據(jù)集合相匹配的檢測配置信息;其中,所述檢測配置信息中包含有檢測方式信息;讀取所述檢測配置信息中包含的檢測方式信息,確定所述檢測方式信息對應的檢測方式。在本申請實施例中,所述檢測模塊203,具體用于根據(jù)所述檢測方式,確定所述離散數(shù)據(jù)集合中相應的離散數(shù)據(jù)的指定特征,采集所述離散數(shù)據(jù)的指定特征作為待測樣本數(shù)據(jù),通過比對預設的標準數(shù)據(jù)與所述待測樣本數(shù)據(jù),判斷所述待測樣本數(shù)據(jù)與標準數(shù)據(jù)是否匹配,若是,則判定所述離散數(shù)據(jù)集合正常;否則,則判定所述離散數(shù)據(jù)集合異常。在一種實施方式中,當所述指定特征為類別的數(shù)量時,所述標準數(shù)據(jù)為類別的預設標準數(shù)量。此時,所述檢測模塊203,具體用于判斷所述類別的數(shù)量是否匹配所述類別的預設標準數(shù)量。在一種實施方式中,當所述指定特征為類別數(shù)量的變化率時,所述標準數(shù)據(jù)為類別數(shù)量的預設標準變化率區(qū)間。此時,所述檢測模塊203,具體用于判斷所述類別數(shù)量的變化率是否落入所述類別數(shù)量的預設標準變化率區(qū)間。在一種實施方式中,當所述指定特征為所述數(shù)據(jù)值時,所述標準數(shù)據(jù)為標準數(shù)據(jù)值。此時,所述檢測模塊203,具體用于判斷所述數(shù)據(jù)值是否符合所述 標準數(shù)據(jù)值。在一種實施方式中,當所述指定特征為數(shù)據(jù)值的變化率時,所述標準數(shù)據(jù)為數(shù)據(jù)值的預設標準變化率區(qū)間。此時,所述檢測模塊203,具體用于判斷所述數(shù)據(jù)值的變化率是否落入所述預設的標準變化率區(qū)間。在一個典型的配置中,計算設備包括一個或多個處理器(CPU)、輸入/輸出接口、網(wǎng)絡接口和內(nèi)存。內(nèi)存可能包括計算機可讀介質中的非永久性存儲器,隨機存取存儲器(RAM)和/或非易失性內(nèi)存等形式,如只讀存儲器(ROM)或閃存(flashRAM)。內(nèi)存是計算機可讀介質的示例。計算機可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結構、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質的例子包括,但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、其他類型的隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學存儲、磁盒式磁帶,磁帶磁磁盤存儲或其他磁性存儲設備或任何其他非傳輸介質,可用于存儲可以被計算設備訪問的信息。按照本文中的界定,計算機可讀介質不包括暫存電腦可讀媒體(transitorymedia),如調(diào)制的數(shù)據(jù)信號和載波。還需要說明的是,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。本領域技術人員應明白,本申請的實施例可提供為方法、系統(tǒng)或計算機程 序產(chǎn)品。因此,本申請可采用完全硬件實施例、完全軟件實施例或結合軟件和硬件方面的實施例的形式。而且,本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。以上所述僅為本申請的實施例而已,并不用于限制本申請。對于本領域技術人員來說,本申請可以有各種更改和變化。凡在本申請的精神和原理之內(nèi)所作的任何修改、等同替換、改進等,均應包含在本申請的權利要求范圍之內(nèi)。當前第1頁1 2 3 
當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1