本發(fā)明涉及銷(xiāo)售數(shù)據(jù)異常檢測(cè),具體涉及一種基于大數(shù)據(jù)分析的數(shù)據(jù)治理方法和系統(tǒng)。
背景技術(shù):
1、醫(yī)藥企業(yè)通過(guò)藥品銷(xiāo)售大數(shù)據(jù)建立預(yù)測(cè)模型,預(yù)測(cè)地區(qū)的藥品需求量。藥品銷(xiāo)售大數(shù)據(jù)的質(zhì)量影響預(yù)測(cè)模型建立的準(zhǔn)確性,數(shù)據(jù)治理通過(guò)建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制,可以提高藥品銷(xiāo)售大數(shù)據(jù)的數(shù)據(jù)質(zhì)量。在對(duì)藥品銷(xiāo)售大數(shù)據(jù)進(jìn)行數(shù)據(jù)治理過(guò)程中,由于藥品銷(xiāo)售的記錄和傳輸?shù)臅r(shí)候容易出現(xiàn)失誤,因此需要進(jìn)行數(shù)據(jù)清洗,消除異常的數(shù)據(jù),補(bǔ)充缺失的數(shù)據(jù)部分,形成可靠的數(shù)字資產(chǎn)。
2、由于地區(qū)藥品的銷(xiāo)售數(shù)據(jù)存在因操作失誤或異常傳輸?shù)惹闆r造成銷(xiāo)售數(shù)據(jù)異常,因此需要進(jìn)行數(shù)據(jù)清洗。在數(shù)據(jù)清洗時(shí),藥品銷(xiāo)售數(shù)據(jù)中的銷(xiāo)售時(shí)間、藥品銷(xiāo)售價(jià)等數(shù)據(jù)都可以根據(jù)其他數(shù)據(jù)直接推導(dǎo)完成交叉驗(yàn)證,通過(guò)交叉驗(yàn)證就能識(shí)別出異常數(shù)據(jù)完成數(shù)據(jù)清洗。但是售藥點(diǎn)的藥品銷(xiāo)售量與實(shí)際銷(xiāo)售情況掛鉤,無(wú)法通過(guò)直接推導(dǎo)進(jìn)行交叉驗(yàn)證以識(shí)別出異常數(shù)據(jù)。因此在數(shù)據(jù)治理過(guò)程中,由于藥品的藥品銷(xiāo)售量難以交叉驗(yàn)證,存在難以識(shí)別出藥品的藥品銷(xiāo)售量中異常數(shù)據(jù)的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、為了解決現(xiàn)有技術(shù)難以識(shí)別出藥品的藥品銷(xiāo)售量中異常數(shù)據(jù)的技術(shù)問(wèn)題,本發(fā)明的目的在于提供一種基于大數(shù)據(jù)分析的數(shù)據(jù)治理方法和系統(tǒng),所采用的技術(shù)方案具體如下:
2、一種基于大數(shù)據(jù)分析的數(shù)據(jù)治理方法,所述方法包括以下步驟:
3、獲取每個(gè)售藥點(diǎn)的系統(tǒng)數(shù)據(jù);所述系統(tǒng)數(shù)據(jù)包含售藥點(diǎn)的空間位置以及各個(gè)采樣周期下的天氣參數(shù)、藥品銷(xiāo)售量和藥品銷(xiāo)售價(jià);
4、以任意一個(gè)售藥點(diǎn)為目標(biāo)售藥點(diǎn),獲取所述目標(biāo)售藥點(diǎn)的參考周?chē)鬯廃c(diǎn);根據(jù)所述目標(biāo)售藥點(diǎn)和所述參考周?chē)鬯廃c(diǎn)的所述空間位置的距離以及所述藥品銷(xiāo)售價(jià)的差異,對(duì)目標(biāo)售藥點(diǎn)的所述藥品銷(xiāo)售量進(jìn)行調(diào)整獲取調(diào)整后的藥品銷(xiāo)售量;
5、以售藥點(diǎn)的任意一個(gè)調(diào)整后的藥品銷(xiāo)售量作為待分析異常點(diǎn);根據(jù)待分析異常點(diǎn)所屬售藥點(diǎn)的所述調(diào)整后的藥品銷(xiāo)售量和所述天氣參數(shù)的局部波動(dòng)程度在連續(xù)采樣周期下的相關(guān)性,以及待分析異常點(diǎn)對(duì)應(yīng)的天氣參數(shù)的局部波動(dòng)程度,獲取待分析異常點(diǎn)的異常程度;
6、根據(jù)所述異常程度,篩選出異常藥品銷(xiāo)售量。
7、進(jìn)一步地,所述目標(biāo)售藥點(diǎn)的參考周?chē)鬯廃c(diǎn)的獲取方法包括:
8、在采樣周期下除了所述目標(biāo)售藥點(diǎn)的其他所有售藥點(diǎn)中,獲取目標(biāo)售藥點(diǎn)和每個(gè)售藥點(diǎn)的空間位置之間歐氏距離,將歐氏距離小于預(yù)設(shè)距離閾值對(duì)應(yīng)的每個(gè)售藥點(diǎn),標(biāo)記為目標(biāo)售藥點(diǎn)的參考周?chē)鬯廃c(diǎn)。
9、進(jìn)一步地,所述調(diào)整后的藥品銷(xiāo)售量的獲取方法包括:
10、根據(jù)在采樣周期下所述目標(biāo)售藥點(diǎn)和所述參考周?chē)鬯廃c(diǎn)在空間位置維度的距離以及在藥品銷(xiāo)售價(jià)維度的差異,獲取所述參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的分流影響度;
11、根據(jù)參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的分流影響度,對(duì)目標(biāo)售藥點(diǎn)的藥品銷(xiāo)售量進(jìn)行調(diào)整,獲取目標(biāo)售藥點(diǎn)在采樣周期下調(diào)整后的藥品銷(xiāo)售量。
12、進(jìn)一步地,所述分流影響度的獲取方法包括:
13、根據(jù)所述目標(biāo)售藥點(diǎn)和所述參考周?chē)鬯廃c(diǎn)的空間位置之間歐氏距離,獲取所述參考周?chē)鬯廃c(diǎn)的位置影響值;
14、根據(jù)所述目標(biāo)售藥點(diǎn)和所述參考周?chē)鬯廃c(diǎn)的藥品銷(xiāo)售價(jià)的差異,獲取所述參考周?chē)鬯廃c(diǎn)的價(jià)格影響值;
15、根據(jù)所述位置影響值和所述價(jià)格影響值,獲取所述參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的分流影響度;所述位置影響值、所述價(jià)格影響值均和所述分流影響度呈正相關(guān)。
16、進(jìn)一步地,所述根據(jù)參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的分流影響度,對(duì)目標(biāo)售藥點(diǎn)的藥品銷(xiāo)售量進(jìn)行調(diào)整,獲取目標(biāo)售藥點(diǎn)在采樣周期下調(diào)整后的藥品銷(xiāo)售量的方法包括:
17、綜合在采樣周期下所有參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的所述分流影響度,獲取目標(biāo)售藥點(diǎn)的分流調(diào)節(jié)指標(biāo);
18、根據(jù)目標(biāo)售藥點(diǎn)的分流調(diào)節(jié)指標(biāo)和目標(biāo)售藥點(diǎn)的藥品銷(xiāo)售量,獲取目標(biāo)售藥點(diǎn)在采樣周期下調(diào)整后的藥品銷(xiāo)售量;所述藥品銷(xiāo)售量、分流調(diào)節(jié)指標(biāo)均和調(diào)整后的藥品銷(xiāo)售量呈正相關(guān)。
19、進(jìn)一步地,所述分流調(diào)節(jié)指標(biāo)獲取的方法包括:
20、計(jì)算在采樣周期下所有參考周?chē)鬯廃c(diǎn)對(duì)所述目標(biāo)售藥點(diǎn)的分流影響度的累加值,對(duì)累加值進(jìn)行歸一化,得到整體分流影響度;計(jì)算整體分流影響度和預(yù)設(shè)分流銷(xiāo)量值的乘積,得到目標(biāo)售藥點(diǎn)的分流調(diào)節(jié)指標(biāo)。
21、進(jìn)一步地,所述根據(jù)目標(biāo)售藥點(diǎn)的分流調(diào)節(jié)指標(biāo)和目標(biāo)售藥點(diǎn)的藥品銷(xiāo)售量,獲取目標(biāo)售藥點(diǎn)在采樣周期下調(diào)整后的藥品銷(xiāo)售量的方法包括:
22、計(jì)算目標(biāo)售藥點(diǎn)的分流調(diào)節(jié)指標(biāo)與藥品銷(xiāo)售量的和值,得到目標(biāo)售藥點(diǎn)在采樣周期下調(diào)整后的藥品銷(xiāo)售量。
23、進(jìn)一步地,所述異常程度的獲取方法包括:
24、根據(jù)待分析異常點(diǎn)所屬售藥點(diǎn)的調(diào)整后的藥品銷(xiāo)售量和天氣參數(shù)的局部波動(dòng)程度在連續(xù)采樣周期下的相關(guān)性,以及待分析異常點(diǎn)對(duì)應(yīng)的天氣參數(shù)的局部波動(dòng)程度,獲取待分析異常點(diǎn)的天氣影響度;
25、根據(jù)待分析異常點(diǎn)所屬售藥點(diǎn)的所有采樣周期下調(diào)整后的藥品銷(xiāo)售量,獲取待分析異常點(diǎn)的異常得分;
26、根據(jù)天氣影響度和異常得分,獲取待分析異常點(diǎn)的異常程度;所述異常得分和所述異常程度呈正相關(guān);所述天氣影響度和所述異常程度呈負(fù)相關(guān)。
27、進(jìn)一步地,所述天氣影響度的獲取方法包括:
28、確定天氣參數(shù)的參考時(shí)間范圍,計(jì)算在天氣參數(shù)的參考時(shí)間范圍中所有天氣參數(shù)的方差,獲取天氣參數(shù)的天氣變化度;
29、按照采樣周期的順序,依次統(tǒng)計(jì)待分析異常點(diǎn)所屬售藥點(diǎn)的各個(gè)調(diào)整后的藥品銷(xiāo)售量,獲取調(diào)整后的藥品銷(xiāo)售量時(shí)序數(shù)據(jù);依次統(tǒng)計(jì)待分析異常點(diǎn)所屬售藥點(diǎn)的各個(gè)天氣變化度,獲取天氣變化度時(shí)序數(shù)據(jù);將調(diào)整后的藥品銷(xiāo)售量時(shí)序數(shù)據(jù)和天氣變化度時(shí)序數(shù)據(jù)的皮爾遜相關(guān)系數(shù)進(jìn)行歸一化,得到藥品季節(jié)特征指標(biāo);
30、在待分析異常點(diǎn)所屬售藥點(diǎn)中,將與待分析異常點(diǎn)的采樣周期相同的天氣變化度進(jìn)行歸一化,作為待分析天氣變化指標(biāo);
31、計(jì)算藥品季節(jié)特征指標(biāo)和待分析天氣變化指標(biāo)的乘積,得到待分析異常點(diǎn)的天氣影響度。
32、本發(fā)明提出一種基于大數(shù)據(jù)分析的數(shù)據(jù)治理系統(tǒng),包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)任意一項(xiàng)所述一種基于大數(shù)據(jù)分析的數(shù)據(jù)治理方法的步驟。
33、本發(fā)明具有如下有益效果:
34、考慮到藥品銷(xiāo)售量中存在操作流程失誤和傳輸流程失誤造成的數(shù)據(jù)異常,流程異常數(shù)據(jù)和正常藥品銷(xiāo)售量具有較大差異,從而分析出藥品銷(xiāo)售量中流程異常數(shù)據(jù)??紤]到售藥點(diǎn)的周?chē)鬯廃c(diǎn)也是藥品銷(xiāo)售的重要渠道,以任意一個(gè)售藥點(diǎn)為目標(biāo)售藥點(diǎn),獲取目標(biāo)售藥點(diǎn)的參考周?chē)鬯廃c(diǎn);參考周?chē)鬯廃c(diǎn)會(huì)對(duì)目標(biāo)售藥點(diǎn)的藥品銷(xiāo)售量產(chǎn)生分流的影響;考慮到顧客往往傾向于距離較近且價(jià)格較便宜的售藥點(diǎn)進(jìn)行購(gòu)藥,距離目標(biāo)售藥點(diǎn)越近且藥品價(jià)格越低的參考周?chē)鬯廃c(diǎn)對(duì)目標(biāo)售藥點(diǎn)分流程度越大,對(duì)售藥點(diǎn)的藥品銷(xiāo)售量進(jìn)行調(diào)整,獲取售藥點(diǎn)的調(diào)整后的藥品銷(xiāo)售量。調(diào)整后的藥品銷(xiāo)售量降低了參考周?chē)鬯廃c(diǎn)的分流影響,使得后續(xù)進(jìn)行數(shù)據(jù)異常分析時(shí),降低因周?chē)鬯廃c(diǎn)分流使得藥品銷(xiāo)售量的波動(dòng)加劇,提高藥品銷(xiāo)售量的異常分析準(zhǔn)確性??紤]到部分藥品具有常服特征,即該藥品適用于患者的慢性病,患者對(duì)該藥品需求穩(wěn)定,銷(xiāo)量穩(wěn)定性高;部分藥品具有季節(jié)性特征,即該藥品適用于患者季節(jié)性疾病,在天氣波動(dòng)越大時(shí)藥品的藥品銷(xiāo)售量越高,例如感冒藥具有季節(jié)性特征,在天氣變化越大時(shí),人群中患有感冒的人群增多,對(duì)感冒藥需求越大,感冒藥的藥品銷(xiāo)售量增大;本發(fā)明考慮到具有季節(jié)特征指標(biāo)的藥品在天氣劇烈波動(dòng)時(shí)產(chǎn)生時(shí),銷(xiāo)量增大是正常購(gòu)藥現(xiàn)象,在進(jìn)行異常分析時(shí),降低藥品季節(jié)特征對(duì)異常分析的影響,獲取能更加準(zhǔn)確反映流程不當(dāng)產(chǎn)生失誤的異常程度,使得異常藥品銷(xiāo)售量能更好反映流程異常數(shù)據(jù),從而更好地對(duì)銷(xiāo)量數(shù)據(jù)進(jìn)行數(shù)據(jù)治理。