一種快速處理數(shù)據(jù)的商業(yè)智能分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及商業(yè)智能分析技術(shù)領(lǐng)域，尤其涉及一種快速處理數(shù)據(jù)的商業(yè)智能分析方法。
【背景技術(shù)】
[0002]商業(yè)智能(Business Intelligence，以下簡(jiǎn)稱BI)系統(tǒng)，它是一套完整的解決方案，用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確的提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。BI系統(tǒng)建立的關(guān)鍵是從許多來(lái)自不同組織運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽取(Extract1n)、轉(zhuǎn)換(Transformat1n)和裝載(Load)，即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖，在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、0LAP工具等對(duì)其進(jìn)行分析和處理(此時(shí)信息變?yōu)檩o助決策的知識(shí))，最后將知識(shí)呈現(xiàn)給管理者，為管理者決策過(guò)程提供支持?，F(xiàn)有的基于BI系統(tǒng)商業(yè)智能分析方法通常從業(yè)務(wù)流程出發(fā)收集數(shù)據(jù)，為描述業(yè)務(wù)進(jìn)展?fàn)顟B(tài)而自下而上的設(shè)立指標(biāo)并進(jìn)行商業(yè)智能分析，該種方法存在主要問(wèn)題為:只能提供數(shù)據(jù)展示，不能進(jìn)行數(shù)據(jù)交互和自由組合，不能進(jìn)行數(shù)據(jù)的二次挖掘，尤其是不能夠滿足現(xiàn)在大量數(shù)據(jù)的快速處理。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有技術(shù)中的不足，本發(fā)明提供了一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，其實(shí)現(xiàn)了數(shù)據(jù)之間的交互和自由組合，同時(shí)也實(shí)現(xiàn)了數(shù)據(jù)的二次挖掘和快速處理大數(shù)據(jù)量的功能。
[0004]為了實(shí)現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案是:
一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，包括以下步驟:
S1，通過(guò)數(shù)據(jù)源層存儲(chǔ)各類(lèi)關(guān)鍵數(shù)據(jù)來(lái)源信息；
S2，在數(shù)據(jù)源層上的數(shù)據(jù)通過(guò)采集層進(jìn)行整合，采集層中設(shè)置有數(shù)據(jù)采集工具模塊、數(shù)據(jù)清洗工具模塊和數(shù)據(jù)處理工具模塊，數(shù)據(jù)源層上的數(shù)據(jù)依次通過(guò)采集層上的數(shù)據(jù)采集工具模塊、數(shù)據(jù)清洗工具模塊和數(shù)據(jù)處理工具模塊處理之后傳遞給存儲(chǔ)層，采集層能夠?qū)⑻幚淼臄?shù)據(jù)形成統(tǒng)一的接口數(shù)據(jù)視圖，并根據(jù)業(yè)務(wù)需求劃分成不同的主題數(shù)據(jù)，同時(shí)也有利于采集層減少數(shù)據(jù)抽取過(guò)程對(duì)于數(shù)據(jù)源層系統(tǒng)的影響；
S3，存儲(chǔ)層將數(shù)據(jù)源中的流數(shù)據(jù)進(jìn)行收集整合，然后將流數(shù)據(jù)進(jìn)行分布式隊(duì)列，接下來(lái)進(jìn)行流數(shù)據(jù)預(yù)處理，且存儲(chǔ)層將數(shù)據(jù)源中的事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)分別進(jìn)行收集整合，然后將事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)均進(jìn)行分布式存儲(chǔ)Hadoop提供的分布式文件系統(tǒng)HDFS中，接下來(lái)進(jìn)行批量數(shù)據(jù)預(yù)處理，然后傳送給計(jì)算層；
S4，通過(guò)計(jì)算層中的實(shí)時(shí)計(jì)算模塊、離線計(jì)算模塊和并行計(jì)算模塊來(lái)計(jì)算存儲(chǔ)層的數(shù)據(jù)，并行計(jì)算模塊通過(guò)MapReduce實(shí)現(xiàn)多節(jié)點(diǎn)和多任務(wù)的并發(fā)處理，大大提高計(jì)算能力，減少數(shù)據(jù)加工的時(shí)間； S5，模型層中通過(guò)以數(shù)據(jù)和算法為對(duì)象建立數(shù)據(jù)模型和算法模型，上述步驟4中計(jì)算層計(jì)算出來(lái)的數(shù)據(jù)依次傳輸給數(shù)據(jù)模型和算法模型進(jìn)行處理，然后經(jīng)過(guò)算法模型處理的數(shù)據(jù)通過(guò)模型層中的數(shù)據(jù)分析框架模塊和數(shù)據(jù)挖掘框架模塊進(jìn)行處理之后通過(guò)接口層上傳給業(yè)務(wù)層，通過(guò)業(yè)務(wù)層可以對(duì)模型層處理后的數(shù)據(jù)進(jìn)行報(bào)表、查詢、挖掘、提取和數(shù)據(jù)可視化應(yīng)用，所述接口層中包括技術(shù)協(xié)議(Http/Socket)和數(shù)據(jù)協(xié)議(SML/JS0M)兩種形式，支持傳統(tǒng)的接口方式和數(shù)據(jù)格式。
[0005]本發(fā)明的有益效果:本發(fā)明提供快速處理數(shù)據(jù)的商業(yè)智能分析方法，有效解決了現(xiàn)有BI系統(tǒng)存在的只能提供數(shù)據(jù)展示，不能進(jìn)行數(shù)據(jù)交互和自由組合，不能進(jìn)行數(shù)據(jù)的二次挖掘，尤其是不能夠滿足現(xiàn)在大量數(shù)據(jù)的快速處理的不足，具有能夠快速處理大量數(shù)據(jù)、數(shù)據(jù)之間的交互和自由組合，有利于讓業(yè)務(wù)人員也可以自主分析，提高了工作效率，非常適用于當(dāng)今社會(huì)中的企業(yè)管理分析系統(tǒng)，為企業(yè)管理分析人員的管理決策提供有力的支持。
【附圖說(shuō)明】
[0006]圖1為本發(fā)明的流程示意圖。
【具體實(shí)施方式】
[0007]如圖1所示，一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，包括以下步驟:
S1，通過(guò)數(shù)據(jù)源層存儲(chǔ)各類(lèi)關(guān)鍵數(shù)據(jù)來(lái)源信息，將數(shù)據(jù)源層進(jìn)行簡(jiǎn)單劃分為結(jié)構(gòu)化數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)和其他形式，然后將數(shù)據(jù)簡(jiǎn)單歸納到對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)和其他形式中；
S2，在數(shù)據(jù)源層上的數(shù)據(jù)通過(guò)采集層進(jìn)行整合，采集層中設(shè)置有數(shù)據(jù)采集工具模塊、數(shù)據(jù)清洗工具模塊和數(shù)據(jù)處理工具模塊，數(shù)據(jù)源層上的數(shù)據(jù)依次通過(guò)采集層上的數(shù)據(jù)采集工具模塊、數(shù)據(jù)清洗工具模塊和數(shù)據(jù)處理工具模塊處理之后傳遞給存儲(chǔ)層，采集層能夠?qū)⑻幚淼臄?shù)據(jù)形成統(tǒng)一的接口數(shù)據(jù)視圖，并根據(jù)業(yè)務(wù)需求劃分成不同的主題數(shù)據(jù)，同時(shí)也有利于采集層減少數(shù)據(jù)抽取過(guò)程對(duì)于數(shù)據(jù)源層系統(tǒng)的影響；
S3，存儲(chǔ)層將數(shù)據(jù)源中的流數(shù)據(jù)進(jìn)行收集整合，然后將流數(shù)據(jù)進(jìn)行分布式隊(duì)列，接下來(lái)進(jìn)行流數(shù)據(jù)預(yù)處理，且存儲(chǔ)層將數(shù)據(jù)源中的事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)分別進(jìn)行收集整合，然后將事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)均進(jìn)行分布式存儲(chǔ)Hadoop提供的分布式文件系統(tǒng)HDFS中，接下來(lái)進(jìn)行批量數(shù)據(jù)預(yù)處理，然后傳送給計(jì)算層；
S4，通過(guò)計(jì)算層中的實(shí)時(shí)計(jì)算模塊、離線計(jì)算模塊和并行計(jì)算模塊來(lái)計(jì)算存儲(chǔ)層的數(shù)據(jù)，并行計(jì)算模塊通過(guò)MapReduce實(shí)現(xiàn)多節(jié)點(diǎn)和多任務(wù)的并發(fā)處理，大大提高計(jì)算能力，減少數(shù)據(jù)加工的時(shí)間；
S5，模型層中通過(guò)以數(shù)據(jù)和算法為對(duì)象建立數(shù)據(jù)模型和算法模型，上述步驟4中計(jì)算層計(jì)算出來(lái)的數(shù)據(jù)依次傳輸給數(shù)據(jù)模型和算法模型進(jìn)行處理，然后經(jīng)過(guò)算法模型處理的數(shù)據(jù)通過(guò)模型層中的數(shù)據(jù)分析框架模塊和數(shù)據(jù)挖掘框架模塊進(jìn)行處理之后通過(guò)接口層上傳給業(yè)務(wù)層，通過(guò)業(yè)務(wù)層可以對(duì)模型層處理后的數(shù)據(jù)進(jìn)行報(bào)表、查詢、挖掘、提取和數(shù)據(jù)可視化應(yīng)用，所述接口層中包括技術(shù)協(xié)議(Http/Socket)和數(shù)據(jù)協(xié)議(SML/JS0M)兩種形式，支持傳統(tǒng)的接口方式和數(shù)據(jù)格式。
[0008]本發(fā)明具有支持更多的分析和數(shù)據(jù)類(lèi)型，支持上千個(gè)計(jì)算機(jī)節(jié)點(diǎn)和PB級(jí)海量數(shù)據(jù)的分布式存儲(chǔ)與并行計(jì)算，可以對(duì)大數(shù)據(jù)量數(shù)據(jù)進(jìn)行分析，同時(shí)可以簡(jiǎn)化比較復(fù)雜的分析，滿足商業(yè)智能應(yīng)用的大數(shù)據(jù)商業(yè)智能分析方法，這樣就可以在短時(shí)間內(nèi)處理大量數(shù)據(jù)，完成大量數(shù)據(jù)的計(jì)算和存儲(chǔ)，本發(fā)明是一個(gè)集數(shù)據(jù)管理、分析、統(tǒng)計(jì)、監(jiān)控、預(yù)警、預(yù)測(cè)為一體的多功能平臺(tái)，采用敏捷BI系統(tǒng)的新型技術(shù)架構(gòu)，本發(fā)明可以支持分布式計(jì)算、內(nèi)存計(jì)算、列存儲(chǔ)、庫(kù)內(nèi)計(jì)算等大數(shù)據(jù)技術(shù)，利用數(shù)據(jù)挖掘、智能分析、多維分析和云計(jì)算等數(shù)據(jù)處理技術(shù)，大大提升了 BI系統(tǒng)的性能，本發(fā)明對(duì)大數(shù)據(jù)進(jìn)行高速捕獲和實(shí)時(shí)的分析，將復(fù)雜的數(shù)據(jù)信息通過(guò)分析計(jì)算后展現(xiàn)出各種有價(jià)值的信息，以獲取核心業(yè)務(wù)和戰(zhàn)略決策所需的關(guān)鍵信息，為企業(yè)管理者提供專業(yè)的商業(yè)智能解決方案，協(xié)助企業(yè)管理者及時(shí)調(diào)整策略，從而提升企業(yè)經(jīng)營(yíng)管理和戰(zhàn)略決策水平，增強(qiáng)企業(yè)的可持續(xù)競(jìng)爭(zhēng)性，最終創(chuàng)造巨大的商業(yè)價(jià)值。
[0009]本發(fā)明的有益效果:本發(fā)明提供快速處理數(shù)據(jù)的商業(yè)智能分析方法，有效解決了現(xiàn)有BI系統(tǒng)存在的只能提供數(shù)據(jù)展示，不能進(jìn)行數(shù)據(jù)交互和自由組合，不能進(jìn)行數(shù)據(jù)的二次挖掘，尤其是不能夠滿足現(xiàn)在大量數(shù)據(jù)的快速處理的不足，具有能夠快速處理大量數(shù)據(jù)、數(shù)據(jù)之間的交互和自由組合，有利于讓業(yè)務(wù)人員也可以自主分析，提高了工作效率，非常適用于當(dāng)今社會(huì)中的企業(yè)管理分析系統(tǒng)，為企業(yè)管理分析人員的管理決策提供有力的支持。
【主權(quán)項(xiàng)】
1.一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，其特征在于，包括以下步驟: S1，通過(guò)數(shù)據(jù)源層存儲(chǔ)各類(lèi)關(guān)鍵數(shù)據(jù)來(lái)源信息； S2，在數(shù)據(jù)源層上的數(shù)據(jù)通過(guò)采集層進(jìn)行整合，然后傳遞給存儲(chǔ)層； S3，存儲(chǔ)層將數(shù)據(jù)源中的流數(shù)據(jù)進(jìn)行收集整合，然后將流數(shù)據(jù)進(jìn)行分布式隊(duì)列，接下來(lái)進(jìn)行流數(shù)據(jù)預(yù)處理，且存儲(chǔ)層將數(shù)據(jù)源中的事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)分別進(jìn)行收集整合，然后將事實(shí)數(shù)據(jù)、維度數(shù)據(jù)和度量數(shù)據(jù)均進(jìn)行分布式存儲(chǔ)Hadoop提供的分布式文件系統(tǒng)HDFS中，接下來(lái)進(jìn)行批量數(shù)據(jù)預(yù)處理，然后傳送給計(jì)算層； S4，通過(guò)計(jì)算層中的實(shí)時(shí)計(jì)算模塊、離線計(jì)算模塊和并行計(jì)算模塊來(lái)計(jì)算存儲(chǔ)層的數(shù)據(jù)； S5，模型層中通過(guò)以數(shù)據(jù)和算法為對(duì)象建立數(shù)據(jù)模型和算法模型，上述步驟4中計(jì)算層計(jì)算出來(lái)的數(shù)據(jù)依次傳輸給數(shù)據(jù)模型和算法模型進(jìn)行處理，然后經(jīng)過(guò)算法模型處理的數(shù)據(jù)通過(guò)模型層中的數(shù)據(jù)分析框架模塊和數(shù)據(jù)挖掘框架模塊進(jìn)行處理之后通過(guò)接口層上傳給業(yè)務(wù)層，通過(guò)業(yè)務(wù)層可以對(duì)模型層處理后的數(shù)據(jù)進(jìn)行報(bào)表、查詢、挖掘、提取和數(shù)據(jù)可視化應(yīng)用。2.如權(quán)利要求1所述的一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，其特征在于，所述采集層中設(shè)置有數(shù)據(jù)采集工具模塊、數(shù)據(jù)清洗工具模塊和數(shù)據(jù)處理工具模塊。3.如權(quán)利要求1所述的一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，其特征在于，所述接口層中包括技術(shù)協(xié)議和數(shù)據(jù)協(xié)議兩種形式。
【專利摘要】本發(fā)明公開(kāi)了一種快速處理數(shù)據(jù)的商業(yè)智能分析方法，包括以下步驟：S1，通過(guò)數(shù)據(jù)源層存儲(chǔ)各類(lèi)關(guān)鍵數(shù)據(jù)來(lái)源信息；S2，在數(shù)據(jù)源層上的數(shù)據(jù)通過(guò)采集層進(jìn)行整合，然后傳遞給存儲(chǔ)層；S3，存儲(chǔ)層將數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行整合和處理之后傳送給計(jì)算層；S4，通過(guò)計(jì)算層中的實(shí)時(shí)計(jì)算模塊、離線計(jì)算模塊和并行計(jì)算模塊來(lái)計(jì)算存儲(chǔ)層的數(shù)據(jù)；S5，上述步驟4中計(jì)算層計(jì)算出來(lái)的數(shù)據(jù)傳遞給模型層進(jìn)行處理，模型層處理之后通過(guò)接口層上傳給業(yè)務(wù)層，通過(guò)業(yè)務(wù)層可以對(duì)模型層處理后的數(shù)據(jù)進(jìn)行報(bào)表、查詢、挖掘、提取和數(shù)據(jù)可視化應(yīng)用。本發(fā)明設(shè)計(jì)合理，實(shí)現(xiàn)了數(shù)據(jù)之間的交互和自由組合，同時(shí)也實(shí)現(xiàn)了數(shù)據(jù)的二次挖掘，且能夠?qū)崿F(xiàn)快速處理大數(shù)據(jù)量的功能。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105320757
【申請(qǐng)?zhí)枴緾N201510675705
【發(fā)明人】戰(zhàn)國(guó)科, 王真震, 陳杰輝
【申請(qǐng)人】杭州華量軟件有限公司
【公開(kāi)日】2016年2月10日
【申請(qǐng)日】2015年10月19日