多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法。
【背景技術(shù)】
[0002]隨著機(jī)構(gòu)日常運(yùn)營(yíng)結(jié)構(gòu)化數(shù)據(jù)的積累，互聯(lián)網(wǎng)上發(fā)布的行業(yè)相關(guān)數(shù)據(jù)不斷的增加，業(yè)務(wù)相關(guān)的數(shù)據(jù)激增。應(yīng)用大數(shù)據(jù)技術(shù)提升業(yè)績(jī)對(duì)于機(jī)構(gòu)來說是當(dāng)下的緊急需求。
[0003]但是，激增數(shù)據(jù)存在結(jié)數(shù)據(jù)質(zhì)量低、構(gòu)差異性大、收集范圍廣泛、處理起來復(fù)雜度高，數(shù)據(jù)模型擴(kuò)展性差、數(shù)據(jù)分析算法結(jié)果不準(zhǔn)確的問題，無法做到將采集到的數(shù)據(jù)完整的匯集到主數(shù)據(jù)中心，從而無法實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行全面的分析和展示。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的旨在至少解決所述技術(shù)缺陷之一。
[0005]為此，本發(fā)明的目的在于提出一種多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法，在保證數(shù)據(jù)真實(shí)性下進(jìn)行準(zhǔn)確分析業(yè)務(wù)數(shù)據(jù)、使得業(yè)務(wù)數(shù)據(jù)模型進(jìn)行自動(dòng)化建立、優(yōu)化、擴(kuò)展，針對(duì)個(gè)性化需求進(jìn)行相關(guān)性分析和展示得到解決。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例提供一種多來源業(yè)務(wù)數(shù)據(jù)的管理方法，包括如下步驟:
[0007]步驟S1，接收來自企業(yè)系統(tǒng)的內(nèi)部數(shù)據(jù)和來自互聯(lián)網(wǎng)的外部數(shù)據(jù)；
[0008]步驟S2，對(duì)所述內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行分析以分類為結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)；
[0009]步驟S3，對(duì)所述非結(jié)構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換以轉(zhuǎn)換為對(duì)應(yīng)的文本內(nèi)容，對(duì)轉(zhuǎn)換后的非結(jié)構(gòu)數(shù)據(jù)和所述結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取和清洗；
[0010]步驟S4，根據(jù)企業(yè)的內(nèi)部需求建立多個(gè)業(yè)務(wù)模型，其中，所述多個(gè)業(yè)務(wù)模型通過機(jī)器與步驟S3中抽取和清洗后的非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)進(jìn)行結(jié)合，所述業(yè)務(wù)模型根據(jù)數(shù)據(jù)流入自我學(xué)習(xí)和優(yōu)化，自動(dòng)生成主數(shù)據(jù)中心；
[0011 ] 步驟S5，對(duì)所述主數(shù)據(jù)中心中的數(shù)據(jù)進(jìn)行處理分析以得到業(yè)務(wù)分析結(jié)果，所述業(yè)務(wù)分析結(jié)果包括不同業(yè)務(wù)之間的聯(lián)系信息、業(yè)務(wù)與外部因素的聯(lián)系信息和業(yè)務(wù)與時(shí)間的聯(lián)系信息；
[0012]步驟S6，將所述業(yè)務(wù)分析結(jié)果通過數(shù)字化和圖形化界面進(jìn)行展示。
[0013]進(jìn)一步，所述內(nèi)部數(shù)據(jù)為企業(yè)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，所述業(yè)務(wù)數(shù)據(jù)包括:管理數(shù)據(jù)、營(yíng)銷數(shù)據(jù)、采購數(shù)據(jù)、庫存數(shù)據(jù)、質(zhì)量數(shù)據(jù)、成本數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、流程控制數(shù)據(jù)和工業(yè)鏈數(shù)據(jù)。
[0014]進(jìn)一步，所述結(jié)構(gòu)數(shù)據(jù)為文本格式數(shù)據(jù)，所述非結(jié)構(gòu)數(shù)據(jù)包括:PDF文件、WORD文檔、XML庫和語音文件。
[0015]進(jìn)一步，在所述步驟S3中，對(duì)所述非結(jié)構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換以轉(zhuǎn)換為對(duì)應(yīng)的文本內(nèi)容，包括如下步驟:
[0016]建立語音模型，根據(jù)所述語音模型將所述語音文件轉(zhuǎn)換為文本內(nèi)容；
[0017]建立內(nèi)容抽取模型，根據(jù)所述內(nèi)容抽取模型將所述roF文件、WORD文檔和XML庫轉(zhuǎn)換為文本內(nèi)容。
[0018]進(jìn)一步，在所述步驟S3中，還包括如下步驟:對(duì)所述結(jié)構(gòu)化數(shù)據(jù)建立數(shù)據(jù)質(zhì)量指標(biāo)。
[0019]進(jìn)一步，在所述步驟S5中，對(duì)所述主數(shù)據(jù)中心中的數(shù)據(jù)進(jìn)行處理分析，包括如下步驟:對(duì)所述主數(shù)據(jù)中心中的數(shù)據(jù)進(jìn)行分類、聚類、回歸、關(guān)聯(lián)、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)預(yù)測(cè)和業(yè)務(wù)模型的擴(kuò)建。
[0020]進(jìn)一步，所述業(yè)務(wù)分析結(jié)果還包括:業(yè)務(wù)流程的關(guān)系信息、數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系信息、外部因素與內(nèi)部因素的關(guān)系信息。
[0021]進(jìn)一步，在所述步驟S6中，所述業(yè)務(wù)分析結(jié)果以報(bào)表、靜態(tài)圖和動(dòng)態(tài)圖的形式展現(xiàn)。
[0022]根據(jù)本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法，在導(dǎo)入內(nèi)部的業(yè)務(wù)數(shù)據(jù)和外部的互聯(lián)網(wǎng)數(shù)據(jù)的同時(shí)，對(duì)結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取、清洗，對(duì)非結(jié)構(gòu)數(shù)據(jù)進(jìn)行人工轉(zhuǎn)義、合并、分類，并對(duì)業(yè)務(wù)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)建立數(shù)據(jù)質(zhì)量指標(biāo)后，采用多臺(tái)機(jī)器分布式計(jì)算和存儲(chǔ)，這樣很大的提高了數(shù)據(jù)收集能力。本發(fā)明基于所關(guān)注的業(yè)務(wù)模型，自動(dòng)化的分析和展示，能夠快速發(fā)現(xiàn)與業(yè)務(wù)相關(guān)性的問題。在保證數(shù)據(jù)真實(shí)性下進(jìn)行準(zhǔn)確分析業(yè)務(wù)數(shù)據(jù)、使得業(yè)務(wù)數(shù)據(jù)模型進(jìn)行自動(dòng)化建立、優(yōu)化、擴(kuò)展，針對(duì)個(gè)性化需求進(jìn)行相關(guān)性分析和展示得到解決，并且解決了現(xiàn)有業(yè)務(wù)數(shù)據(jù)的收集、處理、匯集、分析、展現(xiàn)方法的不足，能夠查找出隱藏在機(jī)構(gòu)運(yùn)營(yíng)的誤區(qū)，對(duì)運(yùn)營(yíng)過程加深監(jiān)控和管理。
[0023]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0024]本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0025]圖1為根據(jù)本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法的流程框圖；
[0026]圖2為根據(jù)本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法的框架圖；
[0027]圖3為根據(jù)本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法的示意圖。
【具體實(shí)施方式】
[0028]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0029]本發(fā)明提供了一種多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法，該方法提供對(duì)業(yè)務(wù)數(shù)據(jù)的收集、處理、匯集、分析、展現(xiàn)的功能，可以在收集數(shù)據(jù)和處理多樣性業(yè)務(wù)數(shù)據(jù)來源過程中建立流程規(guī)范性，并和業(yè)務(wù)需求相互結(jié)合，通過機(jī)器學(xué)習(xí)自動(dòng)構(gòu)建業(yè)務(wù)模型，將有效數(shù)據(jù)匯集到主數(shù)據(jù)中心。主數(shù)據(jù)中心的數(shù)據(jù)通過分析后的結(jié)果進(jìn)行數(shù)據(jù)展示。
[0030]下面參考圖1至圖3對(duì)本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法進(jìn)行說明。
[0031]如圖1所示，本發(fā)明實(shí)施例的多來源業(yè)務(wù)大數(shù)據(jù)的建模、分析、自我優(yōu)化的方法，包括如下步驟:
[0032]步驟S1，接收來自企業(yè)系統(tǒng)的內(nèi)部數(shù)據(jù)和來自互聯(lián)網(wǎng)的外部數(shù)據(jù)。
[0033]在本發(fā)明的一個(gè)實(shí)施例中，內(nèi)部數(shù)據(jù)為企業(yè)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，包括來自ERP (Enterprise Resource Planning，企業(yè)資源計(jì)劃)系統(tǒng)、CRM (Customer Relat1nshipManagement，客戶關(guān)系管理)系統(tǒng)、0A (Office Automat1n，辦公自動(dòng)化)系統(tǒng)。
[0034]其中，業(yè)務(wù)數(shù)據(jù)包括:管理數(shù)據(jù)、營(yíng)銷數(shù)據(jù)、采購數(shù)據(jù)、庫存數(shù)據(jù)、質(zhì)量數(shù)據(jù)、成本數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、流程控制數(shù)據(jù)和供應(yīng)鏈數(shù)據(jù)。
[0035]需要說明的是，因每個(gè)機(jī)構(gòu)業(yè)務(wù)類型的差異，內(nèi)部數(shù)據(jù)來源的數(shù)據(jù)類型也可以是多樣的。
[0036]步驟S2，對(duì)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行分析以分類為結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)。
[0037]具體地，根據(jù)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)的文件格式進(jìn)行分析，將數(shù)據(jù)劃分為結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)。其中，結(jié)構(gòu)數(shù)據(jù)為文本格式數(shù)據(jù)。非結(jié)構(gòu)數(shù)據(jù)包括:PDF文件、WORD文檔、XML庫和語音文件。
[0038]步驟S3，對(duì)非結(jié)構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換以轉(zhuǎn)換為對(duì)應(yīng)的文本內(nèi)容，對(duì)轉(zhuǎn)換后的非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取和清洗。
[0039]在本步驟中，對(duì)非結(jié)構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換以轉(zhuǎn)換為對(duì)應(yīng)的文本內(nèi)容，包括如下步驟:
[0040](1)針對(duì)語音文件:
[0041]建立語音模型，根據(jù)語音模型將語音文件轉(zhuǎn)換為文本內(nèi)容進(jìn)行輸出。
[0042](2)針對(duì)TOF文件、WORD文檔和XML庫文件:
[0043]建立內(nèi)容抽取模型，根據(jù)內(nèi)容抽取模型將PDF文件、WORD文檔和XML庫轉(zhuǎn)換為文本內(nèi)容進(jìn)行輸出。
[0044]需要說明的是，在本步驟中，還需要對(duì)結(jié)構(gòu)化數(shù)據(jù)建立數(shù)據(jù)質(zhì)量指標(biāo)。
[0045]具體地，結(jié)構(gòu)化數(shù)據(jù)需要建立數(shù)據(jù)質(zhì)量指標(biāo)，其中數(shù)據(jù)質(zhì)量指標(biāo)包括:數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、完備性、唯一性、可訪問性、精確性、及時(shí)性、相關(guān)性、可使用性、明確性、客觀性等。其中，數(shù)據(jù)質(zhì)量指標(biāo)的內(nèi)容可以根據(jù)用戶的需要進(jìn)行設(shè)置，添加或刪除，在此不再贅述。
[0046]然后，參考圖2，由核心處理器對(duì)上述結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行抽取和清洗。
[0047]步驟S4，根據(jù)企業(yè)的內(nèi)部需求建立多個(gè)業(yè)務(wù)模型，其中，多個(gè)業(yè)務(wù)模型通過機(jī)器與步驟S3中抽取和清洗后的非結(jié)構(gòu)數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)進(jìn)行結(jié)合，業(yè)務(wù)模型根據(jù)數(shù)據(jù)流入自我學(xué)習(xí)和優(yōu)化，自動(dòng)生成主數(shù)據(jù)中心。
[00