一種數(shù)據(jù)共享發(fā)布系統(tǒng)及方法
【專利摘要】本發(fā)明提供了一種數(shù)據(jù)共享發(fā)布系統(tǒng)及方法，包括：授權(quán)管理模塊、數(shù)據(jù)預處理模塊、數(shù)據(jù)安全級別設(shè)置模塊、原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、綜合數(shù)據(jù)庫、共享數(shù)據(jù)庫、發(fā)布數(shù)據(jù)庫；所述的授權(quán)管理模塊，用于設(shè)置用戶清單、用戶權(quán)限配置規(guī)則，規(guī)范用戶標識符并對用戶權(quán)限進行配置；所述的數(shù)據(jù)預處理模塊，用于將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并進行預處理；所述的數(shù)據(jù)安全級別設(shè)置模塊，用于設(shè)置數(shù)據(jù)安全級別；所述的原始數(shù)據(jù)庫，用于存儲由外部獲取的各類數(shù)據(jù)資源的未經(jīng)加工的原始數(shù)據(jù)；所述的基礎(chǔ)數(shù)據(jù)庫，用于存儲經(jīng)過數(shù)據(jù)預處理單元處理后數(shù)據(jù)。
【專利說明】
一種數(shù)據(jù)共享發(fā)布系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及數(shù)據(jù)共享發(fā)布領(lǐng)域。
【背景技術(shù)】
[0002]隨著計算機技術(shù)及不斷深入，可以被利用的數(shù)據(jù)越來越多，各種數(shù)據(jù)源也不斷增多，為了實現(xiàn)數(shù)據(jù)的最大價值，數(shù)據(jù)的開放共享是時代的必然，但由于數(shù)據(jù)源的分布性、異構(gòu)性、自治性及數(shù)據(jù)格式多樣性等問題，數(shù)據(jù)量的指數(shù)增長為各種數(shù)據(jù)的關(guān)聯(lián)組合及有效利用帶來一系列問題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問題是實現(xiàn)基于海量各類外部數(shù)據(jù)，高效、安全的按需提供數(shù)據(jù)共享及發(fā)布功能。
[0004]為此目的，本發(fā)明提供一種數(shù)據(jù)共享發(fā)布系統(tǒng)，包括:授權(quán)管理模塊、數(shù)據(jù)預處理模塊、數(shù)據(jù)安全級別設(shè)置模塊、原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、綜合數(shù)據(jù)庫、共享數(shù)據(jù)庫、發(fā)布數(shù)據(jù)庫；
所述的授權(quán)管理模塊，用于設(shè)置用戶清單、用戶權(quán)限配置規(guī)則，規(guī)范用戶標識符并對用戶權(quán)限進行配置；
所述的數(shù)據(jù)預處理模塊，用于將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并進行預處理；
所述的數(shù)據(jù)安全級別設(shè)置模塊，用于設(shè)置數(shù)據(jù)安全級別；
所述的原始數(shù)據(jù)庫，用于存儲由外部獲取的各類數(shù)據(jù)資源的未經(jīng)加工的原始數(shù)據(jù)； 所述的基礎(chǔ)數(shù)據(jù)庫，用于存儲經(jīng)過數(shù)據(jù)預處理模塊處理后數(shù)據(jù)；
所述的綜合數(shù)據(jù)庫，用于存儲對基礎(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)進行加工處理后生成新的數(shù)據(jù)，新的數(shù)據(jù)為結(jié)果數(shù)據(jù)；
所述的共享數(shù)據(jù)庫，用于按用戶需求對綜合數(shù)據(jù)庫中的結(jié)果數(shù)據(jù)或基礎(chǔ)數(shù)據(jù)庫中經(jīng)過預處理后的數(shù)據(jù)進行封裝和分發(fā)，將不同安全級別的數(shù)據(jù)提交給具有相應權(quán)限的用戶；所述的發(fā)布數(shù)據(jù)庫，用于面向社會公眾提供數(shù)據(jù)發(fā)布服務，發(fā)布數(shù)據(jù)庫與互聯(lián)網(wǎng)相連。
[0005]優(yōu)選的，所述數(shù)據(jù)預處理模塊，包括頁面分析單元、中文詞識別單元、數(shù)據(jù)清洗單元、特征抽取單元、數(shù)據(jù)集成單元、復雜網(wǎng)絡分析單元。
[0006]優(yōu)選的，所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，所述的加工處理為:統(tǒng)計匯總、派生指標計算、分析模型運算。
[0007]優(yōu)選的，所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，所述的共享數(shù)據(jù)庫，具有數(shù)據(jù)查詢及分析接
□ O
[0008]優(yōu)選的，所述的安全級別分為非公開、半公開、全公開；
所述的發(fā)布數(shù)據(jù)庫僅包含安全級別為全公開的數(shù)據(jù)。
[0009]本發(fā)明還提供一種適用于數(shù)據(jù)共享發(fā)布系統(tǒng)的數(shù)據(jù)共享發(fā)布方法，該方法包括以下步驟: SlOl:將外部數(shù)據(jù)不經(jīng)任何加工處理存儲至原始數(shù)據(jù)庫；
S102:將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并利用數(shù)據(jù)預處理模塊進行預處理；
S103:通過數(shù)據(jù)安全級別設(shè)置模塊，設(shè)置預處理后的數(shù)據(jù)安全級別；
S104:將符合相應安全級別的預處理后的數(shù)據(jù)按需鏡像到共享數(shù)據(jù)庫或發(fā)布數(shù)據(jù)庫；S105:共享數(shù)據(jù)庫按用戶需求將數(shù)據(jù)封裝和分發(fā)給具有相應權(quán)限的用戶，發(fā)布數(shù)據(jù)庫將需要發(fā)布的數(shù)據(jù)面向社會公眾發(fā)布。
[0010]本發(fā)明還提供一種適用于數(shù)據(jù)共享發(fā)布系統(tǒng)的數(shù)據(jù)共享發(fā)布方法，該方法包括以下步驟:
S201:將外部數(shù)據(jù)不經(jīng)任何加工處理存儲至原始數(shù)據(jù)庫；
S202:將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并利用數(shù)據(jù)預處理模塊進行預處理；
S203:將預處理后的數(shù)據(jù)進一步加工處理，從中產(chǎn)生新的數(shù)據(jù)并存儲于綜合數(shù)據(jù)庫，新的數(shù)據(jù)為結(jié)果數(shù)據(jù)；
S204:通過數(shù)據(jù)安全級別設(shè)置模塊，設(shè)置綜合數(shù)據(jù)庫中結(jié)果數(shù)據(jù)安全級別；
S205:將符合相應安全級別的結(jié)果數(shù)據(jù)按需鏡像到共享數(shù)據(jù)庫或發(fā)布數(shù)據(jù)庫；
S206:共享數(shù)據(jù)庫按用戶需求將數(shù)據(jù)封裝和分發(fā)給具有相應權(quán)限的用戶，發(fā)布數(shù)據(jù)庫將需要發(fā)布的數(shù)據(jù)面向社會公眾發(fā)布。
[0011]有益效果:
本發(fā)明所述的數(shù)據(jù)共享及發(fā)布系統(tǒng)及方法，對數(shù)據(jù)的加工處理均不在原始數(shù)據(jù)庫中操作，即原始數(shù)據(jù)庫中可分布式存儲大量未經(jīng)加工的原貌數(shù)據(jù)，因而避免了因多方同時對原始數(shù)據(jù)進行操作而導致沖突問題；
本發(fā)明所述的數(shù)據(jù)共享及發(fā)布系統(tǒng)及方法，可按需進行相關(guān)的數(shù)據(jù)處理、加工及共享發(fā)布，節(jié)約了集中存儲大量無意義數(shù)據(jù)的成本；
本發(fā)明所述的數(shù)據(jù)共享及發(fā)布系統(tǒng)及方法，對用戶權(quán)限及數(shù)據(jù)安全等級均進行了相應的設(shè)置，提高了數(shù)據(jù)共享及發(fā)布的安全性。
【附圖說明】
[0012]通過參考附圖會更加清楚的理解本發(fā)明的特征和優(yōu)點，附圖是示意性的而不應理解為對本發(fā)明進行任何限制，在附圖中:
圖1示出了本發(fā)明實施例中的一種數(shù)據(jù)共享發(fā)布系統(tǒng)及方法的結(jié)構(gòu)圖示意圖。
【具體實施方式】
[0013]下面將結(jié)合附圖對本發(fā)明的實施例進行詳細描述。
[0014]如圖1所示，本發(fā)明實施例中提供了一種數(shù)據(jù)共享發(fā)布系統(tǒng)，包括:授權(quán)管理模塊100、數(shù)據(jù)預處理模塊200、數(shù)據(jù)安全級別設(shè)置模塊300、原始數(shù)據(jù)庫400、基礎(chǔ)數(shù)據(jù)庫500、綜合數(shù)據(jù)庫600、共享數(shù)據(jù)庫700、發(fā)布數(shù)據(jù)庫800;
所述的授權(quán)管理模塊100，用于設(shè)置用戶清單、用戶權(quán)限配置規(guī)則，規(guī)范用戶標識符并對用戶權(quán)限進行配置；
所述的數(shù)據(jù)預處理模塊200，用于將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫500并進行預處理；
所述的數(shù)據(jù)安全級別設(shè)置模塊300，用于設(shè)置數(shù)據(jù)安全級別； 所述的原始數(shù)據(jù)庫400，用于存儲由外部獲取的各類數(shù)據(jù)資源的未經(jīng)加工的原始數(shù)據(jù)； 所述的基礎(chǔ)數(shù)據(jù)庫500，用于存儲經(jīng)過數(shù)據(jù)預處理模塊200處理后數(shù)據(jù)；
所述的綜合數(shù)據(jù)庫600，用于存儲對基礎(chǔ)數(shù)據(jù)庫500中的數(shù)據(jù)進行加工處理后生成新的數(shù)據(jù)，新的數(shù)據(jù)為結(jié)果數(shù)據(jù)；
所述的共享數(shù)據(jù)庫700，用于按用戶需求對綜合數(shù)據(jù)庫600中的結(jié)果數(shù)據(jù)或基礎(chǔ)數(shù)據(jù)庫500中經(jīng)過預處理后的數(shù)據(jù)進行封裝和分發(fā)，將不同安全級別的數(shù)據(jù)提交給具有相應權(quán)限的用戶；
所述的發(fā)布數(shù)據(jù)庫800，用于面向社會公眾提供數(shù)據(jù)發(fā)布服務，發(fā)布數(shù)據(jù)庫800與互聯(lián)網(wǎng)相連。
[0015]優(yōu)選的，所述數(shù)據(jù)預處理模塊200，包括頁面分析單元、中文詞識別單元、數(shù)據(jù)清洗單元、特征抽取單元、數(shù)據(jù)集成單元、復雜網(wǎng)絡分析單元。
[0016]優(yōu)選的，所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，所述的加工處理為:統(tǒng)計匯總、派生指標計算、分析模型運算。
[0017]優(yōu)選的，所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，所述的共享數(shù)據(jù)庫700，具有數(shù)據(jù)查詢及分析接口。
[0018]優(yōu)選的，所述的安全級別分為非公開、半公開、全公開；
所述的發(fā)布數(shù)據(jù)庫800僅包含安全級別為全公開的數(shù)據(jù)。
[0019]以上實施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護范圍應由權(quán)利要求限定。
【主權(quán)項】
1.一種數(shù)據(jù)共享發(fā)布系統(tǒng)，其特征在于包括:授權(quán)管理模塊、數(shù)據(jù)預處理模塊、數(shù)據(jù)安全級別設(shè)置模塊、原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、綜合數(shù)據(jù)庫、共享數(shù)據(jù)庫、發(fā)布數(shù)據(jù)庫； 所述的授權(quán)管理模塊，用于設(shè)置用戶清單、用戶權(quán)限配置規(guī)則，規(guī)范用戶標識符并對用戶權(quán)限進行配置； 所述的數(shù)據(jù)預處理模塊，用于將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并進行預處理； 所述的數(shù)據(jù)安全級別設(shè)置模塊，用于設(shè)置數(shù)據(jù)安全級別； 所述的原始數(shù)據(jù)庫，用于存儲由外部獲取的各類數(shù)據(jù)資源的未經(jīng)加工的原始數(shù)據(jù)； 所述的基礎(chǔ)數(shù)據(jù)庫，用于存儲經(jīng)過數(shù)據(jù)預處理單元處理后數(shù)據(jù)； 所述的綜合數(shù)據(jù)庫，用于存儲對基礎(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)進行加工處理后生成新的數(shù)據(jù)，新的數(shù)據(jù)為結(jié)果數(shù)據(jù)； 所述的共享數(shù)據(jù)庫，用于按用戶需求對綜合數(shù)據(jù)庫中的結(jié)果數(shù)據(jù)或基礎(chǔ)數(shù)據(jù)庫中經(jīng)過預處理后的數(shù)據(jù)進行封裝和分發(fā)，將不同安全級別的數(shù)據(jù)提交給具有相應權(quán)限的用戶；所述的發(fā)布數(shù)據(jù)庫，用于面向社會公眾提供數(shù)據(jù)發(fā)布服務，發(fā)布數(shù)據(jù)庫與互聯(lián)網(wǎng)相連。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，其特征在于: 所述數(shù)據(jù)預處理模塊，包括頁面分析單元、中文詞識別單元、數(shù)據(jù)清洗單元、特征抽取單元、數(shù)據(jù)集成單元、復雜網(wǎng)絡分析單元。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，其特征在于: 所述的加工處理為:統(tǒng)計匯總、派生指標計算、分析模型運算。4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)共享發(fā)布系統(tǒng)，其特征在于: 所述的共享數(shù)據(jù)庫，具有數(shù)據(jù)查詢及分析接口。5.根據(jù)權(quán)利要求1所述數(shù)據(jù)共享發(fā)布系統(tǒng)，其特征在于: 所述的安全級別分為非公開、半公開、全公開； 所述的發(fā)布數(shù)據(jù)庫僅包含安全級別為全公開的數(shù)據(jù)。6.—種適用于數(shù)據(jù)共享發(fā)布系統(tǒng)的數(shù)據(jù)共享發(fā)布方法，其特征在于包括以下步驟: 5101:將外部數(shù)據(jù)不經(jīng)任何加工處理存儲至原始數(shù)據(jù)庫； 5102:將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并利用數(shù)據(jù)預處理模塊進行預處理； S103:通過數(shù)據(jù)安全級別設(shè)置模塊，設(shè)置預處理后的數(shù)據(jù)安全級別； S104:將符合相應安全級別的預處理后的數(shù)據(jù)按需鏡像到共享數(shù)據(jù)庫或發(fā)布數(shù)據(jù)庫；S105:共享數(shù)據(jù)庫按用戶需求將數(shù)據(jù)封裝和分發(fā)給具有相應權(quán)限的用戶，發(fā)布數(shù)據(jù)庫將需要發(fā)布的數(shù)據(jù)面向社會公眾發(fā)布。7.—種適用于數(shù)據(jù)共享發(fā)布系統(tǒng)的數(shù)據(jù)共享發(fā)布方法，其特征在于包括以下步驟: 5201:將外部數(shù)據(jù)不經(jīng)任何加工處理存儲至原始數(shù)據(jù)庫； 5202:將原始數(shù)據(jù)復制到基礎(chǔ)數(shù)據(jù)庫并利用數(shù)據(jù)預處理模塊進行預處理； S203:將預處理后的數(shù)據(jù)進一步加工處理，從中產(chǎn)生新的數(shù)據(jù)并存儲于綜合數(shù)據(jù)庫，新的數(shù)據(jù)為結(jié)果數(shù)據(jù)； S204:通過數(shù)據(jù)安全級別設(shè)置模塊，設(shè)置綜合數(shù)據(jù)庫中結(jié)果數(shù)據(jù)安全級別； S205:將符合相應安全級別的結(jié)果數(shù)據(jù)按需鏡像到共享數(shù)據(jù)庫或發(fā)布數(shù)據(jù)庫； S206:共享數(shù)據(jù)庫按用戶需求將數(shù)據(jù)封裝和分發(fā)給具有相應權(quán)限的用戶，發(fā)布數(shù)據(jù)庫將需要發(fā)布的數(shù)據(jù)面向社會公眾發(fā)布。
【文檔編號】G06F21/62GK105912950SQ201610228562
【公開日】2016年8月31日
【申請日】2016年4月13日
【發(fā)明人】董傳曄, 夏虎, 金暉, 朱曉婷
【申請人】國信優(yōu)易數(shù)據(jù)有限公司