元數(shù)據(jù)管理方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例設(shè)及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其設(shè)及一種元數(shù)據(jù)管理方法、裝置及 系統(tǒng)。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)平臺(tái)產(chǎn)品中需要管理的數(shù)據(jù)(例如，日志數(shù)據(jù)、 基礎(chǔ)數(shù)據(jù)、全文數(shù)據(jù)、對(duì)象數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)等等)類別不斷增多，數(shù)量也在不斷的增大，并且 變得非常復(fù)雜，使得對(duì)運(yùn)些數(shù)據(jù)的管理變得更加的重要和困難。
[0003] 但是面對(duì)來(lái)自現(xiàn)實(shí)和網(wǎng)絡(luò)中的海量數(shù)據(jù)，應(yīng)該怎樣高效地管理好運(yùn)些數(shù)據(jù)，又該 如何很好地利用好運(yùn)些數(shù)據(jù)，解決運(yùn)些問(wèn)題已經(jīng)非常的急迫和重要，不然大量的數(shù)據(jù)信息 就不能派上用場(chǎng)，或者是浪費(fèi)大量的時(shí)間來(lái)管理運(yùn)些數(shù)據(jù)。當(dāng)前大數(shù)據(jù)產(chǎn)品在面對(duì)種類繁 多、數(shù)量巨大的嚴(yán)峻挑戰(zhàn)，暴露出如下幾方面嚴(yán)重的問(wèn)題：
[0004] 數(shù)據(jù)在各個(gè)業(yè)務(wù)組件中重復(fù)性的描述;數(shù)據(jù)在各個(gè)業(yè)務(wù)組件中不一致的描述;各 個(gè)業(yè)務(wù)組件在理解和使用新數(shù)據(jù)時(shí)，需要大量人工投入;數(shù)據(jù)擴(kuò)展性差，增加新數(shù)據(jù)時(shí)，需 要修改大量程序代碼才能得到支持;配置文件、說(shuō)明文檔等低效的管理方式不能實(shí)時(shí)地、準(zhǔn) 確地管理數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供一種元數(shù)據(jù)管理方法、裝置及系統(tǒng)，W實(shí)現(xiàn)大數(shù)據(jù)的可視化管 理，有效提高數(shù)據(jù)管理效率。
[0006] 第一方面，本發(fā)明實(shí)施例提供了一種元數(shù)據(jù)管理方法，包括：
[0007] 采用元數(shù)據(jù)格式對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行描述形成元數(shù)據(jù)，并保存元數(shù)據(jù)和對(duì)應(yīng)的描述信 息；
[000引提供管理所述元數(shù)據(jù)的可視化界面，通過(guò)所述可視化界面和所述描述信息管理元 數(shù)據(jù)。
[0009] 第二方面，本發(fā)明實(shí)施例還提供一種元數(shù)據(jù)管理裝置，包括：
[0010] 元數(shù)據(jù)生成模塊，用于采用元數(shù)據(jù)格式對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行描述形成元數(shù)據(jù)，并保存 元數(shù)據(jù)和對(duì)應(yīng)的描述信息；
[0011] 可視化管理模塊，用于提供管理所述元數(shù)據(jù)的可視化界面，通過(guò)所述可視化界面 和所述描述信息管理元數(shù)據(jù)。
[0012] 第Ξ方面，本發(fā)明實(shí)施例還提供一種基于Ambari的大數(shù)據(jù)管理系統(tǒng)，包括上述第 二方面所述的元數(shù)據(jù)管理裝置。
[0013] 本發(fā)明實(shí)施例通過(guò)采用元數(shù)據(jù)格式對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行描述形成元數(shù)據(jù)，并保存元數(shù) 據(jù)和對(duì)應(yīng)的描述信息；提供管理所述元數(shù)據(jù)的可視化界面，通過(guò)所述可視化界面和所述描 述信息管理元數(shù)據(jù)。本發(fā)明實(shí)施例能夠?qū)崿F(xiàn)大數(shù)據(jù)的可視化管理，有效提高數(shù)據(jù)管理效率。
【附圖說(shuō)明】
[0014] 圖1A為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法的流程示意圖；
[0015] 圖1B為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)添加操作的流程示意圖；
[0016] 圖1C為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)刪除操作的流程示意圖；
[0017] 圖1D為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)修改操作的流程示意圖；
[0018] 圖化為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)查詢操作的流程示意圖；
[0019] 圖1F為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)導(dǎo)入操作的流程示意圖；
[0020] 圖1G為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法中元數(shù)據(jù)導(dǎo)出操作的流程示意圖；
[0021] 圖2為本發(fā)明實(shí)施例二提供的元數(shù)據(jù)管理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0022] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明?？蒞理解的是，此處所描 述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便 于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0023] 實(shí)施例一
[0024] 圖1A為本發(fā)明實(shí)施例一提供的元數(shù)據(jù)管理方法的流程示意圖，如圖1A所示，具體 包括如下步驟：
[0025] 步驟11a、采用元數(shù)據(jù)格式對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行描述形成元數(shù)據(jù)，并保存元數(shù)據(jù)和對(duì)應(yīng) 的描述信息；
[0026] 其中，所述描述信息包括代碼集、元素信息、字段集和數(shù)據(jù)集中的至少一種組成。
[0027] 具體的，為了高效地管理好大數(shù)據(jù)產(chǎn)品中的龐大而復(fù)雜的業(yè)務(wù)數(shù)據(jù)，在本實(shí)施例 中引入元數(shù)據(jù)的方法來(lái)更好地、更規(guī)范地管理數(shù)據(jù)。元數(shù)據(jù)通常來(lái)講就是描述"數(shù)據(jù)"的數(shù) 據(jù)，由于需要管理的數(shù)據(jù)非常復(fù)雜，用元數(shù)據(jù)來(lái)描述運(yùn)些數(shù)據(jù)，可W大大提高管理和利用數(shù) 據(jù)的效率，對(duì)于數(shù)據(jù)的利用更加的準(zhǔn)確和方便，對(duì)于數(shù)據(jù)的管理也更加的規(guī)范和高效。
[0028] 元數(shù)據(jù)W結(jié)構(gòu)化的形式描述各種數(shù)據(jù)集的組成、表達(dá)、約束、操作W及數(shù)據(jù)集的其 他特征。它不僅有利于對(duì)數(shù)據(jù)的查詢、統(tǒng)計(jì)等操作，而且便于數(shù)據(jù)的轉(zhuǎn)換、維護(hù)、理解和使 用。在整個(gè)大數(shù)據(jù)處理平臺(tái)中各個(gè)軟件服務(wù)都通過(guò)元數(shù)據(jù)的方式來(lái)理解和使用輸入的業(yè)務(wù) 數(shù)據(jù)，并按照元數(shù)據(jù)描述和約束輸出加工處理后的業(yè)務(wù)數(shù)據(jù)。
[0029] 為了在保證業(yè)務(wù)數(shù)據(jù)有一致、統(tǒng)一、不重復(fù)和標(biāo)準(zhǔn)的定義和描述，本實(shí)施例通過(guò)如 下表一所述的數(shù)據(jù)集、字段、元素和代碼集四個(gè)層面的元數(shù)據(jù)規(guī)范化描述業(yè)務(wù)數(shù)據(jù)。
[0030] 表一
[0031]
[0033] 其中，1個(gè)數(shù)據(jù)集可W包含1個(gè)或者多個(gè)字段；1個(gè)字段能且只能引用1個(gè)元素；1個(gè) 元素引用0個(gè)或者1個(gè)代碼集；1個(gè)大數(shù)據(jù)平臺(tái)產(chǎn)品中可能包含若干個(gè)數(shù)據(jù)集。例如，如果需 要處統(tǒng)計(jì)和存儲(chǔ)互聯(lián)網(wǎng)上的QQ協(xié)議的數(shù)據(jù)，先定義一個(gè)QQ協(xié)議的數(shù)據(jù)集，包括數(shù)據(jù)集的描 述信息（名稱、編號(hào)、類別、包含的屬性信息(如:QQ號(hào)，昵稱，性別，畢業(yè)院校…），數(shù)據(jù)集屬性 的描述信息又包括:取值類型、精度范圍、支持操作等描述信息。
[0034] 步驟12a、提供管理所述元數(shù)據(jù)的可視化界面，通過(guò)所述可視化界面和所述描述信 息管理元數(shù)據(jù)。
[0035] 具體的，本實(shí)施例提供一種元數(shù)據(jù)管理客戶端，可通過(guò)用戶在元數(shù)據(jù)管理客戶端 管理界面觸發(fā)的指令，對(duì)元數(shù)據(jù)進(jìn)行相應(yīng)的管理操作。
[0036] 本實(shí)施例通過(guò)采用元數(shù)據(jù)格式對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行描述形成元數(shù)據(jù)，并保存元數(shù)據(jù)和 對(duì)應(yīng)的描述信息；提供管理所述元數(shù)據(jù)的可視化界面，通過(guò)所述可視化界面和所述描述信 息管理元數(shù)據(jù)。本實(shí)施例能夠?qū)崿F(xiàn)大數(shù)據(jù)的可視化管理，有效提高數(shù)據(jù)管理效率。
[0037] 示例性的，在上述實(shí)施例的基礎(chǔ)上，通過(guò)所述可視化界面和所述描述信息管理元 數(shù)據(jù)的操作主要包括元數(shù)據(jù)的添加、元數(shù)據(jù)的刪除、元數(shù)據(jù)的修改、元數(shù)據(jù)的查詢、元數(shù)據(jù) 文件的導(dǎo)出和導(dǎo)出等操作。
[0038] 其中，如圖1B所示，元數(shù)據(jù)的添加操作包括：
[0039] 步驟11b、接收用戶在所述可視化界面輸入的元數(shù)據(jù)添加請(qǐng)求，所述元數(shù)據(jù)添加請(qǐng) 求中包含所述元數(shù)據(jù)的描述信息；
[0040] 步驟12b、驗(yàn)證所述元數(shù)據(jù)的描述信息是否符合第一預(yù)設(shè)規(guī)定；
[0041] 其中，對(duì)于不同的描述信息所述第一預(yù)設(shè)規(guī)定不同。具體的，對(duì)于元素信息，需要 驗(yàn)證的元素編碼、英文名稱、中文名稱、數(shù)據(jù)類型、數(shù)據(jù)長(zhǎng)度、可能引用的代碼集編碼、自然 分類等等信息是否準(zhǔn)確，例如判斷元素編碼、英文名稱是否重復(fù)、判斷中文名稱持否超長(zhǎng)、 數(shù)據(jù)長(zhǎng)度是否在約定范圍或者元素引用的代碼集是否存在;對(duì)于字段集，需要驗(yàn)證該字段 所引用的元素編碼、約束信息（比如:是否為必填字段、默認(rèn)值、是否支持查詢、是否支持統(tǒng) 計(jì)、是否支持排序)等等是否符合規(guī)定標(biāo)準(zhǔn);對(duì)于代碼集，需要驗(yàn)證代碼集編號(hào)、名稱，W及 該代碼集合中的值名稱和值編碼是否準(zhǔn)確，例如判斷代碼集編碼W及英文名稱是否重復(fù)或 代碼集中的值編碼是否重復(fù);對(duì)于數(shù)據(jù)集，需要驗(yàn)證數(shù)據(jù)集的編碼、版本、英文名稱、字段、 主鍵/外鍵、所屬模塊編號(hào)、類別、存儲(chǔ)技術(shù)、狀態(tài)等等信息，例如，判斷數(shù)據(jù)集編碼、英文名 稱是否重復(fù)、包含的字段是否重復(fù)、包含的字段引用的元素是否存在、序號(hào)是否重復(fù)等。
[0042] 若所述元數(shù)據(jù)的描述信息均符合規(guī)定，則執(zhí)行步驟13b;否則提示用戶重新輸入描 述信息，并返回執(zhí)行步驟1化。
[0043] 步驟13b、對(duì)符合第一預(yù)設(shè)規(guī)定的元數(shù)據(jù)進(jìn)行存儲(chǔ)，并增加訪問(wèn)接口。
[0044] 其中，如圖1C所示，元數(shù)據(jù)的刪除操作包括：
[0045] 步驟11c、接收用戶在所述可視化界面觸發(fā)的元數(shù)據(jù)刪除請(qǐng)求，所述元數(shù)據(jù)刪除請(qǐng) 求中包含所述元數(shù)據(jù)的描述信息；
[0046] 步驟12c、驗(yàn)證所述元數(shù)據(jù)的描述信息是否符合第二預(yù)設(shè)規(guī)定；
[0047] 例如，通過(guò)元素編碼選擇要?jiǎng)h除的元素，在刪除元素時(shí)，檢查是否有數(shù)據(jù)集中的字 段引用該元素;通過(guò)代碼集編碼選擇要?jiǎng)h除的代碼集，在刪除代碼集時(shí)，檢查是否有元素引 用該代碼集。通過(guò)數(shù)據(jù)集編碼選擇要?jiǎng)h除的數(shù)據(jù)集。
[004引步驟13c、刪除符合第二預(yù)設(shè)規(guī)定的元數(shù)據(jù)。
[0049] 其中，如圖1D所示，元數(shù)據(jù)的修改操作包括：
[0050] 步驟lid、接收用戶在所述可視化界面觸發(fā)的元數(shù)據(jù)修改請(qǐng)求，所述元數(shù)據(jù)修改請(qǐng) 求中包含所述元數(shù)據(jù)的描述信息；
[0051] 步驟12d、開(kāi)啟可編輯模式，接收用戶對(duì)所述元數(shù)據(jù)的描述信息的修改；
[0052] 步驟13d、驗(yàn)證修改后的所述元數(shù)據(jù)的描述信息是否符合第一預(yù)設(shè)規(guī)定；
[0053] 步驟14d、對(duì)修改后的描述信息符合第一預(yù)設(shè)規(guī)定的元數(shù)據(jù)進(jìn)行存儲(chǔ)，并增加訪問(wèn) 接口。
[0