個節(jié)點，在每個節(jié)點采集相應(yīng)的節(jié)點數(shù)據(jù)，并將所述節(jié)點數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫元數(shù)據(jù)關(guān)聯(lián)后保存。
[0036]本步驟用于遍歷各有效子語句對應(yīng)的每個抽象語法樹中的各節(jié)點，以便收集血統(tǒng)分析所需要的各種信息，即在各節(jié)點上采用相應(yīng)的節(jié)點數(shù)據(jù)。
[0037]較佳地，所述節(jié)點數(shù)據(jù)可以包括下述內(nèi)容:
[0038]表節(jié)點的元數(shù)據(jù)信息(如表節(jié)點類型是臨時別名表還是實體表、字段信息(包括內(nèi)查詢輸入字段，查詢輸出字段及表達式，輸出字段的最底層來源，關(guān)聯(lián)的條件))、表節(jié)點的查詢約束條件(如表的過濾條件)、本節(jié)點與兄弟節(jié)點的協(xié)作關(guān)系(如關(guān)聯(lián)表的信息)以及本節(jié)點和父節(jié)點的查詢關(guān)系。
[0039]具體地，所述元數(shù)據(jù)信息包括表的物理結(jié)構(gòu)、類型和分區(qū)信息。
[0040]這里，通過在每個節(jié)點上采集節(jié)點數(shù)據(jù)，可以獲得表、字段的來龍去脈和加工明細信息，但是，這些節(jié)點數(shù)據(jù)還不夠全面，不能支持用戶的數(shù)據(jù)回溯，需要再將這些數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫的元數(shù)據(jù)(即表屬于的生產(chǎn)庫、ETL過程任務(wù)信息以及下游報表系統(tǒng))，這樣，便可獲得完整的血統(tǒng)數(shù)據(jù)鏈。
[0041 ] ETL (Extract-Transform-Load)過程，用來描述將數(shù)據(jù)從來源端經(jīng)過萃取(extract)、轉(zhuǎn)置(transform)、加載(load)至目的端的過程。
[0042]采用上述血統(tǒng)分析方法，所得到的血統(tǒng)分析數(shù)據(jù)，將有利于快速回溯數(shù)據(jù)的加工處理過程和準確定位數(shù)據(jù)的最底層來源；能準確分析上游元數(shù)據(jù)對下游的影響，更重要的是提升了數(shù)據(jù)質(zhì)量，隨之提升了報表和分析結(jié)果的可信度。
[0043]圖2為與上述方法相對應(yīng)的數(shù)據(jù)倉庫的血統(tǒng)分析裝置結(jié)構(gòu)示意圖，如圖所示，該裝置包括:
[0044]拆分單元，用于對于當前執(zhí)行的蜂巢結(jié)構(gòu)化查詢語言HQL語句段，進行拆分預(yù)處理，得到一組有效子語句，每個所述有效子語句為最小的可執(zhí)行語句。
[0045]語法樹生成單元，用于對于每個所述有效子語句，進行語法、詞法和語義分析，生成相應(yīng)的抽象語法樹。
[0046]采集關(guān)聯(lián)單元，用于對于每個抽象語法樹，遍歷該抽象語法樹中的每個節(jié)點，在每個節(jié)點采集相應(yīng)的節(jié)點數(shù)據(jù)，并將所述節(jié)點數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫元數(shù)據(jù)關(guān)聯(lián)后保存。
[0047]較佳地，所述拆分單元，進一步用于對所述HQL語句段進行拆分，得到相應(yīng)的子語句集合，所述集合中的每個子語句為最小的可執(zhí)行語句；刪除所述子語句集合中對數(shù)據(jù)倉庫有物理操作的語句；將所述HQL語句段所屬程序的信息，與當前所述子語句集合中的每個子語句進行關(guān)聯(lián)；將所述子語句集合中的子語句作為所述有效子語句。
[0048]較佳地，所述語法樹生成單元，進一步用于采用Antlr語法分析工具，進行所述語法、詞法和語義分析，生成相應(yīng)的抽象語法樹。
[0049]較佳地，所述節(jié)點數(shù)據(jù)包括:表節(jié)點的元數(shù)據(jù)信息、表節(jié)點的查詢約束條件、本節(jié)點與兄弟節(jié)點的協(xié)作關(guān)系以及本節(jié)點和父節(jié)點的查詢關(guān)系。
[0050]較佳地，所述元數(shù)據(jù)信息包括表的物理結(jié)構(gòu)、類型和分區(qū)信息。
[0051]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種數(shù)據(jù)倉庫的血統(tǒng)分析方法，其特征在于，包括: 對于當前執(zhí)行的蜂巢結(jié)構(gòu)化查詢語言HQL語句段，進行拆分預(yù)處理，得到一組有效子語句，每個所述有效子語句為最小的可執(zhí)行語句； 對于每個所述有效子語句，進行語法、詞法和語義分析，生成相應(yīng)的抽象語法樹； 對于每個抽象語法樹，遍歷該抽象語法樹中的每個節(jié)點，在每個節(jié)點采集相應(yīng)的節(jié)點數(shù)據(jù)，并將所述節(jié)點數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫元數(shù)據(jù)關(guān)聯(lián)后保存。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述拆分預(yù)處理包括: 對所述HQL語句段進行拆分，得到相應(yīng)的子語句集合，所述集合中的每個子語句為最小的可執(zhí)行語句； 刪除所述子語句集合中對數(shù)據(jù)倉庫有物理操作的語句； 將所述HQL語句段所屬程序的信息，與當前所述子語句集合中的每個子語句進行關(guān)聯(lián); 將所述子語句集合中的子語句作為所述有效子語句。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用Antlr語法分析工具，進行所述語法、詞法和語義分析，生成相應(yīng)的抽象語法樹。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述節(jié)點數(shù)據(jù)包括: 表節(jié)點的元數(shù)據(jù)信息、表節(jié)點的查詢約束條件、本節(jié)點與兄弟節(jié)點的協(xié)作關(guān)系以及本節(jié)點和父節(jié)點的查詢關(guān)系。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述元數(shù)據(jù)信息包括表的物理結(jié)構(gòu)、類型和分區(qū)信息。6.一種數(shù)據(jù)倉庫的血統(tǒng)分析裝置，其特征在于，包括: 拆分單元，用于對于當前執(zhí)行的蜂巢結(jié)構(gòu)化查詢語言HQL語句段，進行拆分預(yù)處理，得到一組有效子語句，每個所述有效子語句為最小的可執(zhí)行語句； 語法樹生成單元，用于對于每個所述有效子語句，進行語法、詞法和語義分析，生成相應(yīng)的抽象語法樹； 采集關(guān)聯(lián)單元，用于對于每個抽象語法樹，遍歷該抽象語法樹中的每個節(jié)點，在每個節(jié)點采集相應(yīng)的節(jié)點數(shù)據(jù)，并將所述節(jié)點數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫元數(shù)據(jù)關(guān)聯(lián)后保存。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述拆分單元，進一步用于對所述HQL語句段進行拆分，得到相應(yīng)的子語句集合，所述集合中的每個子語句為最小的可執(zhí)行語句；刪除所述子語句集合中對數(shù)據(jù)倉庫有物理操作的語句；將所述HQL語句段所屬程序的信息，與當前所述子語句集合中的每個子語句進行關(guān)聯(lián)；將所述子語句集合中的子語句作為所述有效子語句。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述語法樹生成單元，進一步用于采用Antlr語法分析工具，進行所述語法、詞法和語義分析，生成相應(yīng)的抽象語法樹。9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述節(jié)點數(shù)據(jù)包括:表節(jié)點的元數(shù)據(jù)信息、表節(jié)點的查詢約束條件、本節(jié)點與兄弟節(jié)點的協(xié)作關(guān)系以及本節(jié)點和父節(jié)點的查詢關(guān)系O10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述元數(shù)據(jù)信息包括表的物理結(jié)構(gòu)、類型和分區(qū)信息。
【專利摘要】本申請公開了一種數(shù)據(jù)倉庫的血統(tǒng)分析方法和裝置，其中，方法包括：對于當前執(zhí)行的HIVE SQL語句段，進行拆分預(yù)處理，得到一組有效子語句，每個所述有效子語句為最小的可執(zhí)行語句；對于每個所述有效子語句，進行語法、詞法和語義分析，生成相應(yīng)的抽象語法樹；對于每個抽象語法樹，遍歷該抽象語法樹中的每個節(jié)點，在每個節(jié)點采集相應(yīng)的節(jié)點數(shù)據(jù)，并將所述節(jié)點數(shù)據(jù)與相應(yīng)的數(shù)據(jù)倉庫元數(shù)據(jù)關(guān)聯(lián)后保存。采用本發(fā)明，可以提高血統(tǒng)分析數(shù)據(jù)的應(yīng)用價值，有利于用戶的數(shù)據(jù)回溯以及分析數(shù)據(jù)倉庫上游元數(shù)據(jù)對下游的影響。
【IPC分類】G06F17/30
【公開號】CN104899314
【申請?zhí)枴緾N201510337139
【發(fā)明人】劉志祖, 張軍, 牟一超, 張凱, 曾卓豪
【申請人】北京京東尚科信息技術(shù)有限公司, 北京京東世紀貿(mào)易有限公司
【公開日】2015年9月9日
【申請日】2015年6月17日