值，本發(fā)明對此不作限制。
[0039]需要說明的是，預(yù)設(shè)順序是預(yù)先設(shè)置的排序順序，可以是降序排序，可以是升序排序，或是其他的排序方式，本發(fā)明對此不作限制。
[0040]步驟104、通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。[0041 ] 具體的，Hive數(shù)據(jù)處理的裝置在獲取了排序后的目標(biāo)數(shù)據(jù)后，可以通過Hi ve將排序后的目標(biāo)數(shù)據(jù)輸出，進(jìn)而可以使用戶獲取到排序后的目標(biāo)數(shù)據(jù)。
[0042]需要說明的是，在本發(fā)明實施例中，通過Hive將排序后的目標(biāo)數(shù)據(jù)輸出的具體方法與現(xiàn)有技術(shù)中的通過Hive將排序后的目標(biāo)數(shù)據(jù)輸出相同，在此不再贅述。
[0043]本發(fā)明實施例提供了一種Hive數(shù)據(jù)處理的方法，包括:獲取數(shù)據(jù)請求消息；根據(jù)數(shù)據(jù)請求通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。這樣，Hive數(shù)據(jù)處理的裝置可以獲取數(shù)據(jù)請求消息，并根據(jù)數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息在Hive中確定出目標(biāo)排序函數(shù)，進(jìn)而可以根據(jù)此目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，得到用戶所需的排序后的目標(biāo)數(shù)據(jù)，進(jìn)而可以將排序后的目標(biāo)數(shù)據(jù)輸出。這樣一來，通過Hive數(shù)據(jù)處理的裝置輸出的數(shù)據(jù)是排序后的數(shù)據(jù)，進(jìn)而實現(xiàn)了對查詢數(shù)據(jù)的排序功能，滿足了用戶需要，提高了用戶體驗。
[0044]進(jìn)一步的，在上述步驟103之前，還包括:
[0045]步驟105、接收至少一個排序函數(shù)。
[0046]需要說明的是，由于用戶需要將查詢的進(jìn)行排序，此時可以根據(jù)用戶的實際需求編寫至少一個排序函數(shù)。即為，根據(jù)用戶可能需要的數(shù)據(jù)排序規(guī)則，可以針對每種排序規(guī)則編寫一個排序函數(shù)。例如，針對將數(shù)據(jù)進(jìn)行降序排序的排序規(guī)則編寫一個排序函數(shù)。將數(shù)據(jù)進(jìn)行升序排序的排序規(guī)則編寫一個排序函數(shù)。一個排序函數(shù)可以記錄一種排序規(guī)則。
[0047]具體的，在用戶編寫了至少一個排序函數(shù)后，需要將編寫的至少一個排序函數(shù)加載至Hive中，以便Hive在進(jìn)行數(shù)據(jù)查詢時，對查詢的數(shù)據(jù)進(jìn)行排序。因此，可以將在編寫的至少一個排序函數(shù)發(fā)送至Hive數(shù)據(jù)處理的裝置中，此時，Hive數(shù)據(jù)處理的裝置可以接收到至少一個排序函數(shù)。
[0048]步驟106、利用add file命令加載至少一個排序函數(shù)至Hive中。
[0049]具體的，Hive數(shù)據(jù)處理的裝置接收到至少一個排序函數(shù)后，可以利用add file命令將接收的至少一個排序函數(shù)加載至Hive中，以便Hive可以利用排序函數(shù)對查詢到的目標(biāo)數(shù)據(jù)進(jìn)行相應(yīng)的排序。
[0050]需要說明的是，本發(fā)明對步驟101-102與步驟105-106間的順序不做限制。可以先執(zhí)行步驟101-102，再執(zhí)行步驟105-106 ;也可以先執(zhí)行步驟105-106，再執(zhí)行步驟101-102 ；還可以同時執(zhí)行步驟101-102與步驟105-106。在圖示中僅表示出一種情況。
[0051]本發(fā)明實施例提供了一種Hive數(shù)據(jù)處理的方法，包括:獲取數(shù)據(jù)請求消息；根據(jù)數(shù)據(jù)請求通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。這樣，Hive數(shù)據(jù)處理的裝置可以獲取數(shù)據(jù)請求消息，并根據(jù)數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息在Hive中確定出目標(biāo)排序函數(shù)，進(jìn)而可以根據(jù)此目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，得到用戶所需的排序后的目標(biāo)數(shù)據(jù)，進(jìn)而可以將排序后的目標(biāo)數(shù)據(jù)輸出。這樣一來，通過Hive數(shù)據(jù)處理的裝置輸出的數(shù)據(jù)是排序后的數(shù)據(jù)，進(jìn)而實現(xiàn)了對查詢數(shù)據(jù)的排序功能，滿足了用戶需要，提高了用戶體驗。
[0052]本發(fā)明實施例提供了一種Hive數(shù)據(jù)處理的裝置，如圖3所示，包括:
[0053]獲取單元301，用于獲取數(shù)據(jù)請求消息。
[0054]其中，數(shù)據(jù)請求消息中攜帶有目標(biāo)數(shù)據(jù)的排序相關(guān)信息
[0055]獲取單元301，還用于根據(jù)數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)。
[0056]具體的，獲取單元301，具體用于根據(jù)數(shù)據(jù)請求消息通過Hive利用load data命令獲取目標(biāo)數(shù)據(jù)。
[0057]處理單元302，用于根據(jù)獲取單元301獲取的數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序。
[0058]其中，排序函數(shù)中記錄有對數(shù)據(jù)進(jìn)行排序的排序規(guī)則。
[0059]進(jìn)一步的，排序規(guī)則為對目標(biāo)數(shù)據(jù)中的每個key值對應(yīng)的不同value值進(jìn)行預(yù)設(shè)順序的排序。
[0060]輸出單元303，用于通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。
[0061]進(jìn)一步的，上述Hive數(shù)據(jù)處理的裝置，如圖4所示，還包括:
[0062]接收單元304，用于接收至少一個排序函數(shù)。
[0063]處理單元302，還用于利用add file命令加載至少一個排序函數(shù)至Hive中。
[0064]本發(fā)明實施例提供了一種Hive數(shù)據(jù)處理的裝置，包括:獲取數(shù)據(jù)請求消息；根據(jù)數(shù)據(jù)請求通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。這樣，Hive數(shù)據(jù)處理的裝置可以獲取數(shù)據(jù)請求消息，并根據(jù)數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)數(shù)據(jù)請求消息在Hive中確定出目標(biāo)排序函數(shù)，進(jìn)而可以根據(jù)此目標(biāo)排序函數(shù)對目標(biāo)數(shù)據(jù)進(jìn)行排序，得到用戶所需的排序后的目標(biāo)數(shù)據(jù)，進(jìn)而可以將排序后的目標(biāo)數(shù)據(jù)輸出。這樣一來，通過Hive數(shù)據(jù)處理的裝置輸出的數(shù)據(jù)是排序后的數(shù)據(jù)，進(jìn)而實現(xiàn)了對查詢數(shù)據(jù)的排序功能，滿足了用戶需要，提高了用戶體驗。
[0065]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
【主權(quán)項】
1.一種Hive數(shù)據(jù)處理的方法，其特征在于，包括: 獲取數(shù)據(jù)請求消息；所述數(shù)據(jù)請求消息中攜帶有目標(biāo)數(shù)據(jù)的排序相關(guān)信息； 根據(jù)所述數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)； 根據(jù)所述數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)所述目標(biāo)排序函數(shù)對所述目標(biāo)數(shù)據(jù)進(jìn)行排序；所述排序函數(shù)中記錄有對數(shù)據(jù)進(jìn)行排序的排序規(guī)則； 通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述數(shù)據(jù)請求消息在Hive中確定出目標(biāo)排序函數(shù)之前，還包括: 接收至少一個排序函數(shù)； 利用add file命令加載所述至少一個排序函數(shù)至Hive中。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)包括: 根據(jù)所述數(shù)據(jù)請求消息通過Hive利用load data命令獲取所述目標(biāo)數(shù)據(jù)。4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于， 所述排序規(guī)則為對目標(biāo)數(shù)據(jù)中的每個關(guān)鍵字key值對應(yīng)的不同數(shù)值value進(jìn)行預(yù)設(shè)順序的排序。5.一種Hive數(shù)據(jù)處理的裝置，其特征在于，包括: 獲取單元，用于獲取數(shù)據(jù)請求消息；所述數(shù)據(jù)請求消息中攜帶有目標(biāo)數(shù)據(jù)的排序相關(guān)信息； 所述獲取單元，還用于根據(jù)所述數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)； 處理單元，用于根據(jù)所述獲取單元獲取的所述數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)所述目標(biāo)排序函數(shù)對所述目標(biāo)數(shù)據(jù)進(jìn)行排序；所述排序函數(shù)中記錄有對數(shù)據(jù)進(jìn)行排序的排序規(guī)則； 輸出單元，用于通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括: 接收單元，用于接收至少一個排序函數(shù)； 所述處理單元，還用于利用add file命令加載所述至少一個排序函數(shù)至Hive中。7.根據(jù)權(quán)利要求5所述的裝置，其特征在于， 獲取單元，具體用于根據(jù)所述數(shù)據(jù)請求消息通過Hive利用load data命令獲取所述目標(biāo)數(shù)據(jù)。8.根據(jù)權(quán)利要求5-7任一項所述的裝置，其特征在于， 所述排序規(guī)則為對目標(biāo)數(shù)據(jù)中的每個key值對應(yīng)的不同value值進(jìn)行預(yù)設(shè)順序的排序。
【專利摘要】本發(fā)明實施例提供了一種Hive數(shù)據(jù)處理的方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，用以通過實現(xiàn)用戶對查詢數(shù)據(jù)的排序功能，滿足用戶需要，提高用戶體驗。所述方法，包括：獲取數(shù)據(jù)請求消息；所述數(shù)據(jù)請求消息中攜帶有目標(biāo)數(shù)據(jù)的排序相關(guān)信息；根據(jù)所述數(shù)據(jù)請求消息通過Hive獲取目標(biāo)數(shù)據(jù)；根據(jù)所述數(shù)據(jù)請求消息從Hive中確定出目標(biāo)排序函數(shù)，并根據(jù)所述目標(biāo)排序函數(shù)對所述目標(biāo)數(shù)據(jù)進(jìn)行排序；所述排序函數(shù)中記錄有對數(shù)據(jù)進(jìn)行排序的排序規(guī)則；通過Hive輸出排序后的目標(biāo)數(shù)據(jù)。本發(fā)明適用于Hive中數(shù)據(jù)排序的場景。
【IPC分類】G06F17/30
【公開號】CN105426545
【申請?zhí)枴緾N201510998497
【發(fā)明人】宗棟瑞, 郭美思
【申請人】浪潮集團(tuán)有限公司
【公開日】2016年3月23日
【申請日】2015年12月25日