一種支持多租戶的大數(shù)據(jù)平臺及租戶訪問方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種支持多租戶的大數(shù)據(jù)平臺及租戶訪問方法。
【背景技術(shù)】
[0002]在大數(shù)據(jù)時代，為了存儲和處理海量數(shù)據(jù)，需要規(guī)模較大的服務(wù)器集群，一般說來，這些集群上運行著數(shù)量眾多類型紛雜的應(yīng)用程序和服務(wù)，比如離線作業(yè)，流式作業(yè)，迭代式作業(yè)等，傳統(tǒng)的做法是，每種類型的作業(yè)或者服務(wù)對應(yīng)一個單獨的集群，以避免相互干擾。這樣，集群被分割成數(shù)量眾多的小集群，由于不同類型的作業(yè)/服務(wù)需要的資源量不同，這些小集群的利用率通常很不均衡，有的集群滿負荷、資源緊張，而另外一些則長時間閑置、資源利用率極低。
[0003]因而現(xiàn)有技術(shù)還有待改進和提高。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的不足，提供一種支持多租戶的大數(shù)據(jù)平臺及租戶訪問方法，其能夠解決現(xiàn)有每種類型的作業(yè)或者服務(wù)對應(yīng)一個單獨的集群，而造成的小集群的利用率不均衡的問題。
[0005]為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下:
一種支持多租戶的大數(shù)據(jù)平臺，其包括:hadoop集群、管理模塊和登錄模塊；
所述hadoop集群用于部署多個業(yè)務(wù)；
所述管理模塊設(shè)置于hadoop集群上，用于驗證租戶訪問hadoop的權(quán)限，并根據(jù)所述權(quán)限進行相應(yīng)操作；
所述登錄模塊用于獲取租戶登錄請求，驗證租戶信息。
[0006]所述登錄模塊用于管理租戶操作數(shù)據(jù)、提交任務(wù)請求和查看任務(wù)進度。
[0007]所述管理模塊包括:權(quán)限管理模塊、任務(wù)調(diào)度模塊和資源管理模塊；
所述權(quán)限管理模塊，用于管理多租戶的權(quán)限，根據(jù)不同租戶授權(quán)，系統(tǒng)管理員配置租戶與數(shù)據(jù)、租戶與應(yīng)用的對應(yīng)關(guān)系；
所述任務(wù)調(diào)度模塊，用于管理員設(shè)置任務(wù)的調(diào)度規(guī)則，根據(jù)任務(wù)調(diào)度規(guī)則執(zhí)行工作任務(wù)，并監(jiān)控任務(wù)的執(zhí)行情況；
所述資源管理模塊，用于系統(tǒng)管理員根據(jù)租戶分配集群資源，多租戶之間按分配使用存儲資源和計算資源。
[0008]所述資源管理模塊還用于為多租戶劃分獨立的存儲空間來實現(xiàn)租戶之間的數(shù)據(jù)隔離，將每個租戶的數(shù)據(jù)信息存儲在獨立的存儲空間中，每個租戶數(shù)據(jù)模型的更改不會影響其他租戶的數(shù)據(jù)。
[0009]所述權(quán)限管理模塊還用于委派給不同管理員對不同數(shù)據(jù)集設(shè)置權(quán)限。
[0010]一種租戶訪問大數(shù)據(jù)平臺方法，所述租戶訪問上述大數(shù)據(jù)平臺，其具體包括: A、租戶通過統(tǒng)一登錄模塊登錄hadoop集群；
B、租戶登錄成功后，向hadoop集群發(fā)送任務(wù)請求；
C、管理模塊的權(quán)限管理模塊驗證租戶是否具有訪問任務(wù)用到的數(shù)據(jù)的權(quán)限和使用任務(wù)用到資源的權(quán)限；
D、租戶通過驗證后，在hadoop集群上執(zhí)行任務(wù)。
[0011 ] 所述步驟C，其具體為:
Cl、管理模塊的權(quán)限管理模塊驗證租戶是否具有訪問任務(wù)用到的數(shù)據(jù)的權(quán)限；
C2、當租戶具有訪問數(shù)據(jù)權(quán)限，管理模塊的權(quán)限管理模塊驗證租戶是否具有使用任務(wù)用到資源的權(quán)限。
[0012]有益效果:與現(xiàn)有技術(shù)相比，本發(fā)明所提供支持多租戶的大數(shù)據(jù)平臺，其包括:hadoop集群、管理模塊和統(tǒng)一登錄模塊；所述hadoop集群用于部署多個業(yè)務(wù)；所述管理模塊設(shè)置于hadoop集群上，用于管理員管理多租戶訪問數(shù)據(jù)和資源的權(quán)限，所述統(tǒng)一登錄模塊用于多租戶登錄訪問hadoop集群。本方法將多個業(yè)務(wù)統(tǒng)一部署在一個集群上，通過在hadoop集群上設(shè)置管理模塊和統(tǒng)一登錄模塊，實現(xiàn)hadoop集群的多租戶模式，讓多租戶同時使用統(tǒng)一的大數(shù)據(jù)平臺，建立統(tǒng)一的調(diào)度平臺，實現(xiàn)了數(shù)據(jù)的統(tǒng)一化管理。從根本上解決了現(xiàn)有每種類型的作業(yè)或者服務(wù)對應(yīng)一個單獨的集群，而造成的小集群的利用率不均衡的問題。
【附圖說明】
[0013]圖1為本發(fā)明提供支持多租戶的大數(shù)據(jù)平臺示意圖。
[0014]圖2為本發(fā)明提供支持多租戶的大數(shù)據(jù)平臺具體實施例示意圖。
[0015]圖3為租戶訪問大數(shù)據(jù)平臺的流程圖。
【具體實施方式】
[0016]本發(fā)明提供一種支持多租戶的大數(shù)據(jù)平臺及租戶訪問方法，為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發(fā)明進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0017]下面結(jié)合附圖，通過對實施例的描述，對
【發(fā)明內(nèi)容】
作進一步說明。
[0018]請參見圖1，圖1為本發(fā)明提供一種支持多租戶的大數(shù)據(jù)平臺示意圖。所述平臺包括:hadoop集群、管理模塊和登錄模塊；所述hadoop集群用于部署多個業(yè)務(wù)；所述管理模塊設(shè)置于hadoop集群上，用于驗證租戶訪問hadoop的權(quán)限，并根據(jù)所述權(quán)限進行相應(yīng)操作；所述登錄模塊用于獲取租戶登錄請求，驗證租戶信息。
[0019]在本實施例中，所述hadoop集群為單一集群，將多個業(yè)務(wù)部署在集群上，其可以滿足多個租戶的不同需求。多個業(yè)務(wù)可以是多種作業(yè)方式，也可以是多個服務(wù)等。這里不做限定，僅以作業(yè)方式為例，其可以為離線作業(yè)、流式作業(yè)、迭代式作業(yè)等。
[0020]進一步，所述登錄模塊用于管理租戶操作數(shù)據(jù)、提交任務(wù)請求和查看任務(wù)進度等。租戶可以通過登錄模塊在登錄后，提交任務(wù)請求，操作公共數(shù)據(jù)和查詢?nèi)蝿?wù)進度；還可以對任務(wù)進度進行反饋和催告等。
[0021]在本實施例中，所述管理模塊包括:權(quán)限管理模塊、任務(wù)調(diào)度模塊和資源管理模塊。所述權(quán)限管理模塊，用于管理多租戶的權(quán)限，根據(jù)不同租戶授權(quán)，系統(tǒng)管理員配置租戶與數(shù)據(jù)、租戶與應(yīng)用的對應(yīng)關(guān)系；所述任務(wù)調(diào)度模塊，用于管理員設(shè)置任務(wù)的調(diào)度規(guī)則，根據(jù)任務(wù)調(diào)度規(guī)則執(zhí)行工作任務(wù)，并監(jiān)控任務(wù)的執(zhí)行情況；所述資源管理模塊，用于系統(tǒng)管理員根據(jù)租戶分配集群資源，多租戶之間按分配使用存儲資源和計算資源。其中，所述的系統(tǒng)管理員配置租戶與數(shù)據(jù)、租戶與應(yīng)用的對應(yīng)關(guān)系，系統(tǒng)根據(jù)租戶的權(quán)限，為租戶配置相應(yīng)的數(shù)據(jù)和應(yīng)用，可以按照租戶的權(quán)限越高，可以訪問的數(shù)據(jù)和資源就越多的關(guān)系進行對應(yīng)。這樣，可以通過管理模塊驗證多租戶的訪問權(quán)限，根據(jù)其訪問權(quán)限調(diào)用相應(yīng)的數(shù)據(jù)和資源；使得不同租戶可以通過管理模塊的限制，在同一個hadoop集群上完成不同的業(yè)務(wù)，實現(xiàn)了hadoop集群的多租戶模式，讓多租戶同時使用統(tǒng)一的大數(shù)據(jù)平臺，并且通過管理模塊限制，為大