基于hdfs的訪問(wèn)方法和系統(tǒng)及用戶本地系統(tǒng)設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息技術(shù)領(lǐng)域，特別涉及基于分布式文件系統(tǒng)HDFS的訪問(wèn)方法和系統(tǒng)及用戶本地系統(tǒng)設(shè)備。
【背景技術(shù)】
[0002]HDFS (Hadoop Distributed File System)是一個(gè)分布式文件系統(tǒng)。HDFS 有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上。而且它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了 POSIX的要求，這樣可以實(shí)現(xiàn)流的形式訪問(wèn)文件系統(tǒng)中的數(shù)據(jù)。
[0003]目前，對(duì)HDFS的訪問(wèn)方法包括:將HDFS對(duì)應(yīng)的統(tǒng)一資源定位符(UniversalResource Locator, URL)提供給用戶；用戶調(diào)用對(duì)應(yīng)于HDFS的特定應(yīng)用程序編程接口(Applicat1n Program Interface，API)，訪問(wèn)該 URL，從而實(shí)現(xiàn)對(duì) HDFS 的訪問(wèn)。
[0004]可見(jiàn)，在現(xiàn)有技術(shù)中，用戶必須使用特定的API才能實(shí)現(xiàn)對(duì)HDFS的訪問(wèn)。由于調(diào)用API需要一定的專(zhuān)業(yè)知識(shí)，編寫(xiě)特定的API調(diào)用語(yǔ)言，因此，對(duì)用戶提出了較高的要求，增加了業(yè)務(wù)實(shí)現(xiàn)的難度。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種分布式文件系統(tǒng)HDFS的訪問(wèn)方法和系統(tǒng)及用戶本地系統(tǒng)設(shè)備，能夠降低對(duì)用戶的專(zhuān)業(yè)要求。
[0006]一種基于分布式文件系統(tǒng)HDFS的訪問(wèn)方法，在用戶的本地系統(tǒng)中設(shè)置對(duì)應(yīng)于HDFS的目錄S，并將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上；還包括:
[0007]接收用戶對(duì)本地系統(tǒng)中所述目錄S的訪問(wèn)請(qǐng)求；
[0008]根據(jù)對(duì)目錄S的訪問(wèn)請(qǐng)求訪問(wèn)所述HDFS。
[0009]所述將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上包括:
[0010]通過(guò)fuse，安裝時(shí)加載對(duì)應(yīng)于所述用戶的HDFS的庫(kù)文件，進(jìn)行文件系統(tǒng)格式的對(duì)接，以將HDFS的URI資源掛載到所述目錄S上。
[0011]進(jìn)一步包括:為不同的用戶設(shè)置不同的用戶名，并在HDFS中授權(quán)每一個(gè)用戶名可訪問(wèn)的資源；
[0012]在所述將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上之前，進(jìn)一步包括:接收用戶的掛載請(qǐng)求，該請(qǐng)求中攜帶用戶的用戶名和需加載的資源信息；根據(jù)掛載請(qǐng)求，驗(yàn)證請(qǐng)求中攜帶的用戶名是否對(duì)所述需加載的資源信息具有訪問(wèn)權(quán)限，如果是，則繼續(xù)執(zhí)行所述的將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上。
[0013]進(jìn)一步包括:為不同的用戶分配不同的證書(shū)，并在HDFS中授權(quán)每一個(gè)證書(shū)可訪問(wèn)的資源；
[0014]在所述將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上之前，進(jìn)一步包括:接收用戶的掛載請(qǐng)求，該請(qǐng)求中攜帶用戶的證書(shū)信息和需加載的資源信息；根據(jù)掛載請(qǐng)求，驗(yàn)證請(qǐng)求中攜帶的證書(shū)是否對(duì)所述需加載的資源信息具有訪問(wèn)權(quán)限，如果是，則繼續(xù)執(zhí)行所述的將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上。
[0015]所述本地系統(tǒng)為windows系統(tǒng)，則所述目錄S為windows系統(tǒng)中的文件夾；
[0016]或者，
[0017]所述本地系統(tǒng)為L(zhǎng)inux系統(tǒng)，則所述目錄S為L(zhǎng)inux系統(tǒng)中的目錄。
[0018]用戶本地系統(tǒng)設(shè)備，包括:
[0019]設(shè)置單元，用于在用戶的本地系統(tǒng)中設(shè)置對(duì)應(yīng)于外部的HDFS的目錄S ;
[0020]掛載單元，用于將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述設(shè)置單元設(shè)置的目錄S上；
[0021]訪問(wèn)執(zhí)行單元，保存已被封裝好的調(diào)用HDFS的API操作，接收用戶對(duì)本地系統(tǒng)中所述目錄S的訪問(wèn)請(qǐng)求，根據(jù)對(duì)目錄S的訪問(wèn)請(qǐng)求執(zhí)行所述封裝的API操作，以訪問(wèn)外部的HDFS0
[0022]所述掛載單元包括fuse加載子單元，
[0023]所述fuse加載子單元，用于通過(guò)fuse，安裝時(shí)加載對(duì)應(yīng)于所述用戶的HDFS的庫(kù)文件，進(jìn)行文件系統(tǒng)格式的對(duì)接，以將HDFS的URI資源掛載到所述目錄S上。
[0024]一種基于分布式文件系統(tǒng)HDFS的訪問(wèn)系統(tǒng)，包括:上述任意一種用戶本地系統(tǒng)設(shè)備，以及HDFS。
[0025]上述系統(tǒng)可以進(jìn)一步包括:第一資源隔離裝置，用于為不同的用戶設(shè)置不同的用戶名，并在HDFS中授權(quán)每一個(gè)用戶名可訪問(wèn)的資源；接收用戶的掛載請(qǐng)求，該請(qǐng)求中攜帶用戶的用戶名和需加載的資源信息；根據(jù)掛載請(qǐng)求，驗(yàn)證請(qǐng)求中攜帶的用戶名是否對(duì)所述需加載的資源信息具有訪問(wèn)權(quán)限，如果是，則觸發(fā)將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上。
[0026]上述系統(tǒng)可以進(jìn)一步包括:第二資源隔離裝置，用于為不同的用戶分配不同的證書(shū)，并在HDFS中授權(quán)每一個(gè)證書(shū)可訪問(wèn)的資源；接收用戶的掛載請(qǐng)求，該請(qǐng)求中攜帶用戶的證書(shū)信息和需加載的資源信息；根據(jù)掛載請(qǐng)求，驗(yàn)證請(qǐng)求中攜帶的證書(shū)是否對(duì)所述需加載的資源信息具有訪問(wèn)權(quán)限，如果是，則觸發(fā)將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上。
[0027]可見(jiàn)，在本發(fā)明實(shí)施例提供的中，由于預(yù)先將調(diào)用HDFS的API操作進(jìn)行了封裝并保存在用戶的本地系統(tǒng)設(shè)備中，而且，還利用本地化掛載機(jī)制將HDFS資源掛載到本地文件系統(tǒng)目錄上，這樣，對(duì)于用戶來(lái)說(shuō)，則屏蔽了用戶需要執(zhí)行的針對(duì)HDFS的專(zhuān)業(yè)操作，如用戶無(wú)需訪問(wèn)特定URL且無(wú)需編寫(xiě)特定的API調(diào)用語(yǔ)言?？梢?jiàn)，用戶只需要訪問(wèn)本地系統(tǒng)中的目錄S，則可由用戶的本地系統(tǒng)設(shè)備執(zhí)行后續(xù)訪問(wèn)HDFS，因此，大大降低了對(duì)用戶的專(zhuān)業(yè)要求，降低了業(yè)務(wù)實(shí)現(xiàn)的難度。
【附圖說(shuō)明】
[0028]圖1是本發(fā)明一個(gè)實(shí)施例中對(duì)HDFS訪問(wèn)的流程圖。
[0029]圖2是本發(fā)明一個(gè)實(shí)施例中采用用戶名隔離資源的方式實(shí)現(xiàn)對(duì)HDFS訪問(wèn)的流程圖。
[0030]圖3是本發(fā)明一個(gè)實(shí)施例中采用證書(shū)隔離資源的方式實(shí)現(xiàn)對(duì)HDFS訪問(wèn)的流程圖。
[0031]圖4是本發(fā)明一個(gè)實(shí)施例中用戶的本地系統(tǒng)設(shè)備的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0032]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0033]本發(fā)明一個(gè)實(shí)施例提出了一種基于分布式文件系統(tǒng)HDFS的訪問(wèn)方法，可以由用戶的本地系統(tǒng)設(shè)備執(zhí)行，參見(jiàn)圖1，該方法包括:
[0034]步驟101:在用戶的本地系統(tǒng)中設(shè)置對(duì)應(yīng)于HDFS的目錄S。
[0035]步驟102:將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到所述目錄S上。
[0036]步驟103:保存預(yù)先封裝的調(diào)用HDFS的API操作。
[0037]步驟104:接收用戶對(duì)本地系統(tǒng)中所述目錄S的訪問(wèn)請(qǐng)求。
[0038]步驟10:5:根據(jù)對(duì)目錄S的訪問(wèn)請(qǐng)求，執(zhí)行所封裝的API操作，以訪問(wèn)HDFS。
[0039]可見(jiàn)，在本發(fā)明實(shí)施例中，由于預(yù)先將調(diào)用HDFS的API操作進(jìn)行了封裝并保存在用戶的本地系統(tǒng)設(shè)備中，而且，還利用本地化掛載機(jī)制將HDFS資源掛載到本地文件系統(tǒng)目錄上，這樣，對(duì)于用戶來(lái)說(shuō)，則屏蔽了用戶需要執(zhí)行的針對(duì)HDFS的專(zhuān)業(yè)操作，如用戶無(wú)需訪問(wèn)特定URL且無(wú)需編寫(xiě)特定的API調(diào)用語(yǔ)言。可見(jiàn)，用戶只需要執(zhí)行訪問(wèn)本地系統(tǒng)中的目錄S操作，則可由用戶的本地系統(tǒng)設(shè)備執(zhí)行后續(xù)訪問(wèn)HDFS，因此，大大降低了對(duì)用戶的專(zhuān)業(yè)要求，降低了業(yè)務(wù)實(shí)現(xiàn)的難度。
[0040]在本發(fā)明一個(gè)實(shí)施例中，可以通過(guò)用戶空間文件系統(tǒng)(Filesystem inUserspace，fuse)來(lái)完成本地化掛載機(jī)制。
[0041]在本發(fā)明的實(shí)施例中，還可以實(shí)現(xiàn)安全訪問(wèn)機(jī)制，即預(yù)先將HDFS中的資源隔離，通過(guò)用戶名驗(yàn)證或者證書(shū)驗(yàn)證的方式，來(lái)保證用戶只能夠訪問(wèn)具有訪問(wèn)權(quán)限的HDFS中的資源。下面分別通過(guò)兩個(gè)實(shí)施例來(lái)詳細(xì)說(shuō)明。
[0042]實(shí)施例A:
[0043]本實(shí)施例針對(duì)上述用戶名驗(yàn)證的方式。參見(jiàn)圖2，該實(shí)施例實(shí)現(xiàn)基于分布式文件系統(tǒng)HDFS的訪問(wèn)過(guò)程包括:
[0044]步驟200:在用戶的本地系統(tǒng)中設(shè)置對(duì)應(yīng)于HDFS的目錄S。
[0045]步驟201:為不同的用戶設(shè)置不同的用戶名，并在HDFS中授權(quán)每一個(gè)用戶名可訪問(wèn)的資源。
[0046]比如，有用戶I至用戶3，在HDFS中，用戶名為用戶I的用戶被授權(quán)只能訪問(wèn)資源A，用戶名為用戶2的用戶被授權(quán)只能訪問(wèn)資源B，用戶名為用戶3的用戶被授權(quán)只能訪問(wèn)資源C。
[0047]步驟202:接收用戶的掛載請(qǐng)求，該請(qǐng)求中攜帶用戶的用戶名比如用戶I和需加載的HDFS資源信息。
[0048]步驟203:根據(jù)掛載請(qǐng)求，驗(yàn)證請(qǐng)求中攜帶的用戶名比如用戶I是否對(duì)所述需加載的資源信息具有訪問(wèn)權(quán)限，如果是，執(zhí)行步驟205，否則，執(zhí)行步驟204。
[0049]步驟204:向用戶返回加載失敗消息，結(jié)束當(dāng)前流程。
[0050]比如，用戶I需要加載HDFS中的資源C，根據(jù)步驟201中的處理，則會(huì)執(zhí)行本步驟的處理。
[0051]再如，用戶I需要加載HDFS中的資源A，根據(jù)步驟201中的處理，則會(huì)執(zhí)行步驟205及其后續(xù)處理。
[0052]步驟205:通過(guò)fuse，安裝時(shí)加載對(duì)應(yīng)于用戶的HDFS的庫(kù)文件，進(jìn)行文件系統(tǒng)格式的對(duì)接，將HDFS的統(tǒng)一資源標(biāo)識(shí)符URI資源掛載到目錄S上。
[0053]步驟206:在用戶的本地系統(tǒng)中保存已被封裝好的調(diào)用HDFS的API操作。
[0054]步驟207:當(dāng)用戶需要訪問(wèn)HDFS，用戶向本地系統(tǒng)設(shè)備輸入對(duì)目錄S的訪問(wèn)請(qǐng)求。
[0055]步驟208:本地系統(tǒng)設(shè)備接收到對(duì)目錄S的訪問(wèn)請(qǐng)求后，執(zhí)行封裝的API操作，以訪問(wèn)外部的HDFS。
[0056]可見(jiàn)，在圖2所示的實(shí)施例中，遠(yuǎn)程掛載時(shí)提供的用戶名對(duì)需要掛載的資源具有訪問(wèn)權(quán)限，才