一種分布式文件獲取方法和分布式文件獲取系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明屬于分布式數(shù)據(jù)處理領域，尤其涉及一種分布式文件獲取方法和分布式文件獲取系統(tǒng)。
【背景技術】
[0002]Hadoop 分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)是一種適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動或重命名文件，等等。HDFS的架構是基于一組特定的節(jié)點構建的，這些節(jié)點包括NameNode (僅一個)，其在HDFS內(nèi)部提供元數(shù)據(jù)服務；DataNode，其為HDFS提供存儲塊。其中，NameNode是一個通常在HDFS實例中的單獨機器上運行的軟件。它負責管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。NameNode決定是否將文件映射到DataNode上的復制塊上。對于最常見的3個復制塊，第一個復制塊存儲在同一機架的不同節(jié)點上，最后一個復制塊存儲在不同機架的某個節(jié)點上。NameNode在一個文件中存儲所有關于文件系統(tǒng)名稱空間的信息。這個文件和一個包含所有事務的記錄文件將存儲在NameNode的本地文件系統(tǒng)上。
[0003]現(xiàn)有的文件獲取方法是，定時掃描Hadoop的HDFS文件系統(tǒng)目錄的文件，下載文件到本地文件系統(tǒng)上，當用戶要下載文件時，則直接從本地文件系統(tǒng)上獲取文件。這樣的做法未免會造成Hadoop資源的浪費。
[0004]因此，如何設置出更好的文件獲取方法，成為技術人員需要考慮的問題。
【發(fā)明內(nèi)容】
[0005]本發(fā)明所要解決的技術問題是提供一種分布式文件獲取方法和分布式文件獲取系統(tǒng)，節(jié)省Hadoop資源。
[0006]為了解決上述技術問題，本發(fā)明提供了一種分布式文件獲取方法，包括:
[0007]客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)；
[0008]將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶；
[0009]返回用戶要下載的文件列表到客戶端。
[0010]作為本發(fā)明的優(yōu)選實施方式，所述客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)的步驟，進一步包括:
[0011]客戶端發(fā)送文件下載請求到下載接口 ；
[0012]下載接口發(fā)送權限驗證請求到權限驗證模塊；
[0013]權限驗證模塊驗證用戶是否有下載權限；如果有下載權限則繼續(xù)執(zhí)行；否則結束。
[0014]作為本發(fā)明的優(yōu)選實施方式，所述結束的步驟，進一步包括:
[0015]返回無權限下載信息到下載接口 ；
[0016]下載接口向客戶端發(fā)送異常消息并斷開與客戶端的連接，結束。
[0017]為了解決上述技術問題，本發(fā)明還提供了一種分布式文件獲取系統(tǒng)，包括:
[0018]客戶端模塊，用于發(fā)送文件下載請求到Hadoop文件系統(tǒng)模塊；
[0019]Hadoop文件映射模塊，用于將用戶要下載的文件列表，從Hadoop文件系統(tǒng)模塊映射給用戶；
[0020]Hadoop文件系統(tǒng)模塊，用于返回用戶要下載的文件列表到客戶端模塊。
[0021]作為本發(fā)明的優(yōu)選實施方式，所述系統(tǒng)還包括:
[0022]下載接口模塊，用于接收所述文件下載請求，發(fā)送權限驗證請求，并接收下載結果返回給客戶端模塊；
[0023]權限驗證模塊，用于接收所述權限驗證請求，驗證用戶是否有下載權限；如果有，則發(fā)送有權限下載的消息；相應的，
[0024]所述Hadoop文件映射模塊，進一步用于當接收到有權限下載的消息時，將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶。
[0025]作為本發(fā)明的優(yōu)選實施方式，
[0026]所述權限驗證模塊，進一步用于返回無權限下載信息到下載接口模塊；
[0027]所述下載接口模塊，進一步用于下發(fā)送異常消息到客戶端模塊并斷開與客戶端模塊的連接。
[0028]本發(fā)明提供的分布式文件獲取方法和分布式文件獲取系統(tǒng)，不需要占用太多的網(wǎng)絡帶寬和Hadoop資源，從而可以節(jié)省Hadoop資源。
【附圖說明】
[0029]圖1為本發(fā)明一個實施例的分布式文件獲取方法流程圖。
[0030]圖2為本發(fā)明又一個實施例的分布式文件獲取方法流程圖。
[0031]圖3為本發(fā)明一個實施例的分布式文件系統(tǒng)結構示意圖。
[0032]圖4為本發(fā)明又一個實施例的分布式文件系統(tǒng)結構示意圖。
【具體實施方式】
[0033]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0034]本發(fā)明的主要思想是當用戶要下載文件時，通過映射的方式將Hadoop的HDFS文件系統(tǒng)的某個目錄映射到本地文件系統(tǒng)，類似快捷方式。這樣的話就不需要占用多的網(wǎng)絡帶寬和Hadoop的資源。
[0035]參照圖1所示，為本發(fā)明一個實施例的分布式文件獲取方法流程圖。所述方法包括:
[0036]101，客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)；
[0037]102，將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶；
[0038]103，返回用戶要下載的文件列表到客戶端。
[0039]參照圖2所示，為本發(fā)明又一個實施例的分布式文件獲取方法流程圖。所述方法包括:
[0040]201，客戶端發(fā)送文件下載請求到下載接口 ；
[0041 ] 202，下載接口發(fā)送權限驗證請求到權限驗證模塊；
[0042]203，權限驗證模塊驗證用戶是否有下載權限；如果有，則執(zhí)行步驟204，否則執(zhí)行步驟208 ；
[0043]204，權限驗證模塊發(fā)送有權限下載的消息到Hadoop文件映射模塊；
[0044]205，Hadoop文件映射模塊將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶；
[0045]206，返回用戶需要的文件列表到下載接口 ；
[0046]207，下載接口發(fā)送返回結果到客戶端，結束；
[0047]208，返回無權限下載信息到下載接口模塊；
[0048]209，下載接口模塊發(fā)送異常消息并斷開連接，結束。
[0049]參照圖3所示，為本發(fā)明一個實施例的分布式文件系統(tǒng)結構示意圖。所述系統(tǒng)包括:
[0050]客戶端模塊301，用于發(fā)送文件下載請求到Hadoop文件系統(tǒng)模塊；
[0051]Hadoop文件映射模塊302，用于將用戶要下載的文件列表，從Hadoop文件系統(tǒng)模塊映射給用戶；
[0052]Hadoop文件系統(tǒng)模塊303，用于返回用戶要下載的文件列表到客戶端模塊。
[0053]參照圖4所示，為本發(fā)明又一個實施例的分布式文件系統(tǒng)結構示意圖。所述系統(tǒng)包括:
[0054]客戶端模塊401，用于發(fā)送文件下載請求；
[0055]下載接口模塊402，用于接收所述文件下載請求，發(fā)送權限驗證請求，并接收下載結果返回給客戶端模塊401 ;
[0056]權限驗證模塊403，用于驗證用戶是否有下載權限；如果有，則發(fā)送有權限下載的消息，否則返回無權限下載信息給下載接口模塊402 ;
[0057]Hadoop文件映射模塊404，用于接收所述有權限下載的消息；并將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶；
[0058]Hadoop文件系統(tǒng)405，用于返回用戶需要的文件列表到下載接口模塊402。
[0059]在本發(fā)明另外的實施例中，所述權限驗證模塊403，進一步用于返回無權限下載信息到下載接口模塊402 ;
[0060]所述下載接口模塊402，進一步用于下發(fā)送異常消息到客戶端模塊401并斷開與客戶端模塊401的連接。
[0061]以上所述的【具體實施方式】，對本發(fā)明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的【具體實施方式】而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【主權項】
1.一種分布式文件獲取方法，其特征在于，包括: 客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)； 將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶； 返回用戶要下載的文件列表到客戶端。2.如權利要求1所述的方法，其特征在于，所述客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)的步驟，進一步包括: 客戶端發(fā)送文件下載請求到下載接口； 下載接口發(fā)送權限驗證請求到權限驗證模塊； 權限驗證模塊驗證用戶是否有下載權限；如果有下載權限則繼續(xù)執(zhí)行；否則結束。3.如權利要求2所述的方法，其特征在于，所述結束的步驟，進一步包括: 返回無權限下載信息到下載接口； 下載接口向客戶端發(fā)送異常消息并斷開與客戶端的連接，結束。4.一種分布式文件獲取系統(tǒng)，其特征在于，包括: 客戶端模塊，用于發(fā)送文件下載請求到Hadoop文件系統(tǒng)模塊； Hadoop文件映射模塊，用于將用戶要下載的文件列表，從Hadoop文件系統(tǒng)模塊映射給用戶； Hadoop文件系統(tǒng)模塊，用于返回用戶要下載的文件列表到客戶端模塊。5.如權利要求4所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 下載接口模塊，用于接收所述文件下載請求，發(fā)送權限驗證請求，并接收下載結果返回給客戶端模塊； 權限驗證模塊，用于接收所述權限驗證請求，驗證用戶是否有下載權限；如果有，則發(fā)送有權限下載的消息；相應的， 所述Hadoop文件映射模塊，進一步用于當接收到有權限下載的消息時，將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶。6.如權利要求5所述的系統(tǒng)，其特征在于， 所述權限驗證模塊，進一步用于返回無權限下載信息到下載接口模塊； 所述下載接口模塊，進一步用于下發(fā)送異常消息到客戶端模塊并斷開與客戶端模塊的連接。
【專利摘要】本發(fā)明提供了一種分布式文件獲取方法和分布式文件獲取系統(tǒng)，所述方法包括：客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)；將用戶要下載的文件列表，從Hadoop文件系統(tǒng)映射給用戶；返回用戶要下載的文件列表到客戶端。所述客戶端發(fā)送文件下載請求到Hadoop文件系統(tǒng)的步驟，進一步包括：客戶端發(fā)送文件下載請求到下載接口；下載接口發(fā)送權限驗證請求到權限驗證模塊；權限驗證模塊驗證用戶是否有下載權限；如果有下載權限則繼續(xù)執(zhí)行；否則結束。本發(fā)明提供的分布式文件獲取方法和分布式文件獲取系統(tǒng)，不需要占用太多的網(wǎng)絡帶寬和Hadoop資源，從而可以節(jié)省Hadoop資源。
【IPC分類】H04L29/08
【公開號】CN104902022
【申請?zhí)枴緾N201510280153
【發(fā)明人】葛祺, 竇樂建, 崔晶晶, 林佳婕, 姜興
【申請人】北京集奧聚合科技有限公司
【公開日】2015年9月9日
【申請日】2015年5月27日