訪問云數(shù)據(jù)的方法、服務(wù)器、傳統(tǒng)存儲設(shè)備、架構(gòu)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及云存儲技術(shù)，尤其涉及分布式文件系統(tǒng)訪問云數(shù)據(jù)的方法、元數(shù)據(jù)服 務(wù)器、傳統(tǒng)存儲設(shè)備及兼容傳統(tǒng)數(shù)據(jù)的云存儲架構(gòu)。
【背景技術(shù)】
[0002] 企業(yè)業(yè)務(wù)正快速轉(zhuǎn)向云的存儲方式。以分布式文件系統(tǒng)（一種云存儲系統(tǒng)，所存 儲的數(shù)據(jù)非本地直連，需要通過網(wǎng)絡(luò)協(xié)議對其進(jìn)行訪問）為例，圖1是系統(tǒng)架構(gòu)，云存儲系 統(tǒng)通常包括應(yīng)用端和服務(wù)端，云數(shù)據(jù)存儲于服務(wù)端的存儲集群中，通過服務(wù)端將存儲集群 的各個(gè)不同類型的存儲設(shè)備集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲，位于應(yīng)用端的客 戶端軟件實(shí)現(xiàn)業(yè)務(wù)訪問功能。
[0003] 目前，不管是公有云、私有云或者混合云，為了保存云數(shù)據(jù)，需要將傳統(tǒng)存儲設(shè)備 (Legacy Storage)中的數(shù)據(jù)導(dǎo)入到云存儲系統(tǒng)。在企業(yè)迀移大量數(shù)據(jù)時(shí)，云服務(wù)提供商需 要將企業(yè)內(nèi)部存儲在傳統(tǒng)存儲設(shè)備上的傳統(tǒng)數(shù)據(jù)上傳到云存儲系統(tǒng)中。將大量傳統(tǒng)數(shù)據(jù)上 傳到云存儲系統(tǒng)中通常通過以下方式實(shí)現(xiàn)：
[0004] 客戶端與傳統(tǒng)存儲設(shè)備通信，讀取傳統(tǒng)存儲設(shè)備中的傳統(tǒng)數(shù)據(jù)并寫入存儲集群 中，之后當(dāng)用戶訪問云數(shù)據(jù)時(shí)，客戶端從存儲集群中讀取目標(biāo)云數(shù)據(jù)提供給用戶。
[0005] 通常一個(gè)4TB硬盤大小的傳統(tǒng)存儲設(shè)備中的數(shù)據(jù)，以100MB/S的速度拷貝，需要11 個(gè)小時(shí)左右。圖2為Amazon列出的一張表，表中列舉了不同網(wǎng)絡(luò)連接速度上傳ITB文件所 用的時(shí)間?？梢姮F(xiàn)有技術(shù)數(shù)據(jù)云存儲的方法耗時(shí)很長，導(dǎo)致在數(shù)據(jù)上傳到云存儲系統(tǒng)的漫 長過程中，企業(yè)無法對云數(shù)據(jù)進(jìn)行訪問。

【發(fā)明內(nèi)容】

[0006] 本申請?zhí)峁┮环N分布式文件系統(tǒng)訪問云數(shù)據(jù)的方法、元數(shù)據(jù)服務(wù)器、傳統(tǒng)存儲設(shè) 備及兼容傳統(tǒng)數(shù)據(jù)的云存儲架構(gòu)，解決因上傳數(shù)據(jù)而導(dǎo)致的數(shù)據(jù)訪問問題。
[0007] 根據(jù)本申請實(shí)施例的第一方面，提供一種分布式文件系統(tǒng)中訪問云數(shù)據(jù)的方法， 所述分布式文件系統(tǒng)包括服務(wù)端和客戶端，包括步驟：
[0008] 服務(wù)端采集傳統(tǒng)存儲設(shè)備所存儲數(shù)據(jù)對應(yīng)的元數(shù)據(jù)并記錄；所采集的元數(shù)據(jù)包括 所述傳統(tǒng)存儲設(shè)備所存儲的數(shù)據(jù)的存放路徑信息；
[0009] 當(dāng)客戶端請求讀取目標(biāo)云數(shù)據(jù)時(shí)，服務(wù)端查找元數(shù)據(jù)中所述目標(biāo)云數(shù)據(jù)的存放路 徑信息，并將所述目標(biāo)云數(shù)據(jù)的存放路徑信息返回給所述客戶端；
[0010] 如果所述目標(biāo)云數(shù)據(jù)的存放路徑信息指向所述傳統(tǒng)存儲設(shè)備，則所述客戶端從所 述傳統(tǒng)存儲設(shè)備獲取所述目標(biāo)云數(shù)據(jù)。
[0011] 本申請還提供一種元數(shù)據(jù)服務(wù)器，位于分布式文件系統(tǒng)的服務(wù)端，包括：
[0012] 數(shù)據(jù)采集模塊，用于采集傳統(tǒng)存儲設(shè)備所存儲數(shù)據(jù)對應(yīng)的元數(shù)據(jù)，所采集的元數(shù) 據(jù)包括所述傳統(tǒng)存儲設(shè)備所存儲的數(shù)據(jù)的存放路徑信息；
[0013] 元數(shù)據(jù)存儲模塊，用于存儲所采集的元數(shù)據(jù)；
[0014] 存儲路徑路由模塊，用于當(dāng)客戶端讀取目標(biāo)云數(shù)據(jù)時(shí)，將所述元數(shù)據(jù)中目標(biāo)云數(shù) 據(jù)的存放路徑信息發(fā)給所述客戶端。
[0015] 本申請還提供一種傳統(tǒng)存儲設(shè)備，包括：
[0016] 數(shù)據(jù)掃描模塊，用于掃描并生成所存儲的數(shù)據(jù)的元數(shù)據(jù)，將所述元數(shù)據(jù)發(fā)給分布 式文件系統(tǒng)的服務(wù)端；所述元數(shù)據(jù)包括數(shù)據(jù)的存放路徑信息；
[0017] 傳統(tǒng)數(shù)據(jù)存儲模塊，用于存儲數(shù)據(jù)；
[0018] 通信模塊，用于當(dāng)收到分布式文件系統(tǒng)的客戶端訪問云數(shù)據(jù)的請求時(shí)，根據(jù)所述 請求中的存放路徑信息獲取相關(guān)的數(shù)據(jù)發(fā)給所述客戶端。
[0019] 本申請還提供一種兼容傳統(tǒng)數(shù)據(jù)的云存儲架構(gòu)，包括：
[0020] 分布式文件系統(tǒng)和傳統(tǒng)存儲設(shè)備，
[0021] 所述分布式文件系統(tǒng)包括：
[0022] 元數(shù)據(jù)服務(wù)器，用于采集傳統(tǒng)存儲設(shè)備所存儲數(shù)據(jù)對應(yīng)的元數(shù)據(jù)并記錄，所采集 的元數(shù)據(jù)包括所述傳統(tǒng)存儲設(shè)備所存儲的數(shù)據(jù)的存放路徑信息；以及當(dāng)客戶端請求讀取目 標(biāo)云數(shù)據(jù)時(shí)，查找所述目標(biāo)云數(shù)據(jù)的存放路徑信息，并將所讀取的云數(shù)據(jù)的存放路徑信息 返回給所述客戶端；
[0023] 客戶端，用于向所述元數(shù)據(jù)服務(wù)器請求讀取目標(biāo)云數(shù)據(jù)，以及當(dāng)所述元數(shù)據(jù)服務(wù) 器所返回的存放路徑信息指向所述傳統(tǒng)存儲設(shè)備時(shí)，從所述傳統(tǒng)存儲設(shè)備獲取所述云數(shù) 據(jù)；
[0024] 所述傳統(tǒng)存儲設(shè)備包括：
[0025] 數(shù)據(jù)掃描模塊，用于掃描并生成所存儲的數(shù)據(jù)的元數(shù)據(jù)，將所述元數(shù)據(jù)發(fā)給分布 式文件系統(tǒng)的元數(shù)據(jù)服務(wù)器；所述元數(shù)據(jù)包括數(shù)據(jù)的存放路徑信息；
[0026] 傳統(tǒng)數(shù)據(jù)存儲模塊，用于存儲數(shù)據(jù)；
[0027] 通信模塊，用于當(dāng)收到分布式文件系統(tǒng)的客戶端訪問云數(shù)據(jù)的請求時(shí)，根據(jù)所述 請求中的存放路徑信息獲取相關(guān)的數(shù)據(jù)發(fā)給所述客戶端。
[0028] 現(xiàn)有技術(shù)中，存儲在傳統(tǒng)存儲設(shè)備上的傳統(tǒng)數(shù)據(jù)需要上傳到云存儲系統(tǒng)中的存儲 集群中方能在云存儲系統(tǒng)提供云服務(wù)時(shí)被訪問，而傳統(tǒng)數(shù)據(jù)上傳時(shí)間漫長且上傳過程會妨 礙用戶對數(shù)據(jù)的訪問，本申請通過云服務(wù)系統(tǒng)采集傳統(tǒng)存儲設(shè)備的元數(shù)據(jù)并記錄，無需將 傳統(tǒng)存儲設(shè)備中的數(shù)據(jù)上傳到云服務(wù)系統(tǒng)，當(dāng)客戶端請求讀取云數(shù)據(jù)時(shí)，如果訪問的云數(shù) 據(jù)被存儲于傳統(tǒng)存儲設(shè)備中，則直接從傳統(tǒng)存儲設(shè)備中獲取數(shù)據(jù)，可見本申請突破性的將 傳統(tǒng)存儲設(shè)備偽裝成云存儲系統(tǒng)中的一個(gè)存儲設(shè)備，將傳統(tǒng)數(shù)據(jù)成功的變成了可以通過客 戶端訪問的云數(shù)據(jù)，成功解決了因上傳數(shù)據(jù)而導(dǎo)致的數(shù)據(jù)訪問問題。
【附圖說明】
[0029] 圖1為現(xiàn)有技術(shù)中傳統(tǒng)數(shù)據(jù)上傳云存儲系統(tǒng)的示意圖；
[0030]圖2為現(xiàn)有技術(shù)上傳數(shù)據(jù)的耗時(shí)統(tǒng)計(jì)表；
[0031] 圖3為本申請實(shí)施例中兼容傳統(tǒng)數(shù)據(jù)的云存儲架構(gòu)下訪問數(shù)據(jù)的示意圖；
[0032] 圖4為本申請實(shí)施例中訪問云存儲數(shù)據(jù)的流程圖；
[0033] 圖5為本申請實(shí)施例中寫入云數(shù)據(jù)的流程圖；
[0034] 圖6為本申請實(shí)施例中一個(gè)應(yīng)用場景下兼容傳統(tǒng)數(shù)據(jù)的云存儲架構(gòu)下訪問數(shù)據(jù) 的不意圖；
[0035] 圖7為本申請實(shí)施例中元數(shù)據(jù)服務(wù)器的硬件結(jié)構(gòu)圖；
[0036] 圖8為本申請實(shí)施例中元數(shù)據(jù)服務(wù)器的結(jié)構(gòu)邏輯框圖；
[0037] 圖9為本申請實(shí)施例中傳統(tǒng)存儲設(shè)備的工作原理流程圖；
[0038] 圖10為本申請實(shí)施例中傳統(tǒng)存儲設(shè)備的硬件結(jié)構(gòu)圖；
[0039] 圖11為本申請實(shí)施例中傳統(tǒng)存儲設(shè)備的內(nèi)部結(jié)構(gòu)邏輯框圖；
[0040] 圖12為一應(yīng)用實(shí)例中向傳統(tǒng)存儲設(shè)備采集元數(shù)據(jù)的流程圖；
[0041] 圖13為一應(yīng)用實(shí)例中讀取云數(shù)據(jù)的流程圖；
[0042] 圖14為一應(yīng)用實(shí)例中寫入云數(shù)據(jù)的流程圖。
【具體實(shí)施方式】
[0043] 這里將詳細(xì)地對示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及 附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例 中所描述的實(shí)施方式并不代表與本申請相一致的所有實(shí)施方式。相反，它們僅是與如所附 權(quán)利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。
[0044] 在本申請使用的術(shù)語是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本申請。 在本申請和所附權(quán)利要求書中所使用