本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地說，涉及一種云存儲系統(tǒng)中數(shù)據(jù)去重方法及系統(tǒng)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)和云計算的興起，產(chǎn)生的巨大數(shù)據(jù)對存儲系統(tǒng)的容量和性能有了更高的要求。無論企業(yè)還是個人如今都會用到云存儲系統(tǒng)，特別是使用云存儲系統(tǒng)共享數(shù)據(jù)或備份數(shù)據(jù)。而當(dāng)我們上傳大體積的文件或者備份數(shù)據(jù)時，經(jīng)常會遇到上傳時間過長的情況，而云存儲系統(tǒng)也會出現(xiàn)大量數(shù)據(jù)冗余而影響系統(tǒng)性能。

目前，雖然有數(shù)據(jù)壓縮技術(shù)可以減少數(shù)據(jù)的體積，增加傳輸效率，但是并不能有效減少存儲系統(tǒng)中的數(shù)據(jù)冗余，特別是備份數(shù)據(jù)時會產(chǎn)生大量數(shù)據(jù)冗余。而現(xiàn)有的數(shù)據(jù)去重技術(shù)多為離線去重技術(shù)，這種技術(shù)必須將數(shù)據(jù)全部上傳到云端后才能刪除重復(fù)的數(shù)據(jù)，應(yīng)用在云存儲系統(tǒng)中，它并不能加快數(shù)據(jù)傳輸效率，并且需占用更大的空間作為緩沖區(qū)。因此，如何有效的對云存儲系統(tǒng)中的數(shù)據(jù)進行去重是一項亟待解決的問題。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種云存儲系統(tǒng)中數(shù)據(jù)去重方法，能夠有效的在線對云存儲系統(tǒng)中的數(shù)據(jù)進行去重，大大提高客戶端向云端上傳或備份數(shù)據(jù)的速度。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種云存儲系統(tǒng)中數(shù)據(jù)去重方法，包括：

獲取目標(biāo)文件，所述目標(biāo)文件為待上傳文件；

生成所述目標(biāo)文件的待上傳文件數(shù)字指紋庫；

將所述待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

基于所述去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

優(yōu)選地，所述基于所述去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫后還包括：

基于所述云端文件庫生成云端文件數(shù)字指紋庫；

存儲所述云端文件數(shù)字指紋庫。

優(yōu)選地，所述生成所述目標(biāo)文件的待上傳文件數(shù)字指紋庫包括：

基于哈希函數(shù)計算所述目標(biāo)文件內(nèi)容的哈希值；

基于所述哈希值生成所述目標(biāo)文件的待上傳文件數(shù)字指紋庫。

優(yōu)選地，所述將所述待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫包括：

判斷所述待上傳文件數(shù)值指紋庫與所述云端已存儲的文件數(shù)字指紋庫是否存在相同的數(shù)字指紋的文件；

當(dāng)所述待上傳文件數(shù)值指紋庫與所述云端已存儲的文件數(shù)字指紋庫存在相同的數(shù)字指紋的文件時，刪除具有相同的數(shù)字指紋的文件，生成去重后的待上傳數(shù)字指紋庫。

一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)，包括：

獲取模塊，用于獲取目標(biāo)文件，所述目標(biāo)文件為待上傳文件；

第一生成模塊，用于生成所述目標(biāo)文件的待上傳文件數(shù)字指紋庫；

比較模塊，用于將所述待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

上傳模塊，用于基于所述去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

優(yōu)選地，所述系統(tǒng)還包括：

第二生成模塊，用于基于所述云端文件庫生成云端文件數(shù)字指紋庫；

存儲模塊，用于存儲所述云端文件數(shù)字指紋庫。

優(yōu)選地，所述第一生成模塊具體用于：

基于哈希函數(shù)計算所述目標(biāo)文件內(nèi)容的哈希值；

基于所述哈希值生成所述目標(biāo)文件的待上傳文件數(shù)字指紋庫。

優(yōu)選地，所述比較模塊具體用于：

判斷所述待上傳文件數(shù)值指紋庫與所述云端已存儲的文件數(shù)字指紋庫是否存在相同的數(shù)字指紋的文件；

當(dāng)所述待上傳文件數(shù)值指紋庫與所述云端已存儲的文件數(shù)字指紋庫存在相同的數(shù)字指紋的文件時，刪除具有相同的數(shù)字指紋的文件，生成去重后的待上傳數(shù)字指紋庫。

由上述技術(shù)方案可知，本實施例提供了一種云存儲系統(tǒng)中數(shù)據(jù)去重方法，當(dāng)在向云存儲系統(tǒng)中上傳或備份數(shù)據(jù)時，首先獲取目標(biāo)文件，即獲取待上傳文件，然后生成目標(biāo)文件的待上傳文件數(shù)字指紋庫，然后將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫，根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫，能夠有效的在線對云存儲系統(tǒng)中的數(shù)據(jù)進行去重，大大提高客戶端向云端上傳或備份數(shù)據(jù)的速度。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例1的方法流程圖；

圖2為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例2的方法流程圖；

圖3為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例3的方法流程圖；

圖4為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例1的結(jié)構(gòu)示意圖；

圖5為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例2的結(jié)構(gòu)示意圖；

圖6為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例3的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

為了更加特定地強調(diào)實施的獨立性，本說明書涉及許多模塊或單元。舉例而言，模塊或單元可由硬件電路實現(xiàn)，該硬件電路包括特制vlsi電路或門陣列，比如邏輯芯片、晶體管，或其它組件。模塊或單元也可在可編程的硬設(shè)備中實現(xiàn)，比如場效可編程門陣列、可編程陣列邏輯、可編程邏輯設(shè)備等等。

模塊或單元也可在藉由各種形式的處理器所執(zhí)行的軟件中實現(xiàn)。比如說，一可執(zhí)行碼模塊可包括一個或多個實體的或邏輯的計算機指令區(qū)塊，該區(qū)塊可能形成為，比如說，對象、程序或函數(shù)。然而，鑒別模塊或單元的可執(zhí)行部分不需要物理上放置在一起，但可由存于不同位置的不同指令所組成，當(dāng)邏輯上組合在一起時，形成模塊或單元且達到該模塊或單元所要求的目的。

實際上，可執(zhí)行碼模塊或單元可以是一單一指令或多個指令，甚至可以分布在位于不同的程序的數(shù)個不同的碼區(qū)段，并且橫跨數(shù)個存儲設(shè)備。同樣地，操作數(shù)據(jù)可被辨識及顯示于此模塊或單元中，并且可以以任何合適的形式實施且在任何合適的數(shù)據(jù)結(jié)構(gòu)形式內(nèi)組織。操作數(shù)據(jù)可以集合成單一數(shù)據(jù)集，或可分布在具有不同的存儲設(shè)備的不同的位置，且至少部分地只以電子信號方式存在于一系統(tǒng)或網(wǎng)絡(luò)。

本說明書所提及的“實施例”或類似用語表示與實施例有關(guān)的特性、結(jié)構(gòu)或特征，包括在本發(fā)明的至少一實施例中。因此，本說明書所出現(xiàn)的用語“在一實施例中”、“在實施例中”以及類似用語可能但不必然都指向相同實施例。

再者，本發(fā)明所述特性、結(jié)構(gòu)或特征可以以任何方式結(jié)合在一個或多個實施例中。以下說明將提供許多特定的細(xì)節(jié)，比如編程序、軟件模塊、用戶選擇、網(wǎng)絡(luò)交易、數(shù)據(jù)庫查詢、數(shù)據(jù)庫結(jié)構(gòu)、硬件模塊、硬件電路、硬件芯片等例子，以提供對本發(fā)明實施例的了解。然而相關(guān)領(lǐng)域的普通技術(shù)人員將看出本發(fā)明，即使沒有利用其中一個或多個特定細(xì)節(jié)，或利用其它方法、組件、材料等亦可實施。另一方面，為避免混淆本發(fā)明，公知的結(jié)構(gòu)、材料或操作并沒有詳細(xì)描述。

如圖1所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例1的流程圖，本方法包括以下步驟：

s101、獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

s102、生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

當(dāng)獲取到目標(biāo)文件后，進一步生成與目標(biāo)文件相匹配的待上傳文件數(shù)字指紋庫，需要說明的是，不同的文件對應(yīng)不同的數(shù)字指紋。

s103、將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

s104、基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

綜上所述，在上述實施例中，當(dāng)在向云存儲系統(tǒng)中上傳或備份數(shù)據(jù)時，首先獲取目標(biāo)文件，即獲取待上傳文件，然后生成目標(biāo)文件的待上傳文件數(shù)字指紋庫，然后將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫，根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫，能夠有效的在線對云存儲系統(tǒng)中的數(shù)據(jù)進行去重，大大提高客戶端向云端上傳或備份數(shù)據(jù)的速度。

如圖2所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例2的流程圖，本方法包括以下步驟：

s201、獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

s202、生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

當(dāng)獲取到目標(biāo)文件后，進一步生成與目標(biāo)文件相匹配的待上傳文件數(shù)字指紋庫，需要說明的是，不同的文件對應(yīng)不同的數(shù)字指紋。

s203、將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

s204、基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫；

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

s205、基于云端文件庫生成云端文件數(shù)字指紋庫；

當(dāng)將去重后的文件上傳至云端文件庫后，將上傳的去重后的文件生成云端文件數(shù)字指紋庫，生成的云端文件數(shù)字指紋庫可以作為下次的比對數(shù)據(jù)。

s206、存儲云端文件數(shù)字指紋庫。

然后將生成的云端文件數(shù)字指紋庫存車至云存儲系統(tǒng)。

如圖3所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重方法實施例3的流程圖，本方法包括以下步驟：

s301、獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

s302、基于哈希函數(shù)計算目標(biāo)文件內(nèi)容的哈希值；

當(dāng)獲取到目標(biāo)文件后，根據(jù)好像函數(shù)計算出目標(biāo)文件內(nèi)容的哈希值，哈希算法就是把任意長度的輸入通過哈希算法變換成固定長度的輸出，該輸出就是哈希值。哈希值在存儲系統(tǒng)中可以唯一的表征特定的數(shù)據(jù)實體，成為內(nèi)容地址或數(shù)字指紋

s303、基于哈希值生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

數(shù)值指紋庫即哈希表，是根據(jù)關(guān)鍵碼值(數(shù)字指紋)而直接進行訪問的數(shù)據(jù)結(jié)構(gòu)。也就是說，它通過把數(shù)字指紋值映射到表中一個位置來訪問對應(yīng)的文件，以加快查找的速度。

s304、判斷待上傳文件數(shù)值指紋庫與云端已存儲的文件數(shù)字指紋庫是否存在相同的數(shù)字指紋的文件；

s305、當(dāng)待上傳文件數(shù)值指紋庫與云端已存儲的文件數(shù)字指紋庫存在相同的數(shù)字指紋的文件時，刪除具有相同的數(shù)字指紋的文件，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

s306、基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫；

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

s307、基于云端文件庫生成云端文件數(shù)字指紋庫；

當(dāng)將去重后的文件上傳至云端文件庫后，將上傳的去重后的文件生成云端文件數(shù)字指紋庫，生成的云端文件數(shù)字指紋庫可以作為下次的比對數(shù)據(jù)。

s308、存儲云端文件數(shù)字指紋庫。

然后將生成的云端文件數(shù)字指紋庫存車至云存儲系統(tǒng)。

綜上所述，本發(fā)明能夠節(jié)省存儲空間，通過重復(fù)數(shù)據(jù)刪除，可以大大降低需要的存儲介質(zhì)數(shù)量，進而降低成本。能夠提升寫入性能，磁盤的寫入性能是有限的，通常順序?qū)懭朐?00mb/s左右，如果在寫入數(shù)據(jù)的時候就進行數(shù)據(jù)去重，可以避免一部分的數(shù)據(jù)寫入磁盤，從而提升寫入性能。能夠在線去重，僅將新增的數(shù)據(jù)傳輸?shù)酱鎯ο到y(tǒng)，可以減少網(wǎng)絡(luò)上的數(shù)據(jù)傳輸量，從而節(jié)省網(wǎng)絡(luò)帶寬。

如圖4所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例1的結(jié)構(gòu)示意圖，本系統(tǒng)包括：

獲取模塊401，用于獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

第一生成模塊402，用于生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

當(dāng)獲取到目標(biāo)文件后，進一步生成與目標(biāo)文件相匹配的待上傳文件數(shù)字指紋庫，需要說明的是，不同的文件對應(yīng)不同的數(shù)字指紋。

比較模塊403，用于將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

上傳模塊404，用于基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

綜上所述，在上述實施例中，當(dāng)在向云存儲系統(tǒng)中上傳或備份數(shù)據(jù)時，首先獲取目標(biāo)文件，即獲取待上傳文件，然后生成目標(biāo)文件的待上傳文件數(shù)字指紋庫，然后將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫，根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫，能夠有效的在線對云存儲系統(tǒng)中的數(shù)據(jù)進行去重，大大提高客戶端向云端上傳或備份數(shù)據(jù)的速度。

如圖5所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例2的結(jié)構(gòu)示意圖，本系統(tǒng)包括：

獲取模塊501，用于獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

第一生成模塊502，用于生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

當(dāng)獲取到目標(biāo)文件后，進一步生成與目標(biāo)文件相匹配的待上傳文件數(shù)字指紋庫，需要說明的是，不同的文件對應(yīng)不同的數(shù)字指紋。

比較模塊503，用于將待上傳文件數(shù)字指紋庫與云端已存儲的文件數(shù)字指紋庫進行比對，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

上傳模塊504，用于基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫；

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

第二生成模塊505，用于基于云端文件庫生成云端文件數(shù)字指紋庫；

當(dāng)將去重后的文件上傳至云端文件庫后，將上傳的去重后的文件生成云端文件數(shù)字指紋庫，生成的云端文件數(shù)字指紋庫可以作為下次的比對數(shù)據(jù)。

存儲模塊506，用于存儲云端文件數(shù)字指紋庫。

然后將生成的云端文件數(shù)字指紋庫存車至云存儲系統(tǒng)。

如圖6所示，為本發(fā)明公開的一種云存儲系統(tǒng)中數(shù)據(jù)去重系統(tǒng)實施例3的結(jié)構(gòu)示意圖，本系統(tǒng)包括：

獲取模塊601，用于獲取目標(biāo)文件，目標(biāo)文件為待上傳文件；

當(dāng)需要對待上傳或備份的數(shù)據(jù)進行去重時，首先獲取目標(biāo)文件，所述的目標(biāo)文件為待上傳或備份至云存儲系統(tǒng)中的文件。

第一生成模塊602，用于基于哈希函數(shù)計算目標(biāo)文件內(nèi)容的哈希值，基于哈希值生成目標(biāo)文件的待上傳文件數(shù)字指紋庫；

當(dāng)獲取到目標(biāo)文件后，根據(jù)好像函數(shù)計算出目標(biāo)文件內(nèi)容的哈希值，哈希算法就是把任意長度的輸入通過哈希算法變換成固定長度的輸出，該輸出就是哈希值。哈希值在存儲系統(tǒng)中可以唯一的表征特定的數(shù)據(jù)實體，成為內(nèi)容地址或數(shù)字指紋

數(shù)值指紋庫即哈希表，是根據(jù)關(guān)鍵碼值(數(shù)字指紋)而直接進行訪問的數(shù)據(jù)結(jié)構(gòu)。也就是說，它通過把數(shù)字指紋值映射到表中一個位置來訪問對應(yīng)的文件，以加快查找的速度。

比較模塊603，用于判斷待上傳文件數(shù)值指紋庫與云端已存儲的文件數(shù)字指紋庫是否存在相同的數(shù)字指紋的文件；當(dāng)待上傳文件數(shù)值指紋庫與云端已存儲的文件數(shù)字指紋庫存在相同的數(shù)字指紋的文件時，刪除具有相同的數(shù)字指紋的文件，生成去重后的待上傳數(shù)字指紋庫；

當(dāng)生成目標(biāo)文件的待上傳文件數(shù)字指紋庫后，進一步將待上傳文件數(shù)字指紋庫與云存儲系統(tǒng)中已經(jīng)存儲的文件數(shù)字指紋庫進行比對，去掉重復(fù)的文件，生成去重后的待上傳數(shù)字指紋庫。

上傳模塊604，用于基于去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫；

當(dāng)生成去重后的待上傳數(shù)字指紋庫后，進一步根據(jù)去重后的待上傳數(shù)字指紋庫上傳去重后的文件至云端文件庫。

第二生成模塊605，用于基于云端文件庫生成云端文件數(shù)字指紋庫；

當(dāng)將去重后的文件上傳至云端文件庫后，將上傳的去重后的文件生成云端文件數(shù)字指紋庫，生成的云端文件數(shù)字指紋庫可以作為下次的比對數(shù)據(jù)。

存儲模塊606，用于存儲云端文件數(shù)字指紋庫。

然后將生成的云端文件數(shù)字指紋庫存車至云存儲系統(tǒng)。

綜上所述，本發(fā)明能夠節(jié)省存儲空間，通過重復(fù)數(shù)據(jù)刪除，可以大大降低需要的存儲介質(zhì)數(shù)量，進而降低成本。能夠提升寫入性能，磁盤的寫入性能是有限的，通常順序?qū)懭朐?00mb/s左右，如果在寫入數(shù)據(jù)的時候就進行數(shù)據(jù)去重，可以避免一部分的數(shù)據(jù)寫入磁盤，從而提升寫入性能。能夠在線去重，僅將新增的數(shù)據(jù)傳輸?shù)酱鎯ο到y(tǒng)，可以減少網(wǎng)絡(luò)上的數(shù)據(jù)傳輸量，從而節(jié)省網(wǎng)絡(luò)帶寬。

本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同相似部分互相參見即可。

對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。