跨多個(gè)區(qū)的糾刪編碼的制作方法
【專(zhuān)利說(shuō)明】跨多個(gè)區(qū)的糾刪編碼
[0001]背景
[0002]數(shù)據(jù)中心可以使用容錯(cuò)存儲(chǔ)技術(shù)來(lái)實(shí)現(xiàn)專(zhuān)業(yè)且可靠的數(shù)據(jù)存儲(chǔ)。具體地，糾刪編碼技術(shù)可被用于提供降低的存儲(chǔ)開(kāi)銷(xiāo)。糾刪編碼可以跨存儲(chǔ)節(jié)點(diǎn)(例如盤(pán)、服務(wù)器和機(jī)架)來(lái)實(shí)現(xiàn)。然而，常規(guī)的糾刪編碼技術(shù)無(wú)法容適由于大規(guī)模中斷(例如，建筑物崩塌、數(shù)據(jù)中心燒毀、或?qū)φ麄€(gè)區(qū)域的天氣相關(guān)的破壞)而導(dǎo)致的故障。
[0003]概述
[0004]提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。該
【發(fā)明內(nèi)容】
不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或本質(zhì)特征，也不旨在獨(dú)立地用于幫助確定所要求保護(hù)的主題的范圍。
[0005]本發(fā)明的各實(shí)施例提供了一種用于跨多個(gè)存儲(chǔ)區(qū)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼的方法和系統(tǒng)。這可以通過(guò)將數(shù)據(jù)塊劃分成多個(gè)子片段來(lái)實(shí)現(xiàn)。多個(gè)子片段中的每一者與一個(gè)區(qū)相關(guān)聯(lián)。區(qū)包括提供存儲(chǔ)服務(wù)的建筑、數(shù)據(jù)中心和地理區(qū)域。多個(gè)重構(gòu)奇偶校驗(yàn)被計(jì)算。多個(gè)重構(gòu)奇偶校驗(yàn)中的每一者使用來(lái)自多個(gè)子片段中的至少一個(gè)子片段來(lái)計(jì)算。多個(gè)重構(gòu)奇偶校驗(yàn)包括至少一個(gè)跨區(qū)奇偶校驗(yàn)?？鐓^(qū)奇偶校驗(yàn)提供對(duì)數(shù)據(jù)塊的一部分的跨區(qū)重構(gòu)。另夕卜，本發(fā)明的各實(shí)施例提供了一種用于至少部分地基于每一糾刪編碼方案的折衷或各維度(dimens1n)來(lái)跨多個(gè)區(qū)進(jìn)行糾刪編碼的方法和系統(tǒng)。具體地，維度(諸如成本、性能和可靠性)定義與跨區(qū)的不同糾刪編碼方案相關(guān)聯(lián)的實(shí)現(xiàn)約束。每一糾刪編碼方案指定經(jīng)糾刪編碼數(shù)據(jù)的放置以達(dá)成容錯(cuò)的特定目標(biāo)。
[0006]附圖簡(jiǎn)述
[0007]下面參考附圖詳細(xì)描述本發(fā)明，其中:
[0008]圖1是適用于在實(shí)現(xiàn)本發(fā)明的各實(shí)施例中使用的示例性計(jì)算環(huán)境的框圖；
[0009]圖2是其中可以使用本發(fā)明各實(shí)施例的示例性分布存儲(chǔ)系統(tǒng)的框圖；
[0010]圖3是示出根據(jù)本發(fā)明的各實(shí)施例的示例性糾刪編碼方案的示意圖；
[0011]圖4是示出根據(jù)本發(fā)明的各實(shí)施例的示例性糾刪編碼方案的示意圖；
[0012]圖5是示出根據(jù)本發(fā)明的各實(shí)施例的示例性糾刪編碼方案的示意圖；
[0013]圖6是示出根據(jù)本發(fā)明的各實(shí)施例的示例性糾刪編碼方案的示意圖；
[0014]圖7是示出根據(jù)本發(fā)明的各實(shí)施例的比較糾刪編碼方案的各實(shí)現(xiàn)約束的圖表；
[0015]圖8是根據(jù)本發(fā)明的各實(shí)施例的示出用于跨多個(gè)區(qū)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼的方法的流程圖；以及
[0016]圖9是根據(jù)本發(fā)明的各實(shí)施例的示出用于跨多個(gè)區(qū)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼的方法的流程圖。
[0017]詳細(xì)描述
[0018]本文中用細(xì)節(jié)來(lái)描述本發(fā)明各實(shí)施例的主題以滿足法定要求。然而，該描述本身并非旨在限制本專(zhuān)利的范圍。相反，發(fā)明人已設(shè)想所要求保護(hù)的主題還可結(jié)合其它當(dāng)前或未來(lái)技術(shù)以其它方式來(lái)實(shí)施，以包括不同的步驟或類(lèi)似于本文中所描述的步驟的步驟組合。此外，盡管術(shù)語(yǔ)“步驟”和/或“框”可在此處用于指示所采用的方法的不同元素，但除非而且僅當(dāng)明確描述了各個(gè)步驟的順序時(shí)，該術(shù)語(yǔ)不應(yīng)被解釋為意味著此處公開(kāi)的各個(gè)步驟之中或之間的任何特定順序。
[0019]出于本公開(kāi)的目的，單詞“包括”(including)具有與單詞“包含” (comprising) —樣廣義的含義。另外，諸如“一(a)”和“一(an)”包括復(fù)數(shù)以及單數(shù)，除非另外相反地指明。這樣，例如，“一個(gè)特征”的要求在存在一個(gè)或多個(gè)特征的情況下被滿足。同樣，術(shù)語(yǔ)“或”包括合取、析取及這兩者(a或b由此包括a或b任一，以及a和b)。
[0020]出于下文詳細(xì)討論的目的，參考基于被示意性地描繪為用于三個(gè)區(qū)的糾刪編碼方案來(lái)跨多個(gè)區(qū)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼來(lái)描述本發(fā)明的各實(shí)施例；然而，本文描繪的三個(gè)區(qū)僅僅是示例性的且設(shè)想了多個(gè)區(qū)可以與本文描述的糾刪編碼方案一起使用。此外，盡管本發(fā)明的各實(shí)施例可一般引用在本文描述的分布式存儲(chǔ)系統(tǒng)和圖表，但設(shè)想了所描述的技術(shù)可被擴(kuò)展到其他實(shí)現(xiàn)上下文。
[0021]—般而言，容錯(cuò)指的是系統(tǒng)在其組件中的一些出現(xiàn)故障(或一個(gè)或多個(gè)故障)的情況下繼續(xù)工作的能力。例如，容錯(cuò)技術(shù)包括復(fù)制和糾刪編碼。糾刪編碼指的是用來(lái)從所存儲(chǔ)的數(shù)據(jù)的故障中恢復(fù)的糾錯(cuò)算法。數(shù)據(jù)可以用不同類(lèi)型的存儲(chǔ)服務(wù)存儲(chǔ)在不同類(lèi)型的存儲(chǔ)硬件中。糾刪編碼可被實(shí)現(xiàn)以向所存儲(chǔ)的數(shù)據(jù)提供容錯(cuò)。另外，糾刪編碼還可提供降低的存儲(chǔ)開(kāi)銷(xiāo)。例如，代替復(fù)制數(shù)據(jù)流，數(shù)據(jù)可被分成各片段并與一個(gè)或多個(gè)奇偶校驗(yàn)相關(guān)聯(lián)，且隨后各片段以從剩余片段中重構(gòu)丟失片段的能力來(lái)被存儲(chǔ)。如此，糾刪編碼提供硬件、數(shù)據(jù)中心占用的成本節(jié)省以及因不必運(yùn)行附加硬件的功率節(jié)省。
[0022]然而，伴隨跨各區(qū)(例如，數(shù)據(jù)中心、建筑、或地區(qū))對(duì)數(shù)據(jù)進(jìn)行糾刪編碼而來(lái)的是折衷或維度，如下文更詳細(xì)地討論的。例如，在對(duì)數(shù)據(jù)進(jìn)行編碼以及從跨多個(gè)存儲(chǔ)區(qū)進(jìn)行糾刪編碼的數(shù)據(jù)的失敗中恢復(fù)數(shù)據(jù)時(shí)，成本、性能、以及可靠性具有特定實(shí)現(xiàn)約束。這些折衷可以與不同的糾刪編碼方案相關(guān)聯(lián)，尤其是在糾刪編碼針對(duì)存儲(chǔ)在不同區(qū)的數(shù)據(jù)執(zhí)行時(shí)。
[0023]—般而言，糾刪碼使用特定類(lèi)型的代碼來(lái)對(duì)數(shù)據(jù)進(jìn)行編碼。例如，Reed-Solomon是用于對(duì)數(shù)據(jù)進(jìn)行糾刪編碼的常規(guī)辦法。Reed-Solomon實(shí)現(xiàn)可包括6個(gè)數(shù)據(jù)片段和用于恢復(fù)6個(gè)數(shù)據(jù)片段的3個(gè)代碼(奇偶校驗(yàn))段。另一類(lèi)型的糾刪編碼是局部重構(gòu)代碼(LRC)。與Reed-Solomon相比，LRC降低了在重構(gòu)離線的數(shù)據(jù)片段時(shí)需要讀取的糾刪編碼片段的數(shù)量，同時(shí)將存儲(chǔ)開(kāi)銷(xiāo)保持得很低。例如，對(duì)于6個(gè)數(shù)據(jù)片段，LRC生成4個(gè)奇偶校驗(yàn)片段，而非3個(gè)。兩個(gè)局部奇偶校驗(yàn)片段(每一個(gè)與6個(gè)片段中的3個(gè)數(shù)據(jù)片段的不同集合相關(guān)聯(lián))以及針對(duì)6個(gè)數(shù)據(jù)片段的兩個(gè)全局奇偶校驗(yàn)片段。所以，與使用奇偶校驗(yàn)和5個(gè)數(shù)據(jù)片段來(lái)重構(gòu)失敗的數(shù)據(jù)片段的Reed-Solomon形成對(duì)比，LRC使用局部奇偶校驗(yàn)和同一集合中的2個(gè)數(shù)據(jù)片段來(lái)重構(gòu)失敗的數(shù)據(jù)片段。在平衡存儲(chǔ)開(kāi)銷(xiāo)對(duì)重構(gòu)成本時(shí)，LRC相比Reed-Solomon提供了更多的靈活性。對(duì)于以上示例，LRC比Reed-Solomon增加了一個(gè)奇偶校驗(yàn)，同時(shí)將重構(gòu)成本減半?；蛘撸琇RC可保持與Reed-Solomon相同的重構(gòu)成本，同時(shí)顯著地降低了存儲(chǔ)開(kāi)銷(xiāo)。
[0024]局部重構(gòu)代碼可在形式上定義。(k，l，r)LRC將k個(gè)數(shù)據(jù)片段分成1組，其中每一組有k/Ι個(gè)數(shù)據(jù)片段。糾刪編碼方案計(jì)算每一組內(nèi)的一個(gè)局部奇偶校驗(yàn)。另外，它根據(jù)所有數(shù)據(jù)片段來(lái)計(jì)算r個(gè)全局奇偶校驗(yàn)。令η是片段總數(shù)(數(shù)據(jù)+奇偶校驗(yàn))。則η = k+1+r。因而，歸一化的存儲(chǔ)開(kāi)銷(xiāo)是n/k = l+(l+r)/k0在該示例中，LRC是(6，2，2)LRC，具有存儲(chǔ)成本 1+4/6 = 1.67 倍。
[0025]此外，LRC代碼可以基于所選擇的編碼方程來(lái)確定，使得LRC達(dá)到最大可恢復(fù)(MR)屬性，這意味著它可解碼信息理論上可解碼的任何故障模式。例如，參考以上示例，如果3個(gè)數(shù)據(jù)片段和與數(shù)據(jù)片段相關(guān)聯(lián)的奇偶校驗(yàn)的集合發(fā)生故障，則該模式是不可解碼的，因?yàn)槠溆鄡蓚€(gè)奇偶校驗(yàn)不能解碼3個(gè)數(shù)據(jù)片段，因而它在信息理論上是不可解碼的。否則，可能重構(gòu)的故障模式被稱(chēng)為在信息理論上是可解碼的。LRC可與達(dá)到最大可恢復(fù)屬性的單個(gè)編碼方程組相關(guān)聯(lián)。
[0026]本發(fā)明的各實(shí)施例基于跨多個(gè)存儲(chǔ)區(qū)對(duì)數(shù)據(jù)進(jìn)行糾刪編碼來(lái)提供針對(duì)大規(guī)模中斷的容錯(cuò)，同時(shí)確保可靠性和可用性。區(qū)指的是提供存儲(chǔ)服務(wù)的特定的建筑、數(shù)據(jù)中心和地理區(qū)域。跨多個(gè)區(qū)的糾刪編碼涵蓋在該區(qū)中存儲(chǔ)服務(wù)所定義的任何容錯(cuò)水平處提供糾刪編碼。如此，跨各區(qū)實(shí)現(xiàn)糾刪編碼創(chuàng)建實(shí)現(xiàn)考慮和機(jī)會(huì)的不同集合。具體而言，跨各區(qū)的糾刪編碼可基于唯一性跨區(qū)特性來(lái)被優(yōu)化，如各區(qū)之間的帶寬，因?yàn)楦鲄^(qū)之間的帶寬比區(qū)內(nèi)的帶寬稀缺和昂貴得多。同樣，區(qū)故障的概率是相關(guān)因子?；旧?，與存儲(chǔ)節(jié)點(diǎn)相比，整個(gè)區(qū)發(fā)生故障的可能性低得多。預(yù)期一區(qū)將發(fā)生故障，或各區(qū)可能離線以便于維護(hù)。這允許各區(qū)被構(gòu)建得比傳統(tǒng)數(shù)據(jù)中心更便宜，從而向存儲(chǔ)服務(wù)提供顯著成本節(jié)省。
[0027]由于涉及跨區(qū)特性，取決于各區(qū)的目標(biāo)，各區(qū)在實(shí)現(xiàn)跨區(qū)的數(shù)據(jù)糾刪編碼時(shí)引入各種折衷。折衷是指糾刪編碼方案維度，如定義與不同糾刪編碼方案相關(guān)聯(lián)的實(shí)現(xiàn)約束的成本、性能以及可靠性。每一糾刪編碼方案指定經(jīng)糾刪編碼數(shù)據(jù)的放置以達(dá)成容錯(cuò)的特定目標(biāo)。如此，糾刪編碼可以用包括以下各項(xiàng)的目標(biāo)的組合來(lái)實(shí)現(xiàn):開(kāi)銷(xiāo)/跨區(qū)帶寬消耗的最小化、性能的最大化、同時(shí)維持所需耐久性。
[0028]示例性糾刪編碼方案包括可使用LRC以及常規(guī)糾刪編碼方案來(lái)提供區(qū)內(nèi)的局部重構(gòu)以及跨區(qū)容錯(cuò)的第一糾刪編碼方案(例如，XLRC)。可通過(guò)聯(lián)合選擇區(qū)內(nèi)和跨區(qū)的編碼系數(shù)來(lái)提供區(qū)內(nèi)的局部重構(gòu)以及跨區(qū)容錯(cuò)兩者的第二糾刪編碼方案(例如，BLRC)以及可通過(guò)以跨區(qū)網(wǎng)絡(luò)帶寬換取存儲(chǔ)效率來(lái)達(dá)到高存儲(chǔ)效率同時(shí)提供跨區(qū)容錯(cuò)的第三糾刪編碼方案。
[0029]三個(gè)維度可以與跨區(qū)容錯(cuò)數(shù)據(jù)存儲(chǔ)相關(guān)聯(lián)。它們包括:成本(例如，開(kāi)銷(xiāo)/跨區(qū)帶寬消耗的最小化)、性能(例如，性能最大化)、以及可靠性(例如，離線耐久性)。成本是與跨多個(gè)區(qū)的分布式存儲(chǔ)系統(tǒng)相關(guān)聯(lián)的度量。分布式存儲(chǔ)系統(tǒng)可包括若干子存儲(chǔ)系統(tǒng)，每一個(gè)在單個(gè)區(qū)內(nèi)。子系統(tǒng)中的每一者可以由跨各區(qū)的網(wǎng)絡(luò)中樞鏈接在一起。就此，總成本可以基于單區(qū)子存儲(chǔ)系統(tǒng)和跨區(qū)網(wǎng)絡(luò)中樞來(lái)被確定。單區(qū)子存儲(chǔ)系統(tǒng)可以是存儲(chǔ)開(kāi)銷(xiāo)的函數(shù)一一存儲(chǔ)指定量的用戶數(shù)據(jù)所需的物理存儲(chǔ)空間的總量。跨區(qū)網(wǎng)絡(luò)中樞可以是要被供應(yīng)以支持存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)帶寬量的函數(shù)。
[0030]性能度量可以指從不同類(lèi)型的故障場(chǎng)景恢復(fù)的能力。不同類(lèi)型的故障對(duì)系統(tǒng)性能具有不同影響。每一類(lèi)型的故障可被不同地處理。例如，在區(qū)內(nèi)的存儲(chǔ)節(jié)點(diǎn)或錯(cuò)誤域發(fā)生故障時(shí)，該系統(tǒng)以降級(jí)模式來(lái)運(yùn)行。然而，在整個(gè)區(qū)發(fā)生故障時(shí)，該系統(tǒng)以災(zāi)難模式運(yùn)行。為了表征性能，例如，在降級(jí)模式中，降級(jí)的讀取成本(即，從發(fā)生故障的存儲(chǔ)節(jié)點(diǎn)讀出一個(gè)單位的用戶數(shù)據(jù)所需的盤(pán)I/O的數(shù)量)可被定義。類(lèi)似地，災(zāi)難讀取成本可被定義為讀取處于故障區(qū)中的一個(gè)單位的用戶數(shù)據(jù)所需的盤(pán)I/O的數(shù)量。盤(pán)I/O被設(shè)想為包括用于傳達(dá)數(shù)據(jù)的網(wǎng)絡(luò)傳輸成本。此外，可靠性與數(shù)據(jù)存儲(chǔ)系統(tǒng)可容忍的故障類(lèi)型和故障量相關(guān)聯(lián)。因而，可靠性基于在一個(gè)或多個(gè)機(jī)器發(fā)生故障或變得不可用之后重構(gòu)數(shù)據(jù)的能力。例如，可靠性可基于平均數(shù)據(jù)丟失時(shí)間(MTTDL)來(lái)評(píng)估。
[0031]特定編碼方案可包括異或-LRC或XLRC方案，采用兩種類(lèi)型的糾刪碼。每一區(qū)內(nèi)的LRC以及跨所有區(qū)的異或(XOR)。LRC向單個(gè)區(qū)內(nèi)的任意(r+Ι)且上至(r+Ι)個(gè)故障提供數(shù)據(jù)片段的恢復(fù)，而無(wú)需跨區(qū)恢復(fù)。使用三區(qū)部署作為示例，對(duì)于XLRC，數(shù)據(jù)塊在兩個(gè)區(qū)之間被均勻地分成子片段。在每一區(qū)內(nèi)，子片段由多個(gè)局部奇偶校驗(yàn)和區(qū)奇偶校驗(yàn)來(lái)保護(hù)。局部奇偶校驗(yàn)是從每一區(qū)中的子片段生成的且允許該區(qū)內(nèi)的高效故障重構(gòu)。區(qū)奇偶校驗(yàn)是從每一區(qū)中的所有子片段生成的且提供最大容錯(cuò)。如所討論的，最大容錯(cuò)包括使用特別確定的編碼方程達(dá)到最大可恢復(fù)屬