專利名稱：存儲(chǔ)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種存儲(chǔ)系統(tǒng)，并且具體地涉及ー種用于執(zhí)行多個(gè)任務(wù)的存儲(chǔ)系統(tǒng)。
背景技術(shù)：
與讀取/寫入操作(用戶負(fù)荷)并行，存儲(chǔ)系統(tǒng)經(jīng)常執(zhí)行多種類型的后臺(tái)任務(wù)，t匕如重建奇偶校驗(yàn)數(shù)據(jù)、碎片整理和垃圾收集。任務(wù)的優(yōu)先級(jí)通常依賴于系統(tǒng)的狀態(tài)。在典型情況下，用戶負(fù)荷具有最高優(yōu)先級(jí)以便實(shí)現(xiàn)所需服務(wù)質(zhì)量。當(dāng)故障出現(xiàn)時(shí)，必須用高優(yōu)先級(jí)重建遺漏的奇偶校驗(yàn)數(shù)據(jù)(RAID重建是這樣的重建的示例)以便恢復(fù)預(yù)計(jì)弾性水平，該弾性水平是可以在沒(méi)有數(shù)據(jù)損失時(shí)容許的故障數(shù)目。這樣的重建的優(yōu)先級(jí)可以依賴于當(dāng)前弾性水平。在用完空間的系統(tǒng)中，應(yīng)當(dāng)減緩寫入并且應(yīng)當(dāng)向垃圾收集分配釋放的資源。即使在健康系統(tǒng)中，諸如垃圾收集和碎片整理之類的維護(hù)任務(wù)不論它們的優(yōu)先級(jí)多低都不應(yīng)陷入?yún)T乏。在此，下文使用以下記法:負(fù)荷類型(下文為負(fù)荷)表示相似特性的任務(wù)類別，例如寫入和后臺(tái)任務(wù)；負(fù)荷來(lái)源(下文為來(lái)源)表示系統(tǒng)的一部分，該部分產(chǎn)生某一負(fù)荷類型的任務(wù)。負(fù)荷來(lái)源例如是準(zhǔn)許寫入/讀取操作或者執(zhí)行后臺(tái)任務(wù)的軟件組件。必須通過(guò)某ー機(jī)制實(shí)行負(fù)荷的優(yōu)先級(jí)，該機(jī)制根據(jù)給定的策略在它們之間劃分資源(NPL 1、2)。該機(jī)制也應(yīng)當(dāng)保證系統(tǒng)以可能的最高性能工作，并且保證如果較高優(yōu)先級(jí)的負(fù)荷沒(méi)有利用它們的份額則較低優(yōu)先級(jí)的負(fù)荷較快地進(jìn)行。引用列表非專利文獻(xiàn)NPL 1:⑶LATI，A.，AHMAD, 1.，AND WALDSPURGER, C.A.PARDA =ProportionalAllocation of Resources for Distributed Storage Access.1n 7th USENIX Conferenceon File and Storage Technologies(San Francisco，California，USA，F(xiàn)ebruary 2009).
NPL 2:LU，C.，ALVAREZ, G.A.，AND WILKES, J.Aqueduct:Online data migrationwith performance guarantees.1n FAST f 02:Proceedings of the 1st USENIXConference on File and Storage Technologies(Berkeley， CA， USA，2002)， USENIXAssociation，p.21.
NPL 3:DUBNICKI，C.，GRYZ, L.，HELDT, L.，KACZMARCZYK，M.，KILIAN，W.，STRZELCZAK， P.， SZCZEPKOWSKI， J.， UNGUREANU， C.， AND WELNICKI， M.HYDRAstor:a Scalable Secondary Storage.1n 7th USENIX Conference on File and StorageTechnologies (San Francisco，California，USA，F(xiàn)ebruary 2009).

發(fā)明內(nèi)容
技術(shù)問(wèn)題設(shè)計(jì)ー種用于控制分布式存儲(chǔ)系統(tǒng)中的資源的機(jī)制由于復(fù)雜化的系統(tǒng)的架構(gòu)、固有異構(gòu)性和負(fù)荷的不可預(yù)測(cè)性而成為ー項(xiàng)有挑戰(zhàn)性的任務(wù)。對(duì)于復(fù)雜系統(tǒng)，很少有可能定義令人滿意的、預(yù)測(cè)特定負(fù)荷使用的資源種類和數(shù)量的模型。簡(jiǎn)單解決方案，比如向負(fù)荷靜態(tài)分配資源，由于負(fù)荷經(jīng)常動(dòng)態(tài)改變它們的資源需求而不切實(shí)際。此外，在相同服務(wù)器上的外部過(guò)程使系統(tǒng)中的可用于負(fù)荷的資源總量隨時(shí)間變化。用戶寫入和后臺(tái)任務(wù)二者的高度地可變特性也引起該問(wèn)題的復(fù)雜性。用戶寫入可能需要有界延時(shí)，但是通常由于去重(reduplication)、高速緩存和工作負(fù)荷波動(dòng)而不能估計(jì)單個(gè)塊寫入持續(xù)時(shí)間。由于僅有限存儲(chǔ)器可用于預(yù)取，所以用戶讀取要求甚至更低的延時(shí)以便實(shí)現(xiàn)高性能。這樣，本發(fā)明的示例性目的是高效地利用存儲(chǔ)系統(tǒng)中的資源以提高系統(tǒng)性能，這是如上文描述的待解決的問(wèn)題。對(duì)問(wèn)題的解決方案根據(jù)本發(fā)明的ー個(gè)方面，ー種存儲(chǔ)系統(tǒng)包括:進(jìn)度狀態(tài)檢測(cè)単元，其檢測(cè)相應(yīng)進(jìn)度狀態(tài)，該相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的量的比例，相應(yīng)處理単元中的每個(gè)處理單元被實(shí)施于存儲(chǔ)系統(tǒng)中并且執(zhí)行預(yù)定任務(wù)；目標(biāo)值設(shè)置単元，其基于相應(yīng)處理單元的檢測(cè)到的進(jìn)度狀態(tài)以及針對(duì)相應(yīng)處理單元預(yù)設(shè)的進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置相應(yīng)處理単元的處理狀況的目標(biāo)值；以及處理操作控制單元，其控制相應(yīng)處理単元的處理狀況，從而使得相應(yīng)處理単元的處理狀況滿足設(shè)置的目標(biāo)值。根據(jù)本發(fā)明的另一方面，ー種包括用于使信息處理設(shè)備實(shí)現(xiàn)的指令的計(jì)算機(jī)程序是如下程序，該信息處理設(shè)備包括分別執(zhí)行預(yù)定`任務(wù)的相應(yīng)處理単元，該程序用于實(shí)現(xiàn):進(jìn)度狀態(tài)檢測(cè)単元，其檢測(cè)相應(yīng)進(jìn)度狀態(tài)，該相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)信息處理設(shè)備執(zhí)行的處理的量的比例；目標(biāo)值設(shè)置単元，其基于相應(yīng)處理單元的檢測(cè)到的進(jìn)度狀態(tài)以及針對(duì)相應(yīng)處理單元預(yù)設(shè)的進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置相應(yīng)處理単元的處理狀況的目標(biāo)值；以及處理操作控制單元，其控制相應(yīng)處理単元的處理狀況，從而使得相應(yīng)處理単元的處理狀況滿足設(shè)置的目標(biāo)值。根據(jù)本發(fā)明的另一方面，ー種信息處理方法包括:檢測(cè)相應(yīng)進(jìn)度狀態(tài)，該相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的量的比例，相應(yīng)處理單元中的每個(gè)相應(yīng)處理単元被實(shí)施于存儲(chǔ)系統(tǒng)中并且執(zhí)行預(yù)定任務(wù)；基于相應(yīng)處理單元的檢測(cè)到的進(jìn)度狀態(tài)以及針對(duì)相應(yīng)處理單元預(yù)設(shè)的進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置相應(yīng)處理単元的處理狀況的目標(biāo)值；以及控制相應(yīng)處理単元的處理狀況，從而使得相應(yīng)處理単元的處理狀況滿足設(shè)置的目標(biāo)值。本發(fā)明的有利效果在如上文描述的那樣配置本發(fā)明時(shí)，有可能高效地利用資源以提高存儲(chǔ)系統(tǒng)的性倉(cāng)^:。


圖1是示出第一示例性實(shí)施例的進(jìn)度份額的示例性策略的表格；圖2是示出第一示例性實(shí)施例的資源管理方面的解釋圖；圖3是示出第一示例性實(shí)施例的資源管理架構(gòu)的解釋4示出第一示例性實(shí)施例的算法I ;圖5示出第一示例性實(shí)施例的算法2 ；
圖6是示出第一示例性實(shí)施例的進(jìn)度份額的示例性策略的表格；圖7是示出第一示例性實(shí)施例的實(shí)驗(yàn)結(jié)果的圖表；圖8是示出第一示例性實(shí)施例的實(shí)驗(yàn)結(jié)果的圖表；圖9是示出第一示例性實(shí)施例的實(shí)驗(yàn)中的預(yù)計(jì)進(jìn)度份額的圖表；圖10是示出第一示例性實(shí)施例的實(shí)驗(yàn)結(jié)果的圖表；圖11是示出包括第二示例性實(shí)施例的存儲(chǔ)系統(tǒng)的整個(gè)系統(tǒng)的配置的框圖；圖12是示意性地出第二示例性實(shí)施例的存儲(chǔ)系統(tǒng)的配置的框圖；圖13是示出第二示例性實(shí)施例的存儲(chǔ)系統(tǒng)的配置的功能框圖；圖14是用于解釋圖13中公開(kāi)的存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)過(guò)程的方面的解釋圖；圖15是用于解釋圖13中公開(kāi)的存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)過(guò)程的方面的解釋圖；圖16是用于解釋圖13中公開(kāi)的存儲(chǔ)系統(tǒng)中的數(shù)據(jù)取回過(guò)程的方面的解釋圖；圖17是示出第二示例性實(shí)施例的存儲(chǔ)系統(tǒng)的操作的流程圖；以及圖18是示出根據(jù)補(bǔ)充注釋I的存儲(chǔ)系統(tǒng)的配置的框圖。
具體實(shí)施例方式<第一示例性實(shí)施例>本發(fā)明提供一種用于在保證系統(tǒng)中的高資源利用率之時(shí)在異構(gòu)負(fù)荷之間的動(dòng)態(tài)資源劃分的機(jī)制。呈現(xiàn)的方式基于負(fù)荷的抽象化并且避免關(guān)于它們使用的資源和關(guān)于處置某些負(fù)荷類型的過(guò)程的假設(shè)。具體而言，負(fù)荷可以由不同類型的多個(gè)對(duì)象處置，每個(gè)對(duì)象競(jìng)爭(zhēng)相同資源。在本發(fā)明中提供的方法保證負(fù)荷的按比例進(jìn)度而不是這些負(fù)荷使用的資源的按比例劃分。從用戶觀點(diǎn)來(lái)看，這樣的方式是優(yōu)選的，因?yàn)橛脩魧?duì)負(fù)荷的效果和進(jìn)展感興趣，而不是對(duì)內(nèi)部實(shí)施細(xì)節(jié)(比如資源消耗)感興趣。從系統(tǒng)觀點(diǎn)來(lái)看，這樣的方式也是優(yōu)選的，因?yàn)榫_資源分配和記賬對(duì)于復(fù)雜系統(tǒng)、特別是對(duì)于分布式系統(tǒng)而言是有問(wèn)題的。因此，在本發(fā)明中，將它延伸至包括后臺(tái)任務(wù)的異構(gòu)負(fù)荷。為了控制異構(gòu)負(fù)荷的進(jìn)展，要求每個(gè)負(fù)荷具有可以與其它負(fù)荷的進(jìn)度相比較的進(jìn)度指示符。在更多任務(wù)對(duì)數(shù)據(jù)工作時(shí)，這樣的指示符可以被選擇為與這ー負(fù)荷有關(guān)的任務(wù)生成的呑吐量，也就是處理的數(shù)據(jù)總量除以流逝的時(shí)間。例如，寫入請(qǐng)求的呑吐量是每秒保存到盤里的數(shù)據(jù)量。對(duì)于未對(duì)任何數(shù)據(jù)操作的任務(wù)，可以取某個(gè)人為呑吐量值，該吞吐量值估計(jì)這一任務(wù)取得的進(jìn)度。具有相同呑吐量的任務(wù)可能給系統(tǒng)引入不同負(fù)擔(dān)。一些任務(wù)比其它任務(wù)繁重得多，即，它們對(duì)于給定相同資源量會(huì)實(shí)現(xiàn)低得多的進(jìn)度。為了實(shí)現(xiàn)高進(jìn)度，它們必須消耗大量資源從而減緩或者甚至阻止其它任務(wù)的執(zhí)行。為了降低這樣的影響，可以通過(guò)任意權(quán)重來(lái)人為地縮放此類任務(wù)的吞吐量。從現(xiàn)在起，將負(fù)荷的呑吐量理解為吞吐量乘以它的與負(fù)荷類型有關(guān)的權(quán)重。還假設(shè)進(jìn)度被呑吐量(即使其它度量也有可能)來(lái)測(cè)量。核心算法根據(jù)給定的策略在負(fù)荷之間劃分資源。策略指定進(jìn)度份額，也即，應(yīng)當(dāng)在現(xiàn)有負(fù)荷之間劃分系統(tǒng)的總呑吐量的比例。策略可以根據(jù)系統(tǒng)的狀態(tài)而動(dòng)態(tài)地改變。(例I)在圖1中給出進(jìn)度策略的示例。利用這些進(jìn)度份額，目的是實(shí)現(xiàn)負(fù)荷的此類吞吐量，該吞吐量將滿足以下數(shù)學(xué)式I。這樣，目標(biāo)是保證每個(gè)負(fù)荷類型生成的呑吐量與進(jìn)度份額成比例。[數(shù)學(xué)式I]
權(quán)利要求
1.種存儲(chǔ)系統(tǒng)，包括: 進(jìn)度狀態(tài)檢測(cè)単元，所述進(jìn)度狀態(tài)檢測(cè)単元檢測(cè)相應(yīng)進(jìn)度狀態(tài)，所述相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)所述存儲(chǔ)系統(tǒng)執(zhí)行的處理的量的比例，所述相應(yīng)處理単元中的每個(gè)處理單元被實(shí)施于所述存儲(chǔ)系統(tǒng)中并且執(zhí)行預(yù)定任務(wù)； 目標(biāo)值設(shè)置単元，所述目標(biāo)值設(shè)置単元基于所述相應(yīng)處理単元的檢測(cè)到的所述進(jìn)度狀態(tài)以及針對(duì)所述相應(yīng)處理單元預(yù)設(shè)的所述進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置所述相應(yīng)處理單元的處理狀況的目標(biāo)值；以及 處理操作控制單元，所述處理操作控制單元控制所述相應(yīng)處理單元的所述處理狀況，從而使得所述相應(yīng)處理單元的所述處理狀況滿足設(shè)置的所述目標(biāo)值。
2.據(jù)權(quán)利要求1所述的存儲(chǔ)系統(tǒng)，其中: 所述進(jìn)度狀態(tài)檢測(cè)単元檢測(cè)在所述處理単元中的每個(gè)處理單元中是否有等待被處理的任務(wù),并且 如果在所述處理単元中的、在其中檢測(cè)到的所述進(jìn)度狀態(tài)不滿足所述理想值的ー個(gè)處理單元中沒(méi)有等待被處理的任務(wù)，則所述目標(biāo)值設(shè)置単元進(jìn)行設(shè)置以增加所述處理単元中的、在其中有等待被處理的任務(wù)的另一處理單元的所述目標(biāo)值。
3.據(jù)權(quán)利要求2所述的存儲(chǔ)系統(tǒng)，其中: 由所述處理單元執(zhí)行的處理的所述量與由所述整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的所述量的所述比例被用作所述目標(biāo)值，并且 所述目標(biāo)值設(shè)置単元將所述處理單元的所述進(jìn)度狀態(tài)設(shè)置為所述處理單元的所述目標(biāo)值，在所述處理単元中檢測(cè)到的所述進(jìn)度狀態(tài)不滿足所述理想值并且沒(méi)有等待被處理的任務(wù)。
4.據(jù)權(quán)利要求2所述的存儲(chǔ)系統(tǒng)，其中: 由所述處理單元執(zhí)行的處理的所述量與由所述整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的所述量的所述比例被用作所述目標(biāo)值，并且 所述目標(biāo)值設(shè)置単元進(jìn)行設(shè)置以增加所述處理単元中的、在其中檢測(cè)到的所述進(jìn)度狀態(tài)超過(guò)所述目標(biāo)值的另ー處理單元的所述目標(biāo)值。
5.據(jù)權(quán)利要求2所述的存儲(chǔ)系統(tǒng)，其中: 由所述處理單元執(zhí)行的處理的所述量與由所述整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的所述量的所述比例被用作所述目標(biāo)值，并且 所述目標(biāo)值設(shè)置單元進(jìn)行設(shè)置以將所述目標(biāo)值增加基于在針對(duì)其所述目標(biāo)值將被增加的所述處理単元中檢測(cè)到的所述進(jìn)度狀態(tài)與所述處理単元的所述目標(biāo)值之差的絕對(duì)值的一個(gè)值。
6.據(jù)權(quán)利要求2所述的存儲(chǔ)系統(tǒng)，其中: 由所述處理單元執(zhí)行的處理的所述量與由所述整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的所述量的所述比例被用作所述目標(biāo)值，并且 如果在所述處理単元中的、在其中檢測(cè)到的所述進(jìn)度狀態(tài)不滿足所述目標(biāo)值的ー個(gè)處理單元中有等待被處理的任務(wù)，則所述目標(biāo)值設(shè)置単元進(jìn)行設(shè)置以減少所述處理単元中的另ー處理單元的所述目標(biāo)值。
7.據(jù)權(quán)利要求6所述的存儲(chǔ)系統(tǒng)，其中:所述目標(biāo)值設(shè)置單元進(jìn)行設(shè)置以將所述目標(biāo)值減少基于在針對(duì)其所述目標(biāo)值將被減少的所述處理単元中檢測(cè)到的所述進(jìn)度狀態(tài)與所述處理単元的所述目標(biāo)值之差的絕對(duì)值的一個(gè)值。
8.種計(jì)算機(jī)程序，包括用于使信息處理設(shè)備實(shí)現(xiàn)的指令，所述信息處理設(shè)備包括分別執(zhí)行預(yù)定任務(wù)的相應(yīng)處理単元: 進(jìn)度狀態(tài)檢測(cè)単元，所述進(jìn)度狀態(tài)檢測(cè)単元檢測(cè)相應(yīng)進(jìn)度狀態(tài)，所述相應(yīng)進(jìn)度狀態(tài)代表由所述相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)信息處理設(shè)備執(zhí)行的處理的量的比例； 目標(biāo)值設(shè)置単元，所述目標(biāo)值設(shè)置単元基于所述相應(yīng)處理単元的檢測(cè)到的所述進(jìn)度狀態(tài)以及針對(duì)所述相應(yīng)處理單元預(yù)設(shè)的所述進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置所述相應(yīng)處理單元的處理狀況的目標(biāo)值；以及 處理操作控制單元，所述處理操作控制單元控制所述相應(yīng)處理單元的所述處理狀況，從而使得所述相應(yīng)處理單元的所述處理狀況滿足設(shè)置的所述目標(biāo)值。
9.據(jù)權(quán)利要求8所述的程序，其中: 所述進(jìn)度狀態(tài)檢測(cè)単元檢測(cè)在所述處理単元中的每個(gè)處理單元中是否有等待被處理的任務(wù),并且 如果在所述處理単元中的、在其中檢測(cè)到的所述進(jìn)度狀態(tài)不滿足所述理想值的ー個(gè)處理單元中沒(méi)有等待被處理的任務(wù)，則所述目標(biāo)值設(shè)置単元進(jìn)行設(shè)置以增加所述處理単元中的、在其中有等待被處理的任務(wù)的另一處理單元的所述目標(biāo)值。
10.種信息處理方法,包括: 檢測(cè)相應(yīng)進(jìn)度狀態(tài)，所述相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的量的比例，所述相應(yīng)處理單元中的每個(gè)相應(yīng)處理単元被實(shí)施于所述存儲(chǔ)系統(tǒng)中并且執(zhí)行預(yù)定任務(wù)； 基于所述相應(yīng)處理単元的檢測(cè)到的所述進(jìn)度狀態(tài)以及針對(duì)所述相應(yīng)處理單元預(yù)設(shè)的所述進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置所述相應(yīng)處理單元的處理狀況的目標(biāo)值；以及 控制所述相應(yīng)處理單元的所述處理狀況，從而使得所述相應(yīng)處理單元的所述處理狀況滿足設(shè)置的所述目標(biāo)值。
11.據(jù)權(quán)利要求10所述的信息處理方法，其中: 所述檢測(cè)所述相應(yīng)進(jìn)度狀態(tài)包括檢測(cè)在所述處理単元中的每個(gè)處理單元中是否有等待被處理的任務(wù)，并且如果在所述處理単元中的、在其中檢測(cè)到的所述進(jìn)度狀態(tài)不滿足所述理想值的ー個(gè)處理単元中沒(méi)有等待被處理的任務(wù)，則進(jìn)行設(shè)置以増加所述處理単元中的、在其中有等待被處理的 任務(wù)的另一處理單元的所述目標(biāo)值。
全文摘要
存儲(chǔ)系統(tǒng)包括進(jìn)度狀態(tài)檢測(cè)單元，其檢測(cè)相應(yīng)進(jìn)度狀態(tài)，該相應(yīng)進(jìn)度狀態(tài)代表由相應(yīng)處理單元執(zhí)行的處理的量與由整個(gè)存儲(chǔ)系統(tǒng)執(zhí)行的處理的量的比例，相應(yīng)處理單元中的每個(gè)處理單元被實(shí)施于存儲(chǔ)系統(tǒng)中并且執(zhí)行預(yù)定任務(wù)；目標(biāo)值設(shè)置單元，其基于相應(yīng)處理單元的檢測(cè)到的進(jìn)度狀態(tài)以及針對(duì)相應(yīng)處理單元預(yù)設(shè)的進(jìn)度狀態(tài)的理想值，來(lái)設(shè)置相應(yīng)處理單元的處理狀況的目標(biāo)值；以及處理操作控制單元，其控制處理單元的處理狀況，從而使得處理單元的處理狀況滿足設(shè)置的目標(biāo)值。
文檔編號(hào)G06F13/10GK103098014SQ20118004177
公開(kāi)日2013年5月8日 申請(qǐng)日期2011年8月25日 優(yōu)先權(quán)日2010年8月31日
發(fā)明者P·斯科羅恩, M·比斯庫(kù)普, L·赫爾特, C·達(dá)布尼克基 申請(qǐng)人:日本電氣株式會(huì)社