用于支持用于同步分布式數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)的分區(qū)級別日志的系統(tǒng)及方法
【專利說明】用于支持用于同步分布式數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)的分區(qū)級別曰志的系統(tǒng)及方法
[0001](版權聲明)
[0002]本專利文檔的公開內容的一部分包含受版權保護的材料。專利權人不反對任何人按照專利文檔或專利公開內容在專利商標局專利文件或記錄中出現(xiàn)的樣子影印再現(xiàn)專利文檔或專利公開內容，但另外保留任何所有版權。
技術領域
[0003]本發(fā)明一般涉及計算機系統(tǒng)，特別涉及支持分布式數(shù)據(jù)網(wǎng)格中的聯(lián)合緩存(federated caching)。
【背景技術】
[0004]當代的計算系統(tǒng)，特別是較大的組織和企業(yè)使用的那些計算機系統(tǒng)，在尺寸和復雜性上繼續(xù)增加。特別地，在諸如因特網(wǎng)應用的領域中，期望數(shù)以百萬計的用戶應能夠同時訪問該應用，這種同時訪問有效地導致用戶產生和消費的內容以及包含該內容的交易的量指數(shù)增加。這種活動還導致對數(shù)據(jù)庫和元數(shù)據(jù)儲存庫的交易呼叫的數(shù)量的相應增加，這些數(shù)據(jù)庫和元數(shù)據(jù)庫具有有限的容量來適應該需求。
[0005]這是本發(fā)明的實施例旨在解決的一般領域。

【發(fā)明內容】

[0006]這里描述能夠支持用于同步分布式數(shù)據(jù)網(wǎng)格中的集群之間的數(shù)據(jù)的分區(qū)級別日志的系統(tǒng)和方法。系統(tǒng)可關聯(lián)日志緩存與本地集群中的一個或多個用戶緩存，其中所述一個或多個用戶緩存被分成多個分區(qū)。并且，系統(tǒng)可捕獲施加到所述一個或多個用戶緩存的不同分區(qū)的一個或多個數(shù)據(jù)變化，并且能夠在支持與遠程集群的同步的日志緩存中存儲所述一個或多個數(shù)據(jù)變化。
[0007]系統(tǒng)和方法可支持分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的并行異步同步。系統(tǒng)可在分區(qū)級別上跟蹤被施加于源集群中的一個或多個用戶緩存上的一個或多個數(shù)據(jù)變化。并且，源集群中的一個或多個集群成員可向一個或多個目的地集群發(fā)送一個或多個復制消息，其中所述一個或多個復制消息包含該一個或多個數(shù)據(jù)變化。然后，該一個或多個目的地集群可以處理所接收的一個或多個數(shù)據(jù)變化。
[0008]系統(tǒng)和方法可支持分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的同步期間的故障切換。當源集群中的另一集群成員變得不可用時，系統(tǒng)允許源集群中的集群成員作為源集群中的分區(qū)的所有者進行接管。然后，目的地集群中的集群成員可從源集群中的所述集群成員接收一個或多個復制消息，其中所述一個或多個復制消息包含一個或多個數(shù)據(jù)變化。并且，如果所述一個或多個復制消息已在目的地集群中被接收和成功處理，那么目的地集群中的集群成員可忽略所述一個或多個復制消息。
[0009]系統(tǒng)和方法可支持用于同步分布式數(shù)據(jù)網(wǎng)格中的集群之間的數(shù)據(jù)的可重置確認。系統(tǒng)可使用一個或多個唯一標識符(ID)來支持分布式數(shù)據(jù)網(wǎng)格中的不同集群之間的消息傳遞。第一集群可從第二集群接收第一復制消息，其中該復制消息指示該復制消息來自新的集群。然后，系統(tǒng)可重置第一集群以在處理在第一復制消息之后從第二集群接收的一個或多個復制消息時保留冪等性(idempotence)。
【附圖說明】
[0010]圖1是根據(jù)本發(fā)明的各種實施例的數(shù)據(jù)網(wǎng)格集群的示圖。
[0011]圖2表示根據(jù)本發(fā)明的實施例的捕獲分布式數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)變化的示圖。
[0012]圖3表示根據(jù)本發(fā)明的實施例的支持用于分布式數(shù)據(jù)網(wǎng)格中的同步的分區(qū)級別日志的示圖。
[0013]圖4表示根據(jù)本發(fā)明的實施例的支持分布式數(shù)據(jù)網(wǎng)格中的日志緩存的集群范圍視圖的示圖。
[0014]圖5表示根據(jù)本發(fā)明的實施例的執(zhí)行用于支持分布式數(shù)據(jù)網(wǎng)格中的分區(qū)級別日志的單個交易的示圖。
[0015]圖6示出根據(jù)本發(fā)明的實施例的支持分布式數(shù)據(jù)網(wǎng)格中的同步的分區(qū)級別日志的示例性流程圖。
[0016]圖7表示根據(jù)本發(fā)明的實施例的支持分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的并行異步同步的示圖。
[0017]圖8表示根據(jù)本發(fā)明的實施例的初始化分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的異步同步的示圖。
[0018]圖9表示根據(jù)本發(fā)明的實施例的執(zhí)行分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的異步同步的示圖。
[0019]圖10表示根據(jù)本發(fā)明的實施例的進一步執(zhí)行分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的異步同步的示圖。
[0020]圖11示出根據(jù)本發(fā)明的實施例的用于支持分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的并行異步同步的示例性流程圖。
[0021]圖12表示根據(jù)本發(fā)明的實施例的在分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的同步期間源集群中的集群存儲成員上的故障的示圖。
[0022]圖13表示根據(jù)本發(fā)明的實施例的在分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的異步同步期間執(zhí)行源集群中的故障切換的示圖。
[0023]圖14表示根據(jù)本發(fā)明的實施例的在源集群中的故障切換之后支持分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的異步同步的示圖。
[0024]圖15示出根據(jù)本發(fā)明的實施例的支持用于分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的并行異步同步的故障切換的示例性流程圖。
[0025]圖16表示根據(jù)本發(fā)明的實施例的支持跨分布式數(shù)據(jù)網(wǎng)格中的自治集群的可重置確認的示圖。
[0026]圖17示出根據(jù)本發(fā)明的實施例的支持跨分布式數(shù)據(jù)網(wǎng)格中的自治集群的可重置確認的示例性流程圖。
[0027]圖18表示根據(jù)本發(fā)明的實施例的使用有限狀態(tài)機來用于控制分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的同步的示圖。
[0028]圖19表示根據(jù)本發(fā)明的實施例的有限狀態(tài)機中的各種狀態(tài)的示圖。
[0029]圖20示出根據(jù)本發(fā)明的實施例的用于使用有限狀態(tài)機來用于控制分布式數(shù)據(jù)網(wǎng)格中的自治集群之間的同步的示例性流程圖。
【具體實施方式】
[0030 ]這里描述的是可支持分布式數(shù)據(jù)網(wǎng)格中的聯(lián)合緩存的系統(tǒng)和方法。
[0031]分布式數(shù)據(jù)網(wǎng)格
[0032]根據(jù)實施例，這里被稱為“數(shù)據(jù)網(wǎng)格集群”或“數(shù)據(jù)網(wǎng)格”的是包含在分布式或集群式的環(huán)境內一起工作以管理信息和諸如計算的有關動作的多個計算機服務器的系統(tǒng)。數(shù)據(jù)網(wǎng)格集群可被用于管理跨服務器共享的應用對象和數(shù)據(jù)。優(yōu)選地，數(shù)據(jù)網(wǎng)格集群應具有低響應時間、高吞吐量、可預測的可擴展性、連續(xù)可用性和信息可靠性。作為這些能力的結果，數(shù)據(jù)網(wǎng)格集群很好地適用于計算密集、狀態(tài)化的中間層應用中。數(shù)據(jù)網(wǎng)格集群的一些例子，例如Oracle Coherence數(shù)據(jù)網(wǎng)格集群，可在存儲器內存儲信息以實現(xiàn)更高的性能，并且可在保持跨多個服務器同步的該信息的拷貝時采用冗余性，由此確保在服務器故障的情況下的系統(tǒng)的彈性和數(shù)據(jù)的可用性。例如，Coherence在可靠的、高度可擴展的對等(peer-to-peer) 集群協(xié)議之上提供重復的和分布式 (分區(qū)的) 數(shù)據(jù)管理和緩存服務。
[0033]存儲器內的數(shù)據(jù)網(wǎng)格可通過在一起工作的數(shù)個服務器上分布數(shù)據(jù)來提供數(shù)據(jù)存儲和管理能力。數(shù)據(jù)網(wǎng)格可以是在同一層中作為應用服務器或者在應用服務器內運行的中間件。它可提供對數(shù)據(jù)的管理和處理，并且也可將處理推到數(shù)據(jù)在網(wǎng)格中所位于的地方。另外，當服務器變得不可操作或者從網(wǎng)絡斷開時，存儲器內的數(shù)據(jù)網(wǎng)格可通過自動地和透明地進行故障切換和重新分布其集群的數(shù)據(jù)管理服務來消除單個故障點。當添加新的服務器時或者當重新開始故障的服務器時，它可自動地加入集群并且服務可被故障恢復切換到它，從而透明地重新分布集群負載。數(shù)據(jù)網(wǎng)格也可包含網(wǎng)絡級別的錯誤容限特征和透明的軟重啟能力。
[0034]根據(jù)實施例，數(shù)據(jù)網(wǎng)格集群的功能基于使用不同的集群服務。集群服務可包含根集群服務、分區(qū)的緩存服務和代理服務。在數(shù)據(jù)網(wǎng)格集群內，各集群節(jié)點可參與數(shù)個集群服務，兩者均關于提供和消耗集群服務。各集群服務具有唯一地識別數(shù)據(jù)網(wǎng)格集群內的服務的服務名稱和服務類型，該服務類型限定集群服務可做什么。除了在數(shù)據(jù)網(wǎng)格集群中的各集群節(jié)點上運行的根集群服務之外，可存在各服務類型的多個命名實例。這些服務可由用戶配置，或者作為缺省的一組服務由數(shù)據(jù)網(wǎng)格集群提供。
[0035]圖1是根據(jù)本發(fā)明的各種實施例的數(shù)據(jù)網(wǎng)格集群的示圖。如圖1所示，數(shù)據(jù)網(wǎng)格集群100，例如Oracle Coherence數(shù)據(jù)網(wǎng)格，包含具有在其上運行的各種集群服務111?116的多個集群成員(或服務器節(jié)點)，諸如集群節(jié)點101?106。另外，緩存配置文件110可被用于配置數(shù)據(jù)網(wǎng)格集群100。
[0036]根據(jù)實施例，數(shù)據(jù)網(wǎng)格集群100可基于并行異步推復制技術來支持聯(lián)合數(shù)據(jù)特征。聯(lián)合數(shù)據(jù)特征使得能夠同步數(shù)據(jù)網(wǎng)格集群(潛在地在不同的物理位置上)之間的數(shù)據(jù)，并且有益于支持災難恢復、提供24X7的可用性以及減少對于區(qū)域用戶的等待時間。
[0037]用于同步的分區(qū)級別日志
[0038]圖2表示根據(jù)本發(fā)明的實施例的捕獲分布式數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)變化的示圖。如圖2所示，分布式數(shù)據(jù)網(wǎng)格200可支持一個或多個用戶緩存201。另外，該一個或多個用戶緩存201可被分成可遍及集群200均勻分布的多個分區(qū)，例如分區(qū)I?III 211?213。
[0039]并且，可基于對緩存條目鍵執(zhí)行散列來向分布式數(shù)據(jù)網(wǎng)格200中的分區(qū)分配用戶數(shù)據(jù)。作為替代，可基于對與可經由用戶實現(xiàn)的界面進行限定的緩存條目相關聯(lián)的鍵執(zhí)行散列來向分區(qū)分配用戶數(shù)據(jù)。另外，可明確向分布式數(shù)據(jù)網(wǎng)格200中的分區(qū)分配用戶數(shù)據(jù)。
[0040]根據(jù)本發(fā)明的實施例，分區(qū)的分布式集群200可按數(shù)據(jù)變化被做出的次序捕獲對該一個或多個用戶緩存201做出的數(shù)據(jù)變化。如圖2所示，可以按從(K1，V1)到(K11，V11)的次序表示被施加于該一個或多個用戶緩存201上的數(shù)據(jù)變化210。在這些數(shù)據(jù)變化中，(K1，乂1)、(1(4，￥4)和(1(5，￥5)與分區(qū)1 211 有關，(K2，V2)、(K3，V3)、(K6，V6)、(K10，V10)和(ΚΙ 1，VII)與分區(qū)II 212有關，(K7，V7)、(K7，V7)和(K8，V8)與分區(qū)III 213有關。
[0041]圖3表示根據(jù)本發(fā)明的實施例的支持用于分布式數(shù)據(jù)網(wǎng)格中的同步的分區(qū)級別日志的示圖。如圖3所示，分布式數(shù)據(jù)網(wǎng)格300支持可分成多個分區(qū)(例如，分區(qū)1-1II 311?313)的一個或多個用戶緩存301。
[0042]分布式數(shù)據(jù)網(wǎng)格300可按數(shù)據(jù)變化被做出的次序捕獲被施加到一個或多個用戶緩存301的數(shù)據(jù)變化，例如(K1，V1)到(K11，V11)。另外，這些數(shù)據(jù)變化可被放在可用于與遠程集群進行同步的日志緩存302中。
[0043]根據(jù)本發(fā)明的實施例，系統(tǒng)可對存儲于日志緩存302中的各數(shù)據(jù)變化產生全局唯一標識符(ID)320。可包含多個部分(例如，使用整數(shù))的全局唯一ID 320可識別對其做出數(shù)據(jù)變化的源分區(qū)以及在源分區(qū)中做出這種數(shù)據(jù)變化