一種數(shù)據(jù)遷移的方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)迀移的方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002] 網(wǎng)絡(luò)實(shí)現(xiàn)的本質(zhì)是完成數(shù)據(jù)的處理以及數(shù)據(jù)的傳輸，在一些特定場(chǎng)景中，為了更 有效地利用數(shù)據(jù)，需要將數(shù)據(jù)整合存放到特定的平臺(tái)中，因此，跨平臺(tái)及跨機(jī)房的數(shù)據(jù)迀移 是不可避免的。例如，一個(gè)大型企業(yè)在相距甚遠(yuǎn)的另一個(gè)城市建立了分公司，此時(shí)他們需要 將該企業(yè)中的數(shù)據(jù)庫(kù)迀移到分公司的平臺(tái)中，以提高數(shù)據(jù)的利用率。
[0003] 現(xiàn)有技術(shù)中，由于源平臺(tái)與目標(biāo)平臺(tái)的實(shí)際距離比較遠(yuǎn)，網(wǎng)絡(luò)穩(wěn)定性差，容易造成 數(shù)據(jù)丟失等現(xiàn)象，所以為了提高數(shù)據(jù)迀移的有效性，往往在兩個(gè)平臺(tái)之間增加若干個(gè)中轉(zhuǎn) 平臺(tái)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)。實(shí)際應(yīng)用中，跨平臺(tái)、跨機(jī)房的數(shù)據(jù)迀移一般采用多階段順次運(yùn)行的方 式，其中，數(shù)據(jù)從一個(gè)平臺(tái)迀移到另一個(gè)平臺(tái)為一個(gè)階段，階段內(nèi)部采用并行、壓縮等方式 提高數(shù)據(jù)的迀移速度，階段之間順次完成數(shù)據(jù)的迀移，即當(dāng)當(dāng)前階段完成所有數(shù)據(jù)的迀移 之后，才進(jìn)入下一階段。雖然在階段內(nèi)部采用并行、壓縮等方式進(jìn)行數(shù)據(jù)迀移，可以提高數(shù) 據(jù)迀移的速度，但是階段之間的關(guān)聯(lián)性很強(qiáng)，即下一階段必須等待上一階段全部進(jìn)行完數(shù) 據(jù)迀移后才可進(jìn)行，所以整個(gè)數(shù)據(jù)迀移過(guò)程中消耗的時(shí)間為每一階段分別完成所有數(shù)據(jù)的 數(shù)據(jù)迀移任務(wù)所消耗的時(shí)間之和，并且當(dāng)某一階段發(fā)生故障造成數(shù)據(jù)迀移速度緩慢或者無(wú) 法進(jìn)行時(shí)，會(huì)導(dǎo)致后續(xù)階段均處于等待狀態(tài)，而造成整個(gè)數(shù)據(jù)迀移的效率大大降低，甚至無(wú) 法完成。此外，某階段的失敗，會(huì)導(dǎo)致整個(gè)迀移過(guò)程失敗，從而可靠性也大大降低。

【發(fā)明內(nèi)容】

[0004] 鑒于上述問(wèn)題，本發(fā)明提出的數(shù)據(jù)迀移的方法、裝置和系統(tǒng)，能夠解決數(shù)據(jù)迀移效 率低和可靠性差的問(wèn)題。
[0005] 為解決上述技術(shù)問(wèn)題，第一方面，本發(fā)明提供了一種數(shù)據(jù)迀移的方法，所述方法包 括：
[0006] 控制源平臺(tái)對(duì)待迀移數(shù)據(jù)進(jìn)行切片，獲得多個(gè)數(shù)據(jù)片；
[0007] 控制源平臺(tái)向目標(biāo)平臺(tái)流水線式發(fā)送所述多個(gè)數(shù)據(jù)片，其中，所述多個(gè)數(shù)據(jù)片經(jīng) 過(guò)中轉(zhuǎn)平臺(tái)到達(dá)所述目標(biāo)平臺(tái)；
[0008] 所述控制源平臺(tái)向目標(biāo)平臺(tái)流水線式發(fā)送所述多個(gè)數(shù)據(jù)片，包括：
[0009] 控制所述源平臺(tái)向所述中轉(zhuǎn)平臺(tái)順序發(fā)送所述多個(gè)數(shù)據(jù)片；
[0010] 控制所述中轉(zhuǎn)平臺(tái)從接收到第一個(gè)數(shù)據(jù)片起始，向所述目標(biāo)平臺(tái)發(fā)送接收到的數(shù) 據(jù)片，并同時(shí)接收所述源平臺(tái)發(fā)送的下一個(gè)數(shù)據(jù)片。
[0011] 第二方面，本發(fā)明提供了一種數(shù)據(jù)迀移的裝置，所述裝置包括：
[0012] 第一控制單元，用于控制源平臺(tái)對(duì)待迀移數(shù)據(jù)進(jìn)行切片，獲得多個(gè)數(shù)據(jù)片；
[0013] 第二控制單元，用于控制源平臺(tái)向目標(biāo)平臺(tái)流水線式發(fā)送所述第一控制單元獲得 的多個(gè)數(shù)據(jù)片，其中，所述多個(gè)數(shù)據(jù)片經(jīng)過(guò)中轉(zhuǎn)平臺(tái)到達(dá)所述目標(biāo)平臺(tái)；
[0014] 所述第二控制單元，還用于控制所述源平臺(tái)向所述中轉(zhuǎn)平臺(tái)順序發(fā)送所述第一控 制單元獲得的多個(gè)數(shù)據(jù)片；
[0015] 所述第二控制單元，還用于控制所述中轉(zhuǎn)平臺(tái)從接收到第一個(gè)數(shù)據(jù)片起始，向所 述目標(biāo)平臺(tái)發(fā)送接收到的數(shù)據(jù)片，并同時(shí)接收所述源平臺(tái)發(fā)送的下一個(gè)數(shù)據(jù)片。
[0016] 第三方面，本發(fā)明提供了一種數(shù)據(jù)迀移的系統(tǒng)，所述系統(tǒng)包括：上層管理設(shè)備、源 平臺(tái)、中轉(zhuǎn)平臺(tái)和目標(biāo)平臺(tái)；
[0017] 所述上層管理設(shè)備，用于控制所述源平臺(tái)對(duì)待迀移數(shù)據(jù)進(jìn)行切片，獲得多個(gè)數(shù)據(jù) 片；
[0018] 所述源平臺(tái)，用于在所述上層管理設(shè)備的控制下向所述目標(biāo)平臺(tái)流水線式發(fā)送所 述多個(gè)數(shù)據(jù)片，其中，所述多個(gè)數(shù)據(jù)片經(jīng)過(guò)中轉(zhuǎn)平臺(tái)到達(dá)所述目標(biāo)平臺(tái)；
[0019] 所述源平臺(tái)，具體用于在所述上層管理設(shè)備的控制下，向所述中轉(zhuǎn)平臺(tái)順序發(fā)送 所述多個(gè)數(shù)據(jù)片；
[0020] 所述中轉(zhuǎn)平臺(tái)，用于在所述上層管理設(shè)備的控制下，從接收到第一個(gè)數(shù)據(jù)片起始， 向所述目標(biāo)平臺(tái)發(fā)送接收到的數(shù)據(jù)片，并同時(shí)接收所述源平臺(tái)發(fā)送的下一個(gè)數(shù)據(jù)片；
[0021] 所述目標(biāo)平臺(tái)，用于順序接收所述中轉(zhuǎn)平臺(tái)發(fā)送的多個(gè)數(shù)據(jù)片。
[0022] 借由上述技術(shù)方案，本發(fā)明提供的數(shù)據(jù)迀移的方法、裝置和系統(tǒng)，能夠通過(guò)上層管 理設(shè)備控制源平臺(tái)對(duì)待迀移的數(shù)據(jù)進(jìn)行切片，獲得多個(gè)數(shù)據(jù)片，并控制源平臺(tái)通過(guò)流水線 的方式經(jīng)中轉(zhuǎn)平臺(tái)向目標(biāo)平臺(tái)完成數(shù)據(jù)片的迀移。與現(xiàn)有技術(shù)中依次完成所有數(shù)據(jù)的迀移 相比，本發(fā)明通過(guò)采用流水線的方式，將數(shù)據(jù)片從源平臺(tái)經(jīng)中轉(zhuǎn)平臺(tái)發(fā)送到目標(biāo)平臺(tái)，即在 當(dāng)前平臺(tái)向下一級(jí)平臺(tái)發(fā)送所接收到的數(shù)據(jù)片的同時(shí)，接收上一級(jí)平臺(tái)向其發(fā)送的下一個(gè) 數(shù)據(jù)片，從而使得各個(gè)平臺(tái)均處于數(shù)據(jù)迀移狀態(tài)，而不用等待將所有待迀移的數(shù)據(jù)接收完 后再向下一級(jí)平臺(tái)發(fā)送該待迀移的數(shù)據(jù)，進(jìn)而加快了數(shù)據(jù)迀移的速度，提高了數(shù)據(jù)迀移的 效率。
[0023] 上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段， 而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠 更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說(shuō)明】
[0024] 通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通 技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明 的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：
[0025] 圖1示出了一種數(shù)據(jù)迀移的方法的流程圖；
[0026] 圖2示出了數(shù)據(jù)塊的示意圖；
[0027] 圖3示出了數(shù)據(jù)迀移的過(guò)程示意圖；
[0028] 圖4示出了多級(jí)中轉(zhuǎn)平臺(tái)的示意圖；
[0029] 圖5示出了一種數(shù)據(jù)迀移的裝置的結(jié)構(gòu)示意圖；
[0030] 圖6示出了另一種數(shù)據(jù)迀移的裝置的結(jié)構(gòu)示意圖；
[0031] 圖7示出了另一種數(shù)據(jù)迀移的裝置的結(jié)構(gòu)示意圖；
[0032] 圖8示出了另一種數(shù)據(jù)迀移的裝置的結(jié)構(gòu)示意圖；
[0033] 圖9示出了另一種數(shù)據(jù)迀移的裝置的結(jié)構(gòu)示意圖；
[0034] 圖10示出了一種數(shù)據(jù)迀移的系統(tǒng)示意圖；
[0035] 圖11示出了另一種數(shù)據(jù)迀移的系統(tǒng)示意圖。
【具體實(shí)施方式】
[0036] 下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi) 的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例 所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍 完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0037] 為提高數(shù)據(jù)迀移的效率，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)迀移的方法，本實(shí)施例由 上層管理設(shè)備來(lái)執(zhí)行，并通過(guò)該上層管理設(shè)備控制各個(gè)平臺(tái)來(lái)完成數(shù)據(jù)的迀移，如圖1所 示，該方法包括：
[0038] 101、控制源平臺(tái)對(duì)待迀移數(shù)據(jù)進(jìn)