一種抽樣校驗數(shù)據(jù)方法及設(shè)備的制造方法【專利摘要】本申請公開了一種抽樣校驗數(shù)據(jù)方法。在獲取當(dāng)前校驗的條件信息后，分別從源端和目的端獲取源端側(cè)分片數(shù)據(jù)和目的側(cè)分片數(shù)據(jù)，并根據(jù)源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性依次對完整數(shù)據(jù)中的各個分片依次進(jìn)行判斷，從而在保證從表中所選取的樣本均勻分布的基礎(chǔ)上，提高了數(shù)據(jù)校驗的效率?！緦＠f明】_種抽樣校驗數(shù)據(jù)方法及設(shè)備
技術(shù)領(lǐng)域：
[0001]本發(fā)明涉及通信
技術(shù)領(lǐng)域：
，特別涉及一種抽樣校驗數(shù)據(jù)方法。本發(fā)明同時還涉及一種抽樣校驗數(shù)據(jù)設(shè)備?！?br>背景技術(shù)：
】[0002]隨著云計算技術(shù)的不斷發(fā)展，企業(yè)的業(yè)務(wù)數(shù)據(jù)需要使用云計算的場景也越來越多。對于數(shù)據(jù)庫而言，將其進(jìn)行云計算處理需要進(jìn)行數(shù)據(jù)迀移和數(shù)據(jù)校驗。[0003]數(shù)據(jù)迀移的實現(xiàn)可以分為3個階段:數(shù)據(jù)迀移前的準(zhǔn)備、數(shù)據(jù)迀移的實施和數(shù)據(jù)迀移后的校驗。由于各個用戶需求不盡相同，導(dǎo)致數(shù)據(jù)迀移后，對于數(shù)據(jù)校驗的需求也千差萬別。在目前的數(shù)據(jù)校驗領(lǐng)域，已有的校驗方法都是全量校驗。[0004]在實現(xiàn)本發(fā)明的的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)校驗方法都是在假設(shè)源端和目的端數(shù)據(jù)庫中的表結(jié)構(gòu)一致的基礎(chǔ)上，針對表中得數(shù)據(jù)進(jìn)行全量校驗。在當(dāng)用戶表數(shù)據(jù)量特別大(比如超過1億行)時，由于全量校驗需要遍歷表中所有記錄，消耗大量的時間，導(dǎo)致用戶無法快速獲取校驗結(jié)果。[0005]由此可見，如何根據(jù)源端和目的端數(shù)據(jù)的實際情況以及用戶的需求實現(xiàn)對數(shù)據(jù)的快速抽量校驗，成為本領(lǐng)域普通技術(shù)人員亟待解決的技術(shù)問題?！?br/>發(fā)明內(nèi)容】[0006]本發(fā)明提供了一種抽樣校驗數(shù)據(jù)方法，用于提高現(xiàn)有的數(shù)據(jù)校驗效率。該方法包括:[0007]獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大?。籟0008]根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)；[0009]根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)；[0010]對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片；[0011]若是，結(jié)束校驗；[0012]若否，將所述最大主鍵作為所述最小主鍵，并重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。[0013]相應(yīng)地，本發(fā)明還提出了一種抽樣校驗數(shù)據(jù)設(shè)備，包括:[0014]信息獲取模塊，用于獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大??；[0015]第一數(shù)據(jù)獲取模塊，用于根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)；[0016]第二數(shù)據(jù)獲取模塊，根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)；[0017]校驗?zāi)K，用于對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片；[0018]若是，所述校驗?zāi)K結(jié)束校驗；[0019]若否，所述校驗?zāi)K將所述最大主鍵作為所述最小主鍵，并指示所述信息獲取模塊重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。[0020]由此可見，通過應(yīng)用本發(fā)明的技術(shù)方案，在獲取當(dāng)前校驗的條件信息后，分別從源端和目的端獲取源端側(cè)分片數(shù)據(jù)和目的側(cè)分片數(shù)據(jù)，并根據(jù)源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性依次對完整數(shù)據(jù)中的各個分片依次進(jìn)行判斷，從而在保證選取的樣本均勻分布在表中的基礎(chǔ)上，提高了數(shù)據(jù)校驗的效率?！靖綀D說明】[0021]圖1為本申請?zhí)岢龅囊环N抽樣校驗數(shù)據(jù)方法的流程示意圖；[0022]圖2為本申請具體實施例所提出的一種抽樣校驗的流程示意圖；[0023]圖3為本申請具體實施例所提出的一種部分?jǐn)?shù)據(jù)校驗的流程示意圖；[0024]圖4為本申請?zhí)岢龅囊环N抽樣校驗數(shù)據(jù)設(shè)備的結(jié)構(gòu)示意圖?！揪唧w實施方式】[0025]有鑒于【
背景技術(shù)：
】所提出的技術(shù)問題，本發(fā)明提供了一種抽樣校驗數(shù)據(jù)方法，用以對現(xiàn)有的表進(jìn)行均勻抽樣校驗，從而避免了校驗表中所有記錄，在滿足用于對于校驗的準(zhǔn)確率需求的同時，大大提高了校驗效率。[0026]如圖1所示，該方法包括如下步驟:[0027]S101，獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大小。[0028]由于現(xiàn)有的全量校驗方案無法適用于源端和目的端表結(jié)構(gòu)不一致的場景，特別是在當(dāng)源端和目的端數(shù)據(jù)不完全相同時，用戶無法對表中的部分?jǐn)?shù)據(jù)進(jìn)行校驗(比如特定的行，或者特定的幾列數(shù)據(jù))，對于該種情況，本申請優(yōu)選實施例提供了一種抽樣數(shù)據(jù)校驗的方法，不僅能夠?qū)Ρ磉M(jìn)行抽樣校驗，而且能夠?qū)Σ粚Φ葦?shù)據(jù)集合(異構(gòu)表，或數(shù)據(jù)量不相同的表)進(jìn)行校驗，并且能定位不一致記錄。具體地，該實施例首先分別獲取所述源端的源表參與校驗列的第一元數(shù)據(jù)信息，以及所述目的端的目的表參與校驗列的第二元數(shù)據(jù)信息，隨后根據(jù)所述第一元數(shù)據(jù)信息以及所述第二元數(shù)據(jù)信息確定參與校驗列數(shù)目以及數(shù)據(jù)類型是否一致，并在結(jié)果為一致時繼續(xù)獲取當(dāng)前校驗的條件信息，結(jié)果若不一致則結(jié)束校驗。[0029]S102,根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)。[0030]在本申請優(yōu)選的實施例中，該步驟根據(jù)所述分片大小以及預(yù)設(shè)的抽樣百分比，獲取所述當(dāng)前校驗的數(shù)據(jù)分片的請求起始點以及記錄數(shù)目；隨后向所述源端發(fā)送查詢請求，以使所述源端根據(jù)所述查詢請求返回所述源端側(cè)分片數(shù)據(jù)。[0031]需要說明的是，當(dāng)采取部分?jǐn)?shù)據(jù)進(jìn)行抽樣校驗時，由于過濾條件是體現(xiàn)“部分?jǐn)?shù)據(jù)校驗”的載體，因此查詢請求中所攜帶的內(nèi)容也視條件信息中包含的內(nèi)容而不同，具體地，當(dāng)條件信息中包括有過濾條件時，查詢請求攜帶所述請求起始點、所述記錄數(shù)目以及所述過濾條件；當(dāng)條件信息中不包括有過濾條件時，查詢請求僅攜帶請求起始點以及記錄數(shù)目。[0032]S103,根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)。[0033]S104,對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片。[0034]在本申請優(yōu)選的實施例中，具體的校驗方法為逐行遍歷源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)，判斷源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)是否一致，并依據(jù)以下結(jié)果確定是否通過:[0035](1)若源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)一致，確認(rèn)源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性校驗通過；[0036](2)若源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)不一致，記錄源端側(cè)分片數(shù)據(jù)與目的側(cè)分片數(shù)據(jù)之間不一致的主鍵信息，并根據(jù)主鍵信息生成用于寫入日志文件的訂正語句。[0037]S105,若是，結(jié)束校驗。[0038]S106,若否，將所述最大主鍵作為所述最小主鍵，并重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。[0039]為了進(jìn)一步闡述本發(fā)明的技術(shù)思想，現(xiàn)結(jié)合具體的應(yīng)用場景，對本發(fā)明的分別以“抽樣校驗”和“部分?jǐn)?shù)據(jù)校驗”兩部分技術(shù)方案進(jìn)行說明:[0040]—、抽樣校驗[0041]該均勻抽樣校驗的方案關(guān)鍵在于保證選取的樣本均勻地分布在表中。用戶可以根據(jù)樣本的大小，靈活設(shè)置抽樣百分比，從而在校驗性能和校驗數(shù)據(jù)量兩方面做一個權(quán)衡。同時，為了保證樣本均勻，該具體實施例按主鍵分段(每一段數(shù)據(jù)作為一個分片單位)，將表劃分為一個個分片，以分片為單位請求數(shù)據(jù)，將抽樣百分比應(yīng)用在每一個分片中，這樣保證了樣本來源于表中的所有分片且樣本數(shù)據(jù)均勻分布在表中。[0042]在具體的實施過程中，樣本的獲取主要利用數(shù)據(jù)庫自身的獲取指定偏移的方式來實現(xiàn)，具體可以采用指定大小的結(jié)果集SQL語法。例如:假設(shè)分片大小為10000,抽樣1%，則每個分片中樣本大小為100,分片的主鍵起始點是200030,那么源端查詢語句類似于:select*fromtablewherepk>=2000301imit9900offset100;假設(shè)源端返回分片最小值為221000,最大值為221150,則目的端查詢語句類似于:select*fromtablewherepk>=221000andpk<221150〇[0043]如圖2所示，抽樣校驗流程包括如下各步驟:[0044]S201，獲取本次校驗的抽樣百分比。[0045]S202,根據(jù)最小主鍵和分片大小，生成源端查詢語句并執(zhí)行。[0046]具體地，該步驟首先獲取輸入的本次校驗的最小主鍵和分片大小，隨后根據(jù)分片大小和抽樣百分比，計算本次分片請求起始點和記錄數(shù)目，并發(fā)送查詢請求至源端，從而獲取分片數(shù)據(jù)。[0047]S203,生成目的端查詢語句并執(zhí)行。[0048]與S202類似，本步驟根據(jù)本分片的最小主鍵和最大主鍵發(fā)送查詢請求至目的端，從而獲取分片數(shù)據(jù)。[0049]S204,逐行比對源端和目的端的分片數(shù)據(jù)。[0050]S205,判斷字段數(shù)據(jù)是否一致，若不一致，跳轉(zhuǎn)S206,否則跳轉(zhuǎn)S207。[0051]S206,記錄不一致主鍵信息，并生成訂正語句寫入日志文件。[0052]S207,判斷是否是最后一個分片，若是，跳轉(zhuǎn)S208;否則，以本次校驗的最大主鍵作為下次校驗的最小主鍵，并跳轉(zhuǎn)S202。[0053]S210,校驗結(jié)束。[0054]二、部分?jǐn)?shù)據(jù)校驗[0055]在實際應(yīng)用的過程中，需要進(jìn)行校驗的部分?jǐn)?shù)據(jù)可能會分為部分行集合和部分列集合。例如，表A(clint,c2varchar(10),c3int)有3列，分別是cl，c2和c3;需要校驗的3條記錄分別是(l，’a’，1)，(2，’b’，2)和(3，’c’，3)，那么A(cl)，A(C2)，A(cl，C2)等都是表A的部分列集合；{(l，’a’，l)}，{(l，’a’，l)，(2，’b’，2)}和{(2，’b’，2)，(3，’c’，3)}都是表A的部分行集合。對于該情況，本具體實施例中所提供的數(shù)據(jù)校驗方法可以支持對任何部分行、部分列或者部分行與部分列組合所篩選出來的數(shù)據(jù)進(jìn)行校驗，不再要求參與校驗的源和目的端表結(jié)構(gòu)完全一致。[0056]為了實現(xiàn)以上目的，在本申請的具體實施例中，對于部分列的待校驗數(shù)據(jù)通過用戶指定列名的方式來實現(xiàn)；而對于部分行的待校驗數(shù)據(jù)則是用戶通過指定條件表達(dá)式來實現(xiàn)(例如〃cl>landc2=’a’)，程序通過在SQL語句中附加where條件的方式來獲取數(shù)據(jù)時。比如，分片大小為10000,校驗滿足條件〃cl>l〇〇andc2=’a’〃的結(jié)果集，對于分片主鍵起始點為200,源端的查詢語句類似于:select*fromtablewherepk>=200andcl>100andc2=’a’limit10000;假設(shè)源端返回分片最大值為30000,則目的端查詢語句類似于:select*fromtablewherepk>=200andpk〈=30000。這樣即可精確的在源端和目的端獲取到需要進(jìn)行校驗的部分?jǐn)?shù)據(jù)。[0057]具體地，如圖3所示，部分?jǐn)?shù)據(jù)校驗流程包括如下各步驟:[0058]S301，輸入校驗列信息和行過濾條件表達(dá)式。[0059]S302,比較源端和目的端列數(shù)據(jù)類型是否一致，若不一致，提示出錯并跳轉(zhuǎn)S311，若一致則跳轉(zhuǎn)S303。[0060]基于上一步驟中所獲取的源表和目的表的參與校驗列的元數(shù)據(jù)信息，該步驟主要比較參與校驗列數(shù)目和數(shù)據(jù)類型是否一致。[0061]S303,根據(jù)最小主鍵、分片大小以及條件表達(dá)式生成源端查詢語句并執(zhí)行。[0062]對于源端側(cè)的分片數(shù)據(jù)，該步驟首先獲取本次校驗的最小主鍵、分片大小和過濾條件，隨后發(fā)送查詢請求至源端，獲取分片數(shù)據(jù)。[0063]S304,根據(jù)源端分片數(shù)據(jù)獲取最小主鍵和最大主鍵。[0064]S305,生成目的端查詢語句并執(zhí)行。[0065]對于目的端的分片數(shù)據(jù)，在經(jīng)過S304獲取到本次分片的最大主鍵后，該步驟根據(jù)本次分片的最大主鍵、最小主鍵和過濾條件，發(fā)送查詢請求至目的端，獲取分片數(shù)據(jù)。[0066]S306,逐行比對源端和目的端的分片數(shù)據(jù)。[0067]S307,記錄數(shù)據(jù)分片中不一致的記錄信息。[0068]該步驟主要在于判斷字段數(shù)據(jù)是否一致，若發(fā)現(xiàn)有不一致的字段數(shù)據(jù)，則記錄不一致主鍵信息，并生成訂正語句寫入日志文件。[0069]S308,判斷是否是最后一個分片，若是，跳轉(zhuǎn)S309;否則，以本次校驗的最大主鍵作為下次校驗的最小主鍵，跳轉(zhuǎn)S303;[0070]S309,校驗結(jié)束。[0071]為達(dá)到以上技術(shù)目的，本申請還提出了一種抽樣校驗數(shù)據(jù)設(shè)備，如圖4所示，包括:[0072]信息獲取模塊410,用于獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大??；[0073]第一數(shù)據(jù)獲取模塊420,用于根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)；[0074]第二數(shù)據(jù)獲取模塊430,根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)；[0075]校驗?zāi)K440,用于對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片；[0076]若是，所述校驗?zāi)K440結(jié)束校驗；[0077]若否，所述校驗?zāi)K440將所述最大主鍵作為所述最小主鍵，并指示所述信息獲取模塊重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。[0078]在具體的應(yīng)用場景中，所述校驗?zāi)K具體用于:[0079]逐行遍歷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)，判斷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)是否一致；[0080]若一致，所述校驗?zāi)K確認(rèn)所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性校驗通過；[0081]若不一致，所述校驗?zāi)K記錄所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)之間不一致的主鍵信息，并根據(jù)所述主鍵信息生成用于寫入日志文件的訂正語句。[0082]在具體的應(yīng)用場景中，還包括:[0083]元數(shù)據(jù)獲取模塊，用于分別獲取所述源端的源表參與校驗列的第一元數(shù)據(jù)信息，以及所述目的端的目的表參與校驗列的第二元數(shù)據(jù)信息；[0084]判斷模塊，用于根據(jù)所述第一元數(shù)據(jù)信息以及所述第二元數(shù)據(jù)信息確定參與校驗列數(shù)目以及數(shù)據(jù)類型是否一致；[0085]若一致，所述判斷模塊指示所述信息獲取模塊繼續(xù)獲取當(dāng)前校驗的條件信息；[0086]若不一致，所述判斷模塊結(jié)束校驗。[0087]在具體的應(yīng)用場景中，所述第一數(shù)據(jù)獲取模塊具體用于:[0088]根據(jù)所述分片大小以及預(yù)設(shè)的抽樣百分比，獲取所述當(dāng)前校驗的數(shù)據(jù)分片的請求起始點以及記錄數(shù)目；[0089]向所述源端發(fā)送查詢請求，以使所述源端根據(jù)所述查詢請求返回所述源端側(cè)分片數(shù)據(jù)；[0090]其中，所述查詢請求攜帶所述請求起始點以及所述記錄數(shù)目；或，所述查詢請求攜帶所述請求起始點、所述記錄數(shù)目以及所述過濾條件。[0091]通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過硬件實現(xiàn)，也可以借助軟件加必要的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM，U盤，移動硬盤等)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施場景所述的方法。[0092]本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施場景的示意圖，附圖中的模塊或流程并不一定是實施本發(fā)明所必須的。[0093]本領(lǐng)域技術(shù)人員可以理解實施場景中的裝置中的模塊可以按照實施場景描述進(jìn)行分布于實施場景的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實施場景的一個或多個裝置中。上述實施場景的模塊可以合并為一個模塊，也可以進(jìn)一步拆分成多個子模塊。[0094]上述本發(fā)明序號僅僅為了描述，不代表實施場景的優(yōu)劣。[0095]以上公開的僅為本發(fā)明的幾個具體實施場景，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。【主權(quán)項】1.一種抽樣校驗數(shù)據(jù)方法，其特征在于，包括:獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大??；根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)；根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)；對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片；若是，結(jié)束校驗；若否，將所述最大主鍵作為所述最小主鍵，并重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。2.如權(quán)利要求1所述的方法，其特征在于，對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，具體為:逐行遍歷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)，判斷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)是否一致；若一致，確認(rèn)所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性校驗通過；若不一致，記錄所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)之間不一致的主鍵信息，并根據(jù)所述主鍵信息生成用于寫入日志文件的訂正語句。3.如權(quán)利要求1所述的方法，其特征在于，所述條件信息還包括過濾條件，在獲取當(dāng)前校驗的最小主鍵以及預(yù)設(shè)的分片大小之前，還包括:分別獲取所述源端的源表參與校驗列的第一元數(shù)據(jù)信息，以及所述目的端的目的表參與校驗列的第二元數(shù)據(jù)信息；根據(jù)所述第一元數(shù)據(jù)信息以及所述第二元數(shù)據(jù)信息確定參與校驗列數(shù)目以及數(shù)據(jù)類型是否一致；若一致，繼續(xù)獲取當(dāng)前校驗的條件信息；若不一致，結(jié)束校驗。4.如權(quán)利要求1-3任一項所述的方法，其特征在于，根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)，具體為:根據(jù)所述分片大小以及預(yù)設(shè)的抽樣百分比，獲取所述當(dāng)前校驗的數(shù)據(jù)分片的請求起始點以及記錄數(shù)目；向所述源端發(fā)送查詢請求，以使所述源端根據(jù)所述查詢請求返回所述源端側(cè)分片數(shù)據(jù)；其中，所述查詢請求攜帶所述請求起始點以及所述記錄數(shù)目；或，所述查詢請求攜帶所述請求起始點、所述記錄數(shù)目以及所述過濾條件。5.—種抽樣校驗數(shù)據(jù)設(shè)備，其特征在于，包括:信息獲取模塊，用于獲取當(dāng)前校驗的條件信息，所述條件信息至少包括最小主鍵以及預(yù)設(shè)的分片大小；第一數(shù)據(jù)獲取模塊，用于根據(jù)所述條件信息從源端獲取源端側(cè)分片數(shù)據(jù)；第二數(shù)據(jù)獲取模塊，根據(jù)所述源端側(cè)分片數(shù)據(jù)的最大主鍵以及所述條件信息從目的端獲取目的側(cè)分片數(shù)據(jù)；校驗?zāi)K，用于對所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性進(jìn)行校驗，并在校驗通過后判斷當(dāng)前校驗的數(shù)據(jù)分片是否為完整數(shù)據(jù)的最后一個分片；若是，所述校驗?zāi)K結(jié)束校驗；若否，所述校驗?zāi)K將所述最大主鍵作為所述最小主鍵，并指示所述信息獲取模塊重新根據(jù)所述最小主鍵以及所述分片大小從源端獲取源端側(cè)分片數(shù)據(jù)。6.如權(quán)利要求5所述的設(shè)備，其特征在于，所述校驗?zāi)K具體用于:逐行遍歷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)，判斷所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的字段數(shù)據(jù)是否一致；若一致，所述校驗?zāi)K確認(rèn)所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)的數(shù)據(jù)一致性校驗通過；若不一致，所述校驗?zāi)K記錄所述源端側(cè)分片數(shù)據(jù)與所述目的側(cè)分片數(shù)據(jù)之間不一致的主鍵信息，并根據(jù)所述主鍵信息生成用于寫入日志文件的訂正語句。7.如權(quán)利要求6所述的設(shè)備，其特征在于，還包括:元數(shù)據(jù)獲取模塊，用于分別獲取所述源端的源表參與校驗列的第一元數(shù)據(jù)信息，以及所述目的端的目的表參與校驗列的第二元數(shù)據(jù)信息；判斷模塊，用于根據(jù)所述第一元數(shù)據(jù)信息以及所述第二元數(shù)據(jù)信息確定參與校驗列數(shù)目以及數(shù)據(jù)類型是否一致；若一致，所述判斷模塊指示所述信息獲取模塊繼續(xù)獲取當(dāng)前校驗的條件信息；若不一致，所述判斷模塊結(jié)束校驗。8.如權(quán)利要求5-7任一項所述的設(shè)備，其特征在于，所述第一數(shù)據(jù)獲取模塊具體用于:根據(jù)所述分片大小以及預(yù)設(shè)的抽樣百分比，獲取所述當(dāng)前校驗的數(shù)據(jù)分片的請求起始點以及記錄數(shù)目；向所述源端發(fā)送查詢請求，以使所述源端根據(jù)所述查詢請求返回所述源端側(cè)分片數(shù)據(jù)；其中，所述查詢請求攜帶所述請求起始點以及所述記錄數(shù)目；或，所述查詢請求攜帶所述請求起始點、所述記錄數(shù)目以及所述過濾條件?！疚臋n編號】G06F11/07GK106033427SQ201510106947【公開日】2016年10月19日【申請日】2015年3月11日【發(fā)明人】蔡暢【申請人】阿里巴巴集團控股有限公司