對多個圖片集合進(jìn)行合并的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及對多個圖片集合進(jìn)行合并的方法及系統(tǒng)，以便提高處理效率。該方法包括：獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號；遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號；對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號；根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，判斷新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，若相等，將合并后的新圖片集合作為合并結(jié)果；否則，將合并后的新圖片集合作為待合并的多個原始圖片集合重復(fù)執(zhí)行上述步驟。
【專利說明】對多個圖片集合進(jìn)行合并的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信【技術(shù)領(lǐng)域】，具體涉及一種對多個圖片集合進(jìn)行合并的方法及系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)實生活中的很多技術(shù)問題都可以抽象為圖片來描述，為了簡化這些問題，往往需要對多個存在交集的圖片集合進(jìn)行合并處理(也叫圖片的消重處理)。這類問題也可以稱作并查集(Disjoint-set)問題。
[0003]下面給出Disjoint-set問題的一種實際應(yīng)用:為了保證召回率，利用多種求相似圖片的算法得到了多組相似圖片的集合，并且在這些集合中存在交集。例如，有6張圖片A，B, C，D，E，F(xiàn)，通過算法I得到其中的AB⑶是近似的，通過算法2得到其中的⑶EF是近似的，由于AB⑶和⑶EF中存在交集CD，因此，實際上6張圖片都是相似的。在對上述兩組有交集的圖片進(jìn)行合并處理時就需要用到Disjoint-set問題中的一些算法。具體地，Disjoint-set問題主要可以通過Union-Find算法來求解。由于Union-Find算法對于本領(lǐng)域技術(shù)人員來說是公知的，因此此處略去對該算法的具體描述。
[0004]但是,使用Union-Find算法來求解上述的Disjoint-set問題時存在如下缺陷:由于Union-Find算法是單機算法,只能通過一臺計算機進(jìn)行處理,處理能力受限于這臺計算機的CPU速度及內(nèi)存大小等因素，因此，在大規(guī)模數(shù)據(jù)的情況下處理效率較低。而且，由于Union-Find算法使用樹的結(jié)構(gòu)來實現(xiàn)，因此需要全局保存樹的根節(jié)點，再加上算法中存在著樹的合并操作，因此在子樹層面進(jìn)行并行化也非常困難。由此可見，Union-Find算法不僅只能用作單機算法，而且在單機上也無法實現(xiàn)并行化處理。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的對多個圖片集合進(jìn)行合并的方法及系統(tǒng)。
[0006]依據(jù)本發(fā)明的一個方面，提供了一種對多個圖片集合進(jìn)行合并的方法，包括以下步驟:獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號，其中，每個原始圖片集合中包含一個或多個圖片數(shù)據(jù)；遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，其中，當(dāng)一個圖片數(shù)據(jù)同時屬于多個原始圖片集合時，將包含該圖片數(shù)據(jù)的多個原始圖片集合中標(biāo)號最小的原始集合標(biāo)號作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號；對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號；根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，并判斷合并后的新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，如果相等，則將合并后的新圖片集合作為合并結(jié)果；如果不相等，則將合并后的新圖片集合作為待合并的多個原始圖片集合并重復(fù)執(zhí)行上述各個步驟。[0007]依據(jù)本發(fā)明的另一方面，提供了一種對多個圖片集合進(jìn)行合并的系統(tǒng)，包括:獲取單元、合并判斷單元和至少一個計算結(jié)點單元，其中，獲取單元，適于獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號，其中，每個原始圖片集合中包含一個或多個圖片數(shù)據(jù)；計算結(jié)點單元，適于遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，其中，當(dāng)一個圖片數(shù)據(jù)同時屬于多個原始圖片集合時，將包含該圖片數(shù)據(jù)的多個原始圖片集合中標(biāo)號最小的原始集合標(biāo)號作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號；對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號；合并判斷單元，適于根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，并判斷合并后的新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，如果相等，則將合并后的新圖片集合作為合并結(jié)果；如果不相等，則將合并后的新圖片集合作為待合并的多個原始圖片集合并由上述各個單元重復(fù)執(zhí)行上述操作。
[0008]在本發(fā)明提供的對多個圖片集合進(jìn)行合并的方法及系統(tǒng)中，首先，為每個原始圖片集合設(shè)置一個唯一的原始集合標(biāo)號，然后，得到每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，接下來，將每個原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號，由此得到合并后的新圖片集合，通過判斷合并后的新圖片集合的個數(shù)與原始圖片集合的個數(shù)之間的關(guān)系，就可以得到最終的合并結(jié)果。由此可見，在這種方式中，每個圖片集合之間處于完全相等的地位，相互之間是并列的關(guān)系，不存在樹形結(jié)構(gòu)中的根節(jié)點和子節(jié)點的復(fù)雜關(guān)系。因此，采用這樣的計算方式可以通過多臺計算機并行化求解Disjoint-Set問題，能夠解決大數(shù)據(jù)情況下由于單機內(nèi)存不足所導(dǎo)致的無法計算的問題，同時由于多機并行化，即使在數(shù)據(jù)規(guī)模相同時也會大大加快計算過程。
[0009]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【專利附圖】

【附圖說明】
[0010]通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0011]圖1示出了根據(jù)本發(fā)明實施例提供的對多個圖片集合進(jìn)行合并的方法流程圖；以及
[0012]圖2示出了根據(jù)本發(fā)明實施例提供的對多個圖片集合進(jìn)行合并的系統(tǒng)結(jié)構(gòu)圖?！揪唧w實施方式】
[0013]下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。[0014]本發(fā)明實施例提供了一種對多個圖片集合進(jìn)行合并的方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中的Union-Find算法只能用作單機算法,處理能力受限于這臺計算機的CPU速度及內(nèi)存大小等因素，導(dǎo)致在大規(guī)模數(shù)據(jù)的情況下處理效率較低的問題。
[0015]圖1示出了本發(fā)明實施例提供的對多個圖片集合進(jìn)行合并的方法流程圖。如圖1所示，該方法始于步驟S110，在步驟SllO中，獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號，其中，每個原始圖片集合中包含一個或多個圖片數(shù)據(jù)。
[0016]接下來，在步驟S120中，遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，其中，當(dāng)一個圖片數(shù)據(jù)同時屬于多個原始圖片集合時，將包含該圖片數(shù)據(jù)的多個原始圖片集合中標(biāo)號最小的原始集合標(biāo)號作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號。
[0017]然后，在步驟S130中，對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號。
[0018]最后，在步驟S140中，根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，并判斷合并后的新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，如果相等，則將合并后的新圖片集合作為合并結(jié)果；如果不相等，則將合并后的新圖片集合作為上述待合并的多個原始圖片集合并重復(fù)執(zhí)行上述各個步驟。
[0019]下面結(jié)合一個具體實施例來介紹一下上述各個步驟的具體執(zhí)行過程:
[0020]在本實施例中，通過步驟SllO獲取到的待合并的多個原始圖片集合如表1所示:
[0021]表1
[0022]`
【權(quán)利要求】
1.一種對多個圖片集合進(jìn)行合并的方法，包括以下步驟: 獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號，其中，每個原始圖片集合中包含一個或多個圖片數(shù)據(jù)； 遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，其中，當(dāng)一個圖片數(shù)據(jù)同時屬于多個原始圖片集合時，將包含該圖片數(shù)據(jù)的多個原始圖片集合中標(biāo)號最小的原始集合標(biāo)號作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號； 對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號； 根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，并判斷合并后的新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，如果相等，則將合并后的新圖片集合作為合并結(jié)果；如果不相等，則將合并后的新圖片集合作為所述待合并的多個原始圖片集合并重復(fù)執(zhí)行上述各個步驟。
2.如權(quán)利要求1所述的方法，其中，在所述遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)的步驟之前，進(jìn)一步包括:按照預(yù)設(shè)的第一規(guī)則，將所述待合并的多個原始圖片集合分配給多個預(yù)設(shè)數(shù)量的計算結(jié)點，由各個計算結(jié)點基于分配到該計算結(jié)點的原始圖片集合并行執(zhí)行后續(xù)步驟。
3.如權(quán)利要求2所述的方法，其中，所述第一規(guī)則包括: 對于每個原始圖片集合，用該原始圖片集合的原始集合標(biāo)號除以計算結(jié)點的總個數(shù)，得到計算結(jié)果的余數(shù)； 將該原始圖片集合分配給結(jié)點標(biāo)號等于所述余數(shù)的計算結(jié)點。`
4.如權(quán)利要求2或3所述的方法，其中，進(jìn)一步包括步驟:根據(jù)預(yù)設(shè)的第二規(guī)則，為所述待合并的多個原始圖片集合中的每個圖片數(shù)據(jù)指定該圖片數(shù)據(jù)所對應(yīng)的計算結(jié)點； 則在所述遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的步驟中， 每個計算結(jié)點基于分配給該計算結(jié)點的原始圖片集合，獲得分配給該計算結(jié)點的原始圖片集合中的各個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的中間結(jié)果，并將獲得的每一圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的中間結(jié)果發(fā)送給該圖片數(shù)據(jù)所對應(yīng)的計算結(jié)點； 每個計算結(jié)點基于其他計算結(jié)點發(fā)來的圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的中間結(jié)果，確定該計算結(jié)點所對應(yīng)的圖片數(shù)據(jù)的最小原始集合標(biāo)號。
5.如權(quán)利要求4所述的方法，其中，基于其他計算結(jié)點發(fā)來的圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的中間結(jié)果，確定該計算結(jié)點所對應(yīng)的圖片數(shù)據(jù)的最小原始集合標(biāo)號的步驟具體包括: 當(dāng)其他計算結(jié)點發(fā)來的一個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號的中間結(jié)果為多個時，將多個中間結(jié)果中的最小值作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號。
6.如權(quán)利要求4或5所述的方法，其中，所述第二規(guī)則包括: 為每個圖片數(shù)據(jù)設(shè)置唯一的圖片數(shù)據(jù)標(biāo)號； 對于每個圖片數(shù)據(jù)，用該圖片數(shù)據(jù)的圖片數(shù)據(jù)標(biāo)號除以計算結(jié)點的總個數(shù)，得到計算結(jié)果的余數(shù)； 將結(jié)點標(biāo)號等于所述余數(shù)的計算結(jié)點指定為該圖片數(shù)據(jù)所對應(yīng)的計算結(jié)點。
7.如權(quán)利要求4-6任一所述的方法，其中，所述將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號的步驟之前進(jìn)一步包括: 每個計算結(jié)點將該計算結(jié)點所對應(yīng)的各個圖片數(shù)據(jù)的最小原始集合標(biāo)號廣播到其他計算結(jié)點。
8.如權(quán)利要求4-7任一所述的方法，其中，通過MPI提供的MPI_Reduce接口來實現(xiàn)取最小標(biāo)號或最小值的操作。
9.一種對多個圖片集合進(jìn)行合并的系統(tǒng)，包括:獲取單元、合并判斷單元和至少一個計算結(jié)點單元，其中， 獲取單元，適于獲取待合并的多個原始圖片集合，為每個原始圖片集合設(shè)置唯一的原始集合標(biāo)號，其中，每個原始圖片集合中包含一個或多個圖片數(shù)據(jù)； 計算結(jié)點單元，適于遍歷多個原始圖片集合中的每個圖片數(shù)據(jù)，獲取每個圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號，其中，當(dāng)一個圖片數(shù)據(jù)同時屬于多個原始圖片集合時，將包含該圖片數(shù)據(jù)的多個原始圖片集合中標(biāo)號最小的原始集合標(biāo)號作為該圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號；對于每個原始圖片集合，將該原始圖片集合中的所有圖片數(shù)據(jù)所對應(yīng)的最小原始集合標(biāo)號中數(shù)值最小的標(biāo)號作為該原始圖片集合中的所有圖片數(shù)據(jù)對應(yīng)的新集合標(biāo)號; 合并判斷單元，適于根據(jù)新集合標(biāo)號與圖片數(shù)據(jù)之間的對應(yīng)關(guān)系，得到合并后的新圖片集合，并判斷合并后的新圖片集合的個數(shù)是否等于原始圖片集合的個數(shù)，如果相等，則將合并后的新圖片集合作為合并結(jié)果；如果不相等，則將合并后的新圖片集合作為所述待合并的多個原始圖片集合并由上述各個單元重復(fù)執(zhí)行上述操作。
10.如權(quán)利要求9所述的系統(tǒng)，其中，所述計算結(jié)點單元的數(shù)量為多個，則所述系統(tǒng)進(jìn)一步包括:第一分配單元，適于按照預(yù)設(shè)的第一規(guī)則，將獲取單元獲取的所述待合并的多個原始圖片集合分配給多個計算結(jié)點單元，由各個計算結(jié)點單元基于分配到該計算結(jié)點單元的原始圖片集合執(zhí)行并行化處理。
【文檔編號】G06F17/30GK103559263SQ201310537930
【公開日】2014年2月5日 申請日期:2013年11月4日 優(yōu)先權(quán)日:2013年11月4日
【發(fā)明者】齊路, 何銳邦, 唐會軍 申請人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司