一種圖像快速立體匹配方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種圖像快速立體匹配方法及裝置，該方法包括如下步驟：將參考視圖過(guò)分割為互不重疊的多個(gè)區(qū)域；計(jì)算參考視圖中的像素i與目標(biāo)視圖中的像素i′之間的像素初始匹配代價(jià)；確定當(dāng)前像素i處的候選視差子集合和支持子集合；迭代計(jì)算像素i的聚合匹配代價(jià)，根據(jù)聚合匹配代價(jià)更新縮小候選視差子集合和支持子集合，使候選視差子集合和支持子集合中的元素不斷減少，直至候選視差子集合中的候選視差數(shù)目降低至設(shè)定視差數(shù)目；選擇候選視差子集中最小匹配代價(jià)對(duì)應(yīng)的視差值作為像素i的第一視差值。本發(fā)明在保證匹配精度的同時(shí)大大加快了算法運(yùn)行速度；另外使用了基于PatchMatch算法的視差平面擬合方法，能夠較快地收斂到最優(yōu)平面參數(shù)估計(jì)值。
【專(zhuān)利說(shuō)明】【【技術(shù)領(lǐng)域】】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種圖像快速立體匹配方法及裝置。 -種圖像快速立體匹配方法及裝置 【【背景技術(shù)】】
[0002] 高精度的深度信息在計(jì)算機(jī)視覺(jué)領(lǐng)域的很多應(yīng)用場(chǎng)合都起著至關(guān)重要的作用，尤 其是在立體視覺(jué)中，高質(zhì)量稠密深度圖的獲取是三維重建、基于深度圖繪制以及虛擬視點(diǎn) 合成的關(guān)鍵。雙目立體匹配是經(jīng)典的視差圖或深度圖獲取技術(shù)，也是計(jì)算機(jī)視覺(jué)領(lǐng)域中的 研究熱點(diǎn)之一。一個(gè)完整有效的立體匹配算法框架可分為像素級(jí)匹配代價(jià)計(jì)算、匹配代價(jià) 聚合、視差優(yōu)化及計(jì)算、視差修正這四個(gè)步驟。目前主流的立體匹配算法可分為局部算法和 全局算法兩類(lèi)。局部算法的優(yōu)點(diǎn)是簡(jiǎn)單、有效、快速，全局算法由于加入了全局優(yōu)化的過(guò)程， 其視差圖結(jié)果更好，但全局優(yōu)化一般需要極大的計(jì)算復(fù)雜度，算法運(yùn)行速度較慢。此外還有 一類(lèi)基于圖像分割和視差平面擬合的立體匹配算法，在使用局部算法得到初始視差圖結(jié)果 后對(duì)每個(gè)分割區(qū)域在視差空間中擬合一個(gè)平面，并可以進(jìn)一步構(gòu)建能量函數(shù)優(yōu)化這些平面 標(biāo)號(hào)，確定了平面參數(shù)即確定了該區(qū)域內(nèi)像素的視差值。此類(lèi)算法可得到接近全局算法的 結(jié)果，但運(yùn)行時(shí)間較短，是目前最主流的立體匹配算法之一。
[0003] 現(xiàn)有算法中以當(dāng)前像素為中心的一個(gè)矩形窗口中所有鄰域像素都要參與匹配代 價(jià)聚合，這種算法的運(yùn)行速度較慢。目前的視差平面擬合收斂太慢。 【
【發(fā)明內(nèi)容】
】
[0004] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種圖像快速立體匹配方法及裝置，以 保證輸出良好的視差圖結(jié)果的同時(shí)，相比現(xiàn)有算法在快速性與高效性上有較大提高。
[0005] -種圖像快速立體匹配方法，包括如下步驟：
[0006] S10,將參考視圖過(guò)分割為互不重疊的多個(gè)區(qū)域；
[0007] S20,對(duì)于原始候選視差集合D以及所述原始候選視差集合D的元素候選視差d，計(jì) 算所述參考視圖中的像素 i與目標(biāo)視圖中的像素廣之間的像素初始匹配代價(jià)；其中，所述 像素廣與像素 i之間的視差是所述候選視差d ;
[0008] S30,根據(jù)所述確定原始候選視差集合D計(jì)算所述像素 i的像素初始匹配代價(jià)，確 定最大的像素初始匹配代價(jià)和最小的像素初始匹配代價(jià)；
[0009] 選擇匹配代價(jià)小于第一像素初始匹配代價(jià)閾值的視差作為當(dāng)前像素 i處的候選 視差子集合，選擇匹配代價(jià)小于第二像素初始匹配代價(jià)閾值的視差作為支持子集合；其中， 所述候選視差子集合包含所述支持子集合；
[0010] S40,根據(jù)所述候選視差子集合中的候選視差d、所述像素 i周?chē)脑O(shè)定窗口，迭代 計(jì)算所述像素 i的聚合匹配代價(jià)，根據(jù)所述聚合匹配代價(jià)更新縮小所述候選視差子集合和 支持子集合，使所述候選視差子集合和所述支持子集合中的元素不斷減少，并判斷所述候 選視差子集合中的候選視差數(shù)目是否降低至設(shè)定視差數(shù)目，若是則執(zhí)行步驟S50,否則繼續(xù) 執(zhí)行步驟S40 ;
[0011] S50,選擇候選視差子集中最小匹配代價(jià)對(duì)應(yīng)的視差值作為所述像素 i的第一視 差值ι?(?)。
[0012] 優(yōu)選地，還包括如下步驟：
[0013] S60,對(duì)獲得的視差圖進(jìn)行修復(fù)：
[0014] 以當(dāng)前目標(biāo)視圖為參考視圖，以當(dāng)前參考視圖為目標(biāo)視圖，采用步驟S10至S50的 方法計(jì)算第二視差值并獲得第二視差圖士；
[0015] 逐一檢查當(dāng)前參考視圖中的每一像素i，根據(jù)第一視差值--〇:)在當(dāng)前目標(biāo)視圖中 確定對(duì)應(yīng)的像素 j，如果像素 j根據(jù)第二視差值&(/)在當(dāng)前參考視圖中對(duì)應(yīng)的像素不是像 素 i，則認(rèn)為像素 i屬于被遮擋區(qū)域，像素 i的視差值d(i)用距離像素 i最近的非遮擋像素 的視差值替換。
[0016] 優(yōu)選地，還包括如下步驟：
[0017] S70,以過(guò)分割得到的區(qū)域?yàn)閱挝换赑atchMatch算法作視差平面擬合，迭代優(yōu) 化擬合平面參數(shù)并確定最終的視差圖。
[0018] 優(yōu)選地，還包括如下步驟：
[0019] 在所述步驟S30中：
[0020] 根據(jù)像素初始匹配代價(jià)Cji，d)計(jì)算最大的像素初始匹配代價(jià)和最小的像 素初始匹配代價(jià)Q :
[0021]
【權(quán)利要求】
1. 一種圖像快速立體匹配方法，其特征是，包括如下步驟： S10,將參考視圖過(guò)分割為互不重疊的多個(gè)區(qū)域； S20,對(duì)于原始候選視差集合D以及所述原始候選視差集合D的元素候選視差d，計(jì)算所 述參考視圖中的像素 i與目標(biāo)視圖中的像素廣之間的像素初始匹配代價(jià)；其中，所述像素 廣與像素 i之間的視差是所述候選視差d ; S30,根據(jù)所述確定原始候選視差集合D計(jì)算所述像素 i的像素初始匹配代價(jià)，確定最 大的像素初始匹配代價(jià)和最小的像素初始匹配代價(jià)； 選擇匹配代價(jià)小于第一像素初始匹配代價(jià)閾值的視差作為當(dāng)前像素 i處的候選視差 子集合，選擇匹配代價(jià)小于第二像素初始匹配代價(jià)閾值的視差作為支持子集合；其中，所述 候選視差子集合包含所述支持子集合； S40,根據(jù)所述候選視差子集合中的候選視差d、所述像素 i周?chē)脑O(shè)定窗口，迭代計(jì)算 所述像素 i的聚合匹配代價(jià)，根據(jù)所述聚合匹配代價(jià)更新縮小所述候選視差子集合和支持 子集合，使所述候選視差子集合和所述支持子集合中的元素不斷減少，并判斷所述候選視 差子集合中的候選視差數(shù)目是否降低至設(shè)定視差數(shù)目，若是則執(zhí)行步驟S50,否則繼續(xù)執(zhí)行 步驟S40 ; S50,選擇候選視差子集中最小匹配代價(jià)對(duì)應(yīng)的視差值作為所述像素 i的第一視差值 d(t)〇
2. 如權(quán)利要求1所述的圖像快速立體匹配方法，其特征是，還包括如下步驟： S60,對(duì)獲得的視差圖進(jìn)行修復(fù)： 以當(dāng)前目標(biāo)視圖為參考視圖，以當(dāng)前參考視圖為目標(biāo)視圖，采用步驟S10至S50的方法 計(jì)算第二視差值并獲得第二視差圖士； 逐一檢查當(dāng)前參考視圖中的每一像素 i，根據(jù)第一視差值辦〇在當(dāng)前目標(biāo)視圖中確定 對(duì)應(yīng)的像素 j，如果像素 j根據(jù)第二視差值&(/)在當(dāng)前參考視圖中對(duì)應(yīng)的像素不是像素 i， 則認(rèn)為像素 i屬于被遮擋區(qū)域，像素 i的視差值奴〇用距離像素 i最近的非遮擋像素的視 差值替換。
3. 如權(quán)利要求1所述的圖像快速立體匹配方法，其特征是，還包括如下步驟： S70,以過(guò)分割得到的區(qū)域?yàn)閱挝换赑atchMatch算法作視差平面擬合，迭代優(yōu)化擬 合平面參數(shù)并確定最終的視差圖。
4. 如權(quán)利要求1所述的圖像快速立體匹配方法，其特征是，還包括如下步驟： 在所述步驟S30中： 根據(jù)像素初始匹配代價(jià)Cji，d)計(jì)算最大的像素初始匹配代價(jià)和最小的像素初 始匹配代價(jià):
候選視差子集合Di candidate (〇)滿(mǎn)足：
支持子集合Di suppOTt (0)滿(mǎn)足：
shigh(0)和slOT(o)是參數(shù)，且
5. 如權(quán)利要求4所述的圖像快速立體匹配方法，其特征是，步驟S40包括： S401，在第k次迭代中，對(duì)于像素 i和候選視差
：在像素 i周?chē)木匦? 窗I內(nèi)隨機(jī)采樣
個(gè)領(lǐng)域像素 j，
，且選取的鄰 域像素 j與像素 i之間的視差
，i，j e S。，則像素 i的聚合匹配代價(jià)Ck(i， d)為：
其中Wij為鄰域像素 j參與像素 i代價(jià)聚合的加權(quán)值，S。表示參考視圖經(jīng)過(guò)過(guò)分割的區(qū) 域； S402,根據(jù)當(dāng)前聚合代價(jià)Ck(i，d)更新所述支持子集合Di suppOTt和所述候選視差子集合 Di-candidate ·
其中，
判斷&中的視差值數(shù)目減少到滿(mǎn)足：
，若是則對(duì)于像素 i 處的迭代終止，否則返回步驟S402繼續(xù)進(jìn)入下一輪迭代，其中，| Di eandidate |表示Di eandidate中 的元素?cái)?shù)目，|DI表示原始候選視差集合d中的元素?cái)?shù)目。
6. 如權(quán)利要求5所述的圖像快速立體匹配方法，其特征是：
〇 1?和σ s為預(yù)設(shè)參數(shù)，Ni saniple固定包含像素 i，且
7. 如權(quán)利要求3所述的圖像快速立體匹配方法，其特征是：
其中，像素 i的坐標(biāo)為（Xi，yD，像素廣的坐標(biāo)為（xr，yr )，且
h為灰度差或彩色差的截?cái)嚅撝?，?為8鄰域梯度差和的截?cái)嚅撝?，α為加?quán)值，8鄰域 梯度定義為：

8. -種圖像快速立體匹配裝置，其特征是，包括： 第一處理單元，用于將參考視圖過(guò)分割為互不重疊的多個(gè)區(qū)域； 第二處理單元，用于對(duì)于原始候選視差集合D以及所述原始候選視差集合D的元素候 選視差d，計(jì)算所述參考視圖中的像素 i與目標(biāo)視圖中的像素 i'之間的像素初始匹配代 價(jià)；其中，所述像素 i'與像素 i之間的視差是所述候選視差d ; 第三處理單元，用于根據(jù)所述確定原始候選視差集合D計(jì)算所述像素 i的像素初始匹 配代價(jià)，確定最大的像素初始匹配代價(jià)和最小的像素初始匹配代價(jià)；選擇匹配代價(jià)小于第 一像素初始匹配代價(jià)閾值的視差作為當(dāng)前像素 i處的候選視差子集合，選擇匹配代價(jià)小于 第二像素初始匹配代價(jià)閾值的視差作為支持子集合；其中，所述候選視差子集合包含所述 支持子集合； 第四處理單元，用于根據(jù)所述候選視差子集合中的候選視差d、所述像素 i周?chē)脑O(shè)定 窗口，迭代計(jì)算所述像素 i的聚合匹配代價(jià)，根據(jù)所述聚合匹配代價(jià)更新縮小所述候選視 差子集合和支持子集合，使所述候選視差子集合和所述支持子集合中的元素不斷減少，并 判斷所述候選視差子集合中的候選視差數(shù)目是否降低至設(shè)定視差數(shù)目，若第五處理單元工 作，否則第四處理單元繼續(xù)工作； 第五處理單元，用于選擇候選視差子集中最小匹配代價(jià)對(duì)應(yīng)的視差值作為所述像素 i 的第一視差值--⑴。
9. 如權(quán)利要求8所述的圖像快速立體匹配裝置，其特征是，還包括： 第六處理單元，用于對(duì)獲得的視差圖進(jìn)行修復(fù)： 以當(dāng)前目標(biāo)視圖為參考視圖，以當(dāng)前參考視圖為目標(biāo)視圖，采用步驟S10至S50的方法 計(jì)算第二視差值并獲得第二視差圖士 ； 逐一檢查當(dāng)前參考視圖中的每一像素 i，根據(jù)第一視差值以〇在當(dāng)前目標(biāo)視圖中確定 對(duì)應(yīng)的像素 j，如果像素 j根據(jù)第二視差值1(7)/￡當(dāng)前參考視圖中對(duì)應(yīng)的像素不是像素 i， 則認(rèn)為像素 i屬于被遮擋區(qū)域，像素 i的視差值以〇用距離像素 i最近的非遮擋像素的視 差值替換。
10. 如權(quán)利要求8所述的圖像快速立體匹配裝置，其特征是，還包括： 第七處理單元，用于以過(guò)分割得到的區(qū)域?yàn)閱挝换赑atchMatch算法作視差平面擬 合，優(yōu)化擬合平面參數(shù)并確定最終的視差圖。
【文檔編號(hào)】G06T7/00GK104091339SQ201410342671
【公開(kāi)日】2014年10月8日 申請(qǐng)日期:2014年7月17日 優(yōu)先權(quán)日:2014年7月17日
【發(fā)明者】王好謙, 田雨時(shí), 宣慧明, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院