基于圖像分割和可信度的視差圖像校正方法
【專利摘要】本發(fā)明公開一種基于圖像分割和可信度的視差圖像校正方法，主要解決現(xiàn)有視差圖像校正后得到的視差圖像精度不高的問題。其實(shí)現(xiàn)步驟為：(1)輸入左、右視點(diǎn)圖像；(2)利用均值漂移進(jìn)行圖像分割；(3)采用自適應(yīng)權(quán)值立體匹配方法，得到初始視差圖像；(4)利用生成的初始視差圖像及其匹配代價(jià)，檢測初始視差圖像可信度；(5)基于初始視差圖像及可信度，進(jìn)行視差校準(zhǔn)。本發(fā)明解決了遮擋效應(yīng)所導(dǎo)致的錯(cuò)誤視差值，提高了視差校正的精度，得到了邊界信息保護(hù)完整，結(jié)構(gòu)自然的高精確度視差圖像。
【專利說明】基于圖像分割和可信度的視差圖像校正方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，更進(jìn)一步涉及視頻處理【技術(shù)領(lǐng)域】中的一種基于圖像分割和可信度的視差圖像校正方法。本發(fā)明能夠有效的解決圖像之間遮擋效應(yīng)所引起的錯(cuò)誤匹配，提高估計(jì)生成的視差圖像精度，用于3DTV和深度圖像繪制相關(guān)領(lǐng)域。

【背景技術(shù)】
[0002]在信息化數(shù)字時(shí)代，普通2D視頻已經(jīng)在某些方面不能滿足人類日常生活和工作的需要，3D視頻技術(shù)已成為目前科技發(fā)展的重要領(lǐng)域。其中，2D轉(zhuǎn)3D技術(shù)可以將傳統(tǒng)的平面視頻轉(zhuǎn)換為立體視頻，該方法成本低且適用性強(qiáng)，但由于視頻本身深度信息有限，得出的立體視頻效果并不能滿足實(shí)際需要。
[0003]目前，獲取深度信息的方法很多，其中利用立體匹配生成視差圖像是目前最具發(fā)展?jié)摿Φ难芯空n題之一。立體匹配是基于不同角度下拍攝同一場景得到的兩張圖片，尋找其對應(yīng)點(diǎn)，并根據(jù)對應(yīng)點(diǎn)之間存在的內(nèi)在關(guān)系來得到圖像視差值。圖像視差值可以提供空間線索用于精確產(chǎn)生不同視點(diǎn)、不同物體的深度信息。然而，由于不同視點(diǎn)圖像之間存在的遮擋效應(yīng)，導(dǎo)致立體匹配過程中產(chǎn)生錯(cuò)誤的圖像視差值，影響了最終獲得的視差圖像的精度，難以提供高精度的深度信息。因此，如何解決視差圖像中遮擋效應(yīng)所產(chǎn)生的不利影響，提高獲得視差值的精度成為一項(xiàng)重要的研究課題。
[0004]西南交通大學(xué)擁有的專利技術(shù)“一種快速自適應(yīng)支持權(quán)值雙目視覺立體匹配方法”(申請?zhí)?201310268903.3，授權(quán)公布號(hào):103325120A)中公開了一種快速自適應(yīng)支持權(quán)值雙目視覺立體匹配方法。該方法的具體步驟是，第一，讀取已有待匹配雙目圖像對；第一，計(jì)算匹配代價(jià)；第一，加權(quán)聚合匹配代價(jià)；第二，計(jì)算初始視差；第三，對初始視差進(jìn)行校正，得到最終視差矩陣；第四，生成視差圖。雖然該立體匹配方法通過對初始視差進(jìn)行校正成功的改善了立體匹配的效果，提高了視差的精度，但是，該校正方法仍然存在的不足之處是，該方法在對初始視差進(jìn)行校正時(shí)，沒有考慮錯(cuò)誤視差值對于校正的不利影響，僅考慮圖像的顏色差異性和空間距離因素，導(dǎo)致最終校正結(jié)果精度不高。
[0005]Wei Wang, Caiming Zhang, Xia Hu and Weitao Li 在其發(fā)表的論文“Occlus1n-aided Weights for Local Stereo Matching，，(“Internat1nal Journal ofPattern Recognit1n and Artificial Intelligence’^N0.3 Vol.262012)中提出了一種局部立體匹配校正方法。該方法首先利用Rank變化估計(jì)初始視差值，其次采用左右一致性檢測來檢測錯(cuò)誤的視差值，最后基于圖像顏色，空間距離和檢測的錯(cuò)誤視差值來進(jìn)行視差校正。該校正方法存在的不足之處是，該方法采用的左右一致性檢測不能完全的反應(yīng)出視差圖像中錯(cuò)誤視差的情況，影響最終校正后獲得的視差圖像精度。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，在傳統(tǒng)的立體匹配方法的基礎(chǔ)上提出一種基于圖像分割和可信度的視差圖像校正方法，成功解決了由于遮擋效應(yīng)所引起的錯(cuò)誤匹配而導(dǎo)致獲得的視差圖像精度不高的問題。該方法既保留了傳統(tǒng)立體匹配方法計(jì)算復(fù)雜度低，魯棒性強(qiáng)的特點(diǎn)，同時(shí)提高了視差圖像的精度，獲得具有清晰邊緣、內(nèi)部平滑，高精度的視差圖像。
[0007]本發(fā)明實(shí)現(xiàn)上述目的的思路是:首先，輸入左、右視點(diǎn)圖像，分別進(jìn)行均值漂移，得到左、右視點(diǎn)圖像的分割圖像。其次，采用自適應(yīng)權(quán)值立體匹配方法，對左、右視點(diǎn)圖像估計(jì)初始視差值，得到初始視差圖像。然后，利用初始視差圖像和匹配代價(jià)，檢測初始視差圖像中初始視差值的可信度。最后，利用獲得的初始視差圖像的可信度對初始視差圖像進(jìn)行校正來獲取最終視差圖像。
[0008]本發(fā)明的具體步驟如下:
[0009](I)輸入圖像:
[0010]輸入立體匹配測試圖像庫中的左、右視點(diǎn)圖像；
[0011]⑵圖像分割:
[0012]對輸入的左、右視點(diǎn)圖像，分別進(jìn)行均值漂移，得到左、右視點(diǎn)圖像的分割圖像；
[0013](3)估計(jì)初始視差:
[0014]以左視點(diǎn)圖像為參考圖像，以右視點(diǎn)圖像為匹配圖像，采用自適應(yīng)權(quán)值立體匹配方法，得到初始視差圖像；
[0015](4)檢測可信度:
[0016](4a)以右視點(diǎn)圖像為參考圖像，以左視點(diǎn)圖像為匹配圖像，采用自適應(yīng)權(quán)值立體匹配方法，得到比較視差圖像；
[0017](4b)按照下式，對初始視差圖像進(jìn)行檢測，得到初始視差圖像的檢測數(shù)值:

【權(quán)利要求】
1.一種基于圖像分割和可信度的視差圖像校正方法，包括如下步驟: (1)輸入圖像: 輸入立體匹配測試圖像庫中的左、右視點(diǎn)圖像； (2)圖像分割: 對輸入的左、右視點(diǎn)圖像，分別進(jìn)行均值漂移，得到左、右視點(diǎn)圖像的分割圖像； (3)估計(jì)初始視差: 以左視點(diǎn)圖像為參考圖像，以右視點(diǎn)圖像為匹配圖像，采用自適應(yīng)權(quán)值立體匹配方法，得到初始視差圖像； (4)檢測可信度: (4a)以右視點(diǎn)圖像為參考圖像，以左視點(diǎn)圖像為匹配圖像，采用自適應(yīng)權(quán)值立體匹配方法，得到比較視差圖像； (4b)按照下式，對初始視差圖像進(jìn)行檢測，得到初始視差圖像的檢測數(shù)值:
其中，M(x, y)表示初始視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的初始視差圖像檢測數(shù)值，E(x，y)表示初始視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的最小匹配代價(jià)，d表示初始視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的視差值，D (X，y-d)表示初始視差圖像中(x，y_d)坐標(biāo)位置所對應(yīng)的視差值，T(x，y)表示比較視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的視差值； (4c)將初始視差圖像檢測數(shù)值中所有非O的數(shù)值相加，得到檢測之和，用檢測之和除以初始視差圖像檢測數(shù)值中非O數(shù)值的總個(gè)數(shù)，得到初始視差圖像檢測閥值； (4d)按照下式，對初始視差圖像進(jìn)行檢測，得到初始視差圖像中坐標(biāo)點(diǎn)的可信度數(shù)值:
其中，r(x，y)表示初始視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的可信度數(shù)值，E(x，y)表示初始視差圖像中(x，y)坐標(biāo)位置所對應(yīng)的最小匹配代價(jià)，u表示初始視差圖像檢測閥值，V表示初始視差圖像中所有點(diǎn)的最小匹配代價(jià)中最小的百分之十的平均值； (5)校正視差: (5a)在初始視差圖像中任選一個(gè)校正點(diǎn)，以所選定的校正點(diǎn)為中心設(shè)定一個(gè)41X41像素的校正窗口； (5b)在左、右視點(diǎn)圖像視差值的范圍[(!_，(!_]內(nèi)，從小到大依次選取左、右視點(diǎn)圖像的視差值，其中，dmin表不左、右視點(diǎn)圖像最小視差值，dmax表不左、右視點(diǎn)圖像最大視差值；(5c)按照下式，對初始視差圖像的校正窗口中的點(diǎn)進(jìn)行檢測，得到初始視差圖像的校正窗口中坐標(biāo)點(diǎn)的校正檢測數(shù)值；
其中，C(x, y)表示初始視差圖像的校正窗口中(x，y)坐標(biāo)位置所對應(yīng)的校正檢測數(shù)值，D(x，y)表示初始視差圖像的校正窗口中(x，y)坐標(biāo)位置所對應(yīng)的視差值，d表示選取的左、右視點(diǎn)圖像的視差值； (5d)按照下式，計(jì)算初始視差圖像的校正窗口內(nèi)各個(gè)點(diǎn)相對于初始視差圖像中選定的校正點(diǎn)的支持權(quán)值；
其中，w(p, q)表不初始視差圖像中校正窗口內(nèi)任意一點(diǎn)q相對于初始視差圖像中選定的校正點(diǎn)P的支持權(quán)值，Ac (p, q)表示初始視差圖像中校正窗口內(nèi)任意一點(diǎn)的灰度值減去初始視差圖像中選定的校正點(diǎn)灰度值的差值，Δ g (p, q)表不初始視差圖像中校正窗口內(nèi)任意一點(diǎn)與初始視差圖像中選定的校正點(diǎn)之間的歐式距離，exp表示以自然常數(shù)e為底的指數(shù)操作； (5e)用初始視差圖像的校正窗口內(nèi)每個(gè)點(diǎn)的支持權(quán)值乘以與該點(diǎn)對應(yīng)的校正檢測數(shù)值，得到每個(gè)點(diǎn)的支持系數(shù)，將每個(gè)點(diǎn)的支持系數(shù)乘以與該點(diǎn)對應(yīng)的可信度，得到每個(gè)點(diǎn)的校正系數(shù)； (5f)將初始視差圖像的校正窗口內(nèi)所有點(diǎn)的校正系數(shù)相加，得到初始視差圖像中選定校正點(diǎn)當(dāng)前選取的左、右視點(diǎn)圖像視差值的總校正系數(shù)； (5g)判斷是否獲得左、右視點(diǎn)圖像視差值取值范圍內(nèi)所有視差值的總校正系數(shù)，若是，執(zhí)行步驟(5h)，否則，執(zhí)行步驟(5b)； (5h)比較左、右視點(diǎn)圖像視差值取值范圍內(nèi)所有視差值的總校正系數(shù)大小，選取總校正系數(shù)最大的視差值作為初始視差圖像中選定的校正點(diǎn)的最終校正視差值； (5i)判斷是否獲得初始視差圖像中每個(gè)點(diǎn)的最終校正視差值，若是，執(zhí)行步驟(6)，否則，執(zhí)行步驟(5a)； (6)輸出結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于圖像分割和可信度的視差圖像校正方法，其特征在于，步驟(2)中所述均值漂移的具體步驟如下: 第一步，將像素的2維坐標(biāo)和紅、綠、藍(lán)三個(gè)通道的顏色信息，組成一個(gè)5維的空間坐標(biāo)； 第二步，在左、右視點(diǎn)圖像中，任意選定一個(gè)目標(biāo)點(diǎn)； 第三步，以所選定的目標(biāo)點(diǎn)為球心，以長度為左、右視點(diǎn)圖像的15個(gè)像素的搜索距離為半徑構(gòu)建球體，將球體內(nèi)每一個(gè)點(diǎn)到球心的矢量之和，作為球心的漂移向量； 第四步，沿漂移向量移動(dòng)球心，得到新的球心，采用第三步的方法，計(jì)算新球心的漂移向量; 第五步，重復(fù)第四步，直到漂移向量為0，將漂移向量為O時(shí)所對應(yīng)的球心，作為選定目標(biāo)點(diǎn)的收斂點(diǎn)； 第六步，判斷左、右視點(diǎn)圖像中每一個(gè)目標(biāo)點(diǎn)是否已獲得收斂點(diǎn)，若是，執(zhí)行第七步，否貝U，執(zhí)行第二步； 第七步，從左、右視點(diǎn)圖像中選擇收斂點(diǎn)相同的點(diǎn)，組成分割區(qū)域，構(gòu)成左、右視點(diǎn)圖像的分割圖像。
3.根據(jù)權(quán)利要求1所述的基于圖像分割和可信度的視差圖像校正方法，其特征在于，步驟(3)、步驟(4a)中所述自適應(yīng)權(quán)值立體匹配方法的具體步驟如下: 第一步，在參考圖像中任選一個(gè)目標(biāo)點(diǎn)，以所選定的目標(biāo)點(diǎn)為中心，設(shè)定一個(gè)51X51像素的目標(biāo)窗口； 第二步，按照下式，計(jì)算參考圖像的目標(biāo)窗口內(nèi)每一個(gè)點(diǎn)相對于選定目標(biāo)點(diǎn)的支持權(quán)值:
其中，w(p, q)表示參考圖像的目標(biāo)窗口內(nèi)任意一點(diǎn)q相對于參考圖像中選定的目標(biāo)點(diǎn)P的支持權(quán)值，Seg (P)和Seg (q)分別表示參考圖像中選定的目標(biāo)點(diǎn)P和參考圖像的目標(biāo)窗口內(nèi)任意一點(diǎn)q的分割信息，I (P)、I (q)分別表示參考圖像中選定的目標(biāo)點(diǎn)P和參考圖像的目標(biāo)窗口內(nèi)任意一點(diǎn)q的像素灰度值，exp表示以自然常數(shù)e為底的指數(shù)操作，r表示常數(shù)，r = 22 ; 第三步，在參考圖像的視差值范圍[dmin，dmax]內(nèi)，從小到大依次選取參考圖像的視差值，其中，dmin表示參考圖像最小視差值，dmax表示參考圖像最大視差值； 第四步，保持參考圖像目標(biāo)窗口內(nèi)每一個(gè)點(diǎn)的縱坐標(biāo)數(shù)值不變，用橫坐標(biāo)數(shù)值減去所選取的參考圖像的視差值，得到新的橫坐標(biāo)數(shù)值，以原有縱坐標(biāo)數(shù)值和新的橫坐標(biāo)數(shù)值構(gòu)成匹配圖像中對應(yīng)于參考圖像目標(biāo)窗口內(nèi)每一個(gè)點(diǎn)的匹配點(diǎn)的坐標(biāo)數(shù)值； 第五步，用參考圖像的目標(biāo)窗口中每一個(gè)點(diǎn)的灰度值減去匹配圖像中對應(yīng)匹配點(diǎn)的灰度值，得到參考圖像的目標(biāo)窗口中每一個(gè)點(diǎn)與匹配圖像中對應(yīng)匹配點(diǎn)之間的灰度差值；第六步，將參考圖像的目標(biāo)窗口內(nèi)所有點(diǎn)的支持權(quán)值相加，得到綜合權(quán)值； 第七步，用參考圖像的目標(biāo)窗口內(nèi)每一個(gè)點(diǎn)的支持權(quán)值乘以該點(diǎn)與匹配圖像中對應(yīng)匹配點(diǎn)之間的灰度差值，得到參考圖像的目標(biāo)窗口內(nèi)每一個(gè)點(diǎn)的匹配代價(jià)，對參考圖像的目標(biāo)窗口內(nèi)所有點(diǎn)的匹配代價(jià)求和，得到總匹配代價(jià)，用總匹配代價(jià)除以綜合權(quán)值，得到參考圖像中選定的目標(biāo)點(diǎn)相對于選定的視差值的最終匹配代價(jià)； 第八步，判斷是否獲得參考圖像視差取值范圍內(nèi)所有視差值的最終匹配代價(jià)，若是，執(zhí)行第九步，否則，執(zhí)行第三步； 第九步，比較參考圖像視差取值范圍內(nèi)所有視差值的最終匹配代價(jià)大小，選取最終匹配代價(jià)最小的視差值作為參考圖像中選定目標(biāo)點(diǎn)的初始視差值； 第十步，判斷是否獲得參考圖像中每個(gè)點(diǎn)的初始視差值，若是，結(jié)束操作，否則，執(zhí)行第一步。
【文檔編號(hào)】G06T5/50GK104200453SQ201410468302
【公開日】2014年12月10日 申請日期:2014年9月15日 優(yōu)先權(quán)日:2014年9月15日
【發(fā)明者】鄭喆坤, 焦李成, 雷昊臻, 馬文萍, 馬晶晶, 侯彪 申請人:西安電子科技大學(xué)