一種基于稠密視差圖的立體圖像同步分割方法
【專利摘要】本發(fā)明涉及一種基于稠密視差圖的立體圖像同步分割方法。首先輸入一組立體圖像，通過立體圖像匹配算法得到視差圖。然后在其中一圖中通過筆刷勾畫的方式，指定部分前、背景。根據(jù)指定部分分別建立前、背景的顏色分布的先驗(yàn)統(tǒng)計(jì)模型，以及前、背景的視差分布的先驗(yàn)統(tǒng)計(jì)模型。以此為基礎(chǔ)，在圖割理論框架下形式化顏色、梯度以及視差等約束，構(gòu)造能量函數(shù)。最后，采用圖的最大流/最小割算法求解最優(yōu)化結(jié)果。若用戶沒有得到理想的效果，還可以繼續(xù)對圖中錯(cuò)誤區(qū)域進(jìn)行勾畫，直到得到理想結(jié)果。本發(fā)明采用的視差分布模型和變化模型均是視差統(tǒng)計(jì)信息，有效避免了視差計(jì)算誤差帶來的影響，與現(xiàn)有方法相比，本發(fā)明所述方法得到的分割結(jié)果更準(zhǔn)確。
【專利說明】-種基于稠密視差圖的立體圖像同步分割方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和圖像處理等交叉領(lǐng)域，涉及一種基于稠 密視差圖的立體圖像同步分割方法。

【背景技術(shù)】
[0002] 立體圖像在各領(lǐng)域的普及對該類數(shù)據(jù)的智能處理提出了迫切的需求。交互式立體 圖像智能分割是其中一項(xiàng)重要工作：用戶只需在立體圖中的一張圖像上指定少量前、背景， 方法會(huì)自動(dòng)完成兩張圖像的同步分割。分割算法的效果決定了視頻監(jiān)控應(yīng)用中檢測、識(shí)別、 分類以及跟蹤等問題的準(zhǔn)確度。分割后的前景目標(biāo)物可作為三維模型重建的輸入數(shù)據(jù)，去 除背景在重建過程中的干擾。分割的算法和程序亦可幫助普通用戶對立體相機(jī)拍攝到的日 常生活圖片進(jìn)行編輯，幫助影視制作人員對立體電視、電影進(jìn)行后期編輯。例如去除不想要 的物體，將前景物體合成到新的背景中，以及拷貝和粘貼前景物體等。
[0003] 目前針對單幅圖像的交互式分割方法相對已經(jīng)較為成熟，有些已經(jīng)實(shí)現(xiàn)實(shí)際應(yīng) 用，例如Photoshop:K1CS3中快速選擇（Quick Selection)工具。相比單幅圖像的分割，交互 式立體圖像的智能分割起步較晚?，F(xiàn)有針對立體圖像進(jìn)行分割的基本框架是：首先通過立 體匹配算法得到視差圖。視差圖中的每一個(gè)像素值表示參考圖（預(yù)先選定的兩幅圖中的其 中一幅）中對應(yīng)像素在匹配圖中的偏移量。即給定一對立體圖和左圖對應(yīng)的視差圖，可得 到左圖像素在右圖中的對應(yīng)像素。得到視差圖之后，形式化視差線索，以及在單張圖像分割 中常用的顏色、梯度等線索，構(gòu)成能量函數(shù)。通過最優(yōu)化能量函數(shù)實(shí)現(xiàn)圖像分割問題求解。 視差圖的好壞對于分割結(jié)果有重要的影響。然而，現(xiàn)有立體匹配方法得到的視差圖存在較 多誤差，現(xiàn)有基于視差圖的立體圖像分割方法，例如Price等人在2011年的ICCV上發(fā)表的 ''StereoCut :Consistent Interactive Object Selection in Stereo Image Pairs，'中，直 接將視差圖決定的對應(yīng)關(guān)系形式化在能量函數(shù)中，容易導(dǎo)致分割錯(cuò)誤，影響分割的智能化。


【發(fā)明內(nèi)容】

[0004] 鑒于目前基于視差圖的立體圖像分割方法在視差使用方面的局限性，本發(fā)明在基 于視差圖的立體圖像同步分割的理論框架下，探索新的分割方法，力圖減少匹配誤差對分 割結(jié)果的影響，實(shí)現(xiàn)提高分割過程智能化的目的。
[0005] 為實(shí)現(xiàn)這個(gè)目標(biāo)，本發(fā)明的技術(shù)方案為：在用戶輸入一組立體圖像之后，方法自動(dòng) 通過立體圖像匹配算法得到視差圖。而后，用戶可在其中一圖中通過筆刷勾畫的方式，指定 部分前、背景。并自動(dòng)根據(jù)指定部分分別建立前、背景的顏色分布的先驗(yàn)統(tǒng)計(jì)模型，以及前、 背景的視差分布的先驗(yàn)統(tǒng)計(jì)模型。以此為基礎(chǔ)，在圖割理論框架下形式化顏色、梯度以及視 差等約束，構(gòu)造能量函數(shù)。最后，采用圖的最大流/最小割算法求解最優(yōu)化結(jié)果。若用戶沒 有得到理想的效果，還可以繼續(xù)對圖中錯(cuò)誤區(qū)域進(jìn)行勾畫，直到得到理想結(jié)果。
[0006] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：本發(fā)明以視差圖為依據(jù)，建立前、背景視 差分布統(tǒng)計(jì)模型，同時(shí)數(shù)學(xué)形式化圖像內(nèi)視差的變化情況，結(jié)合傳統(tǒng)約束項(xiàng)構(gòu)造能量函數(shù)， 并通過圖割算法求解能量函數(shù)最小值實(shí)現(xiàn)分割。視差分布模型和變化模型均是視差統(tǒng)計(jì)信 息，有效避免了視差計(jì)算誤差帶來的影響。實(shí)驗(yàn)證明：相比現(xiàn)有方法，在同等交互量的前提 下，本發(fā)明所述方法得到的分割結(jié)果更準(zhǔn)確。

【專利附圖】

【附圖說明】
[0007] 圖1為本發(fā)明所涉及方法的流程圖；
[0008] 圖2為本發(fā)明應(yīng)用實(shí)例實(shí)驗(yàn)結(jié)果：(a)、（b)為輸入的左、右圖像，（c)、（d)是采 用 Price 等人在 2011 年的 ICCV 上發(fā)表的 "StereoCut :Consistent Interactive Object Selection in Stereo Image Pairs"中的方法計(jì)算的結(jié)果；（e)、（f)為本發(fā)明的分割結(jié)果； 兩種方法所用的用戶輸入在（c)、（e)圖中顯示，目標(biāo)物內(nèi)部的實(shí)線標(biāo)識(shí)前景，目標(biāo)物區(qū)域 外的虛線標(biāo)識(shí)背景。

【具體實(shí)施方式】
[0009] 下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明做進(jìn)一步說明。
[0010] 本發(fā)明的流程如圖1所示，具體包括如下步驟：
[0011] 步驟一，匹配立體圖像。
[0012] 讀入一對立體圖像

【權(quán)利要求】
1. 一種基于稠密視差圖的立體圖像同步分割方法，其特征在于包括以下步驟： 步驟一，匹配立體圖像； 讀入一對立體圖像
，I1與Γ分別表示左、右圖像；利用立體匹配算法計(jì)算 得到左、右圖像對應(yīng)的視差圖，分別用D1與F表示； 步驟二，添加前、背景線索； 通過所設(shè)計(jì)的界面在其中任意一張圖像中指定部分前、背景；利用鼠標(biāo)、觸摸屏或者手 寫筆等輸入設(shè)備，通過在圖像上勾畫不同顏色的線條指定部分前、背景像素； 步驟三，建立前、背景的顏色、視差先驗(yàn)?zāi)Ｐ停? 用F表示用戶指定的前景像素集合，B表示用戶指定的背景像素集合；前、背景的顏 色、視差的先驗(yàn)?zāi)Ｐ筒捎枚鄠€(gè)類簇的形式表達(dá)，通過擬合或統(tǒng)計(jì)對應(yīng)像素集合的顏色得到： 利用K-means算法對F與B中的像素對應(yīng)的顏色值分別進(jìn)行聚類，得到N。個(gè)前景顏色類 簇
，Μ。個(gè)背景顏色類簇
，分別表示背景的顏色分布統(tǒng)計(jì)模型；同 時(shí)，用同樣的方法，對F和Β中的像素對應(yīng)的視差值分別進(jìn)行聚類，得到Nd個(gè)前景視差類簇
，Md個(gè)背景視差類簇
，分別表示前、背景的視差分布統(tǒng)計(jì)模型；N。
步驟四，定義能量函數(shù)； 立體圖像
，包含左圖I1和右圖Γ，可以表示成一個(gè)無向圖
；其 中，v為圖G中的節(jié)點(diǎn)集合，ε為邊的集合；圖G中的每個(gè)頂點(diǎn)對應(yīng)立體圖像I中的一個(gè) 像素；圖像中除集合F和集合Β中的像素外，其余像素設(shè)定屬于集合U;交互式立體圖像同 步分割是在輸入的筆畫的約束下，為U中的每個(gè)像素 Pi賦予一個(gè)標(biāo)簽Xi ;Xi e {1，〇}，分別 表示前、背景；圖G中的邊包含圖像內(nèi)相鄰像素的連接邊，以及視差圖決定的立體圖像對應(yīng) 點(diǎn)之間的連接邊； 把求解上述立體圖像同步問題定義為以下目標(biāo)能量函數(shù)的最優(yōu)化問題：
(1) 其中，fuimy(Pi，Xi)是一元項(xiàng)，表示像素 Pi的顏色、視差與前、背景顏色和視差統(tǒng)計(jì)模型 的相似性，也叫做數(shù)據(jù)項(xiàng)；相似性越高，fUnal7值越大；fIntM(Pi，Pj)是圖像內(nèi)二元項(xiàng)，反映了 I中所有像素與四鄰域或八其鄰域之間的差異；隊(duì)_3表示包含左右圖中所有像素點(diǎn)的鄰接 關(guān)系的集合；差異越大，則該項(xiàng)越??；根據(jù)圖割算法的原理，此時(shí)鄰域像素之間傾向于取不 同的標(biāo)簽；
1是圖像間的二元項(xiàng)，定義了對應(yīng)點(diǎn)的匹配的結(jié)果，匹配度越高，則 該項(xiàng)越大；cIntOT表不含有左右圖像素點(diǎn)對應(yīng)關(guān)系的集合；λUnai7，λ Intra，λ IntCT是調(diào)節(jié)各能 量項(xiàng)之間的權(quán)值； (1)定義一兀約束項(xiàng) 一元約束項(xiàng)包括顏色一元項(xiàng)和視差一元項(xiàng)兩部分，定義如下：
(2) 其中，Ρ?)表示給定像素 Pi的顏色Ci，\取前景或背景標(biāo)簽的概率值；考慮到概 率越大，能量函數(shù)應(yīng)當(dāng)越小，所以取1-P。表示顏色一元項(xiàng)；同樣地，PjXi I di)表示給定像素 Pi的視差值dp Xi取如景或背景標(biāo)簽的概率值；取l_Pd表不視差一兀項(xiàng)；λ。、λ d分別代表 顏色與視差的影響權(quán)值，
以類簇形式表示前、背景的顏色和視差模型，包括N。個(gè)前景顏色類簇{C"F}"=1,..., Nc， Μ。個(gè)背景顏色類簇
，Nd個(gè)前景視差類簇
，Md個(gè)背景視差類簇
，給出一元項(xiàng)的計(jì)算方法； 顏色一元項(xiàng)的計(jì)算方式如下：將每一個(gè)未標(biāo)記像素的顏色與前景和背景顏色的類簇進(jìn) 行對比，找到其與這些類簇中心最小的距離，這個(gè)距離用以描述像素顏色與前、背景顏色的 相似度；離前景或背景顏色距離越小，則顏色越相近，根據(jù)圖割理論，該像素越傾向于選擇 前景或背景標(biāo)簽；顏色一元項(xiàng)的數(shù)學(xué)形式描述為：
(3) 其中，氣分別表示像素 Pi的顏色Ci到前景和背景顏色的各類簇中心的最小距 離，其表達(dá)式分別為：
視差一元項(xiàng)與顏色一元項(xiàng)的計(jì)算過程相同； (2)定義圖像內(nèi)二元約束項(xiàng) 圖像內(nèi)二元約束項(xiàng)fIntra(Pi，Pj)包含兩項(xiàng)，分別描述像素點(diǎn)周圍顏色變化和視差變化， 即顏色梯度和視差梯度，定義如下：
(4) 其中，?；(Ρ"ρΡ表示相鄰像素間顏色的相似性，顏色越相近其值越大，根據(jù)圖害I]算法的 原理，邊界穿過二者的幾率就較小；fd(Pi，Pj)表示像素 Pi相對于鄰接像素點(diǎn)Pj視差的相似 性；二者視差越相近，其值越大，根據(jù)圖割算法的原理，邊界穿過二者的幾率就較小；兩項(xiàng) 的定義形式如下：
(5) (6) 實(shí)際上，視差計(jì)算存在誤差，直接使用會(huì)將誤差引入分割過程；解決方法是用局部區(qū)域 的視差變化替代兩兩像素之間的視差變化；令\_表示Pi所在區(qū)域；區(qū)域&內(nèi)的視差變化情 況采用方差var(sp表示；在此情況下，式（6)變?yōu)椋?br> (V) 其中，
，函數(shù)A(Pi)表示像素？1所在的區(qū)域；圖像區(qū)域可以采用過分割方法 得到，也可以通過將圖片事先分割成小的正方形區(qū)域集合； (3)定義圖像間二元約束項(xiàng) 圖像間二元項(xiàng)約束立體圖像之間的對應(yīng)像素取同樣的標(biāo)簽，定義如下：
(8) 其中，C表示立體圖像中pL#之間作為對應(yīng)點(diǎn)的可能性，是非對稱函數(shù)：
(9)
是基于視差圖確定的pLpI之間作為對應(yīng)點(diǎn)的概率分布函數(shù)；函 數(shù)
表示Pi是左圖像素 P丨在右圖上的對應(yīng)點(diǎn)，對應(yīng)關(guān)系根據(jù)視差圖決定；
采用Delta函數(shù)或一致的Delta函數(shù)，定義方式如下；Delta函數(shù)只使用單 幅圖對應(yīng)的視差圖；令{d1}為左圖視差集合，Delta函數(shù)定義方式為：
(10) 其中，d丨為左圖中像素 P丨與右圖中對應(yīng)點(diǎn)p}的視差；令{cf}為右圖視差集合，一致的 Delta函數(shù)為：
(11) 其中，為右圖中像素 Pi與左圖對應(yīng)點(diǎn)P丨的視差； 式（9)中
表示巧與p丨之間的顏色相似性，在視差完全準(zhǔn)確的情 況下，
；但目前的視差計(jì)算方法存在誤差，為消除誤差采取如下形 式：
(12) 其中，c丨為左圖像素 P丨的顏色值，C/是p丨在右圖對應(yīng)點(diǎn)的顏色值； 步驟五，求解能量函數(shù)最小值； 采用圖割算法，通過最優(yōu)化本發(fā)明所定義的能量函數(shù)，即式（1)，得到最優(yōu)的標(biāo)記結(jié)果， 即分割結(jié)果；如對分割結(jié)果不滿意，返回步驟二，繼續(xù)添加前、背景線索；每添加一筆，將觸 發(fā)一次完整的分割過程。
2.根據(jù)權(quán)利要求1所述的一種基于稠密視差圖的立體圖像同步分割方法，其特征在 于，步驟三所述的前、背景的顏色、視差先驗(yàn)?zāi)Ｐ瓦€可采用GMM、直方圖形式表達(dá)。
【文檔編號(hào)】G06T7/00GK104091336SQ201410328103
【公開日】2014年10月8日 申請日期:2014年7月10日 優(yōu)先權(quán)日:2014年7月10日
【發(fā)明者】馬偉, 楊璐維, 段立娟 申請人:北京工業(yè)大學(xué)