專利名稱：基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)多媒體技術(shù)領(lǐng)域，特別涉及一種基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法。
背景技術(shù)：
立體視頻是一種能夠使人產(chǎn)生立體感的新型視頻技術(shù)，它可以使人通過視頻看到與真實世界幾乎完全一樣的景象，產(chǎn)生真實感和臨場感，所以必將成為未來多媒體技術(shù)的發(fā)展方向。目前，通常采用的立體視頻體系結(jié)構(gòu)為同時傳輸兩段視頻，其中一段是待轉(zhuǎn)換的平面視頻序列，另一段是相對應(yīng)的深度圖序列，其包含了各幀中每個像素的深度信息，通過DIBR (Depth Image Based Rendering,基于深度圖渲染)技術(shù),獲得真實世界場景在一 個或多個方向上的虛擬視角，最終合成立體視頻。這種使用DIBR技術(shù)的立體視頻體系結(jié)構(gòu)，最重要的和最困難的一步就是深度圖的獲取，目前，一種獲取方法是通過軟件算法，由一對從不同視角拍攝到的場景圖像恢復(fù)出場景的深度圖，還有一種方法是通過對平面圖像進(jìn)行手工或半自動地處理，得到偽深度圖。但是，上述獲取深度圖的方法存在求取速度過慢，分塊過多，邊緣不精確，深度圖不能夠真實的反映場景物體的遠(yuǎn)近關(guān)系等眾多缺陷。因此，減少分塊數(shù)量并快精確的獲取深度圖是目前一個亟需解決的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法。為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其包括如下步驟SI :對兩幅圖像分別進(jìn)行分割及區(qū)域劃分；S2:利用局部最優(yōu)置信傳播算法進(jìn)行深度計算，對不同區(qū)域和不同消息值進(jìn)行處理，所述消息值為像素視差信息；S3 :對所求深度圖進(jìn)行塊融合和顏色填充。本發(fā)明通過改進(jìn)置信傳播算法的消息傳播模式，在不同區(qū)域內(nèi)進(jìn)行單獨傳播；并改變消息傳播范圍，建立遠(yuǎn)距離像素點之間的聯(lián)系，提高了深度圖獲取速度；同時對遮擋部分進(jìn)行單獨處理，使其不影響正確消息的傳播，提高了精確度；另外對分成的小塊進(jìn)行融合，并對物體整體進(jìn)行顏色填充，大大減少塊數(shù)，并使得塊與塊之間視差更加平滑。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖I是本發(fā)明基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法的流程圖；圖2是本發(fā)明一個優(yōu)選實施例中提供的單幀場景圖像對；圖3是本發(fā)明一個優(yōu)選實施例中提供的利用局部最優(yōu)置信傳播算法求出的深度圖；圖4是對圖3中所示深度圖進(jìn)行塊融合后的圖形；圖5是對圖4所示深度圖進(jìn)行顏色填充后的圖形。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。圖I是本發(fā)明基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法的流程圖，從圖中可見，該基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法包括如下步驟SI :對兩幅圖像分別進(jìn)行分割及區(qū)域劃分；S2:利用局部最優(yōu)置信傳播算法進(jìn)行深度計算，對不同區(qū)域和不同消息值進(jìn)行處理，所述消息值為像素視差信息；S3 :對所求深度圖進(jìn)行塊融合和顏色填充。本發(fā)明基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法的第一步為對兩幅圖像分別進(jìn)行分割及區(qū)域劃分。具體地，先對每一幅圖像進(jìn)行分割，利用分水嶺變幻的圖像分割方法。但直接的分水嶺變化會產(chǎn)生嚴(yán)重的過分割現(xiàn)象，會使得錯誤區(qū)域過多，影響后面的深度圖計算，所以本發(fā)明使用了標(biāo)記分水嶺變換來減少過分割現(xiàn)象。首先，基于非下采樣Contourlet變換來修正圖像的梯度矩陣，然后，再對修正后的梯度矩陣做標(biāo)記分水嶺變換，最終得到圖像的分割圖，這樣處理既減少了分水嶺變換時產(chǎn)生的過分割現(xiàn)象，又較好的保持了圖像中的邊緣，得到較好的分割效果，最后，在已得到的圖像分割結(jié)果的基礎(chǔ)上，基于深度密度的區(qū)域提取方法，進(jìn)一步判別分割后的子區(qū)域為邊緣區(qū)域、平滑區(qū)域還是紋理區(qū)域。對兩幅圖像進(jìn)行分割后，針對分割結(jié)果按區(qū)域?qū)ζ渲械拿總€像素賦不同值，具體是對兩幅圖像按照從左至右，從上到下的順序為不同區(qū)域的每個像素賦值，標(biāo)記為1、2、3、
4、……。對每個像素賦值后，再對兩幅圖像進(jìn)行區(qū)域劃分，方法為在兩幅圖像中分別按分割時的賦值進(jìn)行檢索，同一賦值的像素點劃分為同一區(qū)域。具體是對兩幅圖像分別檢索，先檢索所有賦值為I的像素，將兩幅圖像檢索到的像素的并集記為I號區(qū)域，同理，檢索所有賦值為其他值的區(qū)域，記為各個不同的區(qū)域，直至圖像上每個像素都被檢索和標(biāo)記過。這時，有的像素可能會同時處于兩個區(qū)域，造成這種現(xiàn)象是因為有的像素因為視角的原因在左視圖中處于前景的位置而在右視圖中處于背景的位置，這部分像素就被視為物體的左遮擋點或右遮擋點。然后，進(jìn)行第二步利用局部最優(yōu)置信傳播算法進(jìn)行深度計算，對不同區(qū)域和不同消息值進(jìn)行處理，所述消息值為像素視差信息。具體地，傳統(tǒng)的置信傳播算法是在稠密視差場的連續(xù)性假設(shè)的基礎(chǔ)上，將一幅圖、像的稠密視差場抽象為一種馬爾科夫場，通過置信傳播將四鄰域內(nèi)像素的視差信息在馬爾科夫圖上互相傳遞，通過迭代計算得到最終全局最優(yōu)的視差估計結(jié)果。然而，在物體遮擋區(qū)域周圍，遮擋物體與背景并沒有直接聯(lián)系，視差場并不能滿足連續(xù)性假設(shè)，遮擋區(qū)域內(nèi)的像素視差信息傳遞給非遮擋區(qū)域內(nèi)的像素時，也就是一個錯誤消息的傳遞，會造成視差誤匹配，減緩迭代的收斂速度，每次迭代的精度下降，并會影響最終的深度圖結(jié)果。另外，在每次迭代過程中，每個像素只接收到四鄰域內(nèi)像素的消息，這使得距離較遠(yuǎn)的點傳遞一次消息需要很多次的迭代過程，使得算法達(dá)到收斂時需要的迭代次數(shù)非常高，雖然這樣物體中間的點在迭代過程中不容易受到錯誤消息傳遞的影響，但是同時也很難接受到同一物體較遠(yuǎn)距離像素點的消息更新，這對算法的精度和速度都有影響。針對以上問題，本發(fā)明采用局部最優(yōu)置信傳播算法進(jìn)行處理，即是對已劃分好的幾個區(qū)域分別進(jìn)行消息傳播和迭代計算，用于減少遮擋區(qū)域錯誤消息傳播對迭代計算時的影響，迭代計算的方法為將劃分好的區(qū)域視為馬爾科夫模型，為了加快同一區(qū)域內(nèi)遠(yuǎn)距離像素點之間的聯(lián)系，在每次迭代過程中每個像素可接收到區(qū)域內(nèi)所有其他像素發(fā)出的消息。具體是對不同區(qū)域分別進(jìn)行迭代計算，同一次迭代只在物體及左右遮擋區(qū)域內(nèi)進(jìn)行，可以減小傳統(tǒng)方法中的遮擋位置發(fā)出的錯誤消息帶來的影響，而且，在迭代過程中內(nèi)，為了加 快遠(yuǎn)距離像素與像素之間的消息傳遞速度，將每次迭代傳遞的消息改為<,( /；)='砷(肌)+W)+ Z <\PU'P))
psGN{p)'\q其中IBp力第t次迭代時P點傳輸給點q的消息；N(p)為p點的接受消息集，接收消息的象素q不包括在其中；由于同一馬爾科夫區(qū)域內(nèi)像素與像素之間的影響與距離成反比，與消息值成正
If
/ \A ^
t匕，所以取W = 一唭中ds為S點到P點的距離；
Z去Dp(fp)為p點視差為fp時的非相似性測度；V(fp-fq)為兩象素分配視差fp，fq的視差不連續(xù)量，由式可知，它是視差的函數(shù)，采用截斷的線性模型表示V (fp-fq) =minU fp-fj, P)，其中P為截斷常量，入為fp-fq|的增長系數(shù)。這樣處理后可以大大降低遮擋區(qū)域像物體傳遞的錯誤消息的數(shù)目，可以增加迭代的速度。每次迭代中每個像素都能和同一區(qū)域內(nèi)任意像素交換消息，使得即使距離很遠(yuǎn)的像素在幾次迭代內(nèi)也可以交換周圍的視差信息，大大降低達(dá)到收斂所需的迭代次數(shù)，每次迭代結(jié)果也更加精確。因為前面所劃分的同一區(qū)域內(nèi)也包含了物體的左遮擋和右遮擋部分，為了減少這部分造成的影響，在每次迭代過程中，本發(fā)明局部最優(yōu)置信傳播算法改為在馬爾科夫網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)相結(jié)合的自適應(yīng)混合網(wǎng)絡(luò)上進(jìn)行，這樣可以將正確匹配視差去修正錯誤匹配視差，而錯誤匹配視差不會影響到正確匹配視差，從而使得全局能量最小化即迭代過程加快，具體做法在每次傳播消息時進(jìn)行判斷，若同一區(qū)域內(nèi)任意兩像素之間的視差值之差大于閾值，則視差小的像素不再向視差大的像素點傳遞消息。在本實施方式中，閾值為30，即若同一區(qū)域內(nèi)任意兩像素之間視差值之差大于30，即視為其有一像素處于前景位置，另一像素處于遮擋位置，則視差小的像素不再往視差大的像素點傳遞消息，即遮擋位置的像素不再往前景位置的像素傳遞消息。通過以上步驟，對于圖2所示的本發(fā)明一個優(yōu)選實施例中提供的單幀場景圖像對，用局部最優(yōu)置信傳播算進(jìn)行深度計算，得到如圖3所示的深度圖。在進(jìn)行深度計算后，進(jìn)行第三步對所求深度圖進(jìn)行塊融合和顏色填充。傳統(tǒng) 方法中求取的深度圖會分成很多的小塊，有時還會出現(xiàn)橫波紋的情況，這樣使得在DIBR時可能有很多像素移到同一點上，對DIBR后的結(jié)果有很大影響，而且會留出很大空洞，傳統(tǒng)的填補空洞方法無法解決等問題，所以針對這些問題需要做塊的融合，同時減少相鄰塊的視差。在本實施方式中，對所求深度圖的塊融合包括第一次塊融合和第二次塊融合，第一次塊融合是根據(jù)每一塊中像素的多少進(jìn)行塊融合，第二次塊融合是根據(jù)相鄰像素之間深度值的大小進(jìn)行塊融合。對所求深度圖第一次塊融合的方法為檢測出分成的不同塊，若同一塊中所含像素少于像素最少閾值，則該塊中所有像素值被賦為該塊中心位置下方第一個不屬于該塊的點的值。在本實施方式中，像素最少閾值為400，第一次塊融合的具體方法為依據(jù)標(biāo)記好的檢測出的不同的塊，從所含像素最少的塊開始處理，提取每塊中所包含的像素數(shù)，若這個塊中所含像素數(shù)小于400，則認(rèn)為該塊屬于求取深度圖時造成的錯誤的塊，需要重新賦值，則從該塊中心位置向下搜索，將搜索到的第一個不屬于該塊的點的值賦予這個塊，若沒有搜索到點則此塊深度不變。在本實施方式中，檢測不同塊的方法為從任意像素開始，向上下兩個方向檢索，若與該像素深度值相同，則視為同一塊，且繼續(xù)沿此方向檢索，若與該像素深度值不同，則停止此方向檢索，當(dāng)上下兩個方向檢索停止后，對此塊中每個像素向左右兩個方向檢索，若與該像素深度值相同，則視為同一塊，且繼續(xù)沿此方向檢索，若與該像素深度值不同，則停止此方向檢索。當(dāng)所有檢索停止后，視為檢測到一個獨立的塊并標(biāo)記，然后從未檢測過的位置開始檢測另外的塊，當(dāng)所有像素檢測完成后視為檢測完畢。然后，對所求深度圖作第二次快融合，第二次塊融合的方法為從深度圖最左一列每個像素開始向右檢測，若后一像素深度值減去前一像素深度值小于深度閾值，則后一像素被賦為前一像素深度值；從深度圖最上一行每個像素開始向下檢測，若后一像素深度值減前一像素深度值小于深度閾值，則后一像素被賦為前一像素深度值。在本實施方式中，深度閾值為20%。圖4即是對圖3中所示深度圖進(jìn)行塊融合后的圖形。在本實施方式中，對所求深度圖進(jìn)行顏色填充的方法為利用漫水填充算法對深度圖進(jìn)行顏色填充。首先，在圖像上選擇一個種子點，以此作為基準(zhǔn)點，把鄰近區(qū)域所有相似點填充上同樣的深度值，即在某個連續(xù)的區(qū)域內(nèi)，當(dāng)臨近像素點位于給定的深度值范圍內(nèi)或在原始種子點深度值范圍內(nèi)時，為這個點涂上選定種子點的深度值。具體方法為，先尋找種子點，搜索種子點的方法為先統(tǒng)計所有點的深度值，當(dāng)深度值為大于第一定值且出現(xiàn)概率最高的值時，取最后一個尋找到的點作為種子點，在本實施方式中，取第一該定值為100，如果一個像素點的深度值不低于其四鄰域點深度值減去第二定值且不高于其加上第二定值時，那么該點將被染色，也就是將被賦值為與種子點一樣的深度，在本實施方式中，該第二定值為20。圖5即是對圖4所示深度圖進(jìn)行顏色填充后的圖形。本發(fā)明針對雙目視頻深度圖求取過程中目前存在的一個像素的消息只與其四鄰域的像素傳遞，使得一幅圖像需要很大迭代次數(shù)才能收斂；在遮擋部分并不屬于馬爾科夫模型，若完全的馬爾科夫模型進(jìn)行傳遞會使錯誤消息流入置信傳播的迭代網(wǎng)絡(luò)中，對精度和速度都有很大影響；傳統(tǒng)方法中求取的深度圖會分成很多的小塊，有時還會出現(xiàn)橫波紋的情況，DIBR時可能有很多像素移到同一點上，對DIBR后的結(jié)果有很大影響，而且會留出很大空洞，傳統(tǒng)的填補空洞方法無法解決等問題。本發(fā)明通過改進(jìn)置信傳播算法的消息傳播模式，在不同區(qū)域內(nèi)進(jìn)行單獨傳播；并改變消息傳播范圍，建立遠(yuǎn)距離像素點之間的聯(lián)系，提高了深度圖的獲取速度；同時對遮擋部分進(jìn)行單獨處理，使其不影響正確消息的傳播，提高了精確度；另外對分成的小塊進(jìn)行融合，并對物體整體進(jìn)行顏色填充，大大減少塊數(shù)，并使得塊與塊之間視差更加平滑。在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。·
權(quán)利要求
1.一種基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，包括如下步驟 Si:對兩幅圖像分別進(jìn)行分割及區(qū)域劃分； 52:利用局部最優(yōu)置信傳播算法進(jìn)行深度計算，對不同區(qū)域和不同消息值進(jìn)行處理，所述消息值為像素視差信息； 53:對所求深度圖進(jìn)行塊融合和顏色填充。
2.如權(quán)利要求I所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，所述對兩幅圖像分別進(jìn)行分割的方法為將兩幅圖像分別進(jìn)行分割，針對分割結(jié)果按區(qū)域?qū)ζ渲械拿總€像素賦不同值。
3.如權(quán)利要求I或2所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，所述對兩幅圖像進(jìn)行區(qū)域劃分的方法為在兩幅圖像中分別按分割時的賦值進(jìn)行檢索，同一賦值的像素點劃分為同一區(qū)域。
4.如權(quán)利要求I所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，所述局部最優(yōu)置信傳播算法為對已劃分好的幾個區(qū)域分別進(jìn)行消息傳播和迭代計算，用于減少遮擋區(qū)域錯誤消息傳播對迭代計算時的影響。
5.如權(quán)利要求4所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，在每個區(qū)域內(nèi)進(jìn)行迭代計算的方法為將劃分好的區(qū)域視為馬爾科夫模型，為了加快同一區(qū)域內(nèi)遠(yuǎn)距離像素點之間的聯(lián)系，在每次迭代過程中每個像素可接收到區(qū)域內(nèi)所有其他像素發(fā)出的消息。
6.如權(quán)利要求5所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，在每次迭代過程中，若同一區(qū)域內(nèi)任意兩像素之間的視差值之差大于閾值，則視差小的像素不再向視差大的像素點傳遞消息。
7.如權(quán)利要求I所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，對所求深度圖的塊融合包括第一次塊融合和第二次塊融合，所述第一次塊融合根據(jù)每一塊中像素的多少進(jìn)行塊融合，所述第二次塊融合根據(jù)相鄰像素之間深度值的大小進(jìn)行塊融合。
8.如權(quán)利要求7所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，對所求深度圖第一次塊融合的方法為檢測出分成的不同的塊，若同一塊中所含像素少于像素最少閾值，則該塊中所有像素值被賦為該塊中心位置下方第一個不屬于該塊的點的值。
9.如權(quán)利要求8所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，檢測不同塊的方法為從任意像素開始，向上下兩個方向檢索，若與該像素深度值相同，則視為同一塊，且繼續(xù)沿此方向檢索，若與該像素深度值不同，則停止此方向檢索，當(dāng)上下兩個方向檢索停止后，對此塊中每個像素向左右兩個方向檢索，若與該像素深度值相同，則視為同一塊，且繼續(xù)沿此方向檢索，若與該像素深度值不同，則停止此方向檢索。當(dāng)所有檢索停止后，視為檢測到一個獨立的塊并標(biāo)記，然后從未檢測過的位置開始檢測另外的塊，當(dāng)所有像素檢測完成后視為檢測完畢
10.如權(quán)利要求7所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，對所求深度圖第二次塊融合方法為從深度圖最左一列每個像素開始向右檢測，若后一像素深度值減去前一像素深度值小于深度閾值，則后一像素被賦為前一像素深度值；從深度圖最上一行每個像素開始向下檢測，若后一像素深度值減前一像素深度值小于深度閾值，則后一像素被賦為前一像素深度值。
11.如權(quán)利要求I所述的基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其特征在于，對所求深度圖進(jìn)行顏色填充的方法為利用漫水填充算法對深度圖進(jìn)行顏色填充。
全文摘要
本發(fā)明提出了一種基于局部最優(yōu)置信傳播算法的雙目視頻深度圖求取方法，其包括如下步驟對兩幅圖像分別進(jìn)行分割及區(qū)域劃分；利用局部最優(yōu)置信傳播算法進(jìn)行深度計算，對不同區(qū)域和不同消息值進(jìn)行處理，所述消息值為像素視差信息；對所求深度圖進(jìn)行塊融合和顏色填充。本發(fā)明通過改進(jìn)置信傳播算法的消息傳播模式，在不同區(qū)域內(nèi)進(jìn)行單獨傳播；并改變消息傳播范圍，建立遠(yuǎn)距離像素點之間的聯(lián)系，提高了深度圖獲取速度；同時對遮擋部分進(jìn)行單獨處理，使其不影響正確消息的傳播；另外對分成的小塊進(jìn)行融合，并對物體整體進(jìn)行顏色填充，大大減少塊數(shù)，并使得塊與塊之間視差更加平滑。
文檔編號G06T7/00GK102750694SQ20121018163
公開日2012年10月24日 申請日期2012年6月4日 優(yōu)先權(quán)日2012年6月4日
發(fā)明者戴瓊海, 王好謙, 王瑞平, 馬瀟 申請人:清華大學(xué)