一種聯(lián)合運(yùn)動(dòng)向量的雙目視頻立體匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺圖像處理技術(shù)領(lǐng)域，具體涉及一種聯(lián)合運(yùn)動(dòng)向量的雙目視 頻立體匹配方法。
【背景技術(shù)】
[0002] 計(jì)算機(jī)視覺三維成像技術(shù)發(fā)展數(shù)十年，立體匹配即深度信息提取技術(shù)一直都是研 宄的熱點(diǎn)。依托雙目立體匹配技術(shù)和成對的左右視圖，視差圖像即真實(shí)場景的深度信息可 以有效的被重建，并廣泛用于如三維電視，三維追蹤，三維導(dǎo)航等民用和軍用多個(gè)方面。
[0003]雙目立體匹配技術(shù)分為全局和局部方法。全局方法主要是沿著獨(dú)立的掃描線或者 是針對整個(gè)視差范圍的能量傳遞最小化方程。典型的全局方法包括置信傳播、圖切割、動(dòng)態(tài) 規(guī)劃等。基于全局的原理使得它們可以取得較好的匹配結(jié)果，但是往往處理一對靜態(tài)圖像 處理時(shí)間超過了 15秒，并不適用于實(shí)時(shí)處理的應(yīng)用。局部方法是基于區(qū)域的立體匹配方 法，需要借助于圖像中特定相鄰區(qū)域內(nèi)的像素值來完成差值比較和累積，因此可以獲得更 快的處理速度，但是會損失部分匹配精度。
[0004]伴隨著雙目視頻的應(yīng)用越來越廣泛，針對雙目視頻的立體匹配技術(shù)顯得尤為重 要。針對靜態(tài)圖像的立體匹配技術(shù)僅僅考慮的圖像空間上的信息，忽略了視頻序列中不同 幀間的時(shí)間域信息。采用靜態(tài)立體匹配算法（包括局部和全局）來估計(jì)雙目視頻序列的深 度信息，會導(dǎo)致視差視頻幀間閃爍和較高的視差誤匹配率等一系列問題。

【發(fā)明內(nèi)容】

[0005]為了克服上述問題，本發(fā)明提出一種聯(lián)合運(yùn)動(dòng)向量的局部立體匹配方法，引入運(yùn) 動(dòng)向量，通過像素的運(yùn)動(dòng)幅度差值和顏色相似度聯(lián)合構(gòu)建支撐區(qū)域，提高雙目視頻立體匹 配精度，減少視差視頻幀間閃爍現(xiàn)象。
[0006]上述目的是通過如下技術(shù)方案實(shí)現(xiàn)的：
[0007]-種聯(lián)合運(yùn)動(dòng)向量的雙目視頻立體匹配方法，包括如下步驟：
[0008]第一步，計(jì)算原始匹配代價(jià)：轉(zhuǎn)換左右視頻序列彩色圖像為灰度值圖像；融合左 視頻待匹配像素與右視頻候選像素的灰度值截?cái)嘟^對差值以及稀疏Census變換作為原始 匹配代價(jià)；
[0009]第二步，獲得像素光流場：通過并行化運(yùn)動(dòng)估計(jì)計(jì)算左視頻序列當(dāng)前幀圖像塊的 二維運(yùn)動(dòng)向量，再通過空間內(nèi)插的方法獲得左視頻序列當(dāng)前幀的像素光流場；
[0010] 第三步，構(gòu)建支撐區(qū)域：借助第二步所述的左視頻序列當(dāng)前幀像素光流場，利用像 素運(yùn)動(dòng)幅度絕對差值和顏色值相似度構(gòu)建聯(lián)合終止判斷函數(shù)，判定左視頻序列當(dāng)前幀待匹 配像素和其鄰域像素是否屬于同一區(qū)域，屬于同一區(qū)域的鄰域像素組成待匹配像素支撐區(qū) 域；
[0011] 第四步，累積原始匹配代價(jià)：將左視頻當(dāng)前幀待匹配像素與其鄰域像素的運(yùn)動(dòng)幅 度絕對差值和像素灰度絕對差值融合為權(quán)重值，累加權(quán)重值與原始匹配代價(jià)的內(nèi)積得到候 選像素的匹配代價(jià)；
[0012] 第五步，匹配最佳像素：在視差范圍內(nèi)依次比較右視頻候選像素與待匹配像素的 匹配代價(jià)，擁有最小匹配代價(jià)的候選像素即為最佳匹配像素。
[0013] 進(jìn)一步地，第三步所述聯(lián)合終止判斷函數(shù)為：
[0014]
[0015] 其中，pi代表待匹配像素；pnR表待匹配像素的鄰域像素；R為上下左右四個(gè)方向 鄰域范圍的最大值；L是預(yù)設(shè)的方向長度閾值，取值范圍為Le [11，15];
[0016] s (pl，pn)代表顏色值相似度判定函數(shù)，具體為：
[0017]
[0018] 其中，IgMy代表灰度值強(qiáng)度，tgMy代表灰度值強(qiáng)度閾值，取值范圍為 TgrayG [12, 15]；
[0019] 凡,）代表運(yùn)動(dòng)幅度絕對差值判定函數(shù)，具體為：
[0020]
[0021]其中，|dx(pl)-dx(pn) | + |dy(pl)-dy(pn) |代表待匹配像素與其領(lǐng)域像素在X軸和 Y軸向的絕對運(yùn)動(dòng)幅度差值，"^^^是運(yùn)動(dòng)幅度的終止閾值，取值范圍為t [5,10];
[0022] 進(jìn)一步地，立體匹配方法第二步所述并行化運(yùn)動(dòng)估計(jì)實(shí)現(xiàn)步驟包括：
[0023] 第一步，將t時(shí)刻當(dāng)前幀分為大小為NXN的幀塊，N為任意整數(shù)；并在t_l時(shí)刻參 考幀中為當(dāng)前幀幀塊設(shè)定搜索范圍；
[0024] 第二步，根據(jù)窮盡搜索策略，在參考幀的搜索范圍內(nèi)，按照X和Y軸方向上步進(jìn)為 1依次搜索和計(jì)算當(dāng)前幀塊和候選幀塊的像素灰度絕對差值；
[0025] 第三步，比較所有候選幀塊與當(dāng)前幀塊的絕對差值，具有最小絕對差值的候選幀 塊即為最佳匹配幀塊，當(dāng)前幀塊與最佳匹配幀塊的向量差值即為當(dāng)前幀塊的二維運(yùn)動(dòng)向 量。
[0026] 進(jìn)一步地，立體匹配方法第一步所述原始匹配代價(jià)獲得方法為：將待匹配像素與 候選像素的灰度值截?cái)嘟^對差值以及稀疏Census變換這兩種差異化特征按照5:1的比例 線性疊加作為原始匹配代價(jià)。
[0027] 進(jìn)一步地，立體匹配方法第四步所述權(quán)重值融合公式為：
[0028] W= exp(-W-/入m-Wgray/入 g)
[0029] w為融合后權(quán)重值，￥111(^"為運(yùn)動(dòng)幅度絕對差值，￥81^為像素灰度絕對差值，人 1]1和 入g取值為人m= 10和人g= 5,或人m= 12和人g= 7,或人m= 22和人g= 10。
[0030] 進(jìn)一步地，立體匹配方法第四步所述匹配代價(jià)累積方法為基于平方步進(jìn)的匹配代 價(jià)累積方法，每次迭代更新在支撐區(qū)域內(nèi)采取先水平方向上以平方步進(jìn)將原始匹配代價(jià)與 相應(yīng)鄰域像素融合后權(quán)重值的內(nèi)積進(jìn)行累加，得到水平方向代價(jià)累積結(jié)果；在此基礎(chǔ)上將 水平方向代價(jià)累積結(jié)果與垂直方向相應(yīng)的融合后權(quán)重值進(jìn)行內(nèi)積，依次累加內(nèi)積得到最終 代價(jià)累積結(jié)果。
[0031] 進(jìn)一步地，所述并行化運(yùn)動(dòng)估計(jì)方法中將t時(shí)刻當(dāng)前幀ft分為大小為8X8的幀 塊。
[0032] 進(jìn)一步地，立體匹配方法第一步采用如下公式將彩色RGB圖像轉(zhuǎn)換為灰度值圖 像：
[0033]灰度值=(RX299+GX587+BX 114+500)/1000。
[0034] 本發(fā)明的有益效果：
[0035] 1、在彩色圖像預(yù)處理中，將三維RGB特征空間轉(zhuǎn)換為一維灰度特征空間，即只對 一個(gè)特征量進(jìn)行計(jì)算，優(yōu)化了計(jì)算和判定的準(zhǔn)則。
[0036] 2、在處理過程中，獨(dú)創(chuàng)性的運(yùn)用并行化運(yùn)動(dòng)估計(jì)方法建模以及引入運(yùn)動(dòng)幅度差值 來建立判定函數(shù)，判定鄰域像素與待匹配像素是否屬于同一支撐區(qū)域。
[0037] 3、利用視頻相鄰幀間的時(shí)域信息來改進(jìn)局部雙目立體匹配算法中的差值累積區(qū) 域構(gòu)建，避免了傳統(tǒng)立體匹配方法引起的視差視頻的幀間閃爍和視差誤匹配率較高等問 題。
[0038] 4、采用融合時(shí)域信息的局部立體匹配方法，權(quán)衡計(jì)算時(shí)間和匹配精度，保證了該 方法可用于實(shí)時(shí)處理的計(jì)算機(jī)視覺應(yīng)用。對于含有大量高斯白噪聲的視頻序列，以及在視 線遮擋，畫面失焦等極端情況下亦可以進(jìn)行視差匹配。
【附圖說明】
[0039] 圖1 :本發(fā)明聯(lián)合運(yùn)動(dòng)向量的雙目視頻立體匹配方法的流程圖；
[0040] 圖2:雙目立體匹配方法示意圖；
[0041] 圖3 :雙目視頻序列實(shí)例分別在X軸和Y軸方向上的運(yùn)動(dòng)幅度灰度量化圖；
[0042] 圖4:構(gòu)建待匹配像素pi支撐區(qū)域：
[0043] 圖中，（a)為上下左右四個(gè)方向長度R;(b)為水平方向匹配代價(jià)累積示意圖；（c) 為垂直方向匹配代價(jià)累積示意圖；
[0044] 圖5:不同運(yùn)動(dòng)估計(jì)塊尺寸下Y軸方向運(yùn)動(dòng)幅度的灰度量化圖：
[0045] 圖中，（a)連續(xù)的三幀左視圖；(b)塊尺寸為2X2時(shí)連續(xù)三幀左視圖Y軸方向運(yùn) 動(dòng)幅度的灰度量化圖；（c)塊尺寸為4X4時(shí)連續(xù)三幀左視圖Y軸方向運(yùn)動(dòng)幅度的灰度量化 圖；（d)塊尺寸為8X8時(shí)連續(xù)三幀左視圖Y軸方向運(yùn)動(dòng)幅度的灰度量化圖；（e)塊尺寸為 16 X 16時(shí)連續(xù)三幀左視圖Y軸方向運(yùn)動(dòng)幅度的灰度量化圖；
[0046] 圖6:在不同運(yùn)動(dòng)估計(jì)塊尺寸下，基于5組雙目視頻序列（書本、坦克、隧道、寺廟、 街道）進(jìn)行視差匹配的誤匹配率對比結(jié)果；
[0047] 圖7:本發(fā)明方法與對比方法，基于5組雙目視頻序列（書本、坦克、隧道、寺廟、街 道）誤匹配率比較。
【具體實(shí)施方式】
[0048] 下面結(jié)合具體實(shí)施例詳細(xì)說明本發(fā)明的技術(shù)方案和技術(shù)效果。
[0049] 如圖1所示，本發(fā)明方法主要由立體匹配和并行化運(yùn)功估計(jì)組成。雙目立體匹配 就是運(yùn)用兩個(gè)視角（兩個(gè)攝像機(jī)）來計(jì)算視差圖像，即場景中不同物體的深度信息。以左 視圖的視差圖像為例，pl = (x，y)是左視圖中的待匹配像素，pr = (x-i，y)是右視圖中沿 X軸水平掃描線相對pi位移i的候選像素。假設(shè)i = d，d e [d^，d_](視差范圍）時(shí)， pr為最佳匹配像素，pl與pr之間的位移d就是像素pl的視差值。如圖2所示的藍(lán)色和 綠色像素，其在右視圖中最佳匹配像素的位移即視差值為屯和d 2，視差值歸一化為[0, 255] 的灰度視差圖像。轉(zhuǎn)換左右視頻序列彩色RGB圖像為灰度值圖像，轉(zhuǎn)換公式為：灰度值= (R X 299+G X 587+B X114+500) /1000。
[0050] 并行化運(yùn)動(dòng)估計(jì)：用并行化運(yùn)動(dòng)估計(jì)方法【參見文獻(xiàn)：" Implementation of Motion Estimation Based on Heterogeneous Parallel Computing System with OpenCL''，IEEE 14th International Conference on High Performance Computing and Communication (HPCC)，2012, pages. 41-45.，下文稱為文獻(xiàn)1】，將絕對差值和作為唯一評價(jià) 標(biāo)準(zhǔn)，融合并行歸約和共享內(nèi)存復(fù)用技術(shù)，利用GPU(Graphic Processing Unit)硬件可將 全搜索運(yùn)動(dòng)估計(jì)速度提升了 100余倍，并將左視圖視頻幀塊的二維運(yùn)動(dòng)向量通過空間內(nèi)插 的方法得到稠密運(yùn)動(dòng)矢量場即像素光流場（dx，dy)。并行化運(yùn)動(dòng)估計(jì)的實(shí)現(xiàn)步驟如下：
[0051] 第一步，將t時(shí)刻當(dāng)前幀分為大小為NXN的幀塊，N為任意整數(shù)；并在t-1時(shí)刻參 考幀中為當(dāng)前幀幀塊設(shè)定固定的搜索范圍；
[0052] 第二步，根據(jù)窮盡搜索策略，在參考幀的搜索范圍內(nèi)，按照X和Y軸方向上步進(jìn)為 1依次搜索和計(jì)算當(dāng)前幀塊和候選幀塊的像素灰度絕對差值；
[0053] 第三步，比較所有候選幀塊與當(dāng)前幀塊的絕對差值，具有最小絕對差值的候選幀 塊即為最佳匹配幀塊，當(dāng)前幀塊與最佳匹配幀塊的向量差值即為當(dāng)前幀塊的二維運(yùn)動(dòng)向 量。
[0054] 以文獻(xiàn)【"Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid"，In proc. European Conference on ComputerVision, 2010, pages. 510-523,下文稱為文獻(xiàn)2】中"圖書"雙目視頻序列為示例，在得到像素光流場后，計(jì) 算得到如圖3所示X軸和Y軸方向的像素運(yùn)動(dòng)幅度絕對值|dx|和|dy|的灰度量化圖（量 化范圍為[0,