本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種誤匹配率低、圖像平滑且能有效保持圖像邊緣的結(jié)合深度特征的雙目立體視覺匹配方法。

背景技術(shù)：

雙目立體視覺系統(tǒng)由于最接近人類視覺系統(tǒng)，是近幾十年以來計(jì)算機(jī)視覺領(lǐng)域發(fā)展最為活躍的方向之一。雙目立體視覺系統(tǒng)是利用單目或者雙目攝像機(jī)觀察景物的方式，得到同一個(gè)世界場景在不同視角下的兩幅圖像，通過計(jì)算機(jī)輔助技術(shù)處理圖像從而模擬人類雙眼視覺系統(tǒng)獲得該場景的三維信息的過程。雙目立體視覺發(fā)展至今幾十年的時(shí)間里，已在機(jī)器人視覺、醫(yī)療診斷、航空測繪、軍事工程、工業(yè)監(jiān)控、三維物體表面建模等方面得到非常廣泛的應(yīng)用。

雙目立體視覺系統(tǒng)流程分為圖像獲取、攝像機(jī)系統(tǒng)標(biāo)定、雙目立體匹配和場景三維重建四個(gè)步驟。立體匹配是計(jì)算同一個(gè)場景空間點(diǎn)在兩幅成像平面中投影點(diǎn)的對應(yīng)關(guān)系，以及通過立體匹配獲得該空間點(diǎn)在兩幅圖像中的視差值，良好的立體匹配結(jié)果對于實(shí)現(xiàn)雙目立體視覺三維重建至關(guān)重要。但立體匹配是雙目立體視覺最重要也最困難的一步，至今仍為雙目立體視覺發(fā)展的瓶頸所在。阻礙立體匹配技術(shù)順利前進(jìn)的因素有很多，圖像中弱紋理區(qū)域或者重復(fù)紋理區(qū)域的存在以及遮擋區(qū)域的存在等均是制約其發(fā)展的重要原因?，F(xiàn)有的以圖像特征為基元的立體匹配方法通常只能得到特征區(qū)域像素的視差值，匹配結(jié)果具有稀疏性，想要得到稠密的視差圖還需要借助后續(xù)的插值算法，然而這樣就會(huì)相應(yīng)降低匹配的精度。而稠密雙目立體匹配算法可以分為局部立體匹配算法和全局立體匹配算法兩大類，全局立體匹配算法借助多種約束條件和全局優(yōu)化策略通常能夠得到較好的立體匹配結(jié)果，但是該類算法的弊端就是復(fù)雜度高，計(jì)算量大；局部立體匹配算法較全局算法計(jì)算量小，復(fù)雜度低但其匹配精度也相對較低。因此，如何通過立體匹配技術(shù)獲得高精度的視差圖是雙目立體視覺技術(shù)的關(guān)鍵。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種誤匹配率低、圖像平滑且能有效保持圖像邊緣的結(jié)合深度特征的雙目立體視覺匹配方法。

本發(fā)明目的是這樣實(shí)現(xiàn)的，包括匹配代價(jià)計(jì)算、匹配代價(jià)聚合、視差計(jì)算、視差圖優(yōu)化步驟，具體包括：

A、匹配代價(jià)計(jì)算：將已校正的雙目立體視覺傳感器獲得的左右兩幅圖像通過構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）得到其深度特征圖，以深度特征為基準(zhǔn)計(jì)算像素的深度特征截?cái)嘞嗨菩詼y度，然后構(gòu)造組合顏色、梯度和深度特征的截?cái)嗥ヅ浯鷥r(jià)函數(shù)，根據(jù)立體圖像對的視差搜索范圍完成所有視差值下的匹配代價(jià)計(jì)算后得到匹配代價(jià)卷；

B、匹配代價(jià)聚合：對A步驟的匹配代價(jià)卷采用固定窗口、多窗口、可變窗口、自適應(yīng)權(quán)重聚合或引導(dǎo)濾波方法代價(jià)聚合得到經(jīng)過匹配代價(jià)聚合的代價(jià)卷；

C、視差計(jì)算：將B步驟聚合后得到的經(jīng)過匹配代價(jià)聚合的代價(jià)卷采用WTA（Winner-Take-All，即“勝者為王”）算法選擇最優(yōu)視差得到初始視差圖，然后對初始視差圖采用雙峰測試BMD（Bimodality）、左—右一致性檢測LRC（Left-Right Checking）、順序一致性檢測ORD（Ordering）或遮擋約束OCC（Occlusion Constraint）算法尋找遮擋區(qū)域，將遮擋區(qū)域的遮擋點(diǎn)賦予距離其最近的同行點(diǎn)的視差值后得到視差圖；

D、視差圖優(yōu)化：對C步驟的視差圖使用均值濾波器或雙邊濾波器對視差圖進(jìn)行濾波，在圖像平滑的同時(shí)恢復(fù)誤匹配像素點(diǎn)得到最終視差圖。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下有益效果：

1、本發(fā)明通過在像素相似性度量常用的像素顏色、梯度等特征的基礎(chǔ)上提出使用圖像的深層特征，引入卷積神經(jīng)網(wǎng)絡(luò)，對原始匹配圖像構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)得到原始圖像的深層特征圖像，在該圖像上以深度特征為基礎(chǔ)計(jì)算匹配代價(jià)，構(gòu)建顏色、梯度以及深度特征組合截?cái)嗥ヅ浯鷥r(jià)函數(shù)，從而有效降低立體匹配的誤匹配率。

2、本發(fā)明在結(jié)合深度特征的匹配代價(jià)函數(shù)的基礎(chǔ)上，在代價(jià)聚合方面特別利用了引導(dǎo)濾波對匹配代價(jià)卷做濾波處理，提高了圖像的匹配精度，包括對遮擋區(qū)域以及視差不連續(xù)區(qū)域的匹配精度，提高了圖像的平滑性。

3、本發(fā)明在匹配聚合后將得到的匹配代價(jià)卷進(jìn)行WTA算法選擇最優(yōu)視差，然后通過遮擋處理完成遮擋區(qū)域的檢測，最后采用均值濾波器或雙邊濾波器對視差圖進(jìn)行后處理，得到最終視差，即能更進(jìn)一步的降低立體匹配的誤匹配率，而且還能有效保證圖像邊緣不被破壞。

因此，本發(fā)明具有誤匹配率低、圖像平滑且能有效保持圖像邊緣的特點(diǎn)。

附圖說明

圖1為本發(fā)明立體匹配典型框架圖；

圖2為本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)框架圖；

圖3為middlebury標(biāo)準(zhǔn)立體圖像對；

圖4為初始視差圖；

圖5為未經(jīng)后處理的視差圖；

圖6為視差圖對比之一；

圖7為視差圖對比之二；

圖中：A-匹配代價(jià)卷，A1-匹配代價(jià)片，S100-匹配代價(jià)計(jì)算，S200-匹配代價(jià)聚合，S300-視差計(jì)算，S400-視差圖優(yōu)化。

具體實(shí)施方式

下面結(jié)合附圖與實(shí)施例對本發(fā)明作進(jìn)一步的說明，但不以任何方式對本發(fā)明加以限制，依據(jù)本發(fā)明的教導(dǎo)所作的任何變更或替換，均屬于本發(fā)明的保護(hù)范圍。

本發(fā)明方法包括匹配代價(jià)計(jì)算、匹配代價(jià)聚合、視差計(jì)算、視差圖優(yōu)化步驟，具體包括：

A、匹配代價(jià)計(jì)算：將已校正的雙目立體視覺傳感器獲得的左右兩幅圖像通過構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)CNN得到其深度特征圖，以深度特征為基準(zhǔn)計(jì)算像素的深度特征截?cái)嘞嗨菩詼y度，然后構(gòu)造組合顏色、梯度和深度特征的截?cái)嗥ヅ浯鷥r(jià)函數(shù)，根據(jù)立體圖像對的視差搜索范圍完成所有視差值下的匹配代價(jià)計(jì)算后得到匹配代價(jià)卷；

B、匹配代價(jià)聚合：對A步驟的匹配代價(jià)卷采用固定窗口、多窗口、可變窗口、自適應(yīng)權(quán)重聚合或引導(dǎo)濾波方法代價(jià)聚合得到經(jīng)過匹配代價(jià)聚合的代價(jià)卷；

C、視差計(jì)算：將B步驟聚合后得到的經(jīng)過匹配代價(jià)聚合的代價(jià)卷采用WTA算法選擇最優(yōu)視差得到初始視差圖，然后對初始視差圖采用雙峰測試BMD、左—右一致性檢測LRC、順序一致性檢測ORD或遮擋約束OCC算法尋找遮擋區(qū)域，將遮擋區(qū)域的遮擋點(diǎn)賦予距離其最近的同行點(diǎn)的視差值后得到視差圖；

D、視差圖優(yōu)化：對C步驟的視差圖使用均值濾波器或雙邊濾波器對視差圖進(jìn)行濾波，在圖像平滑的同時(shí)恢復(fù)誤匹配像素點(diǎn)得到最終視差圖。

所述卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks）基本結(jié)構(gòu)通常包括兩層，其一為特征提取層，該層中每個(gè)神經(jīng)元的輸入與前一層的局部接受域連接，提取該局部特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也就隨之確定下來；其二是特征映射層，卷積神經(jīng)網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每一個(gè)特征映射就是一個(gè)平面，平面上所有神經(jīng)元擁有相同的權(quán)值。特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，保證了特征映射的位移不變性。此外，因?yàn)橐粋€(gè)映射面上所有神經(jīng)元共享權(quán)值，從而減少網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層，這種特有的兩次特征提取結(jié)構(gòu)降低了特征分辨率。

本發(fā)明A步驟中的構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)CNN是假設(shè)原始圖像大小為的彩色圖像，利用大小為的Gabor濾波核進(jìn)行卷積，得到的圖像第三維包含64個(gè)通道，然后經(jīng)過一步池化操作輸出的深度特征圖像。

所述池化是在獲得卷積圖像的特征后，先確定池化區(qū)域的大小，然后把卷積特征劃分到多個(gè)大小為池化區(qū)域的不相交區(qū)域中，然后用這些區(qū)域的最大或平均特征來獲取池化后的卷積特征。

本發(fā)明A步驟中的截?cái)嘞嗨菩詼y度為：

(1)

其中、分量表示該特征點(diǎn)的二維空間坐標(biāo)，表示視差值，和分別表示左深度圖像、右深度圖像，是截?cái)嗌舷蓿?/p>

所述構(gòu)造組合顏色、梯度和深度特征的截?cái)嗥ヅ浯鷥r(jià)函數(shù)為：

(2)

其中表示圖像方向的梯度，、分別表示左極線、右極線，、、分別是三個(gè)部分的截?cái)嗌舷蓿?、和分別是基于顏色、梯度、深度測度的權(quán)重。

本發(fā)明B步驟中的引導(dǎo)濾波方法是將立體圖像對的左視圖作為引導(dǎo)圖像，通過權(quán)利要求4所述組合顏色、梯度和深度特征的截?cái)嗥ヅ浯鷥r(jià)函數(shù)得到每個(gè)視差值對應(yīng)的匹配代價(jià)片作為濾波輸入，其中引導(dǎo)圖像為三通道彩色圖像，然后利用相對于彩色圖像的濾波核權(quán)重W_ij(I)對彩色圖像濾波核進(jìn)行濾波輸出經(jīng)過匹配代價(jià)濾波的代價(jià)卷，

(3)

其中I_i、I_j分別表示圖像處的像素亮度，表示圖像I在窗口區(qū)域內(nèi)像素的均值，ω表示以點(diǎn)為中心的窗口，表示懲罰系數(shù)，T表示截?cái)嗌舷?，是圖像在窗口支持區(qū)域內(nèi)的協(xié)方差矩陣，是的單位矩陣。

本發(fā)明C步驟中的WTA選擇最優(yōu)視差是通過遍歷經(jīng)過匹配代價(jià)濾波的代價(jià)卷每個(gè)像素候選視差值對應(yīng)的匹配代價(jià)值，選擇匹配代價(jià)取得最小值時(shí)相應(yīng)的視差值做為該像素的最優(yōu)視差，得到初始視差圖，其計(jì)算公式如下：

（4）

其中代表經(jīng)過匹配代價(jià)濾波的代價(jià)卷，p表示濾波輸入，為候選視差范圍，表示像素的最優(yōu)視差值。

本發(fā)明C步驟中的左—右一致性檢測LRC是對初始視差圖分別以左、右圖像為匹配參考圖像分兩次計(jì)算得到基于左、右視圖的中間視差圖，將得到的兩幅中間視差圖做對比，當(dāng)左圖像中某點(diǎn)的視差值與右圖像對應(yīng)像素的視差值大于某個(gè)閾值時(shí)，則將該點(diǎn)視為遮擋區(qū)域的點(diǎn)，然后將遮擋點(diǎn)賦予距離其最近的同行點(diǎn)的視差值后得到視差圖。

所述對初始視差圖分別以左、右圖像為匹配參考圖像分兩次計(jì)算得到基于左、右視圖的視差圖是將初始視差圖分別以左、右圖像為匹配參考圖像通過引導(dǎo)濾波方法和WTA選擇最優(yōu)視差計(jì)算得到基于左、右視圖的中間視差圖。

本發(fā)明D步驟中的雙邊濾波器是基于像素點(diǎn)鄰域像素值的非線性圖像濾波器，雙邊濾波器對視差圖進(jìn)行濾波的權(quán)重為：

（5）

其中是歸一化參數(shù)，雙邊濾波器參數(shù)和分別用來調(diào)整像素、之間的幾何空間距離、顏色差。

實(shí)驗(yàn)例

實(shí)驗(yàn)采用的四組立體圖像對標(biāo)準(zhǔn)圖像來自Middlebury（Middlebury stereo. http://vision.middlebury.edu/stereo/, 2016.1）立體圖像，分別為Tsukuba、Teddy、Cones、Venus圖像對，在MATLAB平臺(tái)上進(jìn)行實(shí)驗(yàn)，所有圖片均已完成極線校正，滿足極線約束。四組立體圖像對的左、右視圖如圖3所示，第一行均為左視圖，第二行為右視圖。

根據(jù)Middlebury算法評估的要求，對評測平臺(tái)上的四組立體圖像對采用相同的參數(shù)集。實(shí)驗(yàn)中局部立體匹配方法各個(gè)步驟的參數(shù)設(shè)置如下：匹配代價(jià)構(gòu)建中基于顏色和深度測度的權(quán)重和分別為0.19和0.01，截?cái)嗌舷?、和分別是0.027、0.027和0.008，數(shù)據(jù)均是通過實(shí)驗(yàn)獲得；濾波核參數(shù)、分別為9和0.0001，引導(dǎo)濾波降采樣系數(shù)設(shè)置為3，雙邊濾波器參數(shù)、分別是0.1和9，雙邊濾波器維度=19。針對左—右一致性遮擋檢測步驟，如果某像素點(diǎn)的左視圖視差和右視圖視差之差的絕對值大于一個(gè)像素，則該點(diǎn)視為遮擋點(diǎn)。同樣對立體匹配結(jié)果測評部分，匹配誤差閾值也設(shè)為1，即算法得到的視差值與真實(shí)視差值做差，差值的絕對值大于一個(gè)像素的時(shí)候認(rèn)定該點(diǎn)是錯(cuò)誤匹配點(diǎn)。實(shí)驗(yàn)均以左視圖作為參考圖像。

圖4是局部立體匹配方法實(shí)驗(yàn)完成匹配代價(jià)引導(dǎo)濾波和WTA視差值選擇后得到的初始視差圖，圖4a)、圖4b)、圖4c)、圖4d)分別是Tsukuba、Teddy、Cones、Venus標(biāo)準(zhǔn)圖像的初始視差圖。圖5a)、圖5b)、圖5c)、圖5d)分別是四組標(biāo)準(zhǔn)圖像對完成左—右一致性遮擋檢測未進(jìn)行視差圖后處理的視差圖。圖4初始視差圖和圖5未經(jīng)過后處理的視差圖可以看出針對局部立體匹配方法，沒有進(jìn)行遮擋處理和后處理的視差圖均不平滑，視差圖中出現(xiàn)大塊的錯(cuò)誤匹配區(qū)域。

針對立體匹配方法的客觀定量評價(jià)本實(shí)驗(yàn)以Middlebury平臺(tái)的測評方法將本發(fā)明的方法和其他五種相關(guān)的局部立體匹配方法（或稱之為算法）做對比。此外由于匹配代價(jià)函數(shù)的構(gòu)成幾乎很少使用圖像的深度特征，本發(fā)明在匹配代價(jià)函數(shù)的設(shè)置中引入了深度學(xué)習(xí)的思想，組合了像素顏色、梯度和深度特征的截?cái)嗥ヅ浯鷥r(jià)函數(shù)。為驗(yàn)證該相似性測度的有效性，本實(shí)驗(yàn)同樣也構(gòu)建了基于顏色和梯度的截?cái)嗥ヅ浯鷥r(jià)函數(shù)。得到的匹配代價(jià)卷使用引導(dǎo)濾波進(jìn)行代價(jià)函數(shù)的聚合，通過WTA選擇最優(yōu)視差值得到初始視差圖。利用左—右一致性檢測提取遮擋區(qū)域進(jìn)而利用雙邊濾波器對視差圖后處理。除了代價(jià)函數(shù)中顏色和梯度分量系數(shù)分別是0.11和0.89，該實(shí)驗(yàn)采用參數(shù)與結(jié)合深度特征的實(shí)驗(yàn)參數(shù)一致，包括顏色和梯度的截?cái)嚅撝?。?中以“顏色+梯度”表示該實(shí)驗(yàn)。除此之外表1針對本發(fā)明的方法結(jié)果和另外五種局部立體匹配方法的匹配結(jié)果的錯(cuò)誤匹配百分比做了對比，表中non代表非遮擋區(qū)域錯(cuò)誤匹配百分比，all代表整幅圖像的錯(cuò)誤匹配百分比，disc代表視差不連續(xù)區(qū)域的錯(cuò)誤匹配百分比，最后一列平均誤差表示的是所有四組立體圖像對匹配誤差數(shù)據(jù)的平均值，匹配錯(cuò)誤率均以百分?jǐn)?shù)表示。表1中所有方法按平均匹配誤差百分比由低到高進(jìn)行排序，從中可以看出，本發(fā)明提出的結(jié)合深度特征構(gòu)建的匹配代價(jià)函數(shù)，以及利用引導(dǎo)濾波進(jìn)行匹配代價(jià)卷濾波的局部立體匹配方法，在Middlebury提供的四組標(biāo)準(zhǔn)立體圖像對中的總體匹配精度高于其他方法。通過四組立體圖像對的錯(cuò)誤匹配百分比可看出結(jié)合深度特征的代價(jià)函數(shù)的匹配結(jié)果明顯優(yōu)于只包含像素顏色和像素梯度的代價(jià)函數(shù)的匹配結(jié)果，其錯(cuò)誤匹配百分比在三種情況下都低于后者。究其原因可以歸結(jié)為卷積操作能夠增強(qiáng)圖像特征并且有一定的降噪作用。然而值得注意的是，即使本發(fā)明較改進(jìn)的代價(jià)函數(shù)匹配結(jié)果差但是其匹配結(jié)果均優(yōu)于其它五種局部立體匹配方法，也說明了采用引導(dǎo)濾波對噪聲匹配代價(jià)卷做濾波操作得到合理的匹配代價(jià)分布的方法優(yōu)于五種基于窗口的匹配代價(jià)聚合。

表1 匹配誤差比較

表中文獻(xiàn)[1]（Gupta R K, Cho S Y. A correlation-based approach for real-time stereo matching. Advances in Visual Computing. Berlin, 2010）采用基于相關(guān)性的局部立體匹配算法，該算法采用了一大一小兩個(gè)相關(guān)性窗口即多窗口的立體匹配算法，因此該方法在視差邊緣和弱紋理區(qū)域得到不錯(cuò)的匹配效果。文獻(xiàn)[2]（Wang L, Liao M, Gong M, etal. High-quality real-time stereo using adaptive cost aggregation and dynamic programming. Proc of International Symposium on. IEEE 3D Data Processing, Visualization, and Transmission (2006), 2006）提出的立體匹配算法是在基于全局的動(dòng)態(tài)規(guī)劃的立體匹配框架中引入格式塔理論，應(yīng)用了基于顏色相似性和空間距離相近性自適應(yīng)代價(jià)聚合。文獻(xiàn)[3]（Richardt C, Orr D, Davies I, etal. Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid. Proc of Computer Vision (ECCV2010). Berlin, 2010）采用了Yoon和Kewon的自適應(yīng)代價(jià)聚合算法并做了相應(yīng)的改進(jìn)。文獻(xiàn)[4]（Nalpantidis L, Gasteratos A. Biologically and psychophysically inspired adaptive support weights algorithm for stereo correspondence. Robotics and Autonomous Systems, 2010, 58(5): 457-464）局部立體匹配算法以SAD作為相似性測度，完成匹配代價(jià)計(jì)算后應(yīng)用自適應(yīng)支持權(quán)重代價(jià)聚合算法，基于AD算子的自適應(yīng)權(quán)重聚合過程引入基于格式塔心理學(xué)的空間距離相近性和顏色相似性原則。其中代價(jià)聚合窗口不是采用的傳統(tǒng)的矩形支持窗，應(yīng)用了圓形窗口。該方法屬于自適應(yīng)權(quán)重的局部立體匹配算法。文獻(xiàn)[5]（Nalpantidis L, Gasteratos A. Stereo vision for robotic applications in the presence of non-ideal lighting conditions. Image and Vision Computing, 2010, 28(6): 940-951）針對立體匹配技術(shù)中光照變化對匹配結(jié)果的影響提出一種不基于像素亮度的光照不變性相似性測度，并使用自適應(yīng)權(quán)重的代價(jià)聚合算法完成立體匹配，得到視差圖。作為對比算法以上五種算法分別在匹配代價(jià)函數(shù)構(gòu)建和代價(jià)聚合方面做了相應(yīng)的研究，包含了光照不變性相似性測度和多窗口代價(jià)聚合以及自適應(yīng)代價(jià)聚合方法。

主觀定性評價(jià)七種立體匹配方法，圖6和圖7是本發(fā)明局部立體匹配方法得到的四組立體圖像對的視差圖和其他五種局部立體匹配方法的視差圖以及標(biāo)準(zhǔn)視差圖的對比。圖6 a）從左至右分別是采用本發(fā)明結(jié)合深度特征的引導(dǎo)濾波局部立體匹配方法得到的Tsukuba、Teddy、Cones、Venus的視差圖。圖6b）是沒使用深度特征的實(shí)驗(yàn)得到的視差圖。圖6 c）、圖6 d）、圖6 e）、圖7f）、圖7 g）分別是文獻(xiàn)[1]、[2]、[3]、[4]、[5]提出的局部立體匹配方法得到的匹配視差圖，圖7 h）是每組立體圖像對的標(biāo)準(zhǔn)視差圖用于定性評價(jià)立體匹配方法的有效性。通過對比可以看出本發(fā)明提出的結(jié)合深度特征的引導(dǎo)濾波局部立體匹配方法框架得到了較高質(zhì)量的視差圖，圖像平滑并且有效保持了圖像邊緣包括細(xì)小物體的邊緣，例如Tsukuba圖中的臺(tái)燈。圖6 a）中視差圖較圖6 b）視差圖中物體的邊緣輪廓更完整清晰，說明沒有結(jié)合深度特征的匹配方法在視差邊緣區(qū)域的匹配效果較結(jié)合深度特征的方法差。