一種基于代價(jià)矩陣的多重軟約束立體匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算視覺和攝影測(cè)量技術(shù)領(lǐng)域，涉及一種基于代價(jià)矩陣的立體匹配方 法，尤其是涉及一種基于代價(jià)矩陣進(jìn)行多重軟約束的立體匹配方法。
【背景技術(shù)】
[0002] 立體匹配是計(jì)算視覺和攝影測(cè)量領(lǐng)域的一個(gè)基礎(chǔ)和關(guān)鍵問題。立體匹配的概念最 早在攝影測(cè)量領(lǐng)域提出，用于解決數(shù)字航空攝影測(cè)量自動(dòng)化測(cè)圖的問題。立體匹配也是計(jì) 算機(jī)視覺領(lǐng)域的關(guān)鍵問題，影響到對(duì)人的視覺系統(tǒng)建模，機(jī)器人導(dǎo)航和操作，3D模型建立以 及在計(jì)算機(jī)中生成的影像中混合實(shí)景動(dòng)作等。
[0003] 立體匹配是個(gè)病態(tài)問題，尤其對(duì)于缺乏紋理和重復(fù)紋理區(qū)域以及視差不連續(xù)的誤 匹配問題一直難以全面解決。為取得更好的匹配結(jié)果，需要合理納入更多的先驗(yàn)條件約束。 匹配算法一般采用局部基于窗口的匹配，匹配過程中利用影像局部信息改善窗口匹配，同 時(shí)利用金字塔分層匹配策略等提高穩(wěn)定性和正確率。然而這些方法往往需要較大的匹配窗 口，導(dǎo)致很難保留影像的細(xì)節(jié)。也有一些算法納入影像分割約束，但是對(duì)于圖像分割結(jié)果有 很強(qiáng)的依賴性?？傊?，傳統(tǒng)的立體匹配方法往往直接用各種約束條件減小視差搜索范圍，因 此對(duì)于先驗(yàn)條件依賴性很強(qiáng)，容易產(chǎn)生誤匹配。
[0004]近年來出現(xiàn)一些通過改進(jìn)代價(jià)積聚方法實(shí)現(xiàn)匹配的算法，例如采用自適應(yīng)代價(jià)積 聚方法改善局部窗口匹配算法，采用多尺度代價(jià)積聚方法解決重復(fù)紋理的匹配問題，采用 半全局代價(jià)積聚方法解決視差不連續(xù)的匹配問題。這些算法的共同點(diǎn)都是在代價(jià)矩陣中實(shí) 現(xiàn)各自的約束，但是由于納入的約束不夠充分，因此難以較全面地解決誤匹配問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明主要是解決現(xiàn)有技術(shù)所存在對(duì)于先驗(yàn)條件約束依賴性過強(qiáng)的問題；提供了 一種能同時(shí)納入多重先驗(yàn)約束條件的基于代價(jià)矩陣的多重軟約束代價(jià)積聚方法來完成立 體匹配，可以有效解決缺乏紋理和重復(fù)紋理區(qū)域以及邊緣的誤匹配問題。
[0006] 本發(fā)明所采用的技術(shù)方案是：一種基于代價(jià)矩陣的多重軟約束立體匹配方法，其 特征在于，包括以下步驟：
[0007] 步驟1:在原始影像集中選擇其中一幅核線影像作為基準(zhǔn)影像，并對(duì)其中每個(gè)像 素利用AD-Census-Sobel作為相似性測(cè)度，計(jì)算每個(gè)候選視差值的匹配代價(jià)，生成一個(gè)三 維匹配代價(jià)矩陣；
[0008] 步驟2 :對(duì)步驟1中得到的代價(jià)矩陣進(jìn)行多尺度降采樣，構(gòu)成代價(jià)矩陣金字塔； [0009]步驟3 :對(duì)基準(zhǔn)影像也進(jìn)行相應(yīng)的多尺度降采樣，構(gòu)成影像金字塔；
[0010] 步驟4 ;對(duì)步驟3中得到的影像金字塔各層影像分別進(jìn)行圖像分割；
[0011] 步驟5 :對(duì)步驟2中得到的代價(jià)矩陣金字塔，從頂層代價(jià)矩陣開始對(duì)各層代價(jià)矩陣 進(jìn)行自適應(yīng)權(quán)重的代價(jià)積聚；
[0012] 步驟6 :根據(jù)步驟4中所述的圖像分割結(jié)果，對(duì)步驟5中處理后的代價(jià)矩陣進(jìn)一步 進(jìn)行"投票式"分割約束下的代價(jià)積聚；
[0013] 步驟7 :將該層代價(jià)積聚結(jié)果傳遞給下層代價(jià)矩陣；
[0014] 步驟8 :從上往下對(duì)金字塔代價(jià)矩陣重復(fù)進(jìn)行步驟5至步驟7的操作，直至原始代 價(jià)矩陣，最后對(duì)原始代價(jià)矩陣進(jìn)行步驟5和步驟6操作；
[0015] 步驟9 :對(duì)步驟8中處理后得到的代價(jià)矩陣，對(duì)每個(gè)像素取代價(jià)最小且匹配置信度 大于預(yù)定閾值的視差作為最終視差，然后用已取得視差的點(diǎn)作為控制在代價(jià)矩陣中對(duì)未匹 配點(diǎn)進(jìn)行代價(jià)擴(kuò)散，最后采用"贏家通吃"方法生成視差圖；
[0016] 步驟10 :在原始影像集中選擇另一張影像作為基準(zhǔn)影像，重復(fù)執(zhí)行上述步驟1至 步驟9,生成另一幅視差圖，通過對(duì)比兩幅視差圖對(duì)應(yīng)像素的視差一致性檢測(cè)誤匹配點(diǎn)，得 到去除誤匹配點(diǎn)視差圖；對(duì)去除誤匹配點(diǎn)視差圖進(jìn)行視差內(nèi)插，填補(bǔ)誤匹配造成的黑洞，生 成完整視差圖；利用完整視差圖和影像外方位元素，根據(jù)前方交會(huì)原理計(jì)算深度圖和數(shù)字 表面模型。
[0017] 作為優(yōu)選，步驟1中，
[0018] 所述的AD-Census-Sobel相似性測(cè)度的定義如下：
[0019] cost (p，d)=exp ( a *AD (p，d)+0 *Census (p，d)+y *Sobel (p，d))(式壹）；
[0020] 其中，p表不基準(zhǔn)影像上的像素坐標(biāo)p (x, y)，d是視差值，a，|3和y是權(quán)重系數(shù)， 一般要求均為正數(shù)且a+0+y = 1，AD(p，d)是指基準(zhǔn)影像像素p及其在匹配影像上的共 軛像素P+d的灰度差絕對(duì)值，Census (p，d)是指基準(zhǔn)影像像素p及其在匹配影像上的共軛 像素P+d的Census匹配測(cè)度值，Sobel (p，d)是指基準(zhǔn)影像像素p及其在匹配影像上的共 軛像素P+d的Sobel匹配測(cè)度值；
[0021] 根據(jù)式壹對(duì)基準(zhǔn)影像逐像素計(jì)算不同視差d對(duì)應(yīng)的匹配代價(jià)值，構(gòu)成一個(gè)由影像 橫坐標(biāo)W，縱坐標(biāo)H以及視差值D表示的三維匹配代價(jià)矩陣。
[0022] 作為優(yōu)選，步驟2中所述的代價(jià)矩陣金字塔的生成方法為，對(duì)步驟1中得到的三維 匹配代價(jià)矩陣保持視差值D方向不變而在橫坐標(biāo)W和縱坐標(biāo)H方向采用高斯金字塔進(jìn)行降 采樣，按照此方法經(jīng)過多次降采樣即可生成多尺度代價(jià)矩陣。
[0023] 作為優(yōu)選，步驟3中所述的多尺度降采樣的方法為，對(duì)原始影像在橫坐標(biāo)W和縱坐 標(biāo)H方向采用高斯金字塔進(jìn)行降采樣，按照此方法經(jīng)過多次降采樣即可生成影像金字塔。
[0024] 作為優(yōu)選，步驟4中所述的圖像分割方法為首先采用現(xiàn)有的圖像分割方法，然后 在圖像分割完成之后進(jìn)行分割塊聚類，而對(duì)于其元素?cái)?shù)目大于預(yù)定閾值的類別再次進(jìn)行分 害J，直至每個(gè)類別的元素?cái)?shù)目不大于預(yù)定閾值。
[0025] 作為優(yōu)選，步驟5中所述的自適應(yīng)權(quán)重的代價(jià)積聚方法為，根據(jù)每個(gè)像素點(diǎn)p為中 心一定窗口內(nèi)的像素q與該點(diǎn)的歐氏距離dist(p, q)和灰度值差異| Ip-I」確定像素點(diǎn)q 對(duì)于像素點(diǎn)P代價(jià)的貢獻(xiàn)值，如此累加窗口所有像素對(duì)于像素P代價(jià)的貢獻(xiàn)而得到P最終 的代價(jià)值cost (p, d)，具體的計(jì)算方法如下：
[0026]
【主權(quán)項(xiàng)】
1. 一種基于代價(jià)矩陣的多重軟約束立體匹配方法，其特征在于，包括以下步驟： 步驟1:在原始影像集中選擇其中一幅核線影像作為基準(zhǔn)影像，并對(duì)其中每個(gè)像素利 用AD-Census-Sobel作為相似性測(cè)度，計(jì)算每個(gè)候選視差值的匹配代價(jià)，生成一個(gè)三維匹 配代價(jià)矩陣； 步驟2 :對(duì)步驟1中得到的代價(jià)矩陣進(jìn)行多尺度降采樣，構(gòu)成代價(jià)矩陣金字塔； 步驟3 :對(duì)基準(zhǔn)影像也進(jìn)行相應(yīng)的多尺度降采樣，構(gòu)成影像金字塔； 步驟4 ;對(duì)步驟3中得到的影像金字塔各層影像分別進(jìn)行圖像分割；