基于三維自組織映射的立體視頻視差估計(jì)方法
【專利摘要】本發(fā)明公開一種基于三維自組織映射的立體視頻視差估計(jì)方法，包括模式庫(kù)的訓(xùn)練和視差模式識(shí)別兩個(gè)過程，先用3DSOM算法對(duì)視差序列樣本進(jìn)行學(xué)習(xí)訓(xùn)練，得到最佳匹配模式庫(kù)；再用3DSOM算法對(duì)視差序列每幀進(jìn)行視差模式識(shí)別，得到視差預(yù)測(cè)圖。與傳統(tǒng)的基于塊的視差估計(jì)方法相比，本方法能得到更好的視差預(yù)測(cè)圖，并且計(jì)算量小。
【專利說明】
基于三維自組織映射的立體視頻視差估計(jì)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于三維自組織映射的立體視頻視 差估計(jì)方法。
【背景技術(shù)】
[0002] 視差估計(jì)作為立體視頻編碼的關(guān)鍵技術(shù)，已經(jīng)得到越來越多的重視和關(guān)注，各種 算法也相繼提出。傳統(tǒng)視差估計(jì)算法大致可分為兩大類，一類是基于區(qū)域的視差估計(jì)，即把 圖像中的某一點(diǎn)或某一塊作為基本匹配單元，在另一幅圖像中搜索對(duì)應(yīng)的點(diǎn)或塊，從而得 到各個(gè)點(diǎn)的視差，這類算法可以得到稠密的視差估計(jì)。根據(jù)匹配策略的不同，基于區(qū)域的視 差估計(jì)可以分為局部法和全局法。代表性的局部法是基于塊的方法，實(shí)現(xiàn)復(fù)雜度低。代表性 的全局算法有動(dòng)態(tài)規(guī)劃法、圖割法和置信度傳播法等。全局法能得到比局部法更好的結(jié)果， 但是其計(jì)算復(fù)雜度高，不便于硬件實(shí)現(xiàn)。另一類是基于特征的視差估計(jì)，即利用圖像的自身 特征來實(shí)現(xiàn)匹配，這些特征包括一些特征點(diǎn)（如SIFT關(guān)鍵點(diǎn)等)或幾何結(jié)構(gòu)。此類算法只能 得到稀疏的視差估計(jì)，且特征的提取比較復(fù)雜?？梢?，目前視差估計(jì)技術(shù)仍未成熟，沒有一 種具有普適性的視差估計(jì)方法，而且計(jì)算量巨大。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是提供一種基于三維自組織映射的立體視頻視差估 計(jì)方法，其能提高視差預(yù)測(cè)圖像的質(zhì)量。
[0004] 為解決上述問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0005] -種基于三維自組織映射的立體視頻視差估計(jì)方法，包括如下步驟：
[0006] 步驟1、對(duì)視差序列樣本進(jìn)行不斷學(xué)習(xí)訓(xùn)練，得到最佳匹配模式庫(kù)；
[0007]步驟1.1、對(duì)視差序列樣本的每幀圖像進(jìn)行分塊，每個(gè)圖像塊為一個(gè)訓(xùn)練矢量，共 得到含L個(gè)訓(xùn)練矢量的訓(xùn)練矢量集；
[0008] 步驟1.2、從訓(xùn)練矢量集中選擇N個(gè)訓(xùn)練矢量來構(gòu)成初始化模式庫(kù)，該初始模式庫(kù) 中的訓(xùn)練矢量稱為模式矢量，且初始模式庫(kù)中的模式矢量排列成三維立體結(jié)構(gòu);上述N< < L；
[0009] 步驟1.3、設(shè)定初始化鄰域函數(shù)；
[0010] 步驟1.4、輸入一個(gè)訓(xùn)練矢量，并分別計(jì)算該訓(xùn)練矢量與初始模式庫(kù)中的各個(gè)模式 矢量的失真，從中選擇出與訓(xùn)練矢量失真最小的模式矢量作為獲勝模式矢量；
[0011] 步驟1.5、調(diào)整獲勝模式矢量及其三維鄰域范圍內(nèi)的模式矢量；
[0012] 步驟1.6、返回步驟步驟1.3重新選擇一個(gè)訓(xùn)練矢量，直到輸入完所有的訓(xùn)練矢量， 得到最佳匹配模式庫(kù)；
[0013] 步驟2、對(duì)待估計(jì)的視差序列的每幀圖像進(jìn)行分塊處理，并將這些待估計(jì)圖像塊與 最佳匹配模式庫(kù)中的模式矢量進(jìn)行視差模式匹配，得到待估計(jì)的視差序列的預(yù)測(cè)圖。
[0014] 上述步驟1.2中，采用隨機(jī)法從訓(xùn)練矢量集中選擇N個(gè)特征圖像塊來構(gòu)成初始模式 庫(kù)。
[0015] 上述步驟1.4中，采用下式計(jì)算訓(xùn)練矢量與模式矢量的失真山(t);
[0016] dj(t)=| |X(t)-ffj(t)2|
[0017] 其中，Wj(t)為模式矢量，X(t)為訓(xùn)練矢量;j = 0，1，…，N-l，N為設(shè)定的三維自組織 映射網(wǎng)絡(luò)的大小;t = 0,1，…，L-l，L為訓(xùn)練矢量集中訓(xùn)練矢量的個(gè)數(shù)。
[0018] 上述步驟1.5中，根據(jù)下式調(diào)整獲勝模式矢量及其三維鄰域范圍內(nèi)的模式矢量 \W ,{i) + a{l)[X{l)-W\1)\ ： ie. .U)
[則-叫，' ，
[0020] 其中，Wj(t+1)為第t+1次訓(xùn)練時(shí)的模式矢量，Wj(t)為第t次訓(xùn)練時(shí)的模式矢量，X (t)為訓(xùn)練矢量，f為獲勝模式矢量，為獲勝模式矢量f在第 t次訓(xùn)練時(shí)的鄰域函數(shù)，a (t)為第t次訓(xùn)練時(shí)的學(xué)習(xí)速度函數(shù);j = 0，1，…，N-l，N為設(shè)定的三維自組織映射網(wǎng)絡(luò)的大 小;t = 0，1，…，L-l，L為訓(xùn)練矢量集中訓(xùn)練矢量的個(gè)數(shù)。
[0021] 上述步驟2具體為：
[0022]步驟2.1、將待估計(jì)的視差序列的每幀分塊，其中待估計(jì)的視差序列的每幀分塊大 小與視差序列樣本的每幀分塊大小相一致；
[0023]步驟2.2、分別計(jì)算每一個(gè)待估計(jì)圖像塊與最佳匹配模式庫(kù)中各模式矢量的失真， 并選擇具有最小失真的模式矢量作為該圖像塊的預(yù)測(cè)塊；
[0024]步驟2.3、對(duì)待估計(jì)的視差序列的所有圖像進(jìn)行步驟2.2的處理，得到待估計(jì)的視 差序列的預(yù)測(cè)圖。
[0025]與現(xiàn)有技術(shù)相比，本發(fā)明包括模式庫(kù)的訓(xùn)練和視差模式識(shí)別兩個(gè)過程，先用3DS0M 算法對(duì)視差序列樣本進(jìn)行學(xué)習(xí)訓(xùn)練，得到最佳匹配模式庫(kù);再用3DS0M算法對(duì)視差序列每幀 進(jìn)行視差模式識(shí)別，得到視差預(yù)測(cè)圖。與傳統(tǒng)的基于塊的視差估計(jì)方法相比，本方法能得到 更好的視差預(yù)測(cè)圖，并且計(jì)算量小。
【附圖說明】
[0026] 圖1為視差模式庫(kù)的訓(xùn)練過程。
[0027] 圖2為視差模式識(shí)別得到視差預(yù)測(cè)圖過程。
[0028]圖3為Exit序列視差預(yù)測(cè)圖像的PSNR分布情況。
[0029] 圖4為Vassar序列視差預(yù)測(cè)圖像的PSNR分布情況。
【具體實(shí)施方式】
[0030] 下面結(jié)合實(shí)施例，對(duì)本
【發(fā)明內(nèi)容】
作進(jìn)一步地詳細(xì)說明，但本發(fā)明的實(shí)施方式不限 于此。
[0031] 一種基于三維自組織映射的立體視頻視差估計(jì)方法，包括步驟如下：
[0032] 步驟1)對(duì)視差序列樣本進(jìn)行不斷學(xué)習(xí)訓(xùn)練，得到最佳匹配模式庫(kù)。參見圖1。
[0033]用3DS0M(三維自組織映射)算法對(duì)初始模式庫(kù)進(jìn)行學(xué)習(xí)訓(xùn)練，得到最佳匹配模式 庫(kù)。根據(jù)人腦神經(jīng)元的組織原理所提出的自組織映射(S0M)算法，是一種具有自組織特性的 人工神經(jīng)網(wǎng)絡(luò)算法。該算法模擬了人腦神經(jīng)系統(tǒng)對(duì)某一圖形或某一頻率特定興奮的特征， 在模式識(shí)別和數(shù)據(jù)挖掘等領(lǐng)域得到了深入的研究和廣泛的應(yīng)用，是一種高效的數(shù)據(jù)聚類方 法。SOM算法的核心是尋找最佳分類，即通過對(duì)大量的樣本序列的不斷學(xué)習(xí)和訓(xùn)練，從而得 到最優(yōu)匹配的模式庫(kù)。
[0034]為了提高視差模式庫(kù)的性能，本發(fā)明對(duì)S0M算法進(jìn)行了改進(jìn)，提出了一種三維自組 織映射算法(3DS0M)。三維S0M網(wǎng)絡(luò)結(jié)構(gòu)及其算法能有效地將二維輸入映射為三維輸出，從 而實(shí)現(xiàn)三維信號(hào)的非線性映射。三維S0M網(wǎng)絡(luò)將映射層神經(jīng)元排列成三維立體結(jié)構(gòu)，三維立 體結(jié)構(gòu)的行數(shù)、列數(shù)和層數(shù)可根據(jù)應(yīng)用的需要選取不同的值，排列成不同的三維結(jié)構(gòu)以適 應(yīng)不同應(yīng)用;通常三維鄰域形狀可選取球形鄰域、正方形鄰域或正交十字鄰域，選取不同的 三維鄰域形狀對(duì)算法的性能有一定的影響。S0M網(wǎng)絡(luò)與普通的競(jìng)爭(zhēng)網(wǎng)絡(luò)一樣，對(duì)于每個(gè)輸入 模式，在映射層都有相應(yīng)的獲勝節(jié)點(diǎn)，獲勝節(jié)點(diǎn)代表最相似的模式，該節(jié)點(diǎn)及其三維鄰域范 圍內(nèi)的所有節(jié)點(diǎn)均按一定規(guī)則調(diào)整其權(quán)值。與二維平面結(jié)構(gòu)鄰域相比，三維立體結(jié)構(gòu)鄰域 在相等鄰域半徑內(nèi)的節(jié)點(diǎn)數(shù)量增多，節(jié)點(diǎn)被調(diào)整的機(jī)會(huì)增加，因此，更有利于得到最佳匹配 的模式。
[0035]基于3DS0M算法的模式庫(kù)訓(xùn)練步驟如下：
[0036] 步驟1.1)設(shè)定S0M網(wǎng)絡(luò)大小為(N，M)，其中N、M分別為模式庫(kù)的大小、模式庫(kù)中模式 矢量的大小。
[0037] 步驟1.2)對(duì)視差序列樣本的每幀分塊，塊的大小一般取8X8。每個(gè)圖像塊為一個(gè) 訓(xùn)練矢量，共得到含L個(gè)訓(xùn)練矢量的訓(xùn)練矢量集{X(t);t = 0，l，…，L-1}。用隨機(jī)法從訓(xùn)練矢 量集中選擇N(N< <L)個(gè)訓(xùn)練矢量來構(gòu)成初始化模式庫(kù){Wj(0); j = 0，1，…，N-1}，并將初始 模式庫(kù)中的模式矢量排列成三維立體結(jié)構(gòu)。隨機(jī)法就是從訓(xùn)練矢量集中按固定的間隔抽取 訓(xùn)練矢量。
[0038]步驟1 ? 3)將初始化鄰域設(shè)定為Nj(0)，j = 0，1，…，N-1。
[0039] 步驟1.4)輸入一個(gè)訓(xùn)練矢量集中的訓(xùn)練矢量X= (xi，X2，…，xm)t。
[0040] 步驟1.5)選擇均方誤差失真準(zhǔn)則，均方誤差為山(t)=| |X(t)_WXt)2| |，分別計(jì)算 該訓(xùn)練矢量與模式庫(kù)中各模式矢量的失真山（t);并選擇具有最小失真的模式矢量為獲勝 模式矢量f。
[0041] 步驟1.6)按式(1)調(diào)整獲勝模式矢量f及其三維鄰域⑴范圍內(nèi)的模式矢量， 「 1，約，丄 n ?⑴+ _)[卻)-%(/)]: ,/乂/* 和/vr(〇 _2] W + ' clsc1 ⑴
[0043] 其中，〃/ (;)為鄰域函數(shù)，通常選用單調(diào)遞減函數(shù)~&卜為+_傘_"7>、六1分別為獲 勝模式矢量f的最小鄰域和最大鄰域，^為鄰域衰減常數(shù)。在訓(xùn)練初始階段，鄰域半徑較大， 隨著訓(xùn)練次數(shù)的增加，網(wǎng)絡(luò)逐漸趨于穩(wěn)定，只需對(duì)獲勝節(jié)點(diǎn)進(jìn)行較細(xì)微的權(quán)值調(diào)整，因而鄰 域半徑不斷縮小。a(t)為學(xué)習(xí)速度函數(shù)，它反映了模式矢量調(diào)整的幅度大小，一般選用單調(diào) 遞減函數(shù)沖) = .42#'式中A2為訓(xùn)練開始時(shí)的最大學(xué)習(xí)速度，T2為學(xué)習(xí)衰減常數(shù)。
[0044] 步驟1.7)返回步驟步驟1.4)，直到輸入完訓(xùn)練矢量集中所有的訓(xùn)練矢量，即得到 最佳匹配模式庫(kù)。
[0045] 步驟2)對(duì)視差序列進(jìn)行視差模式匹配，得到每幀的視差預(yù)測(cè)圖。參見圖2。
[0046] 對(duì)視差序列每幀分塊，塊的大小一般取8X8,然后在視差模式庫(kù)中尋找與子圖像 塊最匹配的視差模式作為該子塊圖像的預(yù)測(cè)塊。對(duì)所有子塊圖像進(jìn)行處理后得到該幀的視 差預(yù)測(cè)圖。
[0047] 步驟2.1、將待估計(jì)的視差序列的每幀分塊，其中待估計(jì)的視差序列的每幀分塊大 小與視差序列樣本的每幀分塊大小相一致；
[0048] 步驟2.2、分別計(jì)算每一個(gè)待估計(jì)圖像塊與最佳匹配模式庫(kù)中各模式矢量的失真， 并選擇具有最小失真的模式矢量作為該圖像塊的預(yù)測(cè)塊；
[0049]采用均方誤差準(zhǔn)則即下式來計(jì)算待估計(jì)圖像塊與最佳匹配模式庫(kù)中各模式矢量 的失真bW);
[0050] bjCt7 )= | |Y(t7 )2|
[0051 ]其中，Wj (V )為模式矢量，Y(V )為待估計(jì)圖像塊;j = 0，1，…，N-l，N為設(shè)定的三維 自組織映射網(wǎng)絡(luò)的大小;V =0，1，…，K-l，K為待估計(jì)圖像塊的個(gè)數(shù)。
[0052]步驟2.3、對(duì)待估計(jì)的視差序列的所有圖像進(jìn)行步驟2.2的處理，得到待估計(jì)的視 差序列的預(yù)測(cè)圖。
[0053]為了說明本方法的性能，做了大量的仿真實(shí)驗(yàn)，實(shí)驗(yàn)采用標(biāo)準(zhǔn)立體視頻測(cè)試序列 Exi t、Vassar的第1、2視點(diǎn)，圖像分辨率為480 X 640，左右視點(diǎn)各8幀。重建圖像品質(zhì)的客觀 評(píng)價(jià)采用峰值信噪比
式中EMSE為原始圖像與重建圖像之間的均方誤 差。在基于三維自組織映射的視差估計(jì)方法(3DS0M-DPR)中，圖像壓縮比為
式 中M為模式矢量的維數(shù)，Bo為原始圖像的每像素比特?cái)?shù)，BC為模式矢量地址比特?cái)?shù)。例如，模 式矢量大小為M = 8 X 8，模式庫(kù)大小設(shè)為2048，壓縮率為46.5。在基于塊的視差估計(jì)算法中， 塊的大小為M=8X8,橫向搜索范圍為[-31，32]，縱向搜索范圍為[-15,16]，壓縮率為46.5。 [0054] 圖3和圖4給出了 CFS-3DS0M-DPR方法與基于塊的方法的視差預(yù)測(cè)圖像的PSNR分布 情況，其中圖3為Exi t序列，圖4為Vas sar序列。表1給出了 3DS0M-DPR方法與基于塊的方法的 視差預(yù)測(cè)圖像的平均PSNR對(duì)比。由表1可以看出，由3DS0M-DPR方法得到的視差預(yù)測(cè)圖像的 平均峰值信噪比(PSNR)較基于塊的方法提高了0.14-0.48dB。
[0055]表1 3DS0M-DPR方法與基于塊的方法的比較結(jié)果(平均峰值信噪比/dB)
[0057]為了克服傳統(tǒng)視差估計(jì)算法的不足，改善視差補(bǔ)償預(yù)測(cè)的性能，本發(fā)明提出了基 于模式識(shí)別的視差估計(jì)算法，其視差預(yù)測(cè)編碼方案采用基于自組織映射算法(S0M)的圖像 模式識(shí)別作為視差預(yù)測(cè)器。實(shí)驗(yàn)表明，3DS0M-DPR算法的視差預(yù)測(cè)圖像的平均峰值信噪比較 傳統(tǒng)基于塊的視差估計(jì)算法提_ 了0.14_0.48dB。
【主權(quán)項(xiàng)】
1. 基于三維自組織映射的立體視頻視差估計(jì)方法，其特征是，包括如下步驟： 步驟1、對(duì)視差序列樣本進(jìn)行不斷學(xué)習(xí)訓(xùn)練，得到最佳匹配模式庫(kù)； 步驟1.1、對(duì)視差序列樣本的每幀圖像進(jìn)行分塊，每個(gè)圖像塊為一個(gè)訓(xùn)練矢量，共得到 含L個(gè)訓(xùn)練矢量的訓(xùn)練矢量集； 步驟1.2、從訓(xùn)練矢量集中選擇N個(gè)訓(xùn)練矢量來構(gòu)成初始化模式庫(kù)，該初始模式庫(kù)中的 訓(xùn)練矢量稱為模式矢量，且初始模式庫(kù)中的模式矢量排列成三維立體結(jié)構(gòu);上述N< <L; 步驟1.3、設(shè)定初始化鄰域函數(shù)； 步驟1.4、輸入一個(gè)訓(xùn)練矢量，并分別計(jì)算該訓(xùn)練矢量與初始模式庫(kù)中的各個(gè)模式矢量 的失真，從中選擇出與訓(xùn)練矢量失真最小的模式矢量作為獲勝模式矢量； 步驟1.5、調(diào)整獲勝模式矢量及其三維鄰域范圍內(nèi)的模式矢量； 步驟1.6、返回步驟步驟1.3重新選擇一個(gè)訓(xùn)練矢量，直到輸入完所有的訓(xùn)練矢量，得到 最佳匹配模式庫(kù)； 步驟2、對(duì)待估計(jì)的視差序列的每幀圖像進(jìn)行分塊處理，并將這些待估計(jì)圖像塊與最佳 匹配模式庫(kù)中的模式矢量進(jìn)行視差模式匹配，得到待估計(jì)的視差序列的預(yù)測(cè)圖。2. 根據(jù)權(quán)利要求1所述基于三維自組織映射的立體視頻視差估計(jì)方法，其特征是，步驟 1.2中，采用隨機(jī)法從訓(xùn)練矢量集中選擇N個(gè)訓(xùn)練矢量來構(gòu)成初始模式庫(kù)。3. 根據(jù)權(quán)利要求1所述基于三維自組織映射的立體視頻視差估計(jì)方法，其特征是，步驟 1.4中，采用下式計(jì)算訓(xùn)練矢量與模式矢量的失真山(t); dj(t)= I |x(t)-ffj(t) 112 其中，Wj(t)為模式矢量，X(t)為訓(xùn)練矢量；j = 0，1，…，N-l，N為設(shè)定的三維自組織映射 網(wǎng)絡(luò)的大小;t = 0,1，…，L_1，L為訓(xùn)練矢量集中訓(xùn)練矢量的個(gè)數(shù)。4. 根據(jù)權(quán)利要求1所述基于三維自組織映射的立體視頻視差估計(jì)方法，其特征是，步驟 1.5中，根據(jù)下式調(diào)整獲勝模式矢量及其三維鄰域范圍內(nèi)的模式矢量其中，Wj (t+1)為第t+1次訓(xùn)練時(shí)的模式矢量，Wj (t)為第t次訓(xùn)練時(shí)的模式矢量，X⑴為 訓(xùn)練矢量，f為獲勝模式矢量，〃/⑴為獲勝模式矢量f在第t次訓(xùn)練時(shí)的鄰域函數(shù)，a(t)為 第t次訓(xùn)練時(shí)的學(xué)習(xí)速度函數(shù);j = 0，1，…，N-1，N為設(shè)定的三維自組織映射網(wǎng)絡(luò)的大小;t = 0，1，…，L-l，L為訓(xùn)練矢量集中訓(xùn)練矢量的個(gè)數(shù)。5. 根據(jù)權(quán)利要求1所述基于三維自組織映射的立體視頻視差估計(jì)方法，其特征是，步驟 2具體為： 步驟2.1、將待估計(jì)的視差序列的每幀分塊，其中待估計(jì)的視差序列的每幀分塊大小與 視差序列樣本的每幀分塊大小相一致； 步驟2.2、分別計(jì)算每一個(gè)待估計(jì)圖像塊與最佳匹配模式庫(kù)中各模式矢量的失真，并選 擇具有最小失真的模式矢量作為該圖像塊的預(yù)測(cè)塊； 步驟2.3、對(duì)待估計(jì)的視差序列的所有圖像進(jìn)行步驟2.2的處理，得到待估計(jì)的視差序 列的預(yù)測(cè)圖。
【文檔編號(hào)】H04N19/597GK105959701SQ201610317547
【公開日】2016年9月21日
【申請(qǐng)日】2016年5月13日
【發(fā)明人】黎洪松, 程福林
【申請(qǐng)人】桂林電子科技大學(xué)