專利名稱：一種深度圖像序列處理的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)信息處理技術(shù)領(lǐng)域，特別是涉及一種深度圖像序列處理的方法及裝置。

背景技術(shù)：
紋理序列即是當(dāng)前使用攝像機(jī)獲得的二維圖像序列。獲得紋理序列是一個(gè)將三維真實(shí)世界投影到圖像平面的過程。這一過程中第三維的信息被丟棄，使得僅依靠紋理序列不能得到相應(yīng)的三維場景的所有信息。
為完善地表達(dá)三維場景，就需要引入與紋理序列相對應(yīng)的深度序列，以表示出第三維的信息。一般說來，深度序列每一幀的分辨率與紋理序列一致或更低，并采用灰度圖的格式，每一個(gè)像素點(diǎn)的灰度值表征了相應(yīng)紋理圖上該點(diǎn)的深度。利用紋理序列和相應(yīng)的深度序列以及必須的攝像機(jī)參數(shù)，即可完整表示三維場景。
人眼產(chǎn)生立體感主要基于雙目視差(binocular parallax)和運(yùn)動(dòng)視差(motionparallax)兩個(gè)方面。如果采用一個(gè)裝置使左右眼分別看到不同的視差圖像，則大腦中就會(huì)產(chǎn)生精確的三維物體，以及該物體在場景中的定位，這就是具有深度的立體感。為了達(dá)到這一效果，需要利用一對或多對紋理和深度序列分別生成相應(yīng)的單眼圖像。研究表明，立體感和立體圖像的整體質(zhì)量取決于質(zhì)量較好的單眼圖像。
深度序列質(zhì)量的問題會(huì)影響3DTV中虛擬視角圖像(即所需的單眼圖像)生成的質(zhì)量，使得最終的主觀質(zhì)量受到限制。
另一方面，不論是用于生成3DTV的深度序列還是用作遙感測繪等的深度序列在獲得后都需要進(jìn)行編碼以便在信道上傳輸。比較簡單的方法是紋理序列和深度序列分別以MPEG或H.264等編碼技術(shù)進(jìn)行編碼。
發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下缺點(diǎn) 現(xiàn)有的深度序列質(zhì)量不佳，在時(shí)域上的一致性不夠好，從而會(huì)導(dǎo)致生成的虛擬視質(zhì)量不佳，表現(xiàn)為在靜止區(qū)域出現(xiàn)抖動(dòng)等，并且會(huì)導(dǎo)致編碼時(shí)預(yù)測殘差大，碼率上升。


發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種深度序列圖像處理方法及其裝置，以改善深度序列的相關(guān)性。
本發(fā)明所述的一種深度圖像序列處理方法，(1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀圖像，并提取相關(guān)特征；(2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性；其中m＝0，1，2……；n＝0，1；n＝1代表使用當(dāng)前幀，n＝0表示不使用當(dāng)前幀；q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s幀是連續(xù)的和不連續(xù)的中的一種，并有m+n+q≥2，r+s≥1。
本發(fā)明裝置是采用這樣的技術(shù)解決方案實(shí)現(xiàn)的一種深度圖像序列處理裝置，其特征在于該裝置由緩存器、特征分析模塊和特征處理與修正模塊構(gòu)成，所述緩存器分別與特征分析模塊和特征處理與修正模塊相連接，特征分析模塊與特征處理與修正模塊相連接，所述特征分析模塊用于分析所述的紋理序列，以獲得相關(guān)的特征信息，處理修正模塊能夠依據(jù)特征信息對深度序列進(jìn)行相應(yīng)的處理和修正。
本發(fā)明利用了紋理序列和深度序列之間的相關(guān)性以及紋理序列時(shí)間上的相關(guān)性，從而改善深度序列的相關(guān)性；并提高虛擬視生成的質(zhì)量和深度序列壓縮編碼的效率。這個(gè)方法也可以應(yīng)用在其它需要深度序列的場合 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。



圖1為本發(fā)明所述的深度圖像序列處理方法示意圖之一 圖2為本發(fā)明所述的深度圖像序列處理方法示意圖之二 圖3為本發(fā)明所述的深度圖像序列處理方法示意圖之三 圖4為本發(fā)明所述的深度圖像序列處理方法示意圖之四 圖5為本發(fā)明所述的深度圖像序列處理方法示意圖之五 圖6為本發(fā)明所述的深度圖像序列處理裝置方框圖之一 圖7為本發(fā)明所述的深度圖像序列處理裝置方框圖之二 圖8為本發(fā)明所述的深度圖像序列處理裝置方框圖之三 圖9為本發(fā)明所述的深度圖像序列處理裝置方框圖之四
具體實(shí)施例方式 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
在本實(shí)施例中，由于深度序列和紋理序列之間存在著相關(guān)性。通常一個(gè)深度序列相應(yīng)的紋理序列，或一個(gè)紋理序列相應(yīng)的深度序列是指出這兩個(gè)序列是表示的同一客觀實(shí)體，并且其信息在時(shí)域上和空間域上都是對應(yīng)的(可能出現(xiàn)一對多或多對多的情況)。
本發(fā)明所述的一種深度圖像序列處理方法，包括(1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻之前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀的圖像，并提取相關(guān)特征的特征值；(2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀對當(dāng)前幀的深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性；其中m＝0，1，2……；n＝0，1；n＝1代表使用當(dāng)前幀，n＝0表示不使用當(dāng)前幀；q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s幀是連續(xù)的幀或不連續(xù)的幀中的一種，并有m+n+q≥2，r+s≥1。
所述的當(dāng)前深度序列可以先采用標(biāo)志位f，指示是否對深度序列圖像采用深度圖像序列處理方法； 所述分析與深度序列圖像反映同一客觀事物的紋理序列是指分析紋理序列中包含的運(yùn)動(dòng)信息，作為紋理序列的特征，特征的特征值可以是運(yùn)動(dòng)物體的邊緣、運(yùn)動(dòng)矢量的大小、運(yùn)動(dòng)矢量的方向等。
所述紋理序列的運(yùn)動(dòng)信息能夠反映圖像在相應(yīng)區(qū)域的移動(dòng)狀況，并根據(jù)該移動(dòng)狀況決定是否對深度圖像序列進(jìn)行處理，即根據(jù)所述分析紋理序列所獲得的特征值將待處理幀深度圖像分為需要修正和不需要修正兩部分。
所述的需要修正的局部深度圖像，采取優(yōu)化的修正方法，其中，優(yōu)化的修正方法可以是時(shí)域?yàn)V波方法等。例如利用當(dāng)前時(shí)刻前的r幀和當(dāng)前時(shí)刻后的s幀深度圖對當(dāng)前幀進(jìn)行加權(quán)處理以進(jìn)行修正；其中r，s幀是連續(xù)的和是不連續(xù)的中的一種，r，s＝0，1，2……，且r+s≥1。
本發(fā)明還提供了深度圖像序列處理的另一種方法，其內(nèi)容是在深度序列編碼端通過對深度序列和相應(yīng)紋理序列的分析，獲得用于改善深度序列連續(xù)性的參數(shù)，其中參數(shù)包括f、m、n、q、r、s、wi的全部或部分，并將其地載于碼流上；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用深度圖像序列連續(xù)性處理方法，f＝0代表不使用深度圖像序列的連續(xù)性處理方法；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s各自的權(quán)重，共有m+n+q+r+s個(gè)。
本發(fā)明提供的第三種深度圖像序列處理方法是在深度序列解碼端依據(jù)碼流中提供的參數(shù)并結(jié)合對深度序列相應(yīng)特征的分析對深度序列進(jìn)行處理，以增強(qiáng)其時(shí)域連續(xù)性；這些參數(shù)包括f、m、n、q、r、s、wi的全部或部分；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s各自的權(quán)重，共有m+n+q+r+s個(gè)。
所述的當(dāng)前深度序列可以先采用標(biāo)志位f，指示是否對深度序列圖像采用深度圖像序列處理方法； 所述分析與深度序列圖像反映同一客觀事物的紋理序列是指分析紋理序列中包含的運(yùn)動(dòng)信息，作為紋理序列的特征，特征的特征值可以是運(yùn)動(dòng)物體的邊緣、運(yùn)動(dòng)矢量的大小、運(yùn)動(dòng)矢量的方向等。
所述紋理序列的運(yùn)動(dòng)信息能夠反映圖像在相應(yīng)區(qū)域的移動(dòng)狀況，并根據(jù)該移動(dòng)狀況決定是否對深度圖像序列進(jìn)行處理，即根據(jù)所述分析紋理序列所獲得的特征值將待處理幀深度圖像分為需要修正和不需要修正兩部分。
所述的需要修正的局部深度圖像，采取優(yōu)化的修正方法，其中，優(yōu)化的修正方法可以是時(shí)域?yàn)V波方法等。例如利用當(dāng)前時(shí)刻前的r幀和當(dāng)前時(shí)刻后的s幀深度圖對當(dāng)前幀進(jìn)行加權(quán)處理以進(jìn)行修正；其中r，s幀是連續(xù)的和是不連續(xù)的中的一種，r，s＝0，1，2……，且r+s≥1。
在實(shí)際應(yīng)用中，算法中參考的紋理序列的幀數(shù)及其分布、特征值的數(shù)目及其選取、特征值的運(yùn)用策略、深度序列中參考的幀數(shù)及其分布、深度序列處理具體方法等都可以根據(jù)實(shí)際情況靈活處理。
考慮到紋理序列和深度序列反映的是同一個(gè)客觀實(shí)體，因此它們應(yīng)當(dāng)具備同樣的性質(zhì)。深度序列的時(shí)域一致性的不佳，可以使用紋理序列的良好的時(shí)間一致性進(jìn)行彌補(bǔ)。因此，本發(fā)明中利用對紋理序列的特征進(jìn)行檢測，再通過對特征值的判斷決定對相應(yīng)的深度序列采取何種的優(yōu)化方法，最終達(dá)到改善深度序列時(shí)域一致性的結(jié)果。從而最終提高生成的虛擬視質(zhì)量，和降低編碼時(shí)的預(yù)測殘差和碼率，即提高深度序列壓縮編碼的效率，同時(shí)，也具有較強(qiáng)的普適性，可以應(yīng)用在各種需要深度序列配合紋理序列工作的場合。
下面具體介紹本發(fā)明的實(shí)施實(shí)例 實(shí)例一 一種深度圖像序列處理方法，包括 (1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m＝1幀、當(dāng)前時(shí)刻n＝1幀以及當(dāng)前時(shí)刻之后的q＝0幀圖像，并提取紋理序列的特征，本例中特征值是指一個(gè)被處理的區(qū)域是否移動(dòng)。； (2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r＝1幀和當(dāng)前時(shí)刻之后的s＝0幀 (3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 所使用的紋理圖像幀、深度圖像幀的分布關(guān)系及處理方法見附圖1。
在本實(shí)施例中，特征分析即利用與深度序列當(dāng)前幀和前一幀相對應(yīng)的紋理圖進(jìn)行特征提取。提取的特征是某一區(qū)域是否移動(dòng)。具體方法為利用計(jì)算當(dāng)前幀與前一幀的相應(yīng)區(qū)域的SAD并判斷其大小，當(dāng)SAD大于閾值時(shí)，認(rèn)為這一區(qū)域有運(yùn)動(dòng)；當(dāng)SAD小于閾值時(shí)，則認(rèn)為這一區(qū)域沒有運(yùn)動(dòng)。此處，這一區(qū)域是否有運(yùn)動(dòng)即為特征值。
深度序列處理時(shí)利用上一步獲得的特征值決定是否要對某一像素點(diǎn)進(jìn)行處理，即判斷為有運(yùn)動(dòng)的區(qū)域不需要對深度進(jìn)行修正，判斷為沒有運(yùn)動(dòng)的區(qū)域則需要對深度進(jìn)行修正。對于需要處理的像素點(diǎn)，使用前一幀的深度圖像相應(yīng)位置上的點(diǎn)的值與原有深度圖像進(jìn)行加權(quán)平均，D′nt＝wnDnt+wrDrt，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drt是當(dāng)前幀之前一幀相應(yīng)區(qū)域的深度，權(quán)值wn和wr是預(yù)設(shè)的固定值。
實(shí)例二 一種深度圖像序列處理方法，包括 (1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m＝5幀、當(dāng)前時(shí)刻n＝1幀以及當(dāng)前時(shí)刻之后的q＝0幀圖像，并提取紋理序列的特征，本例中特征值為一個(gè)被處理區(qū)域的運(yùn)動(dòng)矢量的幅度； (2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r＝1幀和當(dāng)前時(shí)刻之后的s＝1幀 (3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 所使用的紋理圖像幀、深度圖像幀的分布關(guān)系及處理方法見附圖2。
在本實(shí)施例中，特征分析即利用與深度序列當(dāng)前幀和前m幀相對應(yīng)的紋理圖進(jìn)行特征提取。提取的特征值為區(qū)域運(yùn)動(dòng)矢量的幅度。
深度序列處理時(shí)利用上一步獲得的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果運(yùn)動(dòng)矢量幅度大于閾值，則不對相應(yīng)區(qū)域進(jìn)行深度修正，否則使用前一幀和后一幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)，D′nl＝wnlDnl+wrlDrl+wslDsl，這里D′nl是當(dāng)前幀處理點(diǎn)修正后的深度，Dnl是當(dāng)前幀處理點(diǎn)修正前的深度，Drl是當(dāng)前幀之前一幀處理點(diǎn)相應(yīng)的深度，Dsl是當(dāng)前幀之后一幀處理點(diǎn)相應(yīng)的深度，權(quán)值wnl、wrl和wsl由該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定。
實(shí)例三 一種深度圖像序列處理方法，包括 (1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m＝6幀、當(dāng)前時(shí)刻n＝0幀以及當(dāng)前時(shí)刻之后的q＝10幀圖像，并提取紋理序列的特征，本例中特征值為一個(gè)被處理區(qū)域的運(yùn)動(dòng)矢量，包括幅度和方向信息； (2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r＝10幀和當(dāng)前時(shí)刻之后的s＝5幀 (3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 所使用的紋理圖像幀、深度圖像幀的分布關(guān)系及處理方法見附圖3。
在本實(shí)施例中，特征分析即利用與當(dāng)前時(shí)刻之前的m幀以及當(dāng)前時(shí)刻之后的q幀的紋理圖進(jìn)行特征提取，這里的m幀和q幀不是連續(xù)的，中間有一些幀被跳過，例如當(dāng)前幀為第10幀，選取的m幀為第1，4，5，6，8，9幀。提取的特征值為區(qū)域運(yùn)動(dòng)矢量，包括幅度和方向信息。
深度序列處理時(shí)利用上一步獲得的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果運(yùn)動(dòng)矢量幅度大于閾值，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀加權(quán)區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀加權(quán)區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的深度處理區(qū)域則由運(yùn)動(dòng)矢量的方向決定，例如當(dāng)前區(qū)域的運(yùn)動(dòng)矢量方向?yàn)樗?，則Drit是待處理區(qū)域以及其左右相鄰區(qū)域的深度。這里的r幀深度圖是不連續(xù)的，而s幀深度圖是連續(xù)的。
實(shí)例四 一種深度圖像序列處理方法，包括 (1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m＝5幀、當(dāng)前時(shí)刻n＝1幀以及當(dāng)前時(shí)刻之后的q＝5幀圖像，并提取紋理序列的特征，本例中特征值為一個(gè)被處理區(qū)域的運(yùn)動(dòng)矢量，包括幅度和方向信息； (2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r＝6幀和當(dāng)前時(shí)刻之后的s＝10幀，以及深度序列r幀和s幀的相應(yīng)特征，特征值為區(qū)域運(yùn)動(dòng)矢量，包括幅度和方向信息 (3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 所使用的紋理圖像幀、深度圖像幀的分布關(guān)系及處理方法見附圖4。
在本實(shí)施例中，特征分析即利用與當(dāng)前時(shí)刻之前的m幀、當(dāng)前時(shí)刻1幀、以及當(dāng)前時(shí)刻之后的q幀的紋理圖和當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖像進(jìn)行特征提取，這里的m幀和q幀是不連續(xù)的。提取的特征值為區(qū)域運(yùn)動(dòng)矢量，包括幅度和方向信息。
深度序列處理時(shí)利用上一步獲得的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果紋理序列和深度序列所提取運(yùn)動(dòng)矢量方向一致，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀加權(quán)區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀加權(quán)區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的深度處理區(qū)域則由運(yùn)動(dòng)矢量的方向決定，例如當(dāng)前區(qū)域的運(yùn)動(dòng)矢量方向?yàn)樗?，則Drit是待處理區(qū)域以及其左右相鄰區(qū)域的深度。這里的r幀深度圖是不連續(xù)的，而s幀深度圖是連續(xù)的。
實(shí)例五 一種深度圖像序列處理方法，其特征是 (1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m＝3幀、當(dāng)前時(shí)刻n＝0幀以及當(dāng)前時(shí)刻之后的q＝5幀圖像，并提取紋理序列的特征，本例中特征值為一個(gè)被處理區(qū)域的運(yùn)動(dòng)矢量，包括幅度和方向信息； (2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r＝4幀和當(dāng)前時(shí)刻之后的s＝4幀，以及深度序列r’＝5幀和s’＝6幀的相應(yīng)特征，特征值為區(qū)域運(yùn)動(dòng)矢量，包括幅度和方向信息 (3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 所使用的紋理圖像幀、深度圖像幀的分布關(guān)系及處理方法見附圖5。
特征分析時(shí)利用與當(dāng)前時(shí)刻之前的m幀以及之后的q幀相對應(yīng)的紋理圖和深度序列當(dāng)前時(shí)刻前的r’幀和之后的s’幀的深度進(jìn)行特征提取，這里的m幀是連續(xù)的，q幀是不連續(xù)的。提取的特征值為區(qū)域運(yùn)動(dòng)矢量，包括幅度和方向信息。這里r’深度圖是不連續(xù)的，而s’幀深度圖是連續(xù)的。
深度序列處理時(shí)利用上一步獲得的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果紋理序列和深度序列所提取運(yùn)動(dòng)矢量方向一致，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀加權(quán)區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀加權(quán)區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的深度處理區(qū)域則由運(yùn)動(dòng)矢量的方向決定，例如當(dāng)前區(qū)域的運(yùn)動(dòng)矢量方向?yàn)樗剑瑒tDrit是待處理區(qū)域以及其左右相鄰區(qū)域的深度。這里的r幀深度圖是不連續(xù)的，而s幀深度圖是連續(xù)的。
實(shí)例六 一種深度圖像序列處理方法，包括在編碼端分析與深度序列對應(yīng)的紋理序列，獲得用于改善深度序列連續(xù)性的參數(shù)，這些參數(shù)包括f、m、n、q、r、s、wi，并將其載于碼流中；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。
在這里，獲取參數(shù)的具體方法是 (1)各參數(shù)設(shè)為默認(rèn)值(均為1)； (2)對紋理序列和深度序列進(jìn)行特征分析，特征值是運(yùn)動(dòng)矢量，包括幅度和方向信息； (3)根據(jù)紋理序列和深度序列的特征值對深度序列進(jìn)行處理，得到修正后的深度序列，具體方法是如果紋理序列和深度序列所提取運(yùn)動(dòng)矢量方向一致，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀處理區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀處理區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的區(qū)域則由運(yùn)動(dòng)矢量的方向決定； (4)判定深度序列連續(xù)性，如果達(dá)到質(zhì)量要求，則目前參數(shù)作為最終參數(shù)并將其載于碼流中，否則在一定的范圍內(nèi)依次改變參數(shù)(例如各參數(shù)值的范圍設(shè)為1～3，從默認(rèn)值開始逐個(gè)參數(shù)加1)，重復(fù)以上(2)-(4)步； (5)(嘗試了全部參數(shù)組合，仍未使質(zhì)量達(dá)到要求，則)在各種參數(shù)組合中使當(dāng)前時(shí)刻深度連續(xù)性最佳的那組參數(shù)組合記載入碼流。
實(shí)例七 一種深度圖像序列處理方法，包在解碼端 (1)依據(jù)碼流中提供的參數(shù)f、m、n、q、r、s、wi； (2)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀圖像，并提取相關(guān)特征，特征值為運(yùn)動(dòng)矢量，包括幅度和方向信息； (3)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀 (4)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性； 碼流中提供的參數(shù)包括f、m、n、q、r、s、wi；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。
深度序列處理的具體方法利用紋理序列中提取的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果運(yùn)動(dòng)矢量幅度小于閾值，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀加權(quán)區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀加權(quán)區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的深度處理區(qū)域則由運(yùn)動(dòng)矢量的方向決定，例如當(dāng)前區(qū)域的運(yùn)動(dòng)矢量方向?yàn)樗剑瑒tDrit是待處理區(qū)域以及其左右相鄰區(qū)域的深度。這里的r幀深度圖是不連續(xù)的，而s幀深度圖是連續(xù)的。
實(shí)例八 在附圖6中，本發(fā)明所述的一種深度圖像序列處理裝置，該裝置包括緩存器1、特征分析模塊2和特征處理與修正模塊3，所述緩存器1分別與特征分析模塊2和特征處理與修正模塊3相連接，特征分析模塊2與特征處理與修正模塊3相連接，所述特征分析模塊2用于分析所述的紋理序列，以獲得相關(guān)的特征信息，處理修正模塊3能夠依據(jù)特征信息對深度序列進(jìn)行相應(yīng)的處理和修正；所述特征處理與修正模塊3的修正結(jié)果能夠經(jīng)控制支路4反饋至緩存器1。
在本實(shí)施例中，特征值信息是指運(yùn)動(dòng)矢量，包括幅度和方向信息。特征處理與處理修正模塊3利用紋理序列中提取的特征值決定是否要對某一像素區(qū)域進(jìn)行處理，如果運(yùn)動(dòng)矢量幅度小于閾值，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀處理區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀處理區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的區(qū)域則由運(yùn)動(dòng)矢量的方向決定。
實(shí)例九 在附圖7中，本發(fā)明所述的另一種深度圖像序列處理裝置，該裝置包括緩存器1、紋理序列特征分析模塊2、深度序列特征分析模塊5和特征處理與修正模塊3以及一系列控制支路4構(gòu)成，所述緩存器1分別與紋理序列特征分析模塊2、深度特征分析模塊5和特征處理與修正模塊3相連接，紋理序列特征分析模塊2、深度特征分析模塊5與特征處理與修正模塊3相連接，所述紋理特征分析模塊2用于分析所述的紋理序列，以獲得相關(guān)的特征信息，所述深度特征分析模塊5用于分析所述的深度序列，處理修正模塊3能夠依據(jù)紋理和深度特征信息對深度序列進(jìn)行相應(yīng)的處理和修正。各控制支路4依據(jù)編碼端傳送而來的控制信息決定各個(gè)模塊工作所需的參數(shù)。
紋理圖像序列特征分析模塊2對當(dāng)前深度序列之前的m幀以及之后的q幀以及當(dāng)前幀n相對應(yīng)的紋理圖進(jìn)行特征分析，特征值是運(yùn)動(dòng)矢量。深度圖像序列特征分析模塊對當(dāng)前幀以及之前r幀和之后s幀深度序列進(jìn)行分析，特征值是運(yùn)動(dòng)矢量。這里m、n、q、r和s是編碼端指定并通過信道傳輸而來的。
處理與修正模塊3利用來自編碼端的標(biāo)志位f決定是否對當(dāng)前處理塊組進(jìn)行處理，如果需要處理，則利用紋理和深度圖像序列特征分析得到的運(yùn)動(dòng)矢量結(jié)合wi進(jìn)行加權(quán)處理。一個(gè)區(qū)域是否要采用加權(quán)，是通過對比紋理序列和深度序列各自運(yùn)動(dòng)矢量的方向進(jìn)行判斷的如果兩者相差超過閾值，則判定該區(qū)域需要進(jìn)行加權(quán)處理。公式為這里D′nl是當(dāng)前幀處理點(diǎn)修正后的深度，Dnl是當(dāng)前幀處理點(diǎn)修正前的深度，Dril是當(dāng)前幀之前選定幀中第i幀處理點(diǎn)相應(yīng)的深度，Dsjl是當(dāng)前幀之后選定幀中第j幀處理點(diǎn)相應(yīng)的深度，權(quán)值wnl、wril和wsjl由運(yùn)動(dòng)矢量和來自編碼端的權(quán)值wi聯(lián)合決定。
實(shí)例十 在附圖8中，本發(fā)明所述的另一種深度圖像序列處理裝置，該裝置包括緩存器1、紋理序列特征分析模塊2、參數(shù)修正模塊3，緩存器1分別與紋理序列特征分析模塊2和參數(shù)修正模塊3相連，紋理序列特征分析模塊2與參數(shù)修正模塊3雙向相連。
紋理序列特征分析模塊2對當(dāng)前深度序列之前的m幀以及之后的q幀以及當(dāng)前幀n相對應(yīng)的紋理圖進(jìn)行特征分析，特征值是待處理區(qū)域的運(yùn)動(dòng)信息，并將運(yùn)動(dòng)信息傳給參數(shù)修正模塊。
參數(shù)修正模塊通過得到的運(yùn)動(dòng)信息結(jié)合深度序列對參數(shù)f、m、n、q、r、s、wi進(jìn)行修正，各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。參數(shù)修正模塊將修正過的參數(shù)傳回紋理序列特征分析模塊，幾次循環(huán)待參數(shù)穩(wěn)定后將參數(shù)作為最優(yōu)參數(shù)與深度序列一同送往編碼器進(jìn)行編碼處理。
獲取參數(shù)的具體方法是 (1)各參數(shù)設(shè)為默認(rèn)值(均為1)； (2)對紋理序列進(jìn)行特征分析，特征值是運(yùn)動(dòng)矢量，包括幅度和方向信息； (3)根據(jù)紋理序列的特征值對深度序列進(jìn)行處理，得到修正后的深度序列，具體方法是如果運(yùn)動(dòng)矢量幅度大于閾值，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nl是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀加權(quán)區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀加權(quán)區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的深度處理區(qū)域則由運(yùn)動(dòng)矢量的方向決定，例如當(dāng)前區(qū)域的運(yùn)動(dòng)矢量方向?yàn)樗?，則Drit是待處理區(qū)域以及其左右相鄰區(qū)域的深度。
(4)判定深度序列連續(xù)性，如果達(dá)到質(zhì)量要求，則目前參數(shù)作為最終參數(shù)并將其載于碼流中，否則在一定的范圍內(nèi)依次改變參數(shù)(例如各參數(shù)值的范圍設(shè)為1～3，從默認(rèn)值開始逐個(gè)參數(shù)加1)，重復(fù)以上(2)-(4)步； (5)(嘗試了全部參數(shù)組合，仍未使質(zhì)量達(dá)到要求，則)在各種參數(shù)組合中使當(dāng)前時(shí)刻深度連續(xù)性最佳的那組參數(shù)組合記載入碼流。
實(shí)例十一 在附圖9中，本發(fā)明所述的另一種深度圖像序列處理裝置，該裝置包括緩存器1、紋理序列特征分析模塊2、深度序列特征分析模塊6、參數(shù)修正模塊3，緩存器1分別與紋理序列特征分析模塊2、深度序列特征分析模塊6和參數(shù)修正模塊3相連，紋理序列特征分析模塊2與參數(shù)修正模塊3雙向相連。
紋理序列特征分析模塊2對當(dāng)前深度序列之前的m幀以及之后的q幀以及當(dāng)前幀n相對應(yīng)的紋理圖進(jìn)行特征分析，并將特征值傳給紋理序列特征分析模塊和參數(shù)修正模塊。深度序列特征分析模塊依據(jù)紋理序列特征值和深度序列信息提取深度序列的相應(yīng)特征值，并將結(jié)果傳給參數(shù)修正模塊。
參數(shù)修正模塊3通過得到的特征值結(jié)合深度序列對參數(shù)f、m、n、q、r、s、wi進(jìn)行修正，各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。參數(shù)修正模塊3將修正過的參數(shù)傳回紋理序列特征分析模塊2，幾次循環(huán)待參數(shù)穩(wěn)定后將參數(shù)作為最優(yōu)參數(shù)與深度序列一同送往編碼器進(jìn)行編碼處理。
獲取參數(shù)的具體方法是 (1)各參數(shù)設(shè)為默認(rèn)值(均為1)； (2)對紋理序列和深度序列進(jìn)行特征分析，特征值是運(yùn)動(dòng)矢量，包括幅度和方向信息； (3)根據(jù)紋理序列和深度序列的特征值對深度序列進(jìn)行處理，得到修正后的深度序列，具體方法是如果紋理序列和深度序列所提取運(yùn)動(dòng)矢量方向一致，則不對相應(yīng)區(qū)域進(jìn)行修正，否則使用深度序列當(dāng)前時(shí)刻前的r幀和之后的s幀的深度圖相應(yīng)區(qū)域的值與原圖相應(yīng)值進(jìn)行加權(quán)處理，這里D′nt是當(dāng)前幀處理區(qū)域修正后的深度，Dnt是當(dāng)前幀處理區(qū)域修正前的深度，Drit是當(dāng)前幀之前選定幀中第i幀處理區(qū)域相應(yīng)的深度，Dsjt是當(dāng)前幀之后選定幀中第j幀處理區(qū)域相應(yīng)的深度，權(quán)值wnt、writ和wsjt根據(jù)該區(qū)域的運(yùn)動(dòng)矢量幅度動(dòng)態(tài)決定，用于加權(quán)的區(qū)域則由運(yùn)動(dòng)矢量的方向決定； (4)判定深度序列連續(xù)性，如果達(dá)到質(zhì)量要求，則目前參數(shù)作為最終參數(shù)并將其載于碼流中，否則在一定的范圍內(nèi)依次改變參數(shù)(例如各參數(shù)值的范圍設(shè)為1～3，從默認(rèn)值開始逐個(gè)參數(shù)加1)，重復(fù)以上(2)-(4)步； (5)(嘗試了全部參數(shù)組合，仍未使質(zhì)量達(dá)到要求，則)在各種參數(shù)組合中使當(dāng)前時(shí)刻深度連續(xù)性最佳的那組參數(shù)組合記載入碼流。
本發(fā)明中利用對紋理序列的特征值進(jìn)行檢測，再通過對特征值的判斷決定對相應(yīng)的深度序列采取何種的優(yōu)化方法，最終達(dá)到改善深度序列時(shí)域一致性的結(jié)果，從而最終提高生成的虛擬視質(zhì)量，和降低編碼時(shí)的預(yù)測殘差和碼率，即提高深度序列壓縮編碼的效率，同時(shí)，也具有較強(qiáng)的普適性，可以應(yīng)用在各種需要深度序列配合紋理序列工作的場合。
應(yīng)當(dāng)指出，本發(fā)明的應(yīng)用領(lǐng)域廣泛，方法十分靈活，在此并不能一一列舉。但凡是利用本發(fā)明的基本精神而設(shè)計(jì)的算法以及開發(fā)的設(shè)備和系統(tǒng)都在本專利的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種深度圖像序列處理方法，其特征在于，包括
(1)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀圖像，并提取紋理序列的特征；
(2)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀；
(3)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性；
其中m＝0，1，2……；n＝0，1；n＝1代表使用當(dāng)前幀，n＝0表示不使用當(dāng)前幀；q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s幀是連續(xù)的幀或不連續(xù)的幀中的一種，并有m+n+q≥2，r+s≥1。
2、根據(jù)權(quán)利要求1所述的一種深度圖像序列處理方法，其特征在于，所述分析與深度序列圖像對應(yīng)的紋理序列的特征是指分析紋理序列的運(yùn)動(dòng)信息，并提取運(yùn)動(dòng)信息作為特征值。
3、根據(jù)權(quán)利要求1所述的一種深度圖像序列處理方法，其特征在于，依據(jù)所述分析紋理序列所獲得的特征的特征值將待處理幀深度圖像分為需要修正和不需要修正兩部分。
4、根據(jù)權(quán)利要求3所述的一種深度圖像序列處理方法，其特征在于，所述的需要修正的深度圖像部分利用當(dāng)前時(shí)刻前的r幀和當(dāng)前時(shí)刻后的s幀深度圖對當(dāng)前幀進(jìn)行加權(quán)處理以進(jìn)行修正；其中r，s幀是連續(xù)的和是不連續(xù)的中的一種，r，s＝0，1，2……，且r+s≥1。
5、一種深度圖像序列處理方法，其特征在于，在編碼端，通過分析與深度序列對應(yīng)的紋理序列，獲得用于改善深度序列連續(xù)性的參數(shù)，其中，參數(shù)包括f、m、n、q、r、s、wi的全部或部分，并將其載于碼流中；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。
6、一種深度圖像序列處理方法，其特征在于，在解碼端
(1)依據(jù)碼流中提供的參數(shù)；
(2)分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀圖像，并提取相關(guān)特征；
(3)結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀；
(4)對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性；
碼流中提供的參數(shù)包括f、m、n、q、r、s、wi中的全部或部分；各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重。
7、一種深度圖像序列處理裝置，其特征在于該裝置包括緩存器、特征分析模塊和特征處理與修正模塊，所述緩存器分別與特征分析模塊和特征處理與修正模塊相連接，特征分析模塊與特征處理與修正模塊相連接，所述特征分析模塊用于分析所述的紋理序列，以獲得相關(guān)的特征信息，處理修正模塊能夠依據(jù)特征信息對深度序列進(jìn)行相應(yīng)的處理和修正。
8、一種深度圖像序列處理裝置，其特征在于該裝置包括緩存器、紋理圖像序列特征分析模塊、深度圖像序列特征分析模塊和特征處理與修正模塊以及控制支路，所述緩存器分別與紋理、深度特征分析模塊和特征處理與修正模塊相連接，紋理、深度特征分析模塊與特征處理與修正模塊相連接，所述紋理特征分析模塊用于分析所述的紋理序列，以獲得相關(guān)的特征信息，所述深度特征分析模塊用于分析所述的深度序列，處理修正模塊能夠依據(jù)紋理和深度特征信息對深度序列進(jìn)行相應(yīng)的處理和修正，各控制支路依據(jù)碼流中的控制信息決定各個(gè)模塊工作所需的參數(shù)。
9、一種深度圖像序列處理裝置，其特征在于該裝置包括緩存器、紋理序列特征分析模塊、參數(shù)修正模塊，緩存器分別與紋理序列特征分析模塊和參數(shù)修正模塊相連，紋理序列特征分析模塊與參數(shù)修正模塊雙向相連；所述紋理特征分析模塊用于分析所述的紋理序列，以獲得相關(guān)的特征信息，參數(shù)修正模塊根據(jù)紋理序列特征值和深度序列對參數(shù)f、m、n、q、r、s、wi進(jìn)行修正，各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重；修正過的參數(shù)返回特征分析模塊，以上步驟進(jìn)行N次(N＝1，2……)后，將最終全部或部分參數(shù)載于編碼碼流。
10、一種深度圖像序列處理裝置，其特征在于該裝置包括緩存器、紋理序列特征分析模塊、深度序列特征分析模塊、參數(shù)修正模塊，緩存器分別與紋理序列特征分析模塊、深度序列特征分析模塊和參數(shù)修正模塊相連，紋理序列特征分析模塊與參數(shù)修正模塊雙向相連，深度序列特征分析模塊與參數(shù)修正模塊雙向相連；所述紋理特征分析模塊用于分析所述的紋理序列，以獲得相關(guān)的特征信息，所述深度特征分析模塊用于分析所述的深度序列，以獲得相關(guān)的特征信息，參數(shù)修正模塊根據(jù)紋理序列特征值和深度序列特征值以及深度序列對參數(shù)f、m、n、q、r、s、wi進(jìn)行修正，各參數(shù)取值意義如下f＝1，0；f＝1代表當(dāng)前處理塊組使用增強(qiáng)深度序列連續(xù)性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的紋理序列的幀數(shù)；n＝0，1；n＝1代表使用增強(qiáng)算法時(shí)參考當(dāng)前幀，n＝0表示不使用當(dāng)前幀；r＝0，1，2……，s＝0，1，2……；r、s分別代表使用增強(qiáng)算法時(shí)參考當(dāng)前時(shí)刻之前、之后的深度序列的幀數(shù)；并有m+n+q≥2，r+s≥1；wi是m、n、q、r、s對應(yīng)幀的權(quán)重；修正過的參數(shù)返回特征分析模塊，以上步驟進(jìn)行N次(N＝1，2……)后，將最終全部或部分參數(shù)載于編碼碼流。
全文摘要
本發(fā)明屬于數(shù)據(jù)信息處理技術(shù)領(lǐng)域，特別是涉及一種深度圖像序列處理的方法及裝置；分析與深度序列圖像對應(yīng)的紋理序列中當(dāng)前時(shí)刻前的m幀、當(dāng)前時(shí)刻n幀以及當(dāng)前時(shí)刻之后的q幀圖像，并提取相關(guān)特征；結(jié)合深度序列中當(dāng)前時(shí)刻之前的r幀和當(dāng)前時(shí)刻之后的s幀對當(dāng)前幀深度圖像進(jìn)行處理，最終實(shí)現(xiàn)增強(qiáng)深度圖像序列時(shí)域的連續(xù)性，實(shí)現(xiàn)上述方法的裝置主要由緩存器、特征分析模塊和特征處理/修正模塊構(gòu)成，所述緩存器分別與特征分析模塊和特征處理/修正模塊相連接，特征分析模塊與特征處理/修正模塊相連接；具有適用范圍廣、處理方法靈活，能夠合理利用紋理序列和深度序列之間的相關(guān)性以及紋理序列時(shí)間上的相關(guān)性改善深度序列的相關(guān)性；提高3DTV虛擬視生成的質(zhì)量和深度序列壓縮編碼的效率。
文檔編號(hào)H04N13/00GK101521829SQ20091009603
公開日2009年9月2日 申請日期2009年1月23日 優(yōu)先權(quán)日2009年1月23日
發(fā)明者露 虞, 傅德良, 寅 趙, 熊聯(lián)歡 申請人:浙江大學(xué), 華為技術(shù)有限公司