圖像預(yù)測(cè)處理方法和相關(guān)設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及圖像預(yù)測(cè)方法和相關(guān)設(shè)備。
【背景技術(shù)】
[0002]目前，在視頻編碼和解碼框架中，混合編碼結(jié)構(gòu)通常用于視頻序列的編碼和解碼。
[0003]混合編碼結(jié)構(gòu)的編碼端通常包括預(yù)測(cè)、變換、量化和熵編碼等?；旌暇幋a結(jié)構(gòu)的解碼端通常包括:熵解碼、反量化、反變換和預(yù)測(cè)補(bǔ)償?shù)?。在視頻編碼和解碼框架中，視頻序列中的圖像通常劃分成圖像塊來(lái)進(jìn)行編碼。一幅圖像可被劃分成若干圖像塊。
[0004]目前預(yù)測(cè)技術(shù)通常包含幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)兩種技術(shù)。幀內(nèi)預(yù)測(cè)技術(shù)利用當(dāng)前圖像塊的空間像素信息去除當(dāng)前圖像塊的冗余信息以獲得殘差。幀間預(yù)測(cè)技術(shù)利用當(dāng)前圖像塊鄰近的已編碼或已解碼圖像像素信息去除當(dāng)前圖像塊的冗余信息以獲得殘差。在幀間預(yù)測(cè)技術(shù)里，用于幀間預(yù)測(cè)的當(dāng)前圖像塊鄰近的圖像被稱為參考圖像。
[0005]幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)均涉及塊劃分(block partit1ning)技術(shù)，S卩可將一個(gè)圖像塊劃分成多于一個(gè)的區(qū)域(partit1n)，然后再以所述區(qū)域?yàn)閱挝贿M(jìn)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)。其中，常用的塊劃分方式兩種，一種是將一個(gè)方形圖像塊沿水平或垂直方向劃分成兩個(gè)矩形區(qū)域(rectangular partit1n)，例如圖1-a和圖l_b舉例所不，圖Ι-a和圖Ι-b所不舉例中，方形圖像塊分別沿水平與垂直方向劃分成兩個(gè)矩形區(qū)域。此外，另一種塊劃分方式是可沿任意角度將一個(gè)方形圖像塊劃分成兩個(gè)非矩形區(qū)域(non-rectangular partit1n)，具體可以例如圖1-c舉例所示。
[0006]三維視頻編解碼涉及了深度圖的編解碼，其中，深度圖可反映場(chǎng)景內(nèi)物體到相機(jī)的距離，深度圖具有與自然圖像(例如紋理圖像/彩色圖像)完全不同的特性。首先，深度圖由大部分的平坦區(qū)域和少部分的銳利邊緣組成。其次是深度圖的用途不是直接用來(lái)觀看的，而是用作視點(diǎn)合成的輔助工具。傳統(tǒng)編碼工具在深度圖像的平坦部分有很高的壓縮效率，在銳利邊緣區(qū)域會(huì)帶來(lái)較大的編碼誤差，直接導(dǎo)致合成的虛擬視點(diǎn)中有較大失真。為了在壓縮平坦區(qū)域同時(shí)更好的保護(hù)邊緣部分，深度圖像建模模式(DMM，Depth Map Modelingmode)作為一種可選的幀內(nèi)預(yù)測(cè)模式被引入到三維視頻編解碼框架中。
[0007]三維視頻編解碼過(guò)程也可使用塊劃分技術(shù)。例如在三維視頻的深度圖的編解碼技術(shù)中，楔形(wedgelet)劃分是一種常用方法。其原理是圖像塊經(jīng)塊劃分技術(shù)可劃分成兩個(gè)具有任意形狀的區(qū)域之后，每個(gè)區(qū)域使用一個(gè)預(yù)測(cè)值進(jìn)行編碼和解碼操作。對(duì)深度圖進(jìn)行編解碼通常需要使用到楔形查詢模板集，每種尺寸的圖像塊均需要對(duì)應(yīng)的楔形查詢模板集，每種尺寸的圖像塊的楔形查詢模板集中可包括多個(gè)二值化分塊模板。
[0008]現(xiàn)有技術(shù)中，每種尺寸的圖像塊的楔形查詢模板集中通常包括極其大量的二值化分塊模板，例如尺寸為4x4的圖像塊的楔形查詢模板集中通常包括86個(gè)二值化分塊模板，又例如尺寸為8x8的圖像塊的楔形查詢模板集中通常包括766個(gè)二值化分塊模板，尺寸為16x16的圖像塊的楔形查詢模板集中通常包括1350個(gè)二值化分塊模板。
[0009]并且，每種尺寸的圖像塊的楔形查詢模板集通常都是通過(guò)該尺寸的圖像塊的楔形參考模板集來(lái)得到，每種尺寸的圖像塊的楔形參考模板集中二值化分塊模板的數(shù)量更為巨大?，F(xiàn)有技術(shù)中，編解碼端都需要存儲(chǔ)各種尺寸的圖像塊的楔形查詢模板集。由于每種尺寸的圖像塊的楔形查詢模板集中均包括了較大量二值化分塊模板，因此存儲(chǔ)各種尺寸的圖像塊的楔形查詢模板集勢(shì)必將較大的增加視頻編解碼設(shè)備的復(fù)雜度。例如存儲(chǔ)各種尺寸的圖像塊的楔形查詢模板集會(huì)占用較多的存儲(chǔ)空間進(jìn)而會(huì)增加編解碼設(shè)備的負(fù)擔(dān)。

【發(fā)明內(nèi)容】

[0010]本發(fā)明實(shí)施例提供圖像預(yù)測(cè)方法和相關(guān)設(shè)備，以期降低編解碼設(shè)備存儲(chǔ)楔形查詢模板集所需存儲(chǔ)空間。
[0011]本發(fā)明實(shí)施例第一方面提供一種圖像預(yù)測(cè)方法，包括:
[0012]獲取尺寸為N*M的圖像塊的楔形查詢模板集；
[0013]對(duì)所述尺寸為N*M的圖像塊的楔形查詢模板集之中的K個(gè)二值化分塊模板進(jìn)行下采樣處理以得到K個(gè)下采樣處理后的二值化分塊模板，所述K大于O的整數(shù)；
[0014]將得到的所述K個(gè)下采樣處理后的二值化分塊模板添加到尺寸為P*Q的圖像塊的楔形查詢模板集中，利用所述尺寸為P*Q的圖像塊的楔形查詢模板集對(duì)尺寸為P*Q的圖像塊進(jìn)行預(yù)測(cè);其中，所述N和所述M為正整數(shù)，N/P等于2的正整數(shù)倍，M/Q等于2的正整數(shù)倍。
[0015]結(jié)合第一方面，在第一方面的第一種可能的實(shí)施方式中，
[0016]所述下采樣處理所使用的X方向的下采樣偏移量xOffset為小于所述N/P且大于或者等于O的整數(shù)。
[0017]結(jié)合第一方面或第一方面的第一種可能的實(shí)施方式，在第一方面的第二種可能的實(shí)施方式中，
[0018]所述下采樣處理所使用的y方向的下采樣偏移量yOffset為小于所述M/Q且大于或者等于O的整數(shù)。
[0019]結(jié)合第一方面或第一方面的第一種至第二種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第三種可能的實(shí)施方式中，在二值化分塊模板i的楔形分割方向?yàn)榉指罘较騛的情況下，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset為小于所述N/P且大于或者等于O的整數(shù)，和/或，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset為小于所述M/Q且大于或者等于O的整數(shù)；
[0020]其中，所述二值化分塊模板i為所述尺寸為N*M的圖像塊的楔形查詢模板集中的任意I個(gè)二值化分塊模板，所述分割方向a為左上方向、右上方向、左下方向、右下方向、左右方向或上下方向。
[0021]結(jié)合第一方面的第三種可能的實(shí)施方式，在第一方面的第四種可能的實(shí)施方式中，在所述分割方向a為左右方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的左半部分的情況下，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset;
[0022]或者，
[0023]在所述分割方向a為左右方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的右半部分的情況下，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量XOffset，不等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOf fset；
[0024]或者，
[0025]在所述分割方向a為上下方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的上半部分的情況下，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset;
[0026]或者，
[0027]在所述分割方向a為上下方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的下半部分的情況下，對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，不等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOf fset。
[0028]結(jié)合第一方面或第一方面的第一種至第三種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第五種可能的實(shí)施方式中，所述下采樣處理所使用的X方向的下采樣偏移量xOffset，不等于所述下采樣處理所使用的y方向的下采樣偏移量yOffset。
[0029]結(jié)合第一方面或第一方面的第一種至第五種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第六種可能的實(shí)施方式中，所述對(duì)所述尺寸為N*M的圖像塊的楔形查詢模板集之中的K個(gè)二值化分塊模板進(jìn)行下采樣處理以得到K個(gè)下采樣處理后的二值化分塊模板包括:基于如下公式，對(duì)所述尺寸為N*M的圖像塊的楔形查詢模板集之中的K個(gè)二值化分塊模板進(jìn)行下采樣處理以得到K個(gè)下采樣處理后的二值化分塊模板；
[0030]ffedPattern_P*Q[i][x][y]=
[0031 ] ffedPattern_N*M[i][(χ<<1)+x0ffset][(y〈〈I)+yOffset]
[0032]其中，所述X表示X方向的坐標(biāo)，所述y表示y方向的坐標(biāo)，所述i表示楔形查詢模板集中二值化分塊模板的編號(hào)，所述WedPattern_P*Q[i][x][y]表示所述尺寸為P*Q的圖像塊的楔形查詢模板集中的二值化分塊模板i中的坐標(biāo)為(x，y)的像素點(diǎn)的下采樣結(jié)果，所述yOf f s e t表示y方向的下采樣偏移量，所述xOf f s e t表示x方向的下采樣偏移量。
[0033]結(jié)合第一方面或第一方面的第一種至第六種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第七種可能的實(shí)施方式中，所述N/P等于所述M/Q。
[0034]結(jié)合第一方面或者第一方面的第一種至第七種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第八種可能的實(shí)施方式中，所述N/P等于2或4。
[0035]結(jié)合第一方面或者第一方面的第一種至第八種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第九種可能的實(shí)施方式中，
[0036]所述N等于所述M，且所述N等于2的正整數(shù)次冪。
[0037]結(jié)合第一方面或者第一方面的第一種至第九種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第十種可能的實(shí)施方式中，所述K個(gè)二值化分塊模板為所述尺寸為N*M的圖像塊的楔形查詢模板集之中的全部二值化分塊模板。
[0038]結(jié)合第一方面或者第一方面的第一種至第十種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第十一種可能的實(shí)施方式中，所述楔形查詢模板集為楔形查詢模板表。
[0039]結(jié)合第一方面或者第一方面的第一種至第十一種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第一方面的第十二種可能的實(shí)施方式中，所述圖像預(yù)測(cè)方法用于視頻編碼過(guò)程中或視頻解碼過(guò)程中。
[0040]本發(fā)明實(shí)施例第二方面提供一種圖像預(yù)測(cè)裝置，包括:
[0041]獲取單元，用于獲取尺寸為N*M的圖像塊的楔形查詢模板集；
[0042]下采樣處理單元，用于對(duì)所述尺寸為N*M的圖像塊的楔形查詢模板集之中的K個(gè)二值化分塊模板進(jìn)行下采樣處理以得到K個(gè)下采樣處理后的二值化分塊模板，所述K大于O的整數(shù)；
[0043]添加單元，用于將得到的所述K個(gè)下采樣處理后的二值化分塊模板添加到尺寸為P*Q的圖像塊的楔形查詢模板集中；
[0044]預(yù)測(cè)單元，用于利用所述尺寸為P*Q的圖像塊的楔形查詢模板集對(duì)尺寸為P*Q的圖像塊進(jìn)行預(yù)測(cè)；其中，所述N和所述M為正整數(shù)，其中，N/P等于2的正整數(shù)倍，M/Q等于2的正整數(shù)倍。
[0045]結(jié)合第二方面，在第二方面的第一種可能的實(shí)施方式中，所述下采樣處理單元下采樣處理所使用的X方向的下采樣偏移量xOffset為小于所述N/P且大于或者等于O的整數(shù)。
[0046]結(jié)合第二方面或第二方面的第一種可能的實(shí)施方式，在第二方面的第二種可能的實(shí)施方式中，所述下采樣處理單元下采樣處理所使用的y方向的下采樣偏移量yOffset為小于所述M/Q且大于或者等于O的整數(shù)。
[0047]結(jié)合第二方面或第二方面的第一種至第二種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第三種可能的實(shí)施方式中，在二值化分塊模板i的楔形分割方向?yàn)榉指罘较騛的情況下，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset為小于所述N/P且大于或者等于O的整數(shù)，和/或，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset為小于所述M/Q且大于或者等于O的整數(shù)；
[0048]其中，所述二值化分塊模板i為所述尺寸為N*M的圖像塊的楔形查詢模板集中的任意I個(gè)二值化分塊模板，所述分割方向a為左上方向、右上方向、左下方向、右下方向、左右方向或上下方向。
[0049]結(jié)合第二方面的第三種可能的實(shí)施方式，在第二方面的第四種可能的實(shí)施方式中，在所述分割方向a為左右方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的左半部分的情況下，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset;
[0050]或者，
[0051 ]在所述分割方向a為左右方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的右半部分的情況下，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，不等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset;
[0052]或者，
[0053]在所述分割方向a為上下方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的上半部分的情況下，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量XOffset，等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset;
[0054]或者，
[0055]在所述分割方向a為上下方向，且所述二值化分塊模板i的楔形分割線位于所述二值化分塊模板i的下半部分的情況下，所述下采樣處理單元對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的X方向的下采樣偏移量xOffset，不等于對(duì)所述二值化分塊模板i進(jìn)行下采樣處理所使用的y方向的下采樣偏移量yOffset。
[0056]結(jié)合第二方面或第二方面的第一種至第三種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第五種可能的實(shí)施方式中，所述下采樣處理單元下采樣處理所使用的X方向的下采樣偏移量xOffset，不等于所述下采樣處理所使用的y方向的下采樣偏移量 yOffset。
[0057]結(jié)合第二方面或第二方面的第一種至第五種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第六種可能的實(shí)施方式中，所述下采樣處理單元具體用于，基于如下公式，對(duì)所述尺寸為N*M的圖像塊的楔形查詢模板集之中的K個(gè)二值化分塊模板進(jìn)行下采樣處理以得到K個(gè)下采樣處理后的二值化分塊模板；
[0058]ffedPattern_P*Q[i][x][y]=
[0059]ffedPattern_N*M[i][(χ<<1)+x0ffset][(y〈〈I)+yOffset]
[0060]其中，所述X表示X方向的坐標(biāo)，所述y表示y方向的坐標(biāo)，所述i表示楔形查詢模板集中二值化分塊模板的編號(hào)，所述WedPattern_P*Q[i][x][y]表示所述尺寸為P*Q的圖像塊的楔形查詢模板集中的二值化分塊模板i中的坐標(biāo)為(x，y)的像素點(diǎn)的下采樣結(jié)果，所述yOf f s e t表示y方向的下采樣偏移量，所述xOf f s e t表示x方向的下采樣偏移量。
[0061]結(jié)合第二方面或第二方面的第一種至第六種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第七種可能的實(shí)施方式中，所述N/P等于所述M/Q。
[0062]結(jié)合第二方面或者第二方面的第一種至第七種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第八種可能的實(shí)施方式中，所述N/P等于2或4。
[0063]結(jié)合第二方面或者第二方面的第一種至第八種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第九種可能的實(shí)施方式中，
[0064]所述N等于所述M，且所述N等于2的正整數(shù)次冪。
[0065]結(jié)合第二方面或者第二方面的第一種至第九種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第十種可能的實(shí)施方式中，所述K個(gè)二值化分塊模板為所述尺寸為N*M的圖像塊的楔形查詢模板集之中的全部二值化分塊模板。
[0066]結(jié)合第二方面或者第二方面的第一種至第十種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第十一種可能的實(shí)施方式中，所述楔形查詢模板集為楔形查詢模板表。
[0067]結(jié)合第二方面或者第二方面的第一種至第十一種可能的實(shí)施方式中的任意一種可能的實(shí)施方式，在第二方面的第十二種可能的實(shí)施方式中，所述圖像預(yù)測(cè)裝置用于視頻編碼裝置中或視頻解碼裝置中。
[0068]本發(fā)明實(shí)施例第三方面提供一種模板處理裝置，包括:
[0069]處理器和存儲(chǔ)器；
[0070]其中，所述處理器通過(guò)調(diào)用所述存儲(chǔ)器中的代碼或指令以用于，獲取尺寸為N*M的圖像塊的楔形查詢模板集;對(duì)所述尺