幀內(nèi)編碼的預(yù)測(cè)值派生的方法和裝置的制造方法
【專(zhuān)利說(shuō)明】幀內(nèi)編碼的預(yù)測(cè)值派生的方法和裝置
[0001]【交叉參考相關(guān)引用】
[0002] 本發(fā)明要求2013年4月11日申請(qǐng)的序列號(hào)為61/810,797,標(biāo)題為"Method Of Deriving the Predicting Value in Intra Coding"的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)，該美 國(guó)臨時(shí)專(zhuān)利申請(qǐng)?jiān)诖巳坎⑷雲(yún)⒖肌?【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及三維和多視圖視頻編碼。特別地，本發(fā)明涉及使用簡(jiǎn)化的深度編碼的 深度編碼。 【【背景技術(shù)】】
[0004] 近年來(lái)，三維（3D)電視已經(jīng)成為一種技術(shù)趨勢(shì)，其致力于帶給觀眾生動(dòng)的觀看體 驗(yàn)。多視圖視頻是一種俘獲和描繪3D視頻的技術(shù)。多視圖視頻通過(guò)同時(shí)使用多個(gè)相機(jī)俘 獲一個(gè)場(chǎng)景來(lái)典型地創(chuàng)建，其中多個(gè)相機(jī)合適地放置以便每個(gè)照相機(jī)從一個(gè)視圖俘獲此場(chǎng) 景。具有與視圖關(guān)聯(lián)的大量視頻序列的多視圖視頻表示大數(shù)量數(shù)據(jù)。因此，多視圖視頻將 要求較大存儲(chǔ)空間以?xún)?chǔ)存和/或較高的帶寬以傳送。因此，多視圖視頻編碼技術(shù)已經(jīng)在本 領(lǐng)域發(fā)展以減少所要求的存儲(chǔ)空間和傳送帶寬。在三維和多視圖編碼系統(tǒng)中，文本數(shù)據(jù)以 及深度數(shù)據(jù)被編碼。
[0005] 對(duì)于深度圖，簡(jiǎn)化的深度編碼（Simplified Depth Coding，SDC)，其也稱(chēng)作分段 式（segment-wise)DC編碼，是備選的幀內(nèi)編碼模式。SDC是否使用由在編碼單元（Coding Unit，CU)級(jí)的SDC旗標(biāo)標(biāo)示（signal)。對(duì)于SDC，深度塊由現(xiàn)有的幀內(nèi)模式或深度模型模 式1來(lái)進(jìn)行幀內(nèi)預(yù)測(cè)。SDC編碼的CU的分割大小通常是2Nx2N，并因此不需要在比特流中 標(biāo)示關(guān)于SDC編碼的CU的塊大小。此外，SDC編碼的殘值依據(jù)深度塊是否分為一個(gè)或兩個(gè) 片段來(lái)由一個(gè)或兩個(gè)常數(shù)殘值來(lái)表示，而不是編碼為量化轉(zhuǎn)換系數(shù)。
[0006] 根據(jù)基于HEVC (3D-HEVC)的現(xiàn)存的三維視頻編碼，特定信息為SDC編碼的塊來(lái)標(biāo) 示。標(biāo)示的信息包含：
[0007] 1.當(dāng)前塊的分割/預(yù)測(cè)類(lèi)型。可能的值是
[0008] i.DC(直流；1 片段）
[0009] ii. DMM(深度模型編碼模式）模式1-明確楔（Explicit Wedgelets) (2個(gè)片段）
[0010] iii.平面（1 片段）。
[0011] 2.對(duì)于DMM，附加的預(yù)測(cè)信息被編碼。
[0012] 3.對(duì)于每個(gè)結(jié)果片段，殘值（在像素域）在比特流中被標(biāo)示。
[0013] 在深度編碼過(guò)程中，深度殘值被映射到限制的深度值，其呈現(xiàn)在原始深度圖。限制 的深度值由深度查找表（DLT)表示。因此，殘值可以由標(biāo)示指向此查找表的條目的索引來(lái) 編碼。呈現(xiàn)在深度圖中的深度值通常限制于小于可以由深度俘獲裝置表示的總數(shù)的數(shù)目。 因此，DLT的使用可減少殘值幅度要求的位深度。此映射表發(fā)送到解碼器，以便從索引到有 效的深度值的反向查找表可以在解碼器執(zhí)行。
[0014] 在編碼器側(cè)，即將被編碼進(jìn)比特流的殘值索引仁_根據(jù)以下來(lái)確定：
[0015]
(1)
[0016] 其中(1_表示確定用于深度塊的原始深度值，d ^表示預(yù)測(cè)深度值，以及I (.)表 示索引查找表。計(jì)算后的殘值索引Ilresl然后與重要旗標(biāo)、符號(hào)旗標(biāo)以及殘值索引的幅度的
K立一起編碼，其中dvalld表示有效的深度值的數(shù)目以及是對(duì)應(yīng)于不小于X的最 小整數(shù)的上取整函數(shù)。
[0017] 深度查找表利用深度圖的稀疏特性（sparse property)，其中僅僅全部可用的深 度范圍（例如，2s)的少數(shù)深度值將典型地呈現(xiàn)在深度圖中。在編碼器，動(dòng)態(tài)深度查找表通 過(guò)分析輸入序列的多個(gè)幀（例如，一個(gè)幀內(nèi)期間）來(lái)構(gòu)建。此深度查找表在編碼過(guò)程中使 用以減少殘值信號(hào)的有效信號(hào)位深度。
[0018] 為了重建查找表，編碼器從即將編碼的輸入視頻序列讀取預(yù)定義數(shù)目的幀，并掃 描所有樣本用于深度值的出現(xiàn)。在此過(guò)程中，基于原始未壓縮的深度圖生成將深度值映射 到現(xiàn)存的深度值的映射表。
[0019] 深度查找表D (.)、索引查找表1 (.)、深度映射表M(.)以及有效的深度值的數(shù)目 dvalld由分析深度圖D ,的以下過(guò)程派生：
[0020] 1.初始化
[0021] ?對(duì)于所有深度值d，布爾向量B (d) = PALSE
[0022] ?索引計(jì)數(shù)器t = 0。
[0023] 2.對(duì)于多個(gè)時(shí)間段t，處理Dt中的每個(gè)像素位置p :
[0024] ?設(shè)置B (Dt (P) )= TRUE以標(biāo)記有效的深度值。
[0025] 3.計(jì)算B (d)中TRUE值的數(shù)目。結(jié)果設(shè)置為dvalld的值。
[0026] 4.對(duì)于每個(gè) d，B (d) = = TRUE :
[0027] ?設(shè)置 D(t) = d，
[0028] ?設(shè)置 M(d)=d，
[0029] ?設(shè)置 I (d) = t，以及
[0030] · t = t+l〇
[0031] 5.對(duì)于每個(gè) d，B (d) = = FALSE :
[0032] ?找出
[0033] ?設(shè)置
[0034] 6.設(shè)置
[0035] 如上所述，在現(xiàn)存的SDC中的存在三個(gè)類(lèi)型的分割和預(yù)測(cè)。對(duì)于三個(gè)類(lèi)型的分割 和預(yù)測(cè)的相應(yīng)過(guò)程描述于下。
[0036] DC ：
[0037] -DC預(yù)測(cè)值（預(yù)測(cè)深度值（dprad))使用上邊塊和左側(cè)塊的所有直接鄰近樣本的平 均值來(lái)從相鄰塊預(yù)測(cè)。
[0038] DMM 模式：
[0039] -邊緣信息是由起始/結(jié)束側(cè)和對(duì)應(yīng)索引來(lái)定義。
[0040] -如圖1所示，每個(gè)片段的DC預(yù)測(cè)值（預(yù)測(cè)深度值（d_d))由相鄰深度值來(lái)預(yù)測(cè)。 兩個(gè)深度塊（110和120)顯示于圖1，其中每個(gè)塊由虛線所示分割成兩個(gè)片段。塊110的 重建后的相鄰深度樣本由參考112和114來(lái)指示，塊120的重建后的相鄰深度樣本由參考 122和124來(lái)指示。
[0041] 平面：
[0042] -如圖2所示生成平面模式的預(yù)測(cè)符。如圖2A所示，線性?xún)?nèi)插用于為右側(cè)列和底 部行生成預(yù)測(cè)符。對(duì)于右側(cè)列，線性?xún)?nèi)插是基于在A和Z的深度值。對(duì)于底部行，線性?xún)?nèi)插 是基于在B和Z的深度值。在右側(cè)列和底部行被內(nèi)插后，如圖2B所示，剩余深度位置的預(yù) 測(cè)符是使用來(lái)自四側(cè)的四個(gè)相應(yīng)深度樣本來(lái)雙向線性?xún)?nèi)插的。
[0043] -DC預(yù)測(cè)值（預(yù)測(cè)深度值（d_d))是平面模式的預(yù)測(cè)符的平均。
[0044] 在以上派生過(guò)程中，預(yù)測(cè)樣本參考由幀內(nèi)編碼模式生成的預(yù)測(cè)后的值，其可以是 現(xiàn)有3D-HEVC中的DC模式、DMM模式1或平面模式。在解碼器側(cè)的DC模式的重建過(guò)程圖示 于圖3。當(dāng)前深度塊（310)的DC預(yù)測(cè)值（PredDC)基于相鄰的重建后的深度值來(lái)確定。在 圖3,原始深度值顯示于當(dāng)前深度塊（310)。殘值通過(guò)將反向查找應(yīng)用在所接收的殘值索引 上來(lái)獲得。當(dāng)前深度塊的重建后的深度值（RecDC)通過(guò)將殘值加上PredDC來(lái)獲得。重建 后的深度值（RecDC)然后用于當(dāng)前重建后的深度塊（320)的所有深度樣本。
[0045] 在解碼器側(cè)的DMM模式1的重建過(guò)程圖示于圖4。當(dāng)前深度塊（410)分割成兩個(gè) 片段。當(dāng)前深度塊（410)的兩個(gè)片段的DC預(yù)測(cè)值（PrecWJP Pred De2)是基于相應(yīng)相鄰重建 后的深度值確定的。在圖4中，原始深度值顯示于當(dāng)前深度塊（410)。殘值（residualJP residual是通過(guò)在所接收的殘值索引上應(yīng)用反向查找而獲得的。當(dāng)前深度塊的兩個(gè)片段 的重建后的深度值（Rec w^P Recwn)是分別通過(guò)將residual 1加 Predwn以及將residual 2加 Predre2獲得的。重建后的深度值（Recwn和Recwn)然后用于當(dāng)前重建后的深度塊（420) 的兩個(gè)相應(yīng)片段中的所有深度樣本。
[0046] 在解碼器側(cè)的平面模式的重建過(guò)程圖示于圖5。當(dāng)前深度塊（510)的DC預(yù)測(cè)值 (Pred re)是基于當(dāng)前深度塊的預(yù)測(cè)深度值的平均值來(lái)確定的。當(dāng)前深度塊的預(yù)測(cè)深度值是 基于相鄰重建后