針對(duì)多層視頻編碼的層間參考圖片增強(qiáng)的制作方法
【專利說明】針對(duì)多層視頻編碼的層間參考圖片增強(qiáng)
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年4月5日提交的美國臨時(shí)專利申請(qǐng)No. 61/809, 115,2013年4 月16日提交的美國臨時(shí)專利申請(qǐng)No. 61/812, 687以及2013年7月11日提交的美國臨時(shí) 專利申請(qǐng)No. 61/845, 318的權(quán)益，所述申請(qǐng)的內(nèi)容通過引用結(jié)合于此。
【背景技術(shù)】
[0003] 在過去的二十多年，數(shù)字視頻壓縮技術(shù)已經(jīng)被開發(fā)并且標(biāo)準(zhǔn)化以使得能夠進(jìn)行有 效數(shù)字視頻通信、分發(fā)和消費(fèi)。大多數(shù)商業(yè)上廣泛部署的標(biāo)準(zhǔn)由IS0/IEC和ITU-T開發(fā)，諸 如MPEG-2和H. 264 (MPEG-4部分10)。由于視頻壓縮技術(shù)的出現(xiàn)和成熟，開發(fā)了高效視頻編 碼（HEVC)。
[0004] 隨著智能電話和平板電腦兩者在分辨率和計(jì)算能力上的增長，附加的視頻應(yīng)用， 諸如視頻聊天、移動(dòng)視頻記錄和共享以及視頻流傳送需要在多樣環(huán)境中進(jìn)行視頻傳輸?？?慮各種消費(fèi)者設(shè)備（例如PC、智能電話、平板電腦、TV等）的場景，諸如3屏和N屏，可以允 許在計(jì)算能力、內(nèi)存/存儲(chǔ)大小、顯示分辨率、顯示幀速率等方面上由廣泛不同能力的設(shè)備 上的視頻消費(fèi)。網(wǎng)絡(luò)和傳輸信道在分組丟失率、可用信道帶寬、突發(fā)差錯(cuò)率等方面上具有廣 泛不同的特性。視頻數(shù)據(jù)可以在有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的組合上傳送，這進(jìn)一步使得潛在的 傳輸信道特性復(fù)雜化。
[0005] 可伸縮（scalable)視頻編碼提供了改善在多樣網(wǎng)絡(luò)上在具有不同能力的設(shè)備上 運(yùn)行的視頻應(yīng)用體驗(yàn)質(zhì)量的方案?？缮炜s視頻編碼可以以最高表述（representation)(例 如時(shí)間分辨率、空間分辨率、質(zhì)量等）編碼信號(hào)一次，并且使得能夠根據(jù)在客戶端設(shè)備上運(yùn) 行的應(yīng)用所需要的特定速率和表述從視頻流的子集中解碼?？缮炜s視頻編碼相比于非可伸 縮方案節(jié)省帶寬和存儲(chǔ)。視頻標(biāo)準(zhǔn)，諸如但不限于MPEG-2視頻、H. 263、MPEG4視覺和H. 264， 具有支持可伸縮的一些模式的工具和/或簡檔。

【發(fā)明內(nèi)容】

[0006] 提供了用于實(shí)現(xiàn)視頻編碼方法的系統(tǒng)、方法和設(shè)施。視頻設(shè)備（例如其可以包括 編碼器和/或解碼器）可以生成包括一個(gè)或多個(gè)層間參考（E-ILR)塊的E-ILR圖片，從而 例如協(xié)助預(yù)測(cè)可伸縮比特流的增強(qiáng)層（EL)圖片（例如和/或EL塊）。視頻設(shè)備可以接收 E-ILR使能標(biāo)記，該E-ILR使能標(biāo)記例如可以指示解碼器來執(zhí)行E-ILR處理。例如視頻設(shè)備 可以使用差分增強(qiáng)方法生成E-ILR塊。視頻設(shè)備可以包括被配置成執(zhí)行以下中的一者或多 者的處理器。所述處理器可以基于與由第二時(shí)間實(shí)例表征的第二基層圖片相關(guān)聯(lián)的基層運(yùn) 動(dòng)信息確定第一時(shí)間實(shí)例。所述基層運(yùn)動(dòng)信息包括下采樣基層塊和/或上采樣基層塊的運(yùn) 動(dòng)信息類別和/或運(yùn)動(dòng)向量。
[0007] 所述處理器可以從由所述第一時(shí)間實(shí)例表征的增強(qiáng)層圖片的塊中減去由所述第 一時(shí)間實(shí)例表征的第一基層圖片的塊以生成由所述第一時(shí)間實(shí)例表征的差分塊。所述第一 基層圖片的塊可以是第一基層圖片的上采樣塊或下采樣塊。所述處理器可以在所述差分塊 上執(zhí)行運(yùn)動(dòng)補(bǔ)償。所述運(yùn)動(dòng)補(bǔ)償可以例如根據(jù)基層和增強(qiáng)層之間的空間速率使用與第二基 層圖片的塊相關(guān)聯(lián)的基層運(yùn)動(dòng)信息（例如伸縮的基層運(yùn)動(dòng)信息）在差分塊上執(zhí)行。
[0008] 所述處理器可以將運(yùn)動(dòng)補(bǔ)償后的差分塊乘以權(quán)重。所述權(quán)重大于或等于零且小于 或等于1。所述處理器給運(yùn)動(dòng)補(bǔ)償后的差分塊添加偏移。所述處理器可以將運(yùn)動(dòng)補(bǔ)償后的 差分塊添加到由所述第二時(shí)間實(shí)例表征的第二基層圖片的塊上以生成由所述第二時(shí)間實(shí) 例表征的E-ILR塊。所述第二基層圖片的塊可以是第二基層圖片的上采樣塊或下采樣塊。 所述處理器可以生成包括E-ILR塊的由第二時(shí)間實(shí)例表征的E-ILR圖片。所述處理器可以 使用由第二時(shí)間實(shí)例表征的E-ILR圖片和/或上采樣基層圖片來預(yù)測(cè)由所述第二時(shí)間實(shí)例 表征的增強(qiáng)層圖片。
[0009] 視頻設(shè)備可以使用剩余增強(qiáng)方法來生成E-ILR塊。視頻設(shè)備可以包括被配置成執(zhí) 行以下中的一者或多者的處理器。所述處理器可以基于與由第二時(shí)間實(shí)例表征的第二基層 圖片相關(guān)聯(lián)的基層運(yùn)動(dòng)信息確定第一時(shí)間實(shí)例。
[0010] 所述處理器可以從所述第二基層圖片的塊中減去由所述第一時(shí)間實(shí)例表征的第 一基層圖片的塊以生成剩余。所述處理器可以在剩余上執(zhí)行運(yùn)動(dòng)補(bǔ)償。所述運(yùn)動(dòng)補(bǔ)償可以 使用與第二基層圖片相關(guān)聯(lián)的基層運(yùn)動(dòng)信息而在剩余上執(zhí)行。所述處理器可以將所述剩余 乘以權(quán)重。所述處理器給所述剩余添加偏移。
[0011] 所述處理器將所述剩余添加到由所述第一時(shí)間實(shí)例表征的增強(qiáng)層圖片的塊上以 生成由所述第二時(shí)間實(shí)例表征的增強(qiáng)型層間參考（E-ILR)塊。所述處理器可以生成包括所 述E-ILR塊的由所述第二時(shí)間實(shí)例表征的E-ILR圖片。所述處理器可以使用由第二時(shí)間實(shí) 例表征的E-ILR圖片和/或上采樣基層圖片來預(yù)測(cè)由所述第二時(shí)間實(shí)例表征的增強(qiáng)層圖 片。第一基層圖片的塊可以是第一基層圖片的上采樣塊或下采樣塊。第二基層圖片的塊可 以是第二基層圖片的上采樣塊或下采樣塊。
[0012] 視頻設(shè)備可以使用雙向預(yù)測(cè)生成層間參考?jí)K（例如E-ILR塊）。視頻設(shè)備可以包 括被配置成執(zhí)行以下中的一者或多者的處理器。所述處理器可以基于與由第三時(shí)間實(shí)例表 征的第三基層圖片相關(guān)聯(lián)的第一基層運(yùn)動(dòng)信息確定第一時(shí)間實(shí)例。所述處理器可以基于與 由第三時(shí)間實(shí)例表征的第三基層圖片相關(guān)聯(lián)的第二基層運(yùn)動(dòng)信息確定第二時(shí)間實(shí)例。所述 處理器可以使用由所述第一時(shí)間實(shí)例表征的第一基層圖片的塊和由所述第二時(shí)間實(shí)例表 征的第二基層圖片的塊來生成由所述第三時(shí)間實(shí)例表征的增強(qiáng)型層間參考（E-ILR)塊。所 述第一基層圖片的塊可以是第一基層圖片的上采樣塊或下采樣塊。所述第二基層圖片的塊 可以是第二基層圖片的上采樣塊或下采樣塊。
[0013] 所述處理器可以被配置成將所述第一基層圖片的塊添加到所述第二基層圖片的 塊以創(chuàng)建組合基層塊來生成E-ILR塊。所述處理器可以將組合基層塊除以二以生成平均基 層塊。所述處理器可以將由所述第一時(shí)間實(shí)例表征的第一增強(qiáng)層圖片的塊添加到由第二時(shí) 間實(shí)例表征的第二增強(qiáng)層圖片的塊以創(chuàng)建組合增強(qiáng)層塊。所述處理器將所述組合增強(qiáng)層塊 除以二以生成平均增強(qiáng)層塊。所述處理器將平均基層塊從平均增強(qiáng)層塊中減去以生成差分 塊。所述處理器可以在差分塊上執(zhí)行運(yùn)動(dòng)補(bǔ)償。所述處理器將運(yùn)動(dòng)補(bǔ)償后的差分塊乘以權(quán) 重。所述處理器將運(yùn)動(dòng)補(bǔ)償后的差分塊添加到由第三時(shí)間實(shí)例表征的基層圖片的塊以生成 E-ILR塊。所述第三基層圖片的塊可以是第三基層圖片的上采樣塊或下采樣塊。
【附圖說明】
[0014] 圖1是具有N層的示例可伸縮視頻編碼系統(tǒng)的圖示。
[0015] 圖2是針對(duì)使用多層視頻編碼的立體（例如2視圖）視頻編碼的時(shí)間和層間預(yù)測(cè) 的示例的圖示。
[0016] 圖3是示例單層編碼器的圖示。
[0017] 圖4是示例單層解碼器的圖示。
[0018] 圖5是示例兩層可伸縮編碼器的圖示。
[0019] 圖6是示例兩層可伸縮解碼器的圖示。
[0020] 圖7是層間圖片（ILP)處理和管理單元的示例的圖示。
[0021] 圖8是層間參考圖片的示例布置的圖示。
[0022] 圖9是使用單向預(yù)測(cè)編碼塊生成E-ILR塊的示例的圖示。
[0023] 圖10是使用差分圖片和單向預(yù)測(cè)編碼快生成E-ILR塊的示例的圖示。
[0024] 圖11是使用雙向預(yù)測(cè)編碼塊生成E-ILR塊的示例的圖示。
[0025] 圖12是建立針對(duì)單向預(yù)測(cè)模式將參考索引映射到權(quán)重列表中的索引的查找表的 示例的流程圖。
[0026] 圖13是建立針對(duì)雙向預(yù)測(cè)模式將參考索引映射到權(quán)重列表中的索引的查找表的 示例的流程圖。
[0027] 圖14是計(jì)算針對(duì)單向預(yù)測(cè)模式的權(quán)重估計(jì)的示例的流程圖。
[0028] 圖15是計(jì)算針對(duì)雙向預(yù)測(cè)模式的權(quán)重估計(jì)的示例的流程圖。
[0029] 圖16是用于ILR增強(qiáng)的基于區(qū)域的權(quán)重的示例的圖示。
[0030] 圖17是在參考圖片列表中的增強(qiáng)ILR圖片的示例布置的圖示。
[0031] 圖18是用于塊模式編碼的掃描模式的示例圖示。
[0032] 圖19是利用水平掃描編碼的2D地圖的示例圖示。
[0033] 圖20A是可以在其中實(shí)現(xiàn)一個(gè)或多個(gè)所公開的實(shí)施方式的示例通信系統(tǒng)的系統(tǒng) 圖。
[0034] 圖20B是示例無線發(fā)射/接收單元（WTRU)的系統(tǒng)圖，其中所述WTRU可以在如圖 20A所示的通信系統(tǒng)中使用。
[0035] 圖20C是示例無線電接入網(wǎng)絡(luò)和示例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述示例核心網(wǎng)絡(luò) 可以在如圖20A所示的通信系統(tǒng)中使用。
[0036] 圖20D是另一不例無線電接入網(wǎng)絡(luò)和另一不例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述不例 核心網(wǎng)絡(luò)可以在如圖20A所示的通信系統(tǒng)中使用。
[0037] 圖20E是另一不例無線電接入網(wǎng)絡(luò)和另一不例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述不例 核心網(wǎng)絡(luò)可以在如圖20A所示的通信系統(tǒng)中使用。
【具體實(shí)施方式】
[0038] 現(xiàn)在參照各種附圖對(duì)示例實(shí)施方式進(jìn)行具體地描述。然而本描述提供了可能實(shí)施 方式的具體示例，應(yīng)當(dāng)理解的是這些細(xì)節(jié)意在示例性并且絕不限制本申請(qǐng)的范圍。此外，附 圖描述了意在示例性的流程圖。其它實(shí)施方式被使用。所述消息的次序可以在合適時(shí)變化。 如果不需要所述消息時(shí)，則可以刪除該消息，并且可以增加附加流。
[0039] 視頻標(biāo)準(zhǔn)，諸如但不限于MPEG-2視頻、Η. 263、MPEG4視覺和Η. 264,可以具有支持 可伸縮的一些模式的工具和/或簡檔。高效視頻編碼（HEVC)可伸縮擴(kuò)展可以支持空間伸 縮（例如可伸縮比特流包括多于一種空間分辨率的信號(hào)）和/或質(zhì)量伸縮（例如可伸縮比 特流包括多于一種質(zhì)量級(jí)別的信號(hào)）。MPEG可以支持視圖伸縮（例如可伸縮比特流包括2D 和3D視頻彳目號(hào)）。
[0040] 圖1是具有N層的示例可伸縮視頻編碼系統(tǒng)100的圖示。由層1 (例如基層）表 示的空間和/或時(shí)間信號(hào)分辨率可以在下采樣器101處由輸入視頻信號(hào)120的下采樣來生 成。在編碼器121的編碼階段，量化器（例如Q 1)的適當(dāng)設(shè)置可以導(dǎo)致編碼后的基層比特流 122的特定質(zhì)量級(jí)別。為了編碼一個(gè)或多個(gè)較高層，例如基層重構(gòu)（例如Y 1),可以在對(duì)較 高層的編碼和/或解碼中使用較高層分辨率級(jí)別的近似。編碼后的基層可以由解碼器123 解碼以創(chuàng)建基層重構(gòu)信號(hào)。上采樣單元110可以執(zhí)行基層重構(gòu)信號(hào)到層2的分辨率的上采 樣。上采樣后的基層重構(gòu)信號(hào)可以隨后從輸入視頻信號(hào)120的下采樣版本中減去。例如，輸 入視頻信號(hào)120可以在下采樣器102處被下采樣并且隨后上采樣后的基層重構(gòu)信號(hào)可以在 124從下采樣后的輸入視頻信號(hào)中減去以生成差分信號(hào)。差分信號(hào)可以在層2編碼器125 處被編碼以創(chuàng)建層2比特流126。下采樣和上采樣可以通過每個(gè)層（例如層1，2,…N)來 執(zhí)行。下采樣和上采樣率可以根據(jù)兩個(gè)給定層之間的伸縮維度而有所不同。
[0041] 如圖1所示，對(duì)于較高層η(例如2 < η < N)，差分信號(hào)可以通過將上采樣后的較 低層信號(hào)（例如層n-Ι信號(hào)）從當(dāng)前層η信號(hào)中減去來生成，并且差分信號(hào)可以被編碼。如 果由兩個(gè)層（例如nl和π2)表示的視頻信號(hào)具有相同空間分辨率，則對(duì)應(yīng)的下采樣和上采 樣操作可以被繞過。層η(例如KnSN)或者多個(gè)層可以在不使用來自較高層的解碼信 息的情況下被解碼。依據(jù)對(duì)除了基層之外的每個(gè)層的剩余信號(hào)（例如兩個(gè)層之間的差分信 號(hào)）的編碼，如由在圖1中的系統(tǒng)中所使用的，會(huì)引發(fā)視覺偽像。視覺偽像可以由量化和/ 或歸一化剩余信號(hào)以限制其動(dòng)態(tài)范圍的過程、在對(duì)剩余進(jìn)行編碼期間執(zhí)行的附加量化和/ 或因?yàn)樵谑Ｓ嘈盘?hào)中的運(yùn)動(dòng)估計(jì)與常規(guī)運(yùn)動(dòng)估計(jì)不同而引發(fā)。
[0042] 可伸縮視頻編碼（SVC)是Η. 264的擴(kuò)展，其使得能夠進(jìn)行部分比特流的編碼、傳輸 和/或解碼以提供具有較低時(shí)間分辨率、較低空間分辨率、降低的保真度和/或類似的，而 例如同時(shí)給定該部分比特流的速率，保留相對(duì)高的重構(gòu)質(zhì)量。SVC的設(shè)計(jì)特征可以被稱作單 循環(huán)解碼。在單循環(huán)解碼中，SVC解碼器可以在正被解碼的層建立運(yùn)動(dòng)補(bǔ)償循環(huán)，并且在其 他較低層不必建立運(yùn)動(dòng)補(bǔ)償循環(huán)。例如，如果比特流包括兩層，層1 (例如基層）和層2 (例 如增強(qiáng)層），并且解碼器重構(gòu)層2視頻，則解碼后的圖片緩沖和/或運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)可以 針對(duì)層2建立（例如不針對(duì)層1，層2依賴的基層）。SVC可以不必具有來自較低層的將被 完全重構(gòu)的參考圖片。這種建立可以降低解碼器處的計(jì)算復(fù)雜性和/或存儲(chǔ)復(fù)雜性。單循 環(huán)解碼可以通過受限的層間紋理預(yù)測(cè)來實(shí)現(xiàn)，其中例如對(duì)于給定層中的當(dāng)前塊，如果相應(yīng) 較低層塊在受約束的內(nèi)部模式中編碼，在來自較低層的空間紋理預(yù)測(cè)可以被允許。當(dāng)較低 層塊在內(nèi)部模式中編碼時(shí)，其可以被重構(gòu)，無需運(yùn)動(dòng)補(bǔ)償操作和/或解碼后的圖片緩沖。
[0043] SVC可以使用附加層間預(yù)測(cè)，諸如來自較低層的運(yùn)動(dòng)向量預(yù)測(cè)、剩余預(yù)測(cè)、模式預(yù) 測(cè)等，從而例如提高增強(qiáng)層的率失真效率。層間預(yù)測(cè)可以指圖片級(jí)ILP、塊級(jí)ILP和/或類 似的。盡管單循環(huán)解碼可以降低解碼器處的計(jì)算復(fù)雜性和/或存儲(chǔ)復(fù)雜性，但是單循環(huán)解 碼通過嚴(yán)重依賴塊級(jí)層間預(yù)測(cè)方法來達(dá)到滿意的性能增加了實(shí)現(xiàn)復(fù)雜性。為了補(bǔ)償由強(qiáng) 加單循環(huán)解碼限制引起的性能代價(jià)，編碼器設(shè)計(jì)和計(jì)算復(fù)雜性會(huì)被增加由此達(dá)到期望的性 能。
[0044] 多視圖視頻編碼（MVC)是H. 264的擴(kuò)展。MVC可以提供視圖伸縮。在視圖伸縮中， 基層比特流被解碼以重構(gòu)常規(guī)2D視頻。附加增強(qiáng)層可以被解碼以重構(gòu)相同視頻信號(hào)的其 他視圖表示。當(dāng)每個(gè)視圖被組合到一起并且由合適的3D顯示來顯示時(shí)，用戶可以例如以適 當(dāng)?shù)纳疃雀兄w驗(yàn)3D視頻。
[0045] 圖2是針對(duì)使用MVC來編碼具有左視圖（例如層1) 201和右視圖（例如層2) 202 的立體視頻的示例預(yù)測(cè)結(jié)構(gòu)200的圖示。圖2中左視圖視頻201可以利用IBBP預(yù)測(cè)結(jié)構(gòu) 被編碼。右視圖視頻202可以利用IBBP預(yù)測(cè)結(jié)構(gòu)被編碼。在右視圖202中，與左視圖201 中的第一 I圖片204共存的第一圖片203可以被編碼為P圖片。右視圖202中的其他圖片 可以被編碼為B圖片，例如第一預(yù)測(cè)來自右視圖202的時(shí)間參考，并且第二預(yù)測(cè)來自左視圖 201的層間參考。立體3D TV(例如使用3D眼鏡）可以顯示3D內(nèi)容（例如電影、體育直播 等）。不像SVC，MVC可以不支持單循環(huán)解碼特征。對(duì)右視圖（例如層2)視頻202解碼可以 使用可用的左視圖（例如層1)視頻201中的圖片，例如如圖2中所示。由此，運(yùn)動(dòng)補(bǔ)償循 環(huán)可以在兩個(gè)視圖/層中執(zhí)行。MVC可以包括高級(jí)別語義改變和/或不包含對(duì)H. 264/AVC 的任何塊級(jí)改變。MVC可以通過擴(kuò)展圖2中的示例來支持對(duì)多于兩個(gè)視圖的編碼從而執(zhí)行 多個(gè)視圖間的層間預(yù)測(cè)。
[0046] 3D視頻（例如立體3D視頻）可以包括兩個(gè)視圖，例如左視圖和右視圖。立體3D 視頻內(nèi)容傳遞可以通過將兩個(gè)視圖封包和/或復(fù)用到一個(gè)幀（例如其可以被稱作幀兼容） 中并且利用標(biāo)準(zhǔn)（例如H.264/AVC)壓縮和傳送被封包的視頻來實(shí)現(xiàn)。在接收機(jī)側(cè)，在解碼 后，幀可以被解包和顯示為兩個(gè)視圖。視圖的復(fù)用可以在時(shí)間域和/或空間域中執(zhí)行。當(dāng) 在空間域中執(zhí)行時(shí)，兩個(gè)視圖可以由因子2空間下采樣并且通過各種布置來封包以例如維 持相同的圖片大小。例如，并排布置可以將下采樣后的左視圖放在圖片的左半邊并且將下 采樣后的右視圖放在圖片的右半邊。其他布置可以包括頂和底、逐行、棋牌等等。特定布置 可以被用于實(shí)現(xiàn)幀兼容3D視頻并且通過幀封包布置SEI消息來傳達(dá)。盡管這種布置可以 利用帶寬需求上最小的增量（例如，可能會(huì)有一些增加，因?yàn)楸环獍膸赡茈y以壓縮）實(shí) 現(xiàn)3D傳遞，空間下采樣可能會(huì)造成視圖上的混淆，并可能會(huì)降低3D視頻的視覺質(zhì)量和用戶 體驗(yàn)?？缮炜s擴(kuò)展可以被提供給幀兼容（例如兩個(gè)視圖被封包到相同幀中）基層視頻，以 及一個(gè)或多個(gè)增強(qiáng)層被提供從而為改善的3D體驗(yàn)恢復(fù)全分辨率視圖。使得能夠進(jìn)行全分 辨率MFC的潛在技術(shù)可以被關(guān)聯(lián)到空間伸縮技術(shù)。
[0047] 3D可伸縮視頻編碼，其稱作3DV，可以被提供。自動(dòng)立體顯示和應(yīng)用可以允許沒有 眼鏡情況下的3D體驗(yàn)。為了實(shí)現(xiàn)沒有眼鏡情況下的3D體驗(yàn)，需要多于兩個(gè)視圖。編碼多 個(gè)視圖（例如9個(gè)視圖或10個(gè)視圖）可能很昂貴。對(duì)具有相對(duì)大的差距的更少視圖（例 如2或3個(gè)視圖）與提供視圖的深度信息的深度地圖一起編碼的混合方法可以被提供。在 顯示側(cè)，被編碼的視圖和深度地圖可以被解碼，剩余視圖可以使用解碼后的視圖和使用視 圖綜合技術(shù)的其深度地圖來生成。3DV可以使用各種方法，例如使用H. 264/AVC、MVC和或 HEVC標(biāo)準(zhǔn)的組合來編碼視圖和深度地圖?；鶎涌梢岳靡环N標(biāo)準(zhǔn)（例如H.264/AVC)被編 碼并且一個(gè)或多個(gè)增強(qiáng)層可以利用另一標(biāo)準(zhǔn)（例如HEVC)編碼。
[0048] 表1描述了此處討論的伸縮的類型，以及支持這些伸縮的相應(yīng)標(biāo)準(zhǔn)。如表1中描 述，比特-深度伸縮和色度格式伸縮可以被綁定到視頻格式（例如高于8比特視頻和高于 YUV4:2:0的色度采樣格式）。
[0049] 表 1
[0050]
[0051]
[0052] 提供了各種設(shè)計(jì)用于HEVC可伸縮擴(kuò)展。例如，HEVC可伸縮擴(kuò)展可以是基于層間 參考（ILR)圖片（例如其可以被稱作RefIdx)和/或基于ILR塊（例如，其可以被稱作 IntraBL)。RefIdx可以添加層間預(yù)測(cè)（ILP)過程以生成層間參考圖片。RefIdx可能不使 用低級(jí)別改變用于增強(qiáng)層（EL)編碼和/或解碼過程。EL編解碼器設(shè)計(jì)可以再次使用單層 HEVC編解碼器，例如進(jìn)行一些高級(jí)別改變（例如參考列表構(gòu)造）。IntraBL可以在編碼塊級(jí) 別添加編碼模式以利用來自基層的包括重構(gòu)的圖片和運(yùn)動(dòng)的信息。
[0053] 在基于層間預(yù)測(cè)的過程（例如其可以是RefIdx的過程）中，一個(gè)或多個(gè)層間參考 (ILR)圖片可以從一個(gè)或多個(gè)基層（BL)重構(gòu)圖片中生成。ILR圖片可以被標(biāo)記為用于EL 編碼和解碼的長期參考圖片。ILP過程可以包括將BL重構(gòu)圖片上采樣到EL的分辨率。ILP 過程可以包括將BL運(yùn)動(dòng)信息（例如時(shí)間上共存的BL圖片的）映射到ILR圖片的那些上。 各種技術(shù)，諸如但并不限于交叉平面濾波、邊緣引導(dǎo)的處理等等，可以被用于改善上采樣后 的ILR圖片質(zhì)量。運(yùn)動(dòng)映射技術(shù)可以被用于改善被用于EL的運(yùn)動(dòng)預(yù)測(cè)的ILR圖片的運(yùn)動(dòng) 信息。ILR圖片可以被用于預(yù)測(cè)例如共存（例如時(shí)間共存）EL圖片之類的EL圖片的預(yù)測(cè)。
[0054] ILR圖片的高頻信號(hào)由于在BL處丟失并由此不被包括在上采樣后的BL參考圖片 中的高頻信息，可能不會(huì)通過使用上采樣后的BL重構(gòu)圖片（例如僅BL重構(gòu)圖片）來恢復(fù)。 丟失的高頻信息可能由于當(dāng)生成BL源圖片（例如在編碼器側(cè)）時(shí)，例如在兩個(gè)層具有不同 的空間分辨率時(shí)，對(duì)輸入視頻流從高分辨率信號(hào)到基層的分辨率的降采樣。丟失的高頻信 息可能由于當(dāng)編碼來自輸入視頻流的BL時(shí)執(zhí)行的量化。在EL處的時(shí)間重構(gòu)圖片可以具有 高頻信息（例如高頻信息的一部分）。由此，高頻信息可以使用EL時(shí)間重構(gòu)圖片來恢復(fù)。
[0055] RefIdx框架中的差分編碼可以被使用。差分圖片可以通過從重構(gòu)的EL圖片（例 如共存重構(gòu)EL圖片）中減去上采樣后的BL圖片