Hevc擴(kuò)展的層間參數(shù)集的制作方法
【專(zhuān)利說(shuō)明】HEVC擴(kuò)展的層間參數(shù)集
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年6月18日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No. 61/836,552, 2013年 6月19日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No.61/837, 116, 2013年6月27日提交的美國(guó)臨時(shí)專(zhuān) 利申請(qǐng)No. 61/840, 380和2013年7月30日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No. 61/860, 221的權(quán) 益，其內(nèi)容通過(guò)引用合并于此。
【背景技術(shù)】
[0003] 數(shù)字視頻壓縮技術(shù)，例如，提高數(shù)字視頻通信效率、分布和/或消耗的高效能視頻 編碼肥VC，正不斷的發(fā)展。與傳統(tǒng)數(shù)字視頻服務(wù)（例如，TV信號(hào)）相比，視頻應(yīng)用可W被部 署在異構(gòu)環(huán)境中。運(yùn)種異構(gòu)性可存在于客戶端側(cè)W及網(wǎng)絡(luò)側(cè)?？缮炜s的視頻編碼機(jī)制可被 用于一次性地在高分辨率編碼視頻信號(hào)，但可W允許根據(jù)具體應(yīng)用要求的和/或客戶端設(shè) 備支持的特定的速率和分辨率對(duì)流子集進(jìn)行解碼。
[0004] 提供一種包括可伸縮的視頻編碼技術(shù)的視頻壓縮技術(shù)W改進(jìn)終端用戶體驗(yàn)和/ 或服務(wù)質(zhì)量。例如，可伸縮的視頻編碼可通過(guò)一個(gè)或多個(gè)參數(shù)集由高級(jí)語(yǔ)法設(shè)計(jì)來(lái)實(shí)現(xiàn)。 但是，被用信號(hào)發(fā)送的參數(shù)集和語(yǔ)法元素可能無(wú)效率地耗費(fèi)可貴的通信帶寬和/或處理資 源。

【發(fā)明內(nèi)容】

[0005] 提供一種系統(tǒng)、方法和手段W實(shí)現(xiàn)視頻數(shù)據(jù)處理。視頻編碼設(shè)備接收多個(gè)視頻表 征（representation)格式子集。視頻編碼設(shè)備可W接收多個(gè)視頻表征格式子集的計(jì)數(shù)。多 個(gè)視頻表征格式子集對(duì)應(yīng)于多個(gè)層。例如，多個(gè)視頻表征格式子集中的第一視頻表征格式 子集對(duì)應(yīng)于第一層，多個(gè)視頻表征格式子集中的第二視頻表征格式子集對(duì)應(yīng)于第二層或多 層。
[0006] 多個(gè)視頻表征子集中的每一個(gè)可W包括一個(gè)或多個(gè)視頻表征參數(shù)值。參數(shù)值可W 包括亮度樣本中圖像寬度的指示、亮度樣本中圖像高度的指示、一個(gè)或多個(gè)亮度數(shù)組樣本 (oneormoresamplesofaIumaarray)的比特深度的指示、一個(gè)或多個(gè)色度數(shù)組樣本 (oneormoresamplesofaC虹omaarray)的比特深度的指示、或者色度格式索引的指示 中的至少一個(gè)。
[0007] 視頻編碼設(shè)備可W接收與當(dāng)前層關(guān)聯(lián)的視頻表征格式子集索引。例如，視頻表征 格式子集索引可W在跨層參數(shù)集和/或序列參數(shù)集SPS中被接收。
[0008] 視頻編碼設(shè)備可W通過(guò)使用視頻表征格式子集索引來(lái)確定與當(dāng)前層關(guān)聯(lián)的多個(gè) 視頻表征格式子集中的一個(gè)視頻表征格式子集。
[0009] 視頻編碼設(shè)備可朗尋活動(dòng)參考層的數(shù)目和直接參考層的數(shù)量進(jìn)行比較?；诨顒?dòng) 參考層的數(shù)目和直接參考層的數(shù)目的比較，視頻編碼設(shè)備可W確定是否在切片級(jí)報(bào)頭中包 括活動(dòng)參考層的指示。
[0010] 視頻編碼設(shè)備可包括用于層間預(yù)測(cè)的圖像的指示，例如，如果活動(dòng)參考層的數(shù)目 不等于直接參考層的數(shù)目。視頻編碼設(shè)備可W忽略用于層間預(yù)測(cè)的圖像的指示，例如，如果 活動(dòng)參考層的數(shù)目等于直接參考層的數(shù)目。
[0011] 視頻解碼設(shè)備可W接收包含一個(gè)或多個(gè)層的比特流。在接收到的比特流中的活 動(dòng)參考層數(shù)目不等于直接參考層數(shù)目的條件下，視頻解碼設(shè)備可W接收層間預(yù)測(cè)層語(yǔ)法元 素。層間預(yù)測(cè)層語(yǔ)法元素指示參考圖像層標(biāo)識(shí)（ID)列表，參考圖像層標(biāo)識(shí)列表可W被當(dāng)前 層的當(dāng)前圖像用于層間預(yù)測(cè)。
[0012] 視頻解碼設(shè)備可W得到層間預(yù)測(cè)層語(yǔ)法元素，例如，如果活動(dòng)參考層的數(shù)目等于 直接參考層的數(shù)目。層間預(yù)測(cè)層語(yǔ)法元素可W根據(jù)當(dāng)前層的直接參考層的層ID被推斷出。
【附圖說(shuō)明】
[0013] 圖1A-1C是示出層間參數(shù)集示例的語(yǔ)法表。
[0014] 圖2A-2C是示出簡(jiǎn)化的序列參數(shù)集示例的語(yǔ)法表。
[0015] 圖3是示出簡(jiǎn)化的序列參數(shù)集擴(kuò)展示例的語(yǔ)法表。
[0016] 圖4是示出從層間參數(shù)集合中得到視頻編碼和/或解碼參數(shù)的示例過(guò)程。
[0017] 圖5示出了參考圖像的裁剪示例。
[0018] 圖6A是在其中一個(gè)或更多個(gè)公開(kāi)的實(shí)施例可得W實(shí)現(xiàn)的示例通信系統(tǒng)的系統(tǒng) 圖。
[0019] 圖6B是可在圖6A所示的通信系統(tǒng)中使用的示例無(wú)線發(fā)射/接收單元（WTRU)的 系統(tǒng)圖。
[0020] 圖6C是可在圖6A所示的通信系統(tǒng)中使用的示例無(wú)線電接入網(wǎng)和示例核屯、網(wǎng)的系 統(tǒng)圖。
[0021] 圖抓是可在圖6A所示的通信系統(tǒng)中使用的另一示例無(wú)線電接入網(wǎng)和示例核屯、網(wǎng) 的系統(tǒng)圖。
[0022] 圖6E是可在圖6A所示的通信系統(tǒng)中使用的另一示例無(wú)線電接入網(wǎng)和示例核屯、網(wǎng) 的系統(tǒng)圖。
【具體實(shí)施方式】
[0023] W下結(jié)合多個(gè)附圖詳細(xì)描述示例性實(shí)施例。雖然該描述提供了可能的實(shí)施的具體 實(shí)例，但應(yīng)注意到運(yùn)些細(xì)節(jié)只是示范性的并不限制本申請(qǐng)的范圍。
[0024] 在視頻編碼系統(tǒng)中，在客戶端設(shè)備側(cè)，多屏場(chǎng)景中，例如，具有變化的屏幕尺寸和/ 或顯示能力的智能電話、平板電腦、PC、皿TV等等設(shè)備上消耗視頻內(nèi)容預(yù)計(jì)將繼續(xù)。在通信 網(wǎng)絡(luò)側(cè)，視頻可W通過(guò)因特網(wǎng)、WiFi網(wǎng)絡(luò)、移動(dòng)通信網(wǎng)絡(luò)（例如，3G，4G等等）中的一個(gè)或多 個(gè)，或者是其中的組合進(jìn)行傳輸。
[0025] 為了改進(jìn)用戶體驗(yàn)（例如，對(duì)于客戶端設(shè)備的終端用戶）和/或視頻服務(wù)質(zhì)量，可 伸縮的視頻編碼可W被執(zhí)行?；诳缮炜s的視頻編碼，視頻信號(hào)可W-次性地在高分辨率 下被編碼。運(yùn)種視頻信號(hào)可W從一個(gè)多個(gè)與視頻信號(hào)關(guān)聯(lián)的視頻流的一個(gè)或多個(gè)子集中被 解碼，例如，根據(jù)特定應(yīng)用需求的和/或客戶端支持的特定速率和/或分辨率。分辨率可 W包括一個(gè)或多個(gè)視頻參數(shù)，例如空間分辨率（例如，圖像尺寸），時(shí)間分辨率（例如，帖速 率）和視頻質(zhì)量（例如，主觀質(zhì)量，例如平均意見(jiàn)值M0S，和/或客觀質(zhì)量，例如峰值信號(hào)噪 聲比PSNR，結(jié)構(gòu)相似度指數(shù)SSIM，或視頻質(zhì)量度量VQM)。其他被使用的視頻參數(shù)還包括色 度格式（例如，YUV420,YUV422,或YUV444)，比特深度（例如，8比特或10比特視頻），復(fù)雜 度，視點(diǎn)，域（例如，色域），和/或畫(huà)面比例（例如，16:9或4:如。
[0026] 視頻標(biāo)準(zhǔn)包括支持可伸縮模式的工具和/或輪廓。例如，高效能視頻編碼被配置 W支持可伸縮的視頻編碼。肥VC的可伸縮擴(kuò)展可W支持空間可伸縮性（例如，可伸縮比特 流可W包括在多于一個(gè)的空間分辨率上的相應(yīng)信號(hào)），質(zhì)量可伸縮性（例如，可伸縮比特流 可W包括在多于一個(gè)質(zhì)量水平上的相應(yīng)信號(hào)），和標(biāo)準(zhǔn)可伸縮性（例如，可伸縮比特流可W 包括使用比264/AVC編碼的基礎(chǔ)層和使用肥VC編碼的一個(gè)或多個(gè)增強(qiáng)層）中的一個(gè)或多 個(gè)?？缮炜s視頻可W被擴(kuò)展到3D視頻，例如，多視點(diǎn)可伸縮性被執(zhí)行（例如，可伸縮比特流 可W包括2D和3D視頻信號(hào)）。應(yīng)注意到的是，雖然可伸縮肥VC設(shè)計(jì)的各個(gè)方面可W包括 空間和/或質(zhì)量可伸縮性的使用，如同在此描述的，但是在此描述的技術(shù)可W應(yīng)用到一個(gè) 或多個(gè)的其他可伸縮類(lèi)型。
[0027] 肥VC的可伸縮擴(kuò)展（S肥VC)可W根據(jù)基于參考索引的框架被執(zhí)行?；趨⒖妓饕?的框架可W在塊級(jí)別和/或低于塊級(jí)別上維持操作不變，W使單層編解碼器邏輯可W在采 用該框架的可伸縮編碼系統(tǒng)中被重用，基于參考索引的框架可W簡(jiǎn)化可伸縮編解碼器的設(shè) 計(jì)。運(yùn)種框架可W支持不同的可伸縮性類(lèi)型，例如，通過(guò)結(jié)合高級(jí)語(yǔ)法信令和/或?qū)娱g處理 模塊，W實(shí)現(xiàn)編碼效率。例如，執(zhí)行高級(jí)語(yǔ)法變換W支持層間處理和/或SHVC的多層信令。 例如，可W根據(jù)基于參考索引的框架來(lái)執(zhí)行運(yùn)種語(yǔ)法變換。
[0028] 可伸縮視頻編碼可W支持一個(gè)或多個(gè)層（例如，多層）。每層都可W被設(shè)計(jì)成使能 一個(gè)或多個(gè)空間可伸縮性，時(shí)間可伸縮性，SNR可伸縮性，或其他類(lèi)型的可伸縮性?？缮炜s 比特流可W包括混合可伸縮層，并且為了能夠被解碼，一個(gè)或多個(gè)相應(yīng)增強(qiáng)層可W依賴(lài)一 個(gè)或多個(gè)較低層。層間過(guò)程可W產(chǎn)生層間參考圖像樣本和/或運(yùn)動(dòng)場(chǎng)信息，例如W增強(qiáng)一 個(gè)或多個(gè)增強(qiáng)層的預(yù)測(cè)精確度。
[0029]多個(gè)參數(shù)集被指定給一個(gè)肥VC實(shí)現(xiàn)和/或一個(gè)或多個(gè)相應(yīng)擴(kuò)展。例如，一個(gè)視頻 參數(shù)集可W包括一個(gè)或多個(gè)由多層共享的語(yǔ)法元素?？蒞包括用于比特流提取、能 力交換和/或會(huì)話協(xié)商的信息（例如，最大層數(shù)和/或配置文檔，等級(jí)（tier)和級(jí)別信息 中的一個(gè)或多個(gè)）。
[0030] 序列參數(shù)集SPS可W包括對(duì)一個(gè)或多個(gè)編碼視頻序列中的編碼切片（例如，所有 編碼切片）來(lái)說(shuō)共同的信息，例如，跨越時(shí)間間隔的一系列視頻圖像。該信息可W包括圖像 分辨率，比特深度，編碼塊尺寸等等中的一個(gè)或多個(gè)。
[0031] 圖像參數(shù)集PPS可W包括圖像級(jí)別信息，該信息可W包括初始量化值，編碼工具 使能和/或去使能標(biāo)志等等中的一個(gè)或多個(gè)。PPS中攜帶的信息可W在相當(dāng)長(zhǎng)的持續(xù)時(shí)間 內(nèi)保持不變，例如，多個(gè)圖像的持續(xù)時(shí)間，W使該信息不會(huì)被頻繁的更新?？蒞在切片級(jí)別 上變換的信息可W被包括在切片報(bào)頭中。
[003引一個(gè)或多個(gè)參數(shù)集，例如VPS，SPS和/或PPS可W在帶外傳輸（例如，在一些應(yīng)用 場(chǎng)景中，使用可靠信道）。高級(jí)語(yǔ)法設(shè)計(jì)允許多層參考單個(gè)SPS(例如，相同SP巧。例如，運(yùn) 可W用于多視點(diǎn)和/或SNR可伸縮性。對(duì)于空間可伸縮性，例如由于不同的視頻分辨率，一 個(gè)或多個(gè)層（例如，每層）可W參考相應(yīng)的不同SPS。如果SPS中的一個(gè)或多個(gè)參數(shù)（例 如，大多數(shù)參數(shù)）在多層間是完全相同的，那么通過(guò)刪除運(yùn)種冗余W節(jié)省比特率是可取的。 一個(gè)或多個(gè)運(yùn)樣的參數(shù)可W由多層共享。
[0033] 在節(jié)省比特率的示例性方法中，可W執(zhí)行SI^到SI^預(yù)測(cè)，該預(yù)測(cè)被用于從基礎(chǔ)層 的SPS和/或其他依賴(lài)層的參數(shù)預(yù)測(cè)一個(gè)或多個(gè)增強(qiáng)層SPS參數(shù)，例如可伸縮性列表，參考 圖像集等等。該SPS到SPS的預(yù)測(cè)可W引入不同層之間參數(shù)集的依賴(lài)性。
[0034] 在節(jié)省比特率的另一示例中，可W執(zhí)行到SPS預(yù)測(cè)，該預(yù)測(cè)可W將一個(gè)或多個(gè) 多層間共享的參數(shù)重新設(shè)置（relocate)給VPS，并可W基于VPS中相應(yīng)參數(shù)來(lái)預(yù)測(cè)一個(gè)或 多個(gè)共享SPS參數(shù)（例如，每層的SPS參數(shù)）。
[003引肥VC擴(kuò)展中SPS實(shí)現(xiàn)和/或VPS的設(shè)計(jì)準(zhǔn)則包括如下中的一個(gè)或多個(gè)，VPS可W包括一個(gè)或多個(gè)有利于比特流提取和/或能力交換的參數(shù)。擴(kuò)展中可W包括與解碼圖 像緩存值PB)相關(guān)的參數(shù)。
[0036] 參數(shù)集（例如，層間參數(shù)集IP巧可W通過(guò)在多層間共享的一個(gè)或多個(gè)高級(jí)語(yǔ)法元 素的聚合來(lái)被實(shí)現(xiàn)。一個(gè)或多個(gè)層（例如，每層）可W參考一個(gè)或多個(gè)IPS參數(shù)W節(jié)省相 應(yīng)開(kāi)銷(xiāo)比特。
[0037]IPS可被用于在可伸縮性肥VC視頻編碼系統(tǒng)中，例如，由于IPS可W不在基礎(chǔ)層中 被攜帶，IPS的大小不會(huì)對(duì)基礎(chǔ)層子數(shù)據(jù)流產(chǎn)生影響。IPS,例如，通過(guò)促進(jìn)多層間的一個(gè)或 多個(gè)共享參數(shù)的預(yù)測(cè)，來(lái)提供高級(jí)信令效率。IPS的實(shí)現(xiàn)可W在視頻編碼系統(tǒng)中去除解析依 賴(lài)，例如，由于被典型地放置在不同參數(shù)集中的一個(gè)或多個(gè)參數(shù)可能被包含在同一IPS中， 因而，對(duì)每個(gè)參數(shù)的解析可W不依賴(lài)于其他不同參數(shù)集的解析結(jié)果。
[0038]IPS可W適用于可伸縮性編碼系統(tǒng)中的一個(gè)或多個(gè)增強(qiáng)層，W至于IPSNAL單元 的nuh_layer_id值對(duì)于合格的比特流可W不為0。例如，合格比特流的一個(gè)或多個(gè)IPSNAL 單元的nuh_laye;r_id值可W等于1。
[0039] 圖1A-1C是示出IPS示例的語(yǔ)法表。如圖1A-1C中示出的，IPS可W包括一個(gè)或多 個(gè)參數(shù)并且可W為多層編碼而被專(zhuān)口設(shè)計(jì)。參數(shù)可W包括，例如，max_sublaye;r_化;r_ilp_ plusl和direct_(kpendency_type。由于一個(gè)或多個(gè)層可W共享相同的或非常相似的RPS， IPS可W包括與一個(gè)或多個(gè)層相關(guān)的RPS。
[0040] 起到一個(gè)或多個(gè)相似作用并呈現(xiàn)于SPS中的一個(gè)或多個(gè)參數(shù)可W被分成相應(yīng)的 子集，子集包括視頻格式子集，編碼參數(shù)子集，伸縮列表子集，伸縮偏移子集，或VUI子集中 的一個(gè)或多個(gè)。在IPS中，一個(gè)或多個(gè)子集（例如，每個(gè)子集）可W具有相應(yīng)的多個(gè)參數(shù)值。 運(yùn)樣可W允許增強(qiáng)層通過(guò)在IPS和子集中索引來(lái)參考多個(gè)參數(shù)值。例如，第一視頻格式集 (如，格式0)可W指定72化格式，第二視頻格式集（如，格式1)可W指定108化格式。對(duì) 于具有四層（如，層0為72化層，層1，層2和層3為108化層）的混合空間和/或SNR伸 縮性編碼系統(tǒng)，基礎(chǔ)層（如，層〇)SPS可W參考ips_video_fo;rmat_subset(0)，增強(qiáng)層（如， 層1, 2, 3)可W參考ips_video_fo;rmat_subset(l)。在運(yùn)種示例中，數(shù)量被減少的（例如最 小的）語(yǔ)法元素可W被用信號(hào)發(fā)送W覆蓋多層使用的參數(shù)。
[0041] 下列內(nèi)容用于如圖1A-1C所示的示例IPS語(yǔ)法表的條目，語(yǔ)法元素ips_inter_ laye;r_view_paramete;r_set_id可W標(biāo)識(shí)其他語(yǔ)法元素參考的IPS。語(yǔ)法元素num_video_ fo;rmat_subsets可W指定視頻格式語(yǔ)法結(jié)構(gòu)（ips_video_fo;rmat_subset)的數(shù)量。語(yǔ)法元 素num_coding_param_subsets可W指定編碼參數(shù)語(yǔ)法結(jié)構(gòu)（ips_coding_param_subset) 的數(shù)量。語(yǔ)法元素num_pcm_param_subsets可W指定PCM編碼參數(shù)語(yǔ)法結(jié)構(gòu)（ips_pcm_ param_subset)的數(shù)量。語(yǔ)法元素num_scaling_list_subsets可W指定可伸縮列表結(jié)構(gòu) (ips_scaling_list_subset)的數(shù)量。語(yǔ)法元素num_scaled_ref_layer_offset_subset可 W指定可伸縮參考層偏移結(jié)構(gòu)（ips_scaled_ref_laye;r_offset_subset)的數(shù)量。語(yǔ)法元 素num_vui_param_subsets可從指定VUI參數(shù)結(jié)構(gòu)（ips_vui_param_subset)。
[0042] 一個(gè)或多個(gè)視頻表征格式可W被分成為子集。一個(gè)或多個(gè)子集可W在參數(shù)集 (如，IPS)中被用信號(hào)發(fā)送。子集可W被一個(gè)或多個(gè)層參考。例如，第一層可W參考第一子 集。一個(gè)或多個(gè)層可W參考第二子集。每層可W參考子集的索引來(lái)獲取視頻表征語(yǔ)法值。 一個(gè)或多個(gè)子集，例如，在IPS中，可W被執(zhí)行W進(jìn)一步節(jié)省比特信令I(lǐng)PS語(yǔ)法元素（如，開(kāi) 銷(xiāo)比特）。例如，局限于給定子集的第一組參數(shù)值的參數(shù)值的絕對(duì)值可被用信號(hào)發(fā)送。對(duì) 于參數(shù)值的一個(gè)或多個(gè)后續(xù)集，當(dāng)前參數(shù)值集與先前參數(shù)值集之間相應(yīng)的差值可被用信號(hào) 發(fā)送。為了進(jìn)行說(shuō)明，ips_video_fo;rmat_subset(0)可W指不 720p格式（pic_wi化h_in_ luma_samples被設(shè)置成 1280,pic_height_in_luma_samples被設(shè)置成 720)，ips_video_ fo;rmat_set(l)可^指不IOSOp格式（pic_wi化h_in_luma_samples被設(shè)置成 1920，pic_ height_in_luma_samples被設(shè)置成 1080)。ips_video_format_set(0)與ips_video_ 化rmat_set(l)之間的差值被用信號(hào)發(fā)送，而不是通知1920和1080。按照該示例，針對(duì)寬度 和高度的640和360之間的差值，相應(yīng)地，在ips_video_