參考圖片列表修改信息的有條件信號(hào)通知的制作方法
【專利說(shuō)明】參考圖片列表修改信息的有條件信號(hào)通知
【背景技術(shù)】
[0001] 工程師使用壓縮(也稱為源編碼)來(lái)降低數(shù)字視頻的比特率。壓縮是通過(guò)把視頻信 息轉(zhuǎn)換為較低比特率形式來(lái)減小存儲(chǔ)和傳輸該信息的花費(fèi)。解壓縮(也稱為解碼)從壓縮的 形式重建原始信息的版本。"編解碼器（codec)"是編碼器/解碼器系統(tǒng)。
[0002] 過(guò)去二十年來(lái)，已采用了各種視頻編解碼器標(biāo)準(zhǔn)，包括H. 261、H. 262 (MPEG-2或 IS0/IEC 13818-2)、比 263 和 H.264 (AVC 或 IS0/IEC 14496-10)標(biāo)準(zhǔn) W 及 MPEG-1 (ISO/ IEC 11172-2)、MPEG-4 Visual (IS0/IEC 14496-2)和 SMPTE 421M 標(biāo)準(zhǔn)。最近，肥VC 標(biāo)準(zhǔn) 正處在開(kāi)發(fā)中。視頻編解碼器標(biāo)準(zhǔn)典型地規(guī)定用于編碼的視頻比特流的語(yǔ)法的任選項(xiàng)，詳 細(xì)闡述了當(dāng)在編碼與解碼中使用具體的特征時(shí)在比特流中的參數(shù)。在許多情形下，視頻編 解碼器標(biāo)準(zhǔn)也提供關(guān)于解碼器在解碼中為得到正確結(jié)果而應(yīng)當(dāng)執(zhí)行的解碼操作的細(xì)節(jié)。除 了編解碼器標(biāo)準(zhǔn)W外，各種私有的編解碼器格式還規(guī)定了用于編碼的視頻比特流的語(yǔ)法和 對(duì)應(yīng)的解碼操作的其它任選項(xiàng)。
[0003] 比特流中某些類型的參數(shù)指示關(guān)于在視頻編碼與解碼期間所使用的參考圖片 (reference picture)的信息。參考圖片通常是包含可W在其它圖片的解碼過(guò)程中被使用 于圖片間預(yù)測(cè)的樣本的圖片。典型地，其它圖片在解碼次序上跟隨在參考圖片之后，且將參 考圖片用于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。在某些視頻編解碼器標(biāo)準(zhǔn)和格式中，在給定的時(shí)間可得到多 個(gè)參考圖片來(lái)用于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。該樣的視頻編解碼器標(biāo)準(zhǔn)/格式規(guī)定如何管理多個(gè)參 考圖片。
[0004] 通常，參考圖片列表("RPL")是被使用于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)的參考圖片的列表。在 某些視頻編解碼器標(biāo)準(zhǔn)和格式中，參考圖片集("RPS")是在給定的時(shí)間可得到W供在運(yùn)動(dòng) 補(bǔ)償?shù)念A(yù)測(cè)中使用的參考圖片的集合，而RPL是在RPS中的參考圖片的某些。在RPL中的 參考圖片通過(guò)參考索引被尋址。參考索引標(biāo)識(shí)RPL中的參考圖片。在編碼和解碼期間，RPS 可被更新成計(jì)及新解碼的圖片和不再用作為參考圖片的較老的圖片。另外，在RPL內(nèi)的參 考圖片可被記錄，該樣使得更通常使用的參考圖片通過(guò)用信號(hào)通知（signal)是更有效的參 考索引來(lái)標(biāo)識(shí)。在某些新近的編解碼器標(biāo)準(zhǔn)中，WL在編碼與解碼期間基于可得到的關(guān)于 RPS的信息、按照規(guī)則的修改和/或在比特流中用信號(hào)通知的修改來(lái)被構(gòu)建。用信號(hào)通知用 于RPL的修改可能會(huì)消耗相當(dāng)大的比特量。

【發(fā)明內(nèi)容】

[0005] 簡(jiǎn)要地說(shuō)，本詳細(xì)說(shuō)明給出在用信號(hào)通知參考圖片列表("RPL")修改信息時(shí)的創(chuàng) 新。更一般地，創(chuàng)新設(shè)及不同的方式來(lái)在WL修改信息會(huì)無(wú)用時(shí)或在該樣的信息的值可W 被推斷時(shí)避免WL修改信息的信號(hào)通知。
[0006] 按照該里描述的創(chuàng)新的一個(gè)方面，視頻編碼器評(píng)估一條件。取決于評(píng)估的結(jié)果，編 碼器在比特流中有條件地用信號(hào)通知一標(biāo)志，該標(biāo)志指示W(wǎng)L是否按照比特流中明確地用 信號(hào)通知的語(yǔ)法元素來(lái)修改。對(duì)應(yīng)的視頻解碼器評(píng)估一條件。取決于評(píng)估的結(jié)果，解碼器 從比特流中有條件地解析一標(biāo)志，該標(biāo)志指示W(wǎng)L是否按照比特流中明確地用信號(hào)通知的 語(yǔ)法元素來(lái)修改。在某些示例性實(shí)現(xiàn)中，WL可W是用于預(yù)測(cè)的("P")條帶（slice)或雙向 預(yù)測(cè)的("B")條帶的。替換地，更高級(jí)別的語(yǔ)法結(jié)構(gòu)基于對(duì)條件的評(píng)估而被有條件地用信 號(hào)通知/解析。
[0007] 在某些示例性實(shí)現(xiàn)中，如果WL沒(méi)有被修改，則從WS基于關(guān)于WL構(gòu)建的規(guī)則來(lái) 構(gòu)建缺省的RPL。如果WL被修改，則基于用信號(hào)通知的WL修改信息來(lái)構(gòu)建替換RPL，該 WL修改信息指示對(duì)來(lái)自RPS的參考圖片的選擇。替換地，W更細(xì)粒度（fine-grained)的 方式用信號(hào)通知關(guān)于對(duì)缺省的WL進(jìn)行重新排序、把參考圖片添加到缺省的WL或從缺省 的RPL中去除參考圖片的修改，W便調(diào)整缺省的RPL。
[000引例如，被評(píng)估的條件至少部分取決于指示全部參考圖片的數(shù)目的變量。在某些示 例性實(shí)現(xiàn)中，該條件是變量的值是否大于1。
[0009] 條件可W作為用于包括標(biāo)志的WL修改結(jié)構(gòu)的處理的一部分被評(píng)估?；蛘?，條件 可W作為用于條帶頭的處理的一部分被評(píng)估，在該種情形下，WL修改結(jié)構(gòu)(包括標(biāo)志)取決 于評(píng)估的結(jié)果而被有條件地用信號(hào)通知或解析。
[0010] 按照該里描述的創(chuàng)新的另一個(gè)方面，視頻編碼器評(píng)估另一條件。取決于評(píng)估的結(jié) 果，編碼器在比特流中有條件地用信號(hào)通知用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元素，其指示如 何修改RPL(例如，替換RPL、調(diào)整RPL)。對(duì)應(yīng)的視頻解碼器評(píng)估該條件。取決于評(píng)估的結(jié)果， 解碼器從比特流中有條件地解析用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元素，其指示如何修改RPL (例如，替換RPL、調(diào)整RPL)。在某些示例性實(shí)現(xiàn)中，WL可W用于P條帶或B條帶(使條件評(píng) 估和有條件的信號(hào)通知/解析對(duì)用于B條帶的多個(gè)WL的每個(gè)WL重復(fù)進(jìn)行)。例如，其它 條件至少部分取決于某個(gè)變量，其指示全部參考圖片的數(shù)目、用于RPL的現(xiàn)用（active)參 考圖片的數(shù)目和/或是否禁用加權(quán)的預(yù)測(cè)。可使用不同的邏輯來(lái)檢驗(yàn)是否取決于當(dāng)前條帶 是P條帶還是B條帶和/或取決于哪個(gè)WL正被用信號(hào)通知/解析而禁用加權(quán)的預(yù)測(cè)。在 某些示例性實(shí)現(xiàn)中，如果（a)全部參考圖片的數(shù)目等于2和化）用于RPL的現(xiàn)用參考圖片 的數(shù)目等于1，則用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元素不在比特流中，且為列表項(xiàng)中的一項(xiàng)推 斷值。而且，在某些示例性實(shí)現(xiàn)中，如果（C)全部參考圖片的數(shù)目等于2,（d)用于WL的現(xiàn) 用參考圖片的數(shù)目等于2 W及（e)加權(quán)的預(yù)測(cè)被禁用，則用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元 素不在比特流中，且為列表項(xiàng)中的兩項(xiàng)推斷值。
[0011] 按照該里描述的創(chuàng)新的另一個(gè)方面，視頻編碼器評(píng)估另一條件。取決于評(píng)估的結(jié) 果，編碼器調(diào)整在比特流中用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元素的信號(hào)通知，所述語(yǔ)法元素 指示如何修改RPL(例如，替換RPL、調(diào)整RPL)。具體地，調(diào)整一個(gè)或多個(gè)語(yǔ)法元素的至少一 個(gè)語(yǔ)法元素的長(zhǎng)度比特計(jì))。對(duì)應(yīng)的視頻解碼器評(píng)估該條件。取決于評(píng)估的結(jié)果，解碼 器調(diào)整從比特流中對(duì)用于列表項(xiàng)的一個(gè)或多個(gè)語(yǔ)法元素的解析，所述語(yǔ)法元素指示如何修 改RPL (再次地，其中一個(gè)或多個(gè)語(yǔ)法元素的至少一個(gè)語(yǔ)法元素的長(zhǎng)度比特計(jì))被調(diào)整)。 例如，條件至少部分取決于是否禁用加權(quán)的預(yù)測(cè)?？墒褂貌煌倪壿媮?lái)檢驗(yàn)是否取決于當(dāng) 前條帶是P條帶還是B條帶和/或取決于哪個(gè)WL正被用信號(hào)通知/解析而禁用加權(quán)的預(yù) 巧。。在某些示例性實(shí)現(xiàn)中，對(duì)用于列表項(xiàng)的索引i，如果加權(quán)的預(yù)測(cè)被禁用，則語(yǔ)法元素中 的至少一個(gè)的長(zhǎng)度比特計(jì)）隨i增加而減小。例如，在某些示例性實(shí)現(xiàn)中，如果加權(quán)的 預(yù)測(cè)被禁用，則對(duì)于列表項(xiàng)[i]的給定語(yǔ)法元素的長(zhǎng)度是Ceil(Log2(NumPocTotal化rr -i))比特。另一方面，如果加權(quán)的預(yù)測(cè)被啟用，則對(duì)于列表項(xiàng)山的給定語(yǔ)法元素的長(zhǎng)度是 Ceil (X〇g2(NumPocTotalQi;r;r))比特。
[0012] 編碼或解碼可W被實(shí)施為方法的一部分、被實(shí)施為適于執(zhí)行所述方法的計(jì)算設(shè)備 的一部分或被實(shí)施為存儲(chǔ)用于使得計(jì)算設(shè)備執(zhí)行所述方法的計(jì)算機(jī)可執(zhí)行指令的有形計(jì) 算機(jī)可讀介質(zhì)的一部分。
[0013] 通過(guò)W下的參照附圖進(jìn)行的詳細(xì)說(shuō)明，本發(fā)明的上述的和其它的目的、特征和優(yōu) 點(diǎn)將變得更為明顯。
【附圖說(shuō)明】
[0014] 圖1是其中可W實(shí)施某些描述的實(shí)施例的示例性計(jì)算系統(tǒng)的圖。
[0015] 圖2a和化是其中可W實(shí)施某些描述的實(shí)施例的示例性網(wǎng)絡(luò)環(huán)境的圖。
[0016] 圖3是可W結(jié)合其來(lái)實(shí)施某些描述的實(shí)施例的示例性編碼器系統(tǒng)的圖。
[0017] 圖4是可W結(jié)合其來(lái)實(shí)施某些描述的實(shí)施例的示例性解碼器系統(tǒng)的圖。
[0018] 圖5是圖示出可W結(jié)合其來(lái)實(shí)施某些描述的實(shí)施例的示例性視頻編碼器的圖。
[0019] 圖6是圖示出可W結(jié)合其來(lái)實(shí)施某些描述的實(shí)施例的示例性視頻解碼器的圖。
[0020] 圖7a是圖示出按照某些示例性實(shí)現(xiàn)的、指示是否修改RPL的標(biāo)志的有條件信號(hào)通 矢口（conditional signaling)的表格。
[0021] 圖化和7c是圖示出按照其它的示例性實(shí)現(xiàn)的、指示是否修改RPL的一個(gè)或多個(gè) 標(biāo)志的有條件信號(hào)通知的表格。
[002引圖8和9是圖示出按照某些示例性實(shí)現(xiàn)的、用于列表項(xiàng)的指示如何修改RPL的語(yǔ) 法元素的有條件信號(hào)通知的表格。
[0023] 圖10和11是分別圖示出對(duì)于指示是否修改RPL的標(biāo)志的有條件信號(hào)通知和解析 的一般化技術(shù)的流程圖。
[0024] 圖12和13是分別圖示出對(duì)用于列表項(xiàng)的指示如何修改RPL的語(yǔ)法元素的有條件 信號(hào)通知和解析的一般化技術(shù)的流程圖。
[0025] 圖14和15是分別圖示出用W調(diào)整用于列表項(xiàng)的指示如何修改RPL的語(yǔ)法元素的 有條件信號(hào)通知和解析的一般化技術(shù)的流程圖。
【具體實(shí)施方式】
[0026] 本詳細(xì)說(shuō)明給出在用信號(hào)通知參考圖片列表("RPL")修改信息時(shí)的創(chuàng)新。該些創(chuàng) 新可W有助于在WL修改信息會(huì)是無(wú)用的時(shí)或在該樣的信息的值可W被推斷時(shí)避免用信 號(hào)通知WL修改信息。
[0027] 在某些新近的編解碼器標(biāo)準(zhǔn)中，參考圖片集("RPS")是可得到W供在運(yùn)動(dòng)補(bǔ)償?shù)?預(yù)測(cè)中使用的參考圖片的集合，而WL是從WS構(gòu)建的。對(duì)于預(yù)測(cè)的（"P")條帶的解碼過(guò) 程，有一個(gè)3?以其被稱為RPL 0。對(duì)于雙向預(yù)測(cè)的（"B")條帶的解碼過(guò)程，有兩個(gè)3口以其 被稱為RPL 0和RPL 1。在對(duì)于P條帶的解碼過(guò)程的開(kāi)始，從可得到的關(guān)于RPL 0的信息 (諸如，在解碼器處可得到來(lái)用于解碼當(dāng)前圖片的參考圖片集)、按照規(guī)則的修改和/或在比 特流中用信號(hào)通知的修改來(lái)推導(dǎo)出RPL 0。同樣地，在對(duì)于B條帶的解碼過(guò)程的開(kāi)始，從可 得到的關(guān)于RPL 0的信息和可得到的關(guān)于RPL 1的信息(諸如，在解碼器處可得到來(lái)用于解 碼當(dāng)前圖片的參考圖片集)、按照規(guī)則的修改和/或在比特流中用信號(hào)通知的修改來(lái)推導(dǎo)出 RPL 0和RPL 1。更一般地，在編碼和解碼期間，基于可得到的關(guān)于WL的信息、按照規(guī)則的 修改和/或在比特流中用信號(hào)通知的修改來(lái)構(gòu)建RPL。用信號(hào)通知對(duì)于RPL的修改可W消 耗相當(dāng)大的比特量。對(duì)于某些新近的編解碼器標(biāo)準(zhǔn)，在如何用信號(hào)通知WL修改信息方面 存在低效性。
[002引本詳細(xì)說(shuō)明給出在WL修改信息的信號(hào)通知方面內(nèi)的各種創(chuàng)新。在某些情形下， 該些創(chuàng)新導(dǎo)致更有效地用信號(hào)通知用于WL修改信息的語(yǔ)法元素。例如，本詳細(xì)說(shuō)明描述 對(duì)用于列表項(xiàng)的、指示如何修改WL語(yǔ)法元素的有條件信號(hào)通知。本詳細(xì)說(shuō)明還描述使用 較少的比特來(lái)用信號(hào)通知該樣的語(yǔ)法元素的方式。作為另一個(gè)例子，本詳細(xì)說(shuō)明描述指示 是否修改RPL的標(biāo)記的有條件信號(hào)通知。
[0029] 在某些示例性實(shí)現(xiàn)中，如果WL沒(méi)有被修改，則從WS通過(guò)使用關(guān)于構(gòu)建WL的規(guī) 貝1J、按照"隱含的"方法來(lái)構(gòu)建缺省的RPL。如果RPL被修改，則通過(guò)使用指示對(duì)來(lái)自RPS的 參考圖片的選擇的、用信號(hào)通知的WL修改信息，按照"明確的"用信號(hào)通知的方法來(lái)構(gòu)建 替換RPL。替換地，可更細(xì)粒度的方式將關(guān)于重新排序、添加參考圖片或從缺省的RPL 中去除參考圖片的修改用信號(hào)通知為相對(duì)于缺省RPL的特定的改變。
[0030] 該里描述的創(chuàng)新中的某些創(chuàng)新是參照特定于肥VC標(biāo)準(zhǔn)的語(yǔ)法元素和操作來(lái)舉 例說(shuō)明的。例如，參照肥VC標(biāo)準(zhǔn)的草稿版本JCTVC-I1003--"化曲efficiency video coding (肥VC) text specification draft 7", JCTVC-I1003_d5, gth meeting of the Joint Coll油orative Team on Video Coding ("JCT-VC")，日內(nèi)瓦，2012年 4月。也參 閱標(biāo)題為"Hi曲 Efficiency Video Coding (肥VC) text specification 化aft 9"的草 稿版本，JCTVC-K1003_dll, llthmeetingoftheJCT-VC,上海，2012 年 10 月。該里描 述的創(chuàng)新還可W被實(shí)施用于其它標(biāo)準(zhǔn)或格式。
[0031] 更一般地，對(duì)該里描述的例子的各種替換例是可能的。例如，該里描述的某些方法 可W通過(guò)改變所描述的方法行為的次序、通過(guò)拆分、重復(fù)或省略某些方法行為等等而被改 變。公開(kāi)的技術(shù)的各種方面可W組合地或分開(kāi)地被使用。不同的實(shí)施例使用所描述的創(chuàng)新 中的一個(gè)或多個(gè)。該里描述的創(chuàng)新中的某些創(chuàng)新解決在【背景技術(shù)】中提到的一個(gè)或多個(gè)問(wèn) 題。典型地，給出的技術(shù)/工具并不解決所有的該樣的問(wèn)題。
[0032] I.示例性計(jì)算系統(tǒng) 圖1圖示出其中可W實(shí)施所描述創(chuàng)新中的幾個(gè)創(chuàng)新的適當(dāng)計(jì)算系統(tǒng)（100)的一般化的 例子。計(jì)算系統(tǒng)（100)不打算建議對(duì)于使用或功能性的范圍的任何限制，因?yàn)閯?chuàng)新可W在 多種多樣的通用或?qū)Ｓ糜?jì)算系統(tǒng)中被實(shí)施。
[0033] 參照?qǐng)D1，計(jì)算系統(tǒng)（100)包括一個(gè)或多個(gè)處理單元（110,115)和存儲(chǔ)器（120， 125)。在圖1上，該個(gè)最基本的配置（130)被包括在虛線內(nèi)。處理單元（110,115)執(zhí)行計(jì)算 機(jī)可執(zhí)行指令。處理單元可W是通用的中央處理單元("CPU")、在專用集成電路("ASIC") 中的處理器或任何其它類型的處理器。在多處理系統(tǒng)中，多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行 指令來(lái)提高處理能力。例如，圖1顯示中央處理單元（110) W及圖形處理單元或協(xié)處理單 元（115)。有形存儲(chǔ)器（120,125)可W是可由（一個(gè)或多個(gè)）處理單元訪問(wèn)的易失性存儲(chǔ)器 (例如，寄存器、高速緩存、RAM)、非易失性存儲(chǔ)器(例如，ROM、EEPR0M、快閃存儲(chǔ)器等等）或 者是二者的某種組合。存儲(chǔ)器（120,125)存儲(chǔ)實(shí)施用于WL修改信息的信號(hào)通知的一個(gè)或 多個(gè)創(chuàng)新的、具有適合于由（一個(gè)或多個(gè)）處理單元執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的形式的軟件 (180)。
[0034] 計(jì)算系統(tǒng)可W具有附加的特征。例如，計(jì)算系統(tǒng)（100)包括存儲(chǔ)裝置（140)、一個(gè) 或多個(gè)輸入裝置（