示例實施例涉及視頻編碼或視頻壓縮，更具體地講，涉及一種用于處理參考圖像的方法和設(shè)備。

背景技術(shù)：

各種電子裝置使用靜態(tài)圖像和視頻圖像，并且電子裝置所使用的圖像數(shù)據(jù)量已顯著增長。例如，使用各種裝置(諸如，移動電話)經(jīng)由廣播信道來分發(fā)大量的視頻內(nèi)容和圖像數(shù)據(jù)。視頻編碼/解碼方面的發(fā)展已經(jīng)實現(xiàn)通過帶寬有限的信道傳輸更多的圖像數(shù)據(jù)以及在有限的存儲容量中存儲高分辨率的視頻數(shù)據(jù)。更高效的視頻編碼方案在視頻使用的快速增長方面扮演了重要的角色。然而，必須認識到：為了實現(xiàn)更高的編碼效率以及更高的分辨率，計算的數(shù)量以及像素處理速率也必須普遍提高。高效視頻編碼(hevc)標準已被發(fā)展用于解決這樣的挑戰(zhàn)。

hevc編解碼器被設(shè)計為包括與其前驅(qū)(predecessor)及擴展(諸如h.263、h.264、mpeg-1、mpeg-2、mpeg-4、可伸縮視頻編碼(svc)以及多視點視頻編碼(mvs))的特征相似的各種特征。這樣的視頻編解碼器至少使用一系列視頻圖像幀中的空間和時間冗余，以減少數(shù)據(jù)比特流大小。一般而言，空間預(yù)測被用于通過使用同一圖像幀中的樣本來減少空間冗余，圖片間預(yù)測(inter-pictureprediction)被用于減少時間冗余。這樣能夠?qū)崿F(xiàn)圖像數(shù)據(jù)的壓縮，以相對有效且高效的傳輸和/或存儲視頻內(nèi)容。然而，至于在視頻內(nèi)容中的各種類型的對象運動，當前hevc技術(shù)(及其擴展和前驅(qū))并未提供針對增強視頻編碼的解決方案。

在該背景技術(shù)部分中所公開的以上信息僅用于提高本發(fā)明構(gòu)思的背景的理解，因此，以上信息可包含無法形成本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)要素：

一個或多個示例實施例提供一種用于處理參考圖像的方法和設(shè)備。

其它方面將在隨后的詳細描述中被闡述，部分地，將根據(jù)本公開而是清楚的或者可通過本發(fā)明構(gòu)思的實踐而被獲知。

一個或多個示例實施例提供一種包括處理器、視頻編碼器、存儲器及圖形處理器(gpu)的應(yīng)用處理器的方法。所述方法包括：基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，其中，參考圖像被配置為存儲在存儲器中；確定與當前圖像的編碼塊相關(guān)聯(lián)的運動信息，其中，當前圖像與參考圖像在時間上不同。運動信息與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)。

修改參考圖像的處理可包括：改變參考圖像的細節(jié)層次(lod)和參考圖像的尺寸中的至少一個；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與在修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過所述lod和所述尺寸中的至少一個的改變對修改的圖像對象進行修改。

確定運動信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標以及當前圖像的編碼塊的坐標來確定運動矢量。當前圖像的編碼塊可與和修改的圖像對象匹配的縮放圖像對象相關(guān)聯(lián)。可基于與修改參考圖像相關(guān)聯(lián)的縮放比來進一步確定運動矢量。此外，ap可提取與縮放比相關(guān)聯(lián)的運動矢量和信息。

修改參考圖像的處理可包括：旋轉(zhuǎn)參考圖像的至少一部分；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過參考圖像的所述至少一部分的旋轉(zhuǎn)對修改的圖像對象進行修改。

確定運動信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標以及當前圖像的編碼塊的坐標來確定運動矢量。當前圖像的編碼塊可與和修改的圖像對象匹配的旋轉(zhuǎn)的圖像對象相關(guān)聯(lián)?？苫谠趨⒖紙D像的修改中所使用的旋轉(zhuǎn)度來進一步確定運動矢量。另外，ap可提取運動矢量和與旋轉(zhuǎn)度相關(guān)聯(lián)的信息。

修改參考圖像的處理可包括：剪切參考圖像的至少一部分；確定修改的參考圖像的預(yù)測塊。預(yù)測塊可與修改的參考圖像中的修改的圖像對象相關(guān)聯(lián)，可通過參考圖像的所述至少一部分的剪切對修改的圖像對象進行修改。

確定運動信息的處理可包括：基于與修改的圖像對象相關(guān)聯(lián)的預(yù)測塊的坐標以及當前圖像的編碼塊的坐標來確定運動矢量。當前圖像的編碼塊可與和修改的圖像對象匹配的剪切的圖像對象相關(guān)聯(lián)?？苫谂c修改參考圖像相關(guān)聯(lián)的剪切參數(shù)來進一步確定運動矢量。另外，ap可提取與剪切參數(shù)相關(guān)聯(lián)的運動矢量和信息。

根據(jù)一個或多個示例實施例，ap可確定參考圖像修改標記的值。參考圖像修改標記指示針對圖像間預(yù)測的參考圖像修改。

ap可基于運動信息和修改的參考圖像中的至少一個來執(zhí)行針對當前圖像的編碼塊的圖像間預(yù)測。

一個或多個示例實施例提供一種應(yīng)用處理器(ap)，包括：處理器；視頻編碼器；被配置為存儲參考圖像的存儲器；圖形處理器(gpu)。處理器和視頻編碼器中的至少一個被配置為使得ap：基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，并且確定與當前圖像的編碼塊相關(guān)聯(lián)的運動信息，其中，當前圖像與參考圖像在時間上不同。運動信息與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)。

一個或多個示例實施例提供一種應(yīng)用處理器(ap)，包括：處理器，被配置為運行操作系統(tǒng)，其中，處理器包括多個中央處理器；視頻編碼器，被配置為在幀內(nèi)預(yù)測模式與幀間預(yù)測模式之間確定針對當前圖像的編碼塊的預(yù)測模式，其中，視頻編碼器包括幀內(nèi)預(yù)測器和幀間預(yù)測器；存儲器，被配置為存儲參考圖像，其中，當前圖像和參考圖像在時間上不同；以及圖形處理器(gpu)。視頻編碼器被配置為在幀間預(yù)測模式中確定用于修改參考圖像的修改參數(shù)，其中，修改參數(shù)包括縮放參數(shù)和旋轉(zhuǎn)參數(shù)，并且視頻編碼器被配置為經(jīng)由基于旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)參考圖像的至少一部分并且經(jīng)由基于縮放參數(shù)改變參考圖像的細節(jié)層次(lod)和尺寸中的至少一個，來生成修改的參考圖像。視頻編碼器的幀間預(yù)測器被配置為確定與當前圖像的編碼塊以及修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運動信息，其中，運動信息被配置為實現(xiàn)當前圖像的編碼塊與修改的參考圖像的預(yù)測塊之間的殘差值的確定。

參考圖像可包括第一參考圖像和第二參考圖像。參考圖像的旋轉(zhuǎn)的部分可包括第一參考圖像中的對象的修改，所述修改基于旋轉(zhuǎn)參數(shù)。第二參考圖像的修改可包括第二參考圖像中的對象的修改的lod和修改的尺寸中的至少一個，修改的lod和修改的尺寸基于縮放參數(shù)。

處理器和視頻編碼器中的至少一個還可被配置為使得ap至少：剪切參考圖像的至少一部分，并且確定剪切的參考圖像的預(yù)測塊。剪切的參考圖像中的對象可包括參考圖像的所述至少一部分的剪切。

一個或多個示例實施例提供一種移動終端。所述移動終端包括：片上系統(tǒng)，其中，片上系統(tǒng)包括：處理器，被配置為運行操作系統(tǒng)；視頻編碼器；存儲器，存儲參考圖像；圖形處理器(gpu)。所述移動終端還包括：被配置為與另一電子裝置進行通信的網(wǎng)絡(luò)接口以及顯示器。視頻編碼器被配置為使得所述移動終端基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，并且確定與當前圖像的編碼塊相關(guān)聯(lián)的運動信息，其中，當前圖像和參考圖像在時間上不同。運動信息與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)。

一個或多個示例實施例提供一種移動終端。所述移動終端包括：片上系統(tǒng)，其中，片上系統(tǒng)包括：處理器，被配置為運行操作系統(tǒng)；視頻編碼器；存儲器，存儲參考圖像；圖形處理器(gpu)。所述移動終端還包括被配置為與另一電子裝置進行通信的網(wǎng)絡(luò)接口以及顯示器。處理器和視頻編碼器中的至少一個被配置為使得所述移動終端基于圖像估計對象的運動，基于修改參數(shù)來修改參考圖像以生成修改的參考圖像，確定與當前圖像的編碼塊相關(guān)聯(lián)的運動信息，存儲針對與運動信息以及圖像間預(yù)測相關(guān)聯(lián)的修改的參考圖像，基于修改的參考圖像來執(zhí)行針對當前圖像的編碼塊的圖像間預(yù)測，其中，當前圖像和參考圖像在時間上不同，運動信息與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)。

以上總體描述和以下詳細描述是示例且是解釋性的，并且意在提供要求保護的主題的進一步解釋。

附圖說明

包括的用于提供對本發(fā)明構(gòu)思的進一步理解的附圖被并入本說明書并構(gòu)成本說明書的一部分，示出本發(fā)明構(gòu)思的示例實施例，并且附圖與說明書一起用于解釋本發(fā)明構(gòu)思的原理。

圖1是根據(jù)一個或多個示例實施例的包括視頻編碼器的應(yīng)用處理器(ap)的框圖；

圖2是根據(jù)一個或多個示例實施例的包括視頻編碼器的電子裝置的框圖；

圖3是根據(jù)一個或多個示例實施例的視頻編碼器的框圖；

圖4是根據(jù)一個或多個示例實施例的視頻解碼器的示圖；

圖5是根據(jù)一個或多個示例實施例的解碼圖像預(yù)處理器的框圖；

圖6是根據(jù)一個或多個示例實施例示出使用縮放參數(shù)的參考圖像的修改的示圖；

圖7是根據(jù)一個或多個示例實施例示出使用縮放參數(shù)的參考圖像的修改的示圖；

圖8是根據(jù)一個或多個示例實施例示出基于優(yōu)化的縮放參數(shù)或插值的圖像間預(yù)測的示圖；

圖9是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖10是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖11是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖；

圖12是根據(jù)一個或多個示例實施例示出使用剪切參數(shù)的參考圖像的修改的示圖；

圖13是根據(jù)一個或多個示例實施例示出修改針對幀間預(yù)測的參考圖像的處理的流程圖；

圖14是根據(jù)一個或多個示例實施例示出用于修改針對幀間預(yù)測的參考圖像的視頻編碼器的處理的流程圖；

圖15是根據(jù)一個或多個示例實施例示出用于修改針對幀間預(yù)測的參考圖像的視頻解碼器的處理的流程圖；

圖16和圖17示出根據(jù)一個或多個示例實施例的使用生成的lod的各個幀間預(yù)測；

圖18示出根據(jù)一個或多個示例實施例的使用生成的旋轉(zhuǎn)的參考圖像的幀間預(yù)測。

具體實施方式

在以下描述中，為了解釋目的，諸多具體細節(jié)被闡述以便提供對各種示例實施例的透徹理解。然而，顯而易見的是，在沒有這些具體細節(jié)的情況下或者在具有一個或多個等同安排的情況下，可實踐各種示例實施例。在其它示例中，以框圖形式示出公知的結(jié)構(gòu)和裝置以避免不必要地模糊各種示例實施例。

在附圖中，為了清晰和描述性目的，可夸大塊、組件、元件等的大小和相對大小。此外，同樣的附圖標號可表示同樣或類似的元件。

對于本公開而言，“x、y及z中的至少一個”以及“從由x、y及z構(gòu)成的組中選擇的至少一個”可被理解為只有x、只有y、只有z或者x、y及z中的兩個或更多個的任何組合，諸如，xyz、xyy、yz以及zz。相同的標號始終指示相同的元件。如這里所使用，術(shù)語“和/或”包括相關(guān)所列項中的一個或多個的任何及所有組合。

雖然術(shù)語“第一”、“第二”等可在此被用于描述各種元件、組件、區(qū)域、層和/或部分，但是這些元件、組件、區(qū)域、層和/或部分不應(yīng)被這些術(shù)語限制。這些術(shù)語被用于使一個元件、組件、區(qū)域、層和/或部分區(qū)別于另一元件、組件、區(qū)域、層和/或部分。因此，在不脫離本公開的教導(dǎo)的情況下，在下文中討論的第一元件、第一組件、第一區(qū)域、第一層和/或第一部分可被稱為第二元件、第二組件、第二區(qū)域、第二層和/或第二部分。

這里使用的術(shù)語是為了描述特定實施例的目的而非意在限制。如這里所使用，單數(shù)形式也意在包括復(fù)數(shù)形式，除非上下文清楚地另有指示。此外，當在本說明書中使用時，術(shù)語“包括”、“包含”指定存在所陳述的特征、整數(shù)、步驟、操作、元件、組件和/或前述項的組合，但是并不排除存在或增加一個或多個其它特征、整數(shù)、步驟、操作、元件、組件和/或前述項的組。

可在此參照作為理想化的示例實施例和/或中間結(jié)構(gòu)的示意性說明的部分圖解描述各種示例實施例。同樣地，來自圖解的形狀的變化將是預(yù)期的。因此，在此公開的示例實施例不應(yīng)被理解為限于示出的組件、區(qū)域等的形狀，而是將包括形狀偏差。同樣地，在附圖中所示出的區(qū)域本質(zhì)上是示意性的，并且其形狀并非意在示出區(qū)域的實際形狀且并非意在限制。

除非另有限定，否則在這里使用的全部術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有本公開作為其一部分的領(lǐng)域的普通技術(shù)人員通常理解的含義相同的含義。除非在此明確地限定，否則術(shù)語(諸如在常用詞典中限定的那些術(shù)語)應(yīng)被解釋為具有與其在相關(guān)領(lǐng)域的語境中的含義一致的含義，并且將不以理想化或過于正式的意義的形式解釋這些術(shù)語。

圖1是根據(jù)一個或多個示例實施例的包括視頻編碼器的應(yīng)用處理器(ap)的框圖。

參照圖1，ap120可被配置為片上系統(tǒng)(soc)。按照這種方式，ap120可通過在ap120中包括的存儲器控制器130連接到外部存儲器110；然而，外部存儲器110可被集成為包括ap120的soc的一部分。此外，ap120可包括存儲器控制器130、顯示控制器140、處理器150、圖形處理器(gpu)160、視頻編碼器170、圖像信號處理器(isp)180以及系統(tǒng)存儲器190。視頻編碼器170可包括內(nèi)部存儲器，其中，內(nèi)部存儲器可包括用于存儲參考圖像的圖片緩沖器。

雖然將上述ap120的實施方式作為特定參照，但是ap120可體現(xiàn)許多形式并且包括多個和/或可選的組件也在預(yù)期之內(nèi)。例如，ap120的組件可被組合、位于單獨的結(jié)構(gòu)中和/或單獨的位置中也在預(yù)期之內(nèi)。還應(yīng)注意：可修改ap120的功能、用途、結(jié)構(gòu)等，從而ap120可用作為視頻編碼器(或者包括視頻編碼功能)，其中，可在一個或多個通用和/或?qū)Ｓ糜嬎悱h(huán)境或架構(gòu)中實施所述視頻編碼器。按照這種方式并且如前所述，可將視頻編碼器170的部分或功能進行組合，或者可將視頻編碼器170的部分或功能分發(fā)到與視頻編碼器170等通信的單獨模塊。

可通過ap120中的存儲器控制器130來控制外部存儲器110。外部存儲器110可包括靜態(tài)隨機存取存儲器(sram)、磁阻隨機存取存儲器(mram)、嵌入式動態(tài)ram(嵌入式dram)等中的至少一個；然而，外部存儲器110的各方面不限于此。任何合適的存儲裝置(或儲存庫)可通過任何合適的i/o接口(未示出)連接到ap120，其中，所述i/o接口可以是有線的或無線的。

顯示控制器140可通過接口連接到顯示器(未示出)，使得圖像可經(jīng)由顯示器來被顯示。

處理器150可包括處理各種任務(wù)并運行操作系統(tǒng)(os)的包含硬件、軟件和/或固件的微處理器。處理器150可包括多個處理核(例如，中央處理器(cpu)核)以及高速緩沖存儲器。根據(jù)一個或多個示例實施例，圖形處理器(gpu)160可連接到總線連接單元121，并且可被配置為處理與視頻數(shù)據(jù)處理相關(guān)的一個或多個進程(例如，連續(xù)進程和/或同時進程)。按照這種方式，gpu160還可被配置為處理與視頻數(shù)據(jù)處理相關(guān)聯(lián)的一個或多個線程，其中，可經(jīng)由單線程或多線程配置來執(zhí)行所述視頻數(shù)據(jù)處理。gpu160可包括被配置為計算(或確定)并比較圖形相關(guān)數(shù)據(jù)的控制單元。gpu160還可被配置為代表處理器150來分析并執(zhí)行指令。

圖像信號處理器(isp)180連接到總線連接單元121，并且處理由(例如)圖像傳感器(未示出)生成的信號。例如，圖像信號處理器180可處理來自圖像傳感器的數(shù)據(jù)，以將數(shù)據(jù)存儲在存儲器(例如，isp180(或與isp180相關(guān)聯(lián))的存儲器、系統(tǒng)存儲器190等)中。例如，圖像信號處理器180可壓縮將被存儲在存儲器中的圖像并確定其文件格式。isp180可包括拜耳(bayer)處理單元、紅/綠/藍(rgb)處理單元、縮放/旋轉(zhuǎn)/仿射變換處理單元和/或任何其它合適的處理單元?？捎蒳sp180通過控制圖像尺寸、色彩的深度、鏡頭陰影補償、自適應(yīng)色彩插值、色彩校正等來控制每個單元的處理?？山?jīng)由總線連接單元121將isp180處理的圖像數(shù)據(jù)傳輸?shù)揭曨l編碼器170。

視頻編碼器170可包括視頻編碼器-解碼器(編解碼器)的一個或多個軟件和/或硬件組件。視頻編碼器170可包括被配置為處理在此描述的視頻編碼器和/或視頻解碼器的功能中的一個或多個功能的處理器(例如，cpu)。然而，示例實施例不限于此。此外，可由ap120的一個或多個其它模塊(例如，isp180、與ap120通信連接的外部視頻編解碼器等)來執(zhí)行視頻編碼器和/或視頻解碼器的一個或多個功能以及其它圖像處理。由視頻編碼器170處理的各種數(shù)據(jù)可存儲在視頻編碼器170(或與視頻編碼器170相關(guān)聯(lián))的存儲器、系統(tǒng)存儲器190、外部存儲器110等中。例如，圖片緩沖器可用于存儲以下更加詳細地描述的參考圖像和/或修改的參考圖像。按照這種方式，可物理地和/或邏輯地將圖片緩沖器提供為視頻編碼器170的存儲器、系統(tǒng)存儲器190、外部存儲器110等的部分。

圖2是根據(jù)一個或多個示例實施例的包括視頻編碼器的電子裝置的框圖。

參照圖2，電子裝置200(例如，移動終端)包括片上系統(tǒng)(soc)210以及至少一個存儲器220。存儲器220可以是閃存存儲器(例如，nand閃存存儲器)、低功耗雙倍數(shù)據(jù)速率(lpdddrx)存儲器集成電路(ic)，但是各方面不限于此。例如，sram、mram、嵌入式dram和/或其它存儲裝置可連接到soc210(或合并為soc210的部分)。soc210可執(zhí)行計算機可可執(zhí)行的指令，并且除至少一個真實的處理器以外，可包括一個或多個虛擬的處理器。soc210可包括應(yīng)用處理器(ap)211以及系統(tǒng)存儲器212，其中，系統(tǒng)存儲器212可包括在soc210中并且與ap211進行通信。例如，ap211可包括與圖1的ap120相關(guān)聯(lián)地描述的組件中的一個或多個組件。然而，可在預(yù)期之內(nèi)的是：soc210的各方面不限于此。

顯示器230可經(jīng)由接口連接到soc210，并且可根據(jù)soc210的控制來顯示各種圖像(例如，視頻圖像)。圖像傳感器240(例如，互補金屬氧化物半導(dǎo)體(cmos)圖像傳感器(cis)、其它類型的數(shù)碼相機等)可連接到soc210，并且可向soc210的圖像處理模塊(例如，isp(未示出)、視頻編碼器(未示出)等)提供視頻圖像數(shù)據(jù)。如果電子裝置200包括多個處理器，則多個處理器可執(zhí)行與在此描述的功能和/或操作相關(guān)聯(lián)的不同的指令集。

存儲器220(或與電子裝置200通信連接的任何其它合適的存儲器)可以是參與向一個或多個軟件、硬件和/或固件組件提供代碼以執(zhí)行的任何介質(zhì)?？砂凑杖魏魏线m的形式(包括，但不限于，非易失性介質(zhì)、易失性介質(zhì)以及傳輸介質(zhì))實施這樣的存儲器220。非易失性介質(zhì)包括(例如)光盤或磁盤。易失性介質(zhì)包括動態(tài)存儲器。傳輸介質(zhì)包括同軸電纜、銅線以及光纖。傳輸介質(zhì)也可采取聲波、光波或電磁波的形式。計算機可讀介質(zhì)的一般形式包括(例如)軟盤、軟磁盤、硬盤、磁帶、任何其它磁介質(zhì)、壓縮盤只讀存儲器(cd-rom)、可重寫壓縮盤(cd-rw)、數(shù)字視頻盤(dvd)、可重寫dvd(dvd-rw)、任何其它光介質(zhì)、穿孔卡、紙帶(papertape)、光學(xué)標記表、具有洞的圖案或其它光學(xué)可識別標記的任何其它物理介質(zhì)、隨機存取存儲器(ram)、可編程只讀存儲器(prom)、可擦除可編程只讀存儲器(eprom)、flash-eprom、任何其它存儲芯片或存儲盒、寄存器、高速緩存器或可由(例如)控制器/處理器從其中讀取信息的任何其它介質(zhì)。存儲器220可存儲與視頻編碼器相關(guān)聯(lián)的軟件組件和數(shù)據(jù)中的至少一部分。貫穿說明書，視頻編碼器可表示視頻編碼器、視頻解碼器或視頻編解碼器。

電子裝置200可包括其它組件，諸如，一個或多個輸入/輸出(i/o)裝置(未示出)、網(wǎng)絡(luò)接口(未示出)、調(diào)制解調(diào)器處理器(未示出)等。調(diào)制解調(diào)器處理器可實現(xiàn)與基站的移動通信，并且可作為soc210的部分或ap211的部分而被包括?？赏ㄟ^連接器(諸如，總線、控制器等)連接內(nèi)部硬件組件。此外，os軟件支持針對將由電子裝置200執(zhí)行的各種應(yīng)用程序的操作環(huán)境，并且控制電子裝置200的組件的活動。

i/o裝置(未示出)可連接到ap211，并且可包括觸摸輸入界面、鍵盤、鼠標、觸控筆、語音輸入模塊、相機等。針對音頻和視頻編碼，i/o裝置可包括聲音處理組件和視頻處理組件。例如，圖像信號處理器(未示出)可作為電子裝置200的部分而被包括，并且圖像信號處理器可執(zhí)行針對視頻編碼的一些操作。可由與圖像傳感器240相關(guān)聯(lián)的圖像信號處理器處理原始圖片，并且原始圖片可由視頻編碼器進行編碼。i/o裝置可包括顯示器230、揚聲器等，或者可包括用于連接外部顯示器、外部打印機、外部換能器(例如，揚聲器)等的接口。

網(wǎng)絡(luò)接口(未示出)可實現(xiàn)通過任何合適的通信介質(zhì)與另一裝置或?qū)嶓w的通信。按照這種方式，所述通信可以是有線通信或無線通信。同樣地，網(wǎng)絡(luò)接口可被配置為無線調(diào)制解調(diào)器和/或以太網(wǎng)接口。例如，網(wǎng)絡(luò)接口可包括與一個或多個天線相關(guān)聯(lián)的射頻(rf)通信接口以及建立與一個或多個基站的無線電通信的rf模塊。網(wǎng)絡(luò)接口可包括短距離無線通信接口，諸如，近場通信(nfc)模塊、通信模塊、模塊等。通信協(xié)議不限于此，并且可包括利用電力載波、紅外載波、光學(xué)載波或其它載波實現(xiàn)的有線和/或無線通信技術(shù)。

圖3是根據(jù)一個或多個示例實施例的視頻編碼器的框圖。圖4是根據(jù)一個或多個示例實施例的視頻解碼器的框圖。然而，實施方式不限于此?？尚薷幕蛞瞥M件的至少部分，并且可增加附加組件。根據(jù)壓縮的各種條件和類型，視頻編碼器300和解碼器400的模塊可被增加、修改、省略，被分割為多個模塊，與其它模塊組合，和/或被相似模塊代替。

視頻編碼器300和視頻解碼器400處理視頻圖片，其中，所述視頻圖片可以是圖像幀、視頻域(videofield)等。比特流句法(bitstreamsyntax)和塊劃分方案可根據(jù)各種視頻編碼標準和方案而變化。例如，視頻編碼器300和解碼器400可具有基于塊的處理單元，并且可使用針對幀的4:2:0宏塊格式，其中，每個宏塊包括四個8×8亮度塊(或一個16×16亮度塊)以及兩個8×8色度塊。亮度塊和色度塊可使用yuv色彩空間格式(例如，ycbcr、ypbpr)。

根據(jù)一個或多個示例實施例，宏塊可被用作基本處理單元。針對圖片的每個宏塊，可由視頻編碼器300選擇編碼模式。選擇的宏塊編碼模式確定是否使用圖像內(nèi)預(yù)測(這可被稱為圖片內(nèi)預(yù)測或幀內(nèi)預(yù)測)或圖像間預(yù)測(這可被稱為圖片間預(yù)測、幀間預(yù)測或運動補償預(yù)測)來預(yù)測宏塊的所有樣本。視頻編碼器300和視頻解碼器400可使用不同的宏塊格式或塊格式，或者以與8×8塊和16×16宏塊不同的尺寸或配置來執(zhí)行操作。例如，宏塊可被劃分為用于圖像間預(yù)測或圖像內(nèi)預(yù)測的子塊。此外，如同hevc，比16×16宏塊大的塊可被用于圖像間預(yù)測或圖像內(nèi)預(yù)測。

在hevc中，每個圖片可被劃分為方形的編碼樹塊(ctb)，使得針對亮度圖片分量和色度圖片分量二者而言，ctb的結(jié)果數(shù)量是相同的。亮度樣本的每個ctb、色度樣本的相關(guān)聯(lián)的兩個ctb以及與這些樣本塊相關(guān)聯(lián)的句法被歸入編碼樹單元(ctu)之下。例如，ctu也可以是用于圖像間預(yù)測和其它處理的基本處理單元。如果視頻編碼器300采用與hevc類似的塊劃分方案，則視頻編碼器300可選擇向目標計算環(huán)境提供最佳性能的ctu尺寸(例如，16×16、32×32、64×64等)，并且可使用預(yù)測單元(pu)以及從ctu分割的更小的編碼單元(cu)。例如，如果使用圖像間預(yù)測對cu進行編碼，則在cu中包含的亮度編碼塊和色度編碼塊(cb)可被進一步分割成預(yù)測塊(pb)。pb可以是針對運動補償預(yù)測使用相同運動參數(shù)的亮度或色度分量的樣本的塊。亮度pb、色度pb連同相關(guān)聯(lián)的句法可形成pu。然而，根據(jù)各種示例實施例，視頻編碼器300和解碼器400可具有不同的塊劃分方案。

參照圖3，視頻編碼器300可包括幀內(nèi)預(yù)測器310、運動估計器320、運動補償器330、變換和量化塊340、比特流生成器350、逆量化和逆變換塊360、濾波器370、解碼圖片預(yù)處理器380以及圖片緩沖器390。

視頻編碼器300接收包括當前圖像(或圖片)305的視頻圖像(例如，圖片)的序列。視頻圖像的序列可包括用于輸出作為壓縮的視頻信息的比特流的連續(xù)的視頻幀和/或其它格式的視頻幀。針對接收到的當前圖像305，可執(zhí)行塊劃分(未示出)，從而基于作為處理單元的劃分的塊來執(zhí)行圖像間預(yù)測或圖像內(nèi)預(yù)測。視頻編碼器300可執(zhí)行針對圖像內(nèi)預(yù)測或圖像間預(yù)測的編碼處理。如圖3所示，開關(guān)315指示可使用利用幀內(nèi)預(yù)測器310的圖像內(nèi)預(yù)測或使用圖像間預(yù)測對當前塊進行編碼。

可基于各種標準對每個圖像幀進行分類。針對用于預(yù)測的參考圖片，可將圖像幀分類為類似于一些視頻編碼標準而分類的i幀、p幀以及b幀。然而，幀類型的約束在不同的視頻編碼方案中可能略有不同。

一般而言，i幀可以是在沒有將另一圖像幀用作參考圖像幀的情況下的幀內(nèi)編碼的視頻幀。例如，i幀不涉及從在時間上不同于當前i幀的一個或多個其它先前解碼的圖片的預(yù)測。p幀可以是從一個或多個參考圖片使用單向預(yù)測而編碼的視頻幀。例如，可從先前解碼的參考幀來預(yù)測p幀。b幀可以是從多個圖片使用雙向預(yù)測而編碼的視頻幀。因此，可僅使用圖像內(nèi)預(yù)測來預(yù)測i幀?？墒褂脠D像間預(yù)測來預(yù)測p幀和b幀中的至少一些塊。當前圖像305的編碼塊與參考圖像幀的預(yù)測塊之間的差(“殘差”)可被獲得。這可減少將被編碼的信息的量。

如果當前圖像305不是i幀(諸如，hevc中的幀內(nèi)隨機訪問點(irap)圖片)，則圖像間預(yù)測可用。當前圖像305針對使用運動估計器320和運動補償器330的圖像間預(yù)測是可用的。一般而言，運動估計器320可估計當前圖像305的編碼塊與存儲在(例如)圖片緩沖器390中的參考圖像之間的運動。在圖片緩沖器390中存儲的參考圖像是先前在當前圖像305的編碼處理之前解碼的圖像幀。然而，參考圖像中的至少一個參考圖像的顯示順序可遲于當前圖像305的顯示順序。例如，參考圖像的圖片順序計數(shù)(poc)可大于當前圖像305。即使解碼順序不同于顯示順序，poc也識別解碼的圖像幀的顯示順序。如果從參考圖像中識別出多于一個的塊(例如，將被用于圖像間預(yù)測的像素的多個區(qū)域)作為當前圖像305的編碼塊的預(yù)測子，則可將預(yù)測子融合以生成單個預(yù)測。

一般而言，參考圖像是在已經(jīng)被編碼然后針對顯示而重構(gòu)的視頻序列中的圖像幀。運動估計器320可通過全樣本、半樣本、四分之一樣本等來估計運動。如果可伸縮視頻編碼可用于預(yù)定的多個編碼分辨率，則可通過對不同分辨率的層進行下采樣來改變參考圖像的分辨率，使得不同質(zhì)量的視頻圖像可根據(jù)不同的層而被編碼并且被再現(xiàn)。重采樣濾波器可被用于視頻內(nèi)容編碼的多個分辨率，并且可基于不同分辨率的至少兩層之中的更高分辨率信號的預(yù)測，來執(zhí)行至少兩層之間的殘差的重采樣。

在每個空間層中，可采用(諸如，在單層編碼中采用)運動補償預(yù)測和圖像內(nèi)預(yù)測。此外，可經(jīng)由層間預(yù)測來提高編碼效率，使得圖像幀的更低分辨率圖片可被用于預(yù)測同一圖像幀的更高分辨率圖片。作為結(jié)果，運動估計器320可輸出運動信息，諸如，運動矢量信息和參考圖片索引。根據(jù)各種示例實施例，也可使用hevc及其前驅(qū)的高級運動矢量預(yù)測(amvp)、用于運動矢量編碼的融合模式、跳過(skipped)和直接(direct)運動推理?？苫陬A(yù)定義的句法對運動信息進行編碼，并且由比特流生成器350對運動信息進行熵編碼。

基于運動信息，運動補償器330使用運動矢量以及在圖片緩沖器390中存儲的解碼的參考圖片，來執(zhí)行圖像間預(yù)測處理中的運動補償。運動補償器330可將四分之一樣本精度用于運動矢量，并且可將濾波器(例如，7抽頭(tap)濾波器、8抽頭濾波器等)用于插值以獲得分數(shù)樣本位置(fractionalsampleposition)。此外，也可在特定配置中使用在針對四分之一樣本位置的線性插值之后的由半個樣本位置的6抽頭濾波器進行的濾波處理。由于可使用多個參考圖像，因此，針對每個預(yù)測塊，可使用多于一個的運動矢量，并且可基于加權(quán)預(yù)測方案(諸如，在hevc和h.264/avc中使用的加權(quán)預(yù)測方案)將縮放和偏移應(yīng)用于預(yù)測。

變換和量化塊340可包括變換器和量化器。變換和量化塊340可將視頻信息轉(zhuǎn)換為頻域數(shù)據(jù)。可將離散余弦變換(dct)及其變體用于對在變換和量化塊340的輸入接收到的樣本數(shù)據(jù)的塊進行變換。樣本數(shù)據(jù)的塊可包括作為當前圖像305的塊與從運動補償器330中輸出的預(yù)測子之間的差的預(yù)測殘差數(shù)據(jù)，諸如，先前解碼的參考圖像的搜索范圍中的相應(yīng)的塊。變換可使用變換單元(tu)的單元以及hevc的殘差四叉樹方案，不過不限于此。變換和量化塊340可將頻域數(shù)據(jù)的塊進行量化。

比特流生成器350可通過將從變換和量化塊340中輸出的量化數(shù)據(jù)進行編碼來生成編碼的比特流。比特流生成器350可包括執(zhí)行各種編碼方案(諸如，哈夫曼編碼、行程長度編碼、差分編碼等)的熵編碼器。也可由比特流生成器350將編碼句法元素進行編碼。作為示例，熵編碼器可使用類似于hevc或其先驅(qū)的其它方案的內(nèi)容自適應(yīng)二進制算術(shù)編碼(cabac)及其變化。編碼的比特流被傳輸?shù)揭曨l解碼器。

變換和量化塊340的輸出可被提供到逆量化和逆變換塊360的輸入，其中，逆量化和逆變換塊360可包括逆量化器和逆變換器。逆量化器可對量化的數(shù)據(jù)進行逆量化，逆變換器可對逆量化的數(shù)據(jù)進行逆變換。逆量化和逆變換塊360的輸出作為重構(gòu)的殘差可被添加到從運動補償器330中輸出的預(yù)測子，以在被存儲到解碼圖片緩沖器中之前生成將被濾波的重構(gòu)的參考圖像。解碼圖片緩沖器存儲用于幀間預(yù)測和未來顯示的參考圖像幀。

重構(gòu)的參考圖像可由濾波器370進行濾波。濾波器可包括用于減少在塊邊界的不連續(xù)性以及減弱振鈴效應(yīng)(ringingartifact)和樣本失真的去塊濾波器和樣本自適應(yīng)偏移(sao)。然而，濾波器370可包括用于補償原始序列圖像的誤差和損失的其它濾波機制在預(yù)期之內(nèi)。視頻編碼器300可在沒有附加的無損編碼方案的情況下執(zhí)行基于塊的有損編碼，或者可執(zhí)行無損編碼。

解碼圖像(或圖片)預(yù)處理器380可在沒有修改的情況下將濾波的參考圖像存儲在解碼圖片緩沖器中，或者可修改濾波的參考圖像。修改的參考圖像可被存儲在圖片緩沖器390的修改圖片緩沖器中。圖片緩沖器390可包括用于存儲未修改的參考圖像的解碼圖片緩沖器，其中，可根據(jù)各個參考圖像的poc將未修改的參考圖像用于圖像間預(yù)測和未來顯示。此外，圖片緩沖器390可包括用于存儲修改的參考圖像的修改圖片緩沖器，其中，可將修改的參考圖像用于圖像間預(yù)測，但是可不用于顯示。

根據(jù)一個或多個示例實施例，可將修改圖片緩沖器與解碼圖片緩沖器分離，或者可將修改圖片緩沖器與解碼圖片緩沖器集成。修改的參考圖像和未修改的參考圖像(或參考圖片)可被提供給運動估計器320和運動補償器330中的至少一個。運動估計器320和運動補償器330可執(zhí)行針對未修改的參考圖片的操作。將在后續(xù)段落中更詳細地描述基于修改的參考圖片的運動估計和運動補償。運動估計器320可與解碼圖像預(yù)處理器380進行通信，以確定也將在后續(xù)段落中更詳細地描述的參考圖像修改方案以及修改參數(shù)。

參照圖4，視頻解碼器400可包括比特流處理塊(或比特流處理器)410、逆量化和逆變換塊420、濾波器430、解碼圖像預(yù)處理器440、圖片緩沖器450、運動補償器460以及幀內(nèi)預(yù)測器470。

比特流處理器410可接收由視頻編碼器300編碼的比特流。然而，比特流處理器410可從任何其它合適的源接收比特流在預(yù)期之內(nèi)。比特流處理器410可包括用于處理接收到的比特流的熵解碼的熵解碼器，其中，已經(jīng)由視頻編碼器300對所述比特流進行熵編碼。熵解碼可以是在視頻編碼器300中執(zhí)行的熵編碼的逆。

逆量化和逆變換塊420、濾波器430、解碼圖像預(yù)處理器440、圖片緩沖器450、運動補償器460以及幀內(nèi)預(yù)測器470實質(zhì)上可具有與視頻解碼器300的逆量化和逆變換塊360、濾波器370、解碼圖像預(yù)處理器380、圖片緩沖器390、運動補償器330以及幀內(nèi)預(yù)測器310的結(jié)構(gòu)相同的結(jié)構(gòu)。因此，將省略重復(fù)描述以避免模糊在此描述的示例實施例。然而，有別于視頻編碼器300，一旦比特流處理器410或中間組件根據(jù)預(yù)定義句法處理比特流，則逆量化和逆變換塊420、解碼圖像預(yù)處理器440、運動補償器460、幀內(nèi)預(yù)測器470以及其它組件可從比特流處理器410或中間組件接收輸入，諸如，運動信息。

圖5是根據(jù)一個或多個示例實施例的解碼圖像預(yù)處理器的框圖。

參照圖5，解碼圖像預(yù)處理器500可包括空間縮放器510、圖像旋轉(zhuǎn)控制器520、圖像剪切控制器530以及修改控制器540?？筛鶕?jù)各種實施例省略、組合、分離或修改解碼圖像預(yù)處理器500的一個或多個組件。解碼圖像預(yù)處理器500接收解碼的參考圖像的至少一部分。作為示例，解碼圖像預(yù)處理器500可接收用于修改的解碼的參考圖像的至少一個塊，或整個解碼的參考圖片幀。

根據(jù)一個或多個示例實施例，空間縮放器510可執(zhí)行接收到的參考圖像的空間縮放?？赏ㄟ^參考圖像的下采樣或上采樣來執(zhí)行空間縮放。在這個處理中，可改變分辨率。此外，可改變參考圖像的尺寸和細節(jié)層次(lod)中的至少一個。例如，當執(zhí)行下采樣時，可減少像素的數(shù)量，并且例如可通過每次將參考圖像的寬度和高度分別減半(參見，例如，圖6)將參考圖像的尺寸減少至其尺寸的四分之一。如果lod也被改變，則每個下采樣的參考圖像可具有用于指示縮放程度或縮放lod的索引(例如，lod索引)。作為默認下采樣，可將參考圖像的尺寸減少至其尺寸的四分之一。此外，通過設(shè)置參數(shù)和/或標記(flag)，可改變縮放比，使得(例如)參考圖像的尺寸減少至其尺寸的四分之三。

實際的縮放比可被確定并可被設(shè)置為用于指示特定參考圖像的縮放比的縮放參數(shù)?？筛鶕?jù)等式1來定義縮放參數(shù)。

然而，代替寬度參數(shù)，可將高度比用作縮放參數(shù)。此外，如果寬度的縮放比和高度的縮放比不同，則可定義并應(yīng)用寬度的縮放比和高度的縮放比二者。當執(zhí)行縮放時，可使用各種插值濾波器。例如，可使用最近鄰、雙線性、雙三次、雙三次平滑化、雙三次銳化等和/或它們的組合。

空間縮放器510可生成與修改的參考圖像中的對象的尺寸相應(yīng)的修改的參考圖像，其中，所述在修改的參考圖像中的對象的尺寸與當前圖像中的對象的尺寸匹配。例如，可由運動估計器320識別(放大或縮小)圖像中的對象的運動的z軸分量，并且可在識別對象的運動的z軸分量的處理中使用先前的運動信息。z軸可垂直于參考圖像。與空間平面中的運動矢量的x分量和y分量相關(guān)聯(lián)，運動矢量的z軸分量可被估計。注意到：在相鄰圖像幀(小的poc差)中的對象的運動可以是一致的，因此，可使用相應(yīng)的縮放比來修改參考圖像，以增加在使用修改的參考圖像的圖像間預(yù)測中的編碼效率。

圖像旋轉(zhuǎn)控制器520控制接收到的參考圖像的旋轉(zhuǎn)。類似于空間縮放器510的縮放參數(shù)，可將旋轉(zhuǎn)參數(shù)用于修改接收到的參考圖像。旋轉(zhuǎn)參數(shù)可包括特定參考圖像的至少一個塊的旋轉(zhuǎn)度。旋轉(zhuǎn)參數(shù)還可包括與旋轉(zhuǎn)的中心相應(yīng)的參數(shù)。例如，可將旋轉(zhuǎn)的中心設(shè)置為參考圖像的左上角。然而，示例實施例不限于此。例如，旋轉(zhuǎn)的中心可以是參考圖像幀中的搜索范圍的左上角或中心。

圖像剪切控制器530控制接收到的參考圖像的剪切。類似于空間縮放器510的縮放參數(shù)，可將剪切參數(shù)用于修改接收到的參考圖像。剪切參數(shù)可包括特定參考圖像的至少一個塊的剪切度。

修改控制器540可控制空間縮放器510、圖像旋轉(zhuǎn)控制器520及圖像剪切控制器530的輸出中的至少一個的組合。雖未示出，但是反映特定參考圖像的至少一個塊的其它控制器(諸如，反映控制器(未示出))可被配置并與修改控制器540組合(或通過修改控制器540被配置和組合)。運動矢量可與上述修改參數(shù)(例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)、剪切參數(shù))相關(guān)聯(lián)以構(gòu)成運動信息。此外，未修改的參考圖像的原始參考圖像索引(諸如poc)可進一步與運動信息相關(guān)聯(lián)，或者修改的參考圖像的索引(諸如lod索引)可與運動信息相關(guān)聯(lián)。根據(jù)一個或多個示例實施例，也可輸出未修改的參考圖像，以便將未修改的參考圖像存儲在圖片緩沖器390和/或圖片緩沖器450中，以用于顯示和圖像間預(yù)測。稍后將參照其它附圖描述進一步的細節(jié)。

圖6是根據(jù)一個或多個示例實施例示出使用縮放參數(shù)的參考圖像的修改的示圖。

參照圖6，確定當前圖像幀中的當前編碼塊cb。在當前編碼塊cb中包括目標對象to?？纱_定當前編碼塊cb僅包括目標對象to的一部分。根據(jù)一個或多個示例實施例，可識別目標對象to，并且可確定包括整個目標對象to的更大的塊。這樣，更大的塊可包括多于一個的編碼塊cb。針對作為未由解碼圖像預(yù)處理器500修改的解碼的參考圖像幀lod0，如果不考慮參考圖像修改，則可通過計算解碼的參考圖像幀lod0的預(yù)測塊pb的左上角的坐標與當前圖像幀的當前編碼塊cb的左上角的坐標的差，來確定運動矢量mv0(δx,δy)。

然而，如圖6所示，解碼的參考圖像幀lod0中的相應(yīng)的目標對象to_0幾乎比當前圖像幀中的目標對象to大四倍。因此，解碼的參考圖像幀lod0中的一個預(yù)測塊pb不會包括相應(yīng)的目標對象to_0的整個區(qū)域。這樣，不會保證幀間預(yù)測效率，或者可執(zhí)行幀內(nèi)預(yù)測而不是執(zhí)行圖像間預(yù)測。

為了增加圖像間預(yù)測的效率和/或概率，可針對圖像間預(yù)測來選擇具有l(wèi)od索引1的修改的參考圖像lod1。修改的參考圖像lod1的預(yù)測塊pb1的尺寸可與當前圖像幀的當前編碼塊cb的尺寸匹配；然而，示例實施例不限于此。按照這種方式，縮放至修改的參考圖像lod1的預(yù)測塊pb1的解碼的參考圖像幀lod0的匹配塊mb可具有比當前圖像幀的當前編碼塊cb更大的尺寸。

可基于擴展的運動參數(shù)(諸如，解碼的參考圖像幀lod0與修改的參考圖像lod1之間的縮放比s、當前圖像幀的當前編碼塊cb的左上角的坐標(x1,y1)、修改的參考圖像lod1的預(yù)測塊pb1的左上角的坐標(x2’,y2’))，來獲得修改的運動矢量mv1?？捎傻仁?來定義縮放比。

s＝x′2/x2(或x2/x′2)…等式2

根據(jù)一個或多個示例實施例，修改的參考圖像lod1的lod索引和解碼的參考圖像幀lod0的匹配塊mb的左上角的坐標(x2,y2)可被用作擴展的運動參數(shù)?？筛鶕?jù)預(yù)定義的句法將擴展的運動參數(shù)包括在運動信息中并對其進行編碼。作為示例，可根據(jù)等式3來定義運動矢量mv1。

mv1＝(s·x2-x1,s·y2-y1)，其中，s＝x′2/x2或y′2/y2...等式3

根據(jù)一個或多個示例實施例，可根據(jù)等式4來定義運動矢量mv。

mv＝(s·x′2-x1,s·y′2-y1)，其中，s＝x2/x′2或y2/y′2...等式4

當寬度的縮放比s1不同于高度的縮放比s2時，可根據(jù)等式5來定義運動矢量mv。

mv＝(s1·x′2-x1,s2·y′2-y1)，其中，s1＝x2/x′2；s2＝y(tǒng)2/y′2...等式5

根據(jù)一個或多個示例實施例，可通過在當前圖像幀中的坐標上應(yīng)用縮放比來定義運動矢量mv。例如，可根據(jù)等式6來定義運動矢量mv。

mv＝(x′2-s·x1,y′2-s·y1)，其中，s＝x′2/x2或y′2/y2…等式6

圖7是根據(jù)一個或多個示例實施例示出使用縮放參數(shù)的參考圖像的修改的示圖。

參照圖7，確定當前圖像幀中的當前編碼塊cb。在當前編碼塊cb中包括目標對象to的一部分?？勺R別目標對象to并且可確定包括整個目標對象to的更大的塊。按照這種方式，更大的塊可包括多于一個的編碼塊cb。此外，根據(jù)一個或多個示例實施例，可確定當前編碼塊cb包括目標對象to的整個部分。針對作為未由解碼圖像預(yù)處理器500修改的解碼的參考圖像幀lod0，如果不考慮參考圖像修改，則可通過計算解碼的參考圖像幀lod0的預(yù)測塊pb的左上角的坐標與當前圖像幀的當前編碼塊cb的左上角的坐標的差來確定運動矢量mv0(δx,δy)。

然而，如圖7所示，解碼的參考圖像幀lod0中的相應(yīng)的目標對象to_0幾乎是當前圖像幀中的目標對象to的四分之一。因此，解碼的參考圖像幀lod0中的一個預(yù)測塊pb可比當前編碼塊cb中的目標對象to的面積大。因此，不可保證幀間預(yù)測效率，或者可執(zhí)行幀內(nèi)預(yù)測而不是圖像間預(yù)測。

為了增加圖像間預(yù)測的效率和/或概率，可針對圖像間預(yù)測來選擇具有l(wèi)od索引-1的修改的參考圖像lod-1。修改的參考圖像lod-1的預(yù)測塊pb1的尺寸可與當前圖像幀的當前編碼塊cb的尺寸匹配；然而，示例實施例不限于此。按照這種方式，縮放至修改的參考圖像lod-1的預(yù)測塊pb1的解碼的參考圖像幀lod0的匹配塊mb可具有比當前圖像幀的當前編碼塊cb更小的尺寸。

可基于擴展的運動參數(shù)(諸如，解碼的參考圖像幀lod0與修改的參考圖像lod-1之間的縮放比s(由等式2定義)、當前圖像幀的當前編碼塊cb的左上角的坐標(x1,y1)、修改后的參考圖像lod-1的預(yù)測塊pb1的左上角的坐標(x2’,y2’))，來獲得修改的運動矢量mv1。

根據(jù)一個或多個示例實施例，修改的參考圖像lod-1的lod索引和解碼的參考圖像幀lod0的匹配塊mb的左上角的坐標(x2,y2)可被用作擴展的運動參數(shù)?？筛鶕?jù)預(yù)定義的句法將擴展的運動參數(shù)包括在運動信息中并對其進行編碼。作為示例，可根據(jù)等式3來定義運動矢量mv1。根據(jù)一個或多個示例實施例，可根據(jù)等式4或等式6來定義運動矢量mv。當寬度的縮放比s1不同于高度的縮放比s2時，可根據(jù)等式5來定義運動矢量mv。

圖8是根據(jù)一個或多個示例實施例示出基于優(yōu)化的縮放參數(shù)或插值的圖像間預(yù)測的示圖。

參照圖8，解碼的參考圖像lod0可被縮放為修改的參考圖像lodm。例如，如圖8所示，縮放比可以是四分之三?？墒褂酶鞣N縮放算法(諸如，最近鄰插值、雙線性插值等)?？煽紤]子像素以將lod0中的16個像素值映射到lodm中的9個像素值。例如，可將lod0中的16個像素值中的一些的加權(quán)平均值映射到lodm中的9個像素值中的每個像素值。作為示例，可根據(jù)等式7來定義運動矢量mv。

mv＝(s·x2-x1,s·y2-y1)，其中，s＝x″2/x2或y″2/y2…等式7

此外，可基于解碼的參考圖像lod0的匹配塊mb0和/或修改的參考圖像lod1的匹配塊mb1的插值來確定預(yù)測塊pbm的位置以及9個像素值。例如，可使用最近鄰、雙線性、雙三次、雙三次平滑化、雙三次銳化等和/或它們的組合。

圖9是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖9，在解碼的參考圖像中使當前圖像幀中的目標對象to旋轉(zhuǎn)。如果不考慮參考圖像修改，則基于圖像內(nèi)預(yù)測或圖像間預(yù)測從解碼的參考圖像來預(yù)測當前圖像幀的編碼塊。由于目標對象to被旋轉(zhuǎn)，因此壓縮可能不是最佳的。根據(jù)一個或多個示例實施例，可通過旋轉(zhuǎn)解碼的參考圖像來修改解碼的參考圖像，使得旋轉(zhuǎn)的參考圖像中的目標對象to更好地匹配當前圖像幀中的目標對象to。

例如，在圖9中，旋轉(zhuǎn)度30°提供目標對象to的合適(例如，最佳)匹配?？苫诮獯a的參考圖像中的目標對象to的位置來確定旋轉(zhuǎn)的中心，或者可將旋轉(zhuǎn)的中心確定為解碼的參考圖像的左上角(參見，例如，圖10)或相對于解碼的參考圖像的其它位置。擴展的運動參數(shù)可包括修改的運動矢量、參考圖片索引以及旋轉(zhuǎn)度索引。旋轉(zhuǎn)度索引可包括旋轉(zhuǎn)的中心和旋轉(zhuǎn)度中的至少一個。在擴展的運動參數(shù)之中，縮放參數(shù)(例如，縮放比s、s1及s2)、旋轉(zhuǎn)參數(shù)(例如，旋轉(zhuǎn)度、旋轉(zhuǎn)的中心等)以及剪切參數(shù)可被稱為參考圖像修改參數(shù)。然而，示例實施例不限于此。如這里所使用，參考圖像修改參數(shù)可被用于修改參考圖像。

圖10是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖10，當前圖像幀包括目標對象to。當前圖像幀的當前編碼塊cb的左上角的坐標是(x1,y1)?？蓪⒔獯a的參考圖像中的相應(yīng)的目標對象to相對于當前圖像幀中的目標對象to旋轉(zhuǎn)θ度。為了提高圖像間預(yù)測的效率和/或概率，可通過將解碼的參考圖像旋轉(zhuǎn)θ度來修改解碼的參考圖像。

修改的參考圖像中的預(yù)測塊pbθ可被用于當前圖像幀的當前編碼塊cb的圖像間預(yù)測。此外，修改的參考圖像中的預(yù)測塊pbθ可以是逆時針旋轉(zhuǎn)的解碼的參考圖像中的匹配塊mb。然而，匹配塊mb中的像素可不與預(yù)測塊pbθ中的像素準確地匹配。因此，可應(yīng)用各種插值方案，并且可調(diào)整像素值。可根據(jù)等式8來確定修改的運動矢量mvθ。

mvθ＝(x2′-x1，y2′-y1),…等式8

其中x′2＝x2·cosθ-y2·sinθ；y2′＝x2·sinθ+y2·cosθ

旋轉(zhuǎn)參數(shù)θ可以是解碼的參考圖像的修改參數(shù)。修改的運動矢量mvθ和旋轉(zhuǎn)參數(shù)θ二者可以是擴展的運動參數(shù)。此外，根據(jù)一個或多個示例實施例，與旋轉(zhuǎn)參數(shù)θ相關(guān)聯(lián)，修改的運動矢量mvθ可根據(jù)等式9被定義。

mvθ＝(x2-x1，y2-y1)，…等式9

其中，x2＝x2′·cos(-θ)-y2′·sin(-θ)，

y2＝x2′·sin(-θ)+y2′·cos(-θ)

圖11是根據(jù)一個或多個示例實施例示出使用旋轉(zhuǎn)參數(shù)的參考圖像的修改的示圖。

參照圖11，可在解碼的參考圖像中確定搜索范圍sr?？蓪⑺阉鞣秶D(zhuǎn)θ度。如圖11所示，旋轉(zhuǎn)的中心可以是搜索范圍sr的中心。然而，示例實施例不限于此。例如，旋轉(zhuǎn)的中心可以是搜索范圍sr的左上角?？筛鶕?jù)等式10來定義與搜索范圍sr的尺寸、旋轉(zhuǎn)的中心以及旋轉(zhuǎn)度相關(guān)聯(lián)的修改的運動矢量。

wvθ＝(x2′-x1，y2′-y1),…等式10

其中,x′2＝(x2-xc)·cosθ-(y2-yc)·sinθ+xc；y2′＝(x2-xc)·sinθ+(y2-yc)·cosθ+yc

旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ可以是解碼的參考圖像的修改參數(shù)。此外，修改的運動矢量mvθ、旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ可以是擴展的運動參數(shù)。此外，根據(jù)一個或多個示例實施例，與旋轉(zhuǎn)的中心(xc,yc)以及旋轉(zhuǎn)參數(shù)θ相關(guān)聯(lián)，修改的運動矢量mvθ可根據(jù)等式11來被定義。

mvθ＝(x2-x1，y2-y1)，…等式11

其中，x2＝(x′2-xc)·cos(-θ)-(y′2-yc)·sin(-θ)+xc，

y2＝(x′2-xc)·sin(-θ)+(y′2-yc)·cos(-θ)+yc

圖12是根據(jù)一個或多個示例實施例示出使用剪切參數(shù)的參考圖像的修改的示圖。

參照圖12，當前圖像幀包括作為解碼的參考圖像中的相應(yīng)的目標對象的剪切圖像的目標對象to。當前圖像幀的當前編碼塊cb的左上角的坐標是(x1,y1)?？墒褂玫仁?2將解碼的參考圖像中的相應(yīng)的目標對象to進行剪切，以提高圖像間預(yù)測的效率和/或概率。

可通過作為實數(shù)的剪切參數(shù)a和b來修改解碼的參考圖像。修改的參考圖像中的預(yù)測塊pb可被用于當前圖像幀的當前編碼塊cb的圖像間預(yù)測。此外，修改的參考圖像中的預(yù)測塊pb可以是解碼的參考圖像中的匹配塊mb的剪切的塊。然而，如果a和b中的至少一個不是整數(shù)，則匹配塊mb中的像素可能不與預(yù)測塊pb中的像素準確地匹配。因此，可應(yīng)用各種插值方案，并且可調(diào)整像素值?？筛鶕?jù)等式13來確定修改的運動矢量mv。

mv＝(x′2-x1，y′2-y1),…等式13

其中，x2′＝x2+y2·a，y2′＝x2·b+y2

剪切參數(shù)a和b可以是解碼的參考圖像的修改參數(shù)。修改的運動矢量mv以及旋轉(zhuǎn)參數(shù)a和b可以是擴展的運動參數(shù)。此外，根據(jù)一個或多個示例實施例，與剪切參數(shù)a和b相關(guān)聯(lián)，修改的運動矢量mv可根據(jù)等式14來被確定。

mv＝(x2-x1，y2-y1)，…等式14

其中，x2＝(x′2-a·y′2)/(1-a·b)，

y2＝(y′2-b·x′2)/(1-n·b)

在上述等式中，如果將(x2-x1,y2-y1)用作運動矢量，則可在相對短的時間內(nèi)將修改的參考圖像存儲在圖片緩沖器中。相反，可在圖片緩沖器中保持相應(yīng)的未修改的參考圖像，可基于修改參數(shù)來修改參考圖像，并且可基于修改的參考圖像來執(zhí)行幀間預(yù)測。

在下文中，將描述參考列表句法的示例。

參數(shù)集可具有類似于具有一些修改和擴展的hevc和h.264/avc的結(jié)構(gòu)的結(jié)構(gòu)。例如，可配置或利用序列參數(shù)集(sps)和圖片參數(shù)集(pps)。此外，也可添加視頻參數(shù)集(vps)。每個圖片(或圖像幀)可具有一個或多個條帶(slice)并且每個條帶可參考單個活動(active)pps、活動sps及活動vps，以訪問用于對條帶進行解碼的信息。pps可包括可應(yīng)用于圖片中的所有條帶的信息。不同圖片中的條帶也可被配置為表示同一pps。sps可包括可應(yīng)用于同一編碼視頻序列中的所有圖片的信息。vps可包括可應(yīng)用于編碼視頻序列中的所有層的信息。vps可被用于分層擴展，諸如，可伸縮編碼和多視點編碼。

每個條帶頭可包括參考特定pps的pps標識符。pps可包括參考特定sps的sps標識符。sps可包括參考特定vps的標識符。pps可包括可針對同一編碼視頻序列內(nèi)的不同圖片改變的參數(shù)。然而，根據(jù)一個或多個示例實施例，多個圖片可參考同一pps。每個pps可包括pps標識符、用于參考sps的索引以及參考pps的描述條帶中使用的編碼工具的其它參數(shù)。編碼工具可以是加權(quán)預(yù)測的、參考列表修改的等。此外，在pps中信令傳送(signal)的編碼工具參數(shù)的可包括參考索引的數(shù)量。

根據(jù)一個或多個示例實施例，pps可包括下述各種參數(shù)。可根據(jù)各種配置來改變參數(shù)的名稱。此外，可在另一參數(shù)集或條帶頭中包括參數(shù)或相關(guān)聯(lián)的參數(shù)。

參數(shù)ref_lod_enable_flag可指示是否針對圖像間預(yù)測生成相應(yīng)的圖片的縮放lod圖像。

參數(shù)lod_scaling_ratio_flag可指示是否通過使用默認縮放值(諸如，s＝1/2或2)來執(zhí)行參考圖像的縮放。例如，如果lod_scaling_ratio_flag＝0，則可使用默認縮放值s＝1/2或s＝2來執(zhí)行參考圖像的縮放。如果lod_scaling_ratio_flag＝1，則可使用非默認縮放值(諸如，s＝3/4)來執(zhí)行參考圖像的縮放。

此外，可定義lod_scaling_mantissa和lod_scaling_exponent。作為示例，可利用非默認縮放值s＝m·2ⁿ，其中，lod_scaling_mantissa＝m以及l(fā)od_scaling_exponent＝n。

參數(shù)lod_start_num可指示具有最大lod尺寸的lod的lod索引。例如，如果lod_start_num＝-2，則最大lod是基于縮放比s＝4調(diào)整尺寸的lod-2。如果lod_start_num＝0，則最大lod是與lod0相應(yīng)的未修改的參考圖像。

參數(shù)lod_end_num可指示具有最小lod尺寸的lod的lod索引。例如，如果lod_end_num＝2，則可從解碼的參考圖像lod0生成lod1和lod2。

參數(shù)lod_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過lod_scaling_filter_type＝0指示最近鄰濾波器類型，可通過lod_scaling_filter_type＝1指示雙線性濾波器類型，可通過lod_scaling_filter_type＝2指示雙三次濾波器類型。

參數(shù)ref_rot_enable_flag可指示是否針對圖像間預(yù)測來生成旋轉(zhuǎn)的參考圖像。

參數(shù)rot_center_flag可指示是否使用默認值(諸如，參考圖像的左上角)來執(zhí)行參考圖像的旋轉(zhuǎn)的中心。例如，如果rot_center_flag＝0，則如圖10所示，通過使用默認旋轉(zhuǎn)中心值(0,0)來執(zhí)行參考圖像的旋轉(zhuǎn)。如果rot_center_flag＝1，則使用作為旋轉(zhuǎn)的中心的坐標的非默認值(諸如，c＝(xc,yc))指示旋轉(zhuǎn)的中心。

參數(shù)rot_range_flag可指示是否旋轉(zhuǎn)參考圖像的整個區(qū)域。例如，如果rot_range_flag＝0，則如圖10所示，通過旋轉(zhuǎn)整個參考圖像，來執(zhí)行參考圖像的旋轉(zhuǎn)。如果rot_range_flag＝1，則如圖11所示，可額外獲知參考圖像中的旋轉(zhuǎn)區(qū)域。

參數(shù)rot_angle可指示旋轉(zhuǎn)度θ。

參數(shù)rot_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過rot_scaling_filter_type＝0指示最近鄰濾波器類型，可通過rot_scaling_filter_type＝1指示雙線性濾波器類型，可通過rot_scaling_filter_type＝2指示雙三次濾波器類型。

參數(shù)ref_shear_enable_flag可指示是否針對圖像間預(yù)測生成剪切的參考圖像。

參數(shù)shear_range_flag可指示是否將參考圖像的整個區(qū)域修改為剪切的參考圖像。例如，如果shear_range_flag＝0，則如圖12所示，修改參考圖像的整個區(qū)域。如果shear_range_flag＝1，則參考圖像中的剪切處理區(qū)域可被額外地獲知。

參數(shù)shear_a_component可指示等式12的矩陣中的值a。

參數(shù)shear_b_component可指示等式12的矩陣中的值b。

參數(shù)shear_scaling_filter_type可指示用于插值的濾波器類型。例如，可通過shear_scaling_filter_type＝0指示最近鄰濾波器類型，可通過shear_scaling_filter_type＝1指示雙線性濾波器類型，可通過shear_scaling_filter_type＝2指示雙三次濾波器類型。

針對條帶句法，當前圖片的條帶可包括條帶片段，并且每個條帶片段可包括條帶片段頭。條帶片段頭可包括用于參考pps的索引以及識別條帶片段的數(shù)據(jù)。當在相關(guān)聯(lián)的pps中指示時，可在條帶片段頭的開端包括可選的額外條帶片段頭位?？蛇x的額外條帶片段頭位可被用于在保持與hevc或其前驅(qū)的現(xiàn)有參數(shù)的后向兼容性的同時利用擴展的參數(shù)。

根據(jù)一個或多個示例實施例，條帶頭可包括lod_referencing_enable、rot_referencing_enable以及shear_referencing_enable。

參數(shù)lod_referencing_enable可指示當前條帶將lod參考圖像用于圖像間預(yù)測。

參數(shù)rot_referencing_enable可指示當前條帶將旋轉(zhuǎn)的參考圖像用于圖像間預(yù)測。

參數(shù)shear_referencing_enable指示當前條帶將剪切的參考圖像用于圖像間預(yù)測。

如果對修改的參考圖像的參考被啟用并且修改的參考圖像可用，則預(yù)測單元(pu)可通過標識符確定修改的參考圖像。

參照圖5，修改控制器540可通過控制空間縮放器510、圖像旋轉(zhuǎn)控制器520及圖像剪切控制器530，來提供由等式15定義的通用仿射矩陣。

其中，

矩陣可以是在空間縮放器510中配置的空間縮放和空間移動矩陣。s1表示寬度縮放比，s2表示高度縮放比。

矩陣可以是在圖像旋轉(zhuǎn)控制器520中配置的旋轉(zhuǎn)矩陣，其中，θ表示旋轉(zhuǎn)角度。

矩陣可以是在圖像剪切控制器530中配置的剪切矩陣，其中，參數(shù)a和b表示剪切參數(shù)。

pps或條帶頭可包括實現(xiàn)解碼的參考圖像的幾何變換的geometric_transform_enable_flag。如果geometric_transform_enable_flag被啟用，則可提供通用仿射矩陣的幾何參數(shù)c、d、e、f、g和h。

圖片緩沖器(例如，圖片緩沖器390和圖片緩沖器450)可以是存儲解碼的參考圖像幀(未修改)和修改的參考圖像的緩沖器。作為示例，解碼器針對解碼特定比特流分配的最小緩沖器大小可由參數(shù)信令傳送，其中，可針對序列參數(shù)集中的每個時間子層設(shè)置所述參數(shù)。此外，可由(例如)sps_max_dec_pic_buffering_minus1碼字來指示針對解碼的參考圖像幀的最小緩沖器大小，可由另一參數(shù)來指示針對修改的參數(shù)圖像的最小緩沖器大小。另外，最大緩沖器大小也可被確定為固定值，或者可由參數(shù)指示最大緩沖器大小。

未修改的參考圖像幀和修改的參考圖像二者可被用作針對圖像間預(yù)測的參考圖像。修改的參考圖像不被顯示。因此，修改的參考圖像可被分類為“用于短期參考”(類型1)和“用于長期參考”(類型2)。因為類型3參考圖像稍后被顯示，所以除前述的類型1和類型2以外，解碼的參考圖像幀還可被分類為“未用于參考”(類型3)。

類似于hevc，相比于類型1圖片，類型2圖片可在圖片緩沖器中被保持更長時間。被分類為類型1的修改的參考圖像可被改變?yōu)轭愋?或可從圖片緩沖器中移除。如果被分類為類型2的修改的參考圖像將不被用作參考圖像，則可將其從圖片緩沖器中移除。

在hevc中，參考圖片集(rps)可表示在每個條帶頭中信令傳送并且包括一組短期圖片和一組長期圖片的圖片指示符的集合。在圖片的第一條帶頭已經(jīng)被解碼之后，解碼后的圖片緩沖器中的圖片可被標記為由rps指定?？杀挥米饔糜诎凑战獯a順序預(yù)測任意后續(xù)圖片的參考圖像的已經(jīng)被解碼的全部圖片被包括在rps中。rps包括用于識別解碼的圖片緩沖器中的圖片的一組poc值。rps也信令傳送針對每個圖片的可用性標記，以指示相應(yīng)的圖片針對當前圖片(“當前圖像幀”或“當前圖像”)的參考是可用的還是不可用的。不可用的圖片隨后可用于參考，并且被用于解碼未來的圖片。

根據(jù)一個或多個示例實施例，rps可以是在每個條帶頭中信令傳送的一組未修改和修改的參考圖像指示符，并且rps包括一組短期參考圖像(未修改和修改的二者)和一組長期參考圖像(未修改和修改的二者)。在圖片的第一條帶頭已經(jīng)被解碼之后，圖片緩沖器中的參考圖像可被標記為由rps指定。rps可包括用于識別解碼的圖片緩沖器中的未修改的圖片的一組poc值以及一組修改標識符。每個修改標識符與poc值相關(guān)聯(lián)。例如，修改標識符可包括標記和用于識別圖片緩沖器中的修改的參考圖像的索引中的至少一個。

此外，修改標識符可包括與擴展的運動參數(shù)、參考圖像修改參數(shù)以及與先前描述的參考圖像的修改相關(guān)的標記中的至少一個相應(yīng)(或相關(guān)聯(lián))的參數(shù)。rps可信令傳送針對每個參考圖像(未修改和修改的二者)的可用性標記，以指示相應(yīng)的參考圖像針對當前圖片(“當前圖像幀”或“當前圖像”)的參考是可用的還是不可用的。不可用的參考圖像隨后可用于參考，并且被用于解碼未來的圖片。

針對用于當前圖像幀的塊的圖像間預(yù)測，可從圖片緩沖器390和/或圖片緩沖器450獲取相應(yīng)的修改的參考圖像?？稍谧鳛樾薷牡膮⒖紙D像的來源的參考圖像的重構(gòu)之后生成修改的參考圖像。根據(jù)另一配置，圖片緩沖器390和/或圖片緩沖器450可不存儲一些修改的參考圖像，而是可基于其未修改的參考圖像和包括參考圖像修改參數(shù)的擴展的運動參數(shù)，稍后生成這些修改的參考圖像。

根據(jù)一個或多個示例實施例，“用于長期參考”(類型2)的修改的參考圖像可不存儲在圖片緩沖器390和/或圖片緩沖器450中，而是可基于在圖片緩沖器390和/或圖片緩沖器450中保存的未修改的參考圖像以及包括參考圖像修改參數(shù)的擴展的運動參數(shù)，稍后生成修改的參考圖像。因此，可減少圖片緩沖器大小。

當由運動估計器執(zhí)行運動估計時，運動估計器320可接收關(guān)于包括在當前圖像幀中的至少一個目標對象to的信息。關(guān)于至少一個目標對象to的信息可包括目標對象to的邊界、目標對象to的位置、目標對象to的三維運動信息等?；陉P(guān)于至少一個目標對象to的信息，運動估計可被更有效地執(zhí)行，并且將被生成的修改的參考圖像的數(shù)量可被減少。

圖13是根據(jù)一個或多個示例實施例示出修改針對幀間預(yù)測的參考圖像的處理的流程圖。

在操作s1310中，視頻編碼器可確定將被編碼或解碼的圖像幀。確定的圖像幀可用作當前圖像幀。例如，視頻編碼器可確定將被編碼的當前圖像幀的編碼塊，視頻解碼器可確定將被解碼的當前圖像幀的編碼塊。針對當前圖像幀的編碼塊，確定幀間預(yù)測或幀內(nèi)預(yù)測。如果針對當前圖像幀的編碼塊確定幀間預(yù)測，則可利用幀間預(yù)測器(例如，包括圖3的運動估計器320和運動補償器330的幀間預(yù)測器或者包括圖4的運動補償器460的幀間預(yù)測器)。按照這種方式，解碼圖片預(yù)處理器可利用在圖片緩沖器中存儲的修改的參考圖像。

在操作s1320，視頻編碼器可獲得針對幀間預(yù)測處理的參考圖像。參考圖像是在時間上不同于當前圖像幀的先前解碼的參考圖像幀。按照操作s1330，視頻編碼器可修改獲得的參考圖像以提高幀間預(yù)測效率?？赏ㄟ^修改參考圖像來生成修改的參考圖像。在操作s1340中，視頻編碼器可基于修改的參考圖像，針對確定的圖像幀的編碼塊來執(zhí)行幀間預(yù)測。

圖14是根據(jù)一個或多個示例實施例示出用于修改針對幀間預(yù)測的參考圖像的視頻編碼器的處理的流程圖。

在操作s1410中，視頻編碼器可基于修改參數(shù)來修改參考圖像以生成修改的參考圖像。修改參數(shù)可包括用于修改參考圖像的一個或多個參數(shù)，例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)。例如，修改的參考圖像可包括至少一個修改的對象，并且修改的對象可基于縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)中的至少一個來被修改。

在操作s1420，視頻編碼器可確定與當前圖像的編碼塊相關(guān)聯(lián)的運動信息。按照操作s1430，視頻編碼器可編碼與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)的運動信息。例如，運動信息可包括與當前圖像的編碼塊和修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運動矢量。運動信息可與當前圖像的編碼塊和參考圖像的匹配塊相關(guān)聯(lián)。運動信息還可包括關(guān)于修改參數(shù)的信息?？赏ㄟ^參考圖像修改處理將參考圖像的匹配塊變換為修改的參考圖像的預(yù)測塊。

圖15是根據(jù)一個或多個示例實施例示出用于修改針對幀間預(yù)測的參考圖像的視頻解碼器的處理的流程圖。

在操作s1510中，視頻解碼器可接收與修改參數(shù)和修改的參考圖像中的至少一個相關(guān)聯(lián)的運動信息?？蓮囊曨l編碼器(例如，參照圖3和圖4示出的視頻編碼器)傳輸運動信息的至少一部分?？稍谝曨l編碼器與視頻解碼器之間預(yù)定義從視頻編碼器傳輸?shù)倪\動信息的句法。

在操作s1520，視頻解碼器可確定針對當前圖像的編碼塊的運動信息。按照操作s1530，視頻解碼器可基于在針對當前圖像的編碼塊的運動信息中包括的修改參數(shù)，來修改參考圖像以生成修改的參考圖像。修改參數(shù)可包括用于修改參考圖像的參數(shù)，例如，縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)。例如，修改的參考圖像可包括至少一個修改的對象，可修改的對象基于縮放參數(shù)、旋轉(zhuǎn)參數(shù)及剪切參數(shù)中的至少一個來被修改。

根據(jù)一個或多個示例實施例，針對當前圖像的編碼塊的運動信息可包括與當前圖像的編碼塊和修改的參考圖像的預(yù)測塊相關(guān)聯(lián)的運動矢量。運動信息可與當前圖像的編碼塊和參考圖像的匹配塊相關(guān)聯(lián)。運動信息還可包括關(guān)于修改參數(shù)的信息?？赏ㄟ^參考圖像修改處理將參考圖像的匹配塊變換為修改的參考圖像的預(yù)測塊。

圖16和圖17分別示出根據(jù)一個或多個示例實施例的使用生成的lod的幀間預(yù)測。

參照圖16，可分析一組圖片(例如，i1、b2、b3、b4、b5、b6、b7、b8及p9)，并且可確定對象的z方向的運動。在hevc中，存在三種條帶類型：幀內(nèi)(i)條帶，針對其僅允許幀內(nèi)預(yù)測；預(yù)測性(p)條帶，除幀內(nèi)預(yù)測以外，也允許使用一個運動矢量和一個參考索引從每個塊的一個參考圖片的幀間預(yù)測；雙預(yù)測性(b)條帶，除幀內(nèi)預(yù)測和單向預(yù)測以外，也允許使用兩個運動矢量和兩個參考索引的幀間預(yù)測。根據(jù)一個或多個示例實施例，由于修改的參考圖像還可被使用，因此可將標記用于每個條帶，以指示是否將修改的參考圖像用于針對條帶的幀間預(yù)測?？蓪D片i1確定為參考圖像，并且可通過改變圖片i1的lod來生成修改的參考圖像。隨著圖像幀的序列從圖片i1移動到圖片p9，每個圖片中的對象(例如，三角形的對象)的大小可逐漸減少。按照這種方式，可生成lod使得對象的大小逐漸減少。包括對象的編碼塊還可包括指示對象沿著z方向的運動的運動信息。

參照圖17，圖片i1和p9可被用于生成針對在圖片i1與圖片p9之間的七個圖像幀的幀間預(yù)測的修改的參考圖像?？蓤?zhí)行插值以生成七個修改的參考圖像。

圖18示出根據(jù)一個或多個示例實施例的使用生成的旋轉(zhuǎn)后的參考圖像的幀間預(yù)測。

參照圖18，可分析一組圖片(例如，i1、b2、b3、b4、p5、b6、b7、b8及p9)，并且可確定對象的旋轉(zhuǎn)運動?？蓪D片i1確定為參考圖像，并且可通過旋轉(zhuǎn)圖片i1的至少部分來生成修改的參考圖像。隨著圖像幀的序列從圖片i1移動到圖片p9，每個圖片中的對象(例如，三角形的對象)的傾斜可逐漸改變。按照這種方式，可生成旋轉(zhuǎn)的參考圖像使得對象的傾斜逐漸改變。包括對象的編碼塊還可包括指示對象的旋轉(zhuǎn)度的運動信息。

參考圖片集

在hevc中，使用參考圖片集(rps)來執(zhí)行將圖片標記為“用于短期參考”、“用于長期參考”或“未用于參考”的處理。rps是在每個條帶頭中信令傳送的圖片指示符的集合，并且rps包括一組短期圖片和一組長期圖片。一旦圖片的第一條帶頭被解碼，則將解碼圖片緩沖器中的圖片標記為由rps指定。rps包括用于識別dpb中的圖片的一組圖片順序計數(shù)值。除信令傳送poc信息之外，rps也信令傳送針對每個圖片的一個標記。每個標記指示相應(yīng)的圖片針對當前圖片的參考是可用的還是不可用的。

根據(jù)一個或多個示例實施例，針對修改的參考圖像，生成修改的參考圖像的相關(guān)聯(lián)的參考圖像的poc值以及用于修改相關(guān)聯(lián)的參考圖像以生成修改的參考圖像的修改參數(shù)，可在rps用于識別修改的參考圖像。如果針對每個修改的參考圖像分配唯一的索引或唯一的標識符，則可使用唯一的索引或唯一的標識符。

參考圖片列表

在hevc中，針對比特流中的剩余圖片的解碼，在解碼圖片緩沖器(dpb)中存在一組特定的先前解碼的圖片。為了識別這些參考圖片，在每個條帶頭中傳輸圖片順序計數(shù)(poc)標識符的列表。被保留的參考圖片的集合是參考圖片集(rps)。在hevc中，兩個列表(參考圖片列表0和參考圖片列表1)被構(gòu)造為dpb中的圖片的列表。將索引(被稱為“參考圖片索引”)用于識別在這些列表中的一個列表中的特定圖片。針對單向預(yù)測，可從兩個列表的任何一個列表中選擇圖片。針對雙向預(yù)測，可選擇兩個圖片——從每個列表中選擇一個圖片。當列表僅包含一個圖片時，參考圖片索引隱含地具有值0并且不需要以比特流的形式傳輸。

根據(jù)一個或多個示例實施例，可在參考畫面圖片列表0或參考圖片列表1中包括識別修改的參考圖像的索引。此外，可將另一參考圖片列表(例如，參考圖片列表2、參考圖片列表3等)用于包括修改的參考圖像的索引。如果除參考圖片列表0或參考圖片列表1以外，參考圖片列表具有額外的參考圖片列表，則可針對修改的參考圖像指定額外的參考圖片列表，并且可將參考圖片列表0和參考圖片列表1用于包括未修改的參考圖像的poc。

根據(jù)一個或多個示例實施例，可將參考圖片列表2用于包括第一參考圖像(未修改)的poc以及縮放參數(shù)(例如，lod索引)以修改第一參考圖像?？蓪⒖紙D片列表3用于包括第二參考圖像(未修改)的poc以及旋轉(zhuǎn)參數(shù)(例如，旋轉(zhuǎn)度)以修改第二參考圖像?？蓪⒖紙D片列表4用于包括第三參考圖像(未修改)的poc以及剪切參數(shù)以修改第三參考圖像。在這樣的配置中，針對不同的修改類型指定參考圖片列表2、3、4…n。每個修改的參考圖像不必具有用于識別本身的索引。相反，可使用未修改的參考圖像的poc以及修改參數(shù)。例如，如果參考圖片列表2和參考圖片列表3二者包括poc值以及相應(yīng)的修改參數(shù)，則可執(zhí)行縮放和旋轉(zhuǎn)二者，以分別基于參考圖片列表2和參考圖片列表3生成針對當前圖像幀的編碼塊的幀間預(yù)測的修改的參考圖像。

根據(jù)一個或多個示例實施例，可使用修改的參考圖像來增加圖像間預(yù)測效率和/或圖像間預(yù)測概率。

雖然已經(jīng)在此描述特定示例實施例以及實施方式，但是其它實施例以及實施方式從本描述中將是顯而易見的。因此，本發(fā)明構(gòu)思不限于這樣的實施例，而是限于權(quán)利要求書以及各種明顯的修改和等同安排的更寬泛的范圍。