視頻編碼裝置和方法、視頻解碼裝置和方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種視頻編碼裝置和方法、視頻解碼裝置和方法。存儲(chǔ)單元對(duì)在編碼目標(biāo)圖像之前被編碼的編碼圖像的解碼圖像進(jìn)行存儲(chǔ)，該編碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的視頻中。視頻編碼單元通過(guò)幀間預(yù)測(cè)編碼對(duì)編碼目標(biāo)圖像進(jìn)行編碼，當(dāng)靜態(tài)圖像編碼應(yīng)用于在編碼目標(biāo)圖像之前一個(gè)圖像的圖像以及視頻編碼應(yīng)用于編碼目標(biāo)圖像時(shí)，幀間預(yù)測(cè)編碼使用解碼圖像作為參考圖像。
【專(zhuān)利說(shuō)明】
視頻編碼裝置和方法、視頻解碼裝置和方法
技術(shù)領(lǐng)域
[0001]本文中所討論的實(shí)施例涉及視頻編碼裝置、視頻編碼方法、視頻解碼裝置以及視頻解碼方法。
【背景技術(shù)】
[0002]在許多情況下，存在使用大量數(shù)據(jù)的視頻數(shù)據(jù)。因此，當(dāng)視頻數(shù)據(jù)從發(fā)送裝置發(fā)送到接收裝置或者當(dāng)視頻數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)單元中時(shí)，該視頻數(shù)據(jù)接受壓縮編碼。
[0003]作為代表性的視頻編碼標(biāo)準(zhǔn)，運(yùn)動(dòng)圖像專(zhuān)家組階段2(MPEG-2)、MPEG_4和MPEG-4高級(jí)視頻編碼(MPEG-4AVC/H.264)是已知的。這些視頻編碼標(biāo)準(zhǔn)是由國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(IS0/IEC)開(kāi)發(fā)的。
[0004]此外，作為新的視頻編碼標(biāo)準(zhǔn)，高效率視頻編碼(HEVC，MPEG-H/H.265)正在被開(kāi)發(fā)(例如，參見(jiàn)非專(zhuān)利文獻(xiàn)I)。
[0005]上述視頻編碼標(biāo)準(zhǔn)采用兩種編碼方法，S卩，幀間預(yù)測(cè)編碼和幀內(nèi)預(yù)測(cè)編碼。幀間預(yù)測(cè)編碼是使用編碼圖像的信息以對(duì)編碼目標(biāo)圖像進(jìn)行編碼的編碼方法，而幀內(nèi)預(yù)測(cè)編碼是僅使用包括在編碼目標(biāo)圖像中的信息以對(duì)編碼目標(biāo)圖像進(jìn)行編碼的編碼方法。編碼目標(biāo)圖像還被稱(chēng)為幀或圖片。
[0006]作為這些視頻編碼標(biāo)準(zhǔn)的目標(biāo)的視頻是自然圖像，主要通過(guò)使用各種類(lèi)型的相機(jī)獲得。然而，隨著近年來(lái)信息技術(shù)的進(jìn)步，除了將視頻編碼應(yīng)用于自然圖像以外，出現(xiàn)了將視頻編碼應(yīng)用于屏幕內(nèi)容圖像如顯示在個(gè)人計(jì)算機(jī)(PC)桌面等上的那些圖像的趨勢(shì)。
[0007]作為屏幕內(nèi)容圖像的視頻編碼的特定示例，存在將顯示在PC或游戲裝置上的圖像無(wú)線(xiàn)發(fā)送到平板顯示裝置的無(wú)線(xiàn)顯示。作為另一特定示例，存在使用因特網(wǎng)協(xié)議將虛擬操作系統(tǒng)的用戶(hù)窗口發(fā)送到移動(dòng)裝置的虛擬顯示架構(gòu)(VDI)。
[0008]屏幕內(nèi)容圖像是通過(guò)使用計(jì)算機(jī)圖形等生成的人工圖像，并且具有不同于自然圖像的特征。屏幕內(nèi)容圖像的第一個(gè)特征是像素的低相關(guān)性。在自然圖像中，目標(biāo)像素的像素值與相鄰像素的像素值之間的相關(guān)性高。由所有視頻編碼標(biāo)準(zhǔn)所采用的離散余弦變換(DCT)利用該高相關(guān)性并且可以實(shí)現(xiàn)高壓縮效率。
[0009]相反地，屏幕內(nèi)容圖像具有其中像素值的相關(guān)性為低的許多區(qū)域。這方面的示例包括文本編輯窗口中的字符的輪廓、計(jì)算機(jī)輔助設(shè)計(jì)(CAD)數(shù)據(jù)編輯窗口中的一個(gè)像素級(jí)窄線(xiàn)以及其他。當(dāng)DCT應(yīng)用于這些區(qū)域時(shí)，可以視覺(jué)感知并且特別是在具有低比特率的條件下可以明顯地視覺(jué)感知被稱(chēng)為蚊式失真的高頻分量失真。
[0010]在HEVC的第一個(gè)版本(在2013年國(guó)際標(biāo)準(zhǔn)化)中，部分引入了在屏幕內(nèi)容圖像上進(jìn)行高效壓縮編碼的技術(shù)。其中特定示例是變換跳過(guò)(TS)，該變換跳過(guò)(TS)跳過(guò)針對(duì)幀內(nèi)預(yù)測(cè)編碼和幀間預(yù)測(cè)編碼中的預(yù)測(cè)誤差所應(yīng)用的DCT。
[0011]另外，在HEVC的下一版本(正在被標(biāo)準(zhǔn)化)中，將引入進(jìn)一步增大屏幕內(nèi)容圖像的壓縮效率的技術(shù)(例如，參見(jiàn)非專(zhuān)利文獻(xiàn)2)。
[0012]能夠生成高質(zhì)量靜態(tài)圖像同時(shí)抑制電路規(guī)模的增大的攝影裝置也是已知的(例如，參見(jiàn)專(zhuān)利文獻(xiàn)I)。該攝影裝置對(duì)視頻進(jìn)行壓縮以輸出壓縮視頻、對(duì)壓縮視頻進(jìn)行擴(kuò)展以輸出擴(kuò)展視頻、生成擴(kuò)展視頻與對(duì)應(yīng)于擴(kuò)展視頻的視頻之間的差分視頻、對(duì)差分視頻進(jìn)行壓縮以輸出壓縮差分視頻。在此之后，攝影裝置對(duì)壓縮差分視頻進(jìn)行擴(kuò)展以輸出擴(kuò)展差分視頻、將擴(kuò)展視頻和擴(kuò)展差分視頻相加以生成相加視頻并且通過(guò)使用相加視頻生成靜態(tài)圖像。
[0013]專(zhuān)利文獻(xiàn)1:日本公開(kāi)特許公報(bào)第2011-239240號(hào)
[0014]非專(zhuān)利文獻(xiàn)1:1TU-T H.265 | IS0/IEC 23008-2，“High efficiency videocoding”,2013
[0015]非專(zhuān)利文獻(xiàn)2: D.Flynn等人，“High Efficiency Video Coding(HEVC)RangeExtens1ns text specificat1n:Draft 6，，，JCTVC-P1005，16th JCT-VC Meeting,SanJos0，US，2014年I 月 9 日至17 日

【發(fā)明內(nèi)容】

[0016]本發(fā)明的一個(gè)方面的目的是在使用靜態(tài)圖像編碼和視頻編碼兩者的編碼系統(tǒng)中抑制由從靜態(tài)圖像編碼切換到視頻編碼所引起的信息量的增加。
[0017]根據(jù)一個(gè)構(gòu)思，視頻編碼裝置包括存儲(chǔ)單元和視頻編碼單元。
[0018]存儲(chǔ)單元對(duì)在編碼目標(biāo)圖像之前被編碼的編碼圖像的解碼圖像進(jìn)行存儲(chǔ)，該編碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的視頻中。視頻編碼單元通過(guò)幀間預(yù)測(cè)編碼對(duì)編碼目標(biāo)圖像進(jìn)行編碼，當(dāng)靜態(tài)圖像編碼應(yīng)用于在編碼目標(biāo)圖像之前一個(gè)圖像的圖像以及視頻編碼應(yīng)用于編碼目標(biāo)圖像時(shí)，幀間預(yù)測(cè)編碼使用解碼圖像作為參考圖像。
【附圖說(shuō)明】
[0019]圖1示出了圖像的劣化。
[0020]圖2示出了產(chǎn)生的信息量的變化的示例。
[0021 ]圖3示出了視頻編碼裝置的配置。
[0022]圖4示出了視頻解碼裝置的配置。
[0023]圖5示出了視頻編碼裝置的特定示例。
[0024]圖6示出了編碼電路的配置。
[0025]圖7示出了編碼視頻。
[0026]圖8是靜態(tài)視頻混合編碼處理的流程圖。
[0027]圖9示出了視頻解碼裝置的特定示例。
[0028]圖10示出了解碼電路的配置。
[0029]圖11是示出靜態(tài)視頻混合解碼處理的流程圖。
[0030]圖12示出了信息處理設(shè)備的配置。
【具體實(shí)施方式】
[0031 ]下文中，參照附圖對(duì)實(shí)施例進(jìn)行詳細(xì)描述。
[0032]在屏幕內(nèi)容圖像的編碼中，不僅編碼系統(tǒng)重要，而且在編碼之前對(duì)像素值的濾波也很重要。
[0033]在視頻編碼標(biāo)準(zhǔn)如MPEG等中，通常以RGB 4:4:4格式捕獲屏幕內(nèi)容圖像，通常以YCbCr 4: 2:0格式對(duì)像素值進(jìn)行編碼。當(dāng)視頻編碼應(yīng)用于RGB 4:4:4格式的屏幕內(nèi)容圖像時(shí)，將RGB 4:4:4格式的圖像轉(zhuǎn)換為YCbCr 4:4:4格式的圖像。通過(guò)隨后對(duì)YCbCr 4:4:4格式的圖像應(yīng)用下采樣濾波器，生成YCbCr 4:2:0格式的圖像。
[0034]與YCbCr4:4:4格式的圖像相比，在YCbCr 4:2:0格式的圖像中，兩個(gè)色差分量Cb和Cr在豎直方向和水平方向下采樣至1/2。在視頻編碼中使用YCbCr 4:2:0格式的目的是在編碼中減少信息量。
[0035]相較于人眼對(duì)于亮度分量Y的空間方向分辨率具有的感知特性，人眼對(duì)于色差分量Cb和Cr的空間方向分辨率具有較低的感知特性，而自然圖像幾乎沒(méi)有高空間頻率的色差分量，其通過(guò)下采樣丟失。因此，幾乎感知不到Y(jié)CbCr 4:4:4格式與YCbCr 4:2:0格式之間的差異。
[0036]相反地，在屏幕內(nèi)容圖像中，可以清楚地感知到Y(jié)CbCr 4:4:4格式與YCbCr 4:2:0格式之間的差異。例如，一個(gè)像素級(jí)窄線(xiàn)如CAD圖像中的布線(xiàn)包括高空間頻率的色差分量，這導(dǎo)致這樣的窄線(xiàn)的劣化在常用于屏幕內(nèi)容圖像的平坦的背景中是明顯的情況。
[0037]圖1示出了由下采樣所導(dǎo)致的圖像的劣化的示例。在轉(zhuǎn)換前的YCbCr4:4:4格式的圖像101中，中間部分周?chē)呢Q直線(xiàn)111的像素值(￥，03，0)是(128，0，0)，而作為除了豎直線(xiàn)111以外的區(qū)域的區(qū)域112的像素值是(O，128，128)。
[0038]當(dāng)沿水平方向(和豎直方向)將2: I下采樣濾波器應(yīng)用于色差分量Cb和Cr以將圖像轉(zhuǎn)換為4:2:0格式以及應(yīng)用1:2上采樣濾波器以將圖像還原到原始格式4:4:4時(shí)，獲得圖像102。在圖像102中，豎直線(xiàn)113的像素值變?yōu)?124，64，64)，以及與豎直線(xiàn)113相鄰的區(qū)域114的像素值變?yōu)?O，96，96)。
[0039]如上所述，通過(guò)應(yīng)用下采樣濾波器和上采樣濾波器，豎直線(xiàn)和與豎直線(xiàn)相鄰的區(qū)域中的色差分量變化。當(dāng)使用均勻背景時(shí)，通過(guò)人眼清楚地察覺(jué)到像素值的這種變化。
[0040]為了防止一個(gè)像素級(jí)窄線(xiàn)的劣化，理想的是將YCbCr4:4:4格式或RGB 4:4:4格式應(yīng)用于視頻編碼。然而，與4:2:0格式的情況相比，這樣的應(yīng)用導(dǎo)致色差分量的更多的像素被編碼并且增大編碼后信息量。
[0041]鑒于此，可以進(jìn)行如下的靜態(tài)視頻混合編碼:采用以YCbCr 4:4:4格式進(jìn)行編碼的靜態(tài)圖像編碼和以YCbCr 4:2:0格式或以YCbCr 4:2:2格式進(jìn)行編碼的視頻編碼兩者。對(duì)于靜態(tài)圖像編碼，使用例如聯(lián)合圖像專(zhuān)家組(JPEG)系統(tǒng)，而MPEG系統(tǒng)例如用于視頻編碼。
[0042]根據(jù)靜態(tài)視頻混合編碼，編碼模式基于與屏幕中的全部或部分對(duì)應(yīng)的圖像是靜態(tài)的還是運(yùn)動(dòng)的來(lái)進(jìn)行動(dòng)態(tài)切換。當(dāng)圖像是靜態(tài)的時(shí)，特別是當(dāng)兩個(gè)連續(xù)幀之間的差為零時(shí)，視頻編碼裝置在圖像變?yōu)殪o態(tài)后將靜態(tài)圖像編碼應(yīng)用于第一幀并且對(duì)后續(xù)幀不進(jìn)行編碼。在對(duì)接受靜態(tài)圖像編碼的幀進(jìn)行解碼之后，視頻解碼裝置重復(fù)顯示相同的解碼圖像直到視頻解碼裝置接收到下一編碼數(shù)據(jù)為止。當(dāng)圖像是運(yùn)動(dòng)的時(shí)，視頻編碼裝置將視頻編碼應(yīng)用于幀。
[0043]相較于人眼對(duì)于靜態(tài)區(qū)域的圖像劣化具有的感知特性，人眼對(duì)于涉及運(yùn)動(dòng)的區(qū)域的圖像劣化具有較低的感知特性。這使得可以減少產(chǎn)生的信息量，同時(shí)將由人類(lèi)感知的圖像劣化最小化。
[0044]應(yīng)注意，在自然圖像中，當(dāng)獲得這樣的圖像時(shí)由于多種因素而出現(xiàn)噪聲，并且因此，即使當(dāng)圖像是靜態(tài)的時(shí)，像素值是略微可變的，并且因此任何幀之間的差不為零。相反地，在屏幕內(nèi)容圖像中，不會(huì)出現(xiàn)這樣的噪聲，以及當(dāng)圖像是靜態(tài)的時(shí)，幀之間的差是零。
[0045]圖2示出了在上述靜態(tài)視頻混合編碼中產(chǎn)生的信息量的變化的示例。在靜態(tài)視頻混合編碼中，靜態(tài)圖像編碼數(shù)據(jù)和視頻編碼數(shù)據(jù)每個(gè)都是本身封閉的。
[0046]例如當(dāng)靜態(tài)場(chǎng)景轉(zhuǎn)變到涉及運(yùn)動(dòng)的場(chǎng)景時(shí)，視頻編碼裝置首先將靜態(tài)圖像編碼應(yīng)用于幀，并且從靜態(tài)圖像編碼切換到視頻編碼。在視頻編碼如MPEG等中，視頻編碼裝置使用幀內(nèi)預(yù)測(cè)編碼以對(duì)緊接在切換到視頻編碼之后的第一幀進(jìn)行編碼，并且通過(guò)使用幀間預(yù)測(cè)編碼對(duì)后續(xù)幀進(jìn)行編碼。
[0047]在幀內(nèi)預(yù)測(cè)編碼中，產(chǎn)生許多信息，這導(dǎo)致如峰201所描繪的當(dāng)編碼模式從靜態(tài)圖像編碼切換到視頻編碼時(shí)信息產(chǎn)生爆炸造成通信網(wǎng)絡(luò)擁塞的可能性。
[0048]當(dāng)涉及運(yùn)動(dòng)的場(chǎng)景轉(zhuǎn)變到靜態(tài)場(chǎng)景時(shí)，視頻編碼裝置將編碼模式從幀間預(yù)測(cè)編碼切換到靜態(tài)圖像編碼。在靜態(tài)圖像編碼如JPEG等中，如峰202如所描繪的，相較于由幀間預(yù)測(cè)編碼所引起的信息，由靜態(tài)圖像編碼引起更多的信息。
[0049]為了抑制由于從靜態(tài)圖像編碼切換到視頻編碼而產(chǎn)生過(guò)度信息，其中獲得接受靜態(tài)圖像編碼的編碼幀的解碼幀與切換后的第一幀之間的差以通過(guò)幀內(nèi)預(yù)測(cè)編碼對(duì)這個(gè)差進(jìn)行編碼的方法是可行的。然而，該方法可以減少在對(duì)第一幀進(jìn)行編碼后的信息量，同時(shí)該方法不能減少后續(xù)幀的信息量。
[0050]其原因是，對(duì)于后續(xù)幀，以幀間預(yù)測(cè)編碼方式對(duì)過(guò)去被編碼的幀與編碼目標(biāo)幀之間的差進(jìn)行編碼。當(dāng)切換后的第一幀的解碼幀不是正常幀而是兩個(gè)幀之間的差時(shí)，與作為下一編碼目標(biāo)幀的正常幀的差變得過(guò)大，極大地減小了幀間預(yù)測(cè)的效率。
[0051]應(yīng)注意，這個(gè)問(wèn)題不僅出現(xiàn)在對(duì)包括屏幕內(nèi)容圖像的視頻進(jìn)行編碼的情況下，而且出現(xiàn)在對(duì)包括其中圖像劣化是明顯的其他類(lèi)型圖像的視頻進(jìn)行編碼的情況下。
[0052]鑒于上述情況，其中將接受靜態(tài)圖像編碼的編碼幀的解碼幀作為在切換后的第一幀之前被編碼的幀來(lái)處理，以及通過(guò)使用該幀作為參考幀將幀間預(yù)測(cè)編碼應(yīng)用于切換后的第一幀的方法是可行的。在這種方法中，通過(guò)幀間預(yù)測(cè)編碼對(duì)切換后的第一幀進(jìn)行編碼，因?yàn)榍袚Q后的第一幀是通過(guò)幀間預(yù)測(cè)編碼進(jìn)行編碼的，所以編碼產(chǎn)生的信息量少于幀內(nèi)預(yù)測(cè)編碼產(chǎn)生的信息量。
[0053]圖3示出了根據(jù)實(shí)施例的視頻編碼裝置的配置示例。圖3所示的視頻編碼裝置301包括存儲(chǔ)電路311和視頻編碼電路312。存儲(chǔ)電路311對(duì)在編碼目標(biāo)圖像之前被編碼的圖像的解碼圖像進(jìn)行存儲(chǔ)，編碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的視頻中。當(dāng)靜態(tài)圖像編碼應(yīng)用于在編碼目標(biāo)圖像之前一個(gè)圖像的圖像以及視頻編碼應(yīng)用于編碼目標(biāo)圖像時(shí)，視頻編碼電路312通過(guò)使用采用解碼圖像作為參考圖像的幀間預(yù)測(cè)編碼對(duì)編碼目標(biāo)圖像進(jìn)行編碼。
[0054]圖4示出了根據(jù)實(shí)施例的視頻解碼裝置的配置示例。圖4所示的視頻解碼裝置401包括存儲(chǔ)電路411和視頻解碼電路412。存儲(chǔ)電路411對(duì)在解碼目標(biāo)圖像之前被解碼的解碼圖像進(jìn)行存儲(chǔ)，解碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像解碼和視頻解碼的編碼視頻中。當(dāng)靜態(tài)圖像解碼應(yīng)用于在解碼目標(biāo)圖像之前一個(gè)圖像的編碼圖像以及視頻解碼應(yīng)用于解碼目標(biāo)圖像時(shí)，視頻解碼電路412通過(guò)使用采用解碼圖像作為參考圖像的幀間預(yù)測(cè)解碼對(duì)解碼目標(biāo)圖像進(jìn)行解碼。
[0055]根據(jù)圖3所示的視頻編碼裝置301或圖4所示的視頻解碼裝置401，可以在使用靜態(tài)圖像編碼和視頻編碼兩者的編碼系統(tǒng)中抑制由從靜態(tài)圖像編碼切換到視頻編碼所引起的信息量的增加。
[0056]視頻編碼裝置301和視頻解碼裝置401用于各種目的。例如，視頻編碼裝置301或視頻解碼裝置401可以被安裝在視頻相機(jī)、視頻傳輸裝置、視頻接收裝置、視頻電話(huà)系統(tǒng)、計(jì)算機(jī)或移動(dòng)電話(huà)裝置中。
[0057 ]圖5示出了圖3中所示的視頻編碼裝置301的特定示例。圖3所示的視頻編碼裝置301包括模式確定電路501、幀轉(zhuǎn)換電路502至幀轉(zhuǎn)換電路505、差計(jì)算電路506、加法器電路507、編碼電路508、靜態(tài)圖像編碼電路509、靜態(tài)圖像解碼電路510以及多路復(fù)用電路511。
[0058]例如，視頻編碼裝置301可以被實(shí)現(xiàn)為硬件電路。在這樣的情況下，視頻編碼裝置301可以包括相應(yīng)構(gòu)成部分作為單獨(dú)的電路或者可以是一個(gè)集成電路。
[0059]視頻編碼裝置301對(duì)輸入的編碼目標(biāo)視頻進(jìn)行編碼，并且輸出編碼視頻。編碼目標(biāo)視頻包括多個(gè)幀。每個(gè)幀對(duì)應(yīng)于編碼目標(biāo)圖像(編碼目標(biāo)幀)以及每個(gè)幀可以是彩色圖像或者可以是單色圖像。當(dāng)幀是彩色圖像時(shí)，像素值可以是RGB信號(hào)或者可以是色差信號(hào)。下文中，將給出其中像素值是色差信號(hào)的情況的說(shuō)明。
[0060]模式確定電路501包括幀緩存器并且對(duì)編碼目標(biāo)幀的像素值與作為在編碼目標(biāo)幀之前一個(gè)圖像的前一幀的像素值之間的差進(jìn)行計(jì)算。然后，模式確定電路501基于兩個(gè)幀之間的差確定編碼目標(biāo)幀是否是靜態(tài)的。
[0061]當(dāng)編碼目標(biāo)幀涉及運(yùn)動(dòng)時(shí)，模式確定電路501選擇視頻編碼作為編碼模式，以及當(dāng)編碼目標(biāo)幀是靜態(tài)的時(shí)，模式確定電路501選擇靜態(tài)圖像編碼作為編碼模式。然后，模式確定電路501向視頻編碼裝置301中的每個(gè)電路輸出表示所選擇的編碼模式的控制信號(hào)。
[0062]幀轉(zhuǎn)換電路502將編碼目標(biāo)幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式，并且將經(jīng)轉(zhuǎn)換的幀輸出到差計(jì)算電路506 ο幀轉(zhuǎn)換電路503將從編碼電路508輸出的解碼幀的色差格式(視頻編碼的色差格式)轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式，將經(jīng)轉(zhuǎn)換的解碼幀輸出到差計(jì)算電路506和加法器電路507。
[0063]編碼目標(biāo)幀的色差格式可以是YCbCr4:4:4的格式，靜態(tài)圖像編碼的色差格式可以是YCbCr 4:2:2的格式，以及視頻編碼的色差格式可以是YCbCr 4:2:0的格式。
[0064]當(dāng)前一幀的編碼模式是視頻編碼時(shí)，差計(jì)算電路506對(duì)從幀轉(zhuǎn)換電路502輸出的幀的像素值與從幀轉(zhuǎn)換電路503輸出的幀的像素值之間的差進(jìn)行計(jì)算。然后，差計(jì)算電路506將兩個(gè)幀之間的差輸出到靜態(tài)圖像編碼電路509。當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，差計(jì)算電路506將從幀轉(zhuǎn)換電路502輸出的幀原樣輸出到靜態(tài)圖像編碼電路509。
[0065]靜態(tài)圖像編碼電路509對(duì)從差計(jì)算電路506輸出的幀或差進(jìn)行靜態(tài)圖像編碼以生成靜態(tài)圖像編碼幀，并且將幀輸出到靜態(tài)圖像解碼電路510和多路復(fù)用電路511。靜態(tài)圖像解碼電路510對(duì)從靜態(tài)圖像編碼電路509輸出的靜態(tài)圖像編碼幀進(jìn)行解碼，并且將兩個(gè)幀之間的差或解碼幀輸出到加法器電路507。
[0066]當(dāng)從靜態(tài)圖像解碼電路510輸出差時(shí)，加法器電路507將差添加至從幀轉(zhuǎn)換電路503輸出的解碼幀，并且將作為相加結(jié)果的解碼幀輸出到幀轉(zhuǎn)換電路504。當(dāng)從靜態(tài)圖像解碼電路510輸出解碼幀時(shí)，加法器電路507將解碼幀原樣輸出到幀轉(zhuǎn)換電路504。
[0067]幀轉(zhuǎn)換電路504將從加法器電路507輸出的解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式，并且將經(jīng)轉(zhuǎn)換的解碼幀輸出到編碼電路508。幀轉(zhuǎn)換電路505將編碼目標(biāo)幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式，并且將經(jīng)轉(zhuǎn)換的幀輸出到編碼電路508。
[0068]編碼電路508使用從幀轉(zhuǎn)換電路504輸出的解碼幀以進(jìn)行視頻編碼來(lái)對(duì)從幀轉(zhuǎn)換電路505輸出的幀進(jìn)行編碼，并且生成視頻編碼幀以將視頻編碼幀輸出到多路復(fù)用電路511。此外，編碼電路508對(duì)所生成的視頻編碼幀進(jìn)行本地解碼以生成解碼幀，并且將解碼幀輸出到幀轉(zhuǎn)換電路503。
[0069]多路復(fù)用電路511對(duì)從靜態(tài)圖像編碼電路509輸出的靜態(tài)圖像編碼幀和從編碼電路508輸出的視頻編碼幀進(jìn)行多路復(fù)用以輸出所得的幀作為編碼視頻。將每個(gè)編碼幀的編碼模式的信息、每個(gè)編碼模式中的色差格式的信息等添加至編碼視頻。視頻編碼裝置301可以經(jīng)由通信網(wǎng)絡(luò)將編碼視頻傳輸至視頻解碼裝置401。
[ΟΟΤ?]圖6示出了圖5中所示的編碼電路508的配置示例。圖6所示的編碼電路508包括視頻編碼電路312、輸入幀緩存器601和參考幀緩存器602。輸入幀緩存器601和參考幀緩存器602對(duì)應(yīng)于存儲(chǔ)電路311。視頻編碼電路312包括源編碼電路603和熵編碼電路604。
[0071 ]輸入幀緩存器601將從幀轉(zhuǎn)換電路505輸出的幀存儲(chǔ)為處理目標(biāo)幀，并且將幀輸出到源編碼電路603。參考幀緩存器602將從幀轉(zhuǎn)換電路504輸出的解碼幀存儲(chǔ)為參考幀。當(dāng)將幀間預(yù)測(cè)編碼應(yīng)用于從靜態(tài)圖像編碼切換到視頻編碼之后的第一幀時(shí)，該參考幀被輸出到源編碼電路603。
[0072]源編碼電路603將源編碼應(yīng)用于被存儲(chǔ)在輸入幀緩存器601中的處理目標(biāo)幀，并且將編碼結(jié)果輸出到熵編碼電路604。源編碼對(duì)應(yīng)于幀間預(yù)測(cè)編碼或幀內(nèi)預(yù)測(cè)編碼，以及源編碼包括幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、預(yù)測(cè)誤差的量化和頻率轉(zhuǎn)換、逆量化和逆頻率轉(zhuǎn)換的轉(zhuǎn)換結(jié)果與預(yù)測(cè)像素值相加以及使用環(huán)路內(nèi)濾波器的濾波。
[0073]在幀間預(yù)測(cè)編碼中，源編碼電路603基于存儲(chǔ)在輸入幀緩存器601中的處理目標(biāo)幀的像素值以及存儲(chǔ)在參考幀緩存器602中的參考幀的像素值來(lái)計(jì)算預(yù)測(cè)誤差。然后，源編碼電路603對(duì)頻率轉(zhuǎn)換預(yù)測(cè)誤差的結(jié)果進(jìn)行量化以將量化結(jié)果輸出到熵編碼電路604。此外，源編碼電路603通過(guò)對(duì)量化結(jié)果進(jìn)行本地解碼生成解碼幀并且將所生成的解碼幀存儲(chǔ)在參考幀緩存器602中作為參考幀。
[0074]熵編碼電路604進(jìn)行熵編碼以與預(yù)測(cè)編碼參數(shù)等一起對(duì)從源編碼電路603輸出的量化結(jié)果進(jìn)行編碼來(lái)生成視頻編碼幀，并且將視頻編碼幀輸出到多路復(fù)用電路511。例如，預(yù)測(cè)編碼參數(shù)包括量化步長(zhǎng)的信息、運(yùn)動(dòng)矢量等。
[0075]圖7示出了從多路復(fù)用電路511輸出的編碼視頻的示例。圖7所示的編碼視頻包括根據(jù)傳輸序列輸出的多個(gè)編碼幀701。每個(gè)編碼幀701是靜態(tài)圖像編碼幀或視頻編碼幀以及包括頭部711和編碼數(shù)據(jù)712。
[0076]頭部711包括表示編碼幀701的編碼模式、編碼目標(biāo)幀的色差格式和編碼幀701的色差格式的信息。編碼數(shù)據(jù)712對(duì)應(yīng)于編碼目標(biāo)幀的編碼結(jié)果。
[0077]圖8是說(shuō)明由視頻編碼裝置301進(jìn)行的靜態(tài)視頻混合編碼處理的示例的流程圖。首先，模式確定電路501對(duì)編碼目標(biāo)幀與前一幀之間的差進(jìn)行計(jì)算(步驟801)并且將差與閾值進(jìn)行比較(步驟802)。
[0078]當(dāng)差等于或大于閾值(步驟802的是)時(shí)，模式確定電路501選擇視頻編碼作為編碼模式(步驟803)，同時(shí)幀轉(zhuǎn)換電路505將編碼目標(biāo)幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式。
[0079]接下來(lái)，幀轉(zhuǎn)換電路504檢查是否緊接在編碼模式切換到視頻編碼之后(步驟804)。當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，確定緊接在切換之后，以及當(dāng)前一幀的編碼模式是視頻編碼時(shí)，確定未緊接在切換之后。
[0080]當(dāng)緊接在切換到視頻編碼之后(步驟804的是)時(shí)，幀轉(zhuǎn)換電路504將接受靜態(tài)圖像編碼的前一幀的解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式(步驟805)。然后，編碼電路508將經(jīng)轉(zhuǎn)換的解碼幀存儲(chǔ)在參考幀緩存器602的參考幀列表中(步驟806)。
[0081]接下來(lái)，編碼電路508使用經(jīng)轉(zhuǎn)換的解碼幀作為參考幀以通過(guò)使用幀間預(yù)測(cè)編碼對(duì)編碼目標(biāo)幀進(jìn)行編碼來(lái)生成視頻編碼幀(步驟807)。然后，編碼電路508生成視頻編碼幀的解碼幀，并且將該解碼幀添加至參考幀緩存器602的參考幀列表中。幀轉(zhuǎn)換電路503將該解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式。
[0082]如上所述，相比于幀內(nèi)預(yù)測(cè)編碼的情況，通過(guò)使用幀間預(yù)測(cè)編碼對(duì)在從靜態(tài)圖像編碼切換到視頻編碼之后的第一編碼目標(biāo)幀進(jìn)行編碼可以抑制由切換所引起的編碼量的過(guò)度增加。
[0083]當(dāng)未緊接在切換到視頻編碼之后(步驟804的否)時(shí)，編碼電路508使用參考幀列表中的參考幀之一并且通過(guò)使用幀間預(yù)測(cè)編碼對(duì)編碼目標(biāo)幀進(jìn)行編碼(步驟807)。
[0084]接下來(lái)，模式確定電路501檢查是否仍存在未被處理的幀(步驟815)，以及當(dāng)仍存在未被處理的幀(步驟815的是)時(shí)，將下一幀看作編碼目標(biāo)幀來(lái)重復(fù)步驟801以及步驟801的后續(xù)處理。
[0085]當(dāng)差小于閾值(步驟802的否)時(shí)，模式確定電路501選擇靜態(tài)圖像編碼作為編碼模式(步驟808)，同時(shí)幀轉(zhuǎn)換電路502將編碼目標(biāo)幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式。
[0086]接下來(lái)，幀轉(zhuǎn)換電路503檢查是否緊接在編碼模式切換到靜態(tài)圖像編碼之后(步驟809)。當(dāng)前一幀的編碼模式是視頻編碼時(shí)，確定緊接在切換之后，以及當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，確定未緊接在切換之后。
[0087]當(dāng)緊接在切換到靜態(tài)圖像編碼之后(步驟809的是)時(shí)，幀轉(zhuǎn)換電路503將接受視頻編碼的前一幀的解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式(步驟810)。然后，差計(jì)算電路506計(jì)算經(jīng)轉(zhuǎn)換的編碼目標(biāo)幀與經(jīng)轉(zhuǎn)換的解碼幀之間的差(步驟811)。
[0088]接下來(lái)，靜態(tài)圖像編碼電路509通過(guò)靜態(tài)圖像編碼對(duì)差進(jìn)行編碼以生成靜態(tài)圖像編碼幀(步驟812)。在此之后，靜態(tài)圖像解碼電路510通過(guò)對(duì)靜態(tài)圖像編碼幀進(jìn)行解碼生成差。
[0089]如上所述，通過(guò)使用與接受視頻編碼的前一幀的解碼幀的差來(lái)對(duì)從視頻編碼切換到靜態(tài)圖像編碼之后的第一編碼目標(biāo)幀進(jìn)行編碼。由此，相較于靜態(tài)圖像編碼如JPEG等的情況，可以抑制由切換所引起的編碼量的過(guò)度增加。
[0090]當(dāng)未緊接在切換到靜態(tài)圖像編碼之后(步驟809的否)時(shí)，靜態(tài)圖像編碼電路509使用靜態(tài)圖像編碼對(duì)經(jīng)轉(zhuǎn)換的編碼目標(biāo)幀進(jìn)行編碼以生成靜態(tài)圖像編碼幀(步驟812)。然后，靜態(tài)圖像解碼電路510通過(guò)對(duì)靜態(tài)圖像編碼幀進(jìn)行解碼生成解碼幀。
[0091]接下來(lái)，加法器電路507檢查是否緊接在編碼模式切換到靜態(tài)圖像編碼之后(步驟813)。當(dāng)緊接在切換到視頻編碼之后(步驟813的是)時(shí)，加法器電路507將由靜態(tài)圖像解碼電路510所生成的差添加至經(jīng)轉(zhuǎn)換的解碼幀以生成作為相加結(jié)果的解碼幀(步驟814)。當(dāng)未緊接在切換到靜態(tài)圖像編碼之后(步驟813的否)時(shí)，加法器電路507原樣輸出由靜態(tài)圖像解碼電路510所生成的解碼幀。
[0092]接下來(lái)，模式確定電路501執(zhí)行步驟815和步驟815的后續(xù)處理。當(dāng)所有幀被編碼(步驟815的否)時(shí)，模式確定電路501結(jié)束處理。
[0093]圖9示出了圖4中所示的視頻解碼裝置401的特定示例。圖9所示的視頻解碼裝置401包括解碼控制電路901、逆多路復(fù)用電路902、靜態(tài)圖像解碼電路903、解碼電路904、幀轉(zhuǎn)換電路905至幀轉(zhuǎn)換電路908、加法器電路909以及幀緩存器910。
[0094]例如，視頻解碼裝置401可以被實(shí)現(xiàn)為硬件電路。在這樣的情況下，視頻解碼裝置401可以包括相應(yīng)構(gòu)成部分作為單獨(dú)的電路或者可以是一個(gè)集成電路。
[0095]視頻解碼裝置401對(duì)輸入的編碼視頻進(jìn)行解碼，并且輸出作為解碼結(jié)果的視頻。編碼視頻包括多個(gè)編碼幀，并且每個(gè)編碼幀對(duì)應(yīng)于解碼目標(biāo)圖像(解碼目標(biāo)幀)。
[0096]逆多路復(fù)用電路902對(duì)編碼視頻進(jìn)行逆多路復(fù)用以提取靜態(tài)圖像編碼幀、視頻編碼幀、每個(gè)編碼幀的編碼模式的信息、每個(gè)編碼模式下的色差格式的信息。然后，逆多路復(fù)用電路902將靜態(tài)圖像編碼幀輸出到靜態(tài)圖像解碼電路903、將視頻編碼幀輸出到解碼電路904以及將編碼模式的信息和色差格式的信息輸出到解碼控制電路901。
[0097]解碼控制電路901根據(jù)從逆多路復(fù)用電路902輸出的編碼模式的信息和色差格式的信息來(lái)獲得解碼目標(biāo)幀的編碼模式、靜態(tài)圖像編碼的色差格式和視頻編碼的色差格式。然后，解碼控制電路901將指定編碼模式和色差格式的控制信號(hào)輸出到視頻解碼裝置401中的每個(gè)電路。
[0098]靜態(tài)圖像解碼電路903通過(guò)使用靜態(tài)圖像解碼對(duì)從逆多路復(fù)用電路902輸出的靜態(tài)圖像編碼幀進(jìn)行解碼以生成解碼結(jié)果并且將解碼結(jié)果輸出到加法器電路909。當(dāng)在作為解碼目標(biāo)幀之前一個(gè)圖像的前一幀的編碼模式是視頻編碼時(shí)，解碼結(jié)果表示兩個(gè)幀之間的差，以及當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，解碼結(jié)果表示靜態(tài)圖像解碼幀。
[0099]當(dāng)前一幀的編碼模式是視頻編碼時(shí)，加法器電路909將從靜態(tài)圖像解碼電路903輸出的差和從幀轉(zhuǎn)換電路90 7輸出的經(jīng)轉(zhuǎn)換的解碼幀相加以生成作為相加結(jié)果的解碼幀。然后，加法器電路909將作為相加結(jié)果的解碼幀輸出到幀轉(zhuǎn)換電路905和幀轉(zhuǎn)換電路906。當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，加法器電路909將從靜態(tài)圖像解碼電路903輸出的靜態(tài)圖像解碼幀原樣輸出到幀轉(zhuǎn)換電路906。
[0100]幀轉(zhuǎn)換電路906將作為相加結(jié)果的解碼幀的色差格式或者從加法器電路909輸出的靜態(tài)圖像解碼幀的色差格式(靜態(tài)圖像編碼的色差格式)轉(zhuǎn)換為從視頻解碼裝置401輸出的視頻的色差格式。然后，幀轉(zhuǎn)換電路906將經(jīng)轉(zhuǎn)換的解碼幀輸出到幀緩存器910。幀轉(zhuǎn)換電路905將從加法器電路909輸出的作為相加結(jié)果的解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式，并且將經(jīng)轉(zhuǎn)換的解碼幀輸出到解碼電路904。
[0101]靜態(tài)圖像編碼的色差格式可以是YCbCr4:2:2的格式以及視頻編碼的色差格式可以是YCbCr 4:2:0的格式，同時(shí)從視頻解碼裝置401輸出的視頻的色差格式可以是YCbCr 4:4:4的格式。
[0102]解碼電路904使用從幀轉(zhuǎn)換電路905輸出的經(jīng)轉(zhuǎn)換的解碼幀以通過(guò)使用視頻解碼對(duì)從逆多路復(fù)用電路902輸出的視頻編碼幀進(jìn)行解碼，并且生成視頻解碼幀。然后，解碼電路904將視頻解碼幀輸出到幀轉(zhuǎn)換電路907和幀轉(zhuǎn)換電路908。
[0103]幀轉(zhuǎn)換電路908將從解碼電路904輸出的視頻解碼幀的色差格式(視頻編碼的色差格式)轉(zhuǎn)換為從視頻解碼裝置401輸出的視頻的色差格式，并且將經(jīng)轉(zhuǎn)換的解碼幀輸出到幀緩存器910。幀轉(zhuǎn)換電路907將從解碼電路904輸出的視頻解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式，并且將經(jīng)轉(zhuǎn)換的解碼幀輸出到加法器電路909。
[0104]幀緩存器910對(duì)從幀轉(zhuǎn)換電路906和幀轉(zhuǎn)換電路908輸出的經(jīng)轉(zhuǎn)換的解碼幀進(jìn)行緩存，并且根據(jù)顯示時(shí)間將所述幀輸出到顯示裝置。從而，將視頻顯示在屏幕上。
[0105]圖10示出了圖9中所示的解碼電路904的配置示例。圖10所示的解碼電路904包括視頻解碼電路412和參考幀緩存器1001。參考幀緩存器1001對(duì)應(yīng)于存儲(chǔ)電路411。視頻解碼電路412包括熵解碼電路1011和源解碼電路1012。
[0106]參考幀緩存器1001將從幀轉(zhuǎn)換電路905輸出的解碼幀存儲(chǔ)為參考幀。當(dāng)將幀間預(yù)測(cè)解碼應(yīng)用于從靜態(tài)圖像編碼切換到視頻編碼之后的第一視頻編碼幀時(shí)，將參考幀輸出到源解碼電路1012。
[0107]熵解碼電路1011使用熵解碼對(duì)從逆多路復(fù)用電路902輸出的視頻編碼幀進(jìn)行解碼，并且將解碼結(jié)果輸出到源解碼電路1012。解碼結(jié)果包括預(yù)測(cè)編碼參數(shù)等。
[0108]源解碼電路1012將源解碼應(yīng)用于從熵解碼電路1011輸出的解碼結(jié)果以生成視頻解碼幀，并且將所生成的視頻解碼幀作為參考幀存儲(chǔ)在參考幀緩存器1001中。源解碼對(duì)應(yīng)于幀間預(yù)測(cè)解碼或幀內(nèi)預(yù)測(cè)解碼，以及源解碼包括逆量化和逆頻率轉(zhuǎn)換、幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、逆量化和逆頻率轉(zhuǎn)換的轉(zhuǎn)換結(jié)果與預(yù)測(cè)像素值相加以及使用內(nèi)環(huán)路濾波器的濾波。
[0109]在幀間預(yù)測(cè)解碼中，源解碼電路1012對(duì)從熵解碼電路1011輸出的解碼結(jié)果進(jìn)行逆量化、對(duì)逆量化的結(jié)果進(jìn)行逆頻率轉(zhuǎn)換以及生成預(yù)測(cè)誤差。然后，源解碼電路1012根據(jù)所生成的預(yù)測(cè)誤差和存儲(chǔ)在參考幀緩存器1001中的參考幀的像素值生成視頻解碼幀，并且將視頻解碼幀存儲(chǔ)在參考幀緩存器1001中。
[0110]存儲(chǔ)在參考幀緩存器1001中的視頻解碼幀被輸出到幀轉(zhuǎn)換電路907和幀轉(zhuǎn)換電路908，并且被用作后續(xù)視頻編碼幀的參考幀。
[0111]圖11是說(shuō)明由圖9中所示的視頻解碼裝置401進(jìn)行的靜態(tài)視頻混合解碼處理的示例的流程圖。首先，解碼控制電路901從逆多路復(fù)用電路902獲得編碼模式的信息(步驟1101)，并且檢查解碼目標(biāo)幀的編碼模式是視頻編碼還是靜態(tài)圖像編碼(步驟1102)。
[0112]當(dāng)解碼目標(biāo)幀的編碼模式是視頻編碼(步驟1102的是)時(shí)，幀轉(zhuǎn)換電路905檢查是否緊接在編碼模式切換到視頻編碼之后(步驟1103)。當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，確定緊接在切換之后，以及當(dāng)前一幀的編碼模式是視頻編碼時(shí)，確定未緊接在切換之后。
[0113]當(dāng)緊接在切換到視頻編碼之后(步驟1103的是)時(shí)，幀轉(zhuǎn)換電路905將前一靜態(tài)圖像解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式(步驟1104)。然后，解碼電路904將經(jīng)轉(zhuǎn)換的解碼幀存儲(chǔ)在參考幀緩存器1001的參考幀列表中(步驟1105)。
[0114]接下來(lái)，解碼電路904使用經(jīng)轉(zhuǎn)換的解碼幀作為參考幀，并且通過(guò)幀間預(yù)測(cè)解碼對(duì)解碼目標(biāo)幀進(jìn)行解碼以生成視頻解碼幀(步驟1106)。然后，解碼電路904將所生成的視頻編碼幀添加到參考幀緩存器1001的參考幀列表中。
[0115]當(dāng)未緊接在切換到視頻編碼之后(步驟1103的否)時(shí)，解碼電路904使用參考幀列表中的參考幀之一以通過(guò)幀間預(yù)測(cè)解碼對(duì)解碼目標(biāo)幀進(jìn)行解碼(步驟1106)。
[0116]接下來(lái)，幀轉(zhuǎn)換電路908將視頻解碼幀的色差格式轉(zhuǎn)換為從視頻解碼裝置401輸出的視頻的色差格式，同時(shí)幀緩存器910將經(jīng)轉(zhuǎn)換的解碼幀輸出到顯示裝置(步驟1111)。
[0117]接下來(lái)，解碼控制電路901檢查是否仍存在未被處理的幀(步驟1112)，以及當(dāng)仍存在未被處理的幀(步驟1112的是)時(shí)，解碼控制電路901通過(guò)將下一幀看作解碼目標(biāo)幀來(lái)重復(fù)步驟1101以及步驟1101的后續(xù)處理。
[0118]當(dāng)解碼目標(biāo)幀的編碼模式是靜態(tài)圖像編碼(步驟1102的否)時(shí)，靜態(tài)圖像解碼電路903通過(guò)靜態(tài)圖像解碼對(duì)解碼目標(biāo)幀進(jìn)行解碼以生成解碼結(jié)果(步驟1107)。
[0119]接下來(lái)，幀轉(zhuǎn)換電路907檢查是否緊接在編碼模式切換到靜態(tài)圖像編碼之后(步驟1108)。當(dāng)前一幀的編碼模式是視頻編碼時(shí)，確定緊接在切換之后，以及當(dāng)前一幀的編碼模式是靜態(tài)圖像編碼時(shí)，確定未緊接在切換之后。
[0120]當(dāng)緊接在切換到靜態(tài)圖像編碼之后(步驟1108的是)時(shí)，幀轉(zhuǎn)換電路907將通過(guò)對(duì)前一視頻編碼幀進(jìn)行解碼而獲得的視頻解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式(步驟1109)。然后，加法器電路909將經(jīng)轉(zhuǎn)換的解碼幀和由對(duì)解碼目標(biāo)幀進(jìn)行解碼的結(jié)果表示的兩個(gè)幀之間的差相加，以生成作為相加結(jié)果的解碼幀(步驟1110)。
[0121]當(dāng)未緊接在切換到靜態(tài)圖像編碼之后(步驟1108的否)時(shí)，加法器電路909將由對(duì)解碼目標(biāo)幀進(jìn)行解碼而獲得的靜態(tài)圖像解碼幀輸出到幀轉(zhuǎn)換電路906。
[0122]接下來(lái)，幀轉(zhuǎn)換電路906將作為相加結(jié)果的解碼幀的色差格式或靜態(tài)圖像解碼幀的色差格式轉(zhuǎn)換為從視頻解碼裝置401輸出的視頻的色差格式(步驟111)。然后，幀緩存器910將經(jīng)轉(zhuǎn)換的解碼幀輸出到顯示裝置。
[0123]接下來(lái)，解碼控制電路901進(jìn)行步驟1112以及步驟1112的后續(xù)處理。當(dāng)所有幀被解碼(步驟1112的否)時(shí)，解碼控制電路901結(jié)束處理。
[0124]圖3和圖5中所示的視頻編碼裝置301的配置以及圖6中所示的編碼電路508僅是示例性的，并且可以根據(jù)視頻編碼裝置301的目的或條件省略或改變一些構(gòu)成部分。
[0125]例如，當(dāng)編碼目標(biāo)幀、靜態(tài)圖像編碼和視頻編碼采用相同的色差格式時(shí)，可以省略圖5中所示的幀轉(zhuǎn)換電路502至幀轉(zhuǎn)換電路505。當(dāng)通過(guò)使用靜態(tài)圖像編碼如JPEG等對(duì)從視頻編碼切換到靜態(tài)圖像編碼之后的第一編碼目標(biāo)幀進(jìn)行編碼時(shí)，可以省略圖5中所示的差計(jì)算電路506和加法器電路507。當(dāng)不進(jìn)行熵編碼時(shí)，可以省略圖6中所示的熵編碼電路604。
[0126]圖4和圖9中所示的視頻解碼裝置401的配置和圖10中所示的解碼電路904僅是示例性的，并且可以根據(jù)視頻解碼裝置401的目的或條件省略或改變一些構(gòu)成部分。
[0127]例如，當(dāng)從視頻解碼裝置401輸出的視頻、靜態(tài)圖像編碼和視頻編碼采用相同的色差格式時(shí)，可以省略圖9中所示的幀轉(zhuǎn)換電路905至幀轉(zhuǎn)換電路908。當(dāng)通過(guò)靜態(tài)圖像編碼如JPEG等對(duì)從視頻編碼切換到靜態(tài)圖像編碼之后的第一編碼目標(biāo)幀進(jìn)行編碼時(shí)，可以省略圖9中所示的加法器電路909。當(dāng)不進(jìn)行熵編碼時(shí)，可以省略圖10中所示的熵解碼電路1011。
[0128]圖8和圖11所示的流程圖僅是示例性的，并且可以根據(jù)視頻編碼裝置301和視頻解碼裝置401的配置或條件省略或改變流程圖中的一些處理。例如，當(dāng)編碼目標(biāo)幀、靜態(tài)圖像編碼和視頻編碼采用相同的色差格式時(shí)，可以省略圖8中所示的步驟805和步驟810的處理。在這樣的情況下，還可以省略步驟803和步驟808中的色差格式轉(zhuǎn)換處理。
[0129]當(dāng)從視頻解碼裝置401輸出視頻時(shí)，靜態(tài)圖像編碼和視頻編碼采用相同的色差格式，可以省略圖11中所示的步驟1104和步驟1109的處理。在這樣的情況下，還可以省略步驟1111中的色差格式轉(zhuǎn)換處理。
[0130]當(dāng)通過(guò)靜態(tài)圖像編碼如JPEG等對(duì)從視頻編碼切換到靜態(tài)圖像編碼之后的第一編碼目標(biāo)幀進(jìn)行編碼時(shí)，可以省略圖8中所示的步驟809至步驟811、步驟813和步驟814的處理。在這樣的情況下，還可以省略圖11中所示的步驟1108至步驟1110的處理。
[0131 ]在圖8所示的步驟807中，當(dāng)緊接在切換到視頻編碼之后時(shí)，編碼電路508可以使用作為在編碼目標(biāo)幀之前N(N是等于或大于2的整數(shù))個(gè)幀的幀的解碼幀而不是作為在編碼目標(biāo)幀之前一個(gè)圖像的前一幀的解碼幀作為參考幀。這導(dǎo)致參考幀的更多選擇候選。在這樣的情況下，在步驟805中，幀轉(zhuǎn)換電路504將作為在編碼目標(biāo)幀之前N個(gè)幀的幀的解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式。
[0132]此外，在圖11所示的步驟1104中，幀轉(zhuǎn)換電路905將作為在解碼目標(biāo)幀之前的N個(gè)幀的靜態(tài)圖像解碼幀的色差格式轉(zhuǎn)換為視頻編碼的色差格式。然后，在步驟1106中，解碼電路904使用與N個(gè)幀前的靜態(tài)圖像解碼幀對(duì)應(yīng)的經(jīng)轉(zhuǎn)換的解碼幀作為參考幀。
[0133]在圖8所示的步驟807中用作參考幀的N個(gè)幀前的幀可以是通過(guò)使用視頻編碼進(jìn)行編碼的幀。
[0134]在圖8所示的步驟811中，當(dāng)緊接在切換到靜態(tài)圖像編碼之后時(shí)，差計(jì)算電路506可以通過(guò)使用作為在編碼目標(biāo)幀之前N個(gè)幀的幀的解碼幀而不是作為在編碼目標(biāo)幀之前一個(gè)圖像的前一幀的解碼幀來(lái)計(jì)算差。這導(dǎo)致用于計(jì)算差的幀的更多選擇候選。在這樣的情況下，在步驟810中，幀轉(zhuǎn)換電路503將作為在編碼目標(biāo)幀之前N個(gè)幀的幀的解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式。
[0135]此外，在圖11所示的步驟1109中，幀轉(zhuǎn)換電路905將通過(guò)對(duì)作為在解碼目標(biāo)幀之前N個(gè)幀的視頻編碼幀進(jìn)行解碼而獲得的視頻解碼幀的色差格式轉(zhuǎn)換為靜態(tài)圖像編碼的色差格式。在步驟1110中，加法器電路909將與N個(gè)幀前的視頻解碼幀對(duì)應(yīng)的經(jīng)轉(zhuǎn)換的解碼幀和由對(duì)解碼目標(biāo)幀進(jìn)行解碼的結(jié)果所表示的兩個(gè)幀之間的差相加。
[0136]在圖8所示的步驟811中用于計(jì)算差的N個(gè)幀前的幀可以是由靜態(tài)圖像編碼進(jìn)行編碼的幀。
[0137]編碼目標(biāo)圖像不限于包括屏幕內(nèi)容圖像的視頻，還可以是包括其中圖像劣化是明顯的不同類(lèi)型的圖像的視頻。
[0138]圖3和圖5中所示的視頻編碼裝置301以及圖4和圖9中所示的視頻解碼裝置401可以由硬件電路來(lái)實(shí)現(xiàn)，或者可以通過(guò)使用如圖12所示的信息處理設(shè)備(計(jì)算機(jī))來(lái)實(shí)現(xiàn)。
[0139]圖12所示的信息處理設(shè)備包括中央處理單元(CPU)1201、存儲(chǔ)器1202、輸入裝置1203、輸出裝置1204、輔助存儲(chǔ)裝置1205、介質(zhì)驅(qū)動(dòng)裝置1206和網(wǎng)絡(luò)連接裝置1207。這些構(gòu)成部分經(jīng)由總線(xiàn)1208彼此連接。
[0140]例如，存儲(chǔ)器1202是半導(dǎo)體存儲(chǔ)器如只讀存儲(chǔ)器(R0M)、隨機(jī)存取存儲(chǔ)器(RAM)、閃速存儲(chǔ)器等，并且存儲(chǔ)用于靜態(tài)視頻混合編碼處理或靜態(tài)視頻混合解碼處理的程序和數(shù)據(jù)。存儲(chǔ)器1202可以用作圖3中所示的存儲(chǔ)電路311、圖4中所示的存儲(chǔ)電路411、圖6中所示的輸入幀緩存器601和參考幀緩存器602、圖9中所示的幀緩存器910或圖10中所示的參考幀緩存器1001。
[0141]CPU 1201(處理器)通過(guò)例如使用存儲(chǔ)器1202執(zhí)行程序以操作為圖3和圖6中所示的視頻編碼電路312或者圖4和圖1O中所示的視頻解碼電路412。
[0142]CPU 1201還操作為圖5中所示的模式確定電路501、幀轉(zhuǎn)換電路502至幀轉(zhuǎn)換電路505、差計(jì)算電路506、加法器電路507、編碼電路508、靜態(tài)圖像編碼電路509、靜態(tài)圖像解碼電路510和多路復(fù)用電路511XPU1201還操作為圖6中所示的源編碼電路603和熵編碼電路604。
[0143]CPU 1201還操作為圖9中所示的解碼控制電路901、逆多路復(fù)用電路902、靜態(tài)圖像解碼電路903、解碼電路904、幀轉(zhuǎn)換電路905至幀轉(zhuǎn)換電路908以及加法器電路909 XPU1201還操作為圖中10所示的熵解碼電路1011和源解碼電路1012。
[0144]例如，輸入裝置1203是鍵盤(pán)、指示裝置等，并且用于從用戶(hù)或操作者輸入指令或信息。例如，輸出裝置1204是顯示裝置、打印機(jī)、揚(yáng)聲器等，并且用于向用戶(hù)或操作者輸出查詢(xún)或處理結(jié)果。處理結(jié)果可以是從圖9中所示的幀緩存器910輸出的視頻。
[0145]例如，輔助存儲(chǔ)裝置1205是磁盤(pán)裝置、光盤(pán)裝置、磁光盤(pán)裝置、磁帶裝置等。輔助存儲(chǔ)裝置1205可以是硬盤(pán)驅(qū)動(dòng)器。信息處理設(shè)備可以預(yù)先將程序和數(shù)據(jù)存儲(chǔ)在輔助存儲(chǔ)裝置1205中以將程序和數(shù)據(jù)加載到存儲(chǔ)器1202上并且使用程序和數(shù)據(jù)。
[0146]介質(zhì)驅(qū)動(dòng)裝置1206驅(qū)動(dòng)便攜式記錄介質(zhì)1209訪(fǎng)問(wèn)存儲(chǔ)在其中的信息。便攜式記錄介質(zhì)1209是存儲(chǔ)器裝置、軟盤(pán)、光盤(pán)、磁光盤(pán)等。便攜式記錄介質(zhì)1209可以是光盤(pán)只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能盤(pán)(DVD)、通用串行總線(xiàn)(USB)存儲(chǔ)器等。用戶(hù)或操作者可以將程序和數(shù)據(jù)存儲(chǔ)在便攜式記錄介質(zhì)1209中以將程序和數(shù)據(jù)加載到存儲(chǔ)器1202上并且使用程序和數(shù)據(jù)。
[0147]如上所述，用于對(duì)用于處理的程序和數(shù)據(jù)進(jìn)行存儲(chǔ)的計(jì)算機(jī)可讀記錄介質(zhì)是物理(非暫時(shí)性)記錄介質(zhì)如存儲(chǔ)器1202、輔助存儲(chǔ)裝置1205或便攜式記錄介質(zhì)1209。
[0148]網(wǎng)絡(luò)連接裝置1207是連接到通信網(wǎng)絡(luò)如局域網(wǎng)(LAN)、因特網(wǎng)等以執(zhí)行用于通信的數(shù)據(jù)的轉(zhuǎn)換的通信接口。網(wǎng)絡(luò)連接裝置1207向視頻解碼裝置401發(fā)送編碼視頻以及還可以從視頻編碼裝置301接收編碼視頻。信息處理設(shè)備可以經(jīng)由網(wǎng)絡(luò)連接裝置1207從外部裝置接收程序和數(shù)據(jù)以將程序和數(shù)據(jù)加載到存儲(chǔ)器1202上并且使用程序和數(shù)據(jù)。
[0149]應(yīng)注意，信息處理設(shè)備不需要包括圖12中所示的所有構(gòu)成部分，以及根據(jù)目的或條件可以省略一些構(gòu)成部分。例如，當(dāng)與用戶(hù)或操作者的接口是沒(méi)有必要時(shí)，可以省略輸入裝置1203和輸出裝置1204。此外，當(dāng)信息處理設(shè)備不訪(fǎng)問(wèn)便攜式記錄介質(zhì)1209時(shí)，可以省略介質(zhì)驅(qū)動(dòng)裝置1206。
【主權(quán)項(xiàng)】
1.一種視頻編碼裝置，包括: 存儲(chǔ)單元，所述存儲(chǔ)單元用于對(duì)在編碼目標(biāo)圖像之前被編碼的編碼圖像的解碼圖像進(jìn)行存儲(chǔ)，所述編碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的視頻中；以及 視頻編碼單元，所述視頻編碼單元用于通過(guò)幀間預(yù)測(cè)編碼對(duì)所述編碼目標(biāo)圖像進(jìn)行編碼，當(dāng)所述靜態(tài)圖像編碼應(yīng)用于在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像以及所述視頻編碼應(yīng)用于所述編碼目標(biāo)圖像時(shí)，所述幀間預(yù)測(cè)編碼使用所述解碼圖像作為參考圖像。2.根據(jù)權(quán)利要求1所述的視頻編碼裝置，還包括: 靜態(tài)圖像編碼單元，所述靜態(tài)圖像編碼單元用于通過(guò)所述靜態(tài)圖像編碼對(duì)在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像或在所述編碼目標(biāo)圖像之前兩個(gè)或更多個(gè)圖像的圖像進(jìn)行編碼來(lái)生成所述編碼圖像。3.根據(jù)權(quán)利要求1所述的視頻編碼裝置，還包括: 靜態(tài)圖像編碼單元，所述靜態(tài)圖像編碼單元用于當(dāng)所述視頻編碼應(yīng)用于第一圖像以及所述靜態(tài)圖像編碼應(yīng)用于第二圖像時(shí)通過(guò)所述靜態(tài)圖像編碼對(duì)所述第一圖像的編碼圖像的解碼圖像與所述第二圖像的編碼圖像的解碼圖像之間的差進(jìn)行編碼，所述第一圖像通過(guò)所述視頻編碼進(jìn)行編碼并且在所述編碼目標(biāo)圖像之后，以及所述第二圖像在所述第一圖像之后一個(gè)圖像。4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的視頻編碼裝置，還包括: 確定單元，所述確定單元用于當(dāng)所述編碼目標(biāo)圖像與在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像之間的差大于閾值時(shí)確定將所述視頻編碼應(yīng)用于所述編碼目標(biāo)圖像。5.—種視頻編碼方法，包括: 將在編碼目標(biāo)圖像之前被編碼的編碼圖像的解碼圖像存儲(chǔ)在存儲(chǔ)單元中，所述編碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的視頻中；以及 通過(guò)幀間預(yù)測(cè)編碼對(duì)所述編碼目標(biāo)圖像進(jìn)行編碼，當(dāng)所述靜態(tài)圖像編碼應(yīng)用于在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像以及所述視頻編碼應(yīng)用于所述編碼目標(biāo)圖像時(shí)，所述幀間預(yù)測(cè)編碼使用所述解碼圖像作為參考圖像。6.根據(jù)權(quán)利要求5所述的視頻編碼方法，還包括: 通過(guò)所述靜態(tài)圖像編碼對(duì)在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像或在所述編碼目標(biāo)圖像之前兩個(gè)或更多個(gè)圖像的圖像進(jìn)行編碼來(lái)生成所述編碼圖像。7.根據(jù)權(quán)利要求5所述的視頻編碼方法，還包括: 當(dāng)所述視頻編碼應(yīng)用于第一圖像以及所述靜態(tài)圖像編碼應(yīng)用于第二圖像時(shí)通過(guò)所述靜態(tài)圖像編碼對(duì)所述第一圖像的編碼圖像的解碼圖像與所述第二圖像的編碼圖像的解碼圖像之間的差進(jìn)行編碼，所述第一圖像通過(guò)所述視頻編碼進(jìn)行編碼并且在所述編碼目標(biāo)圖像之后，以及所述第二圖像在所述第一圖像之后一個(gè)圖像。8.根據(jù)權(quán)利要求5至7中任一項(xiàng)所述的視頻編碼方法，還包括: 當(dāng)所述編碼目標(biāo)圖像與在所述編碼目標(biāo)圖像之前一個(gè)圖像的圖像之間的差大于閾值時(shí)確定將所述視頻編碼應(yīng)用于所述編碼目標(biāo)圖像。9.一種視頻解碼裝置，包括: 存儲(chǔ)單元，所述存儲(chǔ)單元用于對(duì)在解碼目標(biāo)圖像之前被解碼的解碼圖像進(jìn)行存儲(chǔ)，所述解碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像編碼和視頻編碼的編碼視頻中；以及 視頻解碼單元，所述視頻解碼單元用于通過(guò)幀間預(yù)測(cè)解碼對(duì)所述解碼目標(biāo)圖像進(jìn)行解碼，當(dāng)所述靜態(tài)圖像解碼應(yīng)用于在所述解碼目標(biāo)圖像之前一個(gè)圖像的編碼圖像以及所述視頻解碼應(yīng)用于所述解碼目標(biāo)圖像時(shí)，所述幀間預(yù)測(cè)解碼使用所述解碼圖像作為參考圖像。10.一種視頻解碼方法，包括: 將在解碼目標(biāo)圖像之前被解碼的解碼圖像存儲(chǔ)在存儲(chǔ)單元中，所述解碼目標(biāo)圖像包括在應(yīng)用靜態(tài)圖像解碼和視頻解碼的編碼視頻中；以及 通過(guò)幀間預(yù)測(cè)解碼對(duì)所述解碼目標(biāo)圖像進(jìn)行解碼，當(dāng)所述靜態(tài)圖像解碼應(yīng)用于在所述解碼目標(biāo)圖像之前一個(gè)圖像的編碼圖像以及所述視頻解碼應(yīng)用于所述解碼目標(biāo)圖像時(shí)，所述幀間預(yù)測(cè)解碼使用所述解碼圖像作為參考圖像。
【文檔編號(hào)】H04N19/117GK106028031SQ201610154130
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年3月17日
【發(fā)明人】數(shù)井君彥, 山田幸二
【申請(qǐng)人】富士通株式會(huì)社