解碼設(shè)備和解碼方法
【專利摘要】本技術(shù)涉及一種能夠減少與指定參考圖像的信息相關(guān)的信息的數(shù)量的解碼設(shè)備和解碼方法。接收單元接收在當(dāng)前編碼圖像是GOP(畫面組)的除第1圖像外的圖像的情況下傳送的inter_ref_pic_set_prediction_flag，inter_ref_pic_set_prediction_flag表示指定在先圖像的用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像。例如，本技術(shù)可適用于HEVC(高效視頻編碼)方式的解碼設(shè)備。
【專利說(shuō)明】解碼設(shè)備和解碼方法

【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及解碼設(shè)備和解碼方法，更具體地，涉及能夠減小與指定參考圖像的信息有關(guān)的信息的數(shù)量的解碼設(shè)備和解碼方法。

【背景技術(shù)】
[0002]最近，圖像信息是作為數(shù)字?jǐn)?shù)據(jù)處理的，此時(shí)，為了高效率地傳送和存儲(chǔ)信息，符合通過(guò)利用為圖像信息特有的冗余而進(jìn)行諸如離散余弦變換之類的正交變換，和利用運(yùn)動(dòng)補(bǔ)償?shù)膲嚎s的MPEG (運(yùn)動(dòng)圖像專家組階段)等方式的設(shè)備被廣泛用于廣播站等中的信息傳送，和一般家庭中的信息接收。
[0003]特別地，MPEG2(IS0/IEC 13818-2)方式被定義為通用圖像編碼方式，目前作為覆蓋隔行掃描圖像和逐行掃描圖像兩者，以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)，廣泛用于專業(yè)用途和消費(fèi)用途的各種應(yīng)用。通過(guò)利用MPEG2方式,例如，分配在720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像情況下的4-8Mbps的代碼量(比特率)，和在1920X 1088像素的高清晰度的隔行掃描圖像情況下的18-22Mbps的代碼量，從而能夠?qū)崿F(xiàn)高壓縮率和改善的圖像質(zhì)量。
[0004]MPEG2把高圖像質(zhì)量編碼作為目標(biāo)，高圖像質(zhì)量編碼主要適合于廣播,但是不對(duì)應(yīng)于代碼量(比特率)比MPEGl的代碼量(比特率)低的編碼方式，換句話說(shuō)，壓縮率更高的編碼方式。隨著移動(dòng)終端的普及，預(yù)測(cè)未來(lái)對(duì)這種編碼方式的需求會(huì)增大，響應(yīng)于此，進(jìn)行了 MPEG4編碼方式的標(biāo)準(zhǔn)化。與MPEG4的圖像編碼方式相關(guān)，在1998年12月，一種規(guī)范被批準(zhǔn)為國(guó)際標(biāo)準(zhǔn)IS0/IEC 14496-2。
[0005]另外，最近，對(duì)用于電視會(huì)議的圖像編碼來(lái)說(shuō)，H.26L(ITU-T Q6/16VCEG)的標(biāo)準(zhǔn)化正在進(jìn)行中。盡管H.26L需要比諸如MEPG2或MPEG4之類的常規(guī)編碼方式大的編碼和解碼計(jì)算量，不過(guò)，已知可實(shí)現(xiàn)更高的編碼效率。
[0006]此外，目前，作為MPEG4的活動(dòng)的一部分，作為增強(qiáng)壓縮視頻編碼聯(lián)合模式，正在進(jìn)行基于H.26L的、包括在H.26L中不支持的功能并且實(shí)現(xiàn)更高編碼效率的規(guī)范的標(biāo)準(zhǔn)化。這種標(biāo)準(zhǔn)化是在2003年3月，基于H.264和MPEG_4Part 10 (AVC (高級(jí)視頻編碼))的名稱被國(guó)際標(biāo)準(zhǔn)化的。
[0007]另外，在2005年2月，完成了包括作為擴(kuò)展的為業(yè)務(wù)所需的稱為RGB，4:2:2或4:4:4的編碼工具，和在MPEG-2中定義的8X8DCT和量化矩陣的FRExt (保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化。因而，AVC變成也能夠改進(jìn)地表現(xiàn)包含在電影中的影片噪聲的編碼方式，是一種其中用于諸如藍(lán)光(注冊(cè)商標(biāo))光盤之類的各種應(yīng)用的方式。
[0008]然而,近來(lái),對(duì)為壓縮約4000X2000像素(為高視覺(jué)圖像(high vis1n image)的4倍)的圖像，和在諸如因特網(wǎng)之類的傳輸容量有限的環(huán)境中傳送高視覺(jué)圖像所需的更高壓縮率編碼的需求已增大。因此，在ITU-T領(lǐng)導(dǎo)下的VCEG(視頻編碼專家組)中，持續(xù)不斷地進(jìn)行了關(guān)于改善編碼效率的檢討。
[0009]同時(shí)，在HEVC(高效視頻編碼)方式中，在SPS(序列參數(shù)集)中包含用于識(shí)別指定解碼設(shè)備中的參考圖像的參考圖像指定信息的短期參考畫面集(下面稱為RPS)(例如，參見(jiàn)非專利文獻(xiàn)I)。
[0010]圖1是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0011]如在圖1中的第2行中圖解所示，在RPS中，包含inter_ref_pic_set_predict1n_flag。這里，inter_ref_pic_set_predict1n_flag 是表不指定在先圖像的參考圖像的參考圖像指定信息是否被用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，所述在先圖像是當(dāng)前編碼圖像的GOP(畫面組)內(nèi)，按照編碼順序在當(dāng)前編碼圖像之前的圖像。
[0012]這里，inter_ref_pic_set_predict1n_flag在它表示指定在先圖像的參考圖像的參考圖像指定信息被用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，為“ 1”，而在它表示指定在先圖像的參考圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，為“O”。
[0013]如在圖1 的第 3 行和第 4 行中所示,在 inter_ref_pic_set_predict1n_flag 為“I”的情況下，在RPS中包括為指定在先圖像的在先圖像指定信息的delta_idx_minusl。更具體地,delta_idx_minusl具有從通過(guò)從當(dāng)前編碼圖像的編碼號(hào)(編碼順序)中減去在先圖像的編碼號(hào)而獲得的值中，減去I獲得的值。這里，編碼號(hào)是按照編碼順序，從小值開(kāi)始，分配給GOP內(nèi)的各個(gè)圖像的編號(hào)。
[0014]另夕卜，如在圖1中的第13行-第23行中圖解所示，在inter_ref_pic_set_predict1n_flag為“O”的情況下,在RPS中包含參數(shù)圖像指定信息。
[0015]圖2 是圖解說(shuō)明 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 的例子的示圖。
[0016]在圖2中圖解所示的例子中，其編碼號(hào)為N的當(dāng)前編碼圖像的參考圖像指定信息和按照編碼順序在當(dāng)前編碼圖像之前的其編碼號(hào)為“N-1”的在先圖像的參考圖像指定信息相同。
[0017]這種情況下，inter_ref_pic_set_predict1n_flag被設(shè)定成“I”,表示指定在先圖像的信息的參考圖像被用作指定當(dāng)前編碼圖像的信息的參考圖像。另外，delta_idx_minusl被設(shè)定成通過(guò)從作為當(dāng)前編碼圖像的編碼號(hào)的“N”中減去作為在先圖像的編碼號(hào)的“N-1”，隨后從通過(guò)所述減法獲得的值“I”中，再減去I而獲得的“O”。
[0018]引文列表
[0019]非專利文獻(xiàn)
[0020]非專利文獻(xiàn)1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, “High efficiency video coding (HEVC) text specificat1ndraft 7”，JCTVC-11003_d4, 2012.4.27-5.7。


【發(fā)明內(nèi)容】

[0021]然而，與諸如RPS之類的參考圖像指定信息相關(guān)的信息的數(shù)量未被充分減少。
[0022]考慮到這種狀況，發(fā)明了本技術(shù)，本技術(shù)能夠減少與指定參考圖像的信息相關(guān)的信息的數(shù)量。
[0023]按照本技術(shù)的一個(gè)方面，提供一種解碼設(shè)備，包括:接收單元，所述接收單元接收在當(dāng)前編碼圖像是GOP(畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像；參考圖像設(shè)定單元，所述參考圖像設(shè)定單元在接收單元收到參考信息的情況下，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并在接收單元未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息；和預(yù)測(cè)圖像生成單元，所述預(yù)測(cè)圖像生成單元通過(guò)利用由參考圖像設(shè)定單元生成的參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
[0024]按照本技術(shù)的另一個(gè)方面的解碼方法對(duì)應(yīng)于按照本技術(shù)的所述一個(gè)方面的解碼設(shè)備。
[0025]按照本技術(shù)的所述一個(gè)方面，接收在當(dāng)前編碼圖像是GOP (畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像。在收到參考信息的情況下，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并在未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息。隨后，通過(guò)利用由參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
[0026]另外，通過(guò)使計(jì)算機(jī)執(zhí)行程序，可以實(shí)現(xiàn)按照本技術(shù)的所述一個(gè)方面的解碼設(shè)備。
[0027]此外，為了實(shí)現(xiàn)按照本技術(shù)的所述一個(gè)方面的解碼設(shè)備，通過(guò)經(jīng)傳輸介質(zhì)傳送，或者被記錄在記錄介質(zhì)上，可以提供由計(jì)算機(jī)執(zhí)行的程序。
[0028]按照本技術(shù)，能夠解碼其中與指定參考圖像的信息相關(guān)的信息的數(shù)量被減小的編碼流。

【專利附圖】

【附圖說(shuō)明】
[0029]圖1是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0030]圖2 是圖解說(shuō)明 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 的例子的示圖。
[0031]圖3是圖解說(shuō)明按照第一實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0032]圖4是圖解說(shuō)明圖3中圖解所示的編碼單元的結(jié)構(gòu)例子的方框圖。
[0033]圖5是圖解說(shuō)明由圖3中圖解所示的設(shè)定單元12設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0034]圖6是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0035]圖7是圖解說(shuō)明由圖3中圖解所示的設(shè)定單元12設(shè)定的RPS的信息量的示圖。
[0036]圖8是圖解說(shuō)明常規(guī)RPS的信息量的示圖。
[0037]圖9是圖解說(shuō)明切片頭部的語(yǔ)法的例子的示圖。
[0038]圖10是圖解說(shuō)明由圖3中圖解所示的編碼設(shè)備進(jìn)行的生成處理的流程圖。
[0039]圖11是詳細(xì)圖解說(shuō)明圖10中圖解所示的RPS設(shè)定處理的流程圖。
[0040]圖12是詳細(xì)圖解說(shuō)明圖10中圖解所不的編碼處理的流程圖。
[0041]圖13是詳細(xì)圖解說(shuō)明圖10中圖解所不的編碼處理的流程圖。
[0042]圖14是詳細(xì)圖解說(shuō)明圖12中圖解所不的RPS索引確定處理的流程圖。
[0043]圖15是圖解說(shuō)明按照第一實(shí)施例的本技術(shù)適用于的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0044]圖16是圖解說(shuō)明圖15中圖解所示的解碼單元的結(jié)構(gòu)例子的方框圖。
[0045]圖17是圖解說(shuō)明圖15中圖解所示的解碼設(shè)備進(jìn)行的接收處理的流程圖。
[0046]圖18是詳細(xì)圖解說(shuō)明圖17中圖解所示的RPS設(shè)定處理的流程圖。
[0047]圖19是詳細(xì)圖解說(shuō)明圖17中圖解所不的解碼處理的流程圖。
[0048]圖20是圖解說(shuō)明按照第二實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0049]圖21是圖解說(shuō)明由圖20中圖解所示的設(shè)定單元設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0050]圖22是圖解說(shuō)明圖21中圖解所示的RPS的語(yǔ)法的例子的示圖。
[0051]圖23是圖解說(shuō)明由圖20中圖解所示的設(shè)定單元設(shè)定的RPS的信息量的示圖。
[0052]圖24是圖解說(shuō)明由圖20中圖解所示的設(shè)定單元設(shè)定的RPS的信息量的示圖。
[0053]圖25是圖解說(shuō)明常規(guī)RPS的信息量的示圖。
[0054]圖26是詳細(xì)圖解說(shuō)明圖20中圖解所示的編碼設(shè)備進(jìn)行的RPS設(shè)定處理的流程圖。
[0055]圖27是圖解說(shuō)明按照第二實(shí)施例的本技術(shù)適用于的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0056]圖28是詳細(xì)圖解說(shuō)明圖27中圖解所示的解碼設(shè)備進(jìn)行的RPS設(shè)定處理的流程圖。
[0057]圖29是圖解說(shuō)明按照第三實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0058]圖30是圖解說(shuō)明由圖29中圖解所示的設(shè)定單元設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0059]圖31是圖30中圖解所示的RPS的語(yǔ)法的例子的示圖。
[0060]圖32是圖解說(shuō)明由圖29中圖解所示的設(shè)定單元設(shè)定的RPS的信息量的示圖。
[0061]圖33是詳細(xì)圖解說(shuō)明圖29中圖解所示的編碼設(shè)備進(jìn)行的RPS設(shè)定處理的流程圖。
[0062]圖34是圖解說(shuō)明按照第三實(shí)施例的本技術(shù)適用于的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0063]圖35是詳細(xì)圖解說(shuō)明圖34中圖解所示的解碼設(shè)備進(jìn)行的RPS設(shè)定處理的流程圖。
[0064]圖36是圖解說(shuō)明按照第四實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0065]圖37是圖解說(shuō)明圖36中圖解所示的編碼單元的結(jié)構(gòu)例子的方框圖。
[0066]圖38是圖解說(shuō)明由圖36中圖解所示的設(shè)定單元設(shè)定的PPS的語(yǔ)法的例子的示圖。
[0067]圖39是圖解說(shuō)明由圖36中圖解所示的設(shè)定單元設(shè)定的PPS的語(yǔ)法的例子的示圖。
[0068]圖40是圖解說(shuō)明常規(guī)HEVC系統(tǒng)中的PPS的語(yǔ)法的例子的示圖。
[0069]圖41是圖解說(shuō)明常規(guī)HEVC系統(tǒng)中的PPS的語(yǔ)法的例子的示圖。
[0070]圖42是圖解說(shuō)明由圖37中圖解所示的無(wú)損編碼單元增加的切片頭部的語(yǔ)法的例子的不圖。
[0071]圖43是圖解說(shuō)明由圖37中圖解所示的無(wú)損編碼單元增加的切片頭部的語(yǔ)法的例子的不圖。
[0072]圖44是圖解說(shuō)明由圖37中圖解所示的無(wú)損編碼單元增加的切片頭部的語(yǔ)法的例子的不圖。
[0073]圖45是圖解說(shuō)明常規(guī)HEVC系統(tǒng)中的切片頭部的語(yǔ)法的例子的示圖。
[0074]圖46是圖解說(shuō)明常規(guī)HEVC系統(tǒng)中的切片頭部的語(yǔ)法的例子的示圖。
[0075]圖47是圖解說(shuō)明常規(guī)HEVC系統(tǒng)中的切片頭部的語(yǔ)法的例子的示圖。
[0076]圖48是圖解說(shuō)明圖36中圖解所示的編碼設(shè)備進(jìn)行的生成處理的流程圖。
[0077]圖49是詳細(xì)圖解說(shuō)明圖48中圖解所不的編碼處理的流程圖。
[0078]圖50是詳細(xì)圖解說(shuō)明圖48中圖解所不的編碼處理的流程圖。
[0079]圖51是詳細(xì)圖解說(shuō)明圖48中圖解所示的PPS設(shè)定處理的流程圖。
[0080]圖52是圖解說(shuō)明按照第四實(shí)施例的本技術(shù)適用于的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0081]圖53是圖解說(shuō)明圖52中圖解所示的解碼單元的結(jié)構(gòu)例子的方框圖。
[0082]圖54是圖解說(shuō)明圖52中圖解所示的解碼設(shè)備進(jìn)行的接收處理的流程圖。
[0083]圖55是詳細(xì)圖解說(shuō)明圖54中圖解所示的解碼處理的流程圖。
[0084]圖56是圖解說(shuō)明多視點(diǎn)圖像編碼系統(tǒng)的例子的不圖。
[0085]圖57是圖解說(shuō)明本技術(shù)適用于的多視點(diǎn)圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。
[0086]圖58是圖解說(shuō)明本技術(shù)適用于的多視點(diǎn)圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。
[0087]圖59是圖解說(shuō)明分層圖像編碼系統(tǒng)的例子的示圖。
[0088]圖60是圖解說(shuō)明本技術(shù)適用于的分層圖像編碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。
[0089]圖61是圖解說(shuō)明本技術(shù)適用于的分層圖像解碼設(shè)備的主要結(jié)構(gòu)的例子的示圖。
[0090]圖62是圖解說(shuō)明計(jì)算機(jī)的硬件結(jié)構(gòu)的例子的方框圖。
[0091]圖63是圖解說(shuō)明本技術(shù)適用于的電視機(jī)的示意結(jié)構(gòu)的例子的示圖。
[0092]圖64是圖解說(shuō)明本技術(shù)適用于的移動(dòng)電話機(jī)的示意結(jié)構(gòu)的例子的示圖。
[0093]圖65是圖解說(shuō)明本技術(shù)適用于的記錄和再現(xiàn)設(shè)備的示意結(jié)構(gòu)的例子的示圖。
[0094]圖66是圖解說(shuō)明本技術(shù)適用于的成像設(shè)備的示意結(jié)構(gòu)的例子的示圖。
[0095]圖67是圖解說(shuō)明可縮放編碼的使用例子的方框圖。
[0096]圖68是圖解說(shuō)明可縮放編碼的再一個(gè)使用例子的方框圖。
[0097]圖69是圖解說(shuō)明可縮放編碼的另一個(gè)使用例子的方框圖。
[0098]圖70是圖解說(shuō)明本技術(shù)適用于的視頻機(jī)組的示意結(jié)構(gòu)的例子的示圖。
[0099]圖71是圖解說(shuō)明本技術(shù)適用于的視頻處理器的示意結(jié)構(gòu)的例子的示圖。
[0100]圖72是圖解說(shuō)明本技術(shù)適用于的視頻處理器的示意結(jié)構(gòu)的另一個(gè)例子的示圖。

【具體實(shí)施方式】
[0101]〈第一實(shí)施例〉
[0102](按照第一實(shí)施例的編碼設(shè)備的結(jié)構(gòu)例子)
[0103]圖3是圖解所示按照第一實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0104]圖3中圖解所示的編碼設(shè)備10由編碼單元11、設(shè)定單元12和傳輸單元13構(gòu)成，并按照HEVC方式對(duì)圖像編碼。
[0105]更具體地，以幀為單位構(gòu)成的圖像作為輸入信號(hào)，被輸入編碼設(shè)備10的編碼單元11。編碼單元11通過(guò)參考從設(shè)定單元12供給的RPS，按照HEVC方式對(duì)輸入信號(hào)編碼，隨后把通過(guò)編碼獲得的編碼數(shù)據(jù)提供給設(shè)定單元12。
[0106]設(shè)定單兀12設(shè)定不包括inter_ref_pic_set_predict1n_flag,但是包括參考圖像指定信息的RPS,和包括inter_ref_pic_set_predict1n_flag和參考圖像指定信息或delta_idx_minusl的RPS。設(shè)定單元12向各個(gè)RPS分配作為指定RPS(參考圖像信息)的參考圖像信息指定信息的索引。這里，假定“O”被設(shè)定成不包括inter_ref_pic_set_predict1n_flag,但是包括參考圖像指定信息的RPS的索引。
[0107]設(shè)定單元12把已被賦予索引的RPS提供給編碼單元11。設(shè)定單元12設(shè)定包含RPS的SPS，PPS (畫面參數(shù)集)等。
[0108]設(shè)定單元12根據(jù)設(shè)定的SPS和PPS，和從編碼單元11供給的編碼數(shù)據(jù)，生成編碼流。設(shè)定單元12把編碼流提供給傳輸單元13。
[0109]傳輸單元13把從設(shè)定單元12供給的編碼流傳送給后面說(shuō)明的解碼設(shè)備。
[0110](編碼單元的結(jié)構(gòu)例子)
[0111]圖4是圖解說(shuō)明圖3中圖解所示的編碼單元11的結(jié)構(gòu)例子的方框圖。
[0112]圖4中圖解所示的編碼單元11包括:A/D轉(zhuǎn)換器31 ;屏幕重排緩沖器32 ;計(jì)算單元33 ;正交變換單元34 ;量化單元35 ;無(wú)損編碼單元36 ;累積緩沖器37 ;逆量化單元38 ；逆正交變換單元39 ;加法單元40 ;解塊濾波器41 ；自適應(yīng)偏移濾波器42 ；自適應(yīng)環(huán)路濾波器43 ;幀存儲(chǔ)器44 ;開(kāi)關(guān)45 ;幀內(nèi)預(yù)測(cè)單元46 ;運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47 ;預(yù)測(cè)圖像選擇單元48 ;參考圖像設(shè)定單元49 ;和速率控制單元50。
[0113]更具體地，編碼單元11的A/D轉(zhuǎn)換器31進(jìn)行作為輸入信號(hào)輸入的以幀為單位的圖像的A/D轉(zhuǎn)換，并把轉(zhuǎn)換后的圖像輸出給屏幕重排緩沖器32，以便保存在其中。屏幕重排緩沖器32按照編碼順序，根據(jù)GOP結(jié)構(gòu)，重排保存的按照顯示順序的以幀為單位的圖像，并把重排的圖像輸出給計(jì)算單元33、幀內(nèi)預(yù)測(cè)單元46和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47。
[0114]計(jì)算單元33充當(dāng)編碼單元，并通過(guò)計(jì)算從預(yù)測(cè)圖像選擇單元48供給的預(yù)測(cè)圖像，和從屏幕重排緩沖器32輸出的當(dāng)前編碼圖像之間的差分，進(jìn)行編碼。更具體地，計(jì)算單元33通過(guò)從輸出自屏幕重排緩沖器32的當(dāng)前編碼圖像中，減去從預(yù)測(cè)圖像選擇單元48供給的預(yù)測(cè)圖像，進(jìn)行編碼。計(jì)算單元33把作為其結(jié)果而獲得的圖像作為殘差信息，輸出給正交變換單元34。另外，在未從預(yù)測(cè)圖像選擇單元48供給預(yù)測(cè)圖像的情況下，計(jì)算單元33把從屏幕重排緩沖器32讀取的圖像作為殘差信息，直接輸出給正交變換單元34。
[0115]正交變換單元34進(jìn)行從計(jì)算單元33輸出的殘差信息的正交變換，從而生成正交變換系數(shù)。正交變換單元34把生成的正交變換系數(shù)提供給量化單元35。
[0116]量化單元35通過(guò)利用從速率控制單元50供給的量化參數(shù)，進(jìn)行從正交變換單元34供給的正交變換系數(shù)的量化。量化單元35把作為其結(jié)果而獲得的系數(shù)輸入無(wú)損編碼單元36。
[0117]無(wú)損編碼單元36從幀內(nèi)預(yù)測(cè)單元46，獲得表示最佳幀內(nèi)預(yù)測(cè)模式的信息(下面稱為幀內(nèi)預(yù)測(cè)模式信息)。另外，無(wú)損編碼單元36從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，獲得表示最佳幀間預(yù)測(cè)模式、運(yùn)動(dòng)向量等的信息(下面稱為幀間預(yù)測(cè)模式信息)。另外，無(wú)損編碼單元36從參考圖像設(shè)定單元49，獲得RPS的索引、RPS等，并從速率控制單元50獲得量化參數(shù)。
[0118]另外，無(wú)損編碼單元36從自適應(yīng)偏移濾波器42獲得作為偏移濾波信息的存儲(chǔ)標(biāo)記、索引或偏移量、和種類信息，并從自適應(yīng)環(huán)路濾波器43，獲得濾波系數(shù)。
[0119]無(wú)損編碼單元36對(duì)從量化單元35供給的量化系數(shù)進(jìn)行無(wú)損編碼，比如變長(zhǎng)編碼(例如，CAVLC (上下文自適應(yīng)變長(zhǎng)編碼)等)，或者算術(shù)編碼(例如，CABAC (上下文自適應(yīng)二進(jìn)制算術(shù)編碼)。
[0120]另外，無(wú)損編碼單元36進(jìn)行諸如幀內(nèi)預(yù)測(cè)模式信息或幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)向量、RPS的索引或者RPS之類的量化參數(shù)、偏移濾波信息和濾波系數(shù)的無(wú)損編碼，作為與編碼相關(guān)的編碼信息。無(wú)損編碼單元36把按照無(wú)損方式編碼的編碼信息和系數(shù)，作為編碼數(shù)據(jù)提供給累積緩沖器37，以便保存在其中。另外，按照無(wú)損方式編碼的編碼信息可被視為按照無(wú)損方式編碼的系數(shù)的頭部信息(切片頭部)。
[0121]累積緩沖器37臨時(shí)保存從無(wú)損編碼單元36供給的編碼數(shù)據(jù)。另外，累積緩沖器37把保存的編碼數(shù)據(jù)提供給圖3中圖解所示的設(shè)定單元12。
[0122]另外，從量化單元35輸出的量化系數(shù)還被輸入逆量化單元38。逆量化單元38通過(guò)利用從速率控制單元50供給的量化參數(shù)，進(jìn)行由量化單元35量化的系數(shù)的逆量化，并把作為其結(jié)果獲得的正交變換系數(shù)提供給逆正交變換單元39。
[0123]逆正交變換單元39進(jìn)行從逆量化單元38供給的正交變換系數(shù)的逆正交變換。逆正交變換單元39把通過(guò)逆正交變換獲得的殘差信息，提供給加法單元40。
[0124]加法單元40相加從逆正交變換單元39供給的殘差信息，和從預(yù)測(cè)圖像選擇單元48供給的預(yù)測(cè)圖像，從而獲得已被局部解碼的圖像。另外，在未從預(yù)測(cè)圖像選擇單元48供給預(yù)測(cè)圖像的情況下，加法單元40把從逆正交變換單元39供給的殘差信息設(shè)定成局部解碼圖像。加法單元40把局部解碼圖像提供給解塊濾波器41，并把局部解碼圖像提供給幀存儲(chǔ)器44，以便保存在其中。
[0125]解塊濾波器41對(duì)從加法單元40供給的局部解碼圖像進(jìn)行消除塊失真的自適應(yīng)解塊濾波處理，并把作為其結(jié)果獲得的圖像提供給自適應(yīng)偏移濾波器42。
[0126]自適應(yīng)偏移濾波器42對(duì)在解塊濾波器41進(jìn)行的自適應(yīng)解塊濾波處理之后的圖像，進(jìn)行主要消除圖像的振影(ringing)的自適應(yīng)偏移濾波(SA0:采樣點(diǎn)自適應(yīng)偏移)處理。
[0127]更具體地，自適應(yīng)偏移濾波器42確定對(duì)于作為最大編碼單元的各個(gè)IXU (最大編碼單元)的自適應(yīng)偏移濾波處理的種類，并獲得在自適應(yīng)偏移濾波處理中使用的偏移量。自適應(yīng)偏移濾波器42利用獲得的偏移量，對(duì)自適應(yīng)解塊濾波處理之后的圖像，進(jìn)行確定種類的自適應(yīng)偏移濾波處理。隨后，自適應(yīng)偏移濾波器42把自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器43。
[0128]另外，自適應(yīng)偏移濾波器42具有其中保存偏移量的緩沖器。對(duì)于每個(gè)LCU，自適應(yīng)偏移濾波器42判定用于自適應(yīng)解塊濾波處理的偏移量是否已被保存在所述緩沖器中。
[0129]在判定用于自適應(yīng)解塊濾波處理的偏移量已被保存在所述緩沖器中的情況下，自適應(yīng)偏移濾波器42把表示偏移量是否被保存在緩沖器中的存儲(chǔ)標(biāo)記，設(shè)定成表示所述偏移量被保存在緩沖器中的值(這里，“I”)。
[0130]隨后，對(duì)于各個(gè)IXU，自適應(yīng)偏移濾波器42把設(shè)定成“I”的存儲(chǔ)標(biāo)記、表示偏移量在緩沖器中的存儲(chǔ)位置的索引、和表示已進(jìn)行的自適應(yīng)偏移濾波處理的種類的種類信息，提供給無(wú)損編碼單元36。
[0131]另一方面，在用于自適應(yīng)解塊濾波處理的偏移量未被保存在所述緩沖器中的情況下，自適應(yīng)偏移濾波器42把偏移量順序保存在緩沖器中。另外，自適應(yīng)偏移濾波器42把存儲(chǔ)標(biāo)記設(shè)定成表示偏移量未被保存在緩沖器中的值(這里，“O”)。隨后，對(duì)于各個(gè)IXU，自適應(yīng)偏移濾波器42把設(shè)定成“O”的存儲(chǔ)標(biāo)記、偏移量和種類信息提供給無(wú)損編碼單元36。
[0132]對(duì)于各個(gè)IXU，自適應(yīng)環(huán)路濾波器43對(duì)從自適應(yīng)偏移濾波器42供給的在自適應(yīng)偏移濾波處理之后的圖像，進(jìn)行例如自適應(yīng)環(huán)路濾波(ALF:自適應(yīng)環(huán)路濾波)處理。例如，作為自適應(yīng)環(huán)路濾波處理，使用利用二維Wiener濾波器的處理。顯然可以使用除Wiener濾波器外的濾波器。
[0133]更具體地，對(duì)于各個(gè)IXU，自適應(yīng)環(huán)路濾波器43計(jì)算在自適應(yīng)環(huán)路濾波處理中使用的濾波系數(shù)，以致使作為從屏幕重排緩沖器32輸出的圖像的原始圖像，和自適應(yīng)環(huán)路濾波處理之后的圖像之間的殘差降至最小。隨后，對(duì)于各個(gè)LCU，自適應(yīng)環(huán)路濾波器43通過(guò)利用計(jì)算的濾波系數(shù)，對(duì)在自適應(yīng)偏移濾波處理之后的圖像，進(jìn)行自適應(yīng)環(huán)路濾波處理。
[0134]自適應(yīng)環(huán)路濾波器43把自適應(yīng)環(huán)路濾波處理之后的圖像提供給幀存儲(chǔ)器44。另夕卜，自適應(yīng)環(huán)路濾波器43把濾波系數(shù)提供給無(wú)損編碼單元36。
[0135]這里，盡管假定對(duì)各個(gè)IXU進(jìn)行自適應(yīng)環(huán)路濾波處理，不過(guò)，自適應(yīng)環(huán)路濾波處理的處理單位并不局限于IXU。然而，通過(guò)相互匹配自適應(yīng)偏移濾波器42和自適應(yīng)環(huán)路濾波器43的處理單位，可以高效地進(jìn)行處理。
[0136]幀存儲(chǔ)器44保存從自適應(yīng)環(huán)路濾波器43供給的圖像，和從加法單元40供給的圖像。保存在幀存儲(chǔ)器44中的圖像通過(guò)開(kāi)關(guān)45，被輸出給幀內(nèi)預(yù)測(cè)單元46或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，作為參考圖像。
[0137]幀內(nèi)預(yù)測(cè)單元46通過(guò)利用經(jīng)開(kāi)關(guān)45從幀存儲(chǔ)器44讀取的參考圖像，進(jìn)行作為候選者的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。
[0138]另外，幀內(nèi)預(yù)測(cè)單元46根據(jù)從屏幕重排緩沖器32讀取的圖像，和通過(guò)幀內(nèi)預(yù)測(cè)處理生成的預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀內(nèi)預(yù)測(cè)模式的成本函數(shù)值(后面詳細(xì)說(shuō)明)。隨后，幀內(nèi)預(yù)測(cè)單元46把其成本函數(shù)值最小的幀內(nèi)預(yù)測(cè)模式，確定為最佳幀內(nèi)預(yù)測(cè)模式。
[0139]幀內(nèi)預(yù)測(cè)單元46把按照最佳幀內(nèi)預(yù)測(cè)模式生成的預(yù)測(cè)圖像，和對(duì)應(yīng)的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元48。在從預(yù)測(cè)圖像選擇單元48向幀內(nèi)預(yù)測(cè)單元46告知按照最佳幀內(nèi)預(yù)測(cè)模式生成的預(yù)測(cè)圖像的選擇的情況下，幀內(nèi)預(yù)測(cè)單元46把幀內(nèi)預(yù)測(cè)模式信息提供給無(wú)損編碼單元36。
[0140]成本函數(shù)值也被稱為RD (速率失真)成本，并且如在作為按照H.264/AVC方式的參考軟件的JM(聯(lián)合模型)中定義的那樣，是根據(jù)高復(fù)雜度模式和低復(fù)雜度模式之一的技術(shù)計(jì)算的。
[0141]更具體地，在采用高復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)的情況下，對(duì)于作為候選者的所有預(yù)測(cè)模式，臨時(shí)進(jìn)行解碼，并對(duì)于各種預(yù)測(cè)模式，計(jì)算用下式(I)表示的成本函數(shù)值。
[0142]成本(模式)=D+λ.R...(I)
[0143]這里，D是原始圖像和解碼圖像之間的差分(失真)，R是還包括正交變換的系數(shù)的生成編碼量，λ是作為量化參數(shù)QP的函數(shù)給出的拉格朗日乘數(shù)。
[0144]另一方面，在采用低復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)的情況下，對(duì)于作為候選者的所有預(yù)測(cè)模式中的每個(gè)進(jìn)行預(yù)測(cè)圖像的生成和編碼信息的編碼量的計(jì)算，并對(duì)于各種預(yù)測(cè)模式計(jì)算用下式(2)表示的成本函數(shù)。
[0145]成本(模式)=D+QPtoQuant(QP).Header_Bit...(2)
[0146]這里，D是原始圖像和解碼圖像之間的差分(失真)，Header_Bit是編碼/[目息的編碼量，QPtoQuant是作為量化參數(shù)QP的函數(shù)給出的函數(shù)。
[0147]在低復(fù)雜度模式下，對(duì)于所有預(yù)測(cè)模式，可以只生成預(yù)測(cè)圖像，不必生成解碼圖像，從而計(jì)算量較小。
[0148]運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47進(jìn)行作為候選者的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。更具體地，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47根據(jù)從屏幕重排緩沖器32供給的圖像，和通過(guò)開(kāi)關(guān)45從幀存儲(chǔ)器44讀取的參考圖像，檢測(cè)作為候選者的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)向量。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47起預(yù)測(cè)圖像生成單元的作用，并通過(guò)根據(jù)運(yùn)動(dòng)向量進(jìn)行參考圖像的補(bǔ)償處理來(lái)生成預(yù)測(cè)圖像。
[0149]此時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47根據(jù)從屏幕重排緩沖器32供給的圖像，和預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀間預(yù)測(cè)模式的成本函數(shù)值，把其成本函數(shù)值最小的幀間預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47把最佳幀間預(yù)測(cè)模式的成本函數(shù)值，和對(duì)應(yīng)的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元48。另外，當(dāng)從預(yù)測(cè)圖像選擇單元48向運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47告知按最佳幀間預(yù)測(cè)模式生成的預(yù)測(cè)圖像的選擇時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47把幀間預(yù)測(cè)模式信息，對(duì)應(yīng)的運(yùn)動(dòng)向量等輸出給無(wú)損編碼單元36，并把參考圖像指定信息輸出給參考圖像設(shè)定單元49。
[0150]預(yù)測(cè)圖像選擇單元48根據(jù)從幀內(nèi)預(yù)測(cè)單元46和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47供給的成本函數(shù)值，把其對(duì)應(yīng)成本函數(shù)值較小的最佳幀內(nèi)預(yù)測(cè)模式和最佳幀間預(yù)測(cè)模式之一，確定為最佳預(yù)測(cè)模式。隨后，預(yù)測(cè)圖像選擇單元48把最佳預(yù)測(cè)模式的預(yù)測(cè)圖像提供給計(jì)算單元33和加法單元40。另外，預(yù)測(cè)圖像選擇單元48把最佳預(yù)測(cè)模式的預(yù)測(cè)圖像的選擇，告知幀內(nèi)預(yù)測(cè)單元46或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47。
[0151]參考圖像設(shè)定單元49對(duì)應(yīng)于GOP地保持從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47供給的參考圖像指定信息。在當(dāng)前編碼圖像是GOP的第I圖像的情況下，參考圖像設(shè)定單元49把作為RPS的索引的“O”，和表示當(dāng)前編碼圖像的RPS是包含在SPS中的RPS的RPS標(biāo)記提供給無(wú)損編碼單元36。
[0152]另一方面，在當(dāng)前編碼圖像是GOP的除第I圖像外的圖像的情況下，參考圖像設(shè)定單元49相互比較保持的在先圖像的參考圖像指定信息，和當(dāng)前編碼圖像的參考圖像指定信息，并根據(jù)比較結(jié)果，確定 inter_ref_pic_set_predict1n_f lag 和 delta_idx_minusl。隨后，參考圖像設(shè)定單元49設(shè)定包括確定的inter_ref_pic_set_predict1n_flag,和當(dāng)前編碼圖像的參考圖像指定信息或delta_idX_minusl的RPS，作為當(dāng)前編碼圖像的RPS。
[0153]隨后，在從設(shè)定單元12供給與當(dāng)前編碼圖像的RPS相同的RPS的情況下，參考圖像設(shè)定單元49把RPS的索引，和表示當(dāng)前編碼圖像的RPS是包含在SPS中的RPS的RPS標(biāo)記提供給無(wú)損編碼單元36。另一方面，在未從設(shè)定單元12供給與當(dāng)前編碼圖像的RPS相同的RPS的情況下，參考圖像設(shè)定單元49把當(dāng)前編碼圖像的RPS，和表示當(dāng)前編碼圖像的RPS不是包含在SPS中的RPS的RPS標(biāo)記提供給無(wú)損編碼單元36。
[0154]速率控制單元50根據(jù)保存在累積緩沖器37中的編碼數(shù)據(jù)，確定量化單元35使用的量化參數(shù)，以致不會(huì)發(fā)生上溢或下溢。速率控制單元50把確定的量化參數(shù)提供給量化單元35、無(wú)損編碼單元36和逆量化單元38。
[0155](SPS的語(yǔ)法的例子)
[0156]圖5是圖解說(shuō)明由圖3中圖解所示的設(shè)定單元12設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0157]如在圖5中的第18行中圖解所示，各個(gè)索引⑴的RPS包含在SPS中。
[0158](RPS的語(yǔ)法的例子)
[0159]圖6是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0160]盡管未在圖中圖不，不過(guò)，圖6中圖解說(shuō)明的弟6彳丁和后續(xù)各彳丁的說(shuō)明與圖1中圖解所示的第3行和后續(xù)各行的說(shuō)明相同。
[0161]如在圖6中的第2行和第3行中圖解所示，在其索引(idx)為O的RPS中，不包括inter_ref_pic_set_predict1n_flag,但是包括當(dāng) inter_ref_pic_set_predict1n_flag為“O”時(shí)包含的參考圖像指定信息。
[0162]另一方面，如在第4行和第5中圖解所示，在其索引(idx)不同于“O”的RPS中，包含 inter_ref_pic_set_predict1n_flag0 隨后，在 inter_ref_pic_set_predict1n_flag為“O”的情況下,包含參考圖像指定信息。另一方面,在inter_ref_pic_set_predict1n_flag 為 “I” 的情況下，包含 delta_idx_minusl。
[0163](本技術(shù)的優(yōu)點(diǎn)的說(shuō)明)
[0164]圖7是圖解說(shuō)明由圖3中圖解所示的設(shè)定單元12設(shè)定的RPS的信息量的示圖，圖8是圖解說(shuō)明常規(guī)RPS的信息量的示圖。
[0165]在圖7和8中圖解所示的例子中，GOP內(nèi)從開(kāi)始起的第2畫面和第8畫面的參考圖像指定信息都與按照編碼順序的前一個(gè)畫面的參考圖像指定信息相同。
[0166]這種情況下，如圖7中圖解所示，設(shè)定單元12設(shè)定GOP的第I畫面的參考圖像指定信息，作為其索引為“O”的RPS。另外，作為其索引為“I”的RPS，設(shè)定單元12設(shè)定作為inter_ref_pic_set_predict1n_flag 的 “I”，并設(shè)定作為 delta_idx_minusl 的 “O”。從而，GOP的第I畫面的RPS的索引被設(shè)定為“0”，第2畫面和第8畫面的RPS的索引被設(shè)定為 “I，，。
[0167]相反，如圖8中圖解所示，在常規(guī)情況下，例如，作為其索引為“O”的RPS，設(shè)定作為inter_ref_pic_set_predict1n_flag的“O”,和GOP的第I畫面的參考圖像指定信息。另夕卜，類似于設(shè)定單元12的情況，設(shè)定其索引為“I”的RPS。從而，GOP的第I畫面的索引被設(shè)定為“0”，第2畫面和第8畫面的RPS的索引被設(shè)定為“I”。
[0168]如上，設(shè)定單元不設(shè)定作為用作第I畫面的RPS的其索引為“O”的RPS的inter_ref_pic_set_predict1n_flag。換句話說(shuō)，由于GOP的第I畫面不具有就編碼順序來(lái)說(shuō)的任何在先畫面，因此inter_ref_pic_set_predict1n_flag必定為“O”。因而，設(shè)定單元12不設(shè)定作為用作第I畫面的RPS的其索引為“O”的RPS的inter_ref_pic_set_predict1n_flag,而是由于 inter_ref_pic_set_predict1n_flag 為 “O”，只設(shè)定參考圖像指定信息。結(jié)果，與常規(guī)情況相比，RPS的信息量能夠減少與第I畫面的inter_ref_pic_set_predict1n_flag 對(duì)應(yīng)的數(shù)量。
[0169](切片頭部的語(yǔ)法的例子)
[0170]圖9是圖解說(shuō)明切片頭部的語(yǔ)法的例子的示圖。
[0171]如在圖9中的第5行中圖解所示，在切片頭部中，包含對(duì)應(yīng)系數(shù)的RPS標(biāo)記(short_term_ref_pic_set_sps_flag)。另外，如在圖9中的第6行和第I行中圖解所示，當(dāng)RPS標(biāo)記為“O”，表示當(dāng)前編碼圖像的RPS不是包含在SPS中的RPS時(shí)，在切片頭部中，包含對(duì)應(yīng)系數(shù)的 RPS,作為 short_term_ref_pic_set (num_short_term_ref_pic_sets)。
[0172]另一方面，如在圖9中的第8行和第9行中圖解所示，當(dāng)RPS標(biāo)記為“1”，表示當(dāng)前編碼圖像的RPS是包含在SPS中的RPS時(shí)，在切片頭部中，包含對(duì)應(yīng)系數(shù)的RPS的索引，作為 short_term_ref_pic_set_idx(num_short_term_ref_pic_sets)。
[0173](編碼設(shè)備的處理的說(shuō)明)
[0174]圖10是圖解所示由圖3中圖解所示的編碼設(shè)備10進(jìn)行的生成處理的流程圖。
[0175]在圖10中圖解所示的步驟S11，編碼設(shè)備10的設(shè)定單元12進(jìn)行設(shè)定RPS的RPS設(shè)定處理。該RPS設(shè)定處理將在后面參考后面說(shuō)明的圖11詳細(xì)說(shuō)明。在步驟S12，編碼單元11進(jìn)行按照HEVC方式，對(duì)作為輸入信號(hào)，從外部輸入的以幀為單位構(gòu)成的圖像編碼的編碼處理。該編碼處理將在后面參考后面說(shuō)明的圖12和13詳細(xì)說(shuō)明。
[0176]在步驟S13，設(shè)定單元12設(shè)定包括被賦予索引的RPS的SPS。在步驟S14，設(shè)定單元12設(shè)定PPS。在步驟S15，設(shè)定單元12根據(jù)設(shè)定的SPS和PPS，和從編碼單元12供給的編碼數(shù)據(jù)，生成編碼流。設(shè)定單元12把編碼流提供給傳輸單元13。
[0177]在步驟S16，傳輸單元13把從設(shè)定單元12供給的編碼流，傳送給后面說(shuō)明的解碼設(shè)備，然后結(jié)束處理。
[0178]圖11是詳細(xì)圖解說(shuō)明在圖10中圖解所示的步驟Sll中表示的RPS設(shè)定處理的流程圖。
[0179]在圖11中圖解所示的步驟S21，設(shè)定單元12把RPS的索引i設(shè)定為“O”。在步驟S22，判定RPS的索引i是否為“O”。當(dāng)在步驟S22，RPS的索引i被判定為“O”時(shí)，在步驟S23,設(shè)定單元12把inter_ref_pic_set_predict1n_flag設(shè)定為“O”,然后處理進(jìn)入步驟S25。
[0180]另一方面，當(dāng)在步驟S22，RPS的索引i被判定不為“O”時(shí)，在步驟S24，設(shè)定單元12把索引i的RPS設(shè)定為inter_ref_pic_set_predict1n_flag,然后處理進(jìn)入步驟S25。
[0181]在步驟S25,設(shè)定單兀 12 判定 inter_ref_pic_set_predict1n_f lag 是否為“ I ”。當(dāng)在步驟S25,判定inter_ref_pic_set_predict1n_f lag為“I”時(shí)，在步驟S26,設(shè)定單兀12設(shè)定delta_idx_minusl,作為索引i的RPS,然后處理進(jìn)入步驟S28。
[0182]另一方面，當(dāng)在步驟S25,判定 inter_ref_pic_set_predict1n_f lag 不為“ I ”時(shí)，換句話說(shuō)，當(dāng)inter_ref_pic_set_predict1n_flag為“O”時(shí),在步驟S27,設(shè)定單元12設(shè)定參考圖像指定信息，然后處理進(jìn)入步驟S28。
[0183]在步驟S28，設(shè)定單元12把索引i遞增I。在步驟S29，設(shè)定單元12判定索引i是否等于或大于包含在SPS中的RPS的數(shù)目num_short_term_ref_pic_sets。
[0184]當(dāng)在步驟S29,判定索引i不等于或大于數(shù)目num_short_term_ref_pic_sets時(shí)，處理返回步驟S22，重復(fù)步驟S22-S29的處理，直到索引i等于或大于數(shù)目num_Short_term_ref_pic_sets 為止。
[0185]另一方面，當(dāng)在步驟S29,判定索引i等于或大于數(shù)目num_short_term_ref_pic_sets時(shí)，處理返回圖10中圖解所示的步驟S11，然后進(jìn)入步驟S12。
[0186]圖12和13表示詳細(xì)圖解說(shuō)明在圖10中圖解所示的步驟S12的編碼處理的流程圖。
[0187]在圖12中圖解所示的步驟S31，編碼單元11的A/D轉(zhuǎn)換器31進(jìn)行作為輸入信號(hào)輸入的以幀為單位的圖像的A/D轉(zhuǎn)換，然后把轉(zhuǎn)換后的圖像輸出給屏幕重排緩沖器32，以便保存在其中。
[0188]在步驟S32，屏幕重排緩沖器32依據(jù)GOP的結(jié)構(gòu)，按編碼順序，重排按顯示順序排列的保存的各幀圖像。屏幕重排緩沖器32把重排后的以幀為單位構(gòu)成的圖像提供給計(jì)算單元33、巾貞內(nèi)預(yù)測(cè)單元46和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47。
[0189]在步驟S33，幀內(nèi)預(yù)測(cè)單元46進(jìn)行作為候選者的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。另外，幀內(nèi)預(yù)測(cè)單元46根據(jù)從屏幕重排緩沖器32讀取的圖像，和通過(guò)幀內(nèi)預(yù)測(cè)處理生成的預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀內(nèi)預(yù)測(cè)模式的成本函數(shù)值。隨后，幀內(nèi)預(yù)測(cè)單元46把其成本函數(shù)值最小的幀內(nèi)預(yù)測(cè)模式確定為最佳幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元46把按照最佳幀內(nèi)預(yù)測(cè)模式生成的預(yù)測(cè)圖像，和對(duì)應(yīng)的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元48。
[0190]另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47進(jìn)行作為候選者的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。此外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47根據(jù)從屏幕重排緩沖器32供給的圖像，和預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀間預(yù)測(cè)模式的成本函數(shù)值，并把其成本函數(shù)值最小的幀間預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47把最佳幀間預(yù)測(cè)模式的成本函數(shù)值，和對(duì)應(yīng)的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元48。
[0191]在步驟S34，預(yù)測(cè)圖像選擇單元48根據(jù)在步驟S33的處理中，從幀內(nèi)預(yù)測(cè)單元46和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47供給的成本函數(shù)值，把其成本函數(shù)值最小的最佳幀內(nèi)預(yù)測(cè)模式和最佳幀間預(yù)測(cè)模式之一，確定為最佳預(yù)測(cè)模式。隨后，預(yù)測(cè)圖像選擇單元48把最佳預(yù)測(cè)模式的預(yù)測(cè)圖像提供給計(jì)算單元33和加法單元40。
[0192]在步驟S35，預(yù)測(cè)圖像選擇單元48判定最佳預(yù)測(cè)模式是否是最佳幀間預(yù)測(cè)模式。當(dāng)在步驟S35，判定最佳預(yù)測(cè)模式是最佳幀間預(yù)測(cè)模式時(shí)，預(yù)測(cè)圖像選擇單元48把按最佳幀間預(yù)測(cè)模式生成的預(yù)測(cè)圖像的選擇，告知運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47。
[0193]隨后，在步驟S36，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47把幀間預(yù)測(cè)模式信息和對(duì)應(yīng)的運(yùn)動(dòng)向量，提供給無(wú)損編碼單元36。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47把參考圖像指定信息提供給參考圖像設(shè)定單元49。
[0194]在步驟S37，參考圖像設(shè)定單元49進(jìn)行確定RPS的索引的RPS索引確定處理。該RPS索引確定處理將在后面參考后面說(shuō)明的圖14詳細(xì)說(shuō)明。
[0195]另一方面，在步驟S35，當(dāng)判定最佳預(yù)測(cè)模式不是最佳幀間預(yù)測(cè)模式時(shí)，換句話說(shuō)，當(dāng)最佳預(yù)測(cè)模式是最佳幀內(nèi)預(yù)測(cè)模式時(shí)，預(yù)測(cè)圖像選擇單元48把按最佳幀內(nèi)預(yù)測(cè)模式生成的預(yù)測(cè)圖像的選擇，告知幀內(nèi)預(yù)測(cè)單元46。隨后，在步驟S38，幀內(nèi)預(yù)測(cè)單元46把幀內(nèi)預(yù)測(cè)模式信息提供給無(wú)損編碼單元36，然后處理進(jìn)入步驟S39。
[0196]在步驟S39，計(jì)算單元33從供給自屏幕重排緩沖器32的圖像中，減去從預(yù)測(cè)圖像選擇單元48供給的預(yù)測(cè)圖像，從而進(jìn)行編碼。計(jì)算單元33把作為其結(jié)果獲得的圖像，作為殘差信息輸出給正交變換單元34。
[0197]在步驟S40，正交變換單元34對(duì)從計(jì)算單元33輸出的殘差信息進(jìn)行正交變換，并把作為其結(jié)果獲得的正交變換系統(tǒng)提供給量化單元35。
[0198]在步驟S41，量化單元35通過(guò)利用從速率控制單元50供給的量化參數(shù)，量化從正交變換單元34供給的系數(shù)。量化系數(shù)被輸入無(wú)損編碼單元36和逆量化單元38。
[0199]在圖13中圖解所示的步驟S42，逆量化單元38通過(guò)利用從速率控制單元50供給的量化參數(shù)，進(jìn)行從量化單元35供給的量化系數(shù)的逆量化，并把作為其結(jié)果獲得的正交變換系數(shù)提供給逆正交變換單元39。
[0200]在步驟S43，逆正交變換單元39對(duì)從逆量化單元38供給的正交變換系數(shù)進(jìn)行逆正交變換，并把作為其結(jié)果獲得的殘差信息提供給加法單元40。
[0201]在步驟S44，加法單元40相加從逆正交變換單元39供給的殘差信息，和從預(yù)測(cè)圖像選擇單元48供給的預(yù)測(cè)圖像，從而獲得局部解碼圖像。加法單元40把獲得的圖像提供給解塊濾波器41和幀存儲(chǔ)器44。
[0202]在步驟S45，解塊濾波器41對(duì)從加法單元40供給的局部解碼圖像進(jìn)行解塊濾波處理。解塊濾波器41把作為其結(jié)果獲得的圖像提供給自適應(yīng)偏移濾波器42。
[0203]在步驟S46，對(duì)于每個(gè)IXU，自適應(yīng)偏移濾波器42對(duì)從解塊濾波器41供給的圖像，進(jìn)行自適應(yīng)偏移濾波處理。自適應(yīng)偏移濾波器42把作為其結(jié)果獲得的圖像提供給自適應(yīng)環(huán)路濾波器43。另外，對(duì)于各個(gè)LCU，自適應(yīng)偏移濾波器42把存儲(chǔ)標(biāo)記、索引或偏移量、和種類信息，作為偏移濾波信息提供給無(wú)損編碼單元36。
[0204]在步驟S47，對(duì)于各個(gè)IXU，自適應(yīng)環(huán)路濾波器43對(duì)從自適應(yīng)偏移濾波器42供給的圖像，進(jìn)行自適應(yīng)環(huán)路濾波處理。自適應(yīng)環(huán)路濾波器43把作為其結(jié)果獲得的圖像提供給幀存儲(chǔ)器44。另外，自適應(yīng)環(huán)路濾波器43把在自適應(yīng)環(huán)路濾波處理中使用的濾波系數(shù)提供給無(wú)損編碼單元36。
[0205]在步驟S48，幀存儲(chǔ)器44保存從自適應(yīng)環(huán)路濾波器43供給的圖像，和從加法單元40供給的圖像。保存在幀存儲(chǔ)器44中的圖像通過(guò)開(kāi)關(guān)45，被輸出給幀內(nèi)預(yù)測(cè)單元46或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，作為參考圖像。
[0206]在步驟S49，無(wú)損編碼單元36對(duì)從速率控制單元50供給的量化參數(shù)、偏移濾波信息和濾波系數(shù)，比如幀內(nèi)預(yù)測(cè)模式信息或幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)向量、RPS的索引或RPS等，進(jìn)行無(wú)損編碼，作為編碼信息。
[0207]在步驟S50，無(wú)損編碼單元36對(duì)從量化單元35供給的量化系數(shù)進(jìn)行無(wú)損編碼。隨后，無(wú)損編碼單元36根據(jù)在步驟S49中，按照無(wú)損方式編碼的編碼信息和系數(shù)，生成編碼數(shù)據(jù)。
[0208]在步驟S51，累積緩沖器37臨時(shí)保存從無(wú)損編碼單元36供給的編碼數(shù)據(jù)。
[0209]在步驟S52，速率控制單元50根據(jù)保存在累積緩沖器37中的編碼數(shù)據(jù)，確定量化單元35使用的量化參數(shù)，以致不發(fā)生上溢或下溢。速率控制單元50把確定的量化參數(shù)提供給量化單元35、無(wú)損編碼單元36和逆量化單元38。
[0210]在步驟S53，累積緩沖器37把保存的編碼數(shù)據(jù)輸出給圖3中圖解所示的設(shè)定單元12。
[0211]在圖12和13中圖解所示的編碼處理中，為了簡(jiǎn)化說(shuō)明，盡管幀內(nèi)預(yù)測(cè)處理和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理兩者被配置成是持續(xù)不斷地進(jìn)行的，不過(guò)，實(shí)際上，可按照畫面種類等，只進(jìn)行其中之一。
[0212]圖14是詳細(xì)圖解說(shuō)明在圖12中圖解所示的步驟S37中表示的RPS索引確定處理的流程圖。
[0213]在圖14中圖解所示的步驟S71，參考圖像設(shè)定單元49對(duì)應(yīng)于GOP地保持從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47供給的參考圖像指定信息。在步驟S72，參考圖像設(shè)定單元49確定當(dāng)前編碼圖像是否是GPS的第I圖像。
[0214]當(dāng)在步驟S72，確定當(dāng)前編碼圖像是GOP中的第I圖像時(shí)，在步驟S73，參考圖像設(shè)定單元49把RPS標(biāo)記設(shè)定為“I”。在步驟S74，參考圖像設(shè)定單元49把RPS的索引設(shè)定為“0”，然后處理進(jìn)入步驟S79。
[0215]另一方面，當(dāng)在步驟S72，確定當(dāng)前編碼圖像是GOP中的除第I圖像外的圖像時(shí)，在步驟S75，參考圖像設(shè)定單元49生成當(dāng)前編碼圖像的RPS。
[0216]更具體地，參考圖像設(shè)定單元49判定保持的在先圖像的參考圖像指定信息和當(dāng)前編碼圖像的參考圖像指定信息是否相同。當(dāng)判定保持的在先圖像的參考圖像指定信息和當(dāng)前編碼圖像的參考圖像指定信息相同時(shí)，參考圖像設(shè)定單元49生成當(dāng)前編碼圖像的RPS,該 RPS 包含作為 inter_ref_pic_set_predict1n_flag 的 “I”，并包含 delta_idx_minusl。
[0217]另一方面，當(dāng)判定保持的在先圖像的參考圖像指定信息和當(dāng)前編碼圖像的參考圖像指定信息不相同時(shí)，參考圖像設(shè)定單元49生成包含作為inter_ref_pic_set_predict1n_flag的“O”的當(dāng)前編碼圖像的RPS。
[0218]在步驟S76，參考圖像設(shè)定單元49判定當(dāng)前編碼圖像的RPS是否和包含在從設(shè)定單元12供給的SPS中的RPS相同。當(dāng)在步驟S76，判定當(dāng)前編碼圖像的RPS和包含在SPS中的RPS相同時(shí)，在步驟S77，參考圖像設(shè)定單元49把RPS標(biāo)記設(shè)定為“ I ”。
[0219]在步驟S78，參考圖像設(shè)定單元49識(shí)別與當(dāng)前編碼圖像的RPS相同的包含在SPS中的RPS的索引，然后處理進(jìn)入步驟S79。在步驟S79，參考圖像設(shè)定單元49把在步驟S73或步驟S77中設(shè)定的RPS標(biāo)記，和在步驟S74中設(shè)定的RPS的索引，或者在步驟S78中識(shí)別的RPS的索引提供給無(wú)損編碼單元36。隨后，處理返回圖12中圖解所示的步驟S37，然后處理進(jìn)入步驟S39。
[0220]另一方面，當(dāng)在步驟S76，判定當(dāng)前編碼圖像的RPS和包含在SPS中的RPS不同時(shí)，參考圖像設(shè)定單元49把RPS標(biāo)記設(shè)定為“O”。在步驟S81，參考圖像設(shè)定單元49把在步驟S80中設(shè)定的RPS標(biāo)記，和在步驟S75中生成的RPS提供給無(wú)損編碼單元36。隨后，處理返回圖12中圖解所示的步驟S37，然后處理進(jìn)入步驟S39。
[0221]如上，在當(dāng)前編碼圖像是GOP內(nèi)的除第I圖像外的圖像的情況下，編碼設(shè)備10傳送inter_ref_pic_set_predict1n_flag。換句話說(shuō)，在當(dāng)前編碼圖像是GOP的第I圖像時(shí)，編碼設(shè)備10不傳送inter_ref_pic_set_predict1n_flag。因而,與參考圖像指定信息相關(guān)的RPS的信息量可被減少與GOP的第I圖像的inter_ref_pic_set_predict1n_flag對(duì)應(yīng)的數(shù)量。
[0222](按照第一實(shí)施例的解碼設(shè)備的結(jié)構(gòu)例子)
[0223]圖15是圖解說(shuō)明按照第一實(shí)施例的本技術(shù)適用于的，解碼從圖3中圖解所示的編碼設(shè)備10傳送的編碼流的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0224]圖15中圖解所示的解碼設(shè)備110由接收單元111、提取單元112和解碼單元113構(gòu)成。
[0225]解碼設(shè)備110的接收單元111接收從圖3中圖解所示的編碼設(shè)備10傳送的編碼流，并把接收的編碼流提供給提取單元112。
[0226]提取單元112從供給自接收單元111的編碼流中，提取SPS、PPS、編碼數(shù)據(jù)等。提取單元112把編碼數(shù)據(jù)供給解碼單元113。另外，提取單元112根據(jù)SPS，獲得各個(gè)SPS的inter_ref_pic_set_predict1n_flag,和 delta_idx_minusl 或參考圖像指定信息，并把獲得的信息提供給解碼單元113。另外，必要時(shí)，提取單元112把包含在SPS中的除RPS外的信息，PPS等，提供給解碼單元113。
[0227]根據(jù)從提取單元112 供給的各個(gè) RPS 的 inter_ref_pic_set_predict1n_flag 和delta_idx_minusl或參考圖像指定信息,解碼單元113按照HEVC方式，解碼從提取單元112供給的編碼數(shù)據(jù)。此時(shí)，必要時(shí)，解碼單元113參考包含在SPS中的除RPS外的信息，PPS等。解碼單元113輸出通過(guò)解碼獲得的圖像，作為輸出信號(hào)。
[0228](解碼單元的結(jié)構(gòu)例子)
[0229]圖16是圖解說(shuō)明在圖15中圖解所示的解碼單元13的結(jié)構(gòu)例子的方框圖。
[0230]圖16中圖解所示的解碼單元113由以下組件構(gòu)成:累積緩沖器131 ;無(wú)損解碼單元132 ;逆量化單元133 ;逆正交變換單元134 ;加法單元135 ;解塊濾波器136 ；自適應(yīng)偏移濾波器137 ；自適應(yīng)環(huán)路濾波器138 ;屏幕重排緩沖器139 ;D/A轉(zhuǎn)換器140 ;幀存儲(chǔ)器141 ；開(kāi)關(guān)142 ;幀內(nèi)預(yù)測(cè)單元143 ;參考圖像設(shè)定單元144 ;運(yùn)動(dòng)補(bǔ)償單元145 ;和開(kāi)關(guān)146。
[0231]解碼單元113的累積緩沖器131從圖15中圖解所示的提取單元112接收編碼數(shù)據(jù)，并保存接收的編碼數(shù)據(jù)。累積緩沖器131把保存的編碼數(shù)據(jù)提供給無(wú)損解碼單元132。
[0232]無(wú)損解碼單元132對(duì)從累積緩沖器131供給的編碼數(shù)據(jù)，進(jìn)行諸如變長(zhǎng)解碼或算術(shù)解碼之類的無(wú)損解碼，從而獲得量化系數(shù)和編碼信息。無(wú)損解碼單元132把量化系數(shù)提供給逆量化單元133。另外，無(wú)損解碼單元132把幀內(nèi)預(yù)測(cè)模式信息等，作為編碼信息提供給幀內(nèi)預(yù)測(cè)單元143，并把運(yùn)動(dòng)向量、幀間預(yù)測(cè)模式信息等提供給運(yùn)動(dòng)補(bǔ)償單元145。無(wú)損解碼單元132把RPS標(biāo)記和RPS的索引或者RPS，作為編碼信息提供給參考圖像設(shè)定單元
144。
[0233]另外，無(wú)損解碼單元132把幀內(nèi)預(yù)測(cè)模式信息或幀間預(yù)測(cè)模式信息，作為編碼信息提供給開(kāi)關(guān)146。無(wú)損解碼單元132把偏移濾波信息，作為編碼信息提供給自適應(yīng)偏移濾波器137，并把濾波系數(shù)提供給自適應(yīng)環(huán)路濾波器138。
[0234]逆量化單元133、逆正交變換單元134、加法單元135、解塊濾波器136、自適應(yīng)偏移濾波器137、自適應(yīng)環(huán)路濾波器138、幀存儲(chǔ)器141、開(kāi)關(guān)142、幀內(nèi)預(yù)測(cè)單元13和運(yùn)動(dòng)補(bǔ)償單元145進(jìn)行和圖4中圖解所示的逆量化單元38、逆正交變換單元39、加法單元40、解塊濾波器41、自適應(yīng)偏移濾波器42、自適應(yīng)環(huán)路濾波器43、幀存儲(chǔ)器44、開(kāi)關(guān)45、幀內(nèi)預(yù)測(cè)單元46和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47的處理類似的處理，從而圖像被解碼。
[0235]更具體地，逆量化單元133進(jìn)行從無(wú)損解碼單元132供給的量化系數(shù)的逆量化，并把作為其結(jié)果獲得的正交變換系數(shù)提供給逆正交變換單元134。
[0236]逆正交變換單元134對(duì)從逆量化單元133供給的正交變換系數(shù)，進(jìn)行逆正交變換。逆正交變換單元134把通過(guò)逆正交變換獲得的殘差信息提供給加法單元135。
[0237]加法單元135充當(dāng)解碼單元，并通過(guò)相加作為當(dāng)前解碼圖像，從逆正交變換單元134供給的殘差信息，和從開(kāi)關(guān)146供給的預(yù)測(cè)圖像，來(lái)進(jìn)行解碼。加法單元135把通過(guò)解碼獲得的圖像提供給解塊濾波器136和幀存儲(chǔ)器141。另外，當(dāng)未從開(kāi)關(guān)146供給預(yù)測(cè)圖像時(shí)，加法單元135把作為從逆正交變換單元134供給的殘差信息的圖像提供給解塊濾波器136，作為通過(guò)解碼獲得的圖像，并把該圖像提供給幀存儲(chǔ)器141，以便保存在其中。
[0238]解塊濾波器136對(duì)從加法單元135供給的圖像，進(jìn)行自適應(yīng)解塊濾波處理，并把作為其結(jié)果獲得的圖像，提供給自適應(yīng)偏移濾波器137。
[0239]自適應(yīng)偏移濾波器137具有順序保存從無(wú)損解碼單元132供給的偏移量的緩沖器。另外，自適應(yīng)偏移濾波器137根據(jù)從無(wú)損解碼單元132供給的偏移濾波信息，對(duì)在解塊濾波器136進(jìn)行的自適應(yīng)解塊濾波處理之后的圖像，各個(gè)IXU地進(jìn)行自適應(yīng)偏移濾波處理。
[0240]更具體地，當(dāng)包含在偏移濾波信息中的存儲(chǔ)標(biāo)記為“O”時(shí)，自適應(yīng)偏移濾波器137通過(guò)利用包含在偏移濾波信息中的偏移量，對(duì)在以LCU為單位進(jìn)行的解塊濾波處理之后的圖像，進(jìn)行由種類信息表示的種類的自適應(yīng)偏移濾波處理。
[0241]另一方面，當(dāng)包含在偏移濾波信息中的存儲(chǔ)標(biāo)記為“I”時(shí)，自適應(yīng)偏移濾波器137對(duì)于在以LCU為單位進(jìn)行的解塊濾波處理之后的圖像，讀取保存在由包含在偏移濾波信息中的索引表示的位置的偏移。隨后，自適應(yīng)偏移濾波器137通過(guò)利用讀取的偏移，進(jìn)行由種類信息表示的種類的自適應(yīng)偏移濾波處理。自適應(yīng)偏移濾波器137把自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器138。
[0242]自適應(yīng)環(huán)路濾波器138通過(guò)利用從無(wú)損解碼單元132供給的濾波系數(shù)，對(duì)從自適應(yīng)偏移濾波器137供給的圖像，各個(gè)IXU地進(jìn)行自適應(yīng)環(huán)路濾波處理。自適應(yīng)環(huán)路濾波器138把作為其結(jié)果獲得的圖像提供給幀存儲(chǔ)器141和屏幕重排緩沖器139。
[0243]屏幕重排緩沖器139以幀為單位地保存從自適應(yīng)環(huán)路濾波器138供給的圖像。屏幕重排緩沖器139按照原始順序，重排按照編碼順序排列的以幀為單位的存儲(chǔ)圖像，并把重排的圖像提供給D/A轉(zhuǎn)換器140。
[0244]D/A轉(zhuǎn)換器140進(jìn)行從屏幕重排緩沖器139供給的以幀為單位構(gòu)成的圖像的D/A轉(zhuǎn)換，并輸出轉(zhuǎn)換后的圖像，作為輸出信號(hào)。幀存儲(chǔ)器141保存從自適應(yīng)環(huán)路濾波器138供給的圖像，和從加法單元135供給的圖像。保存在幀存儲(chǔ)器141中的圖像被讀取，作為參考圖像，并通過(guò)開(kāi)關(guān)142被提供給運(yùn)動(dòng)補(bǔ)償單元145或者幀內(nèi)預(yù)測(cè)單元143。
[0245]幀內(nèi)預(yù)測(cè)單元143通過(guò)利用經(jīng)開(kāi)關(guān)142，從幀存儲(chǔ)器141讀取的參考圖像，進(jìn)行由從無(wú)損解碼單元132供給的幀內(nèi)預(yù)測(cè)模式信息表示的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。幀內(nèi)預(yù)測(cè)單元143把作為其結(jié)果生成的預(yù)測(cè)圖像提供給開(kāi)關(guān)146。
[0246]參考圖像設(shè)定單元144保持從圖15中圖解所示的提取單元112供給的各個(gè)RPS的 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl 或參考圖像指定信息，作為RPS信息。另外，參考圖像設(shè)定單元144根據(jù)從無(wú)損解碼單元132供給的RPS標(biāo)記和RPS的索引或RPS，以及各個(gè)RPS的RPS信息，生成當(dāng)前解碼圖像的參考圖像指定信息。參考圖像設(shè)定單元144把生成的參考圖像指定信息提供給運(yùn)動(dòng)補(bǔ)償單元145，并保持參考圖像指定信息。
[0247]運(yùn)動(dòng)補(bǔ)償單元145根據(jù)從參考圖像設(shè)定單元144供給的參考圖像指定信息，通過(guò)開(kāi)關(guān)142，從幀存儲(chǔ)器141中讀取由參考圖像指定信息指定的參考圖像。運(yùn)動(dòng)補(bǔ)償單元145充當(dāng)預(yù)測(cè)圖像生成單元，通過(guò)利用運(yùn)動(dòng)向量和參考圖像，進(jìn)行由幀間預(yù)測(cè)模式信息表示的最佳幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元145把作為其結(jié)果生成的預(yù)測(cè)圖像提供給開(kāi)關(guān)146。
[0248]當(dāng)從無(wú)損解碼單元132供給幀內(nèi)預(yù)測(cè)模式信息時(shí)，開(kāi)關(guān)146把從幀內(nèi)預(yù)測(cè)單元143供給的預(yù)測(cè)圖像提供給加法單元135。另一方面，當(dāng)從無(wú)損解碼單元132供給幀間預(yù)測(cè)模式信息時(shí)，開(kāi)關(guān)146把從運(yùn)動(dòng)補(bǔ)償單元145供給的預(yù)測(cè)圖像提供給加法單元135。
[0249](解碼設(shè)備的處理的說(shuō)明)
[0250]圖17是圖解說(shuō)明由圖15中圖解所示的解碼設(shè)備110進(jìn)行的接收處理的流程圖。
[0251]在圖17中圖解所示的步驟S111，解碼設(shè)備110的接收單元111接收從圖3中圖解所示的編碼設(shè)備10傳送的編碼流，并把接收的編碼流提供給提取單元112。
[0252]在步驟S112，提取單元112從供給自接收單元111的編碼流中，提取SPS、PPS、編碼數(shù)據(jù)等。提取單元112把編碼數(shù)據(jù)提供給解碼單元113。另外，必要時(shí)，提取單元112把包含在SPS中的除RPS外的信息，PPS等提供給解碼單元113。
[0253]在步驟S113，提取單元112根據(jù)SPS，獲得各個(gè)RPS的inter_ref_pic_set_predict1n_flag,和delta_idx_minusl或參考圖像指定信息,作為RPS信息，并把獲得的信息提供給解碼單元113。
[0254]在步驟SI 14，解碼單元113進(jìn)行根據(jù)從提取單元112供給的各個(gè)RPS的RPS信息，按照HEVC方式，對(duì)從提取單元112供給的編碼數(shù)據(jù)解碼的解碼處理。該解碼處理將參考后面說(shuō)明的圖19，詳細(xì)說(shuō)明。隨后，處理結(jié)束。
[0255]圖18是詳細(xì)圖解說(shuō)明在圖17中圖解所示的步驟S113中表示的RPS設(shè)定處理的流程圖。
[0256]在圖18中圖解所示的步驟S120，提取單元112獲得包含在SPS(圖5)中的num_short_term_ref_pic_setso在步驟S121,提取單元112把與生成的RPS信息對(duì)應(yīng)的RPS的索引i設(shè)定為“O”。在步驟S122，判定RPS的索引i是否為“O”。
[0257]當(dāng)在步驟S122，判定索引i為“O”時(shí)，在步驟S123，提取單元112把包含在索引i的RPS的RPS信息中的inter_ref_pic_set_predict1n_flag設(shè)定為“O”,然后處理進(jìn)入步驟 S125。
[0258]另一方面，當(dāng)在步驟S122，判定索引i不為“O”時(shí)，在步驟S124，提取單元112獲得包括在包含于SPS中的索引i的RPS中的inter_ref_pic_set_predict1n_flag。隨后，提取單元112設(shè)定獲得的inter_ref_pic_set_predict1n_flag,作為包含在索引i的RPS的 RPS 信息中的 inter_ref_pic_set_predict1n_flag,然后處理進(jìn)入步驟 S125。
[0259]在步驟S125,提取單兀 112 判定 inter_ref_pic_set_predict1n_flag 是否為“ I ”。當(dāng)在步驟 S125,判定 inter_ref_pic_set_predict1n_f lag 為“ I ”時(shí)，在步驟 S126,提取單元112獲得包括在包含于SPS中的索引i的RPS中的delta_idx_minusl。隨后，提取單元112設(shè)定獲得的delta_idx_minusl,作為包含在索引i的RPS的RPS信息中的delta_idx_minusl,然后處理進(jìn)入步驟S128。
[0260]另一方面，當(dāng)在步驟S125,判定 inter_ref_pic_set_predict1n_flag 不為 “ I”時(shí)，在步驟S127，提取單元112獲得包括在包含于SPS中的索引i的RPS中的參考圖像指定信息。隨后，提取單元112設(shè)定獲得的參考圖像指定信息，作為包含在索引i的RPS的RPS信息中的參考圖像指定信息，然后處理進(jìn)入步驟S128。
[0261]在步驟S128，提取單元112把索引i加I。在步驟S129，提取單元112判定索引i是否等于或大于在步驟S120中獲得的num_short_term_ref_pic_sets。
[0262]當(dāng)在步驟S129,判定索引i不等于或大于num_short_term_ref_pic_sets時(shí),處理返回步驟S122,重復(fù)步驟S122-S129的處理,直到索引i等于或大于num_short_term_ref_pic_sets 為止。
[0263]另一方面，當(dāng)在步驟S129,判定索引i等于或大于num_short_term_ref_pic_sets時(shí)，在步驟S130,提取單元112供給其數(shù)目為設(shè)定的num_short_term_ref_pic_sets的RPS的RPS信息。隨后，處理返回圖17中圖解所示的步驟S113，然后處理進(jìn)入步驟S114。
[0264]圖19是詳細(xì)圖解說(shuō)明在圖17中圖解所示的步驟S114中表示的解碼處理的流程圖。
[0265]在圖19中圖解所示的步驟S131，解碼單元113的累積緩沖器131從圖15中圖解所示的提取單元112，接收以幀為單位構(gòu)成的編碼數(shù)據(jù)，并保存接收的編碼數(shù)據(jù)。累積緩沖器131把保存的編碼數(shù)據(jù)提供給無(wú)損解碼單元132。
[0266]在步驟S132，無(wú)損解碼單元132進(jìn)行從累積緩沖器131供給的編碼數(shù)據(jù)的無(wú)損解碼，從而獲得量化系數(shù)和編碼信息。無(wú)損解碼單元132把量化系數(shù)提供給逆量化單元133。另外，無(wú)損解碼單元132把幀內(nèi)預(yù)測(cè)模式信息等，作為編碼信息提供給幀內(nèi)預(yù)測(cè)單元143，并把運(yùn)動(dòng)向量、幀間預(yù)測(cè)模式信息、RPS標(biāo)記、RPS的索引或RPS等，提供給運(yùn)動(dòng)補(bǔ)償單元
145。
[0267]另外，無(wú)損解碼單元132把幀間預(yù)測(cè)模式信息或幀內(nèi)預(yù)測(cè)模式信息，作為編碼信息提供給開(kāi)關(guān)146。無(wú)損解碼單元132把偏移濾波信息作為編碼信息提供給自適應(yīng)偏移濾波器137，并把濾波系數(shù)提供給自適應(yīng)環(huán)路濾波器138。
[0268]在步驟S133，逆量化單元133進(jìn)行從無(wú)損解碼單元132供給的量化系數(shù)的逆量化，并把作為其結(jié)果獲得的正交變換系數(shù)提供給逆正交變換單元134。
[0269]在步驟S134，運(yùn)動(dòng)補(bǔ)償單元145判定是否從無(wú)損解碼單元132供給了幀間預(yù)測(cè)模式信息。當(dāng)在步驟S134，判定供給了幀間預(yù)測(cè)模式信息時(shí)，處理進(jìn)入步驟S135。
[0270]在步驟S135，參考圖像設(shè)定單元144根據(jù)從提取單元112供給的各個(gè)RPS的RPS信息，和從無(wú)損解碼單元132供給的RPS標(biāo)記和RPS的索引或RPS，生成當(dāng)前解碼圖像的參考圖像指定信息，并保持生成的參考圖像指定信息。
[0271]更具體地，參考圖像設(shè)定單元144保持從提取單元112供給的各個(gè)RPS的RPS信息。當(dāng)RPS標(biāo)記為“ I”時(shí)，參考圖像設(shè)定單元144讀取包含在保持的RPS信息中的RPS的索引RPS信息。隨后，當(dāng)包含在讀取的RPS信息中的inter_ref_pic_set_predict1n_flag為“O”時(shí)，參考圖像設(shè)定單元144生成包含在RPS信息中的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息，并保持生成的參考圖像指定信息。
[0272]另一方面，當(dāng)inter_ref_pic_set_predict1n_f lag 為“ I ”時(shí)，參考圖像設(shè)定單兀144從保持的參考圖像指定信息之中，讀取由包含在RPS信息中的delta_idX_minusl指定的在先圖像的參考圖像指定信息。隨后，參考圖像設(shè)定單元144生成并保持讀取的在先圖像的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息。
[0273]另外，當(dāng)RPS標(biāo)記為“0”，并且包含在和RPS標(biāo)記一起從無(wú)損解碼單元132供給的RPS中的inter_ref_pic_set_predict1n_flag為“O”時(shí)，參考圖像設(shè)定單兀144生成包含在RPS中的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息，并保持生成的參考圖像指定信息。另一方面，當(dāng)inter_ref_pic_set_predict1n_flag為“I”時(shí),參考圖像設(shè)定單元144從保持的參考圖像指定信息中，讀取利用包含在RPS中的delta_idx_minusl指定的在先圖像的參考圖像指定信息。隨后，參考圖像設(shè)定單元144生成讀取的在先圖像的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息，并保持生成的參考圖像指定信息。
[0274]在步驟S136，運(yùn)動(dòng)補(bǔ)償單元145根據(jù)從參考圖像設(shè)定單元144供給的參考圖像指定信息，讀取參考圖像，并通過(guò)利用運(yùn)動(dòng)向量和參考圖像，進(jìn)行由幀間預(yù)測(cè)模式信息表示的最佳幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元145把作為其結(jié)果生成的預(yù)測(cè)圖像，通過(guò)開(kāi)關(guān)146提供給加法單元135，然后處理進(jìn)入步驟S138。
[0275]另一方面，當(dāng)在步驟S134中，判定未供給幀間預(yù)測(cè)模式信息時(shí)，換句話說(shuō)，當(dāng)向幀內(nèi)預(yù)測(cè)單元143供給幀內(nèi)預(yù)測(cè)模式信息時(shí)，處理進(jìn)入步驟S137。
[0276]在步驟S137，幀內(nèi)預(yù)測(cè)單元143通過(guò)利用經(jīng)開(kāi)關(guān)142從幀存儲(chǔ)器141讀取的參考圖像，進(jìn)行由幀內(nèi)預(yù)測(cè)模式信息表示的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。幀內(nèi)預(yù)測(cè)單元143通過(guò)開(kāi)關(guān)146，把通過(guò)幀內(nèi)預(yù)測(cè)處理生成的預(yù)測(cè)圖像提供給加法單元135，隨后處理進(jìn)入步驟 S138。
[0277]在步驟S138，逆正交變換單元134對(duì)從逆量化單元133供給的正交變換系數(shù)，進(jìn)行逆正交變換，并把作為其結(jié)果獲得的殘差信息提供給加法單元135。
[0278]在步驟S139，加法單元135相加從逆正交變換單元134供給的殘差信息，和從開(kāi)關(guān)146供給的預(yù)測(cè)圖像。加法單元135把作為其結(jié)果獲得的圖像提供給解塊濾波器136，并把獲得的圖像提供給幀存儲(chǔ)器141。
[0279]在步驟S140，解塊濾波器136對(duì)從加法單元135供給的圖像，進(jìn)行解塊濾波處理，從而消除塊失真。解塊濾波器136把作為其結(jié)果獲得的圖像提供給自適應(yīng)偏移濾波器137。
[0280]在步驟S141，自適應(yīng)偏移濾波器137根據(jù)從無(wú)損解碼單元132供給的偏移濾波信息，對(duì)在解塊濾波器136進(jìn)行的解塊濾波處理之后的圖像，各個(gè)IXU地進(jìn)行自適應(yīng)偏移濾波處理。自適應(yīng)偏移濾波器137把自適應(yīng)偏移濾波處理之后的圖像提供給自適應(yīng)環(huán)路濾波器
138。
[0281]在步驟S142，自適應(yīng)環(huán)路濾波器138通過(guò)利用從無(wú)損解碼單元132供給的濾波系數(shù)，對(duì)從自適應(yīng)偏移濾波器137供給的圖像，各個(gè)IXU地進(jìn)行自適應(yīng)環(huán)路濾波處理。自適應(yīng)環(huán)路濾波器138把作為其結(jié)果獲得的圖像提供給幀存儲(chǔ)器141和屏幕重排緩沖器139。
[0282]在步驟S143，幀存儲(chǔ)器141保存從加法單元135供給的圖像，和從自適應(yīng)環(huán)路濾波器138供給的圖像。保存在幀存儲(chǔ)器141中的圖像通過(guò)開(kāi)關(guān)142，被提供給運(yùn)動(dòng)補(bǔ)償單元145或者幀內(nèi)預(yù)測(cè)單元143，作為參考圖像。
[0283]在步驟S144，屏幕重排緩沖器139以幀為單位，保存從自適應(yīng)環(huán)路濾波器138供給的圖像，并按照原始顯示順序，重排保存的按照編碼順序、以幀為單位構(gòu)成的圖像，然后把重排的圖像提供給D/A轉(zhuǎn)換器140。
[0284]在步驟S145，D/A轉(zhuǎn)換器140對(duì)從屏幕重排緩沖器139供給的以幀為單位構(gòu)成的圖像，進(jìn)行D/A轉(zhuǎn)換，并輸出轉(zhuǎn)換后的圖像作為輸出信號(hào)。隨后，處理返回圖17中圖解所示的步驟SI 14，然后處理結(jié)束。
[0285]如上，解碼設(shè)備110接收當(dāng)當(dāng)前編碼圖像是GOP的除第I圖像外的圖像時(shí)傳送的inter_ref_pic_set_predict1n_flag0 當(dāng)收至丨J inter_ref_pic_set_predict1n_flag 時(shí)，解碼設(shè)備110根據(jù)inter_ref_pic_set_predict1n_flag,生成當(dāng)前解碼圖像的參考圖像指定信息。另一方面，當(dāng)未收到inter_ref_pic_set_predict1n_flag時(shí),解碼設(shè)備110根據(jù)作為inter_ref_pic_set_predict1n_flag的“O”,生成當(dāng)前解碼圖像的參考圖像指定信息。
[0286]結(jié)果，解碼設(shè)備110能夠解碼其中RPS的信息量被減少與GOP的第I圖像的inter_ref_pic_set_predict1n_flag 對(duì)應(yīng)的數(shù)量的編碼流。
[0287]<第二實(shí)施例>
[0288](按照第二實(shí)施例的編碼設(shè)備的結(jié)構(gòu)例子)
[0289]圖20是圖解說(shuō)明按照第二實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0290]這里，向圖20中圖解所示的與圖3中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0291]圖20中圖解所示的編碼設(shè)備150的結(jié)構(gòu)和圖3中圖解所示的編碼設(shè)備10的結(jié)構(gòu)的不同之處在于設(shè)置設(shè)定單元151，而不是設(shè)定單元12。編碼設(shè)備150設(shè)定SPS，以致可以GOP 為單位，共享 inter_ref_pic_set_predict1n_flag 和 delta_idx_minusl。
[0292]更具體地，必要時(shí)，設(shè)定單兀151設(shè)定包含inter_ref_pic_set_predict1n_flag、delta_idx_minusl、參考圖像指定信息等的RPS,并向各個(gè)RPS賦予索引。設(shè)定單元151把被賦予索引的RPS提供給編碼單元11。另外，設(shè)定單元151設(shè)定包括表示在RPS和GOP內(nèi)的所有畫面中，inter_ref_pic_set_predict1n_flag是否為“O”的不可參考信息，并且必要時(shí)，包含為GOP內(nèi)的所有畫面共有的delta_idx_minusl的SPS。設(shè)定單元151設(shè)定PPS等。
[0293]另外，類似于圖3中圖解所示的設(shè)定單元12，設(shè)定單元151根據(jù)已設(shè)定的SPS和PPS,以及從編碼單元11供給的編碼數(shù)據(jù)，生成編碼流。類似于設(shè)定單元12，設(shè)定單元151把編碼流提供給傳輸單元13。
[0294](SPS的語(yǔ)法的例子)
[0295]圖21是圖解說(shuō)明由圖20中圖解所示的設(shè)定單元151設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0296]如在圖21中的第4行中圖解所示，在SPS中包括不可參考信息(disable_rps_predict1n_flag)。另外，如在第5行和第6行中圖解所示，當(dāng)不可參考信息為不表示在GOP內(nèi)的所有畫面內(nèi)inter_ref_pic_set_predict1n_flag為“O”的“O”時(shí),在SPS中包括表不在GOP內(nèi)的所有畫面內(nèi)delta_idx_minusl是否相同的一致信息(unified_rps_predict1n_control_present_flag)。
[0297]此外，如在第7行和第8行中圖解所示，當(dāng)一致信息為“ I ”，表示在GOP內(nèi)的所有畫面內(nèi)delta_idx_minusl相同時(shí),在SPS中包括是為GOP內(nèi)的所有畫面共有的delta_idx_minusl的unified_delta_idx_minusl。另外，如在第11行中圖解所示，各個(gè)索引(i)的RPS被包含在SPS中。
[0298](RPS的語(yǔ)法的例子)
[0299]圖22是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0300]圖22中圖解所示的第11行和后續(xù)各行的說(shuō)明與在圖1中圖解所示的第5行和后續(xù)各行的說(shuō)明相同。
[0301]如在圖22中的第2行和第3行中圖解所示，當(dāng)disable_rps_predict1n_flag為“I” 時(shí)，在 RPS 中，不包括 inter_ref_pic_set_predict1n_flag,但是包括當(dāng) inter_ref_pic_set_predict1n_flag為“O”時(shí)包含的參考圖像指定信息。
[0302]另一方面,如在第4行和第5行中圖解所示，當(dāng)disable_rps_predict1n_flag為“O”時(shí),在 RPS 中，包含 inter_ref_pic_set_predict1n_flag。另外，如在第 6 行-第 8 行中圖角軍所不，當(dāng) inter_ref_pic_set_predict1n_flag 和 unified_rps_predict1n_control_present_flag 分別為 “ I” 時(shí)，在 RPS 中，不包括 delta_idx_minusl, delta_idx_minusl 是unified_delta_idx_minusl ο
[0303]此外，如在第9行和第10行中圖解所示，在inter_ref_pic_set_predict1n_flag為“ I ”，并且 unified_rps_predict1n_control_present_f lag 為“O”的情況下，在 RPS 中包括 delta_idx_minuslο
[0304](本技術(shù)的優(yōu)點(diǎn)的說(shuō)明)
[0305]圖23和24是圖解說(shuō)明由圖20中圖解所示的設(shè)定單元151設(shè)定的RPS的信息量的示圖，圖25是圖解說(shuō)明常規(guī)RPS的信息量的示圖。
[0306]在圖23中圖解所示的例子中，GOP內(nèi)從開(kāi)始起的第2畫面和第8畫面中每個(gè)的參考圖像指定信息都與按照編碼順序的相應(yīng)前一個(gè)畫面的參考圖像指定信息相同。
[0307]這種情況下，如圖23中圖解所示，設(shè)定單元151設(shè)定“0”，作為disable_rps_predict1n_flag,并設(shè)定 “1，，，作為 unified_rps_predict1n_control_present_flag。另夕卜，設(shè)定單兀 151 設(shè)定 “O”,作為 unified_delta_idx_minusl。
[0308]此外，例如，作為其索引為“O”的RPS，設(shè)定單元151設(shè)定作為inter_ref_pic_set_predict1n_flag的“0”，并設(shè)定GOP的第I畫面的參考圖像指定信息。另外，作為其索引為 “I” 的 RPS,設(shè)定單元 151 設(shè)定作為 inter_ref_pic_set_predict1n_flag 的 “I”。從而，GOP的第I畫面的RPS的索引被設(shè)定為“0”，第2畫面和第8畫面的RPS的索引被設(shè)定為 “I，，。
[0309]如上，設(shè)定單元151把為GOP內(nèi)的所有畫面共有的delta_idx_minusl設(shè)定為unified_delta_idx_minuslο 因而，設(shè)定單兀 151 能夠以 GOP 為單位，設(shè)定 delta_idx_minusl。
[0310]另外，在圖24和25中圖解所示的例子中，GOP內(nèi)的所有畫面的參考圖像指定信息不與按照編碼順序的相應(yīng)前一個(gè)畫面的參考圖像指定信息相同。
[0311]這種情況下，如圖24中圖解所示，設(shè)定單元151設(shè)定“I”作為disable_rps_predict1n_flag，并且作為對(duì)應(yīng)于GOP內(nèi)的各個(gè)畫面的RPS，設(shè)定該畫面的參考圖像指定信息。相反，在常規(guī)情況下，如圖25中圖解所示，作為對(duì)應(yīng)于GOP內(nèi)的各個(gè)畫面的RPS，“0”被設(shè)定為inter_ref_pic_set_predict1n_flag,并設(shè)定該畫面的參考圖像指定信息。
[0312]如上，設(shè)定單元151把作為GOP內(nèi)的所有畫面共有的inter_ref_pic_set_predict1n_flag 的 “O” 設(shè)定為 disable_rps_predict1n_flag。從而，在 disable_rps_predict1n_flag為“I”的情況下，與常規(guī)情況相比，RPS的信息量可被減少與inter_ref_pic_set_predict1n_flag 對(duì)應(yīng)的數(shù)量。
[0313](編碼設(shè)備的處理的說(shuō)明)
[0314]除了 RPS設(shè)定處理之外，由圖20中圖解所示的編碼設(shè)備150進(jìn)行的生成處理和圖10中圖解所示的生成處理相同，從而下面只說(shuō)明RPS設(shè)定處理。
[0315]圖26是詳細(xì)圖解說(shuō)明由編碼設(shè)備150的設(shè)定單元151進(jìn)行的RPS設(shè)定處理的流程圖。
[0316]在圖26中圖解所示的步驟S161中，設(shè)定單元151設(shè)定作為SPS的disable_rps_predict1n_f Iag0 在步驟 S162,設(shè)定單兀 151 判定 disable_rps_predict1n_f lag 是否為“I”。當(dāng)在步驟 S162,判定 disable_rps_predict1n_flag 不為 “I” 時(shí),在步驟 S163,設(shè)定單兀 151 設(shè)定作為 SPS 的 unified_rps_predict1n_control_present_flag0
[0317]在步驟S164,設(shè)定單兀 151 判定 unified_rps_predict1n_control_present_flag是否為 “ I ”。當(dāng)在步驟 S164,判定 unified_rps_predict1n_control_present_f lag 為 “ I ”時(shí)，在步驟S165,設(shè)定單元151設(shè)定作為SPS的unified_delta_idx_minusl,然后處理進(jìn)入步驟S166。
[0318]當(dāng)在步驟S162,判定disable_rps_predict1n_flag為“I”時(shí)，或者當(dāng)在步驟S164,判定 unified_rps_predict1n_control_present_f lag 為“O”時(shí)，處理進(jìn)入步驟 S166。
[0319]在步驟S166，設(shè)定單元151把RPS的索引i設(shè)定為“O”。在步驟S167，設(shè)定單兀 151 判定 disable_rps_predict1n_flag 是否為 “I”。當(dāng)在步驟 S167,判定 disable—rps_predict1n_flag 為 “I” 時(shí)，在步驟 S168,設(shè)定單兀 151 把 inter_ref_pic_set_predict1n_flag設(shè)定為“O”,然后處理進(jìn)入步驟S170。
[0320]另一方面，當(dāng)在步驟S167,判定 disable_rps_predict1n_flag 不為 “I” 時(shí),在步驟 S169,設(shè)定單兀 151 設(shè)定作為索引 i 的 RPS 的 inter_ref_pic_set_predict1n_f lag,處理進(jìn)入步驟S170。
[0321]在步驟S170,設(shè)定單兀 151 判定 inter_ref_pic_set_predict1n_flag 是否為“I”。當(dāng)在步驟 S170,判定 inter_ref_pic_set_predict1n_flag 為 “I” 時(shí),在步驟 S171，設(shè)定單兀 151 判定 unified_rps_predict1n_control_present_flag 是否為 “I”。
[0322]當(dāng)在步驟S171,判定 unified_rps_predict1n_control_present_flag 為 “I，，時(shí)，處理進(jìn)入步驟S174。另一方面，當(dāng)在步驟S171,判定unified_rps_predict1n_control_present_flag不為“I”時(shí),在步驟S172,設(shè)定單元151設(shè)定delta_idx_minusl,作為索引i的RPS，然后處理進(jìn)入步驟S174。
[0323]另外，當(dāng)在步驟S170,判定 inter_ref_pic_set_predict1n_flag 不為 “I” 時(shí)，在步驟S173，設(shè)定單元151設(shè)定參考圖像指定信息，作為索引i的RPS，然后處理進(jìn)入步驟S174。
[0324]在步驟S174，設(shè)定單元151把索引i加I。在步驟S175，設(shè)定單元151判定索引i是否等于或大于包括在SPS中的RPS的數(shù)目num_short_term_ref_pic_sets。
[0325]當(dāng)在步驟S175,判定索引i不等于或大于num_short_term_ref_pic_sets時(shí),處理返回步驟S167,重復(fù)步驟S167-S175的處理,直到索引i等于或大于數(shù)目num_short_term_ref_pic_sets 為止。
[0326]另一方面，當(dāng)在步驟S175,判定索引 i 為 num_short_term_ref_pic_sets 時(shí)，RPS設(shè)定處理結(jié)束。
[0327]如上，由于編碼設(shè)備150 設(shè)定 disable_rps_predict1n_flag,當(dāng) disable_rps_predict1n_flag為“I”時(shí)，與常規(guī)情況相比，與參考圖像指定信息相關(guān)的RPS的信息量可被減少對(duì)應(yīng)于inter_ref_pic_set_predict1n_flag的數(shù)量。另外,可以GOP為單位,設(shè)定inter_ref_pic_set_predict1n_flag0
[0328]此外，由于編碼設(shè)備150把為GOP內(nèi)的所有畫面共有的delta_idx_minusl設(shè)定為unified_delta_idx_minusl,因此能夠以 GOP 為單位，設(shè)定 delta_idx_minusl。
[0329](按照第二實(shí)施例的解碼設(shè)備的結(jié)構(gòu)例子)
[0330]圖27是圖解說(shuō)明按照第二實(shí)施例的本技術(shù)適用于的，解碼從圖20中圖解所示的編碼設(shè)備150傳送的編碼流的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0331]這里，向圖27中圖解所示的與圖15中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0332]圖27中圖解所示的解碼設(shè)備170的結(jié)構(gòu)和圖15中圖解所示的解碼設(shè)備110的結(jié)構(gòu)的不同之處在于設(shè)置提取單元171，而不是提取單元112。解碼設(shè)備170根據(jù)圖21中圖解所示的SPS，設(shè)定各個(gè)RPS的RPS信息。
[0333]更具體地，類似于在圖15中圖解所示的提取單元112，解碼設(shè)備170的提取單元171從供給自接收單元111的編碼流中，提取SPS、PPS、編碼數(shù)據(jù)等。類似于提取單元112，提取單元171把編碼數(shù)據(jù)提供給解碼單元113。另外，根據(jù)在圖21中圖解所示的SPS，提取單元171獲得各個(gè)RPS的RPS信息，并把獲得的RPS信息提供給解碼單元113。此外，類似于提取單元112，必要時(shí)，提取單元171還把包含在SPS中的除RPS外的信息，PPS等提供給解碼單元113。
[0334](解碼設(shè)備的處理的說(shuō)明)
[0335]除了 RPS設(shè)定處理之外，圖27中圖解所示的解碼設(shè)備170進(jìn)行的接收處理和圖17中圖解所示的接收處理相同，從而，下面只說(shuō)明RPS設(shè)定處理。
[0336]圖28是詳細(xì)圖解說(shuō)明由圖27中圖解所示的解碼設(shè)備170進(jìn)行的RPS設(shè)定處理的流程圖。
[0337]在圖28中圖解所示的步驟S191，提取單元171獲得包含在SPS (圖21)中的num—short—term—ref—pic—sets。在步驟 S192，提取單兀 171 獲得包含在 SPS 中的 disable—rps—predict1n—flag。在步驟 S193，提取單兀 171 判定獲得的 disable—rps—predict1n—flag是否為“I”。
[0338]當(dāng)在步驟S193 中，判定 disable—rps—predict1n—flag 不為“I”時(shí)，在步驟 S194，提取單兀 171 獲得包含在 SPS 中的 unified—rps—predict1n—control—present—flag。在步驟 S195，提取單兀 171 判定獲得的 unified—rps—predict1n—control—present—flag 是否為“I”。
[0339]當(dāng)在步驟S195，判定 unified—rps—predict1n—control—present—flag 為 “I，，時(shí)，提取單元171獲得包含在SPS中的unified—delta—idx—minusl，然后處理進(jìn)入步驟S197。
[0340]另一方面，當(dāng)在步驟S195，判定unified—delta—idx—minusl不為“I”時(shí)，處理進(jìn)入步驟S197。另外，當(dāng)在步驟S193，判定disable—rps—predict1n—flag為I時(shí)，處理進(jìn)入步驟 S197。
[0341]在步驟S197，提取單元171把與生成的RPS信息對(duì)應(yīng)的RPS的索引i設(shè)定為“O”。在步驟S198，提取單元171判定在步驟S192獲得的disable—rps—predict1n—flag是否為“I”。
[0342]當(dāng)在步驟S198，判定 disable—rps—predict1n—flag 為“I”時(shí)，在步驟 S199，提取單元171把包含在索引i的RPS的RPS信息中的inter—ref—pic—set—predict1n—flag設(shè)定為“0”，然后處理進(jìn)入步驟S201。
[0343]另一方面，當(dāng)在步驟S198 中，判定 disable—rps—predict1n—flag 不為“I”時(shí)，在步驟S200，提取單元171獲得包括在包含于SPS中的索引i的RPS中的inter—ref—pic—set—predict1n—flag。隨后，提取單兀 171 把獲得的 inter—ref—pic—set—predict1n—flag 設(shè)定為包含在索引 i 的 RPS 的 RPS 信息中的 inter—ref—pic—set—predict1n—flag，然后處理進(jìn)入步驟S201。
[0344]在步驟S201，提取單兀 171 判定 inter—ref—pic—set—predict1n—flag 是否為“ I ”。當(dāng)在步驟 S201，判定 inter—ref—pic—set—predict1n—flag 為 “ I ” 時(shí)，在步驟 S202，提取單兀 171 判定在步驟 S194 獲得的 unified—rps—predict1n—control—present—flag 是否為“I”。
[0345]當(dāng)在步驟S202，判定 unified—rps—predict1n—control—present—flag 為 “I，，時(shí)，處理進(jìn)入步驟S203。在步驟S203，提取單元171把在步驟S196獲得的unified—delta—idx—minusl，設(shè)定為包含在索引i的RPS的RPS信息中的unified—delta—idx—minusl，然后處理進(jìn)入步驟S206。
[0346]另一方面，當(dāng)在步驟S202，判定 unified—rps—predict1n—control—present—flag不為“I”時(shí)，在步驟S204，提取單元171獲得包括在包含于SPS中的索引i的RPS中的delta—idx—minusl。隨后，提取單元171把獲得的delta—idx—minusl設(shè)定為包含在索引i的RPS的RPS信息中的delta—idx—minusl，然后處理進(jìn)入步驟S206。
[0347]另一方面，當(dāng)在步驟S201，判定 inter—ref—pic—set—predict1n—flag 不為 “I”時(shí)，在步驟S205，提取單元171獲得包括在包含于SPS中的索引i的RPS中的參考圖像指定信息。隨后，提取單元171把獲得的參考圖像指定信息設(shè)定成包含在索引i的RPS的RPS信息中的參考圖像指定信息，然后處理進(jìn)入步驟S206。
[0348]步驟S206-S208的處理和圖18中圖解所示的步驟S128-S130的處理相似，從而省略其說(shuō)明。
[0349]如上，解碼設(shè)備170 接收 disable_rps_predict1n_flag,并根據(jù) disable—rps_predict1n_flag,生成當(dāng)前解碼圖像的參考圖像指定信息。結(jié)果,在disable_rps_predict1n_flag為“I”的情況下，解碼設(shè)備170能夠解碼其中RPS的信息量被減少與inter_ref_pic_set_predict1n_flag 對(duì)應(yīng)的數(shù)量的編碼流。
[0350]另外，解碼設(shè)備170接收為GOP內(nèi)的所有畫面共有的delta_idx_minusl，作為unified_delta_idx_minusl,并根據(jù) unified_delta_idx_minusl,生成當(dāng)前解碼圖像的參考圖像指定信息。結(jié)果，解碼設(shè)備170能夠解碼其中以GOP為單位來(lái)設(shè)定delta_idx_minusl的編碼流。
[0351]〈第三實(shí)施例〉
[0352](按照第三實(shí)施例的編碼設(shè)備的結(jié)構(gòu)例子)
[0353]圖29是圖解說(shuō)明按照第三實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0354]這里，向圖29中圖解所示的與圖3中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0355]圖29中圖解所示的編碼設(shè)備190的結(jié)構(gòu)和圖3中圖解所示的編碼設(shè)備10的結(jié)構(gòu)的不同之處在于設(shè)置設(shè)定單元191，而不是設(shè)定單元12。編碼設(shè)備190是通過(guò)結(jié)合圖3中圖解所示的編碼設(shè)備10和圖20中圖解所示的編碼設(shè)備150獲得的。
[0356]更具體地，編碼設(shè)備190的設(shè)定單元191設(shè)定包括不包含inter_ref_pic_set_predict1n_flag,但是包含參考圖像指定信息的PRS,和必要時(shí)，包括inter_ref_pic_set_predict1n_flag、delta_idx_minusl、參考圖像指定信息等的RPS的RPS。另外，設(shè)定單元191向各個(gè)RPS賦予索引。這里，作為不包括inter_ref_pic_set_predict1n_flag,但是包括參考圖像指定信息的RPS的索引，賦予“O”。
[0357]設(shè)定單元191把被賦予索引的RPS提供給編碼單元11。另外，設(shè)定單元191設(shè)定包括 RPS 和 disable_rps_p;redict1n_flag,必要時(shí)，包括 unified_rps_predict1n_control_present_flag 和 unified_delta_idx_minusl 的 SPS。設(shè)定單兀 191 設(shè)定 PPS 等。
[0358]另外，類似于圖3中圖解所示的設(shè)定單元12，設(shè)定單元191根據(jù)設(shè)定的SPS和PPS，以及從編碼單元11供給的編碼數(shù)據(jù)，生成編碼流。類似于設(shè)定單元12，設(shè)定單元191把編碼流提供給傳輸單元13。
[0359](SPS的語(yǔ)法的例子)
[0360]圖30是圖解說(shuō)明由圖29中圖解所示的設(shè)定單元191設(shè)定的SPS的語(yǔ)法的例子的示圖。
[0361]圖30中圖解所示的結(jié)構(gòu)和圖21中圖解所示的結(jié)構(gòu)相同，從而省略其說(shuō)明。
[0362](RPS的語(yǔ)法的例子)
[0363]圖31是圖解說(shuō)明RPS的語(yǔ)法的例子的示圖。
[0364]盡管未在圖中圖示，不過(guò)，圖31中圖解所示的第11行和后續(xù)各行的說(shuō)明與在圖1中圖解所示的第5行和后續(xù)各行的說(shuō)明相同。
[0365]如在圖31中圖解所示的第2行和第3行中圖解所示，當(dāng)索引(idx)為“O”時(shí)，或者當(dāng) disable_rps_predict1n_flag 為 “ I ” 時(shí)，在 RPS 中，不包含 inter_ref_pic_set_predict1n_flag,但是包含當(dāng) inter_ref_pic_set_predict1n_flag 為“O”時(shí)包含的參考圖像指定信息。
[0366]第4行-第10行的說(shuō)明與圖22中圖解所示的第4行-第10行的說(shuō)明相同，從而省略其說(shuō)明。
[0367](本技術(shù)的優(yōu)點(diǎn)的說(shuō)明)
[0368]圖32是圖解說(shuō)明由圖29中圖解所示的設(shè)定單元191設(shè)定的RPS的信息量的示圖。
[0369]在圖32中圖解所示的例子中，GOP內(nèi)從開(kāi)始起的第2畫面和第8畫面的參考圖像指定信息與按照編碼順序的前一個(gè)畫面的參考圖像指定信息相同。
[0370]這種情況下，如圖32中圖解所示，設(shè)定單元191設(shè)定“0”，作為disable_rps_predict1n_flag,并設(shè)定 “1，，，作為 unified_rps_predict1n_control_present_flag。另夕卜，設(shè)定單兀 191 設(shè)定 “O”,作為 unified_delta_idx_minusl。
[0371]此外，例如，設(shè)定單元191把GOP的第I畫面的參考圖像指定信息設(shè)定為其索引為“O”的 RPS。另外，設(shè)定單元 191 把作為 inter_ref_pic_set_predict1n_flag 的“I”設(shè)定為其索引為“I”的RPS0從而，GOP的第I畫面的RPS的索引被設(shè)定為“0”，第2畫面和第8畫面的RPS的索引被設(shè)定為“I”。
[0372]如上，設(shè)定單元191 不把 inter_ref_pic_set_predict1n_flag 設(shè)定為用作第 I畫面的RPS的其索引為“O”的RPS。因而，與圖8中圖解所示的常規(guī)情況相比，RPS的信息量可被減少與第I畫面的inter_ref_pic_set_predict1n_flag對(duì)應(yīng)的數(shù)量。
[0373]另外，設(shè)定單元191把為GOP內(nèi)的所有畫面共有的delta_idx_minusl設(shè)定為unified_delta_idx_minusl ο 從而，能夠以 GOP 為單位，設(shè)定 delta_idx_minusl。
[0374]盡管未在圖中圖示，不過(guò)，設(shè)定單元191把作為GOP內(nèi)的所有畫面共有的inter_ref_pic_set_predict1n_flag 的 “O” 設(shè)定為 disable_rps_predict1n_flag。因而，當(dāng)disable_rps_predict1n_flag為“I”時(shí),與常規(guī)情況相比，RPS的信息量也可被減少與除第I畫面外的畫面的inter_ref_pic_set_predict1n_flag對(duì)應(yīng)的數(shù)量。
[0375](編碼設(shè)備的處理的說(shuō)明)
[0376]除了 RPS設(shè)定處理之外，由圖29中圖解所示的編碼設(shè)備190進(jìn)行的生成處理和圖10中圖解所示的生成處理相同，從而下面只說(shuō)明RPS設(shè)定處理。
[0377]圖33是圖解說(shuō)明由編碼設(shè)備190的設(shè)定單元191進(jìn)行的RPS設(shè)定處理的流程圖。
[0378]圖33中圖解所示的步驟S221-S226的處理和圖26中圖解所示的步驟S161-S166的處理相似，從而省略其說(shuō)明。
[0379]在步驟S227,設(shè)定單元 191 判定 disable_rps_predict1n_f lag 是否為“ I ”,或者索引i是否為“O”。當(dāng)在步驟S227,判定disable_rps_predict1n_flag為“I”或索引i為“O”時(shí),處理進(jìn)入步驟S228。另一方面，當(dāng)在步驟S227,判定disable_rps_predict1n_flag不為“1”，并且索引i不為“O”時(shí)，處理進(jìn)入步驟S229。
[0380]步驟S228-S235的處理和圖26中圖解所示的步驟S168-S175的處理相似，從而省略其說(shuō)明。
[0381](按照第三實(shí)施例的解碼設(shè)備的結(jié)構(gòu)例子)
[0382]圖34是圖解說(shuō)明按照第三實(shí)施例的本技術(shù)適用于的，解碼從圖29中圖解所示的編碼設(shè)備190傳送的編碼流的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0383]這里，向圖34中圖解所示的與圖15中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0384]圖34中圖解所示的解碼設(shè)備210的結(jié)構(gòu)和圖15中圖解所示的解碼設(shè)備110的結(jié)構(gòu)的不同之處在于設(shè)置提取單元211，而不是提取單元112。解碼設(shè)備210根據(jù)圖30中圖解所示的包括圖31中圖示的RPS的SPS，設(shè)定各個(gè)RPS的RPS信息。
[0385]更具體地，類似于圖15中圖解所示的提取單元112，解碼設(shè)備210的提取單元211從供給自接收單元111的編碼流中，提取SPS、PPS、編碼數(shù)據(jù)等。類似于提取單元112，提取單元211把編碼數(shù)據(jù)提供給解碼單元113。另外，提取單元211根據(jù)圖30中圖解所示的包括圖31中圖示的RPS的SPS，獲得各個(gè)RPS的RPS信息，并把獲得的RPS信息提供給解碼單元113。此外，類似于提取單元112，必要時(shí)，提取單元211還把包含在SPS中的除RPS外的信息、PPS等提供給解碼單元113。
[0386](解碼設(shè)備的處理的說(shuō)明)
[0387]除了 RPS設(shè)定處理之外，由圖34中圖解所示的解碼設(shè)備210進(jìn)行的接收處理和圖17中圖解所示的接收處理相同，從而，下面只說(shuō)明RPS設(shè)定處理。
[0388]圖35是詳細(xì)圖解說(shuō)明由圖34中圖解所示的解碼設(shè)備210進(jìn)行的RPS設(shè)定處理的流程圖。
[0389]圖35中圖解所示的步驟S251-S257的處理和圖28中圖解所示的步驟S191-S197的處理相似，從而省略其說(shuō)明。
[0390]在步驟S258,提取單元211判定在步驟S252中獲得的disable_rps_predict1n_flag是否為“ I ”，或者索引i是否為“O”。
[0391]當(dāng)在步驟S258,判定 disable_rps_predict1n_flag 為“ I”,或者索引 i 為“O”時(shí)，處理進(jìn)入步驟S259。另一方面，當(dāng)在步驟S258中，判定disable_rps_predict1n_flag不為“1”，并且索引i不為“O”時(shí)，處理進(jìn)入步驟S260。
[0392]步驟S259-S268的處理和圖28中圖解所示的步驟S199-S208的處理相似，從而省略其說(shuō)明。
[0393]〈第四實(shí)施例〉
[0394](按照第四實(shí)施例的編碼設(shè)備的結(jié)構(gòu)例子)
[0395]圖36是圖解說(shuō)明按照第四實(shí)施例的本技術(shù)適用于的編碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0396]這里，向圖36中圖解所示的與圖3中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0397]圖36中圖解所示的編碼設(shè)備230的結(jié)構(gòu)和圖3中圖解所示的編碼設(shè)備10的結(jié)構(gòu)的不同之處在于設(shè)置編碼單元231，而不是編碼單元11，設(shè)置設(shè)定單元232，而不是設(shè)定單元12。按照畫面內(nèi)的切片的種類，編碼設(shè)備230不設(shè)定對(duì)切片的種類來(lái)說(shuō)不必要的與參考圖像相關(guān)的信息。
[0398]更具體地，以幀為單位構(gòu)成的圖像作為輸入信號(hào)，被輸入編碼設(shè)備230的編碼單元231。編碼單元231通過(guò)參考從設(shè)定單元232供給的RPS、PPS等，按照HEVC方式，對(duì)輸入信號(hào)編碼。此時(shí)，在必要時(shí)，編碼單元231對(duì)幀間預(yù)測(cè)中的參考圖像進(jìn)行加權(quán)預(yù)測(cè)(加權(quán)預(yù)測(cè))。
[0399]這里，加權(quán)預(yù)測(cè)是通過(guò)對(duì)參考圖像加權(quán)，生成預(yù)測(cè)圖像的處理。更具體地，例如，在按照編碼順序在當(dāng)前編碼幀X之前的兩幀Y1和Ytl的解碼圖像被用作參考圖像的情況下，在加權(quán)預(yù)測(cè)中，利用下式(3)，獲得幀X的預(yù)測(cè)圖像X’。
[0400]X，= W0 X Yq+W0 X Y^d...(3)
[0401]這里，在式(3)中，是加權(quán)系數(shù)，d是偏移值。這些加權(quán)系數(shù)和偏移值是包含在編碼流中地傳送的。
[0402]通過(guò)進(jìn)行加權(quán)預(yù)測(cè)，即使歸因于淡入、淡出、交叉衰落等，在參考圖像和當(dāng)前編碼圖像之間，出現(xiàn)亮度的變化的情況下，也能夠減小預(yù)測(cè)圖像和當(dāng)前編碼圖像之間的差分。結(jié)果，能夠改善編碼效率。
[0403]相反，在不進(jìn)行加權(quán)預(yù)測(cè)的情況下，歸因于淡入、淡出、交叉衰落等，在參考圖像和當(dāng)前編碼圖像之間出現(xiàn)的亮度的變化直接變成預(yù)測(cè)圖像和當(dāng)前編碼圖像之間的差分，從而降低編碼效率。
[0404]編碼單元231把通過(guò)編碼處理獲得的編碼數(shù)據(jù)提供給設(shè)定單元232。
[0405]類似于圖3中圖解所示的設(shè)定單元12,設(shè)定單元232設(shè)定不包括inter_ref_pic_set_predict1n_flag,但是包括參考圖像指定信息的RPS,和包括inter_ref_pic_set_predict1n_flag及參考圖像指定信息或者delta_idx_minusl的RPS。類似于設(shè)定單元12，設(shè)定單元232向各個(gè)RPS賦予索引。
[0406]設(shè)定單元232設(shè)定包括RPS的SPS、PPS等。設(shè)定單元232把被賦予索引的RPS，以及PPS提供給編碼單元231。設(shè)定單元232根據(jù)設(shè)定的SPS和PPS，以及從編碼單元231供給的編碼數(shù)據(jù)，生成編碼流。設(shè)定單元232把編碼流提供給傳輸單元13。
[0407](編碼設(shè)備的結(jié)構(gòu)例子)
[0408]圖37是圖解所示在圖36中圖解所示的編碼單元231的結(jié)構(gòu)例子的方框圖。
[0409]這里，向圖37中圖解所示的與圖4中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0410]圖37中圖解所示的編碼單元231的結(jié)構(gòu)和圖4中圖解所示的編碼單元11的結(jié)構(gòu)的不同之處在于設(shè)置運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251，而不是運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，設(shè)置無(wú)損編碼單元252，而不是無(wú)損編碼單元36。
[0411]根據(jù)從圖36中圖解所示的設(shè)定單元232供給的PPS，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251利用作為候選者的所有幀間預(yù)測(cè)模式的加權(quán)預(yù)測(cè)，進(jìn)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。更具體地，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)從屏幕重排緩沖器32供給的圖像，和通過(guò)開(kāi)關(guān)45從幀存儲(chǔ)器44讀取的參考圖像，檢測(cè)作為候選者的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)向量。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)檢測(cè)的運(yùn)動(dòng)向量，對(duì)參考圖像進(jìn)行補(bǔ)償處理。
[0412]隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251計(jì)算由加權(quán)預(yù)測(cè)中的加權(quán)系數(shù)和偏移值構(gòu)成的加權(quán)信息。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251起生成單元的作用，并根據(jù)計(jì)算的加權(quán)信息，對(duì)補(bǔ)償處理之后的參考圖像進(jìn)行加權(quán)預(yù)測(cè)，從而生成預(yù)測(cè)圖像。
[0413]此時(shí)，類似于圖4中圖解所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)從屏幕重排緩沖器32供給的圖像，和預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀間預(yù)測(cè)模式的成本函數(shù)值。隨后，類似于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把其成本函數(shù)值最小的幀間預(yù)測(cè)模式，確定為最佳幀間預(yù)測(cè)模式。
[0414]隨后，類似于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元47，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把最佳幀間預(yù)測(cè)的成本函數(shù)值和對(duì)應(yīng)的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元48。另外，在從預(yù)測(cè)圖像選擇單元48向運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251告知按照最佳幀間預(yù)測(cè)模式生成的預(yù)測(cè)圖像的選擇的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把幀間預(yù)測(cè)模式信息，對(duì)應(yīng)的運(yùn)動(dòng)向量，加權(quán)信息等，輸出給無(wú)損編碼單元252。另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把參考圖像指定信息輸出給參考圖像設(shè)定單元49。
[0415]無(wú)損編碼單元252根據(jù)從圖36中圖解所示的設(shè)定單元232供給的PPS，生成表示當(dāng)前編碼圖像的切片的種類的切片種類。另外，類似于圖4中圖解所示的無(wú)損編碼單元36，無(wú)損編碼單元252從幀內(nèi)預(yù)測(cè)單元46，獲得幀內(nèi)預(yù)測(cè)模式信息。此外，無(wú)損編碼單元252從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251，獲得幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)向量、加權(quán)信息等。另外，類似于無(wú)損編碼單元36，無(wú)損編碼單元252從參考圖像設(shè)定單元49，獲得RPS的索引或者RPS等，并從速率控制單元50獲得量化參數(shù)。
[0416]另外，類似于無(wú)損編碼單元36，無(wú)損編碼單元252從自適應(yīng)偏移濾波器42，獲得存儲(chǔ)標(biāo)記、索引或偏移量和種類信息，作為偏移濾波信息，并從自適應(yīng)環(huán)路濾波器43獲得濾波系數(shù)。
[0417]類似于無(wú)損編碼單元36，無(wú)損編碼單元252進(jìn)行從量化單元35供給的量化系數(shù)的無(wú)損編碼。另外，無(wú)損編碼單元252進(jìn)行量化參數(shù)、偏移濾波信息和濾波系數(shù)，比如切片種類、巾貞內(nèi)預(yù)測(cè)模式信息或幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)向量、加權(quán)信息、和RPS的索引或RPS的無(wú)損編碼，作為編碼信息。
[0418]無(wú)損編碼單元252把按照無(wú)損方式編碼的編碼信息，作為切片頭部加入按照無(wú)損方式編碼的系數(shù)中，從而生成編碼數(shù)據(jù)。無(wú)損編碼單元252把編碼數(shù)據(jù)提供給累積緩沖器37，以便保存在其中。
[0419](PPS的語(yǔ)法的例子)
[0420]圖38和39是圖解說(shuō)明由圖36中圖解所示的設(shè)定單元232設(shè)定的PPS的語(yǔ)法的例子的示圖。圖40和41是圖解說(shuō)明常規(guī)HEVC方式中的PPS的語(yǔ)法的例子的示圖。
[0421]如在圖38中的第6行中圖解所示，在由設(shè)定單元232設(shè)定的PPS中，包含表示對(duì)應(yīng)畫面內(nèi)的所有切片的種類是否相同的統(tǒng)一標(biāo)記unified_slice_type_flag。另外,如在第7行和第8行中圖解所示，在統(tǒng)一標(biāo)記為“ I ”的情況下，在PPS中，包含表示對(duì)應(yīng)畫面內(nèi)的所有切片的種類是否是I切片的I標(biāo)記(all_intra_slice_flag)。
[0422]另外，如在第9行和第10行中圖解所示，在I標(biāo)記不為“I”的情況下，換句話說(shuō)，在畫面內(nèi)包含P切片或B切片的情況下，在PPS中，包含表示在對(duì)應(yīng)畫面內(nèi)，是否存在B切片的 B-not-present 標(biāo)記 no_b_slice_flag。
[0423]如在第11行和第12行中所示，在I標(biāo)記不為“I”的情況下，在PPS中，包含RPSLO數(shù) num_ref_idx_10_default_active_minusl,作為與參考圖像相關(guān)的信息，RPSLO 數(shù) num_ref_idx_10_default_active_minusl是利用其顯示時(shí)間比對(duì)應(yīng)畫面的顯示時(shí)間早的參考圖像的前向預(yù)測(cè)(L0預(yù)測(cè))中的RPS的最大數(shù)。
[0424]如在第13行和第14中圖解所示，在B-not-present標(biāo)記為“O”的情況下，換句話說(shuō)，在畫面內(nèi)包含B切片的情況下,在PPS中，包括RPSLl數(shù)(num_ref_idx_ll_default_active_minusl),作為與參考圖像相關(guān)的信息，RPSLl 數(shù)(num_ref_idx_ll_default_active_minusI)是利用其顯示時(shí)間比對(duì)應(yīng)畫面的顯示時(shí)間晚的參考圖像的后向預(yù)測(cè)(LI預(yù)測(cè))中的RPS的最大數(shù)。
[0425]如在第25行和第26行中圖解所示，在I標(biāo)記不為“I”的情況下，在PPS中，包含P預(yù)測(cè)標(biāo)記weighted_pred_flag,作為與參考圖像相關(guān)的信息,P預(yù)測(cè)標(biāo)記weighted_pred_flag表示對(duì)于P切片，是否進(jìn)行加權(quán)預(yù)測(cè)。另外，在B-not-present標(biāo)記不為“I”的情況下,在PPS中，包含B預(yù)測(cè)標(biāo)記weighted_bipred_f lag,作為與參考圖像相關(guān)的信息,B預(yù)測(cè)標(biāo)記weighted_bipred_flag表示對(duì)于B切片，是否進(jìn)行加權(quán)預(yù)測(cè)。
[0426]如上，在圖38和39中圖解所示的PPS中，在對(duì)應(yīng)畫面只由I切片構(gòu)成的情況下，不設(shè)定RPSLO數(shù)、RPSLl數(shù)、P預(yù)測(cè)標(biāo)記和B預(yù)測(cè)標(biāo)記。另外，在對(duì)應(yīng)畫面包括除I切片外的切片的情況下，不設(shè)定RPSLl數(shù)和B預(yù)測(cè)標(biāo)記。因而，與不管畫面內(nèi)的切片的種類而對(duì)于所有畫面都設(shè)定RPSLO數(shù)、RPSLl數(shù)、P預(yù)測(cè)標(biāo)記和B預(yù)測(cè)標(biāo)記的情況相比，能夠改善編碼效率。
[0427]另外，在解碼設(shè)備中，在畫面只由I切片構(gòu)成的情況下，RPSLO數(shù)和RPSLl數(shù)被識(shí)別成“0”，并且，在畫面包括除I切片外的切片的情況下，RPSLl數(shù)被識(shí)別成“O”。
[0428]相反，在圖40和41中圖解所示的常規(guī)HEVC方式的PPS中，如在圖40的第6行、第7行、第17行和第18行中圖解所示，不管畫面內(nèi)的切片的種類，設(shè)定RPSLO數(shù)、RPSLl數(shù)、P預(yù)測(cè)標(biāo)記和B預(yù)測(cè)標(biāo)記。
[0429]另外，在畫面只由B切片構(gòu)成的情況下，P預(yù)測(cè)標(biāo)記可以不被設(shè)定。
[0430](切片頭部的語(yǔ)法的例子)
[0431]圖42-44是圖解說(shuō)明由圖37中圖解所示的無(wú)損編碼單元252增加的切片頭部的語(yǔ)法的例子的示圖。另外，圖45-47是圖解說(shuō)明常規(guī)的HEVC方式中的切片頭部的語(yǔ)法的例子的不圖。
[0432]如在圖42的第2行中圖解所示，在無(wú)損編碼單元252增加的切片頭部中，包含表示對(duì)應(yīng)切片是否是畫面內(nèi)的第一切片的第一標(biāo)記first_slice_in_pic_flag。另外,如在第11行和第12行中圖解所示，當(dāng)統(tǒng)一標(biāo)記為“0”，或者當(dāng)統(tǒng)一標(biāo)記為“1”，并且第一標(biāo)記為“O”時(shí)，在切片頭部中，包含對(duì)應(yīng)切片的切片種類sliCe_type。
[0433]換句話說(shuō)，在圖42-44中圖解所示的切片頭部中，當(dāng)畫面內(nèi)的切片的種類不相同時(shí)，或者當(dāng)畫面內(nèi)的切片的種類相同并且對(duì)應(yīng)切片是畫面內(nèi)的第一切片時(shí)，設(shè)定切片種類。
[0434]然而，在圖42-44中圖解所示的切片頭部中，當(dāng)畫面內(nèi)的切片的種類相同，但是對(duì)應(yīng)切片是畫面內(nèi)的除第一切片外的切片時(shí)，不設(shè)定切片種類。在這種情況下，包含在切片頭部中的切片種類被視為除第一切片外的切片的切片種類。
[0435]因而，與不管畫面內(nèi)的所有切片的切片種類是否相同，都設(shè)定所有切片的切片種類的情況相比，能夠改善編碼效率。
[0436]相反，在圖45-47中圖解所示的常規(guī)HEVC方式的切片頭部中，如在圖45中的第11行中圖解所示，不管畫面內(nèi)的所有切片的切片種類是否相同，都設(shè)定所有切片的切片種類。
[0437](編碼設(shè)備的處理的說(shuō)明)
[0438]圖48是圖解說(shuō)明由圖36中圖解所示的編碼設(shè)備230進(jìn)行的生成處理的流程圖。
[0439]在圖48中圖解所示的步驟S281，編碼設(shè)備230的設(shè)定單元232進(jìn)行圖11中圖解所示的RPS設(shè)定處理。在步驟S282，編碼單元231按照HEVC方式，進(jìn)行對(duì)作為輸入信號(hào)從外部輸入的以幀為單位構(gòu)成的圖像編碼的編碼處理。該編碼處理將在后面參考后面說(shuō)明的圖49和50詳細(xì)說(shuō)明。
[0440]在步驟S283，設(shè)定單元232設(shè)定包括將被賦予索引的RPS的SPS。在步驟S284，設(shè)定單元232進(jìn)行設(shè)定PPS的PPS設(shè)定處理。該P(yáng)PS設(shè)定處理將在后面參考后面說(shuō)明的圖51詳細(xì)說(shuō)明。
[0441]步驟S285和S286的處理和圖10中圖解所示的步驟S15和S16的處理相似，從而省略其說(shuō)明。
[0442]圖49和50表示詳細(xì)圖解說(shuō)明圖48中圖解所示的步驟S282的編碼處理的流程圖。
[0443]圖49中圖解所示的步驟S301和S302的處理和圖12中圖解所示的步驟S31和S32的處理相似，從而省略其說(shuō)明。
[0444]在步驟S303，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)包含在從圖36中圖解所示的設(shè)定單元232供給的PPS中的P預(yù)測(cè)標(biāo)記或B預(yù)測(cè)標(biāo)記，判定是否進(jìn)行加權(quán)預(yù)測(cè)。
[0445]更具體地，在當(dāng)前編碼圖像是P切片的情況下，當(dāng)P預(yù)測(cè)標(biāo)記為“I”時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251判定進(jìn)行加權(quán)預(yù)測(cè)。另外，在當(dāng)前編碼圖像是B切片的情況下，當(dāng)B預(yù)測(cè)標(biāo)記為“I”時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251判定進(jìn)行加權(quán)預(yù)測(cè)。此外，在當(dāng)前編碼圖像是I切片的情況下，步驟S303的處理被跳過(guò)，處理隨后進(jìn)入步驟S304。
[0446]當(dāng)在步驟S303，判定要進(jìn)行加權(quán)預(yù)測(cè)時(shí)，在步驟S304，幀內(nèi)預(yù)測(cè)單元46進(jìn)行作為候選者的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。另外，幀內(nèi)預(yù)測(cè)單元46根據(jù)從屏幕重排緩沖器32讀取的圖像，和通過(guò)幀內(nèi)預(yù)測(cè)處理生成的預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀內(nèi)預(yù)測(cè)模式的成本函數(shù)值。隨后，幀內(nèi)預(yù)測(cè)單元46把其成本函數(shù)值最小的幀內(nèi)預(yù)測(cè)模式確定為最佳幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元46把按照最佳幀內(nèi)預(yù)測(cè)模式生成的預(yù)測(cè)圖像，和對(duì)應(yīng)的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元48。
[0447]另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251利用作為候選者的所有幀間預(yù)測(cè)模式的加權(quán)預(yù)測(cè)，進(jìn)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)從屏幕重排緩沖器32供給的圖像，和預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀間預(yù)測(cè)模式的成本函數(shù)值，并把其成本函數(shù)值最小的幀間預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把最佳幀間預(yù)測(cè)模式的成本函數(shù)值，和對(duì)應(yīng)的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元48。
[0448]然而，在當(dāng)前編碼圖像為I切片的情況下，不進(jìn)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。在步驟S304的處理之后，處理進(jìn)入步驟S306。
[0449]另一方面，當(dāng)在步驟S303，判定不進(jìn)行加權(quán)預(yù)測(cè)的情況下，在步驟S305，幀內(nèi)預(yù)測(cè)單元46進(jìn)行和步驟S304相同的處理。
[0450]另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251進(jìn)行作為候選者的所有幀間預(yù)測(cè)模式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。此外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251根據(jù)從屏幕重排緩沖器32供給的圖像，和預(yù)測(cè)圖像，計(jì)算作為候選者的所有幀間預(yù)測(cè)模式的成本函數(shù)值，并把其成本函數(shù)值最小的幀間預(yù)測(cè)模式確定為最佳幀間預(yù)測(cè)模式。隨后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把最佳幀間預(yù)測(cè)模式的成本函數(shù)值和對(duì)應(yīng)的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元48。隨后，處理進(jìn)入步驟S306。
[0451]步驟S306-S308的處理和圖12中圖解所示的步驟S34-S36的處理相似，從而省略其說(shuō)明。
[0452]在步驟S308的處理之后，在步驟S309，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251判定在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理中，是否進(jìn)行了加權(quán)預(yù)測(cè)。當(dāng)在步驟S309中，判定在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理中，進(jìn)行了加權(quán)預(yù)測(cè)時(shí)，在步驟S310，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251把加權(quán)預(yù)測(cè)的加權(quán)信息提供給無(wú)損編碼單元252。隨后，處理進(jìn)入步驟S311。
[0453]步驟S311-S322的處理與圖12和13中圖解所示的步驟S37-S48的處理相似，從而省略其說(shuō)明。
[0454]在圖50中圖解所示的步驟S323中，無(wú)損編碼單元252判定包含在從圖36中圖解所示的設(shè)定單元232供給的PPS中的統(tǒng)一標(biāo)記是否為“0”，或者所述統(tǒng)一標(biāo)記和第一標(biāo)記是否為“I”。
[0455]當(dāng)在步驟S323，判定統(tǒng)一標(biāo)記為“0”，或者所述統(tǒng)一標(biāo)記和第一標(biāo)記為“I”時(shí)，在步驟S324，無(wú)損編碼單元252生成當(dāng)前編碼圖像的切片種類。隨后，處理進(jìn)入步驟S325。
[0456]另一方面，當(dāng)在步驟S323，判定統(tǒng)一標(biāo)記不為“0”，并且統(tǒng)一標(biāo)記和第一標(biāo)記不為“ I”時(shí)，處理進(jìn)入步驟S325。
[0457]在步驟S325，無(wú)損編碼單元252進(jìn)行從速率控制單元50供給的量化參數(shù)、偏移濾波信息和濾波系數(shù)，比如切片種類、幀內(nèi)預(yù)測(cè)模式信息或幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)向量、力口權(quán)信息、和RPS的索引或者RPS的無(wú)損編碼，作為編碼信息。
[0458]步驟S326-S329的處理和圖13中圖解所示的步驟S50-S53的處理相似，從而省略其說(shuō)明。
[0459]圖51是詳細(xì)圖解說(shuō)明在圖48中圖解所示的步驟S284的PPS設(shè)定處理的流程圖。該P(yáng)PS設(shè)定處理是以畫面為單位進(jìn)行的。
[0460]在圖51中圖解所示的步驟S331，設(shè)定單元232判定畫面內(nèi)的所有切片的種類是否相同。當(dāng)在步驟S331，判定畫面內(nèi)的所有切片的種類相同時(shí)，在步驟S332，設(shè)定單元232把統(tǒng)一標(biāo)記設(shè)定為“ I ”，并把設(shè)定的統(tǒng)一標(biāo)記包含在PPS中。
[0461]在步驟S333，設(shè)定單元232判定畫面內(nèi)的所有切片的種類是否都是I切片。當(dāng)在步驟S333，判定畫面內(nèi)的所有切片的種類都是I切片時(shí)，在步驟S334，設(shè)定單元232把I標(biāo)記設(shè)定為“1”，然后把設(shè)定的I標(biāo)記包含在PPS中，處理進(jìn)入步驟S337。
[0462]另一方面，當(dāng)在步驟S333，判定畫面內(nèi)的所有切片的種類不是I切片時(shí)，在步驟S335，設(shè)定單元232把I標(biāo)記設(shè)定為“O”，然后把設(shè)定的I標(biāo)記包含在PPS中，處理進(jìn)入步驟S337。
[0463]另一方面，當(dāng)在步驟S331，判定畫面內(nèi)的所有切片的種類不相同時(shí)，在步驟S336，設(shè)定單元232把I標(biāo)記設(shè)定為“O”，然后把設(shè)定的I標(biāo)記包含在PPS中，處理進(jìn)入步驟S337。
[0464]在步驟S337，設(shè)定單元232判定I標(biāo)記是否為“I”。當(dāng)在步驟S337，判定I標(biāo)記不為“ I”時(shí)，在步驟S338，設(shè)定單元232設(shè)定包含在PPS中的RPSLO數(shù)和P預(yù)測(cè)標(biāo)記，并把設(shè)定的RPSLO數(shù)和P預(yù)測(cè)標(biāo)記包含在PPS中。
[0465]在步驟S339，設(shè)定單元232判定在畫面內(nèi)，是否包含B切片。當(dāng)在步驟S339，判定在畫面內(nèi)包含B切片時(shí)，在步驟S340，設(shè)定單元232把包含在PPS中的B-not-present標(biāo)記設(shè)定為“0”，并把設(shè)定的標(biāo)記包含在PPS中。在步驟S341，設(shè)定單元232設(shè)定包含在PPS中的RPSLl數(shù)和B預(yù)測(cè)標(biāo)記，并把設(shè)定的RPSLl數(shù)和B預(yù)測(cè)標(biāo)記包含在PPS中。隨后，處理返回圖48中圖解所示的步驟S284，然后進(jìn)入到步驟S285。
[0466]另一方面，當(dāng)在步驟S339，判定在畫面內(nèi)不包含B切片時(shí)，在步驟S342，設(shè)定單元232把B-not-present標(biāo)記設(shè)定為“1”，并把設(shè)定的標(biāo)記包含在PPS中。隨后，處理返回圖48中圖解所示的步驟S284，然后進(jìn)入到步驟S285。
[0467]另外，當(dāng)在步驟S337，判定I標(biāo)記為“I”時(shí)，處理返回圖48中圖解所示的步驟S284，然后進(jìn)入到步驟S285。
[0468]如上所述，由于編碼設(shè)備230按照畫面內(nèi)的切片的種類，設(shè)定與參考圖像相關(guān)的信息，因此與參考圖像相關(guān)的信息的數(shù)量被減少，從而能夠改善編碼效率。另外，由于編碼設(shè)備230取決于畫面內(nèi)的所有切片的種類是否相同，來(lái)設(shè)定切片種類，因此切片種類的信息的數(shù)量被減少，從而能夠改善編碼效率。
[0469](按照第四實(shí)施例的解碼設(shè)備的結(jié)構(gòu)例子)
[0470]圖52是圖解說(shuō)明按照第四實(shí)施例的本技術(shù)適用于的，解碼從圖36中圖解所示的編碼設(shè)備230傳送的編碼流的解碼設(shè)備的結(jié)構(gòu)例子的方框圖。
[0471]這里，向圖52中圖解所示的與圖15中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0472]圖52中圖解所示的解碼設(shè)備270的結(jié)構(gòu)和圖15中圖解所示的結(jié)構(gòu)的不同之處在于設(shè)置解碼單元271，而不是解碼單元113。必要時(shí)，解碼設(shè)備270在進(jìn)行運(yùn)動(dòng)補(bǔ)償處理時(shí)，進(jìn)行加權(quán)預(yù)測(cè)。
[0473]更具體地，解碼設(shè)備270的解碼單元271根據(jù)從提取單元112供給的各個(gè)RPS的inter_ref_pic_set_predict1n_flag,和 delta_idx_minusl 或參考圖像指定信息，按照HEVC方式，解碼從提取單元112供給的編碼數(shù)據(jù)。此時(shí)，必要時(shí)，解碼單元271參考包含在SPS中的除RPS外的信息，PPS等。另外，必要時(shí)，解碼單元271在進(jìn)行運(yùn)動(dòng)補(bǔ)償處理時(shí)，進(jìn)行加權(quán)預(yù)測(cè)。解碼單元271作為輸出信號(hào)地輸出通過(guò)解碼獲得的圖像。
[0474](解碼單元的結(jié)構(gòu)例子)
[0475]圖53是圖解說(shuō)明在圖52中圖解所示的解碼單元271的結(jié)構(gòu)例子的方框圖。
[0476]這里，向圖53中圖解所示的與圖16中圖示的結(jié)構(gòu)相同的每個(gè)結(jié)構(gòu)賦予相同的附圖標(biāo)記，并省略其重復(fù)的說(shuō)明。
[0477]圖53中圖解所示的解碼單元271的結(jié)構(gòu)和圖16中圖解所示的結(jié)構(gòu)的不同之處在于設(shè)置無(wú)損解碼單元291，而不是無(wú)損解碼單元132，另外設(shè)置運(yùn)動(dòng)補(bǔ)償單元292，而不是運(yùn)動(dòng)補(bǔ)償單元145。
[0478]類似于圖16中圖解所示的無(wú)損解碼單元132，解碼單元271的無(wú)損解碼單元291對(duì)從累積緩沖器131供給的編碼數(shù)據(jù)，進(jìn)行無(wú)損解碼，從而獲得量化系數(shù)和編碼信息。類似于無(wú)損解碼單元132，無(wú)損解碼單元291把量化系數(shù)提供給逆量化單元133。另外，無(wú)損解碼單元291把作為編碼信息的幀內(nèi)預(yù)測(cè)模式信息等，提供給幀內(nèi)預(yù)測(cè)單元143，并把運(yùn)動(dòng)向量、幀間預(yù)測(cè)模式信息、加權(quán)信息等提供給運(yùn)動(dòng)補(bǔ)償單元292。類似于無(wú)損解碼單元132，無(wú)損解碼單元291把作為編碼信息的RPS的RPS標(biāo)記和索引，或者RPS，提供給參考圖像設(shè)定單元144。
[0479]另外，類似于無(wú)損解碼單元132，無(wú)損解碼單元291把作為編碼信息的幀內(nèi)預(yù)測(cè)模式信息或者幀間預(yù)測(cè)模式信息提供給開(kāi)關(guān)146。類似于無(wú)損解碼單元132，無(wú)損解碼單元291把作為編碼信息的偏移濾波信息提供給自適應(yīng)偏移濾波器137，并把濾波系數(shù)提供給自適應(yīng)環(huán)路濾波器138。
[0480]類似于圖16中圖解所示的運(yùn)動(dòng)補(bǔ)償單元145，運(yùn)動(dòng)補(bǔ)償單元292根據(jù)從參考圖像設(shè)定單元144供給的參考圖像指定信息，通過(guò)開(kāi)關(guān)142，從幀存儲(chǔ)器141讀取由參考圖像指定信息指定的參考圖像。
[0481 ] 另外，類似于圖37中圖解所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251，運(yùn)動(dòng)補(bǔ)償單元292根據(jù)包含在從提取單元112供給的PPS中的P預(yù)測(cè)標(biāo)記或B預(yù)測(cè)標(biāo)記，判定是否進(jìn)行加權(quán)預(yù)測(cè)。
[0482]運(yùn)動(dòng)補(bǔ)償單元292充當(dāng)生成單元，在判定要進(jìn)行加權(quán)預(yù)測(cè)的情況下，通過(guò)利用運(yùn)動(dòng)向量和參考圖像，進(jìn)行利用由幀間預(yù)測(cè)模式信息表示的最佳幀間預(yù)測(cè)模式的加權(quán)預(yù)測(cè)的運(yùn)動(dòng)補(bǔ)償處理。此時(shí)，當(dāng)必要時(shí)，運(yùn)動(dòng)補(bǔ)償單元292在當(dāng)前編碼圖像的切片是P切片的情況下，參考RPSLO數(shù)，而在當(dāng)前編碼圖像的切片是B切片的情況下，參考RPSLO數(shù)和RPSLl數(shù)。
[0483]另一方面，在判定將不進(jìn)行加權(quán)預(yù)測(cè)的情況下，類似于運(yùn)動(dòng)補(bǔ)償單元145，運(yùn)動(dòng)補(bǔ)償單元292進(jìn)行最佳幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元292把作為其結(jié)果生成的預(yù)測(cè)圖像提供給開(kāi)關(guān)146。
[0484](解碼設(shè)備的處理的說(shuō)明)
[0485]圖54是圖解說(shuō)明由圖52中圖解所示的解碼設(shè)備270進(jìn)行的接收處理的流程圖。
[0486]圖54中圖解所示的步驟S351-S353的處理類似于在圖17中圖解所示的步驟SI I 1-Sl 13的處理，從而省略其說(shuō)明。
[0487]在步驟S354，解碼單元271根據(jù)從提取單元112供給的每個(gè)RPS的RPS信息和PPS，進(jìn)行解碼處理。該解碼處理將參考后面說(shuō)明的圖55詳細(xì)說(shuō)明。隨后，處理結(jié)束。
[0488]圖55是詳細(xì)圖解說(shuō)明在圖54中圖解所示的步驟S354的解碼處理的流程圖。
[0489]在圖55中圖解所示的步驟S361，解碼單元271的累積緩沖器131從圖52中圖解所示的提取單元112，接收以幀為單位構(gòu)成的編碼數(shù)據(jù)，并保存接收的編碼數(shù)據(jù)。累積緩沖器131把保存的編碼數(shù)據(jù)提供給無(wú)損解碼單元291。
[0490]在步驟S362，無(wú)損解碼單元291進(jìn)行從累積緩沖器131供給的編碼數(shù)據(jù)的無(wú)損解碼，從而獲得量化系數(shù)和編碼信息。無(wú)損解碼單元291把量化系數(shù)提供給逆量化單元133。另外，無(wú)損解碼單元291把作為編碼信息的幀內(nèi)預(yù)測(cè)模式信息等，提供給幀內(nèi)預(yù)測(cè)單元143，并把運(yùn)動(dòng)向量、幀間預(yù)測(cè)模式信息、加權(quán)信息、RPS標(biāo)記、RPS的索引或者RPS等提供給運(yùn)動(dòng)補(bǔ)償單元292。
[0491]另外，無(wú)損解碼單元291把作為編碼信息的幀內(nèi)預(yù)測(cè)模式信息或者幀間預(yù)測(cè)模式信息提供給開(kāi)關(guān)146。無(wú)損解碼單元291把作為編碼信息的偏移濾波信息提供給自適應(yīng)偏移濾波器137，并把濾波系數(shù)提供給自適應(yīng)環(huán)路濾波器138。
[0492]步驟S363-S365的處理類似于在圖19中圖解所示的步驟S133-S135的處理，從而省略其說(shuō)明。在步驟S366，類似于圖37中圖解所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元251，運(yùn)動(dòng)補(bǔ)償單元292根據(jù)包含在從圖52中圖解所示的提取單元112供給的PPS中的P預(yù)測(cè)標(biāo)記或B預(yù)測(cè)標(biāo)記，判定是否進(jìn)行加權(quán)預(yù)測(cè)。
[0493]當(dāng)在步驟S366中，判定要進(jìn)行加權(quán)預(yù)測(cè)時(shí)，運(yùn)動(dòng)補(bǔ)償單元292根據(jù)從參考圖像設(shè)定單元144供給的參考圖像指定信息，讀取參考圖像，并通過(guò)利用運(yùn)動(dòng)向量和參考圖像，進(jìn)行利用由幀間預(yù)測(cè)模式信息表示的最佳幀間預(yù)測(cè)模式的加權(quán)預(yù)測(cè)的運(yùn)動(dòng)補(bǔ)償處理。
[0494]此時(shí)，當(dāng)必要時(shí)，運(yùn)動(dòng)補(bǔ)償單元292在當(dāng)前編碼圖像的切片是P切片的情況下，參考RPSLO數(shù)，并在當(dāng)前編碼圖像的切片是B切片的情況下，參考RPSLO數(shù)和RPSLl數(shù)。運(yùn)動(dòng)補(bǔ)償單元292把作為其結(jié)果生成的預(yù)測(cè)圖像，通過(guò)開(kāi)關(guān)146提供給加法單元135，然后處理進(jìn)入步驟S370。
[0495]另一方面，當(dāng)在步驟S366中，判定將不進(jìn)行加權(quán)預(yù)測(cè)時(shí)，在步驟S368，運(yùn)動(dòng)補(bǔ)償單元292根據(jù)從參考圖像設(shè)定單元144供給的參考圖像指定信息，讀取參考圖像，并通過(guò)利用運(yùn)動(dòng)向量和參考圖像，進(jìn)行用幀間預(yù)測(cè)模式信息表示的最佳幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償處理。運(yùn)動(dòng)補(bǔ)償單元292把作為其結(jié)果生成的預(yù)測(cè)圖像，通過(guò)開(kāi)關(guān)146提供給加法單元135，然后處理進(jìn)入步驟S370。
[0496]步驟S369-S377的處理類似于圖19中圖解所示的步驟S137-S145的處理，從而省略其說(shuō)明。
[0497]如上，通過(guò)按照畫面內(nèi)的切片的種類設(shè)定與參考圖像相關(guān)的信息，解碼設(shè)備270能夠解碼具有改進(jìn)的編碼效率的編碼流。
[0498]另外，在第四實(shí)施例中，盡管與參考圖像相關(guān)的信息被描述成RPSLO數(shù)，RPSLl數(shù)，P預(yù)測(cè)標(biāo)記和B預(yù)測(cè)標(biāo)記，不過(guò)，本技術(shù)并不局限于此。
[0499]<對(duì)多視點(diǎn)圖像編碼/多視點(diǎn)圖像解碼的應(yīng)用>
[0500]上述一系列處理可以應(yīng)用于多視點(diǎn)圖像編碼和多視點(diǎn)圖像解碼。圖56是圖解說(shuō)明多視點(diǎn)圖像編碼系統(tǒng)的例子的示圖。
[0501]如圖56中圖解所示，多視點(diǎn)圖像包括多個(gè)視點(diǎn)的圖像，所述多個(gè)視點(diǎn)之中的預(yù)定視點(diǎn)的圖像被指定為基本視圖的圖像。除基本視圖的圖像之外的各個(gè)視點(diǎn)的圖像被視為非基本視圖的圖像。
[0502]在進(jìn)行如圖56中圖解所示的多視點(diǎn)圖像編碼的情況下，對(duì)于各個(gè)視圖(相同視圖)，可以獲得量化參數(shù)之間的差分。
[0503](I)基本視圖:
[0504](1-1) dQP (基本視圖)=Current_CU_QP (基本視圖)_LCU_QP (基本視圖)
[0505](1-2) dQP (基本視圖)=Current_CU_QP (基本視圖)-Previsous_CU_QP (基本視圖)
[0506](1-3) dQP (基本視圖)=Current_CU_QP (基本視圖)_Slice_QP (基本視圖)
[0507](2)非基本視圖:
[0508](2-1) dQP (非基本視圖)=Current_CU_QP (非基本視圖)_LCU_QP (非基本視圖)
[0509](2-2) dQP (非基本視圖)=CurrentQP (非基本視圖)-PrevisousQP (非基本視圖)
[0510](2-3) dQP (非基本視圖)=Current_CU_QP (非基本視圖)_Slice_QP (非基本視圖)
[0511]在進(jìn)行多視點(diǎn)圖像編碼的情況下，對(duì)于各個(gè)視圖(不同的視圖)，可以獲得量化參數(shù)之間的差分。
[0512](3)基本視圖/非基本視圖:
[0513](3_l)dQP(視圖間)=Slice_QP(基本視圖)_Slice_QP(非基本視圖)
[0514](3-2) dQP (視圖間)=LCU_QP (基本視圖)_LCU_QP (非基本視圖)
[0515](4)非基本視圖/非基本視圖:
[0516](4_l)dQP(視圖間)=Slice_QP(非基本視圖1)_Slice_QP(非基本視圖 j)
[0517](4-2) dQP (視圖間)=LCU_QP (非基本視圖1) _LCU_QP (非基本視圖j)
[0518]在這種情況下，可以組合地使用上面說(shuō)明的(1)_(4)。例如，在非基本視圖中，可以考慮在切片水平，獲得基本視圖和非基本視圖的量化參數(shù)之間的差分的技術(shù)(組合3-1和2-3)，和在LCU水平，獲得基本視圖和非基本視圖的量化參數(shù)之間的差分的技術(shù)(組合3-2和2-1)。這樣，通過(guò)重復(fù)應(yīng)用所述差分，在進(jìn)行多視點(diǎn)編碼的情況下，也能夠提高編碼效率。
[0519]類似于上述技術(shù)，對(duì)于上面說(shuō)明的各個(gè)dQP，可以設(shè)定用于識(shí)別是否存在具有除“O”以外的值的dQP的標(biāo)記。
[0520]<多視點(diǎn)圖像編碼設(shè)備>
[0521]圖57是圖解說(shuō)明進(jìn)行上述多視點(diǎn)圖像編碼的多視點(diǎn)圖像編碼設(shè)備的示圖。如圖57中圖解所示，多視點(diǎn)圖像編碼設(shè)備600包括編碼單元601、編碼單元602和復(fù)用器603。
[0522]編碼單元601編碼基本視圖圖像，從而生成基本視圖圖像編碼流。另外，編碼單元602編碼非基本視圖圖像，從而生成非基本視圖圖像編碼流。復(fù)用器603復(fù)用由編碼單元601生成的基本視圖圖像編碼流，和由編碼單元602生成的非基本視圖圖像編碼流，從而生成多視點(diǎn)圖像編碼流。
[0523]編碼設(shè)備10 (150和190)可適用于此多視點(diǎn)圖像編碼設(shè)備600的編碼單元601和編碼單元602。在這種情況下，多視點(diǎn)圖像編碼設(shè)備600設(shè)定由編碼單元601設(shè)定的量化參數(shù)和由編碼單元602設(shè)定的量化參數(shù)之間的差分，并傳送設(shè)定的差分。
[0524]<多視點(diǎn)圖像解碼設(shè)備>
[0525]圖58是圖解說(shuō)明進(jìn)行上述多視點(diǎn)圖像解碼的多視點(diǎn)圖像解碼設(shè)備的示圖。如圖58中圖解所示，多視點(diǎn)圖像解碼設(shè)備610包括分用器611、解碼單元612和解碼單元613。
[0526]分用器611分用通過(guò)復(fù)用基本視圖圖像編碼流和非基本視圖圖像編碼流而獲得的多視點(diǎn)圖像編碼流，從而提取基本視圖圖像編碼流和非基本視圖圖像編碼流。解碼單元612解碼分用器611提取的基本視圖圖像編碼流，從而獲得基本視圖圖像。解碼單元613解碼分用器611提取的非基本視圖圖像編碼流，從而獲得非基本視圖圖像。
[0527]解碼設(shè)備110(170和210)可適用于此多視點(diǎn)圖像解碼設(shè)備610的解碼單元612和解碼單元613。在這種情況下，多視點(diǎn)圖像解碼設(shè)備610根據(jù)編碼單元601設(shè)定的量化參數(shù)和編碼單元602設(shè)定的量化參數(shù)之間的差分，設(shè)定量化參數(shù)，并進(jìn)行逆量化。
[0528]<對(duì)分層圖像編碼/分層圖像解碼的應(yīng)用>
[0529]上述一系列處理可適用于分層圖像編碼和分層圖像解碼。圖59是圖解說(shuō)明分層圖像編碼方式的例子的示圖。
[0530]如圖59中圖解所示，分層圖像包括多個(gè)層次(分辨率)的圖像，所述多個(gè)分辨率之中的預(yù)定層次的圖像被指定為基本層的圖像。除基本層的圖像之外的各個(gè)層次的圖像被視為非基本層的圖像。
[0531]在進(jìn)行如圖59中圖解所示的分層圖像編碼(空間可縮放性)的情況下，在各層(相同層)中，可以獲得量化參數(shù)之間的差分。
[0532](I)基本層:
[0533](1-1) dQP (基本層)=Current_CU_QP (基本層)_LCU_QP (基本層)
[0534](1-2) dQP (基本層)=Current_CU_QP (基本層)-Previsous_CU_QP (基本層)
[0535](1-3) dQP (基本層)=Current_CU_QP (基本層)_Slice_QP (基本層)
[0536](2)非基本層
[0537](2-1) dQP (非基本層)=Current_CU_QP (非基本層)_LCU_QP (非基本層)
[0538](2-2) dQP (非基本層)=CurrentQP (非基本層)-PrevisousQP (非基本層)
[0539](2-3) dQP (非基本層)=Current_CU_QP (非基本層)_Slice_QP (非基本層)
[0540]在進(jìn)行分層編碼的情況下，在各層(不同層)中，可以獲得量化參數(shù)之間的差分。
[0541](3)基本層/非基本層:
[0542](3_l)dQP(層間)=Slice_QP(基本層)_Slice_QP(非基本層)
[0543](3-2) dQP (層間)=LCU_QP (基本層)_LCU_QP (非基本層)
[0544](4)非基本層/非基本層
[0545](4-1) dQP (層間)=Slice_QP (非基本層 i) _Slice_QP (非基本層 j)
[0546](4-2) dQP (層間)=LCU_QP (非基本層 i) _LCU_QP (非基本層 j)
[0547]在這種情況下，可以組合地使用上面說(shuō)明的(1)-(4)。例如，在非基本層中，可以考慮在切片水平，獲得基本層和非基本層的量化參數(shù)之間的差分的技術(shù)(組合3-1和2-3)，和在LCU水平，獲得基本層和非基本層的量化參數(shù)之間的差分的技術(shù)(組合3-2和2-1)。這樣，通過(guò)重復(fù)應(yīng)用所述差分，在進(jìn)行分層編碼的情況下，也能夠提高編碼效率。
[0548]類似于上述技術(shù)，對(duì)于上面說(shuō)明的各個(gè)dQP，可以設(shè)定用于識(shí)別是否存在具有除“O”以外的值的dQP的標(biāo)記。
[0549]<分層圖像編碼設(shè)備>
[0550]圖60是圖解說(shuō)明進(jìn)行上面說(shuō)明的分層圖像編碼的分層圖像編碼設(shè)備的示圖。如圖60中圖解所示，分層圖像編碼設(shè)備620包括編碼單元621、編碼單元622和復(fù)用器623。
[0551]編碼單元621編碼基本層圖像，從而生成基本層圖像編碼流。另外，編碼單元622編碼非基本層圖像，從而生成非基本層圖像編碼流。復(fù)用器623復(fù)用由編碼單元621生成的基本層圖像編碼流，和由編碼單元622生成的非基本層圖像編碼流，從而生成分層圖像編碼流。
[0552]編碼設(shè)備10 (150和190)可適用于這種分層圖像編碼設(shè)備620的編碼單元621和編碼單元622。在這種情況下，分層圖像編碼設(shè)備620設(shè)定由編碼單元621設(shè)定的量化參數(shù)和由編碼單元622設(shè)定的量化參數(shù)之間的差分，并傳送設(shè)定的差分。
[0553]<分層圖像解碼設(shè)備>
[0554]圖61是圖解說(shuō)明進(jìn)行上面說(shuō)明的分層圖像解碼的分層圖像解碼設(shè)備的示圖。如圖61中圖解所示，分層圖像解碼設(shè)備630包括分用器631、解碼單元632和解碼單元633。
[0555]分用器631分用通過(guò)復(fù)用基本層圖像編碼流和非基本層圖像編碼流而獲得的分層圖像編碼流，從而提取基本層圖像編碼流和非基本層圖像編碼流。解碼單元632解碼分用器631提取的基本層圖像編碼流，從而獲得基本層圖像。解碼單元633解碼分用器631提取的非基本層圖像編碼流，從而獲得非基本層圖像。
[0556]解碼設(shè)備110(170和210)可適用于這種分層圖像解碼設(shè)備630的解碼單元632和解碼單元633。在這種情況下，分層圖像解碼設(shè)備630根據(jù)編碼單元621設(shè)定的量化參數(shù)和編碼單元622設(shè)定的量化參數(shù)之間的差分，設(shè)定量化參數(shù)，并進(jìn)行逆量化。
[0557]〈本技術(shù)適用于的計(jì)算機(jī)的說(shuō)明〉
[0558]上述一系列處理可用硬件或者軟件執(zhí)行。在用軟件執(zhí)行所述一系列處理的情況下，構(gòu)成所述軟件的程序被安裝到計(jì)算機(jī)。這里，計(jì)算機(jī)包括內(nèi)置到專用硬件中的計(jì)算機(jī)，通過(guò)安裝各種程序，能夠執(zhí)行各種功能的計(jì)算機(jī)，比如通用計(jì)算機(jī)，等等。
[0559]圖62是圖解說(shuō)明按照程序，執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件結(jié)構(gòu)的例子的方框圖。
[0560]在計(jì)算機(jī)中，CPU (中央處理器)801、R0M (只讀存儲(chǔ)器)802和RAM (隨機(jī)存取存儲(chǔ)器)803通過(guò)總線804互連。
[0561]另外，輸入/輸出接口 805連接到總線804。輸入單元806、輸出單元807、存儲(chǔ)單元808、通信單元809和驅(qū)動(dòng)器810連接到輸入/輸出接口 805。
[0562]輸入單元806由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成。輸出單元807由顯示器、揚(yáng)聲器等構(gòu)成。存儲(chǔ)單元808由硬盤、非易失性存儲(chǔ)器等構(gòu)成。通信單元809由網(wǎng)絡(luò)接口等構(gòu)成。驅(qū)動(dòng)器810驅(qū)動(dòng)可拆卸介質(zhì)811，比如磁盤、光盤、磁光盤或半導(dǎo)體盤。
[0563]在如上所述構(gòu)成的計(jì)算機(jī)中，CPU 801通過(guò)經(jīng)輸入/輸出接口 805和總線804，把保存在存儲(chǔ)單元808中的程序載入RAM 803中，并執(zhí)行所述程序，進(jìn)行上面說(shuō)明的一系列處理。
[0564]通過(guò)把程序記錄在作為套裝介質(zhì)的可拆卸介質(zhì)811上，可提供由計(jì)算機(jī)(CPU801)執(zhí)行的程序。另外，可通過(guò)有線或無(wú)線傳輸介質(zhì)，比如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播，提供所述程序。
[0565]在計(jì)算機(jī)中，通過(guò)把可拆卸介質(zhì)811放入驅(qū)動(dòng)器810中，可通過(guò)輸入/輸出接口805，把程序安裝到存儲(chǔ)單元808中。另外，程序可通過(guò)有線或無(wú)線傳輸介質(zhì)，被通信單元809接收，并安裝到存儲(chǔ)單元808中。此外，程序可被預(yù)先安裝到ROM 802或者存儲(chǔ)單元808。
[0566]另外，計(jì)算機(jī)執(zhí)行的程序可以是按照這里說(shuō)明的順序，時(shí)序地進(jìn)行處理的程序，或者可以是并行地，或者在必要時(shí)，比如當(dāng)程序被調(diào)用時(shí)，進(jìn)行處理的程序。
[0567]<電視機(jī)的結(jié)構(gòu)例子>
[0568]圖63圖解說(shuō)明本技術(shù)適用于的電視機(jī)的示意結(jié)構(gòu)。電視機(jī)900包括:天線901 ;調(diào)諧器902 ;分用器903 ;解碼器904 ;視頻信號(hào)處理單元905 ;顯示單元906 ;音頻信號(hào)處理單元907 ;揚(yáng)聲器908和外部接口單元909。另外，電視機(jī)900包括控制單元910、用戶接口單兀911等。
[0569]調(diào)諧器902從通過(guò)天線901接收的廣播波信號(hào)中，選擇期望的頻道，進(jìn)行解調(diào)，隨后把獲得的編碼比特流輸出給分用器903。
[0570]分用器903從編碼比特流中，提取作為觀看目標(biāo)的節(jié)目的視頻或音頻的分組，并把提取的分組的數(shù)據(jù)輸出給解碼器904。另外，分用器903把諸如EPG(電子節(jié)目指南)之類的數(shù)據(jù)分組提供給控制單元910。此外，在進(jìn)行加擾的情況下，利用分用器等解除加擾。
[0571]解碼器904進(jìn)行分組的解碼處理，把通過(guò)解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出給視頻信號(hào)處理單元905，把音頻數(shù)據(jù)輸出給音頻信號(hào)處理單元907。
[0572]視頻信號(hào)處理單元905對(duì)視頻數(shù)據(jù)進(jìn)行噪聲消除、與用戶設(shè)定相應(yīng)的視頻處理等。視頻信號(hào)處理單元905生成將被顯示在顯示單元906上的節(jié)目的視頻數(shù)據(jù)，與基于通過(guò)網(wǎng)絡(luò)提供的應(yīng)用的處理相應(yīng)的圖像數(shù)據(jù)等。另外，視頻信號(hào)處理單元905生成用于顯示菜單屏幕，比如項(xiàng)目選擇屏幕等的視頻數(shù)據(jù)，并把生成的視頻數(shù)據(jù)重疊在節(jié)目的視頻數(shù)據(jù)上。視頻信號(hào)處理單元905根據(jù)如上生成的視頻數(shù)據(jù)生成驅(qū)動(dòng)信號(hào)，并驅(qū)動(dòng)顯示單元906。
[0573]顯示單元906根據(jù)從視頻信號(hào)處理單元905供給的驅(qū)動(dòng)信號(hào)，驅(qū)動(dòng)顯示設(shè)備(例如，液晶顯示設(shè)備等)，從而顯示節(jié)目的視頻等。
[0574]音頻信號(hào)處理單元907對(duì)音頻數(shù)據(jù)進(jìn)行諸如噪聲消除之類的預(yù)定處理，進(jìn)行在該處理之后的音頻數(shù)據(jù)的D/A轉(zhuǎn)換處理，或者音頻數(shù)據(jù)的放大處理，并把結(jié)果數(shù)據(jù)提供給揚(yáng)聲器908，從而進(jìn)行音頻輸出。
[0575]外部接口單元909是用于連接到外部設(shè)備或網(wǎng)絡(luò)的接口，并傳送/接收諸如視頻數(shù)據(jù)或音頻數(shù)據(jù)之類的數(shù)據(jù)。
[0576]用戶接口單元911連接到控制單元910。用戶接口 911由操作開(kāi)關(guān)、遙控信號(hào)接收單元等構(gòu)成，并把與用戶操作相應(yīng)的操作信號(hào)提供給控制單元910。
[0577]控制單元910由CPU(中央處理器)、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器保存由CPU執(zhí)行的程序，為CPU執(zhí)行的處理所必需的各種數(shù)據(jù)，EPG數(shù)據(jù)，通過(guò)網(wǎng)絡(luò)獲得的數(shù)據(jù)等等。保存在存儲(chǔ)器中的程序由CPU在預(yù)定定時(shí)，比如啟動(dòng)電視機(jī)900時(shí)讀取和執(zhí)行。通過(guò)執(zhí)行程序，CPU進(jìn)行各個(gè)單元的控制，以致電視機(jī)900按照用戶操作工作。
[0578]另外，在電視機(jī)900中，為了把調(diào)諧器902、分用器903、視頻信號(hào)處理單元905、音頻信號(hào)處理單元907、外部接口單元909等連接到控制單元910，布置有總線912。
[0579]在按照這種方式構(gòu)成的電視機(jī)中，在解碼器904中實(shí)現(xiàn)按照本申請(qǐng)的解碼設(shè)備(解碼方法)的功能。從而，其中與指定參考圖像的信息相關(guān)的信息的數(shù)量被減小的編碼流能夠被解碼。
[0580]<移動(dòng)電話機(jī)的結(jié)構(gòu)例子>
[0581]圖64圖解說(shuō)明本技術(shù)適用于的移動(dòng)電話機(jī)的示意結(jié)構(gòu)。移動(dòng)電話機(jī)920包括:通信單元922 ;音頻編解碼器923 ;相機(jī)單元926 ;圖像處理單元927 ;復(fù)用/分用單元928 ;記錄/再現(xiàn)單元929 ;顯示單元930和控制單元931。這些單元通過(guò)總線933互連。
[0582]另外，天線921連接到通信單元922，揚(yáng)聲器924和麥克風(fēng)925連接到音頻編解碼器923。此外，操作單元932連接到控制單元931。
[0583]移動(dòng)電話機(jī)920按各種模式，比如語(yǔ)音通話模式和數(shù)據(jù)通信模式，進(jìn)行諸如音頻信號(hào)的傳輸和接收、電子郵件和圖像數(shù)據(jù)的傳輸和接收、圖像拍攝和數(shù)據(jù)記錄之類的各種操作。
[0584]在語(yǔ)音通話模式下，麥克風(fēng)925產(chǎn)生的音頻信號(hào)被音頻編解碼器923轉(zhuǎn)換成音頻數(shù)據(jù)或者被壓縮，作為結(jié)果的信號(hào)被提供給通信單元922。通信單元922對(duì)音頻數(shù)據(jù)進(jìn)行調(diào)制處理、頻率變換處理等，從而生成傳輸信號(hào)。另外，通信單元922把傳輸信號(hào)提供給天線921，以便被傳送給圖中未圖解所示的基站。此外，通信單元922對(duì)利用天線921接收的接收信號(hào)，進(jìn)行放大處理、頻率變換處理、解調(diào)處理等，并把獲得的音頻數(shù)據(jù)提供給音頻編解碼器923。音頻編解碼器923進(jìn)行音頻數(shù)據(jù)的數(shù)據(jù)解壓縮，把音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并把結(jié)果信號(hào)輸出給揚(yáng)聲器924。
[0585]另外，在數(shù)據(jù)通信模式下，當(dāng)傳送郵件時(shí)，控制單元931接收利用對(duì)操作單元932的操作而輸入的字符數(shù)據(jù)，并把輸入的字符顯示在顯示單元930上。此外，控制單元931根據(jù)來(lái)自操作單元932的用戶指令，生成郵件數(shù)據(jù)，并把生成的郵件數(shù)據(jù)提供給通信單元922。通信單元922對(duì)郵件數(shù)據(jù)進(jìn)行調(diào)制處理、頻率變換處理等，然后從天線921傳送獲得的傳輸信號(hào)。另外，通信單元922對(duì)通過(guò)天線921接收的接收信號(hào)，進(jìn)行放大處理、頻率變換處理、解調(diào)處理等，從而恢復(fù)郵件數(shù)據(jù)。所述郵件數(shù)據(jù)被提供給顯示單元930，從而顯示郵件的內(nèi)容。
[0586]另外，移動(dòng)電話機(jī)920可利用記錄/再現(xiàn)單元929，把接收的郵件數(shù)據(jù)保存在存儲(chǔ)介質(zhì)中。存儲(chǔ)介質(zhì)可以是任意可重寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)是諸如RAM或內(nèi)置式閃存之類的半導(dǎo)體存儲(chǔ)器、硬盤、磁盤、磁光盤、光盤、或者諸如USB存儲(chǔ)器或存儲(chǔ)卡之類的可拆卸介質(zhì)。
[0587]在數(shù)據(jù)通信模式下，當(dāng)傳送圖像數(shù)據(jù)時(shí)，利用相機(jī)單元926生成的圖像數(shù)據(jù)被提供給圖像處理單元927。圖像處理單元927進(jìn)行圖像數(shù)據(jù)的編碼處理，從而生成編碼數(shù)據(jù)。
[0588]復(fù)用/分用單元928按照預(yù)定方式，復(fù)用由圖像處理單元927生成的編碼數(shù)據(jù)和從音頻編解碼器923供給的音頻數(shù)據(jù)，并把復(fù)用的數(shù)據(jù)提供給通信單元922。通信單元922進(jìn)行復(fù)用數(shù)據(jù)的調(diào)制處理、頻率變換處理等，然后從天線921傳送獲得的傳輸信號(hào)。另外，通信單元922對(duì)利用天線921接收的接收信號(hào)，進(jìn)行放大處理、頻率變換處理、解調(diào)處理等，從而恢復(fù)復(fù)用數(shù)據(jù)。所述復(fù)用數(shù)據(jù)被提供給復(fù)用/分用單元928。復(fù)用/分用單元928分離復(fù)用數(shù)據(jù)，把編碼數(shù)據(jù)提供給圖像處理器927，并把音頻數(shù)據(jù)提供給音頻編解碼器923。圖像處理器927進(jìn)行編碼數(shù)據(jù)的解碼處理，從而生成圖像數(shù)據(jù)。圖像數(shù)據(jù)被提供給顯示單元930，從而接收的圖像被顯示。音頻編解碼器923把音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并把轉(zhuǎn)換的模擬音頻信號(hào)提供給揚(yáng)聲器924，從而輸出接收的音頻。
[0589]在按照這種方式構(gòu)成的移動(dòng)電話機(jī)設(shè)備中，在圖像處理單元927中實(shí)現(xiàn)按照本申請(qǐng)的編碼設(shè)備和解碼設(shè)備(編碼方法和解碼方法)的功能。因而，其中與指定參考圖像的信息相關(guān)的信息的數(shù)量被減小的編碼流能夠被解碼。
[0590]<記錄和再現(xiàn)設(shè)備的結(jié)構(gòu)例子>
[0591]圖65圖解說(shuō)明本技術(shù)適用于的記錄和再現(xiàn)設(shè)備的示意結(jié)構(gòu)。例如，記錄和再現(xiàn)設(shè)備940把接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上，并在與用戶的指令相應(yīng)的定時(shí)，把記錄的數(shù)據(jù)提供給用戶。另外，例如，記錄和再現(xiàn)設(shè)備940可從另一個(gè)設(shè)備獲得音頻數(shù)據(jù)和視頻數(shù)據(jù)，并把音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上。此外，記錄和再現(xiàn)設(shè)備940解碼并輸出記錄在記錄介質(zhì)上的音頻數(shù)據(jù)和視頻數(shù)據(jù)，從而在監(jiān)視器等中，能夠進(jìn)行圖像的顯示或音頻的輸出。
[0592]記錄和再現(xiàn)設(shè)備940包括:調(diào)諧器941 ;外部接口單元942 ;編碼器943 ;HDD (硬盤驅(qū)動(dòng)器)單元944 ;光盤驅(qū)動(dòng)器945 ;選擇器946 ;解碼器947 ；0SD (屏上顯示器)單元948 ；控制單元949 ;和用戶接口單元950。
[0593]調(diào)諧器941從通過(guò)圖中未圖示的天線接收的廣播信號(hào)中，選擇期望的頻道。調(diào)諧器941把通過(guò)解調(diào)期望頻道的接收信號(hào)而獲得的編碼比特流輸出給選擇器946。
[0594]外部接口單元942由IEEE 1394接口、網(wǎng)絡(luò)接口單元、USB接口、閃存接口等至少之一構(gòu)成。外部接口單元942是連接到外部設(shè)備、網(wǎng)絡(luò)、存儲(chǔ)卡等的接口，進(jìn)行待記錄的視頻數(shù)據(jù)、音頻數(shù)據(jù)等的數(shù)據(jù)接收。
[0595]當(dāng)從外部接口單元942供給的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時(shí)，編碼器943按照預(yù)定方式，對(duì)所述視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼，隨后把編碼比特流輸出給選擇器946。
[0596]HDD單元944把諸如視頻和音頻、各種程序、其它數(shù)據(jù)之類的內(nèi)容數(shù)據(jù)記錄在內(nèi)置硬盤上，并在再現(xiàn)時(shí)之際等等，從硬盤讀取記錄的數(shù)據(jù)。
[0597]光盤驅(qū)動(dòng)器945對(duì)裝入的光盤進(jìn)行信號(hào)記錄和信號(hào)再現(xiàn)。光盤例如是DVD光盤(DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW 等)，藍(lán)光(注冊(cè)商標(biāo))光盤等。
[0598]當(dāng)記錄視頻或音頻時(shí)，選擇器946選擇從調(diào)諧器941或編碼器943供給的編碼比特流，并把選擇的編碼比特流輸出給HDD單元944和光盤驅(qū)動(dòng)器945之一。另外，當(dāng)再現(xiàn)視頻或音頻時(shí)，選擇器946把從HDD單元944或光盤驅(qū)動(dòng)器945輸出的編碼比特流提供給解碼器947。
[0599]解碼器947進(jìn)行編碼比特流的解碼處理。解碼器947把通過(guò)進(jìn)行解碼處理生成的視頻數(shù)據(jù)提供給OSD單元948。另外，解碼器947輸出通過(guò)進(jìn)行解碼處理生成的音頻數(shù)據(jù)。
[0600]OSD單元948生成用于顯示菜單屏幕，比如項(xiàng)目選擇菜單等的視頻數(shù)據(jù)，并且輸出生成的視頻數(shù)據(jù)，以致與從解碼器947輸出的視頻數(shù)據(jù)重疊。
[0601]用戶接口單元950連接到控制單元949。用戶接口單元950由操作開(kāi)關(guān)、遙控信號(hào)接收單元等構(gòu)成，并把與用戶操作相應(yīng)的操作信號(hào)提供給控制單元949。
[0602]控制單元949是通過(guò)利用CPU、存儲(chǔ)器等構(gòu)成的。存儲(chǔ)器保存由CPU執(zhí)行的程序，和為CPU進(jìn)行的處理所必需的各種數(shù)據(jù)。保存在存儲(chǔ)器中的程序由CPU在預(yù)定定時(shí)，比如啟動(dòng)記錄和再現(xiàn)設(shè)備940時(shí)讀取和執(zhí)行。CPU執(zhí)行程序，從而進(jìn)行各個(gè)單元的控制，以致記錄和再現(xiàn)設(shè)備940按照用戶操作工作。
[0603]在按照這種方式構(gòu)成的記錄和再現(xiàn)設(shè)備中，在解碼器947中實(shí)現(xiàn)按照本申請(qǐng)的解碼設(shè)備(解碼方法)的功能。從而，其中與指定參考圖像的信息相關(guān)的信息的數(shù)量被減小的編碼流能夠被解碼。
[0604]<成像設(shè)備的結(jié)構(gòu)例子>
[0605]圖66是圖解說(shuō)明本技術(shù)適用于的成像設(shè)備的示意結(jié)構(gòu)的例子的示圖。成像設(shè)備960對(duì)被攝物體進(jìn)行成像，并把被攝物體的圖像顯示在顯示單元上，或者把被攝物體的圖像作為圖像數(shù)據(jù)，記錄在記錄介質(zhì)上。
[0606]成像設(shè)備960包括:光學(xué)部件961 ;成像單元962 ;照相機(jī)信號(hào)處理單元963 ；圖像數(shù)據(jù)處理單元964 ;顯示單元965 ;外部接口單元966 ;存儲(chǔ)單元967 ;介質(zhì)驅(qū)動(dòng)器968 ；0SD單元969 ;和控制單元970。另外，用戶接口單元971連接到控制單元970。此外，圖像數(shù)據(jù)處理單元964、外部接口單元966、存儲(chǔ)單元967、介質(zhì)驅(qū)動(dòng)器968、OSD單元969、控制單元970等通過(guò)總線972互連。
[0607]通過(guò)利用聚焦透鏡、光圈機(jī)構(gòu)等，構(gòu)成光學(xué)部件961。光學(xué)部件961在成像單元962的像面上形成被攝物體的光學(xué)圖像。成像單元962是通過(guò)利用CXD或CMOS圖像傳感器構(gòu)成的，通過(guò)光電轉(zhuǎn)換生成與光圖像相應(yīng)的電信號(hào)，并把生成的電信號(hào)提供給信號(hào)處理單元963。
[0608]照相機(jī)信號(hào)處理單元963對(duì)從成像單元962供給的圖像信號(hào)進(jìn)行各種照相機(jī)信號(hào)處理，比如拐點(diǎn)校正、Y校正和顏色校正。照相機(jī)信號(hào)處理單元963把照相機(jī)信號(hào)處理之后的圖像數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。
[0609]圖像數(shù)據(jù)處理單元964進(jìn)行從照相機(jī)信號(hào)處理單元963供給的圖像數(shù)據(jù)的編碼處理。圖像數(shù)據(jù)處理單元964把通過(guò)進(jìn)行編碼處理生成的編碼數(shù)據(jù)提供給外部接口單元966或介質(zhì)驅(qū)動(dòng)器968。另外，圖像數(shù)據(jù)處理單元964進(jìn)行從外部接口單元966或介質(zhì)驅(qū)動(dòng)器968供給的編碼數(shù)據(jù)的解碼處理。圖像數(shù)據(jù)處理單元964把通過(guò)進(jìn)行解碼處理生成的圖像數(shù)據(jù)提供給顯示單元965。另外，圖像數(shù)據(jù)處理單元964進(jìn)行把從照相機(jī)信號(hào)處理單元963提供的圖像數(shù)據(jù)供給顯示單元965的處理，并把從OSD單元969獲得的顯示數(shù)據(jù)與圖像數(shù)據(jù)疊加地提供給顯示單元965。
[0610]OSD單元969生成諸如由符號(hào)、字符或圖形構(gòu)成的菜單屏幕或圖標(biāo)之類的顯示數(shù)據(jù)，并把生成的顯示數(shù)據(jù)輸出給圖像數(shù)據(jù)處理單元964。
[0611]外部接口單元966例如由USB輸入/輸出端子等構(gòu)成，并在打印圖像的情況下，連接到打印機(jī)。另外，必要時(shí)，驅(qū)動(dòng)器被連接到外部接口單元966，適當(dāng)?shù)胤湃肟刹鹦督橘|(zhì)，比如磁盤或光盤，并在必要時(shí)，安裝從可拆卸介質(zhì)讀取的計(jì)算機(jī)程序。此外，外部接口單元966包括連接到預(yù)定網(wǎng)絡(luò)，比如LAN或因特網(wǎng)的網(wǎng)絡(luò)接口。例如，按照來(lái)自用戶接口單元971的指令，控制單元970可從介質(zhì)驅(qū)動(dòng)器968讀取編碼數(shù)據(jù)，把讀取的編碼數(shù)據(jù)從外部接口單元968提供給通過(guò)網(wǎng)絡(luò)連接的另一個(gè)設(shè)備。另外，控制單元970可通過(guò)外部接口單元966，獲得通過(guò)網(wǎng)絡(luò)從另一個(gè)設(shè)備供給的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并把獲得的數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。
[0612]作為由介質(zhì)驅(qū)動(dòng)器968驅(qū)動(dòng)的記錄介質(zhì)，例如，使用任意可讀/可寫的可拆卸介質(zhì)，比如磁盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。另外，作為可拆卸介質(zhì)的記錄介質(zhì)的種類是任意的，從而可以是磁帶設(shè)備、磁盤或存儲(chǔ)卡。此外，非接觸式IC(集成電路)卡等可以用作記錄介質(zhì)。
[0613]另外,通過(guò)把介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)結(jié)合在一起,例如，記錄介質(zhì)可由諸如內(nèi)置式硬盤驅(qū)動(dòng)器或SSD(固態(tài)驅(qū)動(dòng)器)之類的不可便攜記錄介質(zhì)構(gòu)成。
[0614]控制單元970是通過(guò)利用CPU構(gòu)成的。存儲(chǔ)單元967保存由控制單元970執(zhí)行的程序，為控制單元970進(jìn)行的處理所必需的各種數(shù)據(jù)等。保存在存儲(chǔ)單元967中的程序由控制單元970在預(yù)定定時(shí)，比如啟動(dòng)成像設(shè)備960時(shí)讀取和執(zhí)行?？刂茊卧?70執(zhí)行程序，從而進(jìn)行各個(gè)單元的控制，以致成像設(shè)備960按照用戶操作工作。
[0615]在按照這種方式構(gòu)成的成像設(shè)備中，在圖像數(shù)據(jù)處理單元964中實(shí)現(xiàn)按照本申請(qǐng)的編碼設(shè)備和解碼設(shè)備(編碼方法和解碼方法)的功能。從而，能夠減少與指定參考圖像的信息相關(guān)的信息的數(shù)量。另外，其中與指定參考圖像的信息相關(guān)的信息的數(shù)量被減小的編碼流能夠被解碼。
[0616]〈分層編碼的應(yīng)用例子〉
[0617](第一系統(tǒng))
[0618]下面說(shuō)明分層編碼(可縮放地編碼)的可縮放編碼數(shù)據(jù)的具體使用例子。和圖67中圖解所示的例子中一樣，可縮放編碼例如用于選擇待傳送的數(shù)據(jù)。
[0619]在圖67中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000中，分發(fā)服務(wù)器1002讀取保存在可縮放編碼數(shù)據(jù)存儲(chǔ)單元1001中的可縮放編碼數(shù)據(jù)，并經(jīng)網(wǎng)絡(luò)1003，把讀取的可縮放編碼數(shù)據(jù)分發(fā)給終端設(shè)備，比如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006或移動(dòng)電話機(jī)1007。
[0620]此時(shí)，分發(fā)服務(wù)器1002按照終端設(shè)備的能力、通信環(huán)境等，選擇并傳送具有適當(dāng)質(zhì)量的編碼數(shù)據(jù)。即使當(dāng)分發(fā)服務(wù)器1002傳送質(zhì)量不必要地高的數(shù)據(jù)時(shí)，在終端設(shè)備中也不能獲得高質(zhì)量圖像，并且存在可能導(dǎo)致延遲或上溢的發(fā)生的顧慮。另外，存在會(huì)不必要地占據(jù)通信帶寬，或者會(huì)不必要地增大終端設(shè)備的負(fù)荷的顧慮。相反，當(dāng)分發(fā)服務(wù)器1002傳送質(zhì)量不必要地低的數(shù)據(jù)時(shí)，存在在終端設(shè)備中不能獲得具有足夠畫質(zhì)的圖像的顧慮。從而，分發(fā)服務(wù)器1002適當(dāng)?shù)刈x取和傳送保存在可縮放編碼數(shù)據(jù)單元1001中的可縮放編碼數(shù)據(jù)，作為具有適合于終端設(shè)備的能力、通信環(huán)境等的質(zhì)量的編碼數(shù)據(jù)。
[0621]例如，假定可縮放編碼數(shù)據(jù)存儲(chǔ)單元1001保存按照可縮放方式編碼的可縮放編碼數(shù)據(jù)(BL+EL) 1011。該可縮放編碼數(shù)據(jù)(BL+EL) 1011是包括基本層和增強(qiáng)層的編碼數(shù)據(jù)，并且是通過(guò)解碼可縮放編碼數(shù)據(jù)能夠從其獲得基本層的圖像和增強(qiáng)層的圖像的數(shù)據(jù)。
[0622]分發(fā)服務(wù)器1002按照傳送數(shù)據(jù)的終端的能力、通信環(huán)境等，選擇適當(dāng)層，并讀取該層的數(shù)據(jù)。例如，對(duì)于具有高處理能力的個(gè)人計(jì)算機(jī)1004或平板設(shè)備1006，分發(fā)服務(wù)器1002從可縮放編碼數(shù)據(jù)存儲(chǔ)單元1001，讀取高質(zhì)量的可縮放編碼數(shù)據(jù)(BL+EL) 1011，并原樣傳送該可縮放編碼數(shù)據(jù)。相反，例如，對(duì)于具有低處理能力的AV設(shè)備1005和移動(dòng)電話機(jī)1007，分發(fā)服務(wù)器1002從可縮放編碼數(shù)據(jù)(BL+EL)1011中，提取基本層的數(shù)據(jù)，并傳送內(nèi)容和可縮放編碼數(shù)據(jù)(BL+EL) 1011相同、但是質(zhì)量比可縮放編碼數(shù)據(jù)(BL+EL)低的可縮放編碼數(shù)據(jù)(BL) 1012。
[0623]如上所述，通過(guò)利用可縮放編碼數(shù)據(jù)，能夠容易地調(diào)整數(shù)據(jù)量。從而，能夠抑制延遲或上溢的發(fā)生，并且能夠抑制終端設(shè)備或通信介質(zhì)的負(fù)荷的不必要增大。另外，在可縮放編碼數(shù)據(jù)(BL+EL)1011中，由于各層之間的冗余被減小，因此與各層的編碼數(shù)據(jù)被配置成單獨(dú)數(shù)據(jù)的情況相比，數(shù)據(jù)量可被減小。因而，能夠更有效地利用可縮放編碼數(shù)據(jù)存儲(chǔ)單元1001的存儲(chǔ)區(qū)。
[0624]另外，類似于個(gè)人計(jì)算機(jī)1004和移動(dòng)電話機(jī)1007，各種設(shè)備可用作終端設(shè)備，從而，終端設(shè)備的硬件的能力隨設(shè)備而不同。此外，由于存在由終端設(shè)備執(zhí)行的各種應(yīng)用程序，因此存在軟件的各種能力。另外，作為充當(dāng)通信介質(zhì)的網(wǎng)絡(luò)1003，可以應(yīng)用所有通信線路網(wǎng)任意之一，包括有線和/或無(wú)線網(wǎng)絡(luò)，比如因特網(wǎng)和LAN(局域網(wǎng))，從而數(shù)據(jù)傳輸能力不同。此外，存在數(shù)據(jù)傳輸能力會(huì)按照其它通信等而變化的顧慮。
[0625]從而，在開(kāi)始數(shù)據(jù)傳輸之前，分發(fā)服務(wù)器1002可以與作為數(shù)據(jù)的傳輸目的地的終端設(shè)備通信，以便獲得關(guān)于該終端設(shè)備的能力的信息，比如所述終端設(shè)備的硬件能力，和所述終端設(shè)備執(zhí)行的應(yīng)用(軟件)的能力，以及關(guān)于通信環(huán)境的信息，比如網(wǎng)絡(luò)1003的可用帶寬等。另外，分發(fā)服務(wù)器1002可被配置成根據(jù)這里獲得的信息，選擇適當(dāng)?shù)膶印?br> [0626]另外，層的提取可由終端設(shè)備進(jìn)行。例如，個(gè)人計(jì)算機(jī)1004可解碼傳送的可縮放編碼數(shù)據(jù)(BL+EL) 1011，并顯示基本層的圖像或增強(qiáng)層的圖像。此外，例如，個(gè)人計(jì)算機(jī)1004可從傳送的可縮放編碼數(shù)據(jù)(BL+EL)1011中，提取基本層的可縮放編碼數(shù)據(jù)(BL) 1012，保存提取的可縮放編碼數(shù)據(jù)，把提取的可縮放編碼數(shù)據(jù)傳送給另一個(gè)設(shè)備，或者解碼提取的可縮放編碼數(shù)據(jù)，從而顯示基本層的圖像。
[0627]這里，顯然可縮放編碼數(shù)據(jù)存儲(chǔ)單元1001，分發(fā)服務(wù)器1002，網(wǎng)絡(luò)1003和終端設(shè)備的數(shù)目都是任意的。在上面的說(shuō)明中，盡管說(shuō)明了其中分發(fā)服務(wù)器1002向終端設(shè)備傳送數(shù)據(jù)的例子，不過(guò)使用例子并不局限于此。數(shù)據(jù)傳輸系統(tǒng)1000可以應(yīng)用于任何系統(tǒng)，只要當(dāng)向終端設(shè)備傳送按可縮放方式編碼的編碼數(shù)據(jù)時(shí)，所述系統(tǒng)按照終端設(shè)備的能力、通信環(huán)境等，選擇適當(dāng)層，并傳送選擇的層即可。
[0628](第二系統(tǒng))
[0629]另外，如圖68中圖解所示的例子中一樣，可縮放編碼用于經(jīng)多種通信介質(zhì)的傳輸。
[0630]在圖68中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100中，廣播站1101通過(guò)地面廣播1111，傳送基本層的可縮放編碼數(shù)據(jù)(BL) 1121。另外，廣播站1101通過(guò)由有線和/或無(wú)線通信網(wǎng)絡(luò)構(gòu)成的任意網(wǎng)絡(luò)1112，傳送增強(qiáng)層的可縮放編碼數(shù)據(jù)(EL) 1122(例如，數(shù)據(jù)被分包和傳送)。
[0631]終端設(shè)備1102具有接收由廣播站1101廣播的地面廣播1111的功能，并接收通過(guò)地面廣播1111傳送的基本層的可縮放編碼數(shù)據(jù)(BL)1121。另外，終端設(shè)備1102還具有通過(guò)網(wǎng)絡(luò)1112進(jìn)行通信的通信功能，并接收通過(guò)網(wǎng)絡(luò)1112傳送的增強(qiáng)層的可縮放編碼數(shù)據(jù)(EL)1122。
[0632]終端設(shè)備1102例如按照用戶指令等，通過(guò)解碼經(jīng)地面廣播1111獲得的基本層的可縮放編碼數(shù)據(jù)(BL) 1121，獲得基本層的圖像，保存獲得的可縮放編碼數(shù)據(jù)，或者把獲得的可縮放編碼數(shù)據(jù)傳送給另一個(gè)設(shè)備。
[0633]另外，終端設(shè)備1102例如按照用戶指令等，組合通過(guò)地面廣播1111獲得的基本層的可縮放編碼數(shù)據(jù)(BL) 1121和通過(guò)網(wǎng)絡(luò)1112獲得的增強(qiáng)層的可縮放編碼數(shù)據(jù)(EL) 1122，從而獲得可縮放編碼數(shù)據(jù)(BL+EL)，解碼所述可縮放編碼數(shù)據(jù)，以獲得增強(qiáng)層的圖像，保存獲得的可縮放編碼數(shù)據(jù)，或者把可縮放編碼數(shù)據(jù)傳送給另一個(gè)設(shè)備。
[0634]如上所述，可以經(jīng)對(duì)每層來(lái)說(shuō)不同的通信介質(zhì)，傳送可縮放編碼數(shù)據(jù)。從而，可以分散負(fù)荷，并且能夠抑制延遲或上溢的發(fā)生。
[0635]另外，取決于狀況，用于傳輸?shù)耐ㄐ沤橘|(zhì)可被配置為針對(duì)每一層進(jìn)行選擇。例如，可配置為通過(guò)具有較大帶寬的通信介質(zhì)，傳送數(shù)據(jù)量較大的基本層的可縮放編碼數(shù)據(jù)(BL) 1121，可通過(guò)帶寬較窄的通信介質(zhì)，傳送數(shù)據(jù)量較小的增強(qiáng)層的可縮放編碼數(shù)據(jù)(EL)1122。另外，例如，按照網(wǎng)絡(luò)1112的可用帶寬，經(jīng)其傳送增強(qiáng)層的可縮放編碼數(shù)據(jù)(EL) 1122的通信介質(zhì)可被配置為在網(wǎng)絡(luò)1112和地面廣播1111之間切換。這類似地適用于任意層的數(shù)據(jù)。
[0636]通過(guò)如此進(jìn)行控制，能夠進(jìn)一步抑制數(shù)據(jù)傳輸負(fù)荷的增大。
[0637]這里，層數(shù)是任意的，用于傳輸?shù)耐ㄐ沤橘|(zhì)的數(shù)目也是任意的。另外，作為數(shù)據(jù)的分發(fā)目的地的終端設(shè)備1102的數(shù)目也是任意的。此外，在上面的說(shuō)明中，盡管舉例說(shuō)明了從廣播站1101進(jìn)行廣播的例子，不過(guò)使用例子并不局限于此。數(shù)據(jù)傳輸系統(tǒng)1100可應(yīng)用于任何系統(tǒng)，只要所述系統(tǒng)以層為單位，把可擴(kuò)展地編碼的編碼數(shù)據(jù)分成多個(gè)部分，并通過(guò)多條線路傳送分割的數(shù)據(jù)即可。
[0638](第三系統(tǒng))
[0639]另外，如圖69中圖解所示的例子中一樣，可縮放編碼數(shù)據(jù)也用于保存編碼數(shù)據(jù)。
[0640]在圖69中圖解所示的成像系統(tǒng)1200中，成像設(shè)備1201進(jìn)行通過(guò)對(duì)被攝物體1211成像而獲得的圖像數(shù)據(jù)的可縮放編碼，并把作為結(jié)果的圖像數(shù)據(jù)作為可縮放編碼數(shù)據(jù)(BL+EL) 1221，提供給可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202。
[0641]可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202以與狀況相應(yīng)的質(zhì)量，保存從成像設(shè)備1201供給的可縮放編碼數(shù)據(jù)(BL+EL)1221。例如在正常時(shí)，可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202從可縮放編碼數(shù)據(jù)(BL+EL)1221中，提取基本層的數(shù)據(jù)，并保存提取的數(shù)據(jù)，作為質(zhì)量低、并且數(shù)據(jù)量小的基本層的可縮放編碼數(shù)據(jù)(BL) 1222。相反，例如在關(guān)注時(shí)，可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202原樣保存質(zhì)量高、且數(shù)據(jù)量大的可縮放編碼數(shù)據(jù)(BL+EL) 1221。
[0642]這樣，可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202可以只有當(dāng)必需時(shí)，才高畫質(zhì)地保存圖像。從而，能夠抑制數(shù)據(jù)量的增大，同時(shí)抑制由圖像質(zhì)量的降低引起的圖像價(jià)值的降低，由此能夠提高存儲(chǔ)區(qū)的使用效率。
[0643]例如，假定成像設(shè)備1201是監(jiān)控相機(jī)。在監(jiān)控對(duì)象(例如入侵者)未出現(xiàn)在拍攝的圖像中(正常時(shí))的情況下，拍攝圖像的內(nèi)容不重要的可能性高，從而，優(yōu)先考慮數(shù)據(jù)量的降低，從而低質(zhì)量地保存圖像數(shù)據(jù)(可縮放編碼數(shù)據(jù))。相反，在監(jiān)控對(duì)象作為被攝物體1211，出現(xiàn)在拍攝的圖像中(關(guān)注時(shí))的情況下，拍攝圖像的內(nèi)容重要的可能性高，從而，優(yōu)先考慮圖像質(zhì)量，從而高質(zhì)量地保存圖像數(shù)據(jù)(可縮放編碼數(shù)據(jù))。
[0644]這里，通過(guò)利用可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202分析圖像，可以判定是正常時(shí)還是關(guān)注時(shí)。另外，可以配置成判定處理由成像設(shè)備1201進(jìn)行，判定結(jié)果被傳送給可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202。
[0645]這里，判定正常時(shí)或關(guān)注時(shí)的判定標(biāo)準(zhǔn)是任意標(biāo)準(zhǔn)，作為判定標(biāo)準(zhǔn)的圖像的內(nèi)容是任意內(nèi)容。另外，除圖像的內(nèi)容之外的條件可被設(shè)定成判定標(biāo)準(zhǔn)。例如，可以按照記錄語(yǔ)音的大小、波形等，改變判定，可以每隔預(yù)定時(shí)間改變判定，或者可以按照從外部供給的指令(比如用戶指令)改變判定。
[0646]另外，在上面的說(shuō)明中，盡管說(shuō)明了其中進(jìn)行正常時(shí)和關(guān)注時(shí)兩種狀態(tài)之間的切換的例子，不過(guò)，狀態(tài)的數(shù)目是任意的。從而，例如，可以配置成以致在3種或者更多種狀態(tài)，包括正常時(shí)，弱關(guān)注時(shí)，關(guān)注時(shí)和強(qiáng)關(guān)注時(shí)之間進(jìn)行切換。然而，在其間進(jìn)行切換的狀態(tài)的上限數(shù)取決于可縮放編碼數(shù)據(jù)的層數(shù)。
[0647]此外，成像設(shè)備1201可被配置成按照狀態(tài)，確定可縮放編碼的層數(shù)。例如，正常時(shí)，成像設(shè)備1201可被配置成生成質(zhì)量低、并且數(shù)據(jù)量小的基本層的可縮放編碼數(shù)據(jù)(BL) 1222，并把生成的可縮放編碼數(shù)據(jù)提供給可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202。另外，例如，關(guān)注時(shí)，成像設(shè)備1201可生成質(zhì)量高、并且數(shù)據(jù)量大的基本層的可縮放編碼數(shù)據(jù)(BL+EL) 1221，并把生成的可縮放編碼數(shù)據(jù)提供給可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202。
[0648]在上面的說(shuō)明中，盡管舉例說(shuō)明了監(jiān)控相機(jī)，不過(guò)，這種成像系統(tǒng)1200的應(yīng)用是任意的，并不局限于監(jiān)控相機(jī)。
[0649]這里，IXU是具有最大大小的⑶(編碼單元)，CTU (編碼樹(shù)單元)是包括IXU的CTB (編碼樹(shù)塊)和在LCU基礎(chǔ)(級(jí))進(jìn)行處理時(shí)的參數(shù)的單元。另外，構(gòu)成CTU的CU是包括CB (編碼塊)和在CU基礎(chǔ)(級(jí))進(jìn)行處理時(shí)的參數(shù)的單元。
[0650]<其它例子>
[0651]盡管上面說(shuō)明了本技術(shù)適用于的設(shè)備、系統(tǒng)等的例子，不過(guò)，本技術(shù)并不局限于此。從而，可以按安裝到所述設(shè)備，或者構(gòu)成所述系統(tǒng)的設(shè)備的所有結(jié)構(gòu)，例如，作為系統(tǒng)LSI (大規(guī)模集成)等的處理器，利用多個(gè)處理器等的模塊，利用多個(gè)模塊等的單元，或者通過(guò)向所述單元增加其它功能而獲得的機(jī)組等(換句話說(shuō)，設(shè)備的一部分的結(jié)構(gòu))的形式，應(yīng)用本技術(shù)。
[0652](視頻機(jī)組的結(jié)構(gòu)例子)
[0653]下面參考圖70，說(shuō)明以機(jī)組的形式，應(yīng)用本技術(shù)的情況的例子。圖70圖解說(shuō)明本技術(shù)適用于的視頻機(jī)組的示意結(jié)構(gòu)的例子。
[0654]最近，電子設(shè)備的多功能化在進(jìn)展中，并且在電子設(shè)備的研發(fā)或制造中，在提供一部分的所述結(jié)構(gòu)，以便銷售、供給等的情況下，不僅存在應(yīng)用具有一種功能的結(jié)構(gòu)的情況，而且廣泛存在應(yīng)用通過(guò)組合具有相關(guān)功能的多種結(jié)構(gòu)而獲得的具有多種功能的一個(gè)機(jī)組的情況。
[0655]圖70中圖解所示的視頻機(jī)組1300具有這樣的多功能結(jié)構(gòu)，是通過(guò)組合具有與圖像編碼或圖像解碼(圖像編碼和/或圖像解碼)相關(guān)的功能的設(shè)備和具有與所述功能相關(guān)的其它功能的設(shè)備獲得的。
[0656]如圖70中圖解所示，視頻機(jī)組1300包括包含視頻模塊1311、外部存儲(chǔ)器1312、電源管理模塊1313、前端模塊1314等的模塊組，和具有連接模塊1321、相機(jī)1322、傳感器1323等的相關(guān)功能的設(shè)備。
[0657]模塊是通過(guò)把彼此相關(guān)的幾個(gè)組件功能布置在一起，以功能具有統(tǒng)一性的組件的形式形成的。盡管具體的物理結(jié)構(gòu)是任意的，不過(guò)例如，可以考慮通過(guò)把都具有某種功能的多個(gè)處理器，諸如電阻器或電容器之類的電子電路組件和其它器件等布置在配線板等上，一致被集成在一起而獲得的模塊。另外，可以考慮通過(guò)組合模塊和其它模塊、處理器等，形成新模塊。
[0658]在圖70中圖解所示的例子中，視頻模塊1311是通過(guò)結(jié)合具有與圖像處理相關(guān)的功能的結(jié)構(gòu)而獲得的，包括:應(yīng)用處理器；視頻處理器；寬帶調(diào)制解調(diào)器1333 ;和RF模塊1334。
[0659]通過(guò)以SoC(片上系統(tǒng))的形式，在半導(dǎo)體芯片上集成具有預(yù)定功能的結(jié)構(gòu)，獲得處理器，例如，還存在稱為系統(tǒng)LSI (大規(guī)模集成)等的處理器。具有預(yù)定功能的結(jié)構(gòu)可以是邏輯電路(硬件結(jié)構(gòu))，包括CPU、ROM、RAM等和利用它們執(zhí)行的程序(軟件結(jié)構(gòu))的結(jié)構(gòu)，或者組合上述兩種結(jié)構(gòu)的結(jié)構(gòu)。例如，可以這樣構(gòu)成，以致處理器包括邏輯電路、CPU、R0M、RAM等，一些功能由邏輯電路(硬件結(jié)構(gòu))實(shí)現(xiàn)，而其它功能由CPU執(zhí)行的程序(軟件結(jié)構(gòu))實(shí)現(xiàn)。
[0660]圖70中圖解所示的應(yīng)用處理器1331是執(zhí)行與圖像處理相關(guān)的應(yīng)用的處理器。為了實(shí)現(xiàn)預(yù)定功能，由應(yīng)用處理器1331執(zhí)行的應(yīng)用不僅可進(jìn)行計(jì)算處理，而且可在必要時(shí)，控制在視頻模塊1311之內(nèi)和之外的結(jié)構(gòu)，比如視頻處理器1332。
[0661]視頻處理器1332是具有與圖像編碼和圖像解碼(圖像編碼和/或圖像解碼)相關(guān)的功能的處理器。
[0662]寬帶調(diào)制解調(diào)器1333是與通過(guò)寬帶線路，比如因特網(wǎng)或公共電話網(wǎng)，進(jìn)行的有線或無(wú)線(或者有線和無(wú)線)寬帶通信相關(guān)的處理器(或模塊)。例如，寬帶調(diào)制解調(diào)器1333通過(guò)數(shù)字調(diào)制等，把待傳送的數(shù)據(jù)(數(shù)字信號(hào))轉(zhuǎn)換成模擬信號(hào)，或者解調(diào)接收的模擬信號(hào)，以便轉(zhuǎn)換成數(shù)據(jù)(數(shù)字信號(hào))。例如，寬帶調(diào)制解調(diào)器1333可以進(jìn)行任意信息，比如由視頻處理器1332處理的圖像數(shù)據(jù)，其中圖像數(shù)據(jù)被編碼的碼流，應(yīng)用程序和設(shè)定數(shù)據(jù)的數(shù)字調(diào)制/解調(diào)。
[0663]RF模塊1334是對(duì)通過(guò)天線傳送/接收的RF(射頻)信號(hào)，進(jìn)行頻率轉(zhuǎn)換、調(diào)制/解調(diào)、放大、濾波處理等的模塊。例如，RF模塊1334通過(guò)對(duì)由寬帶調(diào)制解調(diào)器1333生成的專線連接系統(tǒng)信號(hào)進(jìn)行頻率轉(zhuǎn)換等，生成RF信號(hào)。另外，例如，RF模塊1334通過(guò)對(duì)經(jīng)前端模塊1314接收的RF信號(hào)進(jìn)行頻率轉(zhuǎn)換等，生成專線連接系統(tǒng)信號(hào)。
[0664]另外，如用圖70中的虛線1341所示，應(yīng)用處理器1331和視頻處理器1332可被一體化，以致被構(gòu)成為一個(gè)處理器。
[0665]外部存儲(chǔ)器1312是布置在視頻模塊1311之外，包括由視頻模塊1311使用的存儲(chǔ)器件的模塊。外部存儲(chǔ)器1312的存儲(chǔ)器件由某種物理結(jié)構(gòu)實(shí)現(xiàn)。不過(guò)，一般來(lái)說(shuō)，由于存儲(chǔ)器件常常用于保存大容量的數(shù)據(jù)，比如以幀為單位構(gòu)成的圖像數(shù)據(jù)，因此存儲(chǔ)器件最好用成本較低的大容量半導(dǎo)體存儲(chǔ)器，比如DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)實(shí)現(xiàn)。
[0666]電源管理模塊1313管理并控制對(duì)視頻模塊1311(視頻模塊1311內(nèi)的各種構(gòu)成)的供電。
[0667]前端模塊1314是向RF模塊1334提供前端功能(在天線側(cè)的傳輸/接收端電路)的模塊。如圖70中圖解所示，前端模塊1314例如包括天線單元1351、濾波器1352和放大單元1353。
[0668]天線單元1351包括傳送/接收無(wú)線信號(hào)的天線及其周邊結(jié)構(gòu)。天線單元1351以無(wú)線信號(hào)的形式，傳送從放大單元1353供給的信號(hào)，并以電信號(hào)(RF信號(hào))的形式，把接收的無(wú)線信號(hào)提供給濾波器1352。濾波器1352對(duì)通過(guò)天線單元1351接收的RF信號(hào)，進(jìn)行濾波處理等，并把處理后的RF信號(hào)提供給RF模塊1334。放大單元1353放大從RF模塊1334供給的RF信號(hào)，并把放大后的RF信號(hào)提供給天線單元1351。
[0669]連接模塊1321是具有與和外部的連接相關(guān)的功能的模塊。連接模塊1321的物理結(jié)構(gòu)是任意的。例如，連接模塊1321包括具有除寬帶調(diào)制解調(diào)器1333對(duì)應(yīng)于的通信規(guī)范以外的通信功能的結(jié)構(gòu)、外部輸入/輸出端子等。
[0670]例如，連接模塊1321可被配置成包括具有符合無(wú)線通信規(guī)范，比如藍(lán)牙(注冊(cè)商標(biāo))、IEEE 802.11 (例如，W1-Fi (無(wú)線保真;注冊(cè)商標(biāo)))、NFC(近場(chǎng)通信)和IrDA(紅外數(shù)據(jù)轉(zhuǎn)會(huì))的通信功能的模塊，和傳送/接收符合所述規(guī)范的信號(hào)的天線。另外，例如，連接模塊1321可被配置成包括具有符合有線通信規(guī)范，比如USB (通用串行總線)和HDMI (注冊(cè)商標(biāo))(高清多媒體接口)的通信功能的模塊，和符合所述規(guī)范的端子。此外，例如，連接模塊1321可被配置成具有模擬輸入/輸出端子等的另外的數(shù)據(jù)(信號(hào))傳輸功能等。
[0671]另外，連接模塊1321可被配置成包括作為數(shù)據(jù)(信號(hào))的傳輸目的地的設(shè)備。例如，連接模塊1321可被配置成包括對(duì)記錄介質(zhì)，比如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器進(jìn)行數(shù)據(jù)讀取或數(shù)據(jù)寫入的驅(qū)動(dòng)器(不僅包括可拆卸介質(zhì)的驅(qū)動(dòng)器，而且包括硬盤、SSD (固態(tài)驅(qū)動(dòng)器)、NAS (網(wǎng)絡(luò)附加存儲(chǔ)器)等)。此外，連接模塊1321可被配置成包括圖像或音頻的輸出設(shè)備(監(jiān)視器、揚(yáng)聲器等)。
[0672]相機(jī)1322是具有通過(guò)對(duì)被攝物體成像，獲得被攝物體的圖像數(shù)據(jù)的功能的模塊。利用相機(jī)1322進(jìn)行的成像處理獲得的圖像數(shù)據(jù)被提供給視頻處理器1332，并被編碼。
[0673]傳感器1323是具有任意傳感器，比如音頻傳感器、超聲波傳感器、光傳感器、照度傳感器、紅外傳感器、圖像傳感器、旋轉(zhuǎn)傳感器、角傳感器、角速度傳感器、速度傳感器、加速度傳感器、傾斜傳感器、磁性標(biāo)識(shí)傳感器、沖擊傳感器或溫度傳感器的功能的模塊。由傳感器1323檢測(cè)的數(shù)據(jù)被提供給應(yīng)用處理器1331，并由應(yīng)用等使用。
[0674]在上面的說(shuō)明中，描述成模塊的各個(gè)結(jié)構(gòu)可用處理器實(shí)現(xiàn)，描述成處理器的各個(gè)結(jié)構(gòu)可用模塊實(shí)現(xiàn)。
[0675]如后所述，本技術(shù)可適用于具有如上所述的結(jié)構(gòu)的視頻機(jī)組1300的視頻處理器1332。因而，視頻機(jī)組1300可被配置成本技術(shù)適用于的裝置。
[0676](視頻處理器的結(jié)構(gòu)例子)
[0677]圖71圖解說(shuō)明本技術(shù)適用于的視頻處理器1332(圖70)的示意結(jié)構(gòu)的例子。
[0678]在圖71中圖解所示的例子中，視頻處理器1332具有接收視頻信號(hào)和音頻信號(hào)的輸入，并按照預(yù)定方式對(duì)接收的信號(hào)編碼的功能，和對(duì)編碼的視頻數(shù)據(jù)和編碼的音頻數(shù)據(jù)解碼，并再現(xiàn)和輸出視頻信號(hào)和音頻信號(hào)的功能。
[0679]如圖71中圖解所示，視頻處理器1332包括視頻輸入處理單元1401 ;第一圖像放大/縮小單元1402 ;第二圖像放大/縮小單元1403 ;視頻輸出處理單元1404 ;幀存儲(chǔ)器1405 ;和存儲(chǔ)控制單元1406。另外，視頻處理器1332包括:編碼/解碼引擎1407 ;視頻ES (基本碼流)緩沖器1408A和1408B,和音頻ES緩沖器1409A和1409B。另外，視頻處理器1332包括:音頻編碼器1410 ;音頻解碼器1411 ;復(fù)用器(MUX) 1412 ;分用器(DMUX) 1413 ；和流緩沖器1414。
[0680]例如，視頻輸入處理單元1401獲得從連接模塊1321 (圖70)等輸入的視頻信號(hào)，把獲得的視頻信號(hào)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。第一圖像放大/縮小單元1402對(duì)圖像數(shù)據(jù)進(jìn)行格式變換和圖像放大/縮小處理。對(duì)于圖像數(shù)據(jù)，第二圖像放大/縮小單元1403按照經(jīng)由視頻輸出處理單元1404的輸出目的地的格式，進(jìn)行圖像放大/縮小處理，或者進(jìn)行與第一圖像放大/縮小單元1402類似的格式變換和圖像放大/縮小處理等。視頻輸出處理單元1404對(duì)圖像數(shù)據(jù)進(jìn)行格式變換，到模擬信號(hào)的轉(zhuǎn)換等，并把結(jié)果信號(hào)作為再現(xiàn)視頻信號(hào)，輸出給連接模塊1321 (圖70)等。
[0681]幀存儲(chǔ)器1405是由視頻輸入處理單元1401、第一圖像放大/縮小單元1402、第二圖像放大/縮小單元1403、視頻輸出處理單元1404和編碼/解碼引擎1407共用的圖像數(shù)據(jù)用存儲(chǔ)器。幀存儲(chǔ)器1405被實(shí)現(xiàn)成諸如DRAM之類的半導(dǎo)體存儲(chǔ)器。
[0682]存儲(chǔ)控制單元1406接收從編碼/解碼引擎1407供給的同步信號(hào)，并按照寫入存取管理表1406A中的對(duì)幀存儲(chǔ)器1405的存取時(shí)間表，控制對(duì)幀存儲(chǔ)器1405的存取，以便寫入/讀取。存儲(chǔ)控制單元1406按照編碼/解碼引擎1407、第一圖像放大/縮小單元1402、第二圖像放大/縮小單元1403等進(jìn)行的處理，更新存取管理表1406A。
[0683]編碼/解碼引擎1407進(jìn)行圖像數(shù)據(jù)的編碼處理，并進(jìn)行通過(guò)編碼圖像數(shù)據(jù)而獲得的視頻流的解碼處理。例如，編碼/解碼引擎1407編碼從幀存儲(chǔ)器1405讀取的圖像數(shù)據(jù)，并把讀取的圖像數(shù)據(jù)作為視頻流，順序?qū)懭胍曨lES緩沖器1408A。另外，例如，編碼/解碼引擎1407順序從視頻ES緩沖器1408B讀取視頻流，解碼讀取的視頻流，然后把解碼的視頻流作為圖像數(shù)據(jù)，順序?qū)懭霂鎯?chǔ)器1405。編碼/解碼引擎1407利用幀存儲(chǔ)器1405作為這種編碼或解碼處理中的工作區(qū)。另外，例如在開(kāi)始各個(gè)宏塊的處理之際，編碼/解碼引擎1407向存儲(chǔ)控制單元1406輸出同步信號(hào)。
[0684]視頻ES緩沖器1408A緩存由編碼/解碼引擎1407生成的視頻流，并把該視頻流提供給復(fù)用器(MUX) 1412。視頻ES緩沖器1408B緩存從分用器(DMUX) 1413供給的視頻流，并把該視頻流提供給編碼/解碼引擎1407。
[0685]音頻ES緩沖器1409A緩存由音頻編碼器1410生成的音頻流，并把該音頻流提供給復(fù)用器(MUX) 1412。音頻ES緩沖器1409B緩存從分用器(DMUX) 1413供給的音頻流，并把該音頻流提供給音頻解碼器1411。
[0686]音頻編碼器1410把例如從連接模塊1321 (圖70)等輸入的音頻信號(hào)轉(zhuǎn)換成例如數(shù)字信號(hào)，并按照諸如MPEG音頻方式或AC3 (音頻編碼號(hào)3)方式，對(duì)轉(zhuǎn)換后的音頻信號(hào)編碼。音頻編碼器1410把作為通過(guò)對(duì)音頻信號(hào)編碼而獲得的數(shù)據(jù)的音頻流，順序?qū)懭胍纛lES緩沖器1409A。音頻解碼器1411對(duì)從音頻ES緩沖器1409B供給的音頻流解碼，把解碼音頻流轉(zhuǎn)換成模擬信號(hào)等，并把轉(zhuǎn)換后的信號(hào)，作為再現(xiàn)音頻信號(hào)提供給例如連接模塊1321(圖 70)等。
[0687]復(fù)用器(MUX) 1412復(fù)用視頻流和音頻流。復(fù)用方法(換句話說(shuō)，通過(guò)復(fù)用生成的比特流的格式)是任意的。另外，在復(fù)用之際，復(fù)用器(MUX) 1412可向比特流中加入預(yù)定頭部信息等。換句話說(shuō)，復(fù)用器(MUX) 1412可通過(guò)復(fù)用處理，轉(zhuǎn)換流的格式。例如，通過(guò)復(fù)用視頻流和音頻流，復(fù)用器(MUX) 1412把視頻流和音頻流轉(zhuǎn)換成作為具有傳輸用格式的比特流的傳輸流。另外，例如，通過(guò)復(fù)用視頻流和音頻流，復(fù)用器(MUX) 1412把視頻流和音頻流轉(zhuǎn)換成具有記錄用格式的數(shù)據(jù)(文件數(shù)據(jù))。
[0688]分用器(DMUX) 1413利用與復(fù)用器(MUX) 1412進(jìn)行的復(fù)用處理對(duì)應(yīng)的方法，分用其中復(fù)用視頻流和音頻流的比特流。換句話說(shuō)，分用器(DMUX) 1413從讀取自流緩沖器1414的比特流中，提取視頻流和音頻流(視頻流和音頻流被分離)。換句話說(shuō)，分用器(DMUX) 1413可通過(guò)分用處理，轉(zhuǎn)換流的格式(復(fù)用器(MUX) 1412進(jìn)行的變換的逆變換)。例如，分用器(DMUX) 1413通過(guò)流緩沖器1414，獲得例如從連接模塊1321(圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等供給的傳輸流，分用獲得的傳輸流，從而把傳輸流轉(zhuǎn)換成視頻流和音頻流。另外，例如，分用器(DMUX) 1413通過(guò)流緩沖器1414，獲得利用連接模塊1321 (圖70)從各種記錄介質(zhì)讀取的文件數(shù)據(jù)，分用獲得的文件數(shù)據(jù)，從而把文件數(shù)據(jù)轉(zhuǎn)換成視頻流和音頻流。
[0689]流緩沖器1414緩存比特流。例如，流緩沖器1414緩存從復(fù)用器(MUX) 1412供給的傳輸流，并在預(yù)定定時(shí)，或者根據(jù)從外部傳送的請(qǐng)求，把傳輸流提供給例如連接模塊1321(圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等。
[0690]另外，流緩沖器1414緩存從復(fù)用器(MUX) 1412供給的文件數(shù)據(jù)，并在預(yù)定定時(shí)，或者根據(jù)從外部傳送的請(qǐng)求，把文件數(shù)據(jù)提供給例如連接模塊1321(圖70)等。
[0691]此外，流緩沖器1414緩存例如通過(guò)連接模塊1321(圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等獲得的傳輸流，并在預(yù)定定時(shí)，或者根據(jù)來(lái)自外部的請(qǐng)求等，把傳輸流提供給分用器(DMUX) 1413。
[0692]另外，流緩沖器1414緩存例如由連接模塊1321(圖70)等從各種記錄介質(zhì)讀取的文件數(shù)據(jù)，并在預(yù)定定時(shí)，或者根據(jù)來(lái)自外部的請(qǐng)求等，把文件數(shù)據(jù)提供給分用器(DMUX)1413。
[0693]下面，說(shuō)明具有這種結(jié)構(gòu)的視頻處理器1332的操作例子。例如，從連接模塊1321 (圖70)等輸入視頻處理器1332的視頻信號(hào)由視頻輸入處理單元1401，按照諸如4:2:2Y/Cb/Cr方式之類的預(yù)定方式，轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，隨后被順序?qū)懭霂鎯?chǔ)器1405中。該數(shù)字圖像數(shù)據(jù)被第一圖像放大/縮小單元1402或第二圖像放大/縮小單元1403讀取，對(duì)所述數(shù)字圖像數(shù)據(jù)進(jìn)行到諸如4:2:0Y/Cb/Cr方式之類的預(yù)定方式的格式變換，和放大/縮小處理，處理后的數(shù)字圖像數(shù)據(jù)被寫入幀存儲(chǔ)器1405中。該圖像數(shù)據(jù)被編碼/解碼引擎1407編碼，然后作為視頻流，被寫入視頻ES緩沖器1408A中。
[0694]另外，從連接模塊1321 (圖70)等輸入視頻處理器1332的音頻信號(hào)被音頻編碼器1410編碼，隨后作為音頻流被寫入音頻ES緩沖器1409A中。
[0695]保存在視頻ES緩沖器1408A中的視頻流和保存在音頻ES緩沖器1409A中的音頻流被復(fù)用器(MUX) 1412讀取，被復(fù)用，并被轉(zhuǎn)換成傳輸流、文件數(shù)據(jù)等。由復(fù)用器(MUX) 1412生成的傳輸流被緩存在流緩沖器1414中，隨后例如通過(guò)連接模塊1321 (圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等被輸出到外部網(wǎng)絡(luò)。另外，由復(fù)用器(MUX) 1412生成的文件數(shù)據(jù)被緩存在流緩沖器1414中，隨后被輸出給例如連接模塊1321(圖70)等，然后被記錄在各種記錄介質(zhì)任意之一中。
[0696]另外，通過(guò)連接模塊1321(圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等，從外部網(wǎng)絡(luò)輸入視頻處理器1332的傳輸流被緩存在流緩沖器1414中，隨后被分用器(DMUX) 1413分用。另外，利用連接模塊1321(圖70)等，從各種記錄介質(zhì)任意之一讀取，并被輸入視頻處理器1332的文件數(shù)據(jù)被緩存在流緩沖器1414中，隨后被分用器(DMUX) 1413分用。換句話說(shuō)，輸入視頻處理器1332的傳輸流或文件數(shù)據(jù)被分用器(DMUX) 1413分離成視頻流和音頻流。
[0697]音頻流通過(guò)音頻ES緩沖器1409B，被提供給音頻解碼器1411，然后被解碼，從而再現(xiàn)音頻信號(hào)。另外，視頻流被寫入視頻ES緩沖器1408B中，隨后被編碼/解碼引擎1407順序讀取，被解碼，然后被寫入幀存儲(chǔ)器1405中。解碼的圖像數(shù)據(jù)被第二圖像放大/縮小單元1403放大或縮小，然后被寫入幀存儲(chǔ)器1405中。隨后，解碼的圖像數(shù)據(jù)被視頻輸出處理單元1404讀取，把格式轉(zhuǎn)換成諸如4:2:2Y/Cb/Cr方式之類的預(yù)定方式，然后被進(jìn)一步轉(zhuǎn)換成模擬信號(hào)，從而視頻信號(hào)被再現(xiàn)和輸出。
[0698]在把本技術(shù)應(yīng)用于如此構(gòu)成的視頻處理器1332的情況下，按照上述各個(gè)實(shí)施例的本技術(shù)可適用于編碼/解碼引擎1407。換句話說(shuō)，編碼/解碼引擎1407可被配置成具有編碼設(shè)備10或解碼設(shè)備110的功能。另外，例如，編碼/解碼引擎1407可被配置成具有編碼設(shè)備150和解碼設(shè)備170，編碼設(shè)備190和解碼設(shè)備210，或者編碼設(shè)備230和解碼設(shè)備270的功能。此外，例如，編碼/解碼引擎1407可被配置成具有多視點(diǎn)圖像編碼設(shè)備600和多視點(diǎn)圖像解碼設(shè)備610的功能。通過(guò)如此構(gòu)成，視頻處理器1332可獲得和上面參考圖1-61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0699]另外，在編碼/解碼引擎1407中，本技術(shù)(換句話說(shuō)，按照上述各個(gè)實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能)可利用諸如邏輯電路之類的硬件實(shí)現(xiàn)，可利用諸如內(nèi)置程序之類的軟件實(shí)現(xiàn)，或者可利用硬件和軟件兩者實(shí)現(xiàn)。
[0700](視頻處理器的另一種結(jié)構(gòu)例子)
[0701]圖72是圖解說(shuō)明本技術(shù)適用于的視頻處理器1332(圖70)的示意結(jié)構(gòu)的另一個(gè)例子的示圖。在圖72中圖解所示的例子的情況下，視頻處理器1332具有按照預(yù)定方式，編碼/解碼視頻數(shù)據(jù)的功能。
[0702]更具體地，如圖72中圖解所示，視頻處理器1332包括:控制單元1511 ;顯示接口1512 ;顯示引擎1513 ;圖像處理引擎1514 ;和內(nèi)部存儲(chǔ)器1515。另外，視頻處理器1332包括:編解碼器引擎1516;存儲(chǔ)接口 1517;復(fù)用器/分用器(MUX DMUX) 1518 ;網(wǎng)絡(luò)接口 1519;和視頻接口 1520。
[0703]控制單元1511控制布置在視頻處理器1332內(nèi)的處理單元，比如顯示接口 1512、顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516的操作。
[0704]如圖72中圖解所示，例如，控制單元1511包括主CPU 1531、副CPU 1532和系統(tǒng)控制器1533。主CPU 1531執(zhí)行用于控制布置在視頻處理器1332內(nèi)的各個(gè)處理單元的操作的程序。主CPU 1531按照所述程序等，生成控制信號(hào)，并把控制信號(hào)提供給各個(gè)處理單元(換句話說(shuō)，控制各個(gè)處理單元的操作)。副CPU 1532完成主CPU 1531的輔助作用。例如，副CPU 1532執(zhí)行主CPU 1531執(zhí)行的程序的子處理、子例程等。系統(tǒng)控制器1533控制主CPU1531和副CPU 1532的操作，比如將由主CPU 1531和副CPU 1532執(zhí)行的程序的指定。
[0705]在控制單元1511的控制下，顯示接口 1512把圖像數(shù)據(jù)輸出給例如連接模塊1321(圖70)等。例如，顯示接口 1512把作為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)，并把圖像數(shù)據(jù)作為再現(xiàn)的視頻信號(hào)，或者作為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)，輸出給連接模塊1321(圖70)的監(jiān)視設(shè)備等。
[0706]在控制單元1511的控制下，顯示引擎1513對(duì)圖像數(shù)據(jù)進(jìn)行諸如格式變換、尺寸變換和色域變換之類的各種變換處理，以便調(diào)整成與顯示圖像的監(jiān)視設(shè)備等的硬件規(guī)范一致。
[0707]在控制單元1511的控制下，圖像處理引擎1514對(duì)圖像數(shù)據(jù)進(jìn)行諸如改善圖像質(zhì)量的濾波處理之類的預(yù)定圖像處理。
[0708]內(nèi)部存儲(chǔ)器1515是布置在視頻處理器1332內(nèi)的由顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516共用的存儲(chǔ)器。例如，內(nèi)部存儲(chǔ)器1515用于在顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516之間進(jìn)行的數(shù)據(jù)交換。例如，內(nèi)部存儲(chǔ)器1515保存從顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516供給的數(shù)據(jù)，和在必要時(shí)(例如，按照請(qǐng)求)，把數(shù)據(jù)提供給顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516。盡管所述內(nèi)部存儲(chǔ)器1515可用任何存儲(chǔ)器件實(shí)現(xiàn)，不過(guò)一般來(lái)說(shuō)，內(nèi)部存儲(chǔ)器1515常常用于保存容量較小的數(shù)據(jù)，比如以塊為單位構(gòu)成的圖像數(shù)據(jù)，或者參數(shù)，因而，它最好用容量較小(例如，與外部存儲(chǔ)器1312相比)，并且響應(yīng)速度高的半導(dǎo)體存儲(chǔ)器，比如SRAM(靜態(tài)隨機(jī)存取存儲(chǔ)器)實(shí)現(xiàn)。
[0709]編解碼器引擎1516進(jìn)行與編碼或解碼圖像數(shù)據(jù)相關(guān)的處理。編解碼器引擎1516對(duì)應(yīng)于的編碼/解碼方式是任意的，其數(shù)目可以是一種或兩種或更多種。例如，編解碼器引擎1516可包括多個(gè)編碼/解碼方式的編解碼器功能，并通過(guò)利用所述多種編碼/解碼方式中的所選一種編碼/解碼方式，進(jìn)行圖像數(shù)據(jù)的編碼或者編碼的圖像數(shù)據(jù)的解碼。
[0710]在圖72中圖解所示的例子中，作為與編解碼器相關(guān)的處理的功能塊，編解碼器引擎 1516 例如包括 MPEG-2Video 154UAVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可縮放)1544、HEVC/H.265 (多視點(diǎn))1545 和 MPEG-DASH 1551。
[0711 ] MPEG-2Video 1541是用于按照MPEG-2方式對(duì)圖像數(shù)據(jù)編碼或解碼的功能塊。AVC/H.2641542是用于按照AVC方式對(duì)圖像數(shù)據(jù)編碼或解碼的功能塊。另外，HEVC/H.2651543是用于按照HEVC方式對(duì)圖像數(shù)據(jù)編碼或解碼的功能塊。HEVC/H.265 (可縮放)1544是用于按照HEVC方式對(duì)圖像數(shù)據(jù)進(jìn)行可縮放編碼或可擴(kuò)展解碼的功能塊。HEVC/H.265 (多視點(diǎn))1545是用于按照HEVC方式對(duì)圖像數(shù)據(jù)進(jìn)行多視點(diǎn)編碼或多視點(diǎn)解碼的功能塊。
[0712]MPEG-DASH 1551是用于按照MPEG-DASH (MPEG-基于HTTP的動(dòng)態(tài)自適應(yīng)流式傳輸)方式，傳送/接收?qǐng)D像數(shù)據(jù)的功能塊。MPEG-DASH是一種通過(guò)利用HTTP(超文本傳輸協(xié)議)，流式傳輸視頻的技術(shù)，具有以片段為單位，從預(yù)先準(zhǔn)備的分辨率等彼此不同的多個(gè)編碼數(shù)據(jù)之中，選擇并傳送一個(gè)編碼數(shù)據(jù)的特征。MPEG-DASH 1551進(jìn)行符合規(guī)范的流的生成，流傳輸控制等，并利用上面說(shuō)明的MPEG-2Videol541或HEVC/H.265 (多視點(diǎn))1545編碼
/解碼圖像數(shù)據(jù)。
[0713]存儲(chǔ)接口 1517是用于外部存儲(chǔ)器1312的接口。從圖像處理引擎1514或編解碼器引擎1516供給的數(shù)據(jù)通過(guò)存儲(chǔ)接口 1517，被提供給外部存儲(chǔ)器1312。另外，從外部存儲(chǔ)器1312讀取的數(shù)據(jù)通過(guò)存儲(chǔ)接口 1517，被提供給視頻處理器1332(圖像處理引擎1514或編解碼器引擎1516)。
[0714]復(fù)用器/分用器(MUX DMUX) 1518復(fù)用或分用與圖像相關(guān)的各種數(shù)據(jù)，比如編碼數(shù)據(jù)的比特流、圖像數(shù)據(jù)或視頻信號(hào)。復(fù)用/分用方法是任意的。例如，在復(fù)用處理之際，復(fù)用器/分用器(MUX DMUX) 1518不僅可把多個(gè)數(shù)據(jù)布置成一個(gè)數(shù)據(jù)，而且還可向該數(shù)據(jù)中添加預(yù)定的頭部信息。另外，在分用處理之際，復(fù)用器/分用器(MUX DMUX)1518不僅可把一個(gè)數(shù)據(jù)分成多個(gè)部分，而且還可向分割后的數(shù)據(jù)中添加預(yù)定的頭部信息等。換句話說(shuō)，復(fù)用器/分用器(MUX DMUX) 1518可通過(guò)復(fù)用/分用處理，轉(zhuǎn)換數(shù)據(jù)的格式。例如，復(fù)用器/分用器(MUX DMUX) 1518可通過(guò)復(fù)用比特流，把比特流轉(zhuǎn)換成為傳輸用格式的傳輸流，或者為記錄用文件格式的數(shù)據(jù)(文件數(shù)據(jù))。顯然，通過(guò)分用處理，可以進(jìn)行逆變換。
[0715]網(wǎng)絡(luò)接口 1519是諸如寬帶調(diào)制解調(diào)器1333(圖70)或者連接模塊1321(圖70)之類的專用接口。視頻接口 1520是諸如連接模塊1321(圖70)或相機(jī)1322(圖70)之類的專用接口。
[0716]下面，說(shuō)明這種視頻處理器1332的操作的例子。例如，當(dāng)通過(guò)連接模塊1321(圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等，從外部網(wǎng)絡(luò)收到傳輸流時(shí)，所述傳輸流通過(guò)網(wǎng)絡(luò)接口 1519被提供給復(fù)用器/分用器(MUXDMUX)1518，被分用，并被編解碼器引擎1516解碼。對(duì)于利用編解碼器引擎1516進(jìn)行的解碼處理獲得的圖像數(shù)據(jù)，圖像處理引擎1514進(jìn)行預(yù)定的圖像處理，顯示引擎1513進(jìn)行預(yù)定變換，作為結(jié)果的圖像數(shù)據(jù)通過(guò)顯示接口 1512，被提供給連接模塊1321(圖70)等，從而圖像被顯示在監(jiān)視器上。另外，例如，利用編解碼器引擎1516進(jìn)行的解碼處理獲得的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被復(fù)用器/分用器(MUXDMUX) 1518復(fù)用，被轉(zhuǎn)換成文件數(shù)據(jù)，通過(guò)視頻接口 1520被輸出給例如連接模塊1321 (圖70)等,并被記錄在各種記錄介質(zhì)任意之一上。
[0717]另外，例如，通過(guò)對(duì)利用連接模塊1321(圖70)等，從未在圖中圖示的記錄介質(zhì)讀取的圖像數(shù)據(jù)編碼而獲得的編碼數(shù)據(jù)通過(guò)視頻接口 1520，被提供給復(fù)用器/分用器(MUXDMUX) 1518，被分用，并被編解碼器引擎1516解碼。對(duì)于利用編解碼器引擎1516進(jìn)行的解碼處理獲得的圖像數(shù)據(jù)，圖像處理引擎1514進(jìn)行預(yù)定的圖像處理，顯示單元1513進(jìn)行預(yù)定變換，作為結(jié)果的圖像數(shù)據(jù)通過(guò)顯示接口 1512被提供給例如連接模塊1321(圖70)等，隨后圖像被顯示在監(jiān)視器上。此外，例如，利用編解碼器引擎1516進(jìn)行的解碼處理獲得的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被復(fù)用器/分用器(MUX DMUX)1518復(fù)用，被轉(zhuǎn)換成傳輸流，通過(guò)網(wǎng)絡(luò)接口 1519被提供給例如連接模塊1321 (圖70)、寬帶調(diào)制解調(diào)器1333(圖70)等，隨后被傳送給未在圖中圖示的另一個(gè)設(shè)備。
[0718]另外，利用內(nèi)部存儲(chǔ)器1515或外部存儲(chǔ)器1312，進(jìn)行布置在視頻處理器1332內(nèi)的處理單元之間的圖像數(shù)據(jù)或其它數(shù)據(jù)的互換。另外，電源管理模塊1313例如控制向控制單元1511的供電。
[0719]在把本技術(shù)應(yīng)用于如此構(gòu)成的視頻處理器1332的情況下，按照上述各個(gè)實(shí)施例的本技術(shù)可適用于編解碼器引擎1516。換句話說(shuō)，例如，編解碼器引擎1516可包括實(shí)現(xiàn)編碼設(shè)備10或解碼設(shè)備110的功能塊。另外，例如，編解碼器引擎1516可被配置成包括實(shí)現(xiàn)編碼設(shè)備150和解碼設(shè)備170，編碼設(shè)備190和解碼設(shè)備210，或者編碼設(shè)備230和解碼設(shè)備270的功能塊。此外，例如，編解碼器引擎1516可被配置成包括多視點(diǎn)圖像編碼設(shè)備600和多視點(diǎn)圖像解碼設(shè)備610的功能。通過(guò)如此構(gòu)成，視頻處理器1332可獲得和上面參考圖1-61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0720]另外，在編解碼器引擎1516中，本技術(shù)(換句話說(shuō)，按照上述各個(gè)實(shí)施例的圖像編碼設(shè)備和圖像解碼設(shè)備的功能)可利用諸如邏輯電路之類的硬件實(shí)現(xiàn)，可利用諸如內(nèi)置程序之類的軟件實(shí)現(xiàn)，或者可利用硬件和軟件兩者實(shí)現(xiàn)。
[0721]如上，盡管作為例子說(shuō)明了視頻處理器1332的兩種結(jié)構(gòu)，不過(guò)，視頻處理器1332的結(jié)構(gòu)是任意的，可以是除上述兩種結(jié)構(gòu)外的結(jié)構(gòu)。另外，所述視頻處理器1332可由一個(gè)半導(dǎo)體芯片，或者多個(gè)半導(dǎo)體芯片構(gòu)成。例如，視頻處理器1332可用其中層疊多個(gè)半導(dǎo)體的三維層疊LSI構(gòu)成。另外，視頻處理器1332可用多個(gè)LSI實(shí)現(xiàn)。
[0722](對(duì)設(shè)備的應(yīng)用例子)
[0723]視頻機(jī)組1300可內(nèi)置在處理圖像數(shù)據(jù)的各個(gè)設(shè)備中。例如，視頻機(jī)組1300可內(nèi)置在電視機(jī)900 (圖63)、移動(dòng)電話機(jī)920 (圖64)、記錄和再現(xiàn)設(shè)備940 (圖65)、成像設(shè)備960(圖66)等中。通過(guò)把視頻機(jī)組1300內(nèi)置于其中，所述設(shè)備可獲得與上面參考圖1_61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0724]另外，視頻機(jī)組1300例如可內(nèi)置在圖67中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000的終端設(shè)備，比如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006和移動(dòng)電話機(jī)1007，圖68中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100的廣播站1101和終端設(shè)備1102，和圖69中圖解所示的成像系統(tǒng)1200的成像設(shè)備1201和可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202等中。通過(guò)把視頻機(jī)組1300內(nèi)置于其中，所述設(shè)備可獲得與上面參考圖1-61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0725]此外，上面說(shuō)明的視頻機(jī)組1300的各種結(jié)構(gòu)中的一些結(jié)構(gòu)可以是在其中包括視頻處理器1332的情況下，本技術(shù)適用于的結(jié)構(gòu)。例如，只有視頻處理器1332可被配置成本技術(shù)適用于的視頻處理器。另外，如上所述，用虛線1341表示的處理器、視頻模塊1311等可被配置成本技術(shù)適用于的處理器、模塊等。此外，例如，視頻模塊1311、外部存儲(chǔ)器1312、電源管理模塊1313和前端模塊1314可被結(jié)合，以致被配置成本技術(shù)適用于的視頻單元1361。在所述結(jié)構(gòu)任意之一中，可以獲得和上面參考圖1-61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0726]換句話說(shuō)，類似于視頻機(jī)組1300的情況，包括視頻處理器1332的任何結(jié)構(gòu)可被內(nèi)置在處理圖像數(shù)據(jù)的各種設(shè)備中。例如，視頻處理器1332，用虛線1341表示的處理器和視頻模塊1311，或者視頻單元1361可被內(nèi)置在電視機(jī)900 (圖63)，移動(dòng)電話機(jī)920 (圖64)，記錄和再現(xiàn)設(shè)備940 (圖65)，成像設(shè)備960 (圖66)，圖67中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1000的終端設(shè)備，比如個(gè)人計(jì)算機(jī)1004、AV設(shè)備1005、平板設(shè)備1006和移動(dòng)電話機(jī)1007，圖68中圖解所示的數(shù)據(jù)傳輸系統(tǒng)1100的廣播站1101和終端設(shè)備1102，和圖69中圖解所示的成像系統(tǒng)1200的成像設(shè)備1201和可縮放編碼數(shù)據(jù)存儲(chǔ)設(shè)備1202等中。通過(guò)把本技術(shù)適用于的任何結(jié)構(gòu)內(nèi)置于其中，類似于視頻機(jī)組1300的情況，所述設(shè)備能夠獲得和上面參考圖1-61說(shuō)明的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
[0727]在本說(shuō)明書中，說(shuō)明了其中各種信息被復(fù)用到編碼流中，并且編碼流從編碼側(cè)被傳送給解碼側(cè)的例子。然而，用于傳送信息的技術(shù)并不局限于此。例如，信息可作為與編碼比特流相關(guān)的獨(dú)立數(shù)據(jù)被傳送或記錄，而不被復(fù)用到編碼比特流中。這里，用語(yǔ)“與…相關(guān)”表示包含在比特流中的圖像(切片、塊等；它可以是圖像的一部分)和對(duì)應(yīng)于圖像的信息在解碼處理之際，被相互關(guān)聯(lián)。換句話說(shuō)，所述信息可在與圖像(或者比特流)的傳輸線路不同的傳輸線路上被傳送。此外，所述信息可被記錄在與圖像(或者比特流)的記錄介質(zhì)不同的記錄介質(zhì)(或者相同記錄介質(zhì)的不同存儲(chǔ)區(qū))上。另外，可按任意單位，比如多幀、一幀、或者幀的一部分，相互關(guān)聯(lián)所述信息和圖像(或者比特流)。
[0728]本技術(shù)可適用于像H.26x等中一樣，當(dāng)通過(guò)諸如衛(wèi)星廣播、有線TV、因特網(wǎng)或移動(dòng)電話機(jī)之類的網(wǎng)絡(luò)介質(zhì)傳送和接收通過(guò)諸如離散余弦變換之類的正交變換和運(yùn)動(dòng)補(bǔ)償壓縮的圖像信息(比特流)時(shí)，或者當(dāng)在諸如光盤、磁盤或閃存之類的存儲(chǔ)介質(zhì)上處理壓縮的圖像信息時(shí)使用的設(shè)備。
[0729]另外，本技術(shù)例如可適用于其中以片段為單位，從分辨率等彼此不同的多個(gè)編碼數(shù)據(jù)之中，選擇并使用適當(dāng)?shù)木幋a數(shù)據(jù)的HTTP流式傳輸，比如MPEG DASH。
[0730]此外，按照本技術(shù)的編碼系統(tǒng)可以是除HEVC系統(tǒng)外的編碼系統(tǒng)。
[0731]本技術(shù)的實(shí)施例并不局限于上述實(shí)施例，在不脫離本技術(shù)的原理的范圍中，可以作出各種變化。
[0732]另外，本技術(shù)可具有以下結(jié)構(gòu)。
[0733](I) 一種解碼設(shè)備，包括:
[0734]接收單元，所述接收單元接收在當(dāng)前編碼圖像是GOP (畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像；
[0735]參考圖像設(shè)定單元，所述參考圖像設(shè)定單元在接收單元收到參考信息的情況下，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并在接收單元未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息；和
[0736]預(yù)測(cè)圖像生成單元，所述預(yù)測(cè)圖像生成單元通過(guò)利用由參考圖像設(shè)定單元生成的參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
[0737](2)按照⑴所述的解碼設(shè)備，
[0738]其中在參考信息表示在先圖像的參考圖像指定信息用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，接收單元接收指定在先圖像的在先圖像指定信息，和
[0739]參考圖像設(shè)定單元生成通過(guò)由接收單元接收的在先圖像指定信息指定的在先圖像的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息。
[0740](3)按照⑵所述的解碼設(shè)備，
[0741]其中在參考信息表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，接收單元接收當(dāng)前編碼圖像的參考圖像指定信息，和
[0742]參考圖像設(shè)定單元生成由接收單元接收的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息。
[0743](4)按照(3)所述的解碼設(shè)備，
[0744]其中接收單元接收包括參考信息和在先圖像指定信息或參考圖像指定信息的多個(gè)參考圖像信息，并接收在當(dāng)前編碼圖像是GOP (畫面組)中除第I圖像外的圖像的情況下傳送的、在所述多個(gè)參考圖像信息之中，指定當(dāng)前編碼圖像的參考圖像信息的參考圖像信息指定信息，和
[0745]參考圖像設(shè)定單元根據(jù)包含在通過(guò)由接收單元接收的參考圖像指定信息指定的參考圖像信息中的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息。
[0746](5)按照(4)所述的解碼設(shè)備，
[0747]其中接收單元接收包括參考圖像指定信息的用于第I圖像的參考圖像信息，作為參考圖像信息，并接收在當(dāng)前編碼圖像是GOP (畫面組)的第I圖像的情況下傳送的、指定用于第I圖像的參考圖像信息的參考圖像信息指定信息，和
[0748]參考圖像設(shè)定單元根據(jù)包含在通過(guò)由接收單元接收的參考圖像信息指定信息指定的、用于第I圖像的參考圖像信息中的參考圖像指定信息，生成當(dāng)前解碼圖像的參考圖像指定信息。
[0749](6) 一種解碼方法，所述解碼方法包括借助解碼設(shè)備的以下步驟:
[0750]接收步驟，所述接收步驟接收在當(dāng)前編碼圖像是GOP(畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像；
[0751]參考圖像設(shè)定步驟，所述參考圖像設(shè)定步驟當(dāng)在接收步驟的處理中收到參考信息時(shí)，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并當(dāng)在接收步驟的處理中未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息；和
[0752]預(yù)測(cè)圖像生成步驟，所述預(yù)測(cè)圖像生成步驟通過(guò)利用由在參考圖像設(shè)定步驟的處理中生成的參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
[0753]附圖標(biāo)記列表
[0754]10 編碼設(shè)備
[0755]12 設(shè)定單元
[0756]13 傳輸單元
[0757]33 計(jì)算單元
[0758]47 運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元
[0759]110解碼設(shè)備
[0760]111接收單元
[0761]135加法單元
[0762]144參考圖像設(shè)定單元
[0763]145運(yùn)動(dòng)補(bǔ)償單元
[0764]150編碼設(shè)備
[0765]170解碼設(shè)備
[0766]190編碼設(shè)備
[0767]210解碼設(shè)備
[0768]230編碼設(shè)備
[0769]232設(shè)定單元
[0770]251運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元
[0771]270解碼設(shè)備
[0772]292運(yùn)動(dòng)補(bǔ)償單元
【權(quán)利要求】
1.一種解碼設(shè)備，包括: 接收單元，所述接收單元接收在當(dāng)前編碼圖像是GOP (畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像； 參考圖像設(shè)定單元，所述參考圖像設(shè)定單元在接收單元收到參考信息的情況下，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并在接收單元未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息；和 預(yù)測(cè)圖像生成單元，所述預(yù)測(cè)圖像生成單元通過(guò)利用由參考圖像設(shè)定單元生成的參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
2.按照權(quán)利要求1所述的解碼設(shè)備， 其中在參考信息表示在先圖像的參考圖像指定信息用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，接收單元接收指定在先圖像的在先圖像指定信息，和 參考圖像設(shè)定單元生成通過(guò)由接收單元接收的在先圖像指定信息指定的在先圖像的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息。
3.按照權(quán)利要求2所述的解碼設(shè)備， 其中在參考信息表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的情況下，接收單元接收當(dāng)前編碼圖像的參考圖像指定信息，和 參考圖像設(shè)定單元生成由接收單元接收的參考圖像指定信息，作為當(dāng)前解碼圖像的參考圖像指定信息。
4.按照權(quán)利要求3所述的解碼設(shè)備， 其中接收單元接收包括參考信息和在先圖像指定信息或參考圖像指定信息的多個(gè)參考圖像信息，并接收在當(dāng)前編碼圖像是GOP(畫面組)中除第I圖像外的圖像的情況下傳送的、在所述多個(gè)參考圖像信息之中指定當(dāng)前編碼圖像的參考圖像信息的參考圖像信息指定信息，和 參考圖像設(shè)定單元根據(jù)包含在通過(guò)由接收單元接收的參考圖像指定信息指定的參考圖像信息中的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息。
5.按照權(quán)利要求4所述的解碼設(shè)備， 其中接收單元接收包括參考圖像指定信息的用于第I圖像的參考圖像信息，作為參考圖像信息，并接收在當(dāng)前編碼圖像是GOP(畫面組)的第I圖像的情況下傳送的、指定用于第I圖像的參考圖像信息的參考圖像信息指定信息，和 參考圖像設(shè)定單元根據(jù)包含在通過(guò)由接收單元接收的參考圖像信息指定信息指定的、用于第I圖像的參考圖像信息中的參考圖像指定信息，生成當(dāng)前解碼圖像的參考圖像指定信息。
6.一種解碼方法，所述解碼方法包括借助解碼設(shè)備的以下步驟: 接收步驟，所述接收步驟接收在當(dāng)前編碼圖像是GOP(畫面組)的除第I圖像外的圖像的情況下傳送的參考信息，所述參考信息表示在先圖像的指定用于生成預(yù)測(cè)圖像的參考圖像的參考圖像指定信息是否用作當(dāng)前編碼圖像的參考圖像指定信息，所述在先圖像是按照編碼順序在當(dāng)前編碼圖像之前的圖像； 參考圖像設(shè)定步驟，所述參考圖像設(shè)定步驟當(dāng)在接收步驟的處理中收到參考信息時(shí)，根據(jù)參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息，并當(dāng)在接收步驟的處理中未收到參考信息的情況下，根據(jù)表示在先圖像的參考圖像指定信息不用作當(dāng)前編碼圖像的參考圖像指定信息的參考信息，生成當(dāng)前解碼圖像的參考圖像指定信息；和 預(yù)測(cè)圖像生成步驟，所述預(yù)測(cè)圖像生成步驟通過(guò)利用由在參考圖像設(shè)定步驟的處理中生成的參考圖像指定信息指定的參考圖像，生成預(yù)測(cè)圖像。
【文檔編號(hào)】H04N19/70GK104396256SQ201380032794
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2013年6月21日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】陸碩, 佐藤數(shù)史 申請(qǐng)人:索尼公司