圖像解碼裝置、圖像編碼裝置、圖像解碼方法及圖像編碼方法
【專利摘要】圖像解碼裝置將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，具備：第1存儲部（111），具有能夠存儲兩個以上的至少兩種尺寸中的最大的尺寸的塊的容量；第1處理部（101），對多個塊依次進行多個處理中的第1處理，通過將被進行了第1處理的塊保存到第1存儲部（111），從而向第1存儲部（111）依次保存多個塊；第2處理部（102），從第1存儲部（111）依次提取多個塊，對提取出的多個塊依次進行多個處理中的第2處理。
【專利說明】圖像解碼裝置、圖像編碼裝置、圖像解碼方法及圖像編碼方
法
【技術領域】
[0001]本發(fā)明涉及將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像用包含多個處理的流水線(pipeline)處理來解碼的圖像解碼裝置。
【背景技術】
[0002]作為關于將圖像解碼的圖像解碼裝置的技術，有在專利文獻1、非專利文獻I及非專利文獻2中記載的技術。
[0003]專利文獻1:日本特開平9 - 84005號公報
[0004]非專利文獻1:Thomas Wiegand et al, “Overview of the H.264/AVCVideo Coding Standard”，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNOLOGY, JULY2003, PP.560 — 576
[0005]非專利文獻2:“Working Draft3of High — Efficiency Video Coding，，，[online], Joint Collaborative Team on Video Coding (JCT — VC),2011 年 9 月 8 日，[2011 年 9 月 22 日檢索]，因特網(wǎng)〈URL:http://phenix.1t-sudparis.eu/jct/doc_end_user/documents/6_Torino/wglI/JCTVC-F803-v3.zip〉
發(fā)明概要
[0006]發(fā)明要解決的問題
[0007]但是，圖像解碼裝置在用流水線處理將圖像解碼時，有可能發(fā)生無用的等待時間。
[0008]
【發(fā)明內(nèi)容】

[0009]所以，本發(fā)明提供一種能夠減少無用的等待時間的圖像解碼裝置。
[0010]有關本發(fā)明的一技術方案的圖像解碼裝置，將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，其特征在于，具備--第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量；第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
[0011]另外，這些包含性或具體的形態(tài)，也可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD - ROM等的非暫時性的記錄介質(zhì)實現(xiàn)，也可以通過系統(tǒng)、裝置、方法、集成電路、計算機程序及記錄介質(zhì)的任意的組合實現(xiàn)。
[0012]發(fā)明效果
[0013]通過本發(fā)明，流水線處理中的無用的等待時間減少。因而，處理效率提高。
【專利附圖】

【附圖說明】[0014]圖1是表示流水線處理的說明圖。
[0015]圖2是表示可變尺寸的塊的說明圖。
[0016]圖3是表示對可變尺寸的塊應用了流水線處理的情況下的動作的說明圖。
[0017]圖4是表示有關實施方式I的圖像解碼裝置的結構圖。
[0018]圖5是表示有關實施方式I的多個構成要素之間的連接的結構圖。
[0019]圖6是表示有關實施方式I的圖像解碼裝置的可變長解碼部、逆量化部及逆頻率變換部的詳細結構圖。
[0020]圖7A是表不有關實施方式I的序列的圖。
[0021 ]圖7B是表示有關實施方式I的圖片的圖。
[0022]圖7C是表不有關實施方式I的編碼流的圖。
[0023]圖8A是表示有關實施方式I的編碼單元的第I結構例的圖。
[0024]圖8B是表示有關實施方式I的編碼單元的第2結構例的圖。
[0025]圖9A是表示有關實施方式I的變換單元的第I結構例的圖。
[0026]圖9B是表示有關實施方式I的變換單元的第2結構例的圖。
[0027]圖1OA是表示有關實施方式I的編碼單元的頭的圖。
[0028]圖1OB是表示有關實施方式I的預測單元的圖。
[0029]圖1lA是表示在有關實施方式I的動作的說明中使用的多個編碼單元的結構例的圖。
[0030]圖1lB是表示在有關實施方式I的動作的說明中使用的多個編碼單元的詳細情況的圖。
[0031]圖12是表示有關實施方式I的圖像解碼裝置的動作的流程圖。
[0032]圖13是表示有關實施方式I的圖像解碼裝置將編碼單元解碼的處理的流程圖。
[0033]圖14A是表示有關實施方式I的可變長解碼部的動作的流程圖。
[0034]圖14B是表示有關實施方式I的逆量化部的動作的流程圖。
[0035]圖14C是表示有關實施方式I的逆頻率變換部的動作的流程圖。
[0036]圖14D是表示有關實施方式I的運動補償部的動作的流程圖。
[0037]圖14E是表示有關實施方式I的面內(nèi)預測部的動作的流程圖。
[0038]圖14F是表示有關實施方式I的重建部的動作的流程圖。
[0039]圖14G是表示有關實施方式I的環(huán)內(nèi)濾波器部的動作的流程圖。
[0040]圖15是表示有關實施方式I的圖像解碼裝置的動作的時序圖。
[0041]圖16是以時間序列表示有關實施方式I的FIFO部的狀態(tài)的例子的圖。
[0042]圖17是以時間序列表不有關實施方式I的FIFO部的狀態(tài)的另一例的圖。
[0043]圖18是表示有關實施方式2的圖像解碼裝置的可變長解碼部、逆量化部及逆頻率變換部的詳細結構圖。
[0044]圖19A是表示有關實施方式2的可變長解碼部的動作的流程圖。
[0045]圖19B是表示有關實施方式2的逆量化部的動作的流程圖。
[0046]圖19C是表示有關實施方式2的逆頻率變換部的動作的流程圖。
[0047]圖19D是表示有關實施方式2的運動補償部的動作的流程圖。
[0048]圖19E是表示有關實施方式2的面內(nèi)預測部的動作的流程圖。[0049]圖19F是表示有關實施方式2的重建部的動作的流程圖。
[0050]圖19G是表示有關實施方式2的環(huán)內(nèi)濾波器部的動作的流程圖。
[0051]圖20是以時間序列表示有關實施方式2的FIFO部的狀態(tài)的圖。
[0052]圖21A是表示有關實施方式3的圖像解碼裝置的結構圖。
[0053]圖21B是表示有關實施方式3的圖像解碼裝置的動作的流程圖。
[0054]圖22k是表示有關實施方式3的圖像編碼裝置的結構圖。
[0055]圖22B是表示有關實施方式3的圖像編碼裝置的動作的流程圖。
[0056]圖23A是表示有關實施方式4的圖像解碼裝置的結構圖。
[0057]圖23B是表示有關實施方式4的圖像解碼裝置的動作的流程圖。
[0058]圖24A是表示有關實施方式4的圖像編碼裝置的結構圖。
[0059]圖24B是表示有關實施方式4的圖像編碼裝置的動作的流程圖。
[0060]圖25A是表示有關實施方式5的圖像解碼裝置的結構圖。
[0061]圖25B是表示有關實施方式5的圖像解碼裝置的處理部的動作的流程圖。
[0062]圖26A是表示有關實施方式5的圖像編碼裝置的結構圖。
[0063]圖26B是表示有關實施方式5的圖像編碼裝置的處理部的動作的流程圖。
[0064]圖27是實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)的整體結構圖。
[0065]圖28是數(shù)字廣播用系統(tǒng)的整體結構圖。
[0066]圖29是表示電視機的結構例的框圖。
[0067]圖30是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結構例的框圖。
[0068]圖31是表示作為光盤的記錄介質(zhì)的構造例的圖。
[0069]圖32是表示實現(xiàn)圖像解碼處理的集成電路的結構例的結構圖。
[0070]圖33是表示實現(xiàn)圖像解碼處理及圖像編碼處理的集成電路的結構例的結構圖。
【具體實施方式】
[0071](作為本發(fā)明的基礎的認識)
[0072]本
【發(fā)明者】關于在“【背景技術】”欄中記載的將圖像解碼的圖像解碼裝置，發(fā)現(xiàn)了問題的存在。以下詳細地說明。
[0073]對運動圖像進行編碼的圖像編碼裝置，將構成運動圖像的各個圖片(picture)分割為分別以16x16像素構成的多個宏塊(Macroblock，也簡稱為MB)。而且，圖像編碼裝置，按照光柵掃描順序?qū)Ω鱾€宏塊進行編碼。圖像編碼裝置，編碼并壓縮運動圖像，從而生成編碼流。圖像解碼裝置，以光柵掃描順序，按每個宏塊，對該編碼流進行解碼，再現(xiàn)原來的運動圖像的各個圖片。
[0074]以往的圖像編碼方式之一有ITU - TH.264標準(例如，參照非專利文獻I)。圖像解碼裝置，為了對根據(jù)H.264標準編碼后的圖像進行解碼，首先，讀入編碼流。而且，圖像解碼裝置，對各種頭(header)信息進行解碼后，進行可變長解碼。圖像解碼裝置，對通過可變長解碼而得到的系數(shù)信息進行逆量化，進行逆頻率變換。據(jù)此，生成差分圖像。
[0075]接著，圖像解碼裝置，按照通過可變長解碼而得到的宏塊類型，進行面內(nèi)預測或運動補償。據(jù)此，圖像解碼裝置，生成預測圖像。然后，圖像解碼裝置，通過將預測圖像與差分圖像相加，從而進行重建處理。而且，圖像解碼裝置，通過對重建圖像進行環(huán)內(nèi)濾波(in-loop filter)處理,從而對解碼對象圖像進行解碼。
[0076]如此，圖像解碼裝置，通過按每個宏塊進行可變長解碼處理至環(huán)內(nèi)濾波處理，從而對編碼后的圖像進行解碼。對于使該解碼處理成為高速化的方法，一般利用通過宏塊單位的流水線處理執(zhí)行解碼處理的方法(例如，參照專利文獻I)。根據(jù)宏塊單位的流水線處理，可變長解碼處理至環(huán)內(nèi)濾波處理的一連串的處理被分割為幾個階段。而且，以宏塊的數(shù)據(jù)單位同步地并行執(zhí)行各個階段的處理。
[0077]另外，作為下一代的圖像編碼方式，提出了對數(shù)據(jù)單位進行更為靈活的設定(例如，參照非專利文獻2)。
[0078]但是，在多個處理同步執(zhí)行的流水線處理中，有可能發(fā)生無用的等待時間。例如，在包含于流水線處理的多個處理中只有一個處理需要較長時間的情況下，其他處理也必須等待該一個處理的完成。這樣的無用的等待時間對處理效率帶來惡劣影響。而且，數(shù)據(jù)單位可變的下一代圖像編碼標準中，該影響變得更大。下面進行更具體的說明。
[0079]圖1是將解碼處理分割為五個階段(stage)時的流水線處理的例子。在圖1所示的例子中，針對一個宏塊，依次進行第I階段至第5階段的處理。而且，針對互不相同的多個宏塊，同時進行第I階段至第5階段的處理。
[0080]在第I階段中，圖像解碼裝置對編碼流進行可變長解碼，輸出運動矢量等的編碼信息、以及與各個像素數(shù)據(jù)對應的系數(shù)信息。在第2階段中，圖像解碼裝置，對第I階段中得到的系數(shù)信息進行逆量化及逆頻率變換，生成差分圖像。
[0081]在第3階段中，圖像解碼裝置，按照通過可變長解碼而得到的宏塊類型，進行運動補償來生成預測圖像。在第4階段中，圖像解碼裝置，利用第3階段中得到的運動補償?shù)念A測圖像、以及第4階段中進行的面內(nèi)預測處理的預測圖像之中的某個，和第2階段中得到的差分圖像，進行重建處理。在第5階段中，圖像解碼裝置，進行環(huán)內(nèi)濾波處理。
[0082]如此，圖像解碼裝置，利用流水線處理，在各個階段同時處理不同的多個宏塊。據(jù)此，圖像解碼裝置能夠?qū)崿F(xiàn)并行處理，使解碼處理高速化。
[0083]此時，流水線處理的時隙(TS)的周期，取決于處理周期最長的階段的處理周期。因此，在僅某階段的處理周期變長的情況下，直到該最長階段的處理完成為止，其他的階段成為不能開始下一個宏塊的處理的狀態(tài)。因此，導致發(fā)生無用的空閑。為了使流水線處理高效率地工作，重要的是構成為盡可能使構成流水線處理不產(chǎn)生無用的空閑。
[0084]H.264標準涉及的圖像編碼裝置，如上所述，以由16x16像素構成的宏塊為單位對圖像進行編碼。但是，作為編碼的單位的16x16像素，并不一定是最佳的。一般，圖像的分辨率越高，鄰接塊間的相關性就越高。因此，通過將編碼的單位變大，能夠更提高壓縮效率。
[0085]近幾年，進行了 4k2k(3840x2160像素)等那樣的、超高精細的顯示器的開發(fā)。因此，可以預測到處理圖像的分辨率將越來越高。H.264標準涉及的圖像編碼裝置，隨著這樣的圖像的高分辨率化進展，越來越難以對這樣的高分辨率的圖像進行高效率編碼。
[0086]另一方面，在作為下一代的圖像編碼標準而提出的技術中，有解決這樣的問題的技術(非專利文獻2)。根據(jù)該技術，與以往的H.264標準對應的塊的尺寸成為可變。而且，該技術涉及的圖像編碼裝置，也能夠以比以往的16x16像素大的塊來對圖像進行編碼，能夠適當?shù)貙Τ呔殘D像進行編碼。[0087]具體而言，在非專利文獻2中，定義了作為編碼的數(shù)據(jù)單位的編碼單元(CodingUnit)。該編碼單元是，與以往的編碼標準的宏塊同樣，是能夠?qū)M行面內(nèi)預測的幀內(nèi)(intra)預測、和進行運動補償?shù)膸g(inter)預測加以切換的數(shù)據(jù)單位，被規(guī)定為編碼的最基本的塊。
[0088]該編碼單元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、64x64像素、以及128x128像素之中的某個。最大的編碼單元，被稱為最大編碼單元(IXU:Largest CodingUnit)。
[0089]64x64像素的編碼單元中包含4096像素的數(shù)據(jù)。128x128像素的編碼單元中包含16384像素的數(shù)據(jù)。也就是說，128x128像素的編碼單元中包含64x64像素的編碼單元的4倍的數(shù)據(jù)。
[0090]圖2示出由128x128像素和64x64像素構成的多個編碼單元的例子。在非專利文獻2中，進一步,定義了變換單元(TU:Transform Unit,也稱頻率變換單元)。變換單元被規(guī)定為頻率變換的塊尺寸。具體而言，該變換單元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、以及64x64像素之中的某個。
[0091]并且，進一步，定義了作為面內(nèi)預測或幀間預測的數(shù)據(jù)單位的預測單元(PU:Prediction Unit)。對于預測單元，在編碼單元內(nèi)部，從128x128像素、64x128像素、128x64像素、或64x64像素等的、4x4像素以上各種各樣的矩形尺寸中被選擇。
[0092]如上所述，非專利文獻2中記載了通過使編碼單元即宏塊的尺寸成為可變來提高編碼效率的技術。然而，在針對這樣的可變的編碼單元，適用專利文獻I所示的流水線處理的情況下，與編碼單元中包含的像素數(shù)成比例地，所需要的處理量增大。并且，處理周期數(shù)也同樣變大。
[0093]也就是說，在編碼流內(nèi)不同的尺寸的編碼單元混在一起的情況下，流水線處理的各個階段的處理周期，因編碼單元的尺寸而大幅度地變動。因此，在對小的編碼單元進行處理的階段中，發(fā)生不能進行任何處理的等待時間。而且，導致流水線的處理效率降低。也就是說，可變的尺寸的編碼單元成為導致圖像解碼裝置的處理效率的降低的原因。
[0094]例如，圖3中示出，以五個階段的流水線處理對編碼流進行解碼的例子。在該例子中，如圖2所示，⑶O是128x128像素的編碼單元，接著，⑶I至⑶4分別是64x64像素的編碼單元。在此情況下，⑶O是由⑶I至⑶4的4倍的像素數(shù)構成的編碼單元，因此，⑶O的處理周期成為其他的編碼單元的處理周期的4倍。
[0095]因此，第I階段的⑶I處理完成之后，直到第2階段的⑶O處理完成為止，在第I階段中發(fā)生空閑時間。同樣，第2階段的⑶I處理完成之后，直到第3階段的⑶O處理完成為止，在第2階段中發(fā)生空閑時間。并且，第3階段的⑶I處理完成之后，直到第4階段的⑶O處理完成為止，在第3階段中發(fā)生空閑時間。也就是說，在各個階段中，發(fā)生不進行處理的空閑時間。
[0096]如此，若編碼單元的尺寸變動，則要處理的像素數(shù)據(jù)量增減。在編碼流以流水線處理被解碼的情況下，流水線處理的單位時間，取決于像素數(shù)據(jù)量大的編碼單元。其結果為，在像素數(shù)據(jù)量少的編碼單元的處理之后，導致發(fā)生空閑時間。因此，處理效率以及處理性能降低。
[0097]為了解決這樣的問題，有關本發(fā)明的一形態(tài)的圖像解碼裝置，將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，其特征在于，具備:第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量；第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
[0098]由此，在第I處理部將最大的尺寸的塊處理而將該塊寫入到第I存儲部中的同時，第2處理部能夠?qū)⒆畲蟮某叽绲膭e的塊從第I存儲部提取而將該別的塊處理。此外，第I存儲部能夠?qū)?個以上的塊按照它們的尺寸依次保持。因而，第I處理部及第2處理部相互等待處理的結束的無用的等待時間減少，處理效率提高。
[0099]例如，也可以是，上述圖像解碼裝置還具備第2存儲部；上述第2處理部判斷在上述第I存儲部中是否保存有被進行了上述第I處理的塊、以及在上述第2存儲部中是否空閑有用來保存被進行了上述第2處理的塊的區(qū)域；在判斷為在上述第I存儲部中保存有被進行了上述第I處理的塊、并且判斷為在上述第2存儲部中空閑有用來保存被進行了上述第2處理的塊的區(qū)域的定時，上述第2處理部從上述第I存儲部提取上述塊，對所提取的上述塊進行上述第2處理，向上述第2存儲部保存被進行了上述第2處理的上述塊。
[0100]由此，第2處理部能夠在用于處理的準備完成的定時進行處理。因而，無用的等待時間減少。
[0101]此外，例如也可以是，上述圖像解碼裝置還具備判斷上述多個塊的各自的尺寸的判斷部；上述第I處理部按照被進行了上述第I處理的塊的尺寸，決定上述塊在上述第I存儲部中專用的區(qū)域，向所決定的上述區(qū)域保存上述塊。
[0102]由此，第I處理部能夠?qū)⒍鄠€塊根據(jù)它們的尺寸適當?shù)乇４娴降贗存儲部中。因而，第I處理部能夠以較少的容量保存許多塊。
[0103]此外，例如也可以是，上述第I存儲部具有能夠存儲3個以上的上述至少兩種尺寸中的最大尺寸的塊的容量。
[0104]由此，第I處理部能夠向第I存儲部保存更多的塊。因而，圖像解碼裝置能夠更可靠地使等待時間減少。
[0105]此外，例如也可以是，上述多個塊是多個編碼單元、多個變換單元或多個預測單元；上述第I處理部或上述第2處理部進行對于上述多個編碼單元的可變長解碼處理、對于上述多個變換單元的逆頻率變換處理、或?qū)τ谏鲜龆鄠€預測單元的預測處理，來作為上述第I處理或上述第2處理。
[0106]由此，在使用各種各樣的數(shù)據(jù)單位的流水線處理中，無用的等待時間減少。
[0107]此外，例如也可以是，上述第I處理部進行可變長解碼處理，來作為上述第I處理；上述第2處理部進行逆量化處理，來作為上述第2處理。
[0108]由此，使在可變長解碼處理與逆量化處理之間發(fā)生的等待時間減少。因而，處理效
率提高。
[0109]此外，例如也可以是，上述第I處理部進行逆量化處理，來作為上述第I處理；上述第2處理部進行逆頻率變換處理，來作為上述第2處理。
[0110]由此，使在逆量化處理與逆頻率變換處理之間發(fā)生的等待時間減少。因而，處理效率提高。
[0111]此外，例如也可以是，上述第I處理部進行逆頻率變換處理，來作為上述第I處理；上述第2處理部進行重建處理，來作為上述第2處理。
[0112]由此，使在逆頻率變換處理與重建處理之間發(fā)生的等待時間減少。因而，處理效率提聞。
[0113]此外，例如也可以是，上述第I處理部進行面內(nèi)預測處理，來作為上述第I處理；上述第2處理部進行重建處理，來作為上述第2處理。
[0114]由此，使在面內(nèi)預測處理與重建處理之間發(fā)生的等待時間減少。因而，處理效率提聞。
[0115]此外，例如也可以是，上述第I處理部進行運動補償處理，來作為上述第I處理；上述第2處理部進行重建處理，來作為上述第2處理。
[0116]由此，使在運動補償處理與重建處理之間發(fā)生的等待時間減少。因而，處理效率提聞。
[0117]此外，例如也可以是，上述第I處理部進行重建處理，來作為上述第I處理；上述第2處理部進行環(huán)內(nèi)濾波器處理，來作為上述第2處理。
[0118]由此，使在重建處理與環(huán)內(nèi)濾波器處理之間發(fā)生的等待時間減少。因而，處理效率提聞。
[0119]此外，例如也可以是，上述第I處理部進行參照圖像傳送處理，來作為上述第I處理；上述第2處理部進行運動補償處理，來作為上述第2處理。
[0120]由此，使在參照圖像傳送處理與運動補償處理之間發(fā)生的等待時間減少。因而，處理效率提聞。
[0121]此外，例如也可以是，上述第2處理部與上述第I處理部非同步地，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述第2處理。
[0122]由此，第I處理部和第2處理部非同步地獨立動作。因而，第I處理部和第2處理部在適當?shù)亩〞r進行各處理。由此，使無用的等待時間減少，處理效率提高。
[0123]此外，例如也可以是，上述第2處理部與上述第I處理部對第I塊進行上述第I處理并行地，對按照上述多個塊的處理順序而從上述第I塊離開兩個以上的塊的第2塊進行上述第2處理。
[0124]由此，第I處理部可以不依賴于第2處理部中的處理的進展狀況而進行處理。因而，使無用的等待時間減少。
[0125]此外，有關本發(fā)明的一形態(tài)的圖像編碼裝置，將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的上述圖像通過包括多個處理的流水線處理來編碼，其特征在于，具備:第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量；第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
[0126]由此，在圖像編碼裝置中能夠得到與圖像解碼裝置同樣的效果。即，在圖像編碼裝置中，使無用的等待時間減少，處理效率提高。[0127]另外，這些包含性或具體的形態(tài)，也可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的CD - ROM等的非暫時性的記錄介質(zhì)實現(xiàn)，也可以通過系統(tǒng)、裝置、方法、集成電路、計算機程序及記錄介質(zhì)的任意的組合實現(xiàn)。
[0128]以下，使用附圖對本發(fā)明的實施方式詳細地說明。另外，以下說明的實施方式都是表示包含性或具體的例子的。在以下的實施方式中表示的數(shù)值、形狀、材料、構成要素、構成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，不是限定本發(fā)明的意思。此外，關于以下的實施方式的構成要素中的、在表示最上位概念的獨立權利要求中沒有記載的構成要素，設為任意的構成要素進行說明。
[0129]此外，128x128像素及64x64像素等的表現(xiàn)分別意味著128像素xl28像素及64像素x64像素等的尺寸。
[0130]此外，以下，塊、數(shù)據(jù)單位及編碼單元(⑶:Coding Unit)等的表現(xiàn)分別指連貫的區(qū)域。它們也有分別指圖像區(qū)域的情況?；蛘?，它們也有分別指編碼流中的數(shù)據(jù)區(qū)域的情況。
[0131]此外，圖像是運動圖像、靜止圖像、構成運動圖像的多個圖片、I個圖片及圖片的一部分等的哪種都可以。
[0132](實施方式I)
[0133](I — 1.概要)
[0134]首先，對有關本實施方式的圖像解碼裝置的概要進行說明。有關本實施方式的圖像解碼裝置將作為編碼后的圖像的編碼流解碼。構成編碼流的編碼單元的尺寸是可變的。此外，圖像解碼裝置將解碼處理中包含的多個處理劃分為多個階段，通過流水線方式并行地進行多個處理。
[0135]此時，圖像解碼裝置以在編碼流中定義的編碼單元的尺寸，通過流水線方式并行地進行多個處理。在構成圖像解碼裝置的多個處理部上連接著輸入輸出緩沖器。該輸入輸出緩沖器由能夠保持對應于至少3個最大編碼單元的數(shù)據(jù)的FIFO (First In First Out:先進先出)部構成。另外，最大編碼單元是構成編碼流的多個編碼單元中的最大的編碼單
J Li ο
[0136]由此，在多個編碼單元由各種各樣的尺寸構成的情況下，在各處理中，等待數(shù)據(jù)的輸入的時間及等待輸出緩沖器的空閑的時間將減少。因而，流水線處理中的空閑時間被削減，有效率地進行流水線處理。由此，處理性能提高。
[0137]并且，F(xiàn)IFO部的容量越大，在各處理中，等待數(shù)據(jù)的輸入的時間及等待輸出緩沖器的空閑的時間越減少。
[0138]以上是對有關本實施方式的圖像解碼裝置的概要的說明。
[0139](I — 2.結構)
[0140]接著，對有關本實施方式的圖像解碼裝置的結構進行說明。
[0141]圖4是有關本實施方式的圖像解碼裝置的結構圖。有關本實施方式的圖像解碼裝置具備控制部501、幀存儲器502、重建圖像存儲器509、可變長解碼部503、逆量化部504、逆頻率變換部505、運動補償部506、面內(nèi)預測部507、重建部508及環(huán)內(nèi)濾波器部510。
[0142]控制部501控制圖像解碼裝置的整體。幀存儲器502是用來將解碼后的圖像數(shù)據(jù)存儲的存儲器。重建圖像存儲器509是用來將生成的重建圖像的一部分存儲的存儲器?？勺冮L解碼部503將編碼流讀入，將可變長代碼解碼。逆量化部504進行逆量化。逆頻率變換部505進行逆頻率變換。
[0143]運動補償部506從幀存儲器502將參照圖像讀出，進行運動補償，生成預測圖像。面內(nèi)預測部507從重建圖像存儲器509將參照圖像讀出，進行面內(nèi)預測(也稱作幀內(nèi)預測)，生成預測圖像。重建部508將差分圖像與預測圖像相加而生成重建圖像，將其一部分向重建圖像存儲器509保存。環(huán)內(nèi)濾波器部510通過環(huán)內(nèi)濾波器處理，將重建圖像的噪聲除去，使重建圖像高畫質(zhì)化。
[0144]環(huán)內(nèi)濾波器是在將重建圖像作為參照圖像向幀存儲器502保存之前使用的濾波器。作為環(huán)內(nèi)濾波器，有使用去塊濾波器(deblocking filter)、采樣自適應偏移濾波器(sample adaptive offset filter)及有源環(huán)路濾波器(active loop filter)的情況。另一方面，將在顯示時使用的濾波器稱作環(huán)外濾波器(out loop filter)。
[0145]圖5是表示多個處理部之間的連接的結構圖。對于與圖4同樣的構成要素分配相同的標號而省略說明。
[0146]向有關本實施方式的可變長解碼部503的編碼流的輸入經(jīng)由FIFO部500進行。此夕卜，可變長解碼部503與逆量化部504經(jīng)由用來存儲系數(shù)的FIFO部511連接。此外，逆量化部504與逆頻率變換部505經(jīng)由用來存儲量化后的系數(shù)的FIFO部512連接。
[0147]此外，逆頻率變換部505與重建部508經(jīng)由用來存儲逆頻率變換處理后的殘差圖像的FIFO部513連接。此外，幀存儲器502與運動補償部506經(jīng)由用來存儲參照圖像的FIFO部514連接。此外，運動補償部506與重建部508經(jīng)由用來存儲預測圖像的FIFO部515連接。
[0148]此外，重建部508與面內(nèi)預測部507經(jīng)由用來存儲預測圖像的FIFO部517連接。此外，重建部508與環(huán)內(nèi)濾波器部510經(jīng)由用來存儲重建圖像的FIFO部518連接。此外，環(huán)內(nèi)濾波器部510與幀存儲器502經(jīng)由用來存儲解碼圖像的FIFO部519連接。各FIFO部能夠保持3個最大編碼單元以上的數(shù)據(jù)。
[0149]圖6是關于可變長解碼部503、逆量化部504、逆頻率變換部505、FIF0部500、FIF0部511、FIFO部512及FIFO部513的連接的詳細記載的圖。對于在圖5中表示的結構，在可變長解碼部503的周邊添加了 FIFO管理部5001及起動部5011。
[0150]FIFO管理部5001進行FIFO部500保持的數(shù)據(jù)的管理、和FIFO部511的空閑區(qū)域的管理。起動部5011根據(jù)由FIFO管理部5001管理的信息，判斷連接在可變長解碼部503上的輸入用的FIFO部500及輸出用的FIFO部511的狀態(tài)。并且，起動部5011基于FIFO部500及FIFO部511的狀態(tài)將可變長解碼部503起動。S卩，起動部5011使可變長解碼部503執(zhí)行可變長解碼處理。
[0151]此外，對于在圖5中表示的結構，在逆量化部504的周邊添加了 FIFO管理部5002及起動部5012。FIFO管理部5002進行FIFO部511保持的數(shù)據(jù)的管理和FIFO部512的空閑區(qū)域的管理。
[0152]起動部5012根據(jù)由FIFO管理部5002管理的信息，判斷連接在逆量化部504上的輸入用的FIFO部511及輸出用的FIFO部512的狀態(tài)。并且，起動部5012基于FIFO部511及FIFO部512的狀態(tài)將逆量化部504起動。S卩，起動部5012使逆量化部504執(zhí)行逆量化處理。
[0153]此外，對于在圖5中表示的結構，在逆頻率變換部505的周邊添加了 FIFO管理部5003及起動部5013。FIFO管理部5003進行FIFO部512保持的數(shù)據(jù)的管理和FIFO部513的空閑區(qū)域的管理。
[0154]起動部5013根據(jù)由FIFO管理部5003管理的信息，判斷連接在逆頻率變換部505上的輸入用的FIFO部512及輸出用的FIFO部513的狀態(tài)。并且，起動部5013基于FIFO部512及FIFO部513的狀態(tài)進行逆頻率變換部505的起動。即，起動部5013使逆頻率變換部505執(zhí)行逆頻率變換處理。
[0155]關于在圖5中表示的其他各處理部，也同樣具備FIFO管理部及起動部。由此，各處理部基于FIFO部的狀態(tài)進行處理。另外，各處理部也可以包括FIFO管理部及起動部。在以后的說明中，有時將FIFO管理部的動作及起動部的動作表示為包括FIFO管理部及起動部的各處理部的動作。
[0156]另外，圖像解碼裝置也可以具備進行參照圖像傳送處理的參照圖像傳送處理部。參照圖像傳送處理部從幀存儲器502向FIFO部514傳送參照圖像。運動補償部506使用由參照圖像傳送處理部傳送的參照圖像進行運動補償。
[0157]以上是關于有關本實施方式的圖像解碼裝置的結構的說明。
[0158](I — 3.動作)
[0159]接著，說明有關本實施方式的圖像解碼裝置的動作。有關本實施方式的圖像解碼裝置所解碼的編碼流由編碼單元、變換單元和預測單元構成。
[0160]編碼單元以128x128像素?8x8像素的尺寸設定，是能夠切換面內(nèi)預測和幀間預測的數(shù)據(jù)單位。變換單元在編碼單元的內(nèi)部中以64x64像素?4x4像素的尺寸設定。預測單元在編碼單元的內(nèi)部中以128x128像素?4x4像素的尺寸設定，具有面內(nèi)預測的模式或幀間預測的運動矢量。以下，使用圖7A?圖10B對編碼流的結構進行說明。
[0161]圖7A及圖7B表示有關本實施方式的圖像解碼裝置解碼的編碼流的層級的結構。如圖7A所示，將使多個圖片成為一個集合后的結構稱作序列(sequence)。此外，如圖7B所示，將各圖片劃分為切片(slice)，將各切片再劃分為編碼單元。也有不將圖片劃分為切片的情況。
[0162]在本實施方式中，最大編碼單元的尺寸是128x128像素。此外，128x128像素的編碼單元和64x64像素的編碼單元混合存在。
[0163]圖7C是表示有關本實施方式的編碼流的圖。通過將圖7A及圖7B所示的數(shù)據(jù)分層級地編碼，得到圖7C所示的編碼流。
[0164]圖7C所示的編碼流由控制序列的序列頭、控制圖片的圖片頭、控制切片的切片頭、以及編碼單元層數(shù)據(jù)(⑶層數(shù)據(jù))構成。在H.264規(guī)格中，將序列頭稱作SPS (SequenceParameter Set:序列參數(shù)集),將圖片頭稱作PPS (Picture Parameter Set:圖片參數(shù)集)。
[0165]接著，關于在本實施方式的說明中使用的編碼單元和編碼流的結構，使用圖8A及圖SB進行說明。編碼流由⑶劃分標志和⑶數(shù)據(jù)構成。該⑶劃分標志在“I”的情況下表示將塊劃分為4份，在“O”的情況下表示不將塊劃分為4份。如圖8A那樣，在128x128像素的編碼單元的情況下，不將塊劃分。即，CU劃分標志是“O”。
[0166]如圖8B所示，在64x64像素的4個編碼單元的情況下，最初的⑶劃分標志是“ I”。通過該最初的⑶劃分標志，表示將128x128像素的塊至少劃分為64x64像素的4個塊。并且，64x64像素的4個塊由于分別不被劃分，所以后續(xù)的⑶劃分標志是“O”。這樣，編碼單元的尺寸通過⑶劃分標志被確定為128x128像素到4x4像素的某個。
[0167]圖9A及圖9B分別表示有關本實施方式的變換單元的結構例。各編碼單元的CU數(shù)據(jù)還由CU頭、TU劃分標志及系數(shù)信息構成。關于CU頭在后面敘述。TU劃分標志在編碼單元中表示變換單元的尺寸,與CU劃分標志同樣,表示是否分層級地將該尺寸劃分為4份。
[0168]圖9A表示128x128像素的編碼單元由64x64像素的4個變換單元構成的情況下的例子。在128x128像素的編碼單元的情況下，由于變換單元最大是64x64像素，所以必定被劃分為4份。在圖9A的情況下，各個64x64像素的塊不被劃分。因此，TU劃分標志全部是 “O”。
[0169]圖9B表示128x128像素的編碼單元由64x64像素的3個變換單元及32x32像素的4個變換單元構成的例子。在此情況下，存在具有“I”的值的TU劃分標志。
[0170]在圖9A及圖9B的各變換單元中，包括亮度數(shù)據(jù)(亮度信息)及色差數(shù)據(jù)(色差信息)。即，在編碼流中，將包含亮度數(shù)據(jù)及色差數(shù)據(jù)雙方的系數(shù)信息按照每個變換單元匯總。
[0171]接著，對⑶頭進行說明。如圖1OA所示，⑶頭包含⑶類型，還包括運動矢量或面內(nèi)預測模式。通過⑶類型決定預測單元的尺寸。圖1OB表示128x128像素、64x128像素、128x64像素及64x64像素的預測單元。預測單元的尺寸能夠從4x4像素以上的尺寸中選擇。此外，預測單元的形狀也可以是長方形。按照每個預測單元指定運動矢量或面內(nèi)預測模式。
[0172]接著，具體地說明有關本實施方式的圖像解碼裝置的動作。圖1lA及圖1lB表示在動作的說明中使用的多個編碼單元的結構例。圖1lA所示的8個編碼單元(CU0?CU7)被用于有關本實施方式的圖像解碼裝置的動作的說明。
[0173]如圖1lB所示，⑶O、⑶5?⑶7是由128x128像素構成的編碼單元。⑶I?⑶4是由64x64像素構成的編碼單元。⑶4的變換單元的尺寸是32x32像素。其他變換單元的尺寸全部是64x64像素。⑶O的預測單元的尺寸是128x128像素，⑶I?⑶4的預測單元的尺寸是64x64像素，⑶5?⑶7的預測單元的尺寸是128x128像素。
[0174]接著，使用圖12所示的流程圖，說明圖4所示的圖像解碼裝置的動作。圖12是表示編碼流中包含的I個序列的解碼動作的流程圖。如圖12所示，圖像解碼裝置首先將序列頭解碼(S901)。此時，可變長解碼部503基于控制部501的控制，將編碼流解碼。接著，圖像解碼裝置同樣將圖片頭解碼(S902)，將切片頭解碼(S903)。
[0175]接著，圖像解碼裝置將編碼單元解碼(S904)。關于編碼單元的解碼在后面詳細地說明。圖像解碼裝置在編碼單元的解碼后，判斷解碼后的編碼單元是否是切片最后的編碼單元(S905)。并且，在解碼后的編碼單元不是切片最后的編碼單元的情況下，圖像解碼裝置再次將下個編碼單元解碼(S904 )。
[0176]進而，圖像解碼裝置判斷包含解碼后的編碼單元的切片是否是圖片最后的切片
(5906)。并且，在不是圖片最后的切片的情況下，圖像解碼裝置再次將切片頭解碼(S903)。
[0177]進而，圖像解碼裝置判斷包含解碼后的編碼單元的圖片是否是序列最后的圖片
(5907)。并且，在不是序列最后的圖片的情況下，圖像解碼裝置再次將圖片頭解碼(S902)。圖像解碼裝置在序列的全部的圖片的解碼后，結束一系列的解碼動作。
[0178]接著，使用圖13所示的流程圖，說明圖12的編碼單元的解碼(S904)的動作。圖13是表示I個編碼單元的解碼動作的流程圖。[0179]首先，可變長解碼部503對在輸入的編碼流中包含的處理對象的編碼單元進行可變長解碼(S1001)。在可變長解碼處理(S1001)中，可變長解碼部503將編碼單元類型、面內(nèi)預測(幀內(nèi)預測)模式、運動矢量信息及量化參數(shù)等的編碼信息輸出，輸出與各像素數(shù)據(jù)對應的系數(shù)信息。將編碼信息向控制部501輸出，然后向各處理部輸入。將系數(shù)信息向后面的逆量化部504輸出。接著，逆量化部504進行逆量化處理(S1002)。然后，逆頻率變換部505進行逆頻率變換，生成差分圖像(S1003)。
[0180]接著，控制部501進行對處理對象的編碼單元使用幀間預測還是使用面內(nèi)預測的判斷(S1004)。在使用幀間預測的情況下，通過控制部501使運動補償部506起動，運動補償部506生成1/2像素精度或1/4像素精度等的預測圖像(S1005)。另一方面，在不使用幀間預測的情況下，即在使用面內(nèi)預測的情況下，通過控制部501使面內(nèi)預測部507起動，面內(nèi)預測部507進行面內(nèi)預測的處理，生成預測圖像(S1006)。
[0181]重建部508通過將運動補償部506或面內(nèi)預測部507輸出的預測圖像與逆頻率變換部505輸出的差分圖像相加，生成重建圖像(S1007)。
[0182]將所生成的重建圖像向環(huán)內(nèi)濾波器部510輸入。同時，將在面內(nèi)預測中使用的部分向重建圖像存儲器509保存。最后，環(huán)內(nèi)濾波器部510對得到的重建圖像進行用來降低噪聲的環(huán)內(nèi)濾波器處理。并且，環(huán)內(nèi)濾波器部510將結果向幀存儲器502保存(S1008)。以上，編碼單元的解碼動作結束。
[0183]這里，將圖13所示的多個處理用虛線劃分為多個階段。圖像解碼裝置在這些第I階段到第5階段的多個階段中，對按照每個階段而分別不同的多個編碼單元同時進行多個處理。由此，實現(xiàn)并行處理，性能提高。將這樣的處理稱作流水線處理。
[0184]在圖13的例子中，第I階段包括可變長解碼處理(S1001)。第2階段包括逆量化處理(S1002)和逆頻率變換處理(S1003)。第3階段包括運動補償處理(S1005)。第4階段包括面內(nèi)預測處理(S1006)和重建處理(S1007)。第5階段包括環(huán)內(nèi)濾波器處理(S1008)。
[0185]將被劃分為這些多個階段的多個處理，按照每個階段對相互不同的多個編碼單元以流水線方式并行執(zhí)行。此時，如果在連接于各處理部上的FIFO部中有足夠的容量，則圖像解碼裝置不需要將全階段的處理同步執(zhí)行。并且，圖像解碼裝置可以將各階段的處理與其他階段的處理非同步地執(zhí)行。
[0186]圖14A是表示圖5所示的可變長解碼部503的動作的流程圖。首先，可變長解碼部503在將⑶O的頭輸入到FIFO部500中之后，進行⑶O的頭的可變長解碼處理(S1010)。
[0187]接著，可變長解碼部503確認⑶O的數(shù)據(jù)的可變長解碼處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部500中(S1011)。此外，可變長解碼部503確認在輸出目的地的FIFO部511中有用來將通過CUO的數(shù)據(jù)的可變長解碼處理得到的系數(shù)輸出的空閑區(qū)域(S1012)。并且，在確認后，可變長解碼部503進行⑶O的數(shù)據(jù)的可變長解碼處理(S1013)。
[0188]同樣，可變長解碼部503在將⑶I的頭輸入到FIFO部500中之后，進行⑶I的頭的可變長解碼處理(S1010)。
[0189]接著，可變長解碼部503確認⑶I的數(shù)據(jù)的可變長解碼處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部500中(S1011)。此外，可變長解碼部503確認在輸出目的地的FIFO部511中有用來將通過CUl的數(shù)據(jù)的可變長解碼處理得到的系數(shù)輸出的空閑區(qū)域(S1012)。并且，在確認后，可變長解碼部503進行⑶I的數(shù)據(jù)的可變長解碼處理(S1013)。[0190]可變長解碼部503對于以后的編碼單元也進行同樣的動作。并且，可變長解碼部503在結束了切片的最后的編碼單元的可變長解碼處理的情況下，結束切片的可變長解碼處理(S1014)。
[0191]圖14B是表示圖5所示的逆量化部504的動作的流程圖。首先，逆量化部504確認⑶O的逆量化處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部511中(S1021)。此外，逆量化部504確認在輸出目的地的FIFO部512中有用來輸出通過⑶O的逆量化處理得到的結果的空閑區(qū)域(S1022)。并且，在確認后，逆量化部504進行⑶O的逆量化處理(S1002)。
[0192]同樣，逆量化部504確認⑶I的逆量化處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部511中(S1021)。此外，逆量化部504確認在輸出目的地的FIFO部512中有用來輸出通過⑶I的逆量化處理得到的結果的空閑區(qū)域(S1022)。并且，在確認后，逆量化部504進行⑶I的逆量化處理(S1002)。
[0193]逆量化部504對于以后的編碼單元也進行同樣的動作。并且，逆量化部504在結束了切片的最后的編碼單元的逆量化處理的情況下，結束切片的逆量化處理(S1023)。
[0194]圖14C是表示圖5所示的逆頻率變換部505的動作的流程圖。首先，逆頻率變換部505確認⑶O的逆頻率變換處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部512中(S1031)。此外，逆頻率變換部505確認在輸出目的地的FIFO部513中有用來將通過CUO的逆頻率變換處理得到的結果輸出的空閑區(qū)域(S1032)。并且，在確認后，逆頻率變換部505進行⑶O的逆頻率變換處理(S1003 )。
[0195]同樣，逆頻率變換部505確認CUl的逆頻率變換處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部512中(S1031)。此外，逆頻率變換部505確認在輸出目的地的FIFO部513中有用來將通過⑶I的逆頻率變換處理得到的結果輸出的空閑區(qū)域(S1032)。并且，在確認后，逆頻率變換部505進行⑶I的逆頻率變換處理(S1003)。
[0196]逆頻率變換部505對以后的編碼單元也進行同樣的動作。并且，逆頻率變換部505在結束了切片的最后的編碼單元的逆頻率變換處理的情況下，結束切片的逆頻率變換處理(S1033)。
[0197]圖14D是表示圖5所示的運動補償部506的動作的流程圖。這里，如圖1lB的例子那樣，假設CUO?CU7的預測模式是幀間預測。
[0198]首先，運動補償部506確認⑶O的運動補償處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部511、514中(S1041)。此外，運動補償部506確認在輸出目的地的FIFO部515中有用來將通過⑶O的運動補償處理得到的結果輸出的空閑區(qū)域(S1042)。并且，在確認后，運動補償部506進行⑶O的運動補償處理(S1004)。
[0199]同樣，運動補償部506確認⑶I的運動補償處理所需要的輸入數(shù)據(jù)被輸入到FIFO部511、514中(S1041)。此外，運動補償部506確認在輸出目的地的FIFO部515中有用來將通過⑶I的運動補償處理得到的結果輸出的空閑區(qū)域(S1042)。并且，在確認后，運動補償部506進行⑶O的運動補償處理(S1004)。
[0200]運動補償部506對以后的編碼單元也進行同樣的動作。并且，運動補償部506在結束了切片的最后的編碼單元的運動補償處理的情況下，結束切片的運動補償處理(S1043)。
[0201]圖14E是表示圖5所示的面內(nèi)預測部507的動作的流程圖。這里與，圖1lB的例子不同，假設CUO?CU7的預測模式是幀內(nèi)預測。[0202]首先，面內(nèi)預測部507確認⑶O的面內(nèi)預測處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部511及重建圖像存儲器509中(S1051)。此外，面內(nèi)預測部507確認在輸出目的地的FIFO部517中有用來將通過⑶O的面內(nèi)預測處理得到的預測圖像輸出的空閑區(qū)域
(51052)。并且，在確認后，面內(nèi)預測部507進行⑶O的面內(nèi)預測處理(S1005)。
[0203]同樣，面內(nèi)預測部507確認⑶I的面內(nèi)預測處理所需要的輸入數(shù)據(jù)被輸入到FIFO部511及重建圖像存儲器509中(S1051)。此外，面內(nèi)預測部507確認在輸出目的地的FIFO部517中有用來將通過⑶I的面內(nèi)預測處理得到的預測圖像輸出的空閑區(qū)域(S1052)。并且，在確認后，面內(nèi)預測部507進行⑶I的面內(nèi)預測處理(S1005)。
[0204]面內(nèi)預測部507對于以后的編碼單元也進行同樣的動作。并且，面內(nèi)預測部507在結束了切片的最后的編碼單元的面內(nèi)預測處理的情況下，結束切片的面內(nèi)預測處理
(51053)。
[0205]圖14F是表示圖5所示的重建部508的動作的流程圖。首先，重建部508確認⑶O的重建處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部513、515、517中(S1061)。此外，重建部508確認在輸出目的地的FIFO部518中有用來將通過⑶O的重建處理得到的重建圖像輸出的空閑區(qū)域(S1062)。并且，在確認后，重建部508進行⑶O的重建處理(S1006)。
[0206]同樣，重建部508確認⑶I的重建處理所需要的輸入數(shù)據(jù)被輸入到FIFO部513、515,517中(S1061)。此外，重建部508確認在輸出目的地的FIFO部518中有用來將通過⑶I的重建處理得到的重建圖像輸出的空閑區(qū)域(S1062)。并且，在確認后，重建部508進行CUl的重建處理(S1006)。
[0207]重建部508對于以后的編碼單元也進行同樣的動作。并且，重建部508在結束了切片的最后的編碼單元的重建處理的情況下，結束切片的重建處理(S1063)。
[0208]圖14G是表示圖5所示的環(huán)內(nèi)濾波器部510的動作的流程圖。
[0209]首先，環(huán)內(nèi)濾波器部510確認⑶O的環(huán)內(nèi)濾波器處理所需要的輸入數(shù)據(jù)已被輸入到FIFO部518中(S1071)。此外，環(huán)內(nèi)濾波器部510確認在輸出目的地的FIFO部519中有用來將通過⑶O的環(huán)內(nèi)濾波器處理得到的解碼圖像輸出的空閑區(qū)域(S1072)。并且，在確認后，環(huán)內(nèi)濾波器部510進行⑶O的環(huán)內(nèi)濾波器處理(S1007)。
[0210]同樣，環(huán)內(nèi)濾波器部510確認⑶I的環(huán)內(nèi)濾波器處理所需要的輸入數(shù)據(jù)被輸入到FIFO部518中(S1071)。此外，環(huán)內(nèi)濾波器部510確認在輸出目的地的FIFO部519中有用來將通過⑶I的環(huán)內(nèi)濾波器處理得到的解碼圖像輸出的空閑區(qū)域(S1072)。并且，在確認后，環(huán)內(nèi)濾波器部510進行⑶I的環(huán)內(nèi)濾波器處理(S1007)。
[0211]環(huán)內(nèi)濾波器部510對于以后的編碼單元也進行同樣的動作。并且，環(huán)內(nèi)濾波器部510在結束了切片的最后的編碼單元的環(huán)內(nèi)濾波器處理的情況下，結束切片的環(huán)內(nèi)濾波器處理(S1073)。
[0212]在圖13的第I階段中，可變長解碼部503進行上述可變長解碼處理。在第2階段中，逆量化部504進行上述逆量化處理，逆頻率變換部505進行上述逆頻率變換處理。在第3階段中，運動補償部506進行上述運動補償處理。在第4階段中，面內(nèi)預測部507進行上述面內(nèi)預測處理，重建部508進行上述重建處理。在第5階段中，環(huán)內(nèi)濾波器部510進行上述環(huán)內(nèi)濾波器處理。
[0213]圖像解碼裝置使用前面的階段的輸出結果作為下個階段的輸入數(shù)據(jù)，進行一系列的多個處理。圖像解碼裝置如上述那樣，在多個階段中，對相互不同的多個編碼單元并行執(zhí)行多個處理。并且，圖像解碼裝置在做好了需要的準備的定時，將多個處理分別與其他處理非同步地執(zhí)行。
[0214]圖15是表示有關本實施方式的圖像解碼裝置的時間序列的動作的時序圖。圖15表示如圖13那樣多個處理被劃分為多個階段、并且多個編碼單元如圖1lA那樣構成的情況下的動作。如圖15那樣，在多個階段的各個階段中，在做好了需要的準備的定時，與其他階段獨立地切換處理對象的編碼單元。因而，如圖3那樣，抑制了無用的等待時間的發(fā)生。
[0215]圖16是將有關本實施方式的FIFO部513的狀態(tài)以時間序列表示的圖。FIFO部513是用來將通過逆頻率變換處理得到的殘差圖像存儲的構成要素。在圖16的例子中，F(xiàn)IFO部513具有能夠?qū)?個最大編碼單元的數(shù)據(jù)存儲的容量。并且，在圖16中，表示在時刻A?J中存儲在FIFO部513中的數(shù)據(jù)的狀態(tài)。
[0216]時刻A在圖15中對應于⑶O的逆頻率變換處理完成之前的時點。時刻B在圖15中對應于CUO的逆頻率變換處理完成的時點。時刻C在圖15中對應于CUl的逆頻率變換處理完成的時點。時刻D在圖15中對應于CU2的逆頻率變換處理完成的時點。時刻E在圖15中對應于在⑶3的逆頻率變換處理完成之前⑶O的重建處理完成的時點。
[0217]時刻F在圖15中對應于⑶3的逆頻率變換處理完成的時點。時刻G在圖15中對應于⑶4的逆頻率變換處理完成之前⑶I的重建處理完成的時點。時刻H在圖15中對應于CU4的逆頻率變換處理完成的時點。時刻I在圖15中對應于CU5的逆頻率變換處理完成之前⑶2的重建處理完成的時點。時刻J在圖15中對應于⑶5的逆頻率變換處理完成的時點。
[0218]此外，WP表示寫指針(write pointer),表示將輸入數(shù)據(jù)寫入的位置。RP表示讀指針，表示將輸出數(shù)據(jù)讀出的位置。
[0219]保持⑶計數(shù)器值表示FIFO部513保持的編碼單元的數(shù)量。例如，重建部508在進行重建處理時，基于保持CU計數(shù)器值是否是I以上，判斷是否有I個編碼單元的輸入數(shù)據(jù)(圖14F的S1061)。此外，逆頻率變換部505在進行逆頻率變換處理時，基于保持CU計數(shù)器值是否是3以下，判斷是否有I個編碼單元的輸出區(qū)域(圖14C的S1032)。
[0220]向特定的FIFO部保存數(shù)據(jù)的處理部使該FIFO部的保持⑶計數(shù)器值增加。此外，從該FIFO部提取數(shù)據(jù)的處理部使該FIFO部的保持CU計數(shù)器值減少。例如，逆頻率變換部505在數(shù)據(jù)的保存后，使FIFO部513的保持⑶計數(shù)器值增加。并且，重建部508在數(shù)據(jù)的提取后，使FIFO部513的保持⑶計數(shù)器值減少。
[0221]在圖16的例子中，在時刻B以后，F(xiàn)IFO部513的保持⑶計數(shù)器值是I以上3以下。因而，不發(fā)生無用的等待時間。
[0222]圖17是將有關本實施方式的FIFO部513的狀態(tài)的另一例以時間序列表示的圖。在圖17的例子中，F(xiàn)IFO部513具有能夠存儲3個最大編碼單元的數(shù)據(jù)的容量。其他條件與圖16的例子是同樣的。
[0223]在圖17的例子的情況下，逆頻率變換部505在進行逆頻率變換處理時，基于保持⑶計數(shù)器值是否是2以下，判斷是否有I個編碼單元的輸出區(qū)域(圖14C的S1032)。因而，在保持CU計數(shù)器值是3的情況下，在逆頻率變換處理中發(fā)生等待時間。但是，與沒有FIFO部513的情況相比，等待時間的發(fā)生被抑制。此外，由于其他可變長解碼處理及逆量化處理等以非同步方式進行，所以整體上減少了處理延遲。
[0224]在本實施方式中，如上述那樣，流水線處理中包含的多個處理的開始及完成的定時并不同步。因此，削減了無用的等待時間，有效率地執(zhí)行流水線處理。
[0225]以上是關于有關本實施方式的圖像解碼裝置的動作的說明。
[0226](1-4.效果)
[0227]有關本實施方式的圖像解碼裝置作為分別連接到多個處理部的輸入輸出緩沖器，具備能夠保持至少3個最大編碼單元的數(shù)據(jù)的FIFO部。在保存處理及提取處理的各自中，使用I個最大編碼單元的區(qū)域。并且，使用I個以上最大編碼單元的區(qū)域作為用來將處理時間的變動吸收的緩沖器。
[0228]由此，即使是多個編碼單元由各種各樣的尺寸構成的情況，在各處理中等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間也減少。因而，流水線處理中的空閑時間被削減，有效率地進行流水線處理。由此，處理性能提高。
[0229]此外，F(xiàn)IFO部的容量越大，在各處理中等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間越減少。結果，處理性能進一步提高。此外，由于電路有效率地動作，所以需要的耗電減少。
[0230](I — 5.補充)
[0231]另外，在本實施方式中，作為在編碼及解碼中使用的數(shù)據(jù)單位而使用編碼單元。但是，在編碼及解碼中使用的數(shù)據(jù)單位也可以是宏塊。此外，在編碼及解碼中使用的數(shù)據(jù)單位也可以是被稱作超級宏塊(super macroblock)的塊。
[0232]此外，在本實施方式中，基于非專利文獻2所示的編碼方式了表示流水線處理中的各處理。但是，流水線處理中的各處理并不限定于本實施方式的例子。
[0233]此外，在本實施方式中，最大編碼單元的尺寸是128x128像素。但是，最大編碼單元的尺寸是怎樣的尺寸都可以。此外，在本實施方式中，編碼單元的尺寸是128x128像素?8x8像素。但是，編碼單元的尺寸也可以是這些以外的尺寸。
[0234]此外，本實施方式所示的流水線處理的結構是一例。也可以并不一定如本實施方式那樣將多個處理劃分為多個階段。例如，既可以將多個處理用I個階段實現(xiàn)，也可以將I個處理劃分為一些階段。
[0235]此外，在本實施方式中使用可變長代碼。可變長代碼的編碼方式也可以是霍夫曼代碼、游程長(run length)代碼或算術代碼等怎樣的編碼方式都可以。
[0236]此外，各處理部的一部分或全部也可以通過由專用硬件形成的電路實現(xiàn)，也可以通過處理器上的程序?qū)崿F(xiàn)。
[0237]此外，F(xiàn)IFO部 500、FIFO 部 511、FIFO 部 512、FIFO 部 513、FIFO 部 514、FIFO 部515、FIFO部517、FIFO部518、FIFO部519、幀存儲器502及重建圖像存儲器509并不限定于存儲器。它們只要是能夠進行數(shù)據(jù)的存儲的存儲元件就可以。例如，它們也可以是觸發(fā)器或寄存器等。進而，也可以在它們中使用處理器的存儲器區(qū)域的一部分或閃存存儲器的一部分。
[0238]此外，在本實施方式中，明示地表示了重建圖像存儲器509。但是，也可以使用各處理部內(nèi)的存儲器作為重建圖像存儲器509，也可以使用幀存儲器502作為重建圖像存儲器509。[0239]此外，在本實施方式中表示了解碼處理的例子。但是，與本實施方式同樣的結構也可以應用到解碼處理以外。例如，在作為解碼處理的逆處理的編碼處理中也可以應用與本實施方式同樣的結構。即，圖像編碼裝置也可以作為分別連接到多個處理部的輸入輸出緩沖器而具備能夠保持至少3個最大編碼單元的數(shù)據(jù)的FIFO部。由此，與本實施方式同樣有效率地執(zhí)行流水線處理。
[0240]此外，在本實施方式中，CU劃分標志存在于劃分塊的開頭。但是，CU劃分標志并不需要一定存在于這樣的位置，只要存在于編碼流中就可以。例如，CU劃分標志也可以存在于最大編碼單元的開頭。
[0241 ] 此外，在本實施方式中，TU劃分標志存在于各系數(shù)信息的開頭。但是，TU劃分標志并不需要一定存在于這樣的位置，只要存在于編碼流中就可以。例如，TU劃分標志也可以存在于編碼單元或最大編碼單元的開頭。
[0242]此外，在本實施方式中，圖像解碼裝置按照每個編碼單元進行多個處理。但是，圖像解碼裝置也可以按照與編碼單元不同的可利用的每個數(shù)據(jù)集進行多個處理。即，圖像解碼裝置也可以按照每個變換單元進行多個處理，也可以按照每個預測單元進行多個處理，也可以按照除此以外的每個數(shù)據(jù)集進行多個處理。
[0243]此外，在本實施方式中，將全部的處理按照每個編碼單元進行。但是，例如也可以將逆頻率變換處理按照每個變換單元進行，將運動補償處理按照每個預測單元進行。即，并不需要一定在全部的處理中數(shù)據(jù)單位是相同的。
[0244]此外，在本實施方式中，圖像解碼裝置作為分別連接到多個處理的輸入輸出緩沖器而具備能夠保持至少3個最大編碼單元的數(shù)據(jù)的FIFO部。但是，圖像解碼裝置也可以具備能夠保持3個以上可利用的最大數(shù)據(jù)集的數(shù)據(jù)的FIFO部。
[0245]例如，圖像解碼裝置也可以具備能夠保持3個以上最大變換單元的數(shù)據(jù)的FIFO部。此外，圖像解碼裝置也可以具備能夠保持3個以上最大預測單元的數(shù)據(jù)的FIFO部。此夕卜，圖像解碼裝置也可以具備能夠保持3個以上其以外的最大數(shù)據(jù)集的數(shù)據(jù)的FIFO部。
[0246](實施方式2)
[0247](2— 1.概要)
[0248]首先，對有關本實施方式的圖像解碼裝置的概要進行說明。有關本實施方式的圖像解碼裝置將作為編碼后的圖像的編碼流解碼。構成編碼流的編碼單元的尺寸是可變的。此外，圖像解碼裝置將解碼處理中包含的多個處理劃分為多個階段，以流水線方式并行地進行多個處理。
[0249]此時，圖像解碼裝置以在編碼流中定義的編碼單元的尺寸，以流水線方式并行地進行多個處理。在構成圖像解碼裝置的多個處理部上，連接輸入輸出緩沖器。該輸入輸出緩沖器由能夠保持對應于至少兩個最大編碼單元的數(shù)據(jù)的FIFO部構成。此外，基于編碼單元尺寸管理FIFO部的數(shù)據(jù)。
[0250]由此，在多個編碼單元由各種各樣的尺寸構成的情況下，在各處理中等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間也減少。因而，流水線處理中的空閑時間被削減，有效率地進行流水線處理。由此，處理性能提高。
[0251]并且，F(xiàn)IFO部的容量越大，在各處理中，等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間越減少。此外，在處理對象的編碼單元比設想的最大編碼單元小的情況下，在各處理中，等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間也減少。此外，與實施方式I相比，多個處理部之間的存儲器所需要的容量被削減。
[0252]以上是關于有關本實施方式的圖像解碼裝置的概要的說明。
[0253](2 — 2.結構)
[0254]圖4是有關本實施方式的圖像解碼裝置的結構圖。有關本實施方式的圖像解碼裝置的整體結構與實施方式I是同樣的，所以省略說明。
[0255]圖5是表示多個處理部之間的連接的結構圖。連接的結構與實施方式I是同樣的，所以省略說明。
[0256]圖18是對于可變長解碼部503、逆量化部504、逆頻率變換部505、FIFO部500、FIFO部511、FIFO部512及FIFO部513的連接進行詳細記載的圖。對于與圖6同樣的構成要素省略說明。在本實施方式中追加了尺寸判斷部5020。該尺寸判斷部5020基于由可變長解碼部503解碼后的頭信息，判斷編碼單元的尺寸。
[0257]將由尺寸判斷部5020判斷出的尺寸向管理各處理部的輸入用的FIFO部及輸出用的FIFO部的FIFO管理部輸入。并且，F(xiàn)IFO管理部根據(jù)尺寸管理FIFO部，將處理部起動。
[0258]另外，尺寸判斷部5020也可以包含在可變長解碼部503中。在以后的說明中，有時將尺寸判斷部5020的動作表示為包括尺寸判斷部5020的可變長解碼部503的動作。
[0259]以上是對有關本實施方式的圖像解碼裝置的結構的說明。
[0260](2 — 3.動作)
[0261]在本實施方式中，與實施方式I同樣，使用圖7A?圖10B所示的編碼流的構造。此夕卜，與實施方式I同樣，使用圖1lA及圖1lB所示的多個編碼單元的結構作為例子。有關本實施方式的圖像解碼裝置整體的動作流程與圖12及圖13所示的實施方式I的動作流程是同樣的，所以省略說明。
[0262]有關本實施方式的圖像解碼裝置與實施方式I不同，在輸入數(shù)據(jù)的有無及輸出區(qū)域的有無的判斷中使用編碼單元的尺寸。
[0263]圖19A是表示有關本實施方式的可變長解碼部503的動作的流程圖。首先，可變長解碼部503進行編碼單元的頭的可變長解碼處理(S2010)。
[0264]接著，可變長解碼部503判斷編碼單元的尺寸(S2011)。接著，可變長解碼部503確認是否有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2012)。接著，可變長解碼部503確認有與編碼單元的尺寸對應的輸出區(qū)域(S2013)。并且，在確認后，可變長解碼部503進行編碼單元的數(shù)據(jù)的可變長解碼處理(S2014)。并且，可變長解碼部503重復上述動作，直到切片的最后的編碼單元(S2015)。
[0265]圖19B是表示有關本實施方式的逆量化部504的動作的流程圖。首先，逆量化部504基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2020)。
[0266]接著，逆量化部504確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2021)。接著，逆量化部504確認有與編碼單元的尺寸對應的輸出區(qū)域(S2022)。并且，在確認后，逆量化部504進行編碼單元的逆量化處理(S1002)。并且，逆量化部504重復上述動作，直到切片的最后的編碼單元(S2023)。
[0267]圖19C是表示有關本實施方式的逆頻率變換部505的動作的流程圖。首先，逆頻率變換部505基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2030)。[0268]接著，逆頻率變換部505確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2031)。接著，逆頻率變換部505確認有與編碼單元的尺寸對應的輸出區(qū)域(S2032)。并且，在確認后，逆頻率變換部505進行編碼單元的逆頻率變換處理(S1003)。并且，逆頻率變換部505重復上述動作，直到切片的最后的編碼單元(S2033 )。
[0269]圖19D是表示有關本實施方式的運動補償部506的動作的流程圖。首先，運動補償部506基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2040)。
[0270]接著，運動補償部506確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2041)。接著，運動補償部506確認有與編碼單元的尺寸對應的輸出區(qū)域(S2042)。并且，在確認后，運動補償部506進行編碼單元的運動補償處理(S1004)。并且，運動補償部506重復上述動作，直到切片的最后的編碼單元(S2043 )。
[0271]圖19E是表示有關本實施方式的面內(nèi)預測部507的動作的流程圖。首先，面內(nèi)預測部507基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2050)。
[0272]接著，面內(nèi)預測部507確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2051)。接著，面內(nèi)預測部507確認有與編碼單元的尺寸對應的輸出區(qū)域(S2052)。并且，在確認后，面內(nèi)預測部507進行編碼單元的面內(nèi)預測處理(S1005)。并且，面內(nèi)預測部507重復上述動作，直到切片的最后的編碼單元(S2053 )。
[0273]圖19F是表示有關本實施方式的重建部508的動作的流程圖。首先，重建部508基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2060)。
[0274]接著，重建部508確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2061)。接著，重建部508確認有與編碼單元的尺寸對應的輸出區(qū)域(S2062)。并且，在確認后，重建部508進行編碼單元的面內(nèi)預測處理(S1006)。并且，重建部508重復上述動作，直到切片的最后的編碼單元(S2063)。
[0275]圖19G是表示有關本實施方式的環(huán)內(nèi)濾波器部510的動作的流程圖。首先，環(huán)內(nèi)濾波器部510基于由可變長解碼部503判斷出的結果，取得編碼單元的尺寸(S2070)。
[0276]接著，環(huán)內(nèi)濾波器部510確認有與編碼單元的尺寸對應的輸入數(shù)據(jù)(S2071)。接著，環(huán)內(nèi)濾波器部510確認有與編碼單元的尺寸對應的輸出區(qū)域(S2072)。并且，在確認后，環(huán)內(nèi)濾波器部510進行編碼單元的環(huán)內(nèi)濾波器處理(S1007)。并且，環(huán)內(nèi)濾波器部510重復上述動作，直到切片的最后的編碼單元(S2073 )。
[0277]如上述那樣，在本實施方式中，基于編碼單元的尺寸執(zhí)行各處理。其他動作與實施方式I是同樣的。
[0278]圖15是表示有關本實施方式的圖像解碼裝置的時間序列的動作的時序圖。在本實施方式中，也與實施方式I同樣,執(zhí)行流水線處理。
[0279]圖20是將有關本實施方式的FIFO部513的狀態(tài)以時間序列表示的圖。在圖20的例子中，F(xiàn)IFO部513具有能夠存儲兩個最大編碼單元的數(shù)據(jù)的容量。并且，在圖20中，表示在時刻A?J存儲在FIFO部513中的數(shù)據(jù)的狀態(tài)。時刻A?J分別與在實施方式I中表示的各時點相同。此外，與圖16同樣，WP表示寫指針，表示將輸入數(shù)據(jù)寫入的位置。RP表示讀指針，表示將輸出數(shù)據(jù)讀出的位置。
[0280]此外，圖20的保持⑶計數(shù)器值表示FIFO部513保持有相當于幾個最小編碼單元的信息。例如，在⑶1、⑶2、⑶3及⑶4是編碼單元的最小尺寸的情況下，⑶O相當于4個最小編碼單元。即，如圖20的時刻B那樣，在CUO的處理完成的時點，對保持CU計數(shù)器值追加4個最小編碼單元的值。
[0281]例如，重建部508在判斷是否有ICU量的輸入數(shù)據(jù)之前，與實施方式I不同，取得處理對象的編碼單元的尺寸(圖19F的S2060)。并且，重建部508基于FIFO部513的保持CU計數(shù)器值是否是相當于尺寸的值以上，判斷在FIFO部513中是否有輸入數(shù)據(jù)(圖19F的S2061)。
[0282]此外，逆頻率變換部505基于作為相當于編碼單元的尺寸的值與保持CU計數(shù)器值的相加結果是否是8以下，判斷在FIFO部513中是否有空閑區(qū)域(圖19C的S2032)。
[0283]與實施方式I同樣，向特定的FIFO部保存編碼單元的數(shù)據(jù)的處理部，基于編碼單元的尺寸使該FIFO部的保持CU計數(shù)器值增加。此外，從該FIFO部提取編碼單元的數(shù)據(jù)的處理部，基于編碼單元的尺寸使該FIFO部的保持CU計數(shù)器值減少。
[0284]有關本實施方式的圖像解碼裝置如上述那樣，基于編碼單元的尺寸管理FIFO部的數(shù)據(jù)輸入輸出。因而，圖像解碼裝置能夠?qū)Ω鞣N各樣的尺寸的多個編碼單元以流水線方式并行執(zhí)行多個處理。并且，圖像解碼裝置能夠有效地利用將多個處理部之間連接的FIFO部的區(qū)域。
[0285]以上是對有關本實施方式的圖像解碼裝置的動作的說明。
[0286](2 —4.效果)
[0287]有關本實施方式的圖像解碼裝置以在編碼流中定義的編碼單元的尺寸，以流水線方式并行進行多個處理。此外，圖像解碼裝置作為分別連接在多個處理部上的輸入輸出緩沖器而具備能夠保持至少兩個最大編碼單元的數(shù)據(jù)的FIFO部。此外，圖像解碼裝置基于編碼單元的尺寸管理FIFO部的輸入輸出數(shù)據(jù)。
[0288]由此，在多個編碼單元由各種各樣的尺寸構成的情況下，在各處理中等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間也減少。因而，流水線處理中的空閑時間被削減，有效率地進行流水線處理。由此，處理性能提高。
[0289]并且，F(xiàn)IFO部的容量越大，在各處理中，等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間越減少。此外，在處理對象的編碼單元比設想的最大編碼單元小的情況下，在各處理中，等待數(shù)據(jù)的輸入的時間以及等待輸出緩沖器的空閑的時間也減少。
[0290]結果，處理性能進一步提高。此外，通過電路有效率地動作，需要的耗電減少。此夕卜，與實施方式I相比，能夠削減多個處理部之間的存儲器容量。由此，能夠使電路規(guī)模變小。
[0291](2 — 5.補充)
[0292]另外，在本實施方式中，作為在編碼及解碼中使用的數(shù)據(jù)單位而使用編碼單元。但是，在編碼及解碼中使用的數(shù)據(jù)單位也可以是宏塊。此外，在編碼及解碼中使用的數(shù)據(jù)單位也可以是被稱作超級宏塊的塊。
[0293]此外，在本實施方式中，基于非專利文獻2所示的編碼方式了表示流水線處理中的各處理。但是，流水線處理中的各處理并不限定于本實施方式的例子。
[0294]此外，在本實施方式中，最大編碼單元的尺寸是128x128像素。但是，最大編碼單元的尺寸是怎樣的尺寸都可以。此外，在本實施方式中，編碼單元的尺寸是128x128像素?8x8像素。但是，編碼單元的尺寸也可以是這些以外的尺寸。[0295]此外，本實施方式所示的流水線處理的結構是一例。也可以并不一定如本實施方式那樣將多個處理劃分為多個階段。例如，既可以將多個處理用I個階段實現(xiàn)，也可以將I個處理劃分為一些階段。
[0296]此外，在本實施方式中使用可變長代碼?？勺冮L代碼的編碼方式也可以是霍夫曼代碼、游程長代碼或算術代碼等怎樣的編碼方式都可以。
[0297]此外，各處理部的一部分或全部也可以通過由專用硬件形成的電路實現(xiàn)，也可以通過處理器上的程序?qū)崿F(xiàn)。
[0298]此外，F(xiàn)IFO部 500、FIFO 部 511、FIFO 部 512、FIFO 部 513、FIFO 部 514、FIFO 部515、FIFO部517、FIFO部518、FIFO部519、幀存儲器502及重建圖像存儲器509并不限定于存儲器。它們只要是能夠進行數(shù)據(jù)的存儲的存儲元件就可以。例如，它們也可以是觸發(fā)器或寄存器等。進而，也可以在它們中使用處理器的存儲器區(qū)域的一部分或閃存存儲器的一部分。
[0299]此外，在本實施方式中，明確地表示了重建圖像存儲器509。但是，也可以使用各處理部內(nèi)的存儲器作為重建圖像存儲器509，也可以使用幀存儲器502作為重建圖像存儲器509。
[0300]此外，在本實施方式中表示了解碼處理的例子。但是，與本實施方式同樣的結構也可以應用到解碼處理以外。例如，在作為解碼處理的逆處理的編碼處理中也可以應用與本實施方式同樣的結構。
[0301]S卩，圖像編碼裝置也可以作為分別連接到多個處理部的輸入輸出緩沖器而具備能夠保持至少兩個最大編碼單元的數(shù)據(jù)的FIFO部，只要基于編碼單元尺寸進行FIFO部的數(shù)據(jù)的管理就可以。由此，與本實施方式同樣有效率地執(zhí)行流水線處理。
[0302]此外，在本實施方式中，CU劃分標志存在于劃分塊的開頭。但是，CU劃分標志并不需要一定存在于這樣的位置，只要存在于編碼流中就可以。例如，CU劃分標志也可以存在于最大編碼單元的開頭。
[0303]此外，在本實施方式中，TU劃分標志存在于各系數(shù)信息的開頭。但是，TU劃分標志并不需要一定存在于這樣的位置，只要存在于編碼流中就可以。例如，TU劃分標志也可以存在于編碼單元或最大編碼單元的開頭。
[0304]此外，在本實施方式中，圖像解碼裝置按照每個編碼單元進行多個處理。但是，圖像解碼裝置也可以按照與編碼單元不同的可利用的每個數(shù)據(jù)集進行多個處理。即，圖像解碼裝置也可以按照每個變換單元進行多個處理，也可以按照每個預測單元進行多個處理，也可以按照除此以外的每個數(shù)據(jù)集進行多個處理。
[0305]此外，在本實施方式中，將全部的處理按照每個編碼單元進行。但是，例如也可以將逆頻率變換處理按照每個變換單元進行，將運動補償處理按照每個預測單元進行。即，并不需要一定在全部的處理中數(shù)據(jù)單位是相同的。
[0306]此外，在本實施方式中，圖像解碼裝置作為分別連接到多個處理的輸入輸出緩沖器而具備能夠保持至少兩個最大編碼單元的數(shù)據(jù)的FIFO部。但是，圖像解碼裝置也可以具備能夠保持兩個以上可利用的最大數(shù)據(jù)集的數(shù)據(jù)的FIFO部。
[0307]例如，圖像解碼裝置也可以具備能夠保持兩個以上最大變換單元的數(shù)據(jù)的FIFO部。此外，圖像解碼裝置也可以具備能夠保持兩個以上最大預測單元的數(shù)據(jù)的FIFO部。此夕卜，圖像解碼裝置也可以具備能夠保持兩個以上其以外的最大數(shù)據(jù)集的數(shù)據(jù)的FIFO部。
[0308](實施方式3)
[0309]有關本實施方式的圖像解碼裝置及圖像編碼裝置具備實施方式I及實施方式2所表示的多個構成要素中的特征性的構成要素。
[0310]圖21A是表示有關本實施方式的圖像解碼裝置的結構圖。圖21A所示的圖像解碼裝置100將被劃分為至少存在兩種尺寸的多個塊而編碼的圖像通過包括多個處理的流水線處理而進行解碼。并且，圖像解碼裝置100具備兩個處理部101、102及存儲部111。存儲部111具有能夠存儲兩個以上的至少兩種尺寸中的最大尺寸的塊的容量。
[0311]圖21B是表示圖21A所示的圖像解碼裝置100的動作的流程圖。首先，處理部101對多個塊依次進行多個處理中的第I處理。并且，處理部101通過向存儲部111保存被進行了第I處理后的塊，向存儲部111依次保存多個塊(S101)。接著，處理部102從存儲部111依次提取多個塊。并且，處理部102對提取出的多個塊依次進行多個處理中的第2處理(S102)。
[0312]由此，能夠在處理部101對最大尺寸的塊進行處理并將該塊向存儲部111寫入的同時，處理部102從存儲部111提取最大尺寸的別的塊并處理該別的塊。此外，存儲部111能夠?qū)?個以上的塊按照它們的尺寸逐次保持。因而，處理部101及處理部102相互等待處理的結束的無用的等待時間減少，處理效率提聞。
[0313]圖22A是表示有關本實施方式的圖像編碼裝置的結構圖。圖22A所示的圖像編碼裝置200將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的圖像通過包含多個處理的流水線處理編碼。并且，圖像編碼裝置200具備兩個處理部201、202及存儲部211。存儲部211具有能夠存儲兩個以上至少兩種尺寸中的最大尺寸的塊的容量。
[0314]圖22B是表示圖22A所示的圖像編碼裝置200的動作的流程圖。首先，處理部201對多個塊依次進行多個處理中的第I處理。并且，處理部201通過向存儲部211保存被進行第I處理后的塊，向存儲部211依次保存多個塊(S201)。接著，處理部202從存儲部211依次提取多個塊。并且，處理部202對提取出的多個塊依次進行第2處理(S202)。
[0315]由此，圖像編碼裝置200能夠得到與圖像解碼裝置100同樣的效果。
[0316]另外，存儲部111及存儲部211也可以具有能夠存儲3個以上的至少兩種尺寸中的最大尺寸的塊的容量。
[0317]此外，多個塊也可以是多個編碼單元、多個變換單元或多個預測單元。
[0318]在此情況下，處理部101或處理部102作為第I處理或第2處理而進行對于多個編碼單元的可變長解碼處理、對于多個變換單元的逆頻率變換處理、或?qū)τ诙鄠€預測單元的預測處理。并且，處理部201或處理部202作為第I處理或第2處理而進行對于多個編碼單元的可變長編碼處理、對于多個變換單元的頻率變換處理、或?qū)τ诙鄠€預測單元的預測處理。
[0319]此外也可以是，處理部101作為第I處理而進行可變長解碼處理，處理部202作為第2處理而進行逆量化處理。此外也可以是，處理部201作為第I處理而進行頻率變換處理，處理部202作為第2處理而進行量化處理。此外也可以是，處理部201作為第I處理而進行量化處理，處理部202作為第2處理而進行可變長編碼處理。
[0320]此外也可以是，處理部101及處理部201作為第I處理而進行逆量化處理，處理部102及處理部202作為第2處理而進行逆頻率變換處理。此外也可以是，處理部101及處理部201作為第I處理而進行逆頻率變換處理，處理部102及處理部202作為第2處理而進
行重建處理。
[0321]此外也可以是，處理部101及處理部201作為第I處理而進行面內(nèi)預測處理，處理部102及處理部202作為第2處理而進行重建處理。此外也可以是，處理部101及處理部201作為第I處理而進行運動補償處理，處理部102及處理部202作為第2處理而進行重建處理。此外也可以是，處理部101及處理部201作為第I處理而進行重建處理，處理部102及處理部202作為第2處理而進行環(huán)內(nèi)濾波器處理。
[0322]此外也可以是，處理部101及處理部201作為第I處理而進行參照圖像傳送處理，處理部102及處理部202作為第2處理而進行運動補償處理。
[0323]例如，處理部101將解碼對象塊的參照圖像傳送，向存儲部111保存。處理部102從存儲部111提取解碼對象塊的參照圖像，使用提取出的參照圖像執(zhí)行解碼對象塊的運動補償處理。同樣，處理部201將編碼對象塊的參照圖像傳送，向存儲部211保存。處理部202從存儲部211提取編碼對象塊的參照圖像，使用提取出的參照圖像執(zhí)行編碼對象塊的運動補償處理。
[0324]此外，處理部102也可以與處理部101非同步地從存儲部111依次提取多個塊，對提取出的多個塊依次進行第2處理。同樣，處理部202也可以與處理部201非同步地從存儲部211依次提取多個塊，對提取出的多個塊依次進行第2處理。
[0325]此外，處理部102也可以與處理部101對第I塊進行第I處理并行地，對按照多個塊的處理順序而從第I塊離開兩個以上的塊的第2塊進行第2處理。同樣，處理部202也可以與處理部201對第I塊進行第I處理并行地，對按照多個塊的處理順序而從第I塊離開兩個以上的塊的第2塊進行第2處理。
[0326]此外，處理部102典型地以多個塊被保存在存儲部111中的順序從存儲部111依次提取多個塊。同樣，處理部202典型地以多個塊被保存在存儲部211中的順序從存儲部211依次提取多個塊。
[0327](實施方式4)
[0328]有關本實施方式的圖像解碼裝置及圖像編碼裝置具備實施方式I及實施方式2所示的多個構成要素中的特征性的構成要素。此外，在本實施方式中，對實施方式3的結構追加了新的構成要素。
[0329]圖23A是表示有關本實施方式的圖像解碼裝置的結構圖。圖23A所示的圖像解碼裝置300將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理解碼。并且，圖像解碼裝置300具備兩個處理部301、302、存儲部311及判斷部320。存儲部311具有能夠存儲兩個以上的至少兩種尺寸中的最大的尺寸的塊的容量。判斷部320判斷多個塊的各自的尺寸。
[0330]圖23B是表示圖23A所示的圖像解碼裝置300的動作的流程圖。首先，判斷部320判斷塊的尺寸(S301)。
[0331]處理部301對塊進行第I處理。并且，處理部301在存儲部311中保存被進行了第I處理的塊(S302)。此時，處理部301按照被進行了第I處理的塊的尺寸，決定塊在存儲部311中專用的區(qū)域，向所決定的區(qū)域保存塊。接著，處理部302從存儲部311提取塊。[0332]并且，處理部302對提取出的塊進行多個處理中的第2處理(S303)。
[0333]由此，處理部301能夠?qū)⒍鄠€塊根據(jù)它們的尺寸適當?shù)叵虼鎯Σ?11保存。因而，處理部301能夠在較少的容量中保存許多塊。
[0334]圖24A是表示有關本實施方式的圖像編碼裝置的結構圖。圖24A所示的圖像編碼裝置400將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的圖像通過包括多個處理的流水線處理編碼。并且，圖像編碼裝置400具備兩個處理部401、402、存儲部411及判斷部420。存儲部411具有能夠存儲兩個以上至少兩種尺寸中的最大的尺寸的塊的容量。判斷部420判斷多個塊的各自的尺寸。
[0335]圖24B是表示圖24A所示的圖像編碼裝置400的動作的流程圖。首先，判斷部420判斷塊的尺寸(S401)。
[0336]處理部401對塊進行第I處理。并且，處理部401向存儲部411保存被進行了第I處理的塊(S402)。此時，處理部401按照被進行了第I處理的塊的尺寸，決定塊在存儲部411中專用的區(qū)域，向所決定的區(qū)域保存塊。接著，處理部402從存儲部411中提取塊。
[0337]并且，處理部402對提取出的塊進行多個處理中的第2處理(S403)。
[0338]由此，圖像編碼裝置400能夠得到與圖像解碼裝置300同樣的效果。
[0339](實施方式5)
[0340]有關本實施方式的圖像解碼裝置及圖像編碼裝置具備實施方式I及實施方式2所示的多個構成要素中的特征性的構成要素。此外，在本實施方式中，對實施方式3的結構追加了新的構成要素。
[0341]圖25A是表示有關本實施方式的圖像解碼裝置的結構圖。圖25A所示的圖像解碼裝置700將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理解碼。并且，圖像解碼裝置700具備兩個處理部701、702及兩個存儲部711、712。存儲部711具有能夠存儲兩個以上至少兩種尺寸中的最大的尺寸的塊的容量。
[0342]本實施方式的處理部701、702與實施方式3的處理部101、102同樣地動作。本實施方式的處理部702在進行第2處理時，追加進行圖25B的動作。
[0343]圖25B是表示圖25A所示的處理部702的動作的流程圖。處理部702在進行第2處理之前，判斷在存儲部711中是否保存有被進行了第I處理的塊、以及在存儲部712中是否空閑有用來保存被進行了第2處理的塊的區(qū)域(S701)。
[0344]并且，處理部702在判斷為在存儲部711中保存有被進行了第I處理的塊、并且判斷為在存儲部712中空閑有用來保存被進行了第2處理的塊的區(qū)域的定時，從存儲部711提取塊。并且，處理部702對提取出的塊進行第2處理，向存儲部712保存被進行了第2處理的塊(S702)。
[0345]由此，處理部702能夠在用于處理的準備完成的定時進行處理。因而，無用的等待時間減少。
[0346]圖26A是表示有關本實施方式的圖像編碼裝置的結構圖。圖26A所示的圖像編碼裝置800將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的圖像通過包括多個處理的流水線處理編碼。并且，圖像編碼裝置800具備兩個處理部801、802及兩個存儲部811、812。存儲部811具有能夠存儲兩個以上至少兩種尺寸中的最大的尺寸的塊的容量。
[0347]本實施方式的處理部801、802與實施方式3的處理部801、802同樣地動作。本實施方式的處理部802在進行第2處理時，追加進行圖26B的動作。
[0348]圖26B是表示圖26A所示的處理部802的動作的流程圖。處理部802在進行第2處理之前，判斷在存儲部811中是否保存有被進行了第I處理的塊、以及在存儲部812中是否空閑有用來保存被進行了第2處理的塊的區(qū)域(S801)。
[0349]并且，處理部802在判斷為在存儲部811中保存有被進行了第I處理的塊、并且判斷為在存儲部812中空閑有用來保存被進行了第2處理的塊的區(qū)域的定時，從存儲部811提取塊。并且，處理部802對提取出的塊進行第2處理，向存儲部812保存被進行了第2處理的塊(S802)。
[0350]由此，圖像編碼裝置800能夠得到與圖像解碼裝置700同樣的效果。
[0351]另外，在上述各實施方式中，各構成要素也可以由專用的硬件構成、或通過執(zhí)行適合于各構成要素的軟件程序來實現(xiàn)。各構成要素也可以通過CPU或處理器等的程序執(zhí)行部將記錄在硬盤或半導體存儲器等的記錄介質(zhì)中的軟件程序讀出并執(zhí)行來實現(xiàn)。這里，實現(xiàn)上述各實施方式的圖像解碼裝置等的軟件是以下這樣的程序。
[0352]S卩，該程序使計算機執(zhí)行一種圖像解碼方法，是將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼的圖像解碼方法，包括:第I處理步驟，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊向具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量的第I存儲部保存，向上述第I存儲部依次保存上述多個塊；第2處理步驟，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
[0353]另外，該程序使計算機執(zhí)行一種圖像編碼方法，是將圖像劃分為至少存在兩種尺寸的多個塊、將劃分后的上述圖像通過包括多個處理的流水線處理來編碼的圖像編碼方法，包括:第I處理步驟，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊向具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量的第I存儲部保存，向上述第I存儲部依次保存上述多個塊；第2處理步驟，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
[0354]此外，各構成要素也可以是電路。這些電路既可以作為整體構成I個電路，也可以是分別不同的電路。此外，這些電路既可以分別是通用的電路，也可以是專用的電路。
[0355]以上，基于實施方式對有關一個或多個形態(tài)的圖像解碼裝置及圖像編碼裝置進行了說明，但本發(fā)明并不限定于該實施方式。只要不脫離本發(fā)明的主旨，對本實施方式實施了本領域的技術人員想到的各種變形后的形態(tài)、或?qū)⒉煌膶嵤┓绞降臉嫵梢亟M合而構建的形態(tài)也可以包含在一個或多個形態(tài)的范圍內(nèi)。
[0356]例如，也可以將特定的處理部執(zhí)行的處理由別的處理部執(zhí)行。此外，也可以將執(zhí)行處理的順序變更，也可以將多個處理并行地執(zhí)行。
[0357]此外，本發(fā)明不僅能夠作為圖像解碼裝置或圖像編碼裝置實現(xiàn)，也可以作為以構成圖像解碼裝置或圖像編碼裝置的處理機構為步驟的方法實現(xiàn)。例如，將這些步驟通過計算機執(zhí)行。并且，本發(fā)明可以作為用來使計算機執(zhí)行這些方法中包含的步驟的程序?qū)崿F(xiàn)。進而，本發(fā)明可以作為記錄有該程序的CD - ROM等的非暫時性的計算機可讀取的記錄介質(zhì)實現(xiàn)。[0358]此外，圖像解碼裝置或圖像編碼裝置中包含的多個構成要素也可以作為集成電路即LSI (Large Scale Integration:大規(guī)模集成電路)實現(xiàn)。這些構成要素既可以單獨地I芯片化，也可以包含一部分或全部而I芯片化。例如，也可以將存儲器以外的構成要素I芯片化。這里，設為LSI,但根據(jù)集成度的差異，也有稱作IC (Integrated Circuit)、系統(tǒng)LS1、超級(super)LSI 或特級(ultra)LSI 的情況。
[0359]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用能夠編程的FPGA (Field Programmable Gate Array:現(xiàn)場可編程門陣列)或能夠重構LSI內(nèi)部的電路單元的連接及設定的可重構處理器。
[0360]進而，如果因半導體技術的進步或派生的其他技術而出現(xiàn)代替LSI的集成電路化的技術，則當然也可以使用該技術進行圖像解碼裝置或圖像編碼裝置中包含的構成要素的集成電路化。
[0361](實施方式6)
[0362]通過將用于實現(xiàn)在上述的各個實施例所示的圖像編碼方法以及圖像解碼方法的結構的程序記錄到記錄介質(zhì)，從而可以將上述的各個實施例所示的處理在獨立的計算機系統(tǒng)簡單地實施。記錄介質(zhì)可以是磁盤、光盤、磁光盤、IC卡、半導體存儲器等,只要能夠記錄程序就可以。
[0363]并且，在此對在上述的各個實施例所示的圖像編碼方法以及圖像解碼方法的應用實例以及利用這些應用實例的系統(tǒng)進行說明。
[0364]圖27是示出實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容提供系統(tǒng)exlOO的全體構成圖。將通信服務的提供區(qū)域劃分為所希望的大小，在各單元內(nèi)分別設置有作為固定無線站的基站exl06至 exllO。
[0365]在該內(nèi)容提供系統(tǒng)exlOO中，計算機exl 11、PDA(個人數(shù)字助理:Personal DigitalAssistant) exll2、照相機exll3、移動電話exll4、游戲機exll5等各種設備，通過電話網(wǎng)exl04、以及基站exl06?exllO相連接。并且，各個設備，通過互聯(lián)網(wǎng)服務提供商exl02，與互聯(lián)網(wǎng)exlOl相連接。
[0366]然而，內(nèi)容提供系統(tǒng)exlOO并非局限于圖27所示的構成，也可以對任意的要素進行組合連接。并且，可以不通過作為固定無線站的基站exl06至exllO，而是各個設備直接與電話網(wǎng)exl04相連接。并且，也可以是各個設備通過近距離無線等而彼此直接連接。
[0367]照相機exll3是數(shù)字視頻攝像機等能夠拍攝運動圖像的設備,照相機exll6是數(shù)字照相機等能夠拍攝靜止圖像以及運動圖像的設備。并且，移動電話exll4可以以GSM (Global System for Mobile Communications:全球移動通訊系統(tǒng))方式、CDMA (CodeDivision Multiple Access:碼分多址)方式、W — CDMA (Wideband — Code DivisionMultiple Access:寬帶碼分多址)方式、LTE (Long Term Evolution:長期演進)方式、HSPA(High Speed Packet Access:高速分組接入)的移動電話，或 PHS(PersonalHandyphone System:個人手持式電話系統(tǒng))等任一個來構成。
[0368]在內(nèi)容提供系統(tǒng)exlOO中，照相機exll3等通過基站exl09、電話網(wǎng)exl04與流媒體服務器(streaming server) exl03連接,從而進行現(xiàn)場轉播等。在現(xiàn)場轉播中,針對用戶利用照相機exll3拍攝的內(nèi)容(例如音樂會現(xiàn)場的影像等)進行在上述各個實施例所說明的編碼處理，并發(fā)送到流媒體服務器exl03。另外，流媒體服務器exl03針對提出請求的客戶端，對被發(fā)送的內(nèi)容數(shù)據(jù)進行流的分發(fā)。作為客戶端，包括可以解碼上述的被編碼處理的數(shù)據(jù)的計算機exlll、PDAexll2、照相機exll3、移動電話exll4、以及游戲機exll5等。在接收了被分發(fā)的數(shù)據(jù)的各個設備，對接收的數(shù)據(jù)進行解碼處理并再現(xiàn)。
[0369]并且，拍攝的數(shù)據(jù)的編碼處理可以在照相機exll3進行，也可以在進行數(shù)據(jù)的發(fā)送處理的流媒體服務器exl03進行，也可以彼此分擔進行。同樣，被分發(fā)的數(shù)據(jù)的解碼處理可以由客戶端進行，也可以在流媒體服務器exl03進行，也可以彼此分擔進行。并且，不僅限于照相機exll3，由照相機exll6拍攝的靜止圖像以及/或者運動圖像數(shù)據(jù)，也可以通過計算機exlll而發(fā)送到流媒體服務器exl03。此時的編碼處理可以在照相機exll6、計算機exlll以及流媒體服務器exl03的任一個中進行，也可以彼此分擔進行。
[0370]并且，這些編碼處理以及解碼處理可以在一般的計算機exlll以及各個設備所具有的LSI (Large Scale Integration:大規(guī)模集成電路)ex500中執(zhí)行。LSIex500可以由一個芯片構成，也可以由多個芯片構成。另外，也可以將圖像編碼用的軟件或圖像解碼用的軟件安裝到能夠計算機exlll等讀取的某種記錄介質(zhì)(CD — ROM、軟盤、硬盤等)中，并利用該軟件來進行編碼處理以及解碼處理。而且，在移動電話exll4是附帶有相機的情況下，也可以發(fā)送該相機所獲得的運動圖像數(shù)據(jù)。此時的運動圖像數(shù)據(jù)是由移動電話exll4所具有的LSIex500進行編碼處理后的數(shù)據(jù)。
[0371]并且，流媒體服務器exl03是多個服務器或多個計算機，也可以是對數(shù)據(jù)進行分散地處理、記錄、分發(fā)的裝置。
[0372]如以上所述，在內(nèi)容提供系統(tǒng)exlOO中，客戶能夠端接收并再現(xiàn)被編碼的數(shù)據(jù)。在這樣的內(nèi)容提供系統(tǒng)exlOO中，在客戶端能夠?qū)崟r地接收并解碼由用戶發(fā)送的信息并且能夠再現(xiàn)，這樣，即使是沒有特殊權利以及設備的用戶也能夠?qū)崿F(xiàn)個人播放。
[0373]而且，不僅限于內(nèi)容提供系統(tǒng)exlOO的例子，如圖28示出，也可以在數(shù)字廣播用系統(tǒng)ex200中，組裝上述的各個實施例的至少圖像編碼裝置或圖像解碼裝置的某個。具體而言，在廣播電臺ex201，影像數(shù)據(jù)的比特流通過電波進行通信，或被傳送到衛(wèi)星ex202。該比特流是，由所述的各個實施例中說明的圖像編碼方法編碼后的編碼比特流。接受它的播放衛(wèi)星ex202，發(fā)出廣播用的電波，該電波由能夠接收衛(wèi)星廣播的家庭的天線ex204接收。接收的比特流，由電視機(接收機)ex300或機頂盒(STB) ex217等的裝置解碼并再現(xiàn)。
[0374]并且，在再現(xiàn)裝置ex212中也可以安裝上述的實施例中所示的圖像解碼裝置，該再現(xiàn)裝置ex212對作為記錄介質(zhì)的⑶以及DVD等記錄介質(zhì)ex214中所記錄的編碼比特流進行讀取并解碼。在此情況下，被再現(xiàn)的影像信號被顯示在監(jiān)視器ex213。
[0375]并且，在讀取器/記錄器ex218中也可以安裝在上述的各個實施例中所示的圖像解碼裝置或圖像編碼裝置，該讀取器/記錄器ex218對DVD、BD等記錄介質(zhì)ex215中所記錄的編碼比特流進行讀取并解碼，或者將影像信號編碼并寫入到記錄介質(zhì)ex215中。在此情況下，被再現(xiàn)的影像信號被顯示在監(jiān)視器ex219，通過記錄有編碼比特流的記錄介質(zhì)ex215，其他的裝置以及系統(tǒng)能夠再現(xiàn)影像信號。并且，也可以將圖像解碼裝置安裝到與有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204連接的機頂盒ex217內(nèi)，并在電視機的監(jiān)視器ex219上顯示。此時，可以不組裝到機頂盒，而是將圖像解碼裝置組裝到電視機內(nèi)。
[0376]圖29示出了利用了上述的各個實施例所說明的圖像解碼方法的電視機(接收機)ex300o電視機ex300包括:調(diào)諧器ex301,通過接收上述廣播的天線ex204或線纜ex203等獲得或者輸出影像信息的比特流；調(diào)制/解調(diào)部ex302，解調(diào)接收的編碼數(shù)據(jù)，或者調(diào)制為要發(fā)送到外部的編碼數(shù)據(jù)；以及復用/分離部ex303，對解調(diào)的影像數(shù)據(jù)和聲音數(shù)據(jù)進行分離，或者對被編碼的影像數(shù)據(jù)和聲音數(shù)據(jù)進行復用。
[0377]并且，電視機ex300具有信號處理部ex306和輸出部ex309，所述信號處理部ex306具有分別對聲音信號和影像信號進行解碼或者對各個信息分別進行編碼的聲音信號處理部ex304和影像信號處理部ex305 ;所述輸出部ex309具有對被解碼的聲音信號進行輸出的揚聲器ex307，以及對被解碼的影像信號進行顯示的顯示器等顯示部ex308。進而，電視機eX300具有接口部ex317，該接口部ex317具有接受用戶操作的輸入的操作輸入部ex312等。進而，電視機ex300具有統(tǒng)括控制各個部的控制部ex310，以及向各個部提供電力的電源電路部ex311。
[0378]接口部ex317除可以具有操作輸入部ex312以外，還可以具有與讀取器/記錄器ex218等外部設備連接的橋接部ex313、用于安裝SD卡等記錄介質(zhì)ex216的插槽部ex314、用于與硬盤等外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。并且，記錄介質(zhì)ex216能夠通過保存的非易失性/易失性的半導體存儲器元件進行信息的電記錄。
[0379]電視機ex300的各個部通過同步總線相互連接。
[0380]首先，對電視機ex300通過天線ex204等從外部獲得的數(shù)據(jù)進行解碼并再現(xiàn)的構成進行說明。電視機ex300接受來自遠程控制器ex220等的用戶的操作，并根據(jù)具有CPU等的控制部ex310的控制，將在調(diào)制/解調(diào)部ex302解調(diào)的影像數(shù)據(jù)和聲音數(shù)據(jù)，在復用/分離部ex303進行分離。進而，電視機ex300將分離的聲音數(shù)據(jù)在聲音信號處理部ex304進行解碼，利用上述的各個實施例中說明的解碼方法，將分離的影像數(shù)據(jù)在影像信號處理部ex305進行解碼。解碼的聲音信號和影像信號分別從輸出部ex309被輸出到外部。在進行輸出時，為了使聲音信號和影像信號同步再現(xiàn)，而可以在緩沖器ex318、ex319等暫時蓄積這些信號。并且，電視機ex300可以不從廣播等讀出被編碼的編碼比特流，而是從磁性/光盤、SD卡等記錄介質(zhì)ex215、ex216中讀出被編碼的編碼比特流。
[0381]接著，將要說明的構成是，電視機ex300對聲音信號以及影像信號進行編碼，并發(fā)送到外部或?qū)懭氲接涗浗橘|(zhì)等。電視機ex300接受來自遠程控制器ex220等的用戶的操作，并根據(jù)控制部ex310的控制，在聲音信號處理部ex304對聲音信號進行編碼，并利用在上述的各個實施例中說明的編碼方法，在影像信號處理部ex305對影像信號進行編碼。被編碼的聲音信號和影像信號在復用/分離部ex303被復用，并被輸出到外部。在進行復用時，為了使聲音信號和影像信號同步，而可以將這些信號暫時蓄積到緩沖器ex320、ex321等。
[0382]另外，關于緩沖器ex318至ex321，可以如圖中所示那樣具備多個，也可以共享一個以上的緩沖器。而且，除圖中所示以外，例如可以在調(diào)制/解調(diào)部ex302以及復用/分離部ex303之間等，作為回避系統(tǒng)的上溢和下溢的緩沖部件，可以在緩沖器中蓄積數(shù)據(jù)。
[0383]并且，電視機ex300除具有獲得廣播以及來自記錄介質(zhì)等的聲音數(shù)據(jù)以及影像數(shù)據(jù)的構成以外，還可以具有接受麥克風以及照相機的AV輸入的構成，對從這些獲得的數(shù)據(jù)進行編碼處理。并且，在此雖然對電視機ex300能夠進行上述的編碼處理、復用以及外部輸出的構成進行了說明，不過也可以不能進行這樣的處理，而只能進行上述的接收、解碼處理、外部輸出的構成。
[0384]并且，在讀取器/記錄器ex218從記錄介質(zhì)中讀出或?qū)懭刖幋a比特流的情況下，上述的解碼處理或編碼處理也可以在電視機ex300以及讀取器/記錄器ex218的某一個中進行，也可以是電視機ex300和讀取器/記錄器ex218彼此分擔進行。
[0385]作為一個例子，圖30示出從光盤進行數(shù)據(jù)的讀取或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的構成。信息再現(xiàn)/記錄部ex400包括以下將要說明的要素ex401至ex407。
[0386]光學頭ex401將激光照射到作為光盤的記錄介質(zhì)ex215的記錄面并寫入信息，并且檢測來自記錄介質(zhì)ex215的記錄面的反射光并讀取信息。調(diào)制記錄部ex402對被內(nèi)置于光學頭ex401的半導體激光進行電驅(qū)動，并按照記錄數(shù)據(jù)來進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403對由被內(nèi)置于光學頭ex401的光電探測器對來自記錄面的反射光進行電檢測而得到的再現(xiàn)信號進行放大，對被記錄在記錄介質(zhì)ex215的信號成分進行分離、解調(diào)，并再現(xiàn)必要的信息。緩沖器ex404對用于在記錄介質(zhì)ex215進行記錄的信息以及從記錄介質(zhì)ex215再現(xiàn)的信息進行暫時保持。盤式電機ex405使記錄介質(zhì)ex215旋轉。伺服控制部ex406在對盤式電機ex405的旋轉驅(qū)動進行控制的同時，將光學頭ex401移動到規(guī)定的信息軌道，進行激光的光點的追蹤處理。
[0387]系統(tǒng)控制部ex407對信息再現(xiàn)/記錄部ex400進行整體控制。上述的讀出以及寫入處理可以通過以下的方法來實現(xiàn)，即:系統(tǒng)控制部ex407利用被保持在緩沖器ex404的各種信息，并且按照需要在進行新的信息的生成以及追加的同時，一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)工作，一邊通過光學頭θχ401來進行信息的記錄再現(xiàn)。系統(tǒng)控制部ex407例如以微處理器構成，通過執(zhí)行讀出以及寫入的程序來執(zhí)行這些處理。
[0388]以上，以光學頭ex401照射激光光點為例進行了說明，不過也可以是利用近場光(near 一 field optical)來進行高密度的記錄的構成。
[0389]圖31是作為光盤的記錄介質(zhì)ex215的模式圖。在記錄介質(zhì)ex215的記錄面上，導槽(槽)被形成為螺旋狀，在信息軌道ex230上預先被記錄有按照槽的形狀的變化示出盤上的絕對位置的地址信息。該地址信息包括用于確定記錄塊ex231的位置的信息，該記錄塊ex231是記錄數(shù)據(jù)的單位，進行記錄以及再現(xiàn)的裝置能夠通過再現(xiàn)信息軌道ex230以及讀取地址信息，來確定記錄塊。并且，記錄介質(zhì)ex215包括:數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、以及外周區(qū)域ex234。用于記錄用戶數(shù)據(jù)的區(qū)域為數(shù)據(jù)記錄區(qū)域ex233，被配置在數(shù)據(jù)記錄區(qū)域ex233的內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234被用于用戶數(shù)據(jù)的記錄以外的特殊用途。
[0390]信息再現(xiàn)/記錄部ex400針對這種記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233,進行被編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或?qū)@些數(shù)據(jù)進行復用后的編碼數(shù)據(jù)的讀寫。
[0391]以上以具有一層結構的DVD、BD等光盤為例進行了說明，但并非受此所限，也可以是多層結構的能夠在表面以外進行記錄的光盤。并且，也可以在盤的同一位置上利用各種不同波長的顏色的光記錄信息，或者從各種角度記錄不同的信息的層等，具有進行多維的記錄/再現(xiàn)的結構的光盤。
[0392]并且，在數(shù)字廣播用系統(tǒng)ex200，能夠在具有天線ex205的車輛ex210從衛(wèi)星ex202等接收數(shù)據(jù)，并且能夠在車輛ex210所具有的汽車導航系統(tǒng)ex211等顯示裝置再現(xiàn)運動圖像。并且，關于汽車導航系統(tǒng)ex211的構成可以考慮到在圖29所示的構成中添加GPS接收部，同樣也可以考慮到添加計算機exlll以及移動電話exll4等。并且，上述移動電話exll4等終端與電視機ex300同樣，除可以考慮到是具有編碼器以及解碼器雙方的收發(fā)信型終端的形式以外，還可以考慮到是僅具有編碼器的發(fā)送終端，以及僅具有解碼器的接收終端的共三種安裝形式。
[0393]這樣，在上述的各個實施例所示的圖像編碼方法或圖像解碼方法能夠適用于上述的任一個設備或系統(tǒng)，這樣，能夠得到在上述的各個實施例中說明的效果。
[0394]而且，本發(fā)明不僅限于這些所述實施例，而可以在不脫離本發(fā)明的范圍的情況下進行各種變形或修改。
[0395](實施例7)
[0396]在本實施例中，將實施例1所示的圖像處理裝置，實現(xiàn)為作為典型的半導體集成電路的LSI。圖32示出實現(xiàn)了的形態(tài)。在DRAM上實現(xiàn)幀存儲器502，在LSI上構成其他的電路以及存儲器。也可以在DRAM上實現(xiàn)保存編碼流的比特流緩沖器。
[0397]可以將它們個別單芯片化，也可以將它們單芯片化，使得包含一部分或全部。在此，作為LSI，但也可以根據(jù)集成度不同被稱為1C、系統(tǒng)LS1、超級LS1、特級LSI等。
[0398]并且，對于集成電路化的方法，不僅限于LSI，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用在制造LSI后能夠編程的FPGA (Field Programmable Gate Array)、或可重構LSI內(nèi)部的電路單元的連接以及設定的可重構處理器。
[0399]進而，當然，若因半導體技術的進步或?qū)С龅钠渌募夹g而出現(xiàn)代替LSI的集成電路化的技術，則可以利用其技術對功能框進行集成化。存在生物技術的應用等的可能性。
[0400]進而，將對本實施例的圖像解碼裝置集成化后的半導體芯片與用于描繪圖像的顯示器組合，從而能夠構成適于各種用途的描繪設備。作為移動電話、電視機、數(shù)字錄像機、數(shù)字照相機以及汽車導航等的信息描繪機構，能夠利用本發(fā)明。作為顯示器，除電子束管(CRT)以外，還有液晶顯示器、PDP (等離子顯示板)以及有機EL等平面顯示器，并且也可以與以投影儀為代表的投射型顯示器等相組合。
[0401]并且，本實施例的LSI也可以，與具備蓄積編碼流的比特流緩沖器、以及蓄積圖像的中貞存儲器等的DRAM (Dynamic Random Access Memory:動態(tài)隨機存儲器)協(xié)調(diào),來進行編碼處理或解碼處理。并且，本實施例的LSI也可以，不與DRAM協(xié)調(diào)，而與eDRAM(embededDRAM) > SRAM (Static Random Access Memory:靜態(tài)隨機存儲器)、或硬盤等其他的存儲裝置協(xié)調(diào)。
[0402](實施例8)
[0403]將上述各個實施例所示的圖像編碼裝置、圖像解碼裝置、圖像編碼方法及圖像解碼方法，實現(xiàn)為作為典型的半導體集成電路的LSI。作為一個例子，圖33示出了被制成一個芯片的LSIex500的構成。LSIex500包括以下將要說明的要素ex502至ex509，各個要素通過總線ex510連接。電源電路部ex505在電源為打開狀態(tài)的情況下,通過向各個部提供電力，從而啟動為能夠工作的狀態(tài)。
[0404]例如，在進行編碼處理的情況下，LSIex500，由AV 1/0 (輸入/輸出)ex509從麥克風exll7及照相機exll3等接受AV信號的輸入。被輸入的AV信號被暫時蓄積到SDRAM等的外部的存儲器ex511。蓄積的數(shù)據(jù)按照處理量以及處理速度被適當?shù)胤譃槎啻蔚?，并被發(fā)送到信號處理部ex507。信號處理部ex507進行聲音信號的編碼以及/或影像信號的編碼。在此，影像信號的編碼處理是在上述的實施例中所說明的編碼處理。在信號處理部ex507還根據(jù)情況對被編碼的聲音數(shù)據(jù)以及被編碼的影像數(shù)據(jù)進行復用等處理，從流輸入/輸出ex504輸出到外部。該被輸出的比特流被發(fā)送到基站exl07,或者被寫入到記錄介質(zhì)ex215。
[0405]并且，例如在進行解碼處理的情況下，LSIeX500根據(jù)微機(微型計算機)ex502的控制，將通過流輸入/輸出ex504從基站exl07得到的編碼數(shù)據(jù)或從記錄介質(zhì)ex215讀出而得到的編碼數(shù)據(jù)暫時蓄積到存儲器ex511。根據(jù)微機ex502的控制，蓄積的數(shù)據(jù)按照處理量以及處理速度被適當?shù)胤譃槎啻蔚?，并被發(fā)送到信號處理部ex507，信號處理部ex507進行聲音數(shù)據(jù)的解碼以及/或影像數(shù)據(jù)的解碼。在此，影像信號的解碼處理是在上述的各個實施例中所說明的解碼處理。進而，為了使被解碼的聲音信號和被解碼的影像信號同步再現(xiàn)，根據(jù)情況將各個信號暫時蓄積到存儲器ex511等即可。被解碼的輸出信號適當?shù)亟?jīng)由存儲器ex511等，從AV輸入/輸出ex509輸出到監(jiān)視器ex219等。被構成為在訪問存儲器ex511時經(jīng)由存儲器控制器ex503。
[0406]另外，以上雖然對存儲器ex511作為LSIex500的外部構成進行了說明，不過也可以被包括在LSIex500的內(nèi)部。并且，LSIex500可以被制成一個芯片，也可以是多個芯片。
[0407]而且，在此，作為LSI，但也可以根據(jù)集成度不同被稱為1C、系統(tǒng)LS1、超級LS1、特級LSI等。
[0408]并且，對于集成電路化的方法，不僅限于LSI，也可以以專用電路或通用處理器來實現(xiàn)。也可以利用在制造LSI后能夠編程的FPGA、或可重構LSI內(nèi)部的電路單元的連接以及設定的可重構處理器。
[0409]進而，當然，若因半導體技術的進步或?qū)С龅钠渌募夹g而出現(xiàn)代替LSI的集成電路化的技術，則可以利用其技術對功能框進行集成化。存在生物技術的應用等的可能性。
[0410]產(chǎn)業(yè)上的可利用性
[0411]本發(fā)明能夠用于各種各樣的用途。例如，能夠在電視機、數(shù)字視頻記錄機、汽車導航儀、便攜電話、數(shù)字照相機、數(shù)字視頻攝像機等的高分辨率的信息顯示設備或攝像設備中，利用價值較高。
[0412]標號說明
[0413]100,300,700圖像解碼裝置
[0414]101、102、201、202、301、302、401、402、701、702、801、802 處理部
[0415]111、211、311、411、711、712、811、812 存儲部
[0416]200,400,800圖像編碼裝置
[0417]320、420 判斷部
[0418]500、511、512、513、514、515、517、518、519 FIFO 部
[0419]501、ex310 控制部
[0420]502幀存儲器
[0421]503可變長解碼部
[0422]504逆量化部
[0423]505逆頻率變換部
[0424]506運動補償部[0425]507面內(nèi)預測部
[0426]508重建部
[0427]509重建圖像存儲器
[0428]510環(huán)內(nèi)濾波器部
[0429]5001,5002,5003 FIFO 管理部
[0430]5011,5012,5013 起動部
[0431]5020尺寸判斷部
[0432]exlOO內(nèi)容供給系統(tǒng)
[0433]ex 101 因特網(wǎng)
[0434]exl02因特網(wǎng)服務提供商
[0435]exl03流媒體服務器
[0436]exl04 電話網(wǎng)
[0437]exl06> exl07> exl08> exl09> exllO 基站
[0438]exlll 計算機
[0439]exll2 PDA (Personal Digital Assistant)
[0440]exll3、exll6 照相機
[0441]exll4便攜電話
[0442]exll5 游戲機
[0443]exll7 麥克風
[0444]ex200數(shù)字廣播用系統(tǒng)
[0445]ex201 廣播站
[0446]ex202廣播衛(wèi)星(衛(wèi)星)
[0447]ex203 線纜
[0448]ex204> ex205 天線
[0449]ex210 車
[0450]ex211汽車導航儀(車載導航)
[0451]ex212再現(xiàn)裝置
[0452]ex213、ex219 監(jiān)視器
[0453]ex214、ex215、ex216 記錄介質(zhì)
[0454]ex217 機頂盒(STB)
[0455]ex218讀取器/記錄器
[0456]ex220 遙控器
[0457]ex230信息軌道
[0458]ex231 記錄塊
[0459]ex232內(nèi)周區(qū)域
[0460]ex233數(shù)據(jù)記錄區(qū)域
[0461]ex234外周區(qū)域
[0462]ex300電視機(接收機)
[0463]ex301 調(diào)諧器[0464]ex302調(diào)制/解調(diào)部
[0465]ex303復用/分離部
[0466]ex304聲音信號處理部
[0467]ex305影像信號處理部
[0468]ex306> ex507 信號處理部
[0469]ex307揚聲器
[0470]ex308顯示部
[0471]ex309輸出部
[0472]ex311、ex505 電源電路部
[0473]ex312操作輸入部
[0474]ex313 橋接部
[0475]ex314插槽部
[0476]ex315驅(qū)動器
[0477]ex316調(diào)制解調(diào)器
[0478]ex317接口部
[0479]ex318、ex319、ex320、ex321、ex404 緩沖器
[0480]ex400信息再現(xiàn)/記錄部
[0481]ex401光頭
[0482]ex402調(diào)制記錄部
[0483]ex403再現(xiàn)解調(diào)部
[0484]ex405盤馬達
[0485]ex406伺服控制部
[0486]ex407系統(tǒng)控制部
[0487]ex500LSI
[0488]ex502微機(微型計算機)
[0489]ex503存儲器控制器
[0490]ex504流 I/O
[0491]ex509AV I/O
[0492]ex510總線
[0493]ex511存儲器
【權利要求】
1.一種圖像解碼裝置，將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，其特征在于，具備: 第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量; 第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
2.如權利要求1所述的圖像解碼裝置，其特征在于， 上述圖像解碼裝置還具備第2存儲部； 上述第2處理部判斷在上述第I存儲部中是否保存有被進行了上述第I處理的塊、以及在上述第2存儲部中是否空閑有用來保存被進行了上述第2處理的塊的區(qū)域； 在判斷為在上述第I存儲部中保存有被進行了上述第I處理的塊、并且判斷為在上述第2存儲部中空閑有用來保存被進行了上述第2處理的塊的區(qū)域的定時，上述第2處理部從上述第I存儲部提取上述塊，對所提取的上述塊進行上述第2處理，向上述第2存儲部保存被進行了上述第2處理的上述塊。
3.如權利要求1或2所述的圖像解碼裝置，其特征在于， 上述圖像解碼裝置還具備判斷上述多個塊的各自的尺寸的判斷部； 上述第I處理部按照被進行了上述第I處理的塊的尺寸，決定上述塊在上述第I存儲部中專用的區(qū)域，向所決定的上述區(qū)域保存上述塊。
4.如權利要求1~3中任一項所述的圖像解碼裝置，其特征在于， 上述第I存儲部具有能夠存儲3個以上的上述至少兩種尺寸中的最大尺寸的塊的容量。
5.如權利要求1~4中任一項所述的圖像解碼裝置，其特征在于， 上述多個塊是多個編碼單元、多個變換單元或多個預測單元； 上述第I處理部或上述第2處理部進行對于上述多個編碼單元的可變長解碼處理、對于上述多個變換單元的逆頻率變換處理、或?qū)τ谏鲜龆鄠€預測單元的預測處理，來作為上述第I處理或上述第2處理。
6.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行可變長解碼處理，來作為上述第I處理； 上述第2處理部進行逆量化處理，來作為上述第2處理。
7.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行逆量化處理，來作為上述第I處理； 上述第2處理部進行逆頻率變換處理，來作為上述第2處理。
8.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行逆頻率變換處理，來作為上述第I處理； 上述第2處理部進行重建處理，來作為上述第2處理。
9.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行面內(nèi)預測處理，來作為上述第I處理；上述第2處理部進行重建處理，來作為上述第2處理。
10.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行運動補償處理，來作為上述第I處理； 上述第2處理部進行重建處理，來作為上述第2處理。
11.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行重建處理，來作為上述第I處理； 上述第2處理部進行環(huán)內(nèi)濾波器處理，來作為上述第2處理。
12.如權利要求1~5中任一項所述的圖像解碼裝置，其特征在于， 上述第I處理部進行參照圖像傳送處理，來作為上述第I處理； 上述第2處理部進行運動補償處理，來作為上述第2處理。
13.如權利要求1~12中任一項所述的圖像解碼裝置，其特征在于， 上述第2處理部與上述第I處理部非同步地，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述第2處理。
14.如權利要求1~13中任一項所述的圖像解碼裝置，其特征在于， 上述第2處理部與上述第I處理部對第I塊進行上述第I處理并行地，對按照上述多個塊的處理順序而從上述第I塊離開兩個以上的塊的第2塊進行上述第2處理。
15.一種圖像編碼裝置，將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的上述圖像通過包括多個處理的流水線處理來編碼，其特征在于，具備: 第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量; 第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
16.一種圖像解碼方法，將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，其特征在于，包括: 第I處理步驟，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到第I存儲部，從而向上述第I存儲部依次保存上述多個塊，其中該第I存儲部具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量；以及第2處理步驟，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
17.一種圖像編碼方法，將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的上述圖像通過包括多個處理的流水線處理來編碼，其特征在于，包括: 第I處理步驟，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到第I存儲部，從而向上述第I存儲部依次保存上述多個塊，其中該第I存儲部具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量；以及第2處理步驟，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
18.—種程序，其特征在于，用來使計算機執(zhí)行權利要求16所述的圖像解碼方法中包含的步驟。
19.一種程序，其特征在于， 用來使計算機執(zhí)行權利要求17所述的圖像編碼方法中包含的步驟。
20.一種集成電路，將劃分為存在至少兩種尺寸的多個塊而被編碼的圖像通過包括多個處理的流水線處理來解碼，其特征在于，具備: 第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量; 第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
21.一種集成電路，將圖像劃分為至少存在兩種尺寸的多個塊，將劃分后的上述圖像通過包括多個處理的流水線處理來編碼，其特征在于，具備: 第I存儲部，具有能夠存儲兩個以上的上述至少兩種尺寸中的最大的尺寸的塊的容量; 第I處理部，對上述多個塊依次進行上述多個處理中的第I處理，通過將被進行了上述第I處理的塊保存到上述第I存儲部，從而向上述第I存儲部依次保存上述多個塊；以及第2處理部，從上述第I存儲部依次提取上述多個塊，對提取出的上述多個塊依次進行上述多個處理中的第2處理。
【文檔編號】H04N19/119GK103765903SQ201280041360
【公開日】2014年4月30日 申請日期:2012年11月29日 優(yōu)先權日:2012年1月18日
【發(fā)明者】天野博史, 田中健, 大賀健司 申請人:松下電器產(chǎn)業(yè)株式會社