動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置以及動(dòng)態(tài)圖像編碼/解碼方法
【專利摘要】在使用了CABAC編碼處理時(shí)，也能夠以低功耗來進(jìn)行動(dòng)態(tài)圖像編碼、解碼。對(duì)每個(gè)MB執(zhí)行用于對(duì)圖像進(jìn)行編碼的預(yù)處理，并按照所述MB的處理順序向存儲(chǔ)部中寫入作為該處理結(jié)果的MB信息，按照光柵順序讀出在存儲(chǔ)部中存儲(chǔ)的MB信息來對(duì)MB進(jìn)行編碼。在對(duì)編碼后的圖像進(jìn)行解碼時(shí)，按照光柵順序?qū)?gòu)成編碼后的圖像的MB進(jìn)行解碼，在存儲(chǔ)部中存儲(chǔ)作為解碼后的處理結(jié)果的MB信息，并按照MB的處理順序執(zhí)行用于對(duì)圖像進(jìn)行解碼的后處理即解碼信息讀出處理。
【專利說明】
動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置以及動(dòng)態(tài)圖像編碼/解碼方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及以低功耗對(duì)動(dòng)態(tài)圖像進(jìn)行編碼/解碼的動(dòng)態(tài)圖像編碼/解碼裝置及其方法。
【背景技術(shù)】
[0002]在專利文獻(xiàn)I中公開了為了低功耗且高畫質(zhì)地對(duì)動(dòng)態(tài)圖像進(jìn)行編碼，不將動(dòng)態(tài)圖像分割為多片，而針對(duì)每個(gè)MB(宏模塊)行并行地進(jìn)行編碼處理的技術(shù)。并且，在專利文獻(xiàn)2中公開了在對(duì)每個(gè)MB行并行地進(jìn)行編碼處理時(shí)，關(guān)于量化參數(shù)(MB_qp_delta)，當(dāng)在MB行進(jìn)行了并行處理時(shí)，也能夠按照由H.264標(biāo)準(zhǔn)(ITU-T H.264)規(guī)定的編碼MB順序進(jìn)行流化的技術(shù)。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2008-042571號(hào)公報(bào)
[0006]專利文獻(xiàn)2:日本特開2009-239565號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0007]發(fā)明所要解決的課題
[0008]在H.264標(biāo)準(zhǔn)中，作為除了量化參數(shù)以外按照編碼MB順序進(jìn)行流化所需要的處理，具有CABAC(Context_based Adaptive Binary Arithmetic Coding基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)編碼處理，但是在專利文獻(xiàn)1、2中沒有公開將該處理并行化來低功耗地對(duì)動(dòng)態(tài)圖像進(jìn)行編碼、解碼的方法。
[0009]本發(fā)明是鑒于上述問題而提出的，其目的在于提供一種在使用CABAC編碼處理時(shí)，也能夠以低功耗進(jìn)行動(dòng)態(tài)圖像編碼、解碼的動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置以及動(dòng)態(tài)圖像編碼/解碼方法。
[0010]解決課題的手段
[0011]為了解決上述的課題并且達(dá)成目的，本發(fā)明的動(dòng)態(tài)圖像編碼裝置將圖像分割為MB來進(jìn)行編碼，其具備:MB并行處理部，其針對(duì)每個(gè)所述MB執(zhí)行用于對(duì)所述圖像進(jìn)行編碼的預(yù)處理，并按照所述MB的處理順序在存儲(chǔ)部中寫入作為該處理結(jié)果的MB信息；以及編碼部，其按照光柵順序讀出在所述存儲(chǔ)部中存儲(chǔ)的所述MB信息來對(duì)所述MB進(jìn)行編碼。
[0012]另外，本發(fā)明的動(dòng)態(tài)圖像解碼裝置針對(duì)每個(gè)MB對(duì)編碼后的圖像進(jìn)行解碼，其具備:解碼部，其按照光柵順序?qū)?gòu)成所述圖像的MB行中包含的所述MB進(jìn)行解碼，并在存儲(chǔ)部中存儲(chǔ)作為解碼后的處理結(jié)果的MB信息；多個(gè)解碼信息讀出部，其按照所述MB的每個(gè)處理順序執(zhí)行用于對(duì)所述圖像進(jìn)行解碼的后處理即解碼信息讀出處理。
[0013]另外，還能夠作為由上述動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置進(jìn)行的動(dòng)態(tài)圖像編碼/解碼方法來掌握本發(fā)明。
[0014]發(fā)明效果
[0015]通過本發(fā)明，在使用CABAC編碼處理時(shí)，也能夠以低功耗來進(jìn)行動(dòng)態(tài)圖像編碼、解碼。
【附圖說明】
[0016]圖1是本實(shí)施方式的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)圖。
[0017]圖2表示本動(dòng)態(tài)圖像編碼裝置的編碼對(duì)象單位即動(dòng)態(tài)圖像中的幀結(jié)構(gòu)。
[0018]圖3表示本動(dòng)態(tài)圖像編碼裝置中的流水線處理的概要。
[0019]圖4表示一般的動(dòng)態(tài)圖像編碼的產(chǎn)生碼量的例子。
[0020]圖5表示本動(dòng)態(tài)圖像編碼裝置進(jìn)行處理的幀單位的流水線處理。
[0021 ]圖6表示不同的MB行中的搜索范圍的例子。
[0022]圖7表示在通過圖1的結(jié)構(gòu)并行處理兩個(gè)MB行時(shí)的流水線的例子(編碼)。
[0023]圖8表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式中的模式1、模式2的例子。
[0024]圖9表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式中的模式3的例子。
[0025]圖10表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式的設(shè)定例子。
[0026]圖11表示處理模式I時(shí)的流水線的例子。
[0027]圖12表示處理模式2時(shí)的流水線的例子。
[0028]圖13表示本實(shí)施方式中的動(dòng)態(tài)圖像解碼裝置的結(jié)構(gòu)例子。
[0029]圖14表示在通過圖13的結(jié)構(gòu)并行處理兩個(gè)MB行時(shí)的流水線的例子(解碼)。
【具體實(shí)施方式】
[0030]以下參照附圖詳細(xì)說明本發(fā)明的動(dòng)態(tài)圖像編碼裝置、動(dòng)態(tài)圖像解碼裝置、以及動(dòng)態(tài)圖像編碼/解碼方法的實(shí)施方式。
[0031](關(guān)于編碼裝置的結(jié)構(gòu))
[0032]圖1是本實(shí)施方式的動(dòng)態(tài)圖像編碼裝置的結(jié)構(gòu)圖。如圖1所示，動(dòng)態(tài)圖像解碼裝置1000具有:將每一幀輸入的原圖像存儲(chǔ)到SDRAM107中的原圖像寫入部101、從SDRAM107讀出每個(gè)MB的原圖像，并將其提供給粗搜索部104、第一 MB行并行處理部105、第二 MB行并行處理部106的原圖像讀出部102、從SDRAMl 07讀出并保存由運(yùn)動(dòng)檢測(cè)部使用的參照?qǐng)D像的搜索存儲(chǔ)器讀出部103、根據(jù)原圖像和參照?qǐng)D像計(jì)算表示MB的移動(dòng)量和移動(dòng)方向的運(yùn)動(dòng)矢量的粗搜索部104、針對(duì)每個(gè)MB行進(jìn)行并行處理的多個(gè)MB行并行處理部(第一 MB行并行處理部105、第二 MB行并行處理部106)、保存參照?qǐng)D像和原圖像的外部存儲(chǔ)器即SDRAM107、擔(dān)任與SDRAM107之間接口的SDRAM接口 108、按照光柵順序從SDRAM接口 108讀出并行處理后的MB或MB信息、編碼信息等來生成流，并將其傳送給SDRAM接口 108的多個(gè)編碼部(第一編碼部109、第二編碼部110)、按照編碼順序從SDRAM接口 108讀出流的流輸出部111。
[0033]并且，第一 MB行并行處理部105具有:針對(duì)每個(gè)MB取得粗搜索結(jié)果和參照?qǐng)D像，為了決定更詳細(xì)的矢量而進(jìn)行細(xì)搜索的細(xì)搜索部1051、從原圖像讀出部102取得原圖像，決定畫面內(nèi)預(yù)測(cè)的預(yù)測(cè)模式的IE部1052、針對(duì)每個(gè)MB進(jìn)行并行處理的多個(gè)MB并行處理部(第一MB并行處理部1053、第二 MB并行處理部1054)、把從各個(gè)MB并行處理部輸出的編碼信息捆綁為MB行后傳送給SDRAM接口 108的編碼信息寫入部1055、對(duì)從各個(gè)MB并行處理部輸出的解碼圖像實(shí)施解塊過濾后傳送給SDRAM接口 108的解塊部1056。因?yàn)榈诙?MB行并行處理部106具有與第一 MB行并行處理部105相同的結(jié)構(gòu)，所以在這里省略其說明。
[0034]并且，第一MB并行處理部1053具備:計(jì)算畫面內(nèi)預(yù)測(cè)(Intra)或畫面間預(yù)測(cè)(Inter)中的任意一個(gè)的預(yù)測(cè)殘差，此外取得從頻率變換量化部10532輸出的解碼殘差數(shù)據(jù)生成解碼圖像的預(yù)測(cè)誤差生成部10531、針對(duì)預(yù)測(cè)誤差進(jìn)行頻率變換并進(jìn)行量化來生成用于編碼的編碼信息，此外將量化后的數(shù)據(jù)進(jìn)行逆量化并進(jìn)行逆頻率變換來生成解碼殘差數(shù)據(jù)的頻率變換量化部10532、捆綁從頻率變換量化部10532輸出的數(shù)據(jù)和用于在編碼流中存儲(chǔ)的塊分割信息或預(yù)測(cè)模式、量化值等信息的編碼信息生成部10533。因?yàn)榈诙?MB并行處理部1054具有與第一 MB并行處理部1053相同的結(jié)構(gòu)，所以在這里省略其說明。
[0035]在圖1所示的例子中，各MB行并行處理部具有針對(duì)每個(gè)MB行并行處理偶數(shù)MB和奇數(shù)MB的兩個(gè)MB并行處理部，各MB并行處理部一邊相互參照需要的MB的信息一邊并行地進(jìn)行編碼。例如，在第一MB行并行處理部105中，第一MB并行處理部1053處理偶數(shù)MB行的偶數(shù)MB，第二MB并行處理部1054處理偶數(shù)MB行的奇數(shù)MB。在第二MB行并行處理部106中，第一MB并行處理部1063處理奇數(shù)MB行的偶數(shù)MB，第二 MB并行處理部1064處理奇數(shù)MB行的奇數(shù)MB。
[0036]第一編碼部109以及第二編碼部110是在H.264中例如通過CABAC、CAVLC(Context-baSed Adaptive VLC基于上下文的自適應(yīng)可變長(zhǎng)編碼)等方法執(zhí)行編碼處理的處理部，針對(duì)每個(gè)幀執(zhí)行并行處理。例如，在分別對(duì)兩個(gè)幀進(jìn)行編碼時(shí)，通過各個(gè)編碼部并行執(zhí)行處理。此外，控制部112承擔(dān)構(gòu)成動(dòng)態(tài)圖像編碼裝置的各部的流水線動(dòng)作的控制和編碼信息的計(jì)算、運(yùn)送。
[0037](關(guān)于上述動(dòng)態(tài)圖像編碼裝置的動(dòng)作)
[0038]下面對(duì)本動(dòng)態(tài)圖像編碼裝置的動(dòng)態(tài)圖像編碼的詳細(xì)動(dòng)作進(jìn)行說明。圖2表示本動(dòng)態(tài)圖像編碼裝置的編碼對(duì)象單位即動(dòng)態(tài)圖像中的幀結(jié)構(gòu)。在H.264等動(dòng)態(tài)圖像編碼的國(guó)際標(biāo)準(zhǔn)方式中，將幀201分割為矩形的編碼單位即MB202，從圖中的左上開始按照向右的光柵順序203進(jìn)行流化。在H.264標(biāo)準(zhǔn)中，在進(jìn)行每個(gè)MB的編碼時(shí)，存在參照已經(jīng)編碼完的MB信息來進(jìn)行流化的處理。這里所示的MB信息例如是量化系數(shù)(MB_qp_delta)、CABAC編碼處理中的各系數(shù)的概率推定表的更新(context index上下文索引)、算術(shù)編碼中的區(qū)間寬度的更新(codIRange、cod1ffset、valMPS)等信息。
[0039]在上述的專利文獻(xiàn)I以及專利文獻(xiàn)2中，針對(duì)幀201不按光柵順序進(jìn)行處理，將幀201中包含的MB行分別定義為處理MB行204，并對(duì)它們并行地進(jìn)行處理。在為2并行時(shí)，在第一并行處理207以及第二并行處理208中，將各個(gè)MB行并行化，同時(shí)執(zhí)行處理。
[0040]此時(shí)，在第二并行處理208中執(zhí)行的MB行的先頭MB(例如MB205)需要參照在第一并行處理207中執(zhí)行的前一個(gè)MB行的末端MB206的MB信息來執(zhí)行流化209。但是，在并行處理的流水線中，在進(jìn)行末端MB206的處理之前，必須進(jìn)行下一個(gè)MB行的先頭MB205的處理，因此無法參照上述緊前的MB信息。
[0041]另外，在專利文獻(xiàn)2中，針對(duì)本課題敘述了對(duì)于量化系數(shù)的解決對(duì)策，但是沒有敘述對(duì)于CABAC編碼處理的解決對(duì)策。如果不解決本課題，就無法對(duì)動(dòng)態(tài)圖像編碼處理進(jìn)行并行處理。
[0042]在本專利中，與在各部執(zhí)行的處理的特性相匹配地將動(dòng)態(tài)圖像編碼分割為兩個(gè)處理部分，關(guān)于前半部分進(jìn)行MB單位的并行處理，并將其結(jié)果暫時(shí)存儲(chǔ)在存儲(chǔ)器中，按照幀的順序并按照編碼順序讀出該數(shù)據(jù)來對(duì)該幀中包含的MB進(jìn)行編碼，由此謀求克服上述課題。
[0043](通過CABAC編碼處理將MB行處理并行化的方法)
[0044]在本動(dòng)態(tài)圖像編碼裝置中，如圖1所示，通過各個(gè)MB行并行處理部同時(shí)處理多個(gè)MB行。將關(guān)于偶數(shù)MB行以及奇數(shù)MB行的各MB行的編碼信息暫時(shí)存儲(chǔ)在SDRAM106中，各編碼部按照進(jìn)行編碼的幀中包含的MB順序讀出MB的編碼信息來進(jìn)行編碼。圖3表示本動(dòng)態(tài)圖像編碼裝置中的流水線處理的概要。在圖3中，第一MB行并行處理部105執(zhí)行處理偶數(shù)MB行的第一 MB行并行處理301，第二 MB行并行處理部106執(zhí)行處理奇數(shù)MB行的第二 MB行并行處理302，對(duì)MB行進(jìn)行并行處理。各MB行并行處理部處理MB行，將處理后的MB行中包含的編碼信息依次保存到SDRAM107。然后，如圖3的下部所示，各編碼部按照進(jìn)行編碼的MB順序讀出編碼信息對(duì)SDRAM107中保存的MB行進(jìn)行編碼。在圖3的下部，表示了第一編碼部執(zhí)行第一編碼處理303的例子。即，在本動(dòng)態(tài)圖像編碼裝置中，當(dāng)并行處理了MB行時(shí)，依次在SDRAM107中寫入處理后的編碼信息，當(dāng)各編碼部進(jìn)行編碼時(shí)，按照幀的順序，并以構(gòu)成該幀的MB順序進(jìn)行讀出來進(jìn)彳丁編碼。由此，在并彳丁處理MB彳丁以及MB時(shí)也能夠進(jìn)彳丁CABAC編碼處理。
[0045](關(guān)于高畫質(zhì)化)
[0046]通過使動(dòng)態(tài)圖像編碼裝置成為上述的結(jié)構(gòu)，還能夠?qū)崿F(xiàn)高畫質(zhì)。以下，對(duì)高畫質(zhì)化進(jìn)行說明。
[0047]圖4表示一般的動(dòng)態(tài)圖像編碼的產(chǎn)生碼量的例子。為了進(jìn)行編碼而成為高畫質(zhì)，如圖4上部所示，有效的是對(duì)成為參照基點(diǎn)的I圖像401分配大量的碼量等，根據(jù)進(jìn)行編碼的圖像的類型來改變碼量。
[0048]另一方面，粗搜索部、MB行并行化處理部等硬件電路根據(jù)像素?cái)?shù)能夠以大體固定的周期數(shù)來進(jìn)行設(shè)計(jì)，與此相對(duì)，執(zhí)行CABAC處理的編碼部的硬件電路一般成為處理周期數(shù)根據(jù)產(chǎn)生碼量進(jìn)行變動(dòng)的設(shè)計(jì)。由此，編碼部的硬件電路如圖4下部所示存在以下的問題:當(dāng)每個(gè)幀產(chǎn)生碼量不同時(shí)，處理時(shí)間對(duì)于每個(gè)幀進(jìn)行伸縮。圖4的下部表示了對(duì)于產(chǎn)生碼量多的I圖像花費(fèi)處理時(shí)間的情況。如此當(dāng)在相同的流水線中進(jìn)行處理周期數(shù)大體固定的處理(前半處理)和處理周期數(shù)擴(kuò)張的處理(后半處理)時(shí)，如果在該處理的中斷時(shí)不通過SDRAM等緩沖存儲(chǔ)器暫時(shí)保存中間信息，則在后半處理的處理周期延長(zhǎng)的情況下，在后半處理結(jié)束之前需要停止前半處理，因此難以實(shí)時(shí)地進(jìn)行編碼。
[0049]由此，在本動(dòng)態(tài)圖像編碼裝置中，在幀處理周期內(nèi)使粗搜索部和MB行并行處理部并行進(jìn)行處理，將其結(jié)果暫時(shí)存儲(chǔ)在SDRAM107這樣的大容量的外部緩沖存儲(chǔ)器中，讀出該結(jié)果由編碼部進(jìn)行處理，由此即使各幀中的碼量有大的變動(dòng)也能夠進(jìn)行處理進(jìn)行高畫質(zhì)的編碼。
[0050]圖5表示本動(dòng)態(tài)圖像編碼裝置進(jìn)行的幀單位的流水線處理。圖5的上部是編碼部為一個(gè)時(shí)的例子，第一 MB行并行處理部105、第二 MB行并行處理部106按照在一幀期間內(nèi)進(jìn)行編碼的幀順序(fO—n—f2)執(zhí)行MB行的并行處理。第一編碼部109或第二編碼部110按照編碼幀順序(f04fl—f2)執(zhí)行與產(chǎn)生碼量對(duì)應(yīng)的處理。在圖5的上部，可知在I圖像即最初的幀??，產(chǎn)生碼量多花費(fèi)處理時(shí)間，另一方面，在下一個(gè)B圖像產(chǎn)生碼量少與I圖像相比處理時(shí)間短。
[0051]圖5的下部是針對(duì)每個(gè)幀并行地進(jìn)行編碼部的編碼處理時(shí)的例子，各編碼部按照MB行并行處理部的處理已經(jīng)結(jié)束的幀單位依次執(zhí)行并行處理，將針對(duì)每個(gè)幀生成的流再次存儲(chǔ)到作為外部存儲(chǔ)器的SDRAM107中，以成為編碼幀順序的方式通過流輸出部111讀出流，并作為最終的流輸出到外部。關(guān)于編碼部，可以根據(jù)來自用戶的設(shè)定，與需要的比特率對(duì)應(yīng)地來決定驅(qū)動(dòng)的個(gè)數(shù)。例如，在需要40Mbps時(shí)如圖5上部那樣使編碼部為一個(gè)，在需要80Mbps時(shí)如圖5下部那樣使編碼部為兩個(gè)。
[0052](關(guān)于中間緩存存儲(chǔ)信息)
[0053]接下來，對(duì)SDRAM107中存儲(chǔ)的編碼信息進(jìn)行說明。從各MB行并行處理部輸出的，存儲(chǔ)到SDRAM107中的編碼信息例如是量化后的像素?cái)?shù)據(jù)、量化信息、表示是否為量化后的非零系數(shù)的信息、表示是畫面間編碼還是畫面內(nèi)編碼的信息、在選擇了畫面間編碼時(shí)的矢量信息、分割信息、預(yù)測(cè)方向信息、頻率變化尺寸信息等信息、在選擇了畫面內(nèi)編碼時(shí)的預(yù)測(cè)信息、塊分割信息等信息。這些信息規(guī)定應(yīng)該在SDRAM107中存儲(chǔ)的MB的數(shù)據(jù)量，始終在存儲(chǔ)器中存儲(chǔ)固定量，各編碼部每次讀出固定數(shù)，或者管理MB數(shù)據(jù)的寫入地址由編碼部來讀出。另外，可以使SDRAM107中保存的數(shù)據(jù)為在CABAC處理中對(duì)上述所示的信息進(jìn)行了二值化處理后的數(shù)據(jù)。
[0054](關(guān)于前半部并行處理)
[0055]其次，關(guān)于執(zhí)行上述說明的CABAC編碼處理的各編碼部和執(zhí)行CABAC編碼處理以前的處理的各MB行并行處理部，說明在經(jīng)由SDRAM107那樣的外部存儲(chǔ)器的結(jié)構(gòu)中，能夠?qū)崿F(xiàn)低功耗的并行處理。在專利文獻(xiàn)I中公開了對(duì)每個(gè)MB行進(jìn)行并行處理的方法。但是，在想要達(dá)成高處理性能時(shí)，需要根據(jù)提高處理能力的程度來并行處理MB行。此時(shí)，因?yàn)槭欠謩e將需要很大電路規(guī)模的粗搜索部104、或需要保存很多參照?qǐng)D像的搜索存儲(chǔ)器讀出部103并聯(lián)的結(jié)構(gòu)，因此需要很大的電路規(guī)模和與之相伴的很多的消耗電量。
[0056]對(duì)于這樣的問題，在本動(dòng)態(tài)圖像編碼裝置中，為了使多個(gè)MB行并行處理部共享粗搜索部104和搜索存儲(chǔ)器讀出部103，同時(shí)進(jìn)一步減少各MB行并行處理部處理的MB行的數(shù)量，針對(duì)屬于要進(jìn)行處理的MB行的每個(gè)MB(例如，分為偶數(shù)號(hào)碼的MB和奇數(shù)號(hào)碼的MB)來執(zhí)行并行處理。粗搜索部104根據(jù)并行處理的MB的數(shù)量來決定處理時(shí)間，依次向各MB行并行處理部輸出在該處理時(shí)間處理的結(jié)果。例如，粗搜索部104分成成為處理對(duì)象的MB行中的偶數(shù)號(hào)碼的MB行和奇數(shù)號(hào)碼的MB行，并且在將各MB行分為偶數(shù)號(hào)碼的MB和奇數(shù)號(hào)碼的MB來并行處理時(shí)，粗搜索部104預(yù)先決定MB并行處理部中的處理時(shí)間，將該決定的時(shí)間的1/4的時(shí)間分配給各MB的處理，并按順序向各MB行并行處理部輸出該處理結(jié)果。
[0057](關(guān)于搜索范圍)
[0058]如圖1所示，在本動(dòng)態(tài)圖像編碼裝置中，針對(duì)多個(gè)MB行并行處理部，具備一個(gè)搜索存儲(chǔ)器讀出部103和一個(gè)粗搜索部104。以下，對(duì)于搜索存儲(chǔ)器讀出部103的共享進(jìn)行說明。圖6表不不同的MB行中的搜索范圍的例子。在圖6中，在編碼對(duì)象幀600中，表不了屬于某個(gè)MB行的MBa601和屬于下一個(gè)MB行的MBb604的搜索范圍，來分別作為MBa的搜索范圍603、進(jìn)行MBb的運(yùn)動(dòng)搜索時(shí)的搜索范圍605。
[0059]在這里，運(yùn)動(dòng)搜索是指為了在圖像編碼中消除各幀間的多余長(zhǎng)度，搜索編碼對(duì)象幀的MB圖案與參照幀的哪里最近并決定該位置(矢量)的處理。搜索范圍是指進(jìn)行該運(yùn)動(dòng)搜索時(shí)的參照幀中的搜索范圍。通常，關(guān)于該搜索范圍，在參照幀上設(shè)定比MB大的范圍，通過在該范圍計(jì)算原圖像與參照?qǐng)D像的像素值的差來決定其矢量。在圖6中可知MBa601和MBb604的搜索范圍包含大體相同的區(qū)域。
[0060]由此，搜索存儲(chǔ)器讀出部103僅保存參照幀中的并行的MB行中的在該搜索范圍內(nèi)包含的像素，通過粗搜索部104進(jìn)行粗搜索，由此與分別保持搜索存儲(chǔ)器讀出部103以及粗搜索部104的情況相比能夠大幅削減保持?jǐn)?shù)。
[0061](粗搜索部)
[0062]粗搜索部104具有:從搜索存儲(chǔ)器讀出部103讀出參照?qǐng)D像，計(jì)算編碼對(duì)象圖像的像素和參照?qǐng)D像的像素之間的差分值的電路、累計(jì)該差分值決定最小的差分值的電路。關(guān)于計(jì)算誤差的差分的電路，并行具有搜索數(shù)的全部像素量的運(yùn)算器導(dǎo)致電路規(guī)模的增大，因此一般具有某種小規(guī)模的運(yùn)算電路，使該電路進(jìn)行多個(gè)時(shí)鐘動(dòng)作來進(jìn)行所需要的搜索次數(shù)的處理。該運(yùn)算電路根據(jù)需要搜索數(shù)和需要結(jié)束搜索的時(shí)鐘數(shù)來決定所有數(shù)。關(guān)于需要的時(shí)鐘數(shù)，如后所述。
[0063](并行化流水線)
[0064]使用流水線對(duì)粗搜索部104向多個(gè)MB行的MB提供數(shù)據(jù)的處理進(jìn)行說明。圖7表示針對(duì)幀內(nèi)的處理，通過圖1的結(jié)構(gòu)并行處理兩個(gè)MB行時(shí)的流水線的例子。在該例子中，圖1所示的第一 MB行并行處理部105處理偶數(shù)號(hào)碼的MB行，第二 MB行并行處理部106處理奇數(shù)號(hào)碼的MB行。并且，第一 MB并行處理部1053處理MB行中包含的MB中的偶數(shù)號(hào)碼的MB，第二 MB并行處理部1054處理奇數(shù)號(hào)碼的MB。
[0065]在圖7中，表不了將先頭的MB彳丁的MB號(hào)碼從左到右設(shè)為0—1—2—3，將屬于并彳丁處理的下一段的MB行的MB號(hào)碼從左到右設(shè)為n—n+l—n+24n+3(參照?qǐng)D2所示的MB的處理順序)，圖1所示的各部在某時(shí)間正處理哪個(gè)MB。在圖中，向右表示時(shí)間軸701，將根據(jù)幀率、圖像尺寸和動(dòng)作時(shí)鐘數(shù)計(jì)算出的處理IMB所需要的時(shí)間定義為時(shí)隙702。
[0066]另外，在本例中，MB并行處理部通過4并行(第一MB行并行處理部105的第一 MB并行處理部1053以及第二 MB并行處理部1054、第二 MB行并行處理部106的第一 MB并行處理部1063以及第二 MB并行處理部1064)執(zhí)行處理，因此表示4MB的處理時(shí)間來作為基本時(shí)隙703。此時(shí)，各處理部根據(jù)將處理并行連接的數(shù)量，應(yīng)進(jìn)行處理的時(shí)隙的期間不同。例如，在通過4并行進(jìn)行動(dòng)作的處理中，一個(gè)電路需要在四個(gè)時(shí)隙(基本時(shí)隙)的期間完成動(dòng)作，通過2并行進(jìn)行動(dòng)作的電路需要兩個(gè)時(shí)隙的期間，并且在一個(gè)時(shí)隙內(nèi)使一個(gè)電路結(jié)束動(dòng)作。
[0067]在將進(jìn)行編碼的原圖像和在畫面間預(yù)測(cè)中使用的參照?qǐng)D像已保存在SDRAM107中的前提下，對(duì)幀內(nèi)的處理進(jìn)行詳細(xì)說明。
[0068]在幀處理的開頭，原圖像讀出部102和搜索存儲(chǔ)器讀出部103至少預(yù)讀704從此開始進(jìn)行處理的先頭MB的原圖像的像素和進(jìn)行粗搜索所需要的搜索范圍的參照?qǐng)D像的像素，并作為所需要的數(shù)據(jù)保存在粗搜索部104和各MB行并行處理部的IE部。在本結(jié)構(gòu)中，始終依次地進(jìn)行在流水線中進(jìn)行處理的MB的數(shù)據(jù)的預(yù)讀704，來對(duì)本數(shù)據(jù)進(jìn)行補(bǔ)充。如果所需要的數(shù)據(jù)的保存結(jié)束，則粗搜索部104開始先頭MB的處理。
[0069]粗搜索部104基本上針對(duì)每個(gè)時(shí)隙交互地處理包含0MB706的行的處理和包含nMB707的行的處理。例如，粗搜索部104按照編碼順序交互地處理由第一MB行并行處理部105執(zhí)行預(yù)處理的偶數(shù)MB行的MB和由第二 MB行并行處理部106執(zhí)行預(yù)處理的奇數(shù)MB行的MB。
[0070]但是，在動(dòng)態(tài)圖像編碼中，多存在在某個(gè)MB的編碼中參照屬于該MB之上的MB行的MB來進(jìn)行編碼的情況。因此，關(guān)于該MB的處理，至少在存在參照關(guān)系的MB的處理已結(jié)束的時(shí)間點(diǎn)以后開始處理。在本例子中，在包含0MB706的行和包含nMB707的行中，關(guān)于nMB707的nMB處理，作為一個(gè)例子在包含0MB706的行的3MB處理結(jié)束后開始。
[0071]然后，細(xì)搜素部1051從粗搜索部104取得矢量和參照?qǐng)D像，并從原圖像讀出部102取得原圖像，以更細(xì)致的精度進(jìn)行矢量搜索。在本例子中，針對(duì)各MB行并行處理部設(shè)置一個(gè)細(xì)搜索部，因?yàn)獒槍?duì)每個(gè)MB行具有一個(gè)電路，因此成為在兩個(gè)時(shí)隙的期間結(jié)束處理的電路結(jié)構(gòu)。例如，因?yàn)樵诘谝籑B行并行處理部105中設(shè)置了一個(gè)細(xì)搜索部1051，因此在細(xì)搜索部1051中在通過虛線表示的兩個(gè)時(shí)隙的期間708中處理包含0MB706的MB行的各MB。在為第二MB行并行處理部106時(shí)，也同樣設(shè)置了一個(gè)細(xì)搜索部1061，因此在細(xì)搜索部1061中在兩個(gè)時(shí)隙的期間處理包含nMB707的MB行的各MB。
[0072]第一MB行并行處理部105的IE部1052從原圖像讀出部102取得原圖像，決定圖面內(nèi)預(yù)測(cè)的模式。IE部也與細(xì)搜索部相同，針對(duì)每個(gè)MB行具有一個(gè)電路，在兩個(gè)時(shí)隙期間709中進(jìn)行處理。關(guān)于第二 MB行并行處理部106的IE部1062也是同樣的。
[0073]在各個(gè)MB并行處理部中各構(gòu)成了一個(gè)MB并行處理部的預(yù)測(cè)誤差生成部和一個(gè)頻率變換量化部。在圖1所示的例子中，第一MB行并行處理部105具有對(duì)偶數(shù)MB行的偶數(shù)號(hào)碼的MB進(jìn)行處理的第一 MB并行處理部1053、對(duì)奇數(shù)號(hào)碼的MB進(jìn)行處理的第二 MB并行處理部1054。關(guān)于第二 MB行并行處理部106，也同樣具有對(duì)奇數(shù)MB行的偶數(shù)號(hào)碼的MB進(jìn)行處理的第一 MB并行處理部1063、對(duì)奇數(shù)號(hào)碼的MB進(jìn)行處理的第二 MB并行處理部1064。為了使它們并行處理，最多錯(cuò)開基本時(shí)隙的一半的期間來并行地進(jìn)行處理。此時(shí)，由于各MB的處理需要參照周圍的MB信息，因此在該一半的時(shí)隙內(nèi)決定下一個(gè)MB的處理所需要的信息。該周圍的需要參照的數(shù)據(jù)是通過各種動(dòng)畫壓縮標(biāo)準(zhǔn)定義的信息，例如是編碼信息、在畫面內(nèi)預(yù)測(cè)中需要的解塊過濾執(zhí)行前的解碼圖像等。
[0074]關(guān)于該錯(cuò)開了半個(gè)時(shí)隙的并行處理，在本例子中基本時(shí)隙的期間為四個(gè)時(shí)隙，因此MB并行處理部的預(yù)測(cè)誤差生成部、頻率變換量化部分別最多錯(cuò)開兩個(gè)時(shí)隙的期間710、711來進(jìn)行處理。
[0075]各預(yù)測(cè)誤差生成部在畫面間預(yù)測(cè)時(shí)根據(jù)從細(xì)搜索部取得的矢量信息和參照?qǐng)D像生成預(yù)測(cè)圖像。然后，各頻率變換量化部從原圖像取得差分，對(duì)該誤差圖像進(jìn)行頻率變換和量化，并將結(jié)果傳送給各編碼信息生成部。各編碼信息生成部針對(duì)每個(gè)MB行捆綁MB信息來向SDRAM107傳送編碼信息。各解塊部針對(duì)從各預(yù)測(cè)圖像生成部輸出的解碼圖像執(zhí)行循環(huán)內(nèi)過濾，向SDRAM107傳送執(zhí)行了該過濾后的解碼圖像。此外，雖然沒有進(jìn)行圖示，但是與頻率變換量化部的處理時(shí)間同時(shí)間地進(jìn)行預(yù)測(cè)誤差生成部的在畫面內(nèi)預(yù)測(cè)時(shí)的預(yù)測(cè)圖像的生成和解碼圖像的生成。
[0076]通過進(jìn)行這樣的控制，能夠不大幅增加粗搜索所需要的向搜索存儲(chǔ)器存儲(chǔ)的參照?qǐng)D像的讀出數(shù)據(jù)量以及不大幅增大搜索電路來進(jìn)行每個(gè)MB的并行處理，因此能夠?qū)崿F(xiàn)低功耗。在本實(shí)施例中，采用暫時(shí)向SDRAM107存儲(chǔ)的方式說明了各MB行并行處理部的處理結(jié)果和各編碼處理部的處理結(jié)果，但是在使用不保存到SDRAM107的方式時(shí)，通過在各MB行并行處理部中包含各編碼處理部并將其連接起來的結(jié)構(gòu)，能夠?qū)碜愿鱉B行并行處理部的處理結(jié)果直接輸入到各編碼處理部，與上述同樣地實(shí)現(xiàn)并行化。
[0077](并行時(shí)的畫質(zhì)劣化問題)
[0078]然后，對(duì)通過本動(dòng)態(tài)圖像編碼裝置進(jìn)行的MB行的并行處理中的高畫質(zhì)化進(jìn)行說明。對(duì)于高畫質(zhì)化在專利文獻(xiàn)2中進(jìn)行了記載，在進(jìn)行MB行的并行處理時(shí)，需要將屬于正在進(jìn)行并行處理的MB行的先頭MB的QP固定為與畫質(zhì)無關(guān)地預(yù)先決定的某個(gè)值。但是，在采用該方法時(shí)，并行度越增加進(jìn)行固定的行也越增加，畫質(zhì)降低。另外，規(guī)定了屬于MB行的MB內(nèi)的進(jìn)行固定的MB的位置，因此存在在該位置產(chǎn)生畫質(zhì)上的不均勻的問題。以下進(jìn)行具體的說明。
[0079]如圖2所示，在使MB行并行化時(shí)，需要按照MB編碼順序先行對(duì)未來的MB進(jìn)行編碼。此時(shí)，在專利文獻(xiàn)2中，通過以下的方式進(jìn)行敘述。首先作為第一是以下的方法:使MB先頭行的先頭MB的QP固定，并強(qiáng)制地使CBP(Coded Block Pattern編碼塊模式)有效。然后，第二是以下的方法:使MB行的末端的MB (MBI)和下一個(gè)MB行的先頭的MB(MBn)的QP固定，強(qiáng)制使MBl的CBP有效。此外，強(qiáng)制使CBP有效的理由在于，在H.264標(biāo)準(zhǔn)中，當(dāng)CBP為無效時(shí)具有不對(duì)QP進(jìn)行編碼這樣的決定，因此只要不強(qiáng)制使CBP有效就無法使QP固定。
[0080]在上述兩個(gè)的方法中，使MBI和MBn的雙方的QP固定。但是，例如只在MBn的CBP無效時(shí)使QP固定等，在MBn的CBP有效時(shí)未必需要使QP固定。另外，使該QP固定的位置也不必固定在MB行的先頭或末端。
[0081 ]這樣一來，在本實(shí)施例中，成為CBP的強(qiáng)制有效的位置和QP固定的位置可以是MB行的任意MB的方式。即，在已使位于MB行的途中的MB的QP固定時(shí)，也可以針對(duì)從固定了QP的MB至IjMB行的末端MB為止的MB，將預(yù)先決定的QP值設(shè)定給從該MB到末端的MB。此時(shí)，從進(jìn)行了CBP的強(qiáng)制有效的MB開始到該MB行的末端MB的QP值使用預(yù)先決定的QP值，下一個(gè)MB行的先頭的MB只在CBP為無效的情況下使用該QP來進(jìn)行編碼。
[0082]此外，關(guān)于QP的固定，既可以是預(yù)先決定的固定值也可以通過周圍MB的最小值、介質(zhì)值、平均值等來計(jì)算使用。如此，能夠變更使QP固定的位置，并能夠進(jìn)行抑制了畫質(zhì)不均勻的編碼。
[0083](高功能化)
[0084]—般在搭載了動(dòng)態(tài)圖像編碼裝置的設(shè)備中，為了應(yīng)對(duì)用戶的喜好或各種應(yīng)用，設(shè)置了各種能夠調(diào)整畫質(zhì)和錄像時(shí)間的處理模式。因此，在本動(dòng)態(tài)圖像編碼裝置中，也設(shè)想分辨率和幀率發(fā)生變化的情況，謀求動(dòng)態(tài)圖像編碼裝置的低功耗設(shè)計(jì)。以下，對(duì)在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式的例子進(jìn)行說明。調(diào)整模式是根據(jù)輸出圖像的性能來變更并行處理數(shù)的設(shè)定信息。
[0085]圖8表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式中的模式1、模式2的例子。圖8的上部表示第一個(gè)成為基本的處理模式。本處理模式例如是對(duì)于FHD(FulI HighDefinit1n全高清)尺寸的圖像，在幀率為30fps時(shí)，使用IBBPBB的M = 3的編碼類型進(jìn)行編碼的模式。此時(shí)，在P圖像中，參照三張前的圖像，將I圖像中的搜索范圍801設(shè)為基本搜索范圍。
[0086]然后，圖8下部表示第二處理模式。本處理模式是針對(duì)上述基本處理將幀率設(shè)為兩倍的處理模式。在此時(shí)，通過將幀率設(shè)為兩倍，幀間的距離成為一半。在本處理模式中當(dāng)假設(shè)上述基本處理和影像的運(yùn)動(dòng)量為固定時(shí)，可知在P圖像中，通過基本搜索范圍的1/2的搜索范圍802即可。但是，在本處理模式中需要處理兩倍的幀數(shù)，因此在使處理時(shí)鐘數(shù)為相同值時(shí)，要求兩倍的處理速度(處理性能)。
[0087]最后，對(duì)第三個(gè)處理模式進(jìn)行說明。圖9表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式中的模式3的例子。圖9上部所示的本例是與基本的處理模式相比將圖像尺寸設(shè)為四倍的例子。該例子例如是與4k 2k的圖像對(duì)應(yīng)的情況，設(shè)為IPPP的M= I的編碼類型。此時(shí)，由于圖像尺寸為四倍，因此與上述同樣地當(dāng)使處理時(shí)鐘數(shù)為相同值時(shí)，要求四倍的處理性會(huì)K。
[0088]此時(shí)，雖然圖像尺寸為四倍，但是計(jì)算運(yùn)動(dòng)矢量的MB的大小未變化，所以如果是M=3的編碼類型，則在P圖像中的搜索范圍成為與基本搜索范圍相同的范圍。但是，因?yàn)樵谠撃Ｊ?下設(shè)為M=I的情況，所以與上述的模式I的基本圖案相比，使I圖像或者P圖像的周期成為1/3，因此搜索范圍成為基本搜索范圍的1/3。
[0089]對(duì)于上述各模式的設(shè)定例進(jìn)行說明。圖10表示在本動(dòng)態(tài)圖像編碼裝置中設(shè)想的三個(gè)處理模式的設(shè)定例子。在圖10中，將編碼的處理模式、圖像尺寸、幀率、需要的動(dòng)態(tài)圖像編碼裝置的性能以及該性能下的處理時(shí)間、表示I圖像或P圖像的周期的M值、需要的I圖像的搜索范圍對(duì)應(yīng)起來進(jìn)行存儲(chǔ)。
[0090]如圖10所示，可知針對(duì)每個(gè)處理模式性能為1、2、4倍，與之相伴相同動(dòng)作頻率下的處理時(shí)間為1、1/2、1/4。并且，可知需要的搜索范圍為1、1/2、1/3。
[0091]上述說明的動(dòng)態(tài)圖像編碼裝置是應(yīng)用了圖9所示的模式3時(shí)的例子，表示與模式I的情況相比達(dá)成四倍的性能時(shí)的結(jié)構(gòu)。在圖1所示的本動(dòng)態(tài)圖像編碼裝置中，構(gòu)成為粗搜索部104向多個(gè)MB行并行處理部提供數(shù)據(jù)的結(jié)構(gòu)，只要具有相對(duì)于基本的處理模式以1/4的處理時(shí)間至少能夠處理1/3的搜索的能力即可。
[0092]然后，如果具有該處理能力，與四倍的性能時(shí)相比，在兩倍的性能時(shí)(模式2)處理時(shí)間延長(zhǎng)為兩倍，在一倍的處理性能(模式I)時(shí)，處理時(shí)間延長(zhǎng)為四倍，因此能夠在同一個(gè)電路中實(shí)現(xiàn)處理時(shí)間不同的三個(gè)模式。
[0093]此外，除了上述處理模式I?處理模式3，作為處理模式4還能夠設(shè)定以下的模式:對(duì)于FHD尺寸的圖像，在幀率為120fps時(shí)，能夠使用IPP的M= I的編碼類型進(jìn)行編碼。此時(shí)，由于幀率變?yōu)樗谋?，因此與上述同樣地在使處理時(shí)鐘數(shù)為相同值時(shí)，要求四倍的處理性能，其處理時(shí)間變?yōu)镮 /4。并且，由于幀率變?yōu)樗谋?，M值變?yōu)镮 /3，因此搜索范圍變?yōu)镮 /12。
[0094]圖11、圖12分別表示處理模式1、處理模式2時(shí)的流水線。在圖11所示的處理模式I的流水線中，可以在圖7所示的四個(gè)時(shí)隙的期間即基本時(shí)隙進(jìn)行各個(gè)處理。此時(shí)不需要進(jìn)行并行處理，所以例如通過使圖1所示的第一 MB行并行處理部105、該第一 MB行并行處理部105具有的第一 MB并行處理部1053在圖11所示那樣的流水線進(jìn)行動(dòng)作來執(zhí)行處理。
[0095]另外，在圖12所示的處理模式2中，可以在圖7所示的兩個(gè)時(shí)隙的期間進(jìn)行處理，成為2并行處理的動(dòng)作。在這種情況下，使用圖1所示的第一 MB行并行處理部105、該第一 MB行并行處理部105具有的第一 MB并行處理部1053、第二 MB并行處理部1054，在圖12所示的流水線執(zhí)行處理。在這兩者的情況下，也使搜索存儲(chǔ)器讀出部103、粗搜索部104、原圖像讀出部102各自為一個(gè)電路來向MB行并行處理部提供數(shù)據(jù)。
[0096]另外，在該結(jié)構(gòu)中，能夠應(yīng)對(duì)需要處理模式3的四倍的處理性能的使模式3的幀率成為四倍的處理模式等，根據(jù)圖像分辨率、幀率的關(guān)系也能夠應(yīng)對(duì)在本例中沒有表示的其他處理模式。另外，在本動(dòng)態(tài)圖像編碼裝置中，能夠根據(jù)用戶的設(shè)定，將該流水線切換為期望的處理模式。通過采用這樣的結(jié)構(gòu)，本動(dòng)態(tài)圖像編碼裝置在執(zhí)行多個(gè)并行處理時(shí)也能夠?qū)崿F(xiàn)低功耗化。
[0097](進(jìn)一步節(jié)省電力)
[0098]然后，對(duì)進(jìn)一步節(jié)省電力進(jìn)行說明。本動(dòng)態(tài)圖像編碼裝置中的細(xì)搜索部是只在編碼對(duì)象的MB為畫面間編碼模式(Inter編碼模式)時(shí)需要的處理，在為畫面內(nèi)編碼模式(Intra編碼模式)時(shí)不需要進(jìn)行該處理。本動(dòng)態(tài)圖像編碼裝置的流水線的細(xì)搜索處理是在畫面間編碼的粗搜索和畫面內(nèi)編碼的IE部已經(jīng)結(jié)束后的處理。即，在MB行并行處理部中，判定進(jìn)行處理的圖像是通過畫面內(nèi)編碼模式和畫面間編碼模式中的哪一個(gè)編碼模式來進(jìn)行處理，并只在判定為畫面間編碼模式時(shí)，細(xì)搜索部針對(duì)由粗搜索部104求出的MB的移動(dòng)量以及移動(dòng)方向求出更加詳細(xì)的移動(dòng)量以及移動(dòng)方向。
[0099]在本動(dòng)態(tài)圖像編碼裝置中，MB行并行處理或控制部根據(jù)粗搜索部和IE部的處理結(jié)果判定是畫面內(nèi)編碼還是畫面間編碼，在判定為畫面內(nèi)編碼時(shí)，進(jìn)行控制從而不使細(xì)搜索部進(jìn)行動(dòng)作，能夠消減進(jìn)行細(xì)搜索所需要的消耗電力。此時(shí)，能夠通過不傳送用于進(jìn)行細(xì)搜索的處理開始信號(hào)、或者停止時(shí)鐘的方法來實(shí)現(xiàn)。另外，關(guān)于畫面內(nèi)編碼和畫面間編碼的決定，通過原圖像與各個(gè)預(yù)測(cè)圖像之間的誤差、用于傳送該誤差的加入了編碼的值來進(jìn)行比較。
[0100](CABAC并行化的效果)
[0101]因此，即使在使用了CABAC編碼時(shí)，也可以進(jìn)行MB行單位的并行處理，能夠?qū)崿F(xiàn)低功耗和高畫質(zhì)。
[0102](解碼的結(jié)構(gòu))
[0103]通過本動(dòng)態(tài)圖像編碼裝置使用的并行化能夠應(yīng)用到解碼裝置中。圖13表示本實(shí)施方式的動(dòng)態(tài)圖像解碼裝置2000的結(jié)構(gòu)例子。在本動(dòng)態(tài)圖像編碼裝置2000中，通過流輸入部1301取得用于進(jìn)行再生的流，通過流解析部1302進(jìn)行各幀的先頭位置的解析。向SDRAM接口1303傳送該解析結(jié)果，并保存在SDRAM1304中。執(zhí)行該解析處理的理由在于，因?yàn)楦鹘獯a部(第一解碼部1305、第二解碼部1306)針對(duì)每幀執(zhí)行并行處理，所以需要檢查幀的開始代碼來掌握成為流中包含的幀的劃分的先頭位置。然后，從SDRAM1304以幀為單位通過第一解碼部1305、第二解碼部1306讀出幀來進(jìn)行并行處理，針對(duì)每個(gè)MB行將MB的解碼信息(與編碼信息相同的內(nèi)容)保存在SDRAMl 304中。
[0104]將該每個(gè)MB行的MB解碼信息從SDRAM1304讀出到第一 MB行并行處理部1307、第二MB行并行處理部1308，與動(dòng)態(tài)圖像編碼裝置同樣地，以MB行為單位并行地進(jìn)行處理。在第一MB行并行處理部1307中，解碼信息讀出部13071讀出解碼信息，并將其提供給第一MB并行處理部13073、第二 MB并行處理部13074，并且向預(yù)測(cè)圖像生成部13075提供生成預(yù)測(cè)圖像所需要的信息。然后，對(duì)于各MB并行處理部生成的圖像，通過解塊部13072實(shí)施解塊過濾，然后保存在 SDRAMl 304 中。
[0105]在各MB行并行處理部的MB并行處理部中，各個(gè)逆頻率變換部對(duì)于解碼信息讀出部取得的數(shù)據(jù)執(zhí)行逆量化以及逆頻率變換，各預(yù)測(cè)誤差加法運(yùn)算部針對(duì)畫面內(nèi)預(yù)測(cè)時(shí)的預(yù)測(cè)圖像的生成，將逆量化以及逆頻率變換后的數(shù)據(jù)與預(yù)測(cè)圖像進(jìn)行加法運(yùn)算后輸出到解塊部。
[0106]參照?qǐng)D像讀出部1309從SDRAMl 304讀出參照?qǐng)D像，并向生成畫面間預(yù)測(cè)時(shí)的預(yù)測(cè)圖像的預(yù)測(cè)圖像生成部13075提供參照?qǐng)D像數(shù)據(jù)。再生圖像讀出部1310從SDRAM1304按照顯示順序讀出解碼圖像?？刂撇?311進(jìn)行全體動(dòng)作的控制和編碼參數(shù)的共享。
[0107]本解碼裝置與動(dòng)態(tài)圖像編碼裝置相同，具有多個(gè)MB并行處理部和多個(gè)MB行并行處理部，如圖7所示的流水線那樣，為了使它們進(jìn)行并行處理，最多錯(cuò)開基本時(shí)隙的一半的期間來并行地進(jìn)行處理，由此能夠進(jìn)行低功耗下的解碼。在本例子中由于基本時(shí)隙的期間為四個(gè)時(shí)隙，因此MB并行處理部的逆量化逆頻率變換部以及預(yù)測(cè)誤差加法運(yùn)算部分別成為與圖7—樣最大將時(shí)間錯(cuò)開兩個(gè)時(shí)隙的期間的處理。
[0108]圖14對(duì)于幀內(nèi)的處理，表示了在通過圖13的結(jié)構(gòu)并行處理兩個(gè)MB行時(shí)的流水線的例子。在該例子中，與圖所示的情況相同，第一MB行并行處理部1307處理偶數(shù)號(hào)碼的MB行，第二 MB行處理部1308處理奇數(shù)號(hào)碼的MB行，第一 MB并行處理部13073處理MB行中包含的MB中的偶數(shù)號(hào)碼的MB，第二MB并行處理部13074處理奇數(shù)號(hào)碼的MB。由于與圖7相同，因此省略了關(guān)于MB行的MB號(hào)碼的計(jì)數(shù)、時(shí)間軸、時(shí)隙、基本時(shí)隙的定義的說明。
[0109]在解碼裝置中，與編碼裝置相反，解碼信息讀出部13071從SDRAM1304讀出通過第一解碼部1305、第二解碼部1306存儲(chǔ)的解碼信息。在本例子中，針對(duì)各MB行并行處理部設(shè)置一個(gè)解碼信息讀出部，由于對(duì)每個(gè)MB行具有一個(gè)電路，因此與編碼裝置中的細(xì)搜索部和IE部相同，成為在兩個(gè)時(shí)隙的期間結(jié)束處理的電路結(jié)構(gòu)。例如，在第一MB行并行處理部1307中設(shè)置了一個(gè)解碼信息讀出部13071，因此在解碼信息讀出部13071中與編碼裝置相同地在兩個(gè)時(shí)隙的期間處理MB行的各MB。在為第二 MB行并行處理部1308時(shí)也同樣設(shè)置了一個(gè)解碼信息讀出部，因此同樣地進(jìn)行處理。
[0110]在各個(gè)MB并行處理部中各構(gòu)成了一個(gè)MB并行處理部的逆量化逆頻率變換部和一個(gè)預(yù)測(cè)誤差加法運(yùn)算部。在圖14所示的例子中，第一MB行并行處理部1307具有處理偶數(shù)MB行的偶數(shù)號(hào)碼MB的第一 MB并行處理部13073、處理該奇數(shù)號(hào)碼MB的第二 MB并行處理部13074。關(guān)于第二 MB行并行處理部1308也同樣具有處理奇數(shù)MB行的偶數(shù)號(hào)碼MB的第一 MB并行處理部13083、處理該奇數(shù)號(hào)碼MB的第二 MB并行處理部13084。與編碼裝置同樣地，為了使它們并行進(jìn)行處理，最多錯(cuò)開基本時(shí)隙的一半的期間來并行進(jìn)行處理。關(guān)于該處理，在本例子中基本時(shí)隙的期間為四個(gè)時(shí)隙，因此使MB并行處理部的逆量化逆頻率變換部、預(yù)測(cè)誤差加法運(yùn)算部分別為將時(shí)間最大錯(cuò)開兩個(gè)時(shí)隙的期間的處理。
[0111]各逆量化逆頻率變換部針對(duì)從編碼信息讀出部取得的編碼信息執(zhí)行逆量化以及逆頻率變換。各預(yù)測(cè)誤差加法運(yùn)算部將逆量化以及逆頻率變換后的數(shù)據(jù)與預(yù)測(cè)圖像進(jìn)行加法運(yùn)算后輸入到解塊部。各預(yù)測(cè)圖像生成部根據(jù)從編碼信息讀出部13071取得的編碼信息和從參照?qǐng)D像讀出部1309接收到的參照?qǐng)D像生成預(yù)測(cè)圖像，并將其輸出給各MB并行處理部的預(yù)測(cè)誤差換算部。
[0112]然后，解碼的情況也與編碼的情況相同，參照?qǐng)D像讀出部1309進(jìn)行參照?qǐng)D像的預(yù)讀。再生圖像讀出部1310按照顯示順序從SDRAM讀出生成的解碼圖像，并與顯示側(cè)的同步相匹配地進(jìn)行輸出。在本例子中，在包含OMB的行和包含nMB的行中，作為一個(gè)例子，在包含OMB的行的3MB的處理結(jié)束后開始進(jìn)行nMB的處理。
[0113]另外，如圖11、圖12所示，根據(jù)所需要的流水線的并行度(處理模式)來使并行處理部的一部分進(jìn)行動(dòng)作，由此在多個(gè)并行處理中也能夠?qū)崿F(xiàn)低功耗化。另外，在本解碼裝置中，與動(dòng)態(tài)圖像編碼裝置相同，在流的比特率、分辨率、幀率已知時(shí)，能夠根據(jù)用戶的設(shè)定來變更MB并行處理部、MB行并行處理部、解碼部的并行度(處理模式)。
[0114]符號(hào)的說明
[0115]1000:動(dòng)態(tài)圖像編碼裝置
[0116]101:原圖像寫入部
[0117]102:原圖像讀出部
[0118]103:搜索存儲(chǔ)器讀出部
[0119]104:粗搜索部
[0120]105、106:MB行并行處理部
[0121]107:SDRAM
[0122]108: SDRAM 接口
[0123]109、110:編碼部
[0124]111:流輸出部
[0125]112:控制部
[0126]2000:動(dòng)態(tài)圖像解碼裝置
[0127]1301:流輸入部
[0128]1302:流解析部
[0129]1303: SDRAM 接口
[0130]1304:SDRAM
[0131]1305:第一解碼部
[0132]1306:第二解碼部
[0133]1307、1308:行并行處理部
[0134]13071:解碼信息讀出部
[0135]13072:解塊部
[0136]13073、13074:MB 并行處理部
[0137]13075:預(yù)測(cè)圖像生成部
[0138]1309:參照?qǐng)D像讀出部
[0139]1310:再生圖像讀出部
[0140]1311:控制部。
【主權(quán)項(xiàng)】
1.一種動(dòng)態(tài)圖像編碼裝置，其將圖像分割為MB來進(jìn)行編碼，該動(dòng)態(tài)圖像編碼裝置的特征在于，具備: MB并行處理部，其針對(duì)每個(gè)所述MB執(zhí)行用于對(duì)所述圖像進(jìn)行編碼的預(yù)處理，并將作為該處理結(jié)果的MB信息按照所述MB的處理順序?qū)懭氪鎯?chǔ)部中；以及 編碼部，其按照光柵順序讀出在所述存儲(chǔ)部中存儲(chǔ)的所述MB信息來對(duì)所述MB進(jìn)行編碼。2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 具有MB行并行處理部，其將在水平方向上排列的所述MB構(gòu)成為MB行，對(duì)每個(gè)所述MB行執(zhí)行所述預(yù)處理，并且該MB行并行處理部具有多個(gè)所述MB并行處理部， 所述MB行并行處理部具有多個(gè)所述MB并行處理部， 能夠切換所述MB行并行處理部具有的一個(gè)或多個(gè)所述MB并行處理部執(zhí)行的模式和多個(gè)MB行并行處理部具有的一個(gè)或多個(gè)MB并行處理部執(zhí)行的模式。3.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 具備求出所述MB的移動(dòng)量以及移動(dòng)方向的粗搜索部， 所述粗搜索部向具有所述MB并行處理部的MB行并行處理部輸出在根據(jù)并聯(lián)連接所述MB并行處理部的數(shù)量而分割后的處理時(shí)間中執(zhí)行的處理結(jié)果。4.根據(jù)權(quán)利要求3所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述粗搜索部對(duì)由所述MB行并行處理部執(zhí)行預(yù)處理的所述MB行中包含的所述MB和由其他的所述MB行并行處理部執(zhí)行預(yù)處理的所述MB行中包含的所述MB交互地執(zhí)行編碼。5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述編碼部具有按照光柵順序讀出所述圖像中包含的所述MB來進(jìn)行編碼的處理部，所述處理部并行處理不同的圖像。6.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述粗搜索部根據(jù)將所述MB行并行處理部或所述MB并行處理部并聯(lián)連接的數(shù)量，切換第一處理模式、第二處理模式和第三處理模式來執(zhí)行處理，第一處理模式是所述圖像的總像素?cái)?shù)為η像素，表示I圖像或P圖像的周期的M值為3，幀率為P的處理模式，所述第二處理模式是所述總像素?cái)?shù)為η像素，所述M值為3，幀率為2ρ的處理模式，所述第三處理模式為所述總像素?cái)?shù)為4η像素，所述M值為I，幀率為P的處理模式， 所述一個(gè)MB行并行處理部以及所述一個(gè)MB并行處理部通過所述第一處理模式執(zhí)行所述預(yù)處理， 所述一個(gè)MB行并行處理部以及所述多個(gè)MB并行處理部通過所述第二處理模式執(zhí)行所述預(yù)處理， 所述多個(gè)MB行并行處理部以及所述多個(gè)MB并行處理部通過所述第三處理模式執(zhí)行所述預(yù)處理。7.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述粗搜索部根據(jù)將所述MB行并行處理部或所述MB并行處理部并聯(lián)連接的數(shù)量，切換第一處理模式、第二處理模式和第三處理模式來執(zhí)行處理，第一處理模式是所述圖像的總像素?cái)?shù)為η像素，表示I圖像或P圖像的周期的M值為3，幀率為P的處理模式，所述第二處理模式是所述總像素?cái)?shù)為η像素，所述M值為3，幀率為2ρ的處理模式，所述第三處理模式為所述總像素?cái)?shù)為η像素，所述M值為I，幀率為4p的處理模式， 所述一個(gè)MB行并行處理部以及所述一個(gè)MB并行處理部通過所述第一處理模式執(zhí)行所述預(yù)處理， 所述一個(gè)MB行并行處理部以及所述多個(gè)MB并行處理部通過所述第二處理模式執(zhí)行所述預(yù)處理， 所述多個(gè)MB行并行處理部以及所述多個(gè)MB并行處理部通過所述第三處理模式執(zhí)行所述預(yù)處理。8.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 各個(gè)所述MB行并行處理部對(duì)于所述MB行中包含的所述MB，使CBP或量化系數(shù)有效，并通過預(yù)先決定的量化系數(shù)對(duì)從所述有效的所述MB到所述MB行的末端的所述MB為止的MB進(jìn)行編碼，對(duì)于通過所述量化系數(shù)編碼后的MB行的下一個(gè)所述MB行的先頭的所述MB，在CBP為無效時(shí)，通過所述預(yù)先決定的量化系數(shù)進(jìn)行編碼， 其中，所述CBP為編碼塊模式。9.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 各個(gè)所述MB行并行處理部對(duì)于所述MB行的末端的所述MB，使CBP或量化系數(shù)有效，通過預(yù)先決定的量化系數(shù)對(duì)所述末端的MB進(jìn)行編碼，對(duì)于通過所述量化系數(shù)編碼后的MB行的下一個(gè)所述MB行的先頭的所述MB，在CBP為無效時(shí)，通過所述預(yù)先決定的量化系數(shù)進(jìn)行編碼。10.根據(jù)權(quán)利要求2所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述MB并行處理部具有: 預(yù)測(cè)誤差生成部，其生成基于所述MB的畫面內(nèi)的預(yù)測(cè)誤差或基于所述MB的畫面間的預(yù)測(cè)誤差； 頻率變換量化部，其將針對(duì)生成的預(yù)測(cè)誤差進(jìn)行頻率變換后的預(yù)測(cè)誤差進(jìn)行量化；以及 編碼信息生成部，其生成用于對(duì)量化后的所述MB進(jìn)行編碼的編碼信息， 所述MB行并行處理部具有: IE部，其決定畫面內(nèi)編碼模式或畫面間編碼模式； 編碼信息寫入部，其按照編碼順序向所述存儲(chǔ)部寫入針對(duì)每個(gè)所述MB生成的編碼信息; 細(xì)搜索部，在判定為畫面內(nèi)編碼模式時(shí)，其對(duì)于所述粗搜索部求出的MB移動(dòng)量以及移動(dòng)方向求出更詳細(xì)的移動(dòng)量以及移動(dòng)方向；以及解塊部，其針對(duì)解碼圖像應(yīng)用解塊過濾， 所述MB行并行處理部或所述MB并行處理部將與進(jìn)行并行處理的數(shù)量對(duì)應(yīng)的期間錯(cuò)開作為所述MB行的所述MB的處理時(shí)間的時(shí)隙來進(jìn)行并行處理。11.根據(jù)權(quán)利要求10所述的動(dòng)態(tài)圖像編碼裝置，其特征在于， 所述IE部判定進(jìn)行處理的畫像是通過畫面內(nèi)編碼模式和畫面間編碼模式中的哪個(gè)編碼模式來進(jìn)行處理，在判定為畫面內(nèi)編碼模式時(shí)，不執(zhí)行求出比所述粗搜索部求出的所述MB的移動(dòng)量以及移動(dòng)方向更詳細(xì)的移動(dòng)量以及移動(dòng)方向的細(xì)搜索部。12.—種動(dòng)態(tài)圖像解碼裝置，其針對(duì)每個(gè)MB對(duì)編碼后的圖像進(jìn)行解碼，該動(dòng)態(tài)圖像解碼裝置的特征在于，具備: 解碼部，其按照光柵順序?qū)?gòu)成所述圖像的MB行中包含的所述MB進(jìn)行解碼，并在存儲(chǔ)部中存儲(chǔ)作為解碼后的處理結(jié)果的MB信息； 多個(gè)解碼信息讀出部，其按照所述MB的每個(gè)處理順序執(zhí)行用于對(duì)所述圖像進(jìn)行解碼的后處理即解碼信息讀出處理。13.根據(jù)權(quán)利要求12所述的動(dòng)態(tài)圖像解碼裝置，其特征在于， 能夠切換所述MB行并行處理部具有的一個(gè)或多個(gè)所述MB并行處理部執(zhí)行的模式和多個(gè)MB行并行處理部具有的一個(gè)或多個(gè)MB并行處理部執(zhí)行的模式。14.根據(jù)權(quán)利要求12所述的動(dòng)態(tài)圖像解碼裝置，其特征在于， 具備流解析部，其解析在流中包含的所述圖像的劃分位置， 所述解碼部具有多個(gè)以圖像為單位對(duì)所述MB進(jìn)行解碼的處理部，所述處理部對(duì)通過解析出的劃分位置劃分的不同的幀并行地進(jìn)行處理。15.根據(jù)權(quán)利要求12所述的動(dòng)態(tài)圖像解碼裝置，其特征在于， 具備:多個(gè)MB并行處理部，其具有逆量化逆頻率變換部和預(yù)測(cè)誤差加法運(yùn)算部，所述逆量化逆頻率變換部針對(duì)所述MB行中包含的每個(gè)所述MB，在對(duì)所述圖像進(jìn)行逆量化后進(jìn)行逆頻率變換，所述預(yù)測(cè)誤差加法運(yùn)算部將預(yù)測(cè)圖像與殘差誤差相加來生成解碼圖像;以及多個(gè)MB行并行處理部，其具有所述MB并行處理部、對(duì)解碼圖像進(jìn)行解塊過濾的解塊部、以及生成預(yù)測(cè)圖像的預(yù)測(cè)圖像生成部， 所述MB行并行處理部或所述MB并行處理部將與進(jìn)行并行處理的數(shù)量對(duì)應(yīng)的期間錯(cuò)開作為MB行的MB的處理時(shí)間的時(shí)隙錯(cuò)。16.—種動(dòng)態(tài)圖像編碼/解碼方法，其將圖像分割為MB來進(jìn)行編碼，該動(dòng)態(tài)圖像編碼/解碼方法的特征在于， 包含動(dòng)態(tài)圖像編碼步驟和動(dòng)態(tài)圖像解碼步驟， 所述動(dòng)態(tài)圖像編碼步驟包含: 粗搜索步驟，其求出所述MB的移動(dòng)量以及移動(dòng)方向； 多個(gè)MB并行處理步驟，其針對(duì)構(gòu)成所述圖像的MB行中包含的、求出了移動(dòng)量以及移動(dòng)方向的每個(gè)所述MB執(zhí)行用于對(duì)所述圖像進(jìn)行編碼的預(yù)處理，并將作為該處理結(jié)果的MB信息按照MB的處理順序?qū)懭氪鎯?chǔ)部；以及 編碼步驟，其按照光柵順序讀出在所述存儲(chǔ)部中存儲(chǔ)的所述MB信息來對(duì)所述MB進(jìn)行編碼， 所述動(dòng)態(tài)圖像解碼步驟包含: 解碼步驟，其按照光柵順序?qū)?gòu)成編碼后的所述圖像的所述MB行中包含的所述MB進(jìn)行解碼，并將作為解碼后的處理結(jié)果的MB信息存儲(chǔ)在存儲(chǔ)部中； 多個(gè)編碼信息讀出步驟，其針對(duì)每個(gè)所述MB執(zhí)行用于對(duì)所述圖像進(jìn)行解碼的預(yù)處理即編碼信息讀出處理。
【文檔編號(hào)】H04N19/436GK106063269SQ201580011234
【公開日】2016年10月26日
【申請(qǐng)日】2015年8月28日 公開號(hào)201580011234.9, CN 106063269 A, CN 106063269A, CN 201580011234, CN-A-106063269, CN106063269 A, CN106063269A, CN201580011234, CN201580011234.9, PCT/2015/74454, PCT/JP/15/074454, PCT/JP/15/74454, PCT/JP/2015/074454, PCT/JP/2015/74454, PCT/JP15/074454, PCT/JP15/74454, PCT/JP15074454, PCT/JP1574454, PCT/JP2015/074454, PCT/JP2015/74454, PCT/JP2015074454, PCT/JP201574454
【發(fā)明人】谷田部佑介, 小味弘典, 柏原義昌, 齊藤和則
【申請(qǐng)人】株式會(huì)社日立信息通信工程