圖像處理裝置及圖像處理方法
【專利摘要】[問題]通過利用要進行可伸縮編碼的圖像的層之間的運動相關來進一步提高編碼效率。[解決手段]提供了一種圖像處理裝置，包括：信息獲取部分，其獲取設置信息以將運動向量設置給第二層中的第二預測單元，該第二預測單元與包含第一層和比第一層高的第二層的可伸縮視頻解碼圖像的第一層中的第一預測單元相對應，該設置信息與設置給第一預測單元的運動向量有關；以及運動向量設置部分，其利用信息獲取部分獲取的設置信息來將運動向量設置給第二預測單元。
【專利說明】圖像處理裝置及圖像處理方法
【技術領域】
[0001 ] 本公開內容涉及圖像處理裝置和圖像處理方法。
【背景技術】
[0002]利用特定于圖像的冗余來壓縮圖像的信息量的壓縮技術如H.26x (ITU-TQ6/16VCEG)標準和MPEG (運動圖像專家組)_y標準已經(jīng)被廣泛用于有效地傳輸或積累數(shù)字圖像的目的。在作為MPEG4的活動的一部分的增強壓縮視頻編碼的聯(lián)合模型中，已經(jīng)制定了能夠通過結合基于Η.26x標準的新功能來實現(xiàn)更高的壓縮率的稱為H.264和MPEG-4部分10 (聞級視頻編碼；AVC)的國際標準。
[0003]這些圖像編碼方法中的一種重要的技術是幀間預測。在幀間預測中，通過利用參考圖像來預測要編碼的圖像的內容，并且只對預測圖像和實際圖像之間的差進行編碼。從而實現(xiàn)代碼量的壓縮。然而，當對象在一系列圖像中發(fā)生很大移動時，預測圖像和實際圖像之間的差增大，不能通過簡單的幀間預測達到高壓縮率。因此，設法通過將對象的運動識別為運動向量并且對按照運動向量出現(xiàn)運動的區(qū)域中的像素值做出補償來減小幀間預測中的預測誤差。這種技術叫做運動補償。
[0004]在作為繼H.264/AVC之后的下一代圖像編碼方法的HEVC (高效視頻編碼)(正在進行其標準化)中，圖像中的每個編碼單元(CU)被進一步分成一個或更多個預測單元(PU)，并且可以給每個預測單元設置運動向量。HEVC中的預測單元的大小和形狀比H.264/AVC中的塊的大小和形狀更加多樣化，并且對象的運動可以更加準確地反映在運動補償中(見以下非專利文獻1)。以下非專利文獻2提出一種技術，其利用運動的空間相關或時間相關來對運動向量進行預測并且只對預測的運動向量和實際運動向量之間的差進行編碼，以減少運動向量的代碼量。以下非專利文獻3提出通過將圖像中鄰近塊的具有公共運動信息的塊進行合并來減小運動信息的代碼量。
[0005]前述圖像編碼方法中的另一重要技術是可伸縮視頻編碼(SVC)?？缮炜s視頻編碼是對傳輸粗糙圖像信號的層和傳輸精細圖像信號的層分層級地編碼的技術?？缮炜s視頻編碼中按層級排列的典型屬性主要包括以下三個:
[0006]空間可伸縮性:對空間分辨率或圖像尺寸進行按層級排列。
[0007]時間可伸縮性:對幀速率進行按層級排列。
[0008]SNR (信噪比)可伸縮性:對信噪比進行按層級排列。
[0009]此外，雖然還沒有在標準中采用，位深度可伸縮性和色度格式可伸縮性也被討論。
[0010]引用列表
[0011]非專利文獻
[0012]非專利文獻1:JCTVC_B205，“Test Model under Consideration，，，JointCollaborative Team on Video Coding meeting:Geneva, CH, 21-28,2010 年 7 月
[0013]非專利文獻2:VCEG-AI22, “Motion Vector Coding with Optimal PMVSelection，，, Jungyoup Yang 等人，2008 年 7 月[0014]非專利文獻3:JCTVC_A116，“Video Coding Technology Proposal by FraunhoferHHI ”，M.ffinken 等人，2010 年 4 月

【發(fā)明內容】

[0015]技術問題
[0016]上述非專利文獻2中提出的技術和非專利文獻3中提出的技術不采用可伸縮視頻編碼。如果將這些現(xiàn)有技術應用于要進行可伸縮視頻編碼的圖像的各層，則可以在某種程度上減少編碼量。然而，取決于可伸縮視頻編碼的類型，層之間的運動相關是顯著的。因此，通過利用這種層之間的運動相關來提高編碼效率是有用的。
[0017]根據(jù)本公開內容的技術的目的是通過利用要進行可伸縮視頻編碼的圖像的各層之間的運動相關來提聞編碼效率。
[0018]問題的解決方案
[0019]根據(jù)本公開內容，提供一種圖像處理裝置，其包括信息獲取部分和運動向量設置部分，信息獲取部分獲取設置信息以將運動向量設置給第二層中的第二預測單元，第二預測單元與包含第一層和比第一層高的第二層的可伸縮視頻解碼圖像的第一層中的第一預測單元相對應，該設置信息與設置給第一預測單元的運動向量有關，運動向量設置單元利用信息獲取部分獲取的設置信息來將運動向量設置給第二預測單元。
[0020]上述圖像處理裝置通?？梢员粚崿F(xiàn)為對圖像進行解碼的圖像解碼裝置。
[0021]根據(jù)本公開內容，提供一種圖像處理方法，包括:獲取設置信息以將運動向量設置給第二層中的第二預測單元，第二預測單元與包含第一層和比第一層高的第二層的可伸縮視頻解碼圖像的第一層中的第一預測單元相對應，該設置信息與設置給第一預測單元的運動向量有關；以及利用所獲取的設置信息來將運動向量設置給第二預測單元。
[0022]根據(jù)本公開內容，提供一種圖像處理裝置，其包括信息生成部分和編碼部分，信息生成部分生成設置信息以將運動向量設置給第二層中的第二預測單元，第二預測單元與包含第一層和比第一層高的第二層的可伸縮視頻解碼圖像的第一層中的第一預測單元相對應，該設置信息與設置給第一預測單元的運動向量有關，編碼部分對信息生成部分生成的設置信息進行編碼。
[0023]上述圖像處理裝置通常可以被實現(xiàn)為對圖像進行編碼的圖像編碼裝置。
[0024]根據(jù)本公開內容，提供一種圖像處理方法，包括:生成設置信息以將運動向量設置給第二層中的第二預測單元，第二預測單元與包含第一層和比第一層高的第二層的可伸縮視頻解碼圖像的第一層中的第一預測單元相對應，該設置信息與設置給第一預測單元的運動向量有關；以及對所生成的設置信息進行編碼。
[0025]本發(fā)明的有益效果
[0026]根據(jù)本公開內容，通過利用要進行可伸縮視頻編碼的圖像的各層之間的運動相關來進一步提高編碼效率。
【專利附圖】

【附圖說明】
[0027]圖1是示出根據(jù)實施方式的圖像編碼裝置的配置的框圖。
[0028]圖2是示出空間可伸縮性的說明性視圖。[0029]圖3是示出信噪比(SNR)可伸縮性的說明性視圖。
[0030]圖4是示出根據(jù)第一示例的運動估計部分的詳細配置的示例的框圖。
[0031]圖5是示出對運動向量進行預測的預測器候選的示例的第一說明性視圖。
[0032]圖6是示出對運動向量進行預測的預測器候選的示例的第二說明性視圖。
[0033]圖7是示出由根據(jù)第一示例的運動估計部分進行的運動估計過程的流程示例的流程圖。
[0034]圖8是示出根據(jù)第二示例的運動估計部分的詳細配置的示例的框圖。
[0035]圖9是示出層間預測器的示例的說明性視圖。
[0036]圖10是示出由根據(jù)第二示例的運動估計部分進行的運動估計過程的流程的示例的流程圖。
[0037]圖11是示出根據(jù)第三示例的運動估計部分的詳細配置的示例的框圖。
[0038]圖12A是示出合并信息的第一示例的說明性視圖。
[0039]圖12B是示出合并信息的第二示例的說明性視圖。
[0040]圖12C是示出合并信息的第三示例的說明性視圖。
[0041]圖13是示出由根據(jù)第三示例的運動估計部分進行的運動估計過程的流程示例的流程圖。
[0042]圖14是示出根據(jù)第四示例的運動估計部分的詳細配置的示例的框圖。
[0043]圖15A是示出合并信息的第一示例的說明性視圖。
[0044]圖15B是示出合并信息的第二示例的說明性視圖。
[0045]圖15C是示出合并信息的第三示例的說明性視圖。
[0046]圖16是示出由根據(jù)第四示例的運動估計部分進行的運動估計過程的流程示例的流程圖。
[0047]圖17是示出根據(jù)實施方式的圖像解碼裝置的配置示例的框圖。
[0048]圖18是示出根據(jù)第一示例的運動補償部分的詳細配置的示例的框圖。
[0049]圖19是示出由根據(jù)第一示例的運動補償部分進行的運動補償過程的流程示例的流程圖。
[0050]圖20是示出根據(jù)第二示例的運動補償部分的詳細配置的示例的框圖。
[0051]圖21是示出由根據(jù)第二示例的運動補償部分進行的運動補償過程的流程示例的流程圖。
[0052]圖22是示出根據(jù)第三示例的運動補償部分的詳細配置的示例的框圖。
[0053]圖23是示出由根據(jù)第三示例的運動補償部分進行的運動補償過程的流程示例的流程圖。
[0054]圖24是示出根據(jù)第四示例的運動補償部分的詳細配置的示例的框圖。
[0055]圖25是示出由根據(jù)第四示例的運動補償部分進行的運動補償過程的流程示例的流程圖。
[0056]圖26是示出電視機的示意配置的示例的框圖。
[0057]圖27是示出移動電話的示意配置的示例的框圖。
[0058]圖28是示出記錄/再現(xiàn)裝置的示意配置的示例的框圖。
[0059]圖29是示出圖像采集裝置的示意配置的示例的框圖?！揪唧w實施方式】
[0060]以下，將參考附圖對本公開內容的優(yōu)選實施方式進行詳細描述。應該注意的是，在本說明書和附圖中，以相同的附圖標記來表示基本上具有相同的功能和結構的元素，并且省略了重復的說明。
[0061]按照以下所示的順序來提供描述:
[0062]1.圖像編碼裝置的配置示例
[0063]2.運動估計部分的詳細配置示例
[0064]2-1.第一示例
[0065]2-2.第二示例
[0066]2~3.第二不例
[0067]2-4.第四示例
[0068]3.圖像解碼裝置的配置示例
[0069]4.運動補償部分的詳細配置示例
[0070]4-1.第一示例
[0071]4-2.第二示例
[0072]4~3.第二不例
[0073]4-4.第四示例
[0074]5.應用示例
[0075]6.總結
[0076]<1.根據(jù)實施方式的圖像編碼裝置的示例配置〉
[0077]圖1是示出根據(jù)實施方式的圖像編碼裝置10的配置示例的框圖。參考圖1，圖像編碼裝置10包括A/D (模擬到數(shù)字)轉換部分11、排序緩沖器12、減法部分13、正交變換部分14、量化部分15、無損編碼部分16、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分22、加法部分23、去塊效應濾波器24、幀存儲器25、選擇器26和選擇器27、幀內預測部分30以及運動估計部分40。
[0078]A/D轉換部分11將以模擬格式輸入的圖像信號轉換為數(shù)字格式的圖像數(shù)據(jù)，并且將一系列數(shù)字圖像數(shù)據(jù)輸出給排序緩沖器12。
[0079]排序緩沖器12對包括在由A/D轉換部分11輸入的該系列圖像數(shù)據(jù)中的圖像進行排序。在根據(jù)編碼過程對根據(jù)G0P (畫面組)結構的圖像進行排序后，排序緩沖器12將經(jīng)排序的圖像數(shù)據(jù)輸出給減法部分13、幀內預測部分30以及運動估計部分40。
[0080]從排序緩沖器12輸入的圖像數(shù)據(jù)和由下述幀內預測部分30或運動估計部分40輸入的預測圖像數(shù)據(jù)被提供給減法部分13。減法部分13計算作為從排序緩沖器12輸入的圖像數(shù)據(jù)與所述預測圖像數(shù)據(jù)之間的差的預測誤差數(shù)據(jù)，并將所計算的預測誤差數(shù)據(jù)輸出給正交變換部分14。
[0081]正交變換部分14對從減法部分13輸入的預測誤差數(shù)據(jù)進行正交變換。要通過正交變換部分14執(zhí)行的正交變換可以是例如離散余弦變換(DCT)或Karhunen-Loeve變換。正交變換部分14將通過正交變換過程獲取的變換系數(shù)數(shù)據(jù)輸出給量化部分15。
[0082]從正交變換部分14輸入的變換系數(shù)數(shù)據(jù)和來自下述速率控制部分18的速率控制信號被提供給量化部分15。量化部分15對變換系數(shù)數(shù)據(jù)進行量化并且將已量化的變換系數(shù)數(shù)據(jù)(下文中，稱為量化數(shù)據(jù))輸出給無損編碼部分16和逆量化部分21。此外，量化部分15基于來自速率控制部分18的速率控制信號來切換量化參數(shù)(量化尺度)，從而改變要輸入給無損編碼部分16的量化數(shù)據(jù)的比特率。
[0083]無損編碼部分16通過對從量化部分15輸入的量化數(shù)據(jù)執(zhí)行無損編碼過程來生成編碼流。由無損編碼部分16進行的無損編碼可以是例如可變長度編碼或算術編碼。此外，無損編碼部分16將從選擇器27輸入的關于幀內預測的信息或關于幀間預測的信息多路復用到編碼流的報頭區(qū)域。然后，無損編碼部分16將所生成的編碼流輸出給累積緩沖器17。
[0084]累積緩沖器17對從無損編碼部分16輸入的編碼流進行暫時累積。然后，累積緩沖器17以按照傳輸路經(jīng)的頻帶的速率將所累積的編碼流輸出給傳輸部分(未示出)(例如，通信接口或到外圍設備的接口)。
[0085]速率控制部分18監(jiān)視累積緩沖器17的空閑空間。然后，速率控制部分18根據(jù)累積緩沖器17上的空閑空間來生成速率控制信號，并且將所生成的速率控制信號輸出給量化部分15。例如，當累積緩沖器17上沒有太多空閑空間時，速率控制部分18生成用于降低量化數(shù)據(jù)的比特率的速率控制信號。另外，例如，當累積緩沖器17上的空閑空間足夠大時，速率控制部分18生成用于增大量化數(shù)據(jù)的比特率的速率控制信號。
[0086]逆量化部分21對從量化部分15輸入的量化數(shù)據(jù)執(zhí)行逆量化過程。然后，逆量化部分21將通過逆量化過程而獲取的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分22。
[0087]逆正交變換部分22對從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換過程，從而恢復預測誤差數(shù)據(jù)。然后，逆正交變換部分22將所恢復的預測誤差數(shù)據(jù)輸出給加法部分23。
[0088]加法部分23將從逆正交變換部分22輸入的恢復的預測誤差數(shù)據(jù)和從幀內預測部分30或運動估計部分40輸入的預測圖像數(shù)據(jù)相加，從而生成解碼圖像數(shù)據(jù)。然后，加法部分23將所生成的解碼圖像數(shù)據(jù)輸出給去塊效應濾波器24和幀存儲器25。
[0089]去塊效應濾波器24進行用于降低對圖像進行編碼時發(fā)生的塊失真的濾波過程。去塊效應濾波器24對從加法部分23輸入的解碼圖像數(shù)據(jù)進行濾波以去除塊失真，并且將濾波后的解碼圖像數(shù)據(jù)輸出給幀存儲器25。
[0090]幀存儲器25利用存儲介質存儲從加法部分23輸入的解碼圖像數(shù)據(jù)和從去塊效應濾波器24輸入的濾波后的解碼圖像數(shù)據(jù)。
[0091]選擇器26從幀存儲器25讀取要用于幀間預測的濾波后的解碼圖像數(shù)據(jù)，并且將已讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給運動估計部分40。此外，選擇器26從幀存儲器25讀取要用于幀內預測的濾波后的解碼圖像數(shù)據(jù)，并且將已讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內預測部分30。
[0092]在幀間預測模式中，選擇器27將作為從運動估計部分40輸出的幀間預測的結果的預測圖像數(shù)據(jù)輸出給減法部分13，并且將關于幀間預測的信息輸出給無損編碼部分16。在幀內預測模式中，選擇器27將作為從幀內預測部分30輸出的幀內預測的結果的預測圖像數(shù)據(jù)輸出給減法部分13，并且將關于幀內預測的信息輸出給無損編碼部分16。選擇器27根據(jù)從幀內預測部分30或運動估計部分40輸出的代價函數(shù)值的大小來在幀間預測模式和幀內預測模式之間切換。[0093]幀內預測部分30基于從排序緩沖器12輸入的要被編碼的圖像數(shù)據(jù)(原始圖像數(shù)據(jù))和從幀存儲器25提供的作為參考圖像數(shù)據(jù)的解碼圖像數(shù)據(jù)，來對設置在圖像內的每個塊進行幀內預測過程。然后，幀內預測部分30將包括指示最優(yōu)預測模式的預測模式信息的幀內預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0094]運動估計部分40基于從排序緩沖器12輸入的原始圖像數(shù)據(jù)和經(jīng)由選擇器26提供的解碼圖像數(shù)據(jù)來進行用于幀間預測(幀之間的預測)的運動估計過程。通過對非專利文獻2中所述的技術或非專利文獻3中所述的技術進行擴展，來實現(xiàn)根據(jù)本實施方式的由運動估計部分40進行的運動估計過程。在上述非專利文獻2中所述的技術的擴展中，運動估計部分40可以生成指示每個預測單元的最優(yōu)預測器的預測器信息。在上述非專利文獻3中所述的技術的擴展中，運動估計部分40可以生成指示每個預測單元的最優(yōu)邊緣(margin)模式的邊緣信息。然后，運動估計部分40將預測器信息或邊緣信息、包括運動向量信息和參考圖像信息的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。在下一節(jié)中，將描述運動估計部分40的詳細配置的4個示例。
[0095]圖像編碼裝置10對要被進行可伸縮視頻編碼的圖像的多個層中的每個重復進行此處描述的一系列編碼過程。首先要編碼的層是表示最粗糙圖像的被稱為基礎層的層?？梢栽诓挥脤ζ渌麑拥木幋a流進行解碼的情況下對基礎層的編碼流獨立地進行解碼。不同于基礎層的各層是表示較精細圖像的被稱為增強層的層。將基礎層的編碼流中包含的信息用于增強層的編碼流以提高編碼效率。因此，為了再現(xiàn)增強層的圖像，對基礎層的編碼流和增強層的編碼流均進行解碼?？缮炜s視頻編碼中處理的層的個數(shù)可以是三個或更多個。這種情況下，最低層是基礎層而剩余各層是增強層。對于較高的增強層的編碼流，可以將較低增強層的編碼流和基礎層的編碼流中包含的信息用于編碼和解碼。在本說明書中，具有依賴性的至少兩個層中，被依賴側的層被稱為下層，而依賴側的層被稱為上層。
[0096]在由圖像編碼裝置10進行的可伸縮視頻編碼中，各層之間的運動的相關被用于對幀間預測信息進行有效地編碼。換句話說，在幀間預測塊中，基于設置給下層的運動向量的設置信息來給上層設置運動向量。更具體地，圖1中所示的運動估計部分40包括暫時存儲下層中幀間預測期間獲得的信息的緩沖器，并且使用緩沖器中存儲的信息來給上層設置運動向量。各層之間的運動的相關尤其清晰地出現(xiàn)在基于空間可伸縮性或SNR可伸縮性的可伸縮視頻編碼中。
[0097]圖2是示出空間可伸縮性的示例的說明性視圖。在圖2中，示出了要進行可伸縮視頻編碼的二個層:L1、L2和L3。層L1是基礎層，層L2和層L3是增強層。層L2與層L1的空間分辨率的比率為2:1。層L3與層L1的空間分辨率的比率為4:1。即使各分辨率如上所述地各不相同，出現(xiàn)在層L1中的預測單元B1中的運動也可能以相同的方式出現(xiàn)在層L2中的相應預測單元B2以及層L3中的相應預測單元B3中。這是空間可伸縮性的各層之間的運動的相關。
[0098]圖3是示出SNR可伸縮性的示例的說明性視圖。在圖3中，示出了要進行可伸縮視頻編碼的二個層:L1、L2和L3。層L1是基礎層而層L2和層L3是增強層。層L1、層L2和層L3在空間可伸縮性上彼此相等。然而，作為示例，層L1的最小量化尺度是25并且可以通過正交變換系數(shù)的量化來將編碼流的比特率控制在約2Mbps。另一方面，例如，層L2的最小量化尺度為12并且編碼流的比特率變?yōu)榧s5Mbps。此外，例如，層L3的最小量化尺度為0并且編碼流的比特率變?yōu)榧s10Mbps。從而，即使比特率互不相同，出現(xiàn)在層L1的預測單元B1中的運動也可能以相同的方式出現(xiàn)在層L2的相應預測單元B2以及層L3的相應預測單元B3中。這就SNR可伸縮性中各層之間的運動的相關。
[0099]根據(jù)本實施方式的圖像編碼裝置10通過積極利用各層之間的這種運動的相關來對幀間預測信息進行編碼。
[0100]然而，與上層的預測單元相對應的下層的預測單元可以是例如下層的中與上層的預測單元交疊(共享相同位置的像素)的預測單元中具有最大交疊(具有最大數(shù)量的共享像素)的預測單元。根據(jù)該定義，最可能出現(xiàn)運動相關的預測單元可以被確定為“相應預測單元”。
[0101]〈2.運動估計部分的詳細配置示例〉
[0102]在本節(jié)中，將描述圖1中所示的運動估計部分40的詳細配置的四個示例。這四個示例中，第一示例和第二示例是關于上述非專利文獻2中所述的技術的擴展的示例。另一方面，第三示例和第四示例是關于上述非專利文獻3中所述的技術的擴展的示例。
[0103][2.1 第一示例]
[0104]圖4是示出根據(jù)第一示例的運動估計部分40的詳細配置的示例的框圖。參考圖4，運動估計部分40包括估計控制部分141、運動向量計算部分142、運動向量預測部分143、運動向量緩沖器144、模式選擇部分145、信息生成部分146以及預測器信息緩沖器147。
[0105](1)基礎層
[0106]在基礎層的運動估計過程中，估計控制部分141在編碼單元中設置至少一個預測單元并且使得運動向量計算部分142針對每個預測單元計算運動向量。由運動向量計算部分142計算的運動向量被輸出給運動向量預測部分143并且被存儲在運動向量緩沖器144中。運動向量預測部分143根據(jù)多個預測器候選中的每個，利用存儲于運動向量緩沖器144中的其他塊的運動向量(稱為參考運動向量)來生成預測運動向量。然后，運動向量預測部分143計算作為由運動向量計算部分142計算的運動向量與預測運動向量之間的差的差運動向量。模式選擇部分145利用運動向量計算部分142計算的運動向量來生成預測圖像數(shù)據(jù)，并且評估基于對所生成的預測圖像數(shù)據(jù)和原始圖像數(shù)據(jù)的比較而計算的代價函數(shù)值。然后，模式選擇部分145選擇使代價函數(shù)值最小的預測單元的最優(yōu)布置和每個預測單元的最優(yōu)預測器。信息生成部分146生成指示每個預測單元的最優(yōu)預測器的預測器信息和包括指示差運動向量的差運動向量信息的幀間預測信息。例如，預測器信息可以包含標識參考運動向量的索引。預測器信息還可以包含標識預測公式的參數(shù)。然后，信息生成部分146將已生成的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。此外，由信息生成部分146生成的預測器信息被暫時存儲在預測器信息緩沖器147中用于上層的過程。
[0107]圖5和圖6是示出對運動向量進行預測的預測器候選的示例的第一說明性視圖。參考圖5，示出了要被預測的一個預測單元PTe和預測單元PTe的預測運動向量PMVe?？梢酝ㄟ^利用例如與預測單元PTe鄰近的預測單元的運動向量MVa、MVb、MVc作為參考運動向量來對預測單元PTe的預測運動向量PMVe來進行預測。參考運動向量MVa是設置給與預測單元PTe的左側鄰近的預測單元的運動向量。參考運動向量MVb是設置給與預測單元PTe的上方鄰近的預測單元的運動向量。參考運動向量MVc是設置給與預測單元PTe的右上方鄰近的預測單元的運動向量。利用這些參考運動向量MVa、MVb、MVc，根據(jù)以下預測公式來生成預測運動向量PMVe。
[0108][數(shù)學式1]
[0109]PMVe = med(MVa, MVb, MVc) (1)
[0110]公式(1)是基于運動的空間相關的預測公式。公式(1)中的med表示中值操作。即，根據(jù)公式(1 )，預測運動向量PMVe是以參考運動向量MVa、MVb和MVc的水平分量的中值和垂直分量的中值作為分量的向量。根據(jù)公式(1)生成的預測運動向量PMVe是預測器候選的示例。根據(jù)基于運動的空間相關的該預測公式計算的預測運動向量被稱為空間預測器。
[0111]順便提及，公式(1)只是預測公式的示例。例如當因為要預測的預測單元位于圖像的邊緣處而不存在運動向量MVa、MVb和MVc中之一時，可以從中值運算的自變量中省略不存在的向量。此外，如以下所示的公式(2)至公式(4)，可以將更簡單的空間預測器用作預測器候選。
[0112][數(shù)學式2]
[0113]PMVe = MVa (2)
[0114]PMVe = MVb (3)
[0115]PMVe = MVc (4)
[0116]另一方面，也可以將作為根據(jù)基于運動的時間相關的預測公式計算的預測運動向量的時間預測器用作預測器候選。參考圖6，示出了包含要被預測的預測單元PTe的圖像IM01以及參考圖像頂02。參考圖像頂02中的塊Bcol是預測單元PTe的同位(collocated)塊。利用運動的時間相關的預測公式使用例如設置給同位塊Bcol或與同位塊Bcol鄰近的塊的運動向量作為參考運動向量。
[0117]例如，將設置給同位塊Bcol的運動向量設置為MVcol。另外，將設置給同位塊Bcol的上方、左側、下方、右側、左上方、左下方、右下方以及右上方的塊的運動向量分別設置為MVtO至MVt7。然后，可以通過利用以下所示的預測公式(5)或預測公式(6)，根據(jù)參考運動向量MVcol和MVtO至MVt7來生成預測運動向量PMVe。
[0118][數(shù)學式3]
[0119]PMVe = med (MVcol, MVtO,..., MVt3) (5)
[0120]PMVe = med (MVcol, MVtO,..., MVt7) (6)
[0121]在為多個預測器候選中的每個生成預測運動向量PMVe之后，如以下公式所示，運動向量預測部分143計算表示由運動向量計算部分142計算的運動向量MVe與預測運動向量PMVe之間的差的差運動向量MVDe。
[0122][數(shù)學式4]
[0123]MVDe = MVe-PMVe (7)
[0124]然后，由模式選擇部分145針對每個預測單元選擇最優(yōu)預測器(例如，具有最高預測準確度的預測器)，并且由信息生成部分146生成指示最優(yōu)預測器的預測器信息和指示對應差運動向量的差運動向量信息。可以針對不對其運動向量進行預測的預測單元生成由運動向量計算部分142計算的指示運動向量的運動向量信息，而不是差運動向量信息。以這種方式生成的信息可以被無損編碼部分16編碼為幀間預測信息。預測器信息被暫時存儲于預測器信息緩沖器147中以用于上層中的過程。
[0125](2)增強層[0126]在增強層的運動估計過程中，進行基于預測器信息緩沖器147中存儲的下層的預測器信息的運動向量預測。
[0127]首先，估計控制部分141使得運動向量計算部分142計算布置在編碼單元中的每個預測單元的運動向量。然后，估計控制部分141使得運動向量預測部分143針對每個預測單元生成預測運動向量。由運動向量預測部分143利用存儲在預測器信息緩沖器147中的作為設置信息的預測器信息生成增強層中的預測運動向量。更具體地，例如，當下層中與上層中的某預測單元相對應的預測單元的預測器信息示出如公式(1)所示的空間預測器時，運動向量預測部分143從運動向量緩沖器144獲取上層中的鄰近預測單元的參考運動向量。然后，運動向量預測部分143將所獲取的參考運動向量代入公式(1)來生成預測運動向量。例如當下層中與上層中的某預測單元相對應的預測單元的預測器信息指示如公式(5)所示的時間預測器時，運動向量預測部分143從運動向量緩沖器144獲取參考圖像中的同位塊的參考運動向量和同位塊的鄰近塊的參考運動向量。然后，運動向量預測部分143將所獲取的參考運動向量代入公式(5)以生成預測運動向量。此外，運動向量預測部分143計算表示預測運動向量和由運動向量計算部分142計算的運動向量之間的差的差運動向量。模式選擇部分145利用由運動向量計算部分142計算的運動向量來生成預測圖像數(shù)據(jù)，并計算代價函數(shù)值。信息生成部分146生成指示針對每個預測單元計算的差運動向量的差運動向量信息。然后，信息生成部分146將包括差運動向量信息的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0128](3)過程的流程
[0129]圖7是示出由根據(jù)本示例的運動估計部分40進行的運動估計過程的流程示例的流程圖。參考圖7，運動估計部分40首先進行基礎層的運動估計過程(步驟S110)。從而，決定每個編碼單元中的預測單元的布置并且選擇每個預測單元的最優(yōu)預測器。預測器信息緩沖器147緩沖指示每個預測單元的最優(yōu)預測器的預測器信息作為設置信息。
[0130]步驟S111至步驟S117的過程是增強層的運動估計過程。針對每個增強層的每個預測單元(下文中，稱為關注PU)重復這些過程中的步驟S111至步驟S116的過程。在以下的描述中，“上層”為要預測的層，而“下層”為低于要預測的層的層。
[0131]首先，運動向量計算部分142基于原始圖像的像素值和從幀存儲器25輸入的參考圖像的像素值來計算一個關注PU的運動向量(S111)。然后，運動向量計算部分142將所計算的運動向量輸出給運動向量預測部分143和運動向量緩沖器144。
[0132]接下來，運動向量預測部分143利用預測器信息緩沖器147中存儲的下層中的相應PU的預測器信息和根據(jù)所述預測器信息獲取的參考運動向量來生成關注PU的預測運動向量(步驟S112)。接下來，運動向量預測部分143通過從運動向量中減去預測運動向量來計算差運動向量(步驟S113)。然后，運動向量預測部分143將關注PU的運動向量和差運動向量輸出給模式選擇部分145。
[0133]接下來，模式選擇部分145生成關注PU的預測圖像數(shù)據(jù)和代價函數(shù)值(步驟
5114)。信息生成部分146生成指示關于關注TO的差運動向量的差運動向量信息(步驟
5115)。
[0134]然后，如果在要預測的層中剩余任何未處理的過程返回至步驟S111 (步驟
5116)。另一方面，如果沒有剩余未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S117)。如果存在剩余的層，在重復步驟S111中及其后的過程之前，將已預測的層設置為下層，而將下一層設置為上層。指示針對下層選擇的預測器的預測器信息繼續(xù)由預測器信息緩沖器147緩沖。如果不存在剩余的層，則圖7中的運動估計過程結束。這里生成的預測圖像數(shù)據(jù)和幀間預測信息(可以包括差運動向量信息)經(jīng)由選擇器27被輸出給減法部分13和無損編碼部分16。
[0135]因而，在第一示例中，不對作為上層的幀間預測信息的預測器信息進行編碼，而對下層的預測器信息進行再使用，因此可以減小幀間預測信息的代碼量。
[0136][2-2.第二示例]
[0137]圖8是示出根據(jù)第二示例的運動估計部分40的詳細配置的示例的框圖。參考圖8，運動估計部分40包括估計控制部分241、運動向量計算部分242、運動向量預測部分243、運動向量緩沖器244、模式選擇部分245以及信息生成部分246。
[0138](1)基礎層
[0139]根據(jù)本示例的基礎層的運動估計過程可以與根據(jù)第一示例的基礎層的運動估計過程相同。然而，在本示例中，可以不對基礎層的預測器信息進行緩沖而延伸各層對基礎層的運動向量信息進行緩沖。在基礎層的運動估計過程中，估計控制部分241在編碼單元中設置至少一個預測單元并且使得運動向量計算部分242計算每個預測單元的運動向量。運動向量計算部分242所計算的運動向量被輸出給運動向量預測部分243并且被存儲于運動向量緩沖器244中。運動向量預測部分243根據(jù)多個預測候選中的每個，利用運動向量緩沖器244中存儲的參考運動向量來生成預測運動向量。然后，運動向量預測部分243計算作為預測運動向量和由運動向量計算部分242計算的運動向量之間的差的差運動向量。模式選擇部分245利用由運動向量計算部分242計算的運動向量來生成預測圖像數(shù)據(jù)并且基于所生成的預測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)的比較來評估代價函數(shù)值。然后，模式選擇部分245選擇使代價函數(shù)值最小的預測單元的最優(yōu)布置和每個預測單元的最優(yōu)預測器。信息生成部分246生成指示每個預測單元的最優(yōu)預測器的預測器信息以及包括指示差運動向量的差運動向量信息的幀間預測信息。然后，信息生成部分246將已生成的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0140](2)增強層
[0141]根據(jù)本示例的基礎層的運動估計過程中所估計的預測器候選可以包含前述空間預測器和時間預測器中的一個或兩個。而且，根據(jù)本示例的增強層的運動估計過程中引入了附加預測器候選。這里所介紹的預測器候選是利用設置給下層的相應預測單元的運動向量作為參考運動向量的預測器候選。本文將這種預測器稱為層間預測器。
[0142]圖9是示出層間預測器的示例的示例性視圖。參考圖9，示出了作為上層的層L12中的預測單元PTe和預測單元PTe的預測運動向量PMVe。作為下層的層L11中的預測單元PTbase是與預測單元PTe相對應的預測單元。參考運動向量MVbase是設置給預測單元PTbase的運動向量?？梢杂衫缫韵鹿?8)來表示層間預測器。
[0143][數(shù)學式5]
[0144]PMVe = MVbase (8)
[0145]當下層的空間分辨率和上層的空間分辨率不同時，可以將如以下公式所示按照下層和上層之間的空間分辨率的比率N擴大的運動向量用作層間預測器。在這種情況下，層間預測器的豎直分量的值和水平分量的值被進行舍入以使得與上層的運動向量的準確度(例如，1/4像素準確度等)一致。
[0146][數(shù)學式6]
[0147]PMVe = N.MVbase (9)
[0148]在本示例中，與第一示例對比，最優(yōu)預測器也選自增強層的運動估計過程中的多個預測器候選。
[0149]首先，估計控制部分241使得運動向量計算部分242計算編碼單元中的每個預測單元的運動向量。將運動向量計算部分242所計算的運動向量輸出給運動向量預測部分243并且存儲于運動向量緩沖器244中。在運動向量緩沖器244中，也存儲針對下層的預測單元中的每個計算的運動向量(參考運動向量)。運動向量預測部分243根據(jù)多個預測器候選中的每個，利用運動向量緩沖器244中存儲的參考運動向量來生成預測運動向量。這里的多個預測器候選包含前述層間預測器。然后，運動向量預測部分243計算作為預測運動向量和運動向量計算部分242所計算的運動向量之間的差的差運動向量。模式選擇部分245利用運動向量計算部分242計算的運動向量來生成預測圖像數(shù)據(jù)并且基于所生成的預測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)的比較來評估代價函數(shù)值。然后，模式選擇部分245選擇每個預測單元的最優(yōu)預測器。信息生成部分246生成指示每個預測單元的最優(yōu)預測器的預測器信息以及包括指示差運動向量的差運動向量信息的幀間預測信息。當前述層間預測器被選為最優(yōu)預測器時，預測器信息可以包含標識下層的參考運動向量的索引。然后，信息生成部分246將已生成的幀間預測信息、代價函數(shù)值和預測圖像數(shù)據(jù)輸出給選擇器27。
[0150](3)過程的流程
[0151]圖10是示出根據(jù)本示例的運動估計部分40進行的運動估計過程的流程示例的流程圖。參考圖10，運動估計部分40首先進行基礎層的運動估計過程(步驟S120)。從而，決定每個編碼單元中的預測單元的布置以及選擇每個預測單元的最優(yōu)預測器。運動向量緩沖器244緩沖針對每個預測單元計算的運動向量。
[0152]步驟121至步驟127中的過程是增強層的運動估計過程。對每個增強層的每個關注PU重復進行這些過程中的步驟121至步驟126的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0153]首先，運動向量計算部分242基于原始圖像的像素值和從幀存儲器25輸入的參考圖像的像素值來計算上層的一個關注PU的運動向量(步驟S121)。然后，運動向量計算部分242將所計算的運動向量輸出給運動向量預測部分243和運動向量緩沖器244。
[0154]接下來，運動向量預測部分243根據(jù)多個預測器候選中的每個，利用運動向量緩沖器244中存儲的參考運動向量來生成關注TO的預測運動向量(步驟S122)。這里的多個預測器候選包含層間預測器。接下來，運動向量預測部分243針對多個預測器候選的每個計算差運動向量(步驟S123)。然后，運動向量預測部分243將每個預測器候選的運動向量和差運動向量輸出給模式選擇部分245。
[0155]接下來，模式選擇部分245針對每個預測器候選生成預測圖像數(shù)據(jù)并且評估代價函數(shù)值以選擇最優(yōu)預測器(步驟S124)。然后，信息生成部分246生成指示所選擇的最優(yōu)預測器的預測器信息以及指示相應差運動向量的差運動向量信息(步驟S125)。
[0156]然后，如果在要預測的層中剩余任何尚未處理的則過程返回至步驟S121(步驟S126)。另一方面，如果沒有剩余尚未處理的則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S127)，如果存在剩余的層，則在將已預測的層設置為下層并且將下一層為上層之后重復步驟S121及其后的過程。由運動向量緩沖器244緩沖針對下層的每個關注PU計算的運動向量。如果不存在剩余的層，則圖10中的運動估計過程結束。將這里生成的預測圖像數(shù)據(jù)和幀間預測信息(可以包含預測器信息和差運動向量信息)經(jīng)由選擇器27分別輸出給減法部分13和無損編碼部分16。
[0157]在第二示例中，如上所述，可以對下述預測器信息進行編碼:其指示應該將基于設置給下層的運動向量的層間預測器用作上層的幀間預測信息。從而，基于具有清楚的運動相關的下層的相應預測單元的運動向量預測成為可能。因此，可以減少增加的預測運動向量結果的準確度和差運動向量的代碼量。
[0158]順便提及，對預測器信息進行編碼的無損編碼部分16可以在對上層的預測器信息進行編碼時將最小的碼編號分配給多個預測器候選中的層間預測器。通常，各層之間的運動的相關強于運動的空間相關或時間相關。因而，通過將最小的碼編號分配給層間預測器，可以在可變長度編碼后的編碼流中更加頻繁地使用較短的碼字，以使得進一步減小代碼量。
[0159][2-3.第二不例]
[0160]圖11是示出根據(jù)第三示例的運動估計部分40的詳細配置的示例的框圖。參考圖11，運動估計部分40包括估計控制部分341、運動向量計算部分342、運動向量緩沖器344、模式選擇部分345、信息生成部分346以及合并信息緩沖器347。
[0161](1)基礎層
[0162]在基礎層的運動估計過程中，估計控制部分341在編碼單元中布置至少一個預測單元并且使得運動向量計算部分342針對每個預測單元計算運動向量。運動向量計算部分342計算的運動向量被輸出給模式選擇部分345并且存儲于運動向量緩沖器344中。如果運動向量計算部分342針對某預測單元計算的運動向量與設置給至少一個鄰近預測單元的參考運動向量相同時，模式選擇部分345決定合并這些預測單元。根據(jù)上述非專利文獻3中提出的技術，可以將某預測單元與上方鄰近的預測單元或左側鄰近的預測單元合并。即，模式選擇部分345例如可以選擇下列之一作為合并模式:與上方鄰近預測單元合并、與左側鄰近預測單元合并以及不合并。此外，模式選擇部分345針對每個預測單元生成預測圖像數(shù)據(jù)并且基于所生成的預測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)的比較來計算代價函數(shù)值。信息生成部分346生成針對每個預測單元指示合并模式的合并信息以及包含未與其他預測單元合并的預測單元的運動向量信息的幀間預測信息。然后，信息生成部分346將已生成的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0163]本示例中生成的合并信息可以包含“合并標志(MergeFlag)”和“合并左標志(MergeLeftFlag)”。合并標志是指示關注HJ的運動向量是否與至少一個鄰近HJ的運動向量相同的標志。例如當合并標志=1時，關注PU的運動向量與至少一個鄰近PU的運動向量相同。當合并標志=0時，關注PU的運動向量與任何鄰近PU的運動向量都不同。當合并標志=0時，不對合并左標志進行編碼，而是對關注TO的運動向量(以及參考圖像信息的運動信息等)進行編碼。當合并標志=1并且兩個鄰近PU具有相同的運動向量時，可以不對合并左標志進行編碼。[0164]合并左標志是指示關注PU的運動向量是否與左鄰近PU的運動向量相同的標志。例如當合并左標志=1時，關注PU的運動向量與左鄰近PU的運動向量相同。當合并左標志=0時，關注ro的運動向量與左鄰近ro的運動向量不同并且與上方鄰近ro的運動向量相同。
[0165]圖12A至圖12C分別示出本示例中生成的合并信息的示例。在這三個圖中，示出了層L21中作為關注TO的預測單元B20。預測單元B21和預測單元B22分別作為與預測單元B20鄰近的左預測單元和上預測單元。運動向量MV20是運動向量計算部分342針對預測單元B20計算的運動向量。運動向量MV21和MV22是分別設置給預測單元B21和B22的
參考運動向量。
[0166]在圖12A的示例中，運動向量MV20與參考運動向量MV21和MV22 二者相同。這種情況下，信息生成部分346生成合并標志=1作為合并信息。合并信息中不包括合并左標志。接收到這種合并信息的解碼側可以將與設置給預測單元B21或B22的運動向量相同的運動向量設置給預測單元B20，而不對合并左標志進行解碼。
[0167]在圖12B的示例中，運動向量MV20與參考運動向量MV21相同而與參考運動向量MV22不同。這種情況下，信息生成部分346生成合并標志=1以及合并左標志=1作為合并信息。接收到這種合并信息的解碼側可以將與設置給預測單元B21的運動向量相同的運動向量設置給預測單元B20。
[0168]在圖12C的示例中，運動向量MV20與參考運動向量MV22相同而與參考運動向量MV21不同。這種情況下，信息生成部分346生成合并標志=1以及合并左標志=0作為合并信息。接收到這種合并信息的解碼側可以將與設置給預測單元B22的運動向量相同的運動向量設置給預測單元B20。
[0169](2)增強層
[0170]在增強層的運動估計過程中，利用合并信息緩沖器347中存儲的下層的合并信息來給每個預測單元設置運動向量。
[0171]首先，估計控制部分341從合并信息緩沖器347獲取下層中與下層的編碼單元中的每個預測單元相對應的預測單元的合并信息。然后，如果所獲取的合并信息指示無合并(例如，合并標志=0)，則估計控制部分341使得運動向量計算部分342計算上層的相關預測單元的運動向量。運動向量計算部分342所計算的運動向量被輸出給模式選擇部分345并且存儲于運動向量緩沖器344中。另一方面，如果所獲取的合并信息指示與另一預測單元合并，則估計控制部分341不使運動向量計算部分342計算上層的相關預測單元的運動向量。而是，模式選擇部分345利用從運動向量緩沖器344獲取的運動向量(例如，如果合并左標志=1，則預測單元的運動向量在要合并的預測單元的左側鄰近)針對要與另一預測單元合并的預測單元生成預測圖像數(shù)據(jù)，并計算代價函數(shù)值。另一方面，對于不要與另一預測單元合并的預測單元，模式選擇部分345利用從運動向量計算部分342輸入的運動向量來生成預測圖像數(shù)據(jù)，并計算代價函數(shù)值。信息生成部分346生成包括不要與另一預測單元合并的預測單元的運動向量信息的幀間預測信息。然后，信息生成部分346將已經(jīng)生成的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0172](3)過程的流程
[0173]圖13是示出根據(jù)本示例的運動估計部分40進行的運動估計過程的流程示例的流程圖。參考圖13，運動估計部分40首先進行基礎層的運動估計過程(步驟S130)。從而，決定每個編碼單元中的預測單元的布置并且針對每個預測單元選擇合并模式。運動向量緩沖器344緩沖針對每個預測單元計算的運動向量。合并信息緩沖器347緩沖指示針對每個預測單元選擇的合并模式的合并信息作為設置信息。
[0174]步驟S131至步驟S136中的過程是增強層的運動估計過程。對每個增強層的每個關注PU重復這些過程中的步驟S131至步驟S135的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0175]首先，估計控制部分341通過參考合并信息緩沖器347中存儲的合并信息，關于上層的一個關注PU，確定下層的相應ro是否與另一 ro合并(步驟S131 )。如果下層的相應TO與另一 PU合并，則關注TO也與另一 TO進行合并，從而跳過步驟S132中的后續(xù)過程。
[0176]在步驟S132中，運動向量計算部分342基于原始圖像的像素值和從幀存儲器25輸入的參考圖像的像素值來計算不與另一 PU合并的關注TO的運動向量(步驟S132)。然后，運動向量計算部分342將所計算的運動向量輸出給模式選擇部分345和運動向量緩沖器 344。
[0177]接下來，模式選擇部分345利用運動向量計算部分342計算的運動向量或從運動向量緩沖器344獲取的運動向量來生成預測圖像數(shù)據(jù)，并計算代價函數(shù)值(步驟S133)。然后，信息生成部分346生成不與另一 TO合并的關注PU的運動向量信息(步驟S134)。
[0178]然后，如果要預測的層中剩余任何未處理的則過程返回至步驟S131 (步驟S135)。另一方面，如果沒有剩余未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S136)，如果存在剩余的層，則在將已預測的層設置為下層并將下一層設置為上層之后重復步驟S131及其后的過程。由運動向量緩沖器344緩沖針對下層的每個關注PU計算的運動向量。合并信息繼續(xù)由合并信息緩沖器347緩沖。如果不存在剩余的層，則圖13中的運動估計過程結束。這里生成的預測圖像數(shù)據(jù)和幀間預測信息經(jīng)由選擇器27分別輸出給減法部分13和無損編碼部分16。
[0179]因而，在第三示例中，不對作為上層的幀間預測信息的合并信息進行編碼并且對下層的合并信息進行再使用，因此可以減小幀間預測信息的代碼量。
[0180][2-4.第四示例]
[0181]圖14是示出根據(jù)第四示例的運動估計部分40的詳細配置的示例的框圖。參考圖
14,運動估計部分40包括估計控制部分441、運動向量計算部分442、運動向量緩沖器444、模式選擇部分445以及信息生成部分446。
[0182](1)基礎層
[0183]根據(jù)本示例的基礎層的運動估計過程可以與根據(jù)第三示例的基礎層的運動估計過程相同。然而，在本示例中，可以不緩沖基礎層的合并信息。在基礎層的運動估計過程中，估計控制部分441在編碼單元中布置至少一個預測單元，并且使得運動向量計算部分442針對每個預測單元計算運動向量。由運動向量計算部分442計算的運動向量被輸出給模式選擇部分445并且存儲于運動向量緩沖器444中。如果運動向量計算部分442針對某預測單元計算的運動向量與設置給至少一個鄰近預測單元的參考運動向量相同，則模式選擇部分445決定合并這些預測單元。模式選擇部分445針對每個預測單元生成預測圖像數(shù)據(jù)并且基于所生成的預測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)的比較來計算代價函數(shù)值。信息生成部分346生成指示每個預測單元的合并模式的合并信息以及包含不與其他預測單元合并的預測單元的運動向量信息的幀間預測信息。然后，信息生成部分346將已生成的幀間預測信息、代價函數(shù)值以及預測圖像數(shù)據(jù)輸出給選擇器27。
[0184](2)增強層
[0185]根據(jù)本示例的基礎層的運動估計過程中生成的合并信息可以包含如第三示例中兩個標志:“合并標志”和“合并左標志”。相比之下，增強層的運動估計過程中生成的合并信息可以另外包含新的標志“合并基礎標志(MergeBaseFlag)”。合并基礎標志是指示關注PU的運動向量是否與下層的相應PU的運動向量相同。例如當合并基礎標志=1時,關注PU的運動向量與下層的相應PU的運動向量相同。
[0186]圖15A至圖15C分別示出本示例中生成的合并信息的示例。在這三個圖中，示出作為層L30中的關注的預測單元B30。預測單元B31和預測單元B32分別作為與預測單元B30鄰近的左預測單元和上預測單元。運動向量MV30是運動向量計算部分442針對預測單元B30計算的運動向量。運動向量MV31和運動向量MV32分別是設置給預測單元B31和預測單元B32的參考運動向量。還示出了作為與下層L21中的關注I3U相對應的PU的預測單元B20。運動向量MV20是預測單元B20中緩沖的參考運動向量。
[0187]在圖15A的示例中，運動向量MV30與參考運動向量MV31、MV32以及MV20都相同。這種情況下，信息生成部分446生成合并標志=1作為合并信息。該合并信息中不包括合并基礎標志和合并左標志。接收到這種合并信息的解碼側可以將與設置給預測單元B20、B31或B32的運動向量相同的運動向量設置給預測單元B30而不對合并基礎標志和合并左標志進行解碼。
[0188]在圖15B的示例中，運動向量MV30與參考運動向量MV20相同而與參考運動向量MV31和MV32不同。這種情況下，信息生成部分446生成合并標志=1以及合并基礎標志=1作為合并信息。接收到這種合并信息的解碼側可以將與設置給下層L21中的預測單元B20的運動向量相同的運動向量設置給上層L30中的預測單元B30。
[0189]在圖15C的示例中，運動向量MV30與參考運動向量MV31相同而與參考運動向量MV20和MV32不同。這種情況下，信息生成部分446生成合并標志=1、合并基礎標志=0以及合并左標志=1作為合并信息。接收到這種合并信息的解碼側可以將與設置給預測單元B31的運動向量相同的運動向量設置給預測單元B30。
[0190]在增強層的運動估計過程中，估計控制部分441使得運動向量計算部分442針對編碼單元中的每個預測單元計算運動向量。運動向量計算部分442所計算的運動向量被輸出給模式選擇部分445并且存儲于運動向量緩沖器444中。在運動向量緩沖器444中，也存儲針對下層的每個預測單元計算的運動向量(參考運動向量)。如果運動向量計算部分442針對某預測單元計算的運動向量與設置給鄰近預測單元或下層中的相應預測單元的參考運動向量相同，則模式選擇部分445決定合并這些預測單元。即，模式選擇部分445可以選擇例如以下之一作為合并模式:與下層合并、與上鄰近預測單元合并、與左鄰近預測單元合并以及不合并。此外，模式選擇部分445針對每個預測單元生成預測圖像數(shù)據(jù)并基于所生成的預測圖像數(shù)據(jù)與原始圖像數(shù)據(jù)的比較來計算代價函數(shù)值。信息生成部分346生成指示每個預測單元的合并模式的合并信息以及包含不與其他預測單元合并的預測單元的運動向量信息的幀間預測信息。然后，信息生成部分346將已生成的幀間預測信息、代價函數(shù)值和預測圖像數(shù)據(jù)輸出給選擇器27。
[0191](3)過程的流程
[0192]圖16是示出根據(jù)本示例的運動估計部分40進行的運動估計過程的流程示例的流程圖。參考圖16，運動估計部分40首先進行基礎層的運動估計過程(步驟S140)。從而，決定每個編碼單元中的預測單元的布置并且針對每個預測單元選擇合并模式。運動向量緩沖器444緩沖針對每個預測單元計算的運動向量。
[0193]步驟S141至步驟S146的過程是增強層的運動估計過程。對每個增強層的每個關注PU重復這些過程中的步驟S141至步驟S145的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0194]首先，運動向量計算部分442基于原始圖像的像素值和從幀存儲器25輸入的參考圖像的像素值來計算上層的一個關注PU的運動向量(步驟S141)。然后，運動向量計算部分442將所計算的運動向量輸出給模式選擇部分445和運動向量緩沖器444。
[0195]接下來，模式選擇部分445通過比較由運動向量計算部分442計算的運動向量和運動向量緩沖器444中存儲的參考運動向量來選擇合并模式(步驟S142)。如果例如針對關注PU計算的運動向量與針對下層中的相應而緩沖的參考運動向量相同，則可以選擇與下層合并。
[0196]接下來，模式選擇部分445利用關注的運動向量來生成預測圖像數(shù)據(jù)，并計算代價函數(shù)值(步驟S144)。然后，信息生成部分446生成包括關注的合并信息的設置信息(以及不與另一 PU合并的關注的特征向量信息)(步驟S144)。
[0197]然后，如果要預測的層中剩余任何尚未處理的PU，則過程返回至步驟S141 (步驟S145)。另一方面，如果沒有剩余尚未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S146)，如果存在剩余的層，則在將已預測的層設置為下層并將下一層設置為上層之后重復步驟S141及其后的過程。由運動向量緩沖器444緩沖針對下層的每個關注PU計算的運動向量。如果不存在剩余的層，則16圖中的運動估計過程結束。這里生成的預測圖像數(shù)據(jù)和幀間預測信息經(jīng)由選擇器27分別輸出給減法部分13和無損編碼部分16。
[0198]因而，在第四示例中，作為上層的幀間預測信息，可以對指示關注與下層中的相應PU (被設置了相同的運動向量)合并的合并信息進行編碼。因此，預測單元與具有清楚的運動相關的下層的合并成為可能并且不對上層中要合并的預測單元的運動向量進行編碼，從而可以有效減少代碼量。
[0199]〈3.圖像解碼裝置的配置示例〉
[0200]圖17是示出根據(jù)本實施方式的圖像解碼裝置60的配置示例的框圖。參考圖17，圖像解碼裝置60包括累積緩沖器61、無損解碼部分62、逆量化部分63、逆正交變換部分64、加法部分65、去塊效應濾波器66、排序緩沖器67、D/A (數(shù)字到模擬)轉換部分68、幀存儲器69、選擇器70和選擇器71、幀內預測部分80以及運動補償部分90。
[0201]累積緩沖器61暫時地存儲經(jīng)由傳輸線輸入的編碼流。
[0202]無損解碼部分62根據(jù)編碼時使用的編碼方法對從累積緩沖器61輸入的編碼流進行解碼。此外，無損解碼部分62對被多路復用到編碼流的報頭區(qū)域的信息進行解碼。被多路復用到編碼流的報頭區(qū)域的信息可以包括例如上述幀間預測信息和幀內預測信息。無損解碼部分62將幀間預測信息輸出給運動補償部分90。另外，無損解碼部分62將幀內預測信息輸出給幀內預測部分80。
[0203]逆量化部分63對已由無損解碼部分62解碼的量化數(shù)據(jù)進行逆量化。逆正交變換部分64根據(jù)編碼時使用的正交變換方法對從逆量化部分63輸入的變換系數(shù)數(shù)據(jù)進行逆正交變換來生成預測誤差數(shù)據(jù)。然后，逆正交變換部分64將所生成的預測誤差數(shù)據(jù)輸出給加法部分65。
[0204]加法部分65將從逆正交變化部分64輸入的預測誤差數(shù)據(jù)與從選擇器71輸入的預測圖像數(shù)據(jù)相加，從而生成解碼圖像數(shù)據(jù)。然后，加法部分65將所生成的解碼圖像數(shù)據(jù)輸出給去塊效應濾波器66和巾貞存儲器69。
[0205]去塊效應濾波器66通過對從加法部分65輸入的解碼圖像數(shù)據(jù)進行濾波來去除塊失真，并且將濾波后的解碼圖像數(shù)據(jù)輸出給排序緩沖器67和幀存儲器69。
[0206]排序緩沖器67通過對從去塊效應濾波器66輸入的圖像進行排序來生成時間順序的一系列圖像數(shù)據(jù)。然后，排序緩沖器67將所生成的圖像數(shù)據(jù)輸出給D/A轉換部分68。
[0207]D/A轉換部分68將從排序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉換為模擬格式的圖像信號。然后，D/A轉換部分68例如通過將模擬圖像信號輸出給連接至圖像解碼裝置60的顯示器(未示出)來使圖像被顯示。
[0208]幀存儲器69利用存儲介質存儲從加法部分65輸入的濾波前的解碼圖像數(shù)據(jù)和從去塊效應濾波器66輸入的濾波后的解碼圖像數(shù)據(jù)。
[0209]選擇器70根據(jù)無損解碼部分62獲取的模式信息針對圖像中的每個塊在幀內預測部分80和運動補償部分90之間切換來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如當指定了幀內預測模式時，選擇器70將從幀存儲器69提供的濾波前的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出給幀內預測部分80。當指定了幀間預測模式時，選擇器70將從幀存儲器69提供的濾波后的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出給運動補償部分90。
[0210]選擇器71根據(jù)由無損解碼部分62獲取的模式信息在幀內預測部分80和運動補償部分90之間切換要提供給加法部分65的預測圖像數(shù)據(jù)的輸出源。例如當指定了幀內預測模式時，選擇器71將從幀內預測部分80輸出的預測圖像數(shù)據(jù)提供給加法部分65。當指定了幀間預測模式時，選擇器71將從運動補償部分90輸出的預測圖像數(shù)據(jù)提供給加法部分65。
[0211]幀內預測部分80基于從無損解碼部分62輸入的幀內預測信息和來自幀存儲器69的參考圖像數(shù)據(jù)進行幀內預測過程以生成預測圖像數(shù)據(jù)。然后，幀內預測部分80將所生成的預測圖像數(shù)據(jù)輸出給選擇器71。
[0212]運動補償部分90基于從無損解碼部分62輸入的幀間預測信息和來自幀存儲器69的參考圖像數(shù)據(jù)進行運動補償過程以生成預測圖像數(shù)據(jù)。通過對非專利文獻2中所述的技術和非專利文獻3中所述的技術進行擴展來實現(xiàn)由根據(jù)本實施方式的運動補償部分90進行的運動補償過程。然后，運動補償部分90將作為運動補償過程的結果而生成的預測圖像數(shù)據(jù)輸出給選擇器71。在下一節(jié)中，將對運動補償部分90的詳細配置的四個示例進行描述。
[0213]圖像解碼裝置60針對可伸縮視頻編碼圖像的多個層中的每個重復這里所描述的一系列解碼過程。首先要解碼的層是基礎層。在對基礎層進行解碼后，對一個或更多個增強層進行解碼。當對增強層進行解碼時，使用通過對基礎層或作為其他增強層的更低的層進行解碼而獲得的信息。
[0214]在由圖像解碼裝置60進行的可伸縮視頻解碼中，利用關于設置給下層中的相應預測單元的運動向量的設置信息給上層中的某預測單元設置運動向量。該設置信息例如可以包含前述預測器信息、合并信息或運動向量信息。 [0215]〈4.運動補償部分的詳細配置示例〉
[0216]在本節(jié)中，將對圖17中所示的運動補償部分90的詳細配置的四個示例進行描述。這四個示例分別對應于前述圖像編碼裝置10的運動估計部分40的四個示例。第一示例和第二示例是關于上述非專利文獻2中所述的技術的擴展的示例。另一方面，第三示例和第四示例是關于上述非專利文獻3中所述的技術的擴展的示例。
[0217][4-1?第一示例]
[0218]圖18是示出根據(jù)第一示例的運動補償部分90的詳細配置的示例的框圖。參考圖18，運動補償部分90包括信息獲取部分191、運動向量設置部分192、預測器信息緩沖器193、運動向量緩沖器194以及補償部分195。
[0219](I)基礎層
[0220]在基礎層的運動補償過程中，信息獲取部分191獲取由無損解碼部分62根據(jù)編碼流而解碼的幀間預測信息。在本示例中，幀間預測信息可以包含預測器信息和差運動向量信息(不對其運動向量進行預測的預測單元的運動向量信息)。這里獲取的預測器信息例如指示前述多個預測器候選中針對用于編碼的每個預測單元選擇的預測器。運動向量設置部分192給每個預測單元設置運動向量。然后，由運動向量設置部分192設置給每個預測單元的運動向量被輸出給補償部分195并且存儲在運動向量緩沖器194中。另外，每個預測單元的預測器信息被暫時存儲在預測器信息緩沖器193中用于上層的過程。運動向量設置單元192可以通過使用每個預測單元的預測器信息所示的預測器以及差運動向量信息所示的差運動向量來進行運動向量的設置。例如，當某預測單元的預測器信息指示公式(I)中所示的空間預測器時，運動向量設置部分192從運動向量緩沖器194獲取與該預測單元鄰近的各預測單元的參考運動向量。然后，運動向量設置部分192將所獲取的參考運動向量代入公式(I)以生成預測運動向量。此外，運動向量設置部分192通過將差運動向量與所生成的預測運動向量相加來重建運動向量。以這種方式重建的運動向量被設置給每個預測單元。補償部分195利用運動向量設置部分192設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分195經(jīng)由選擇器71將所生成的預測圖像數(shù)據(jù)輸出給加法部分65。
[0221](2)增強層
[0222]在增強層的運動補償過程中，基于預測器信息緩沖器193中存儲的下層的預測器信息來進行運動向量的預測。
[0223]首先，信息獲取部分191獲取無損解碼部分62根據(jù)編碼流解碼的幀間預測信息。在本示例中，增強層的幀間預測信息可以包含差運動向量信息(不對其運動向量進行預測的預測單元的運動向量信息)。此外，作為給下層中的每個預測單元設置運動向量的設置信息，信息獲取部分191從預測器信息緩沖器193獲取指示用于預測下層中的相應預測單元的運動向量的預測器的預測器信息。這里獲取的預測器信息指示例如前述空間預測器和時間預測器之一。運動向量設置部分192利用信息獲取部分191所獲取的預測器信息和差運動向量信息來重建運動向量并且將所重建的運動向量設置給每個預測單元。由運動向量設置部分192設置給每個預測單元的運動向量被輸出給補償部分195并且存儲于運動向量緩沖器194中。補償部分195利用由運動向量設置部分192設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分195將所生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0224](3)過程的流程
[0225]圖19是示出根據(jù)本示例的運動補償部分90進行的運動補償過程的流程示例的流程圖。參考圖19，運動補償部分90首先進行基礎層的運動補償過程(步驟S210)。此時，預測器信息緩沖器193緩沖指示針對每個預測單元的編碼選擇的預測器的預測器信息作為
設置信息。
[0226]步驟S211至步驟S218的過程是增強層的運動補償過程。針對每個增強層的每個關注PU重復這些過程中的步驟S211至步驟S217的過程。在以下描述中，“上層”是要預測的層，而“下層”是低于要預測的層的層。
[0227]首先，信息獲取部分191設置上層的一個作為關注并且從預測器信息緩沖器193獲取下層中與該關注I3U相對應的PU的預測器信息(步驟S211)。信息獲取部分191還獲取關于關注PU的差運動向量信息(步驟S212)。運動向量設置部分192對差運動向量信息進行解碼(步驟S213)。
[0228]接下來，運動向量設置部分192利用參考運動向量和信息獲取部分191獲取的預測器信息來生成關注PU的預測運動向量(步驟S214)。接下來，運動向量設置部分192通過將差運動向量與所生成的預測運動向量相加來重建運動向量(步驟S215)。以這種方式重建的運動向量被設置給關注PU。此外，重建的運動向量被暫時存儲在運動向量緩沖器194中以用于上層中的過程。對于不對其運動向量進行預測的預測單元，可以從編碼流獲取運動向量信息而不是差運動向量信息來根據(jù)運動向量信息中對運動向量進行解碼。
[0229]接下來，補償部分195利用運動向量設置部分192設置給每個關注的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成關注的預測圖像數(shù)據(jù)(步驟S216)。
[0230]然后，如果要預測的層中剩余任何尚未處理的I3U,則過程返回至步驟S211 (步驟S217)。另一方面，如果沒有剩余尚未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S218)。如果存在剩余的層，則在重復步驟S211及其后的過程之前將已預測的層設置為下層并且將下一層設置為上層。繼續(xù)由預測器信息緩沖器193緩沖指示針對下層選擇的預測器的預測器信息。如果不存在剩余的層，則圖19中的運動補償過程結束。這里生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0231]在第一示例中，如上所述，將下層的預測器信息進行再使用以用于上層的解碼，從而不需要針對上層的預測器信息進行冗余地編碼。因此可以減少幀間預測信息的代碼量。
[0232][4-2.第二示例]
[0233]圖20是示出根據(jù)第二示例的運動補償部分90的詳細配置的示例的框圖。參考圖20,運動補償部分90包括信息獲取部分291、運動向量設置部分292、運動向量緩沖器294以及補償部分295。
[0234]( I)基礎層[0235]根據(jù)本示例的基礎層的運動補償過程可以與根據(jù)第一示例的基礎層的運動補償過程相同。然而，在本示例中，可以不對基礎層的預測器信息進行緩沖而延伸各層對基礎層的運動向量信息進行緩沖。在基礎層的運動補償過程中，信息獲取部分291獲取無損解碼部分62根據(jù)編碼流解碼的幀間預測信息。在本示例中，幀間預測信息可以包含預測器信息和差運動向量信息(不對其運動向量進行預測的預測單元的運動向量信息)。這里所獲取的預測器信息例如指示在可以包含前述空間預測器和時間預測器的預測器候選中選擇針對用于編碼的每個預測單元的預測器。運動向量設置部分292給每個預測單元設置運動向量。然后，由運動向量設置部分292設置給每個預測單元的運動向量被輸出給補償部分295并且存儲于運動向量緩沖器294。運動向量設置部分292可以通過利用每個預測單元的預測器信息所示的預測器以及差運動向量信息所示的差運動向量來進行運動向量的設置。補償部分295利用運動向量設置部分292設置給每個預測單元的運動向量以及從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分295將所生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0236](2)增強層
[0237]在增強層的運動補償過程中，可以進行利用基于運動向量緩沖器294中存儲的下層的參考運動向量的層間預測器的運動向量預測。
[0238]首先，信息獲取部分291獲取無損解碼部分62從編碼流解碼的幀間預測信息。在本示例中，增強層的幀間預測信息除了包含差運動向量信息之外還可以包含作為設置信息的指示從包括層間預測器的多個預測器候選中選擇的用于編碼的預測器的預測器信息。將多個預測器候選中的最小的代碼編號分配給指示層間預測器被選擇的預測器信息。運動向量設置部分292利用差運動向量信息和信息獲取部分291獲取的預測器信息來重建運動向量，并且將所重建的運動向量設置給每個預測單元。當預測器信息指示層間預測器時，運動向量設置部分292可以將根據(jù)如前述公式(9)的各層之間的空間分辨率的比率而擴大的參考運動向量設置為預測運動向量。在這種情況下，運動向量設置部分292可以根據(jù)運動向量的準確度來對預測運動向量進行舍入。運動向量設置部分292設置給每個預測單元的運動向量被輸出給補償部分295并且存儲于運動向量緩沖器294中。補償部分295利用運動向量設置部分292設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分295經(jīng)由選擇器71將所生成的預測圖像數(shù)據(jù)輸出給加法部分65。
[0239](3)過程的流程
[0240]圖21是示出根據(jù)本示例的運動補償部分90進行的運動補償過程的流程示例的流程圖。參考圖21，運動補償部分90首先進行基礎層的運動補償過程(步驟S220)。此時，運動向量緩沖器294緩沖設置給每個預測單元的運動向量。
[0241]步驟S221至步驟S218的過程是增強層的運動補償過程。針對每個增強層的每個關注PU重復這些過程中的步驟S221至步驟S228的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0242]首先，信息獲取部分291設置上層的一個作為關注并且從編碼流獲取差運動向量信息和關于關注PU的預測器信息(步驟S221)。運動向量設置部分292對差運動向量信息進行解碼(步驟S222)。運動向量設置部分292使用預測器信息來確定要用于生成關注PU的預測運動向量的預測器(步驟S223)。
[0243]接下來，運動向量設置部分292根據(jù)所確定的預測器，利用運動向量緩沖器294緩沖的參考運動向量來生成關注PU的預測運動向量(S224)。如果例如所確定的預測器為層間預測器，則設置給下層中與關注PU相對應的的運動向量被用作前述公式(8)和公式(9)中的參考運動向量MVbase。接下來，運動向量設置部分292通過將差運動向量與所生成的預測運動向量相加來重建運動向量(步驟S225)。以這種方式重建的運動向量被設置給關注PU。此外，重建的運動向量被暫時存儲于運動向量緩沖器294以用于上層中的過程。對于不對其預測向量進行預測的預測單元，可以從編碼流獲取運動向量信息而不是差運動向量信息，來將運動向量信息解碼為運動向量。
[0244]接下來，補償部分295利用運動向量設置部分292設置給關注的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成關注PU的預測圖像數(shù)據(jù)(步驟S226)。
[0245]然后，如果要預測的層中剩余任何尚未處理的I3U,過程返回至步驟S221 (步驟S227)。另一方面，如果沒有剩余尚未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(S228)。如果存在剩余的層，則在重復步驟S221及其后的過程之前將已被預測的層設置為下層并且將下一層設置為上層。如果不存在剩余的層，則圖21中的運動補償過程結束。這里生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0246]在第二示例中，如上所述，可以根據(jù)基于設置給下層的運動向量的層間預測器來預測用于上層的運動補償?shù)倪\動向量。因此，可以減小預測運動向量結果的增大的準確度以及差運動向量的代碼量。
[0247][4-3.第二不例]
[0248]圖22示出根據(jù)第三示例的運動補償部分90的詳細配置的示例的框圖。參考圖22，運動補償部分90包括信息獲取部分391、運動向量設置部分392、合并信息緩沖器393、運動向量緩沖器394以及補償部分395。
[0249]( I)基礎層
[0250]在基礎層的運動補償過程中，信息獲取部分391獲取由無損解碼部分62從編碼流解碼的幀間預測信息。在本示例中，幀間預測信息可以包含合并信息和運動向量信息。這里獲取的合并信息可以包含例如圖12A至圖12C所述的合并標志和合并左標志，并且指示在多個合并模式候選中針對每個預測單元選擇的用于編碼的合并模式。運動向量設置部分392給每個預測單元設置運動向量。然后，運動向量設置部分392設置給每個預測單元的運動向量被輸出給補償部分395并且存儲于運動向量緩沖器394中。此外，每個預測單元的合并信息被存儲在合并信息緩沖器393中以用于上層中的過程。如果例如合并信息指示某預測單元與該預測單元鄰近的鄰近預測單元合并(這些預測單元被設置共同的運動向量)，則運動向量設置部分392從運動向量緩沖器394獲取設置給鄰近預測單元的運動向量并且將所獲取的運動向量設置給前述預測單元。另一方面，如果合并信息指示某預測單元不與另一預測單元合并，運動向量設置部分392將通過對信息獲取部分391獲取的運動向量信息進行解碼而重建的運動向量設置給前述預測單元。補償部分395利用運動向量設置部分392設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分395經(jīng)由選擇器71將所生成的預測圖像數(shù)據(jù)輸出給加法部分65。[0251](2)增強層
[0252]在增強層的運動補償過程中，根據(jù)合并信息緩沖器393中存儲的下層的合并信息來給每個預測單元設置運動向量。
[0253]首先，信息獲取部分391從合并信息緩沖器393獲取下層中與每個預測單元對應的預測單元的合并信息作為給上層中的每個預測單元設置運動向量的設置信息。信息獲取部分391獲取不與另一預測單元合并的預測單元的幀間預測信息中包含的運動向量信息。信息獲取部分391獲取的合并信息可以包含例如使用圖12A至圖12C描述的合并標志和合并左標志。運動向量設置部分392根據(jù)信息獲取部分391獲取的合并信息給每個預測單元設置運動向量。運動向量設置部分392設置給每個預測單元的運動向量被輸出給補償部分395并且存儲于運動向量緩沖器394中。運動向量設置部分392可以將通過對運動向量信息進行解碼而重建的運動向量設置給不與另一預測單元合并的預測單元。補償部分395利用運動向量設置部分392設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分395將所生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0254](3)過程的流程
[0255]圖23是示出根據(jù)本示例的運動補償部分90進行的運動補償過程的流程示例的流程圖。參考圖23，運動補償部分90首先進行基礎層的運動補償過程(步驟S230)。此時，合并信息緩沖器393緩沖指示針對每個預測單元的編碼選擇的合并模式的合并信息作為設
置信息。
[0256]步驟S231至步驟S238中的過程是增強層的運動補償過程。對每個增強層的每個關注PU重復這些過程中的步驟S231至步驟S237的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0257]首先，信息獲取部分391將上層的一個設置為關注并且從合并信息緩沖器393獲取下層中與關注I3U相對應的PU的合并信息(步驟S231)。接下來，信息獲取部分391基于所獲取的合并信息確定是否將關注PU與另一 合并(步驟S232)。例如當下層中的相應I3U與左鄰近I3U合并時，也可以將關注I3U確定為與左鄰近I3U合并。類似地，當下層中的相應I3U與上鄰近I3U合并時，也可以將關注I3U確定為與上鄰近I3U合并。這些情況下，過程進行到步驟S233。另一方面，當下層中的相應PU不與鄰近合并時，也可以將關注確定為不與鄰近PU合并。這種情況下，過程轉入步驟S234。
[0258]在步驟S233中，運動向量設置部分392從運動向量緩沖器394獲取根據(jù)合并信息確定的運動向量并且將所獲取的運動向量設置給關注PU (步驟S233)。另一方面，在步驟S234中，信息獲取部分391獲取關注I3U的運動向量信息(步驟S234)。然后，運動向量設置部分392將所獲取的運動向量信息解碼為運動向量并且將所解碼的運動向量設置給關注PU (步驟 S235)。
[0259]接下來，補償部分395利用運動向量設置部分392設置給關注的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成關注的預測圖像數(shù)據(jù)(步驟S236)。
[0260]然后，如果要預測的層中剩余任何未處理的則過程返回至步驟S231 (步驟S237)。另一方面，如果沒有剩余未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S238)。如果存在剩余的層，則在重復步驟S231及其后的過程之前將已預測的層設置為下層而將下一層設置為上層。指示針對下層選擇的合并模式的合并信息繼續(xù)由合并信息緩沖器393緩沖。如果不存在剩余的層，則圖23中的運動補償過程結束。這里生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71被輸出給加法部分65。
[0261]在第三示例中，如上所述，對下層的合并信息進行再利用以進行上層的解碼，從而不需要對上層的合并信息冗余地編碼。因此，可以減小幀間預測信息的代碼量。
[0262][4-4?第四示例]
[0263]圖24是示出根據(jù)第四示例的運動補償部分90的詳細配置的示例的框圖。參考圖24,運動補償部分90包括信息獲取部分491、運動向量設置部分492、運動向量緩沖器494以及補償部分495。
[0264]( I)基礎層
[0265]在基礎層的運動補償過程中，信息獲取部分491從編碼流獲取由無損解碼部分62解碼的幀間預測信息。在本示例中，幀間預測信息可以包含合并信息和運動向量信息。針對基礎層獲取的合并信息可以包含例如利用圖12A至圖12C描述的合并標志和合并左標志并且指示從多個合并模式候選中為每個預測單元選擇的用于編碼的合并模式。運動向量設置部分492給每個預測單元設置運動向量。然后將運動向量設置部分492設置給每個預測單元的運動向量輸出給補償部分495并且存儲于運動向量緩沖器494中。如果例如合并信息指示某預測單元與鄰近于該預測單元的鄰近預測單元合并，則運動向量設置部分492從運動向量緩沖器494獲取設置給鄰近預測單元的運動向量并且將所獲取的運動向量設置給前述預測單元。另一方面，如果合并信息指示某預測單元不與另一預測單元合并，則運動向量設置部分492將通過對信息獲取部分491獲取的運動向量信息進行解碼而重建的運動向量設置給前述預測單元。補償部分495利用運動向量設置部分492設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分495將所生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。
[0266](2)增強層
[0267]在增強層的運動補償過程中，可以使用包括合并基礎標志的合并信息，其指示與下層中的相應預測單元的合并。
[0268]首先，信息獲取部分491從編碼流獲取無損解碼部分62解碼的幀間預測信息。增強層的幀間預測信息可以包含合并信息和運動向量信息。合并信息可以包含例如利用圖15A至圖15C描述的合并標志、合并基礎標志以及合并左標志，并且指不多個合并模式候選中針對每個預測單元選擇的用于編碼的合并模式。運動向量設置部分492根據(jù)信息獲取部分491獲取的合并信息給每個預測單元設置運動向量。當預測單元在層間合并時，運動向量設置部分492可以在如前述公式(9)那樣按照層之間的空間分辨率的比率對緩沖的運動向量進行擴大之后設置經(jīng)擴大的參考運動向量。在這種情況下，運動向量設置部分492可以根據(jù)運動向量的準確度對經(jīng)擴大的運動向量進行舍入。運動向量設置部分492設置給每個預測單元的運動向量被輸出給補償部分495并且存儲于運動向量緩沖器494中。運動向量設置部分492可以將通過對運動向量信息解碼而重建的運動向量設置給不與另一預測單元合并的預測單元。補償部分495利用運動向量設置單元492設置給每個預測單元的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成每個預測單元的預測圖像數(shù)據(jù)。然后，補償部分495將所生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71輸出給加法部分65。[0269](3)過程的流程
[0270]圖25是示出根據(jù)本示例的運動補償部分90進行的運動補償過程的流程示例的流程圖。參考圖25，運動補償部分90首先進行基礎層的運動補償過程(步驟S240)。此時，運動向量緩沖器494緩沖設置給每個預測單元的運動向量。
[0271]步驟S241至步驟S248的過程是增強層的運動補償過程。對每個增強層的每個關注PU重復這些過程中的步驟S241至步驟S247的過程。在以下描述中，“上層”是要預測的層而“下層”是低于要預測的層的層。
[0272]信息獲取部分491首先獲取上層的一個關注的合并信息(步驟S241)。接下來，信息獲取部分491基于所獲取的合并信息來確定是否將關注與另一 PU合并(步驟S242)。例如，關注I3U可以與下層中的相應PU或上層中的鄰近PU合并。當關注I3U與另一PU合并時，過程進行至步驟S243。另一方面，當關注不與另一 合并時，過程進行至步驟 S244。
[0273]在步驟S243中，運動向量設置部分492從運動向量緩沖器494獲取根據(jù)合并信息確定的運動向量，并且將所獲取的運動向量設置給關注PU (步驟S243)。另一方面，在步驟S244中，信息獲取部分491獲取關注I3U的運動向量信息(步驟S244)。然后，運動向量設置部分492將所獲取的運動向量信息解碼為運動向量，并將所解碼的運動向量設置給關注PU(步驟 S245)。
[0274]接下來，補償部分495利用運動向量設置部分492設置給關注F1U的運動向量和從幀存儲器69輸入的參考圖像數(shù)據(jù)來生成關注的預測圖像數(shù)據(jù)(步驟246)。
[0275]然后，如果要預測的層中剩余任何未被理的則過程返回至步驟S241 (步驟S247)。另一方面，如果沒有剩余未處理的PU，則進一步確定是否存在任何剩余的層(任何更高的層)(步驟S248)。如果存在剩余的層，則在重復步驟S241及其后的過程之前將已預測的層設置為下層而將下一層設置為上層。由運動向量緩沖器494緩沖設置給下層的每個預測單元的運動向量。如果不存在剩余的層，則圖25中的運動補償過程結束。這里生成的預測圖像數(shù)據(jù)經(jīng)由選擇器71被輸出給加法部分65。
[0276]在第四示例中，如上所述，利用合并信息將運動向量設置給增強層的每個預測單元，該合并信息指示從包括層間的預測單元合并的多個合并模式候選中選擇的合并模式。因此，不對與具有清楚的運動相關的下層中的相應預測單元合并的上層中的預測單元的運動向量進行編碼，從而有效減小代碼量。
[0277]<5.示例應用>
[0278]根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置60可以被應用于多種電子設備，例如用于衛(wèi)星廣播、有線廣播如有線電視、因特網(wǎng)上的分布、經(jīng)由蜂窩通信到終端的分布等的發(fā)射器和接收器；將圖像記錄在介質中的記錄裝置，如光盤、磁盤或閃速存儲器；對來自這種存儲介質的圖像進行再現(xiàn)的再現(xiàn)裝置等。以下將對四個示例應用進行描述。
[0279][5-1.第一應用示例]
[0280]圖26是示出應用前述實施方式的電視裝置的示意配置的示例的圖。電視設備900包括天線901、調諧器902、多路解復用器903、解碼器904、視頻信號處理單元905、顯示器906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911以及總線 912。[0281]調諧器902從通過天線901接收的廣播信號中提取期望的頻道的信號并且對所提取的信號進行解調。然后調諧器902將通過解調得到的編碼比特流輸出給多路解復用器903。S卩，調諧器902在電視裝置900中具有接收其中對圖像進行編碼的編碼流的傳輸裝置的作用。
[0282]多路解復用器903從編碼比特流中分離要觀看的節(jié)目中的視頻流和音頻流，并將所分離的流中的每個輸出給解碼器904。多路解復用器903還從編碼比特流中提取輔助數(shù)據(jù)例如EPG (電子節(jié)目指南)并且將所提取的數(shù)據(jù)提供給控制單元910。這里，在編碼比特流被加擾的情況下，多路解復用器903可以對其進行解擾。
[0283]解碼器904對從多路解復用器903輸入的視頻流和音頻流進行解碼。然后解碼器904將解碼過程生成的視頻數(shù)據(jù)輸出給視頻信號處理單元905。此外，解碼器904將解碼過程生成的音頻數(shù)據(jù)輸出給音頻信號處理單元907。
[0284]視頻信號處理單元905對從解碼器904輸入的視頻數(shù)據(jù)進行再現(xiàn)并且在顯示器906上顯示該視頻。視頻信號處理單元905還可以在顯示器906上顯示通過網(wǎng)絡提供的應用畫面。視頻信號處理單元905還可以根據(jù)設置對視頻數(shù)據(jù)進行另外的過程例如降噪。此夕卜，視頻信號處理單元905可以生成⑶I (圖形用戶接口)的圖像，例如菜單、按鈕或光標，并且將所生成的圖像疊加到輸出圖像上。
[0285]顯示器906被從視頻信號處理單元905提供的驅動信號驅動，并且在顯示裝置的視頻屏幕(例如液晶顯示器、等離子顯示器或OLED上顯示視頻或圖像。
[0286]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)進行再現(xiàn)過程例如D/A轉換和放大，并且從揚聲器908輸出該音頻。音頻信號處理單元907還可以對音頻數(shù)據(jù)進行另外的過程例如降噪。
[0287]外部接口 909是連接電視裝置900與外部裝置或網(wǎng)絡的接口。例如，解碼器可以對通過外部接口 909接收的視頻流或音頻流進行解碼。這意味著外部接口 909在電視裝置900中還具有接收其中對圖像進行編碼的編碼流的傳輸裝置的作用。
[0288]控制單元910包括處理器例如CPU和存儲器例如RAM和ROM。存儲器存儲程序數(shù)據(jù)、EPG數(shù)據(jù)、通過網(wǎng)絡獲得的數(shù)據(jù)以及CPU執(zhí)行的程序。例如，CPU在電視裝置900啟動時讀取并執(zhí)行存儲器中存儲的程序。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 911輸入的操作信號來控制電視裝置900的操作。
[0289]用戶接口 911連接至控制單元910。用戶接口 911包括例如用于用戶對電視裝置900進行操作的按鈕和開關以及接收遙控信號的接收部件。用戶接口 911通過這些部件來檢測用戶操作，生成操作信號并且將所生成的操作信號輸出給控制單元910。
[0290]總線912將調諧器902、多路解復用器903、解碼器904、視頻信號處理單元905、音頻信號處理信號907、外部接口 909以及控制單元910相互連接。
[0291 ] 以前述方式配置的電視裝置900中的解碼器904具有根據(jù)前述實施方式的圖像解碼裝置60的功能。因此，對于電視裝置900進行的圖像的可伸縮視頻編碼和解碼，還可以通過利用層間的運動相關來提高編碼效率。
[0292][5-2.第二應用示例]
[0293]圖27是示出應用前述實施方式的移動電話的示意配置的示例的圖。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、多路解復用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932以及總線933。
[0294]天線921連接至通信單元922。揚聲器924和麥克風925連接至音頻編解碼器923。操作單元932連接至控制單元931?？偩€933將通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、多路解復用器單元928、記錄/再現(xiàn)單元929、顯示器930以及控制單元931相互連接。
[0295]移動電話920以包括音頻呼叫模式、數(shù)據(jù)通信模式、攝影模式以及視頻電話模式的多種工作模式進行工作，例如發(fā)送/接收音頻信號、發(fā)送/接收電子郵件或圖像數(shù)據(jù)、成像或記錄數(shù)據(jù)。
[0296]在音頻呼叫模式中，麥克風925生成的模擬音頻信號被提供給音頻編解碼器923。然后音頻編解碼器923將模擬音頻信號轉換為音頻數(shù)據(jù)，對經(jīng)轉換的音頻數(shù)據(jù)進行A/D轉換并且對數(shù)據(jù)進行壓縮。然后，音頻編解碼器923將經(jīng)壓縮的音頻數(shù)據(jù)輸出給通信單元922。通信單元922對音頻數(shù)據(jù)進行編碼和調制以生成傳輸信號。然后通信單元922將所生成的傳輸信號通過天線921發(fā)送給基站(未示出)。此外，通信單元922對通過天線921接收的射頻信號進行放大，對信號的頻率進行轉換并且獲取接收信號。然后，通信單元922對接收信號進行解調和解碼以生成音頻數(shù)據(jù)并將所生成的音頻數(shù)據(jù)輸出給音頻編解碼器923。音頻編解碼器923將音頻數(shù)據(jù)展開，對該數(shù)據(jù)進行D/A轉換，并生成模擬音頻信號。然后音頻編解碼器923通過將所生成的音頻信號提供給揚聲器924來輸出該音頻。
[0297]在數(shù)據(jù)通信模式中，例如，控制單元931根據(jù)通過操作單元932進行的用戶操作生成構成電子郵件的字符數(shù)據(jù)?？刂茊卧?31還在顯示器930上顯示字符。此外，控制單元931根據(jù)通過操作單元931來自用戶的傳輸指令生成電子郵件數(shù)據(jù)并且將所生成的電子郵件數(shù)據(jù)輸出給通信單元922。通信單元922對電子郵件數(shù)據(jù)進行編碼和調制以生成傳輸信號。然后，通信單元922通過天線921將所生成的傳輸信號發(fā)送給基站(未示出)。通信單元922還將通過天線921接收到的無線電信號進行放大，轉換該信號的頻率并且獲取接收信號。之后通信單元922對接收信號進行解調和解碼，還原電子郵件數(shù)據(jù)并且將還原的電子郵件數(shù)據(jù)輸出給控制單元931?？刂茊卧?31在顯示器930上顯示電子郵件的內容并且將電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)單元929的存儲介質中。
[0298]記錄/再現(xiàn)單元929包括任意可讀可寫的存儲介質。例如，存儲介質可以是內置的存儲介質如RAM或閃速存儲器，或者可以是外部安裝的存儲介質如硬盤、磁盤、磁光盤、光盤、USB (未分配空間位圖)存儲器或存儲卡。
[0299]在攝影模式中，例如，相機單元926對對象進行成像，生成圖像數(shù)據(jù)并且將所生成的圖像數(shù)據(jù)輸出給圖像處理單元927。圖像處理單元927對從相機單元926輸入的圖像數(shù)據(jù)進行編碼并且將編碼流存儲在存儲/再現(xiàn)單元929的存儲介質中。
[0300]在可視電話模式中，例如，多路解復用器單元928對圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流進行多路復用，并且將多路復用流輸出給通信單元922。通信單元922對該流進行編碼和調制以生成傳輸信號。隨后通信單元922將所生成的傳輸信號通過天線921發(fā)送給基站(未示出)。此外，通信單元922對通過天線921接收的無線電信號進行放大，轉換該信號的頻率并且獲取接收信號。傳輸信號和接收信號可以包括編碼比特流。然后，通信單元922對接收信號進行解調和解碼來對流進行還原，并且將還原的流輸出給多路解復用器單元928。多路解復用器928從輸入流中分離出視頻流和音頻流，并且將該視頻流和音頻流分別輸出給圖像處理單元927和音頻編解碼器923。圖像處理單元927對視頻流進行解碼以生成視頻數(shù)據(jù)。然后將視頻數(shù)據(jù)提供給顯示一系列圖像的顯示器930。音頻編解碼器923對音頻流進行展開和D/A轉換以生成模擬音頻信號。然后音頻編解碼器923將所生成的音頻信號提供給揚聲器924來輸出音頻。
[0301 ] 以前述方式配置的移動電話920中的圖像處理單元927具有根據(jù)前述實施方式的圖像編碼裝置10和圖像解碼裝置60的功能。因此，對于移動電話920進行的圖像的可伸縮視頻編碼和解碼，可以通過利用層之間的運動相關來進一步提高編碼效率。
[0302][5-3.第三應用示例]
[0303]圖28是示出應用前述實施方式的記錄/再現(xiàn)裝置的示意配置的示例的圖。例如，記錄/再現(xiàn)裝置940對接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼并且將數(shù)據(jù)記錄在記錄介質中。例如，記錄/再現(xiàn)裝置940還可以對從另一裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼并且將數(shù)據(jù)記錄在記錄介質中。響應于用戶指令，例如，記錄/再現(xiàn)裝置940在監(jiān)視器和揚聲器上再現(xiàn)記錄介質中記錄的數(shù)據(jù)。此時記錄/再現(xiàn)裝置940對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行解碼。
[0304]記錄/再現(xiàn)裝置940包括調諧器941、外部接口 942、編碼器943、HDD (硬盤驅動器)944、盤驅動器945、選擇器946、解碼器947、OSD (屏幕上顯示)948、控制單元949以及用戶接口 950。
[0305]調諧器941從通過天線(未示出)接收到的廣播信號中提取期望的頻道的信號并且對所提取的信號進行解調。然后調諧器941將通過解調得到的編碼比特流輸出給選擇器946。S卩，調諧器941在記錄/再現(xiàn)裝置940中具有傳輸裝置的作用。
[0306]外部接口 942是將記錄/再現(xiàn)裝置940與外部裝置或網(wǎng)絡進行連接的接口。外部接口 942可以是例如IEEE1394接口、網(wǎng)絡接口、USB接口或閃速存儲器接口。例如，通過外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入給編碼器943。即，外部接口 942在記錄/再現(xiàn)裝置940中具有傳輸裝置的作用。
[0307]在從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒有被編碼的情況下，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼。之后編碼器943將編碼比特流輸出給選擇器946。
[0308]HDD944將多個程序、其中對內容數(shù)據(jù)如視頻和音頻進行壓縮的編碼比特流以及其他數(shù)據(jù)記錄在內部硬盤中。HDD944在對視頻和音頻進行再現(xiàn)時從硬盤讀取這些數(shù)據(jù)。
[0309]盤驅動器945將數(shù)據(jù)記錄到安裝到盤驅動器的記錄介質中或從其讀取數(shù)據(jù)。安裝到盤驅動器945的記錄介質可以是例如DVD盤(例如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)或 Blu-ray (注冊商標)盤。
[0310]選擇器946在記錄視頻和音頻時選擇從調諧器941或編碼器943輸入的編碼比特流，并且將所選擇的編碼比特流輸出給HDD944或盤驅動器945。另一方面，當對視頻和音頻進行再現(xiàn)時，選擇器946將從HDD944或盤驅動器945輸入的編碼比特流輸出給解碼器947。
[0311]解碼器947對編碼比特流進行解碼以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后解碼器904將所生成的視頻數(shù)據(jù)輸出給0SD948并且將所生成的音頻數(shù)據(jù)輸出給外部揚聲器。
[0312]0SD948對從解碼器947輸入的視頻數(shù)據(jù)進行再現(xiàn)并且顯示該視頻。0SD948還可以將⑶I的圖像如菜單、按鈕或光標疊加到顯示的視頻上。[0313]控制單元949包括處理器如CPU和存儲器如RAM和ROM。存儲器存儲程序數(shù)據(jù)以及CPU執(zhí)行的程序。例如，由CPU在記錄/再現(xiàn)裝置940啟動時對存儲器中存儲的程序進行讀取和執(zhí)行。通過執(zhí)行程序，CPU例如根據(jù)從用戶接口 950輸入的操作信號控制記錄/再現(xiàn)裝置940的工作。
[0314]用戶接口 950連接至控制單元949。例如，用戶接口 950包括用于用戶操作記錄/再現(xiàn)裝置940的按鈕和開關以及接收遙控信號的接收部分。用戶接口 950通過這些部件檢測用戶操作，生成操作信號并且將所生成的操作信號輸出給控制單元949。
[0315]以前述方式配置的記錄/再現(xiàn)裝置940中的編碼器943具有根據(jù)前述實施方式的圖像編碼裝置10的功能。另一方面，解碼器947具有根據(jù)前述實施方式的圖像解碼裝置60的功能。因此，對于記錄/再現(xiàn)裝置940進行的圖像的可伸縮視頻編碼和解碼，通過利用層間的運動相關可以進一步提聞編碼效率。
[0316][5-4?第四應用示例]
[0317]圖29是示出應用前述實施方式的成像裝置的示意配置的示例的圖。成像裝置960對對象進行成像、生成圖像、對圖像數(shù)據(jù)進行編碼并且將數(shù)據(jù)記錄在記錄介質中。
[0318]成像裝置960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口 966、存儲器967、介質驅動器968、0SD969、控制單元970、用戶接口 971以及總線972。
[0319]光學塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示器965連接至圖像處理單元964。用戶接口 971連接至控制單元970。總線972將圖像處理單元964、外部接口 966、 存儲器967、介質驅動器968、0SD969以及控制單元970互相連接。
[0320]光學塊961包括聚焦透鏡和光圈機構。光學塊961在成像單元962的成像表面形成對象的光學圖像。成像單元962包括圖像傳感器如CXD (電荷耦合裝置)或CMOS (互補金屬氧化物半導體)并且進行光電轉換來將成像表面上形成的光學圖像轉換為作為電信號的圖像信號。接下來，成像單元962將圖像信號輸出給信號處理單元963。
[0321]信號處理單元963對從成像單元962輸入的圖像信號進行多種相機信號過程，例如拐點校正、亮度校正和色彩校正。信號處理單元963將已進行了相機信號處理的圖像數(shù)據(jù)輸出給圖像處理單元964。
[0322]圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進行編碼并且生成編碼數(shù)據(jù)。然后圖像處理單元964將所生成的編碼數(shù)據(jù)輸出給外部接口 966或介質驅動器968。圖像處理單元964還對從外部接口 966或介質驅動器968輸入的編碼數(shù)據(jù)進行解碼以生成圖像數(shù)據(jù)。然后圖像處理單元964將所生成的圖像數(shù)據(jù)輸出給顯示器965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出給顯示器965以顯示該圖像。此外，圖像處理單元964可以將從0SD969獲取的顯示數(shù)據(jù)疊加到顯示器965上輸出的圖像上。
[0323]0SD969生成⑶I如菜單、按鈕或光標的圖像，并且將所生成的圖像輸出給圖像處理單元964。
[0324]例如，外部接口 966被位置為USB輸入/輸出端子。例如，外部接口 966在打印圖像時將成像裝置960與打印機連接。此外，根據(jù)需要將驅動器連接至外部接口 966。例如給該驅動器安裝可移除介質如磁盤或光盤，以使得可以將從可移除介質讀取的程序安裝到成像裝置960。還可以將外部接口 966配置為連接到網(wǎng)絡如LAN或因特網(wǎng)的網(wǎng)絡接口。S卩，外部接口 966在成像裝置960中起到傳輸裝置的作用。
[0325]安裝到介質驅動器968的記錄介質可以為任意可讀可寫的可移除介質，如磁盤、磁光盤、光盤或半導體存儲器。此外，例如，記錄介質可以被固定地安裝到介質驅動器968，從而對非便攜式存儲器單元如內置硬盤驅動器或SSD (固態(tài)驅動器)進行配置。
[0326]控制單元970包括處理器如CPU和存儲器如RAM和ROM。存儲器存儲程序數(shù)據(jù)以及CPU執(zhí)行的程序。CPU在成像裝置960啟動時讀取存儲器中存儲的程序，然后執(zhí)行該程序。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 971輸入的操作信號來控制成像裝置960的工作。
[0327]用戶接口 971連接至控制單元970。例如，用戶接口 971包括用于用戶對成像裝置960進行操作的按鈕和開關。用戶接口 971通過這些部件來檢測用戶操作，生成操作信號并且將所生成的操作信號輸出給控制單元970。
[0328]以前述方式配置的成像裝置960中的圖像處理單元964具有根據(jù)前述實施方式的圖像編碼裝置10和圖像解碼裝置60的功能。因此，對于成像裝置960的圖像的可伸縮視頻編碼和解碼，通過利用層間的運動相關可以進一步提高編碼效率。
[0329]<6.總結 >
[0330]至此，利用圖1至圖29對根據(jù)本實施方式的圖像編碼裝置10和圖像解碼裝置60的四個示例進行了描述。根據(jù)這些示例，在圖像的可伸縮視頻編碼和解碼中，對上層中與下層中的第一預測單元相對應的第二預測單元設置運動向量并且與設置給第一預測單元的運動向量相關的設置信息被用于給第二預測單元設置運動向量。從而，可以通過利用層間的運動相關來給上層中的每個預測單元設置運動向量。因此，可以避免對運動向量信息、差運動向量信息、預測器信息或合并信息的冗余編碼，從而可以提高編碼效率。
[0331]根據(jù)第一示例，例如，在對上層中的預測單元的運動向量進行預測時，再利用指示用于預測下層中的預測單元的運動向量的預測器信息。因此，可以避免預測器信息的冗余編碼。
[0332]例如，根據(jù)第二示例，基于設置給下層中的相應預測單元的運動向量的用于上層中的預測單元的層間預測器被引入作為新的預測器。因此，可以提高上層中的預測單元的運動向量預測的準確度，并且可以減小對差運動向量信息進行編碼所需要的代碼量。
[0333]根據(jù)第三示例，例如，指示針對下層中的預測單元選擇的合并模式的合并信息被再利用于上層中的預測單元。因此，可以避免合并信息的冗余編碼。
[0334]根據(jù)第四示例，例如，介紹了將上層中的預測單元與下層中的相應預測單元合并的新的合并模式。因此，可以避免上層中的預測單元的運動向量信息的冗余編碼。
[0335]本文主要描述的是其中多條信息如幀內預測信息和幀間預測信息被多路復用到編碼流的報頭并且被從編碼側發(fā)送給解碼側的示例。然而，對這些條信息進行傳輸?shù)姆椒ú痪窒抻谶@種示例。例如，這些條的信息可以被作為與編碼比特流相關聯(lián)的單獨數(shù)據(jù)而不是多路復用到編碼比特流進行傳輸或記錄。這里，術語“關聯(lián)”意味著允許比特流(可以是圖像的一部分，諸如片或塊)中包括的圖像和對應于當前圖像的信息在解碼時建立鏈接。也就是說，可以在不同于圖像(或比特流)的傳輸路徑上傳輸信息。還可以在不同于圖像(或比特流)的記錄介質(或同一記錄介質中的不同記錄區(qū)域)中記錄信息。此外，信息和圖像(或比特流)可以通過任意單元如多個幀、一個幀或幀內的部分來彼此關聯(lián)。
[0336]以上參考附圖對本公開內容的優(yōu)選實施方式進行了描述，當然，本公開內容并不限于上述示例。本領域技術人員可以在所附權利要求的范圍內發(fā)現(xiàn)多種替換和修改。應該理解的是，這些替換和修改將自然地處于本公開內容的技術范圍內。
[0337]另外，本技術還可以被配置如下。
[0338](I) 一種圖像處理裝置，包括:
[0339]信息獲取部分，其獲取設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的所述第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及
[0340]運動向量設置部分，其利用所述信息獲取部分獲取的所述設置信息來將所述運動向量設置給所述第二預測單元。
[0341 ] ( 2 )根據(jù)(I)所述的圖像處理裝置，
[0342]其中，所述設置信息包括預測器信息，所述預測器信息指示用于對所述第一預測單元的所述運動向量進行預測的預測器，并且
[0343]其中，所述運動向量設置部分利用所述預測器信息所指示的預測器來預測被設置給所述第二預測單元的運動向量。
[0344](3)根據(jù)(I)所述的圖像處理裝置，
[0345]其中，所述設置信息包括預測器信息，所述預測器信息指示用于對所述第二預測單元的所述運動向量進行預測的預測器，并且
[0346]其中，所述預測器選自多個預測器候選，所述多個預測器候選包括基于設置給所述第一預測單元的運動向量的預測器候選。
[0347](4)根據(jù)(3)所述的圖像處理裝置，其中，最小碼號被分配給所述多個預測器候選中的基于設置給所述第一預測單元的運動向量的預測器候選。
[0348](5)根據(jù)(2)至(4)中任一項所述的圖像處理裝置，
[0349]其中，所述信息獲取部分還獲取差運動向量信息，所述差運動向量信息指示設置給所述第二預測單元的運動向量和預測運動向量之間的差，并且
[0350]其中，所述運動向量設置部分將通過如下方式生成的運動向量設置給所述第二預測單元:將所述差運動向量信息所指示的所述差與利用所述預測器預測的預測運動向量相加。
[0351 ] ( 6 )根據(jù)(I)所述的圖像處理裝置，
[0352]其中，所述設置信息包括合并信息，所述合并信息指示是否設置所述第一預測單元和與所述第一預測單元鄰近的預測單元共同的運動向量，并且
[0353]其中，所述運動向量設置部分根據(jù)所述合并信息來設置所述第二預測單元和與所述第二預測單元鄰近的預測單元共同的運動向量。
[0354](7)根據(jù)(I)所述的圖像處理裝置，
[0355]其中，所述設置信息包括合并信息，所述合并信息指示是否設置所述第一預測單元和所述第二預測單元共同的運動向量，并且[0356]其中，當所述合并信息指示設置所述第一預測單元和所述第二預測單元共同的運動向量時，所述運動向量設置部分將與所述第一預測單元共同的運動向量設置給所述第二預測單元。
[0357](8)根據(jù)(3)、(4)和(7)中任一項所述的圖像處理裝置，其中，所述運動向量設置部分按照所述第一層和所述第二層之間的空間分辨率的比率來放大設置給所述第一預測單元的運動向量，然后針對所述第二預測單元進行運動向量設置過程。
[0358](9)根據(jù)(8)所述的圖像處理裝置，其中，當放大設置給所述第一預測單元的運動向量時，所述運動向量設置部分按照所述運動向量的準確度來對所放大的運動向量進行舍入。
[0359](10)根據(jù)(I)至(7)中任一項所述的圖像處理裝置，其中，所述第一層和所述第二層是具有彼此不同的空間分辨率的層。
[0360]( 11)根據(jù)(I)至(7 )中任一項所述的圖像處理裝置，其中，所述第一層和所述第二層是具有彼此不同的噪聲比的層。
[0361](12)根據(jù)(I)至(11)中任一項所述的圖像處理裝置，其中，所述第一預測單元是所述第一層中的預測單元，該預測單元具有與所述第二預測單元中的預定位置的像素相對應的像素。
[0362](13)根據(jù)(I)至(11)中任一項所述的圖像處理裝置，其中，所述第一預測單元是所述第一層中與所述第二預測單元交疊的預測單元中具有最大交疊的預測單元。
[0363](14) 一種圖像處理方法，包括:
[0364]獲取設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及
[0365]利用所獲取的設置信息來將所述運動向量設置給所述第二預測單元。
[0366](15) 一種圖像處理裝置，包括:
[0367]信息生成部分，其生成設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及
[0368]編碼部分，其對所述信息生成部分生成的所述設置信息進行編碼。
[0369](16) 一種圖像處理方法，包括:
[0370]生成設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及
[0371]對所生成的設置信息進行編碼。
[0372]附圖標記列表
[0373]10圖像編碼裝置(圖像處理裝置)
[0374]146，246，346，446 信息生成部分
[0375]16編碼部分
[0376]60圖像解碼裝置(圖像處理裝置)[0377]191，291，391，491 信息獲取部分
[0378]192，246，392，492運動向量設置部分
【權利要求】
1.一種圖像處理裝置，包括:信息獲取部分，其獲取設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的所述第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及運動向量設置部分，其利用所述信息獲取部分獲取的所述設置信息來將所述運動向量設置給所述第二預測單元。
2.根據(jù)權利要求1所述的圖像處理裝置，其中，所述設置信息包括預測器信息，所述預測器信息指示用于對所述第一預測單元的所述運動向量進行預測的預測器，并且其中，所述運動向量設置部分利用所述預測器信息所指示的預測器來預測被設置給所述第二預測單元的運動向量。
3.根據(jù)權利要求1所述的圖像處理裝置，其中，所述設置信息包括預測器信息，所述預測器信息指示用于對所述第二預測單元的所述運動向量進行預測的預測器，并且其中，所述預測器選自多個預測器候選，所述多個預測器候選包括基于設置給所述第一預測單元的運動向量的預測器候選。
4.根據(jù)權利要求3所述的圖像處理裝置，其中，最小碼號被分配給所述多個預測器候選中的基于設置給所述第一預測單元的運動向量的預測器候選。
5.根據(jù)權利要求2所述的圖像處理裝置，其中，所述信息獲取部分還獲取差運動向量信息，所述差運動向量信息指示設置給所述第二預測單元的運動向量和預測運動向量之間的差，并且其中，所述運動向量設置部分將通過如下方式生成的運動向量設置給所述第二預測單元:將所述差運動向量信息所指示的所述差與利用所述預測器預測的預測運動向量相加。
6.根據(jù)權利要求1所述的圖像處理裝置，其中，所述設置信息包括合并信息，所述合并信息指示是否設置所述第一預測單元和與所述第一預測單元鄰近的預測單元共同的運動向量，并且其中，所述運動向量設置部分根據(jù)所述合并信息來設置所述第二預測單元和與所述第二預測單元鄰近的預測單元共同的運動向量。
7.根據(jù)權利要求1所述的圖像處理裝置，其中，所述設置信息包括合并信息，所述合并信息指示是否設置所述第一預測單元和所述第二預測單元共同的運動向量，并且其中，當所述合并信息指示設置所述第一預測單元和所述第二預測單元共同的運動向量時，所述運動向量設置部分將與所述第一預測單元共同的運動向量設置給所述第二預測單元。
8.根據(jù)權利要求3所述的圖像處理裝置，其中，所述運動向量設置部分按照所述第一層和所述第二層之間的空間分辨率的比率來放大設置給所述第一預測單元的運動向量，然后針對所述第二預測單元進行運動向量設置過程。
9.根據(jù)權利要求8所述的圖像處理裝置，其中，當放大設置給所述第一預測單元的運動向量時，所述運動向量設置部分按照所述運動向量的準確度來對所放大的運動向量進行舍入。
10.根據(jù)權利要求1所述的圖像處理裝置，其中，所述第一層和所述第二層是具有彼此不同的空間分辨率的層。
11.根據(jù)權利要求1所述的圖像處理裝置，其中，所述第一層和所述第二層是具有彼此不同的噪聲比的層。
12.根據(jù)權利要求1所述的圖像處理裝置，其中，所述第一預測單元是所述第一層中的預測單元，該預測單元具有與所述第二預測單元中的預定位置的像素相對應的像素。
13.根據(jù)權利要求1所述的圖像處理裝置，其中，所述第一預測單元是所述第一層中與所述第二預測單元交疊的預測單元中具有最大交疊的預測單元。
14.一種圖像處理方法，包括:獲取設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及利用所獲取的設置信息來將所述運動向量設置給所述第二預測單元。
15.一種圖像處理裝置，包括:信息生成部分，其生成 設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及編碼部分，其對所述信息生成部分生成的所述設置信息進行編碼。
16.—種圖像處理方法，包括:生成設置信息以將運動向量設置給第二層中的第二預測單元，所述第二預測單元與包含第一層和比所述第一層高的第二層的可伸縮視頻解碼圖像的所述第一層中的第一預測單元相對應，所述設置信息與設置給所述第一預測單元的運動向量有關；以及對所生成的設置信息進行編碼。
【文檔編號】H04N19/105GK103650494SQ201280033787
【公開日】2014年3月19日 申請日期:2012年5月24日 優(yōu)先權日:2011年7月14日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司