圖像編碼方法以及圖像編碼裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像編碼方法以及圖像編碼裝置。
【背景技術(shù)】
[0002]在以被稱為Η.26x的ITU — T標(biāo)準(zhǔn)以及被稱為MPEG — x的IS0/IEC標(biāo)準(zhǔn)為代表的以往的圖像編碼方式中，為了使編碼器和解碼器同步地動(dòng)作，定義了一致性(標(biāo)準(zhǔn)適應(yīng)性)的規(guī)定作為確保編碼器和解碼器的兼容性的框架(參照非專利文獻(xiàn)2的P.214至P.226)。
[0003]此外，導(dǎo)入了虛擬地對(duì)解碼器的緩沖器管理進(jìn)行建模的虛擬參照解碼器(Hypothetical Reference Decoder:HRD)這樣的概念。通過(guò)使用HRD，能夠防止在解碼的時(shí)刻緩沖器中不存在圖像數(shù)據(jù)的下溢(underflow)以及圖像數(shù)據(jù)超過(guò)所準(zhǔn)備的緩沖器大小地輸入的上溢(overflow)這樣的解碼器的失敗。
[0004]具體而言，虛擬流調(diào)度器(HypotheticalStream Scheduler:HSS)管理比特流向HRD的已編碼圖片緩沖器(Coded Picture Buffer:CPB)的輸入。在輸入方法中，存在固定比特率和可變比特率這兩種比特率類型。
[0005]在固定比特率的情況下，始終以一定的比特率向HRD的CPB輸入比特流。在以固定比特率來(lái)編碼圖像的情況下，需要檢驗(yàn)下溢和上溢的雙方。
[0006]在可變比特率的情況下，對(duì)HRD的CPB輸入比特流的比特率是可變的。由此，在HRD的CPB容量中沒(méi)有空余的情況下能夠暫時(shí)停止比特流的輸入，因此不發(fā)生上溢。從而，在以可變比特率進(jìn)行編碼的情況下，僅檢驗(yàn)下溢即可。
[0007]現(xiàn)有技術(shù)文獻(xiàn)
[0008]非專利文獻(xiàn)
[0009]非專利文獻(xiàn)1:Joint Collaborative Team on Video Coding(JCT — VC)of ITU —T SG16 WP3 and IS0/IEC JTC1/SC29/WG1U 12th Meeting:Geneva，CH，14 — 23Jan.2013，“High Efficiency Video Coding(HEVC)text specificat1n draft 10 (for FDIS&LastCall)，，，http://phenix.1nt — evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC - L1003 - v34.zip
[0010]非專利文獻(xiàn)2:大久保榮等著，“Η.265/HEVC教科書”，Impress Japan，2013年

【發(fā)明內(nèi)容】

[0011]發(fā)明要解決的課題
[0012]在這樣的圖像編碼方法中，優(yōu)選能夠降低用于生成滿足一致性(conformance)的比特流的處理量。
[0013]因此，本發(fā)明的目的在于，提供能夠降低用于生成滿足一致性的比特流的處理量的圖像編碼方法或圖像編碼裝置。
[0014]用于解決課題的手段
[0015]本發(fā)明的一個(gè)方式所涉及的圖像編碼方法通過(guò)對(duì)多個(gè)圖像進(jìn)行編碼從而生成具有時(shí)間可適性(可分級(jí)性、scalability)的比特流，包括:選擇步驟，從固定比特率以及可變比特率中選擇第一比特率類型；決定步驟，決定所述多個(gè)圖像各自的時(shí)間層；設(shè)定步驟，在選擇固定比特率作為所述第一比特率類型的情況下，(1)將包含屬于全部時(shí)間層的所述多個(gè)圖像的編碼數(shù)據(jù)在內(nèi)的所述比特流的第二比特率類型設(shè)定為固定比特率，(2)將作為所述比特流的一部分且包含所述多個(gè)圖像之中的屬于最上層的時(shí)間層以外的時(shí)間層的圖像的編碼數(shù)據(jù)在內(nèi)的子比特流的第三比特率類型設(shè)定為可變比特率；編碼步驟，以禁止參照時(shí)間層比處理對(duì)象的圖像更高的圖像的方式對(duì)所述多個(gè)圖像中的各個(gè)圖像進(jìn)行編碼；以及生成步驟，生成包含表示所述多個(gè)圖像的所述時(shí)間層的時(shí)間可適性信息、表示所述第二比特率類型以及所述第三比特率類型的比特率控制信息、以及編碼后的所述多個(gè)圖像在內(nèi)的所述比特流。
[0016]另外，這些整體或具體的方式也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的CD — ROM等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序以及記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。
[0017]發(fā)明效果
[0018]本發(fā)明能夠提供可降低用于生成滿足一致性的比特流的處理量的圖像編碼方法或圖像編碼裝置。
【附圖說(shuō)明】
[0019]圖1是表示實(shí)施方式1所涉及的具有時(shí)間可適性的比特流的一例的圖。
[0020]圖2是表示實(shí)施方式1所涉及的圖像編碼裝置的構(gòu)造的模塊圖。
[0021]圖3是實(shí)施方式1所涉及的編碼過(guò)程的流程圖。
[0022]圖4是表示實(shí)施方式1所涉及的比特流的數(shù)據(jù)結(jié)構(gòu)的一例的圖。
[0023]圖5是用于說(shuō)明實(shí)施方式1所涉及的比特率類型的決定處理的圖。
[0024]圖6是實(shí)施方式1所涉及的計(jì)算比特率控制信息和時(shí)間可適性信息的計(jì)算過(guò)程的流程圖。
[0025]圖7是表示實(shí)施方式1所涉及的以固定比特率進(jìn)行了編碼以滿足一致性時(shí)的HRD的CPB的圖。
[0026]圖8是表示實(shí)施方式1所涉及的維持固定比特率且使時(shí)間分辨率成為1/4時(shí)的HRD的CPB的圖。
[0027]圖9是表示實(shí)施方式1所涉及的設(shè)為可變比特率且使時(shí)間分辨率成為1/4時(shí)的HRD的CPB的圖。
[0028]圖10是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0029]圖11是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0030]圖12是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。
[0031]圖13是表示對(duì)作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0032]圖14是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0033]圖15A是表示便攜電話的一例的圖。
[0034]圖15B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0035]圖16是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0036]圖17是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0037]圖18是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。
[0038]圖19是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0039]圖20是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0040]圖21是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0041 ]圖22是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0042]圖23是表示識(shí)別影像數(shù)據(jù)的步驟的圖。
[0043]圖24是表示實(shí)現(xiàn)各實(shí)施方式的運(yùn)動(dòng)圖像編碼方法及運(yùn)動(dòng)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0044]圖25是表示切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。
[0045]圖26是表示識(shí)別影像數(shù)據(jù)、切換驅(qū)動(dòng)頻率的步驟的圖。
[0046]圖27是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立了對(duì)應(yīng)的查找表的一例的圖。
[0047]圖28A是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0048]圖28B是表不將信號(hào)處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實(shí)施方式】
[0049](成為本發(fā)明的基礎(chǔ)的知識(shí))
[0050]在圖像編碼標(biāo)準(zhǔn)H.265/HEVC(參照非專利文獻(xiàn)1)等的圖像編碼方式中，存在稱為時(shí)間可適性的功能。對(duì)具有時(shí)間可適性(參照非專利文獻(xiàn)2的P.211?P.212)的比特流插入稱為Temporalld的時(shí)間識(shí)別符。由此，圖像解碼裝置能夠以多個(gè)時(shí)間分辨率來(lái)輸出解碼圖像。例如，在對(duì)60fps (幀每秒，frames per second)的運(yùn)動(dòng)圖像進(jìn)行編碼而得到的比特流中傳輸速率不足的情況下，圖像編碼裝置(發(fā)送裝置)從該比特流切出將幀速率降低為30fps或15fps而得到的子比特流，傳輸所得到的子比特流，從而能夠防止圖像解碼裝置(接收裝置)中的丟幀以及畫質(zhì)的降低。
[0051 ] 圖1是表示賦予了 Temporal Id的60fps的比特流的一例的圖?？v軸表示Temporalld(時(shí)間識(shí)別符)，橫軸表示圖片的輸出順序(POC:Picture Order Count、圖片順序計(jì)數(shù))。此外，能夠?qū)⒓^后端的圖片用于箭頭前端的圖片的預(yù)測(cè)圖像的生成。例如，對(duì)于P0C = 2的圖片，能夠使用P0C = 0和P0C = 4的圖片作為參照?qǐng)D像。
[0052]該例的比特流被編碼為Temporalld不同的三個(gè)層級(jí)。將該層級(jí)稱為子層或時(shí)間層。在進(jìn)行作為編碼或解碼的對(duì)象的當(dāng)前圖片的時(shí)間方向預(yù)測(cè)時(shí)，存在不能參照與當(dāng)前圖片的TemporallD相比Temporalld的值更大的圖片的限制。例如，在P0C = 2的圖片為當(dāng)前圖片的情況下，對(duì)當(dāng)前圖片賦予了 Temporalld = 1，所以不能參照賦予了 Temporalld =3的P0C = 1和P0C = 3的圖片。
[0053]由于該限制，在降低時(shí)間分辨率時(shí)，圖像編碼裝置能夠容易地從比特流去除Temporalld大的圖片。例如，圖像編碼裝置在生成30fps的子比特流時(shí)，從比特流去除Temporalld = 2的子層，在生成15fps的子比特流時(shí)，從比特流去除Temporalld彡1的子層。像這樣，能夠不進(jìn)行再編碼地變換幀速率，因此能夠減輕圖像編碼裝置(發(fā)送裝置)的負(fù)荷。
[0054]但是，在通過(guò)該方法對(duì)在全部時(shí)間分辨率中滿足一致性的比特流進(jìn)行編碼的情況下，存在處理量增加且圖像編碼裝置的負(fù)荷變大的問(wèn)題。
[0055]具體而言，在生成通常的(不具有時(shí)間可適性的)比特流的情況下，圖像編碼裝置進(jìn)行編碼以使該比特流滿足一致性即可。另一方面，在具有時(shí)間可適性的比特流中，通過(guò)上述的切出來(lái)生成子比特流，該子比特流被發(fā)送至圖像解碼裝置。因此，在這樣的比特流中，不僅包含全部子層的編碼信息的原比特流需要滿足一致性，而且從該比特流生成的各子比特流也需要滿足一致性。像這樣，對(duì)單一的比特流進(jìn)行編碼以使原比特流以及多個(gè)子比特流全部滿足一致性是困難的，此外，為了生成這樣的比特流，圖像編碼裝置中的處理變得復(fù)雜且處理量大為增加。
[0056]因此，本發(fā)明的一個(gè)方式所涉及的圖像編碼方法通過(guò)對(duì)多個(gè)圖像進(jìn)行編碼從而生成具有時(shí)間可適性的比特流，包括:選擇步驟，從固定比特率以及可變比特率中選擇第一比特率類型；決定步驟，決定所述多個(gè)圖像各自的時(shí)間層；設(shè)定步驟，在選擇固定比特率作為所述第一比特率類型的情況下，(1)將包含屬于全部時(shí)間層的所述多個(gè)圖像的編碼數(shù)據(jù)在內(nèi)的所述比特流的第二比特率類型設(shè)定為固定比特率，(2)將作為所述比特流的一部分且包含所述多個(gè)圖像之中的屬于最上層的時(shí)間層以外的時(shí)間層的圖像的編碼數(shù)據(jù)在內(nèi)的子比特流的第三比特率類型設(shè)定為可變比特率；編碼步驟，以禁止參照時(shí)間層比處理對(duì)象的圖像更高的圖像的方式對(duì)所述多個(gè)圖像中的各個(gè)圖像進(jìn)行編碼；以及生成步驟，生成包含表示所述多個(gè)圖像的所述時(shí)間層的時(shí)間可適性信息、表示所述第二比特率類型以及所述第三比特率類型的比特率控制信息、以及編碼后的所述多個(gè)圖像在內(nèi)的所述比特流。
[0057]由此，即使在包含全部時(shí)間層的圖像的比特流的比特率類型被設(shè)定為固定比特率的情況下，子比特流的比特率類型也被設(shè)定為可變比特率。由此，在生成比特流時(shí)，不需要考慮子比特流的上溢，僅對(duì)包含全部時(shí)間層的圖像的比特流進(jìn)行控制以不產(chǎn)生上溢即可。由此，該圖像編碼方法能夠降低對(duì)具有多個(gè)時(shí)間分辨率且在各時(shí)間分辨率下滿足一致性的比特流進(jìn)行編碼時(shí)的圖像編碼裝置的處理量。
[0058]例如，在所述編碼步驟中，也可以使用虛擬地對(duì)圖像解碼裝置的緩沖器管理進(jìn)行建模的虛擬參照解碼器，以所述第二比特率類型對(duì)所述多個(gè)圖像進(jìn)行編碼，以使所述圖像解碼裝置能夠不發(fā)生失敗地處理所述比特流。
[0059]例如，所述時(shí)間可適性信息也可以包含表示所述多個(gè)圖像分別所屬的所述時(shí)間層的時(shí)間識(shí)別符、或用于確定解碼對(duì)象的一個(gè)以上的時(shí)間層的時(shí)間分辨率所能夠取的模式(pattern)數(shù)。
[0060]此外，本發(fā)明的一個(gè)方式所涉及的圖像編碼裝置通過(guò)對(duì)多個(gè)圖像進(jìn)行編碼從而生成具有時(shí)間可適性的比特流，具備:選擇部，從固定比特率以及可變比特率中選擇第一比特率類型；決定部，決定所述多個(gè)圖像各自的時(shí)間層；設(shè)定部，在選擇固定比特率作為所述第一比特率類型的情況下，(1)將包含屬于全部時(shí)間層的所述多個(gè)圖像的編碼數(shù)據(jù)在內(nèi)的所述比特流的第二比特率類型設(shè)定為固定比特率，⑵將作為所述比特流的一部分且包含所述多個(gè)圖像之中的屬于最上層的時(shí)間層以外的時(shí)間層的圖像的編碼數(shù)據(jù)在內(nèi)的子比特流的第三比特率類型設(shè)定為可變比特率；編碼部，以禁止參照時(shí)間層比處理對(duì)象的圖像更高的圖像的方式對(duì)所述多個(gè)圖像中的各個(gè)圖像進(jìn)行編碼；以及