用于重新構(gòu)造并且編碼視頻信號的方法和裝置制造方法
【專利摘要】重新構(gòu)造用于調(diào)整圖像或者視頻內(nèi)容的尺寸，以例如在具有不同的縱橫比的顯示器上以給定縱橫比顯示視頻信號。約束窗口修剪參數(shù)（隨時間的位置和尺寸），以優(yōu)化編碼后的輸出視頻信號的率/失真。通過下面改進(jìn)初始重新構(gòu)造：計算代表考慮視頻編碼上下文的用戶注意力圖的顯著圖，并且提供宏塊編碼效率成本圖并且然后考慮顯著圖或者組合的顯著/編碼成本圖，使得所述重新構(gòu)造后的視頻信號的編碼成本小于其他候選重新構(gòu)造窗口的尺寸和位置的編碼成本。
【專利說明】用于重新構(gòu)造并且編碼視頻信號的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于重新構(gòu)造和編碼原始視頻信號的方法和裝置，其中，適配重新構(gòu)造窗口位置和/或尺寸，以減小重新構(gòu)造后的視頻信號的編碼成本。
【背景技術(shù)】
[0002]重新構(gòu)造用于調(diào)整圖像或者視頻內(nèi)容的尺寸，以例如在具有不同的縱橫比的顯示器上以給定縱橫比顯示視頻信號。例如，高清(HD)視頻內(nèi)容可能不充分適用于小型便攜式設(shè)備上的顯示器。
[0003]EP1748385A2公開基于人類視覺注意模型的動態(tài)重新構(gòu)造，其中，適當(dāng)修剪源視頻內(nèi)容以保持興趣區(qū)域。輸出信號可以被編碼并且被經(jīng)由網(wǎng)絡(luò)發(fā)送。
[0004]C.Chamaret> 0.LeMeur 的《Attention-based video reframing:validationusing eye-tracking)) (19th International Conference on Pattern RecognitionICPR’ 08，2008年12月8_11日，坦帕，佛羅里達(dá)州，美國)也描述重新構(gòu)造應(yīng)用。
[0005]0.LeMeur、P.LeCallet 和 D.Barba 的《Predicting visual fixations on videobased on low-level visual features》(Vision Research,vol.47,n0.19,第 2483-2498頁，2007年9月)描述基于視覺注意力模型的動態(tài)顯著圖的計算。

【發(fā)明內(nèi)容】

[0006]顯然沒有已知的重新構(gòu)造處理解決輸出修剪后和編碼后的視頻信號的比特率和失真。例如，修剪窗口可以在不需要考慮編碼后的視頻信號的編碼復(fù)雜性的情況下跟蹤興趣區(qū)域。這能夠?qū)е露鄠€縮放和去縮放、平移以及由此導(dǎo)致出現(xiàn)區(qū)域的高編碼成本。當(dāng)例如通過使用H.264/AVC編碼器編碼最終重新構(gòu)造后的視頻信號時，這能夠?qū)е卤忍芈实脑黾雍?或視頻質(zhì)量的降低。
[0007]要由本發(fā)明解決的問題是提供視頻源信號重新構(gòu)造，其中，修剪窗口位置和尺寸考慮包含該修剪后的窗口的編碼后的輸出視頻信號的速率/失真。由權(quán)利要求1中公開的方法解決這個問題。在權(quán)利要求2中公開利用這個方法的裝置。
[0008]根據(jù)本發(fā)明，約束修剪窗口參數(shù)(隨時間的位置和尺寸)，以優(yōu)化編碼后的輸出信號的速率/失真。通過考慮視頻編碼上下文并且然后在編碼重新構(gòu)造后的視頻序列的情況下考慮引起的編碼效率成本改進(jìn)初始重新構(gòu)造。
[0009]原則上，本發(fā)明的方法適用于重新構(gòu)造原始視頻信號并且隨后編碼重新構(gòu)造后的視頻信號，所述方法包括以下步驟:
[0010]-計算用于所述原始視頻信號的當(dāng)前畫面的顯著圖，所述顯著圖代表用戶注意力圖；
[0011]-提供所述原始視頻信號的所述當(dāng)前畫面的宏塊編碼效率成本圖，并且組合所述顯著圖和所述宏塊編碼效率成本圖；
[0012]-選擇所述原始視頻信號的所述當(dāng)前畫面內(nèi)的候選重新構(gòu)造窗口尺寸和位置；[0013]-通過使用所述顯著圖或者所組合的顯著和宏塊編碼效率成本圖，在所述原始視頻信號中確定重新構(gòu)造窗口的不同位置和/或尺寸，對于該不同位置和/或尺寸的所述重新構(gòu)造后的視頻信號的編碼成本小于所述候選重新構(gòu)造窗口尺寸和位置的編碼成本；
[0014]-編碼所述對應(yīng)重新構(gòu)造后的視頻信號。
[0015]原則上，本發(fā)明的裝置適用于重新構(gòu)造原始視頻信號并且隨后編碼重新構(gòu)造后的視頻信號，所述裝置包括:
[0016]-適配為計算用于所述原始視頻信號的當(dāng)前畫面的顯著圖并且提供所述當(dāng)前畫面的宏塊編碼效率成本圖并組合所述顯著圖和所述宏塊編碼效率成本圖的部件，所述顯著圖代表用戶注意力圖；
[0017]-適配為選擇所述原始視頻信號的所述當(dāng)前畫面內(nèi)的候選重新構(gòu)造窗口尺寸和位置并且通過使用所述顯著圖或者所組合的顯著和宏塊編碼效率成本圖在所述原始視頻信號中確定重新構(gòu)造窗口的不同位置和/或尺寸的部件，對于該不同位置和/或尺寸的所述重新構(gòu)造后的視頻信號的編碼成本小于所述候選重新構(gòu)造窗口尺寸和位置的編碼成本；
[0018]-用于所述對應(yīng)重新構(gòu)造后的視頻信號的編碼部件。
[0019]在各個從屬權(quán)利要求中公開本發(fā)明的更多的有利實施例。
【專利附圖】

【附圖說明】
[0020]參考附圖描述本發(fā)明的示例性實施例，附圖示出:
[0021]圖1是本發(fā)明處理的總框圖；
[0022]圖2是根據(jù)本發(fā)明的重新構(gòu)造處理；
[0023]圖3是修剪窗口的各向異性延伸；
[0024]圖4是基于宏塊成本圖的各向異性延伸；
[0025]圖5是若干修剪窗口之間關(guān)于它們的編碼成本Ci的選??；
[0026]圖6是優(yōu)化用于視頻編碼的修剪窗口移位。
【具體實施方式】
[0027]在圖1中，源視頻信號被饋送到顯著性計算步驟或者階段12，并且到重新構(gòu)造步驟/階段16。顯著性計算步驟或者階段12計算當(dāng)前源視頻信號內(nèi)容的顯著圖13，由此顯著圖代表用戶注意力圖，并且例如按像素提供表征其感知相關(guān)性的顯著性值。該輸入是當(dāng)前畫面內(nèi)容，而該輸出是示出當(dāng)看著該畫面或者看著視頻序列內(nèi)的該畫面時畫面的哪個部分通過人獲得什么注意力的圖。在從源視頻信號的編碼后的版本接收其輸入信號的對應(yīng)步驟/階段14中計算塊或者宏塊編碼效率成本圖。如果呈現(xiàn)步驟/階段14，則其輸出信號與顯著圖13組合15。該結(jié)果還輸入到重新構(gòu)造步驟/階段16，重新構(gòu)造步驟/階段16如下面中描述地操作，并且以減少的編碼成本輸出重新構(gòu)造后的視頻信號17。(例如，通過使用
H.264處理)在編碼器18中編碼重新構(gòu)造后的視頻信號17，以導(dǎo)致具有優(yōu)化的速率/失真性質(zhì)的編碼后的重新構(gòu)造后的視頻信號。
[0028]為了優(yōu)化輸出視頻信號編碼的速率/失真，修剪窗口遵循下面這些規(guī)則:
[0029]-避免出現(xiàn)窗口邊界上的區(qū)域或者對象，因為這引起幀內(nèi)編碼模式塊并且比幀間編碼模式或者跳過模式要求更多的比特用于編碼。如果合適的話，應(yīng)該使用電子圖像穩(wěn)定器。
[0030]-避免改變對象的尺寸:為了便于良好的幀間預(yù)測(interprediction),縮放因子應(yīng)該遵循視頻運(yùn)動參數(shù)。
[0031]-偏愛恒定主要運(yùn)動(Favourconstant dominant motion):在內(nèi)容運(yùn)動恒定的情況下編碼可能更高效(良好使用雙向預(yù)測、跳過和直接模式)。
[0032]-設(shè)法不包圍難于編碼的宏塊。當(dāng)重新構(gòu)造壓縮后的視頻時，在圖像的成本高區(qū)域不是感興趣區(qū)域的情況下，使用宏塊編碼效率成本圖以設(shè)法丟棄這種區(qū)域。
[0033]圖2更詳細(xì)示出重新構(gòu)造處理。用視覺注意力模型22檢查原始源序列21，以導(dǎo)致用于當(dāng)前畫面的顯著圖(對應(yīng)于圖1中的12和13)。下面的修剪窗口提取23 (對應(yīng)于圖1中的16)輸出重新構(gòu)造后的序列24，并且包括初始窗口提取231、臨時一致性檢查232和縱橫比處理233，如上面描述。
[0034]下面是解決編碼后的輸出重新構(gòu)造后的視頻序列的比特率減小的若干補(bǔ)充實施例。
[0035]A.改進(jìn)時間一致性
[0036]在該部分中，使用這樣的事實:時間上越穩(wěn)定的圖像將原則上需要更少的比特用于編碼。
[0037]A.1簡單時間約束
[0038]使用卡爾曼濾波器控制修剪窗口的位置和尺寸。在第一實現(xiàn)方式中，約束協(xié)方差噪聲矩陣Q?？柭鼮V波器應(yīng)用的目的是平滑由注意力模型22提供的原始值的變化，即顯著圖的內(nèi)容隨時間的變化。在卡爾曼模型化中，將由注意力模型22給出的原始值視為代表設(shè)法估計最優(yōu)修剪參數(shù)(窗口的中心和尺`寸)時的噪聲測量。修剪窗口的參數(shù)的當(dāng)前狀態(tài)Xk定義為Xk=AkXk-JBkU1^wk,其中A`k是應(yīng)用于前面狀態(tài)的狀態(tài)轉(zhuǎn)換模型，Bk是控制輸入模型，Uk是控制矢量，wk是具有Wk~N (O, Qk)的狀態(tài)噪聲，并且N是具有零均值和協(xié)方差Qk的正態(tài)分布。
[0039]在時間k，真實狀態(tài)Xk的觀察或者測量Zk被做出并且定義為zk=Hkxk+vk，其中Hk是將真實狀態(tài)空間映射到觀察空間的觀察模型，并且Vk是具有被假設(shè)為協(xié)方差Rk的零均值高斯白噪聲的Vk~N (O, Rk)的觀察噪聲。
[0040]在重新構(gòu)造應(yīng)用中，按下面使用卡爾曼濾波器。狀態(tài)Xk定義修剪窗口的中心的位
置和其尺寸。其定義為:
[0041]
【權(quán)利要求】
1.一種重新構(gòu)造(16，23)原始視頻信號(11，21)并且隨后編碼(18)重新構(gòu)造后的視頻信號的方法，所述方法包括以下步驟: -計算(12，22)用于所述原始視頻信號的當(dāng)前畫面的顯著圖，所述顯著圖代表用戶注意力圖； -提供(14)所述原始視頻信號的所述當(dāng)前畫面的宏塊編碼效率成本圖； -選擇(231)所述原始視頻信號的所述當(dāng)前畫面內(nèi)的候選重新構(gòu)造窗口尺寸和位置； -通過使用所述顯著圖或者所述組合的顯著和宏塊編碼效率成本圖，在所述原始視頻信號中確定(16，17)重新構(gòu)造窗口的不同位置和/或尺寸，對于該不同位置和/或尺寸的所述重新構(gòu)造后的視頻信號的編碼成本小于所述候選重新構(gòu)造窗口尺寸和位置的編碼成本； -編碼(18)所述對應(yīng)重新構(gòu)造后的視頻信號。
2.一種重新構(gòu)造(16，23)原始視頻信號(11，21)并且隨后編碼(18)重新構(gòu)造后的視頻信號的裝置，所述裝置包括: -適配為計算用于所述原始視頻信號的當(dāng)前畫面的顯著圖并且提供所述當(dāng)前畫面的宏塊編碼效率成本圖的部件(12，14，15，22)，所述顯著圖代表用戶注意力圖； -適配為選擇所述原始視頻信號的所述當(dāng)前畫面內(nèi)的候選重新構(gòu)造窗口尺寸和位置并且通過使用所述顯著圖或者所述組合的顯著和宏塊編碼效率成本圖在所述原始視頻信號中確定重新構(gòu)造窗口的不同位置和/或尺寸的部件(231，16，17)，對于該不同位置和/或尺寸的所述重新構(gòu)造后的視頻信號的編碼成本小于所述候選重新構(gòu)造窗口尺寸和位置的編碼成本；` -用于所述對應(yīng)重新構(gòu)造后的視頻信號的編碼部件(18)。
3.如權(quán)利要求1所述的方法或者如權(quán)利要求2所述的裝置，其中，使用(232，233)卡爾曼濾波器控制由于顯著圖的內(nèi)容隨時間的變化引起的重新構(gòu)造窗口的位置和尺寸的變化。
4.如權(quán)利要求3所述的方法或者如權(quán)利要求3所述的裝置，其中，對于每個畫面在兩個步驟中使用卡爾曼濾波器，這兩個步驟是預(yù)測關(guān)于前面狀態(tài)Xlri和狀態(tài)轉(zhuǎn)換模型的當(dāng)前狀態(tài)xk以穩(wěn)定重新構(gòu)造窗口參數(shù)的步驟，和使用噪聲測量校正預(yù)測的步驟，其中狀態(tài)Xk定義重新構(gòu)造窗口的中心的位置和其尺寸，_中心列 —_中心線Xk—窗口寬度?！翱诟叨取?br> 5.如權(quán)利要求1、3或4所述的方法，或者如權(quán)利要求2、3或者4所述的裝置，其中，提供所述宏塊編碼效率成本圖(14)，并且如果從所述顯著圖的當(dāng)前內(nèi)容產(chǎn)生的候選重新構(gòu)造窗口的縱橫比與所述原始視頻信號(11，21)的縱橫比不同，則在水平或者垂直方向上對應(yīng)延伸候選重新構(gòu)造窗口，以實現(xiàn)所述原始視頻信號的所述縱橫比，其中，執(zhí)行所述延伸的方向，使得對于當(dāng)前候選重新構(gòu)造窗口，減小從當(dāng)前宏塊編碼效率成本圖推導(dǎo)出的宏塊編碼成本。
6.如權(quán)利要求1和2到5之一所述的方法，或者如權(quán)利要求2到5之一所述的裝置，其中，融合(15)所述顯著圖(13)與所述宏塊成本圖(14)，使得昂貴的編碼成本宏塊減少應(yīng)用的最終顯著圖中的對應(yīng)顯著值。
7.如權(quán)利要求1和2到6之一所述的方法，其中，所述編碼(18)是H.264/AVC編碼，或者如權(quán)利要求2到6之一所述的裝置，其中，所述編碼部件(18)是H.264/AVC編碼部件。
8.如權(quán)利要求7所述的方法，或者如權(quán)利要求7所述的裝置，其中，所述重新構(gòu)造包括在編碼循環(huán)內(nèi)，但編碼全部畫面，并且其中，使用SEI消息以向解碼器發(fā)信號通知要使用的重新構(gòu)造窗口。
9.如權(quán)利要求1和2到8之一所述的方法，或者如權(quán)利要求2到8之一所述的裝置，其中，所述重新構(gòu)造窗口與宏塊邊界對齊。
10.一種在編碼之前根據(jù)權(quán)利要求1和2到9之一所述的方法被重新構(gòu)造的編碼數(shù)字視頻信號。
【文檔編號】H04N19/156GK103688538SQ201280035550
【公開日】2014年3月26日 申請日期:2012年6月25日 優(yōu)先權(quán)日:2011年7月19日
【發(fā)明者】F.厄本, C.查馬雷特, P.吉洛特爾 申請人:湯姆遜許可公司