專利名稱：用于相平面關(guān)聯(lián)的自適應頻域濾波的制作方法
技術(shù)領域：
一般而言，本發(fā)明是關(guān)于關(guān)聯(lián)兩個圖像(image)，且尤其是關(guān)于相平面關(guān)聯(lián)(phase plane correlation ；PPC)白勺使用。
背景技術(shù)：
在圖像處理應用中，最好是自數(shù)碼數(shù)據(jù)獲取清晰，高分辨率的圖像和視頻 (video)。運動向量數(shù)據(jù)提供關(guān)于圖像的關(guān)鍵部件的運動的速度和方向的信息，例如，如從圖像的一幀到下一幀經(jīng)一時間決定將變換的部分圖像。使用運動向量數(shù)據(jù)的應用包括但不限于格式轉(zhuǎn)換、去隔行(de-interlacing)、壓縮、圖像對位(image registration)和其它需某種時間內(nèi)插(temporal interpolation)的應用。格式轉(zhuǎn)換的例子包括1)幀速率轉(zhuǎn)換，如NTSC視頻率至HDTV視頻率的轉(zhuǎn)換，2)隔行掃描(interlaced)視頻轉(zhuǎn)換為逐行掃描 (progressive)視頻，和3)傳統(tǒng)DVD格式視頻的3比2下拉偽影校正(3-to_2 pulldown artifact removal)。視頻數(shù)據(jù)壓縮工藝也受益于準確的運動向量數(shù)據(jù)。壓縮經(jīng)常被用來通過限制帶寬而允許有用的數(shù)據(jù)傳輸。普遍的視頻壓縮算法是利用視頻壓縮標準，例如，如MPEG2、MPEG4和H. 26L等。受益于精確的運動向量數(shù)據(jù)分析的另一應用程序是顯示特殊效果的制作，如相機參數(shù)的全域估計，有助于產(chǎn)生平移、傾斜或縮放的顯示效果。電視信號的數(shù)碼處理(例如，編碼、傳輸、存儲和解碼)，需要使用運動向量數(shù)據(jù)。 運動向量數(shù)據(jù)是必要的，因為在時域(temporal domain)取樣之前，電視信號通常不是以 Nyquist標準所要求的方式進行濾波。因此，運動圖像包含暫時別名的信息。傳統(tǒng)線性內(nèi)插技術(shù)因此在時域不能成功。ITU-T (國際電信聯(lián)盟遠程通信標準化部門)建議使用H. 261和H. 262標準作為編碼、存儲和傳輸圖像信號用的方法。ISO(國際標準化組織)建議MPEG-I (11172-2)和 MPEG-2 (13818-2)。以這些標準為基礎的方法是采用幀間預測(inter frame prediction) 作為編碼視頻信號的運動補償。幀間預測是根據(jù)視頻數(shù)據(jù)而識別的冗余特征。視頻信號包含從幀至幀的高度冗余信息(預定的幀的許多圖像元素不會運動，從而將在隨后的幀里重復)。例如，由于特殊效果所產(chǎn)生的幀、或產(chǎn)生以增加視頻信號的清晰度的幀亦是如此。運動補償幀間預測是一種利用幀間冗余的技術(shù)，以減少描述視頻幀的順序或建立圖像幀所需的數(shù)據(jù)量，例如從隔行掃描視頻信號制作逐行掃描視頻信號所建立的。進行這樣的操作，幀至幀運動的精確測定是很重要的。—種用于運動檢測的典型方法是在圖像域進行。這種方法試圖讓參考(先前的) 圖像幀的區(qū)塊與當前(接在該參考圖像幀之后的)幀的區(qū)塊匹配從。許多所謂的區(qū)塊匹配方法是首先計算在當前圖像幀的區(qū)塊與在參考圖像幀的所有區(qū)塊的像素的差異的絕對值。 具有最小差異的當前圖像幀的區(qū)塊被測定為匹配。然后當前幀的區(qū)塊和參考幀的相應匹配區(qū)塊之間的位移的特征是水平和垂直位移分量，因而產(chǎn)生運動向量。此過程被稱為全搜索過禾呈(full-search procedure)。另一種運動檢測方法利用相平面而非像平面(image plane)。此種相平面運動檢測的一例描述在美國專利號7197074中-由比斯瓦斯等人所著，名為相平面關(guān)聯(lián)運動向量的測定方法，在此納入?yún)⒖肌Ｏ嗥矫骊P(guān)聯(lián)(PPC)是一種關(guān)聯(lián)兩個圖像的有效方法。在頻域， 由當前圖像幀的特定區(qū)塊和參考圖像幀的相應區(qū)塊之間的相移(相位差)表示運動。相位差的反轉(zhuǎn)傅立葉轉(zhuǎn)換得到的關(guān)聯(lián)表面表示移動的像素的數(shù)量和像素移動的幅度。這種技術(shù)有直接測定運動向量的優(yōu)勢。然而，相平面關(guān)聯(lián)運動向量測定技術(shù)并不符合當前的視頻處理需求。需要有效的方法計算圖像中的運動，減少運動向量至像素產(chǎn)生錯誤分配的機會。傳統(tǒng)相平面關(guān)聯(lián)(PPC)產(chǎn)生關(guān)聯(lián)表面，其中波峰和其各自的振幅是直接表示圖像亮度的相似度。傳統(tǒng)的PPC技術(shù)有正規(guī)化步驟，減輕亮度的不同造成比簡單的關(guān)聯(lián)更有識別力的正規(guī)化關(guān)聯(lián)表面。然而，傳統(tǒng)的PPC方法并不能充分處理不同的輸入圖像內(nèi)容。
基于PPC關(guān)聯(lián)表面的標準亮度的推導如下
權(quán)利要求
1.一種產(chǎn)生相平面關(guān)聯(lián)表面的方法，包括(a)由數(shù)碼設備傅立葉轉(zhuǎn)換第一和第二時域圖像，以分別創(chuàng)建第一和第二相平面圖像；(b)預濾波第一和第二相平面圖像，該預濾波是根據(jù)一些預定標準；(c)由該數(shù)碼設備關(guān)聯(lián)該第一和第二相平面圖像，以形成頻域關(guān)聯(lián)相平面表面；及(d)對該頻域關(guān)聯(lián)相平面表面進行反轉(zhuǎn)傅立葉轉(zhuǎn)換，以提供相平面關(guān)聯(lián)表面。
2.如權(quán)利要求1所述的方法，其中，該預濾波使第一和第二相平面圖像不變。
3.如權(quán)利要求1所述的方法，其中，該預定標準與該第一和第二相平面圖像的頻率含量有關(guān)。
4.如權(quán)利要求3所述的方法，其中，該預定標準與該第一和第二相平面圖像的頻率含量在這些圖像的邊緣部分有關(guān)。
5.如權(quán)利要求1所述的方法，其中，該關(guān)聯(lián)包括分數(shù)正規(guī)化。
6.如權(quán)利要求5所述的方法，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)使用具有范圍為零至一的值的指數(shù)。
7.如權(quán)利要求5所述的方法，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)使用由封閉式的解析式或查找表所產(chǎn)生的指數(shù)值。
8.一種在數(shù)碼設備的相平面關(guān)聯(lián)的方法，包括(a)傅立葉轉(zhuǎn)換第一和第二時域圖像，以分別創(chuàng)建第一和第二相平面圖像；(b)回應該第一和第二相平面圖像的估計的高頻含量而產(chǎn)生窗函數(shù)；(c)將該窗函數(shù)與該第一和第二相平面圖像的各者混合，以分別提供第一和第二窗表(d)關(guān)聯(lián)該第一和第二窗表面，以形成頻域關(guān)聯(lián)相平面表面；及(e)對該頻域關(guān)聯(lián)相平面表面進行反轉(zhuǎn)傅立葉轉(zhuǎn)換，以提供圖像平面關(guān)聯(lián)表面。
9.如權(quán)利要求8所述的方法，其中，估計高頻含量包括測定至少一個該相平面圖像表面的一部分的高頻含量。
10.如權(quán)利要求9所述的方法，其中，至少一個該相平面圖像表面的該部分是邊緣部分。
11.如權(quán)利要求8所述的方法，其中，產(chǎn)生窗函數(shù)包括(a)產(chǎn)生具有形狀的窗函數(shù)，其是第一和第二相平面圖像至少之一的高頻能量含量與總能量含量的比的函數(shù)。
12.如權(quán)利要求8所述的方法，其中，產(chǎn)生窗函數(shù)包括(a)產(chǎn)生具有形狀的窗函數(shù)，該形狀是該第一和第二相平面圖像的至少一者的高頻能量含量與總能量含量的比的函數(shù)。
13.如權(quán)利要求8所述的方法，其中，該關(guān)聯(lián)包括分數(shù)正規(guī)化。
14.如權(quán)利要求13所述的方法，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)包括使用具有范圍在零至一的值的指數(shù)。
15.如權(quán)利要求13所述的方法，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)包括使用由封閉式的解析式或查找表所產(chǎn)生的指數(shù)值。
16.一種包括計算機可讀介質(zhì)存儲程序代碼的計算機程序產(chǎn)品，當處理器執(zhí)行時進行下面的方法(a)傅立葉轉(zhuǎn)換第一和第二時域圖像，以分別創(chuàng)建第一和第二相平面圖像；(b)回應該第一和第二相平面圖像的估計的高頻含量而產(chǎn)生窗函數(shù)；(c)將該窗函數(shù)與該第一和第二相平面圖像的各者混合，以分別提供第一和第二窗表(d)關(guān)聯(lián)該第一和第二窗表面，以形成頻域關(guān)聯(lián)相平面表面；及(e)對該頻域關(guān)聯(lián)相平面表面進行反轉(zhuǎn)傅立葉轉(zhuǎn)換，以提供圖像平面關(guān)聯(lián)表面。
17.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中，估計高頻含量包括測定至少一個該相平面圖像表面的一部分的高頻含量。
18.如權(quán)利要求17所述的計算機程序產(chǎn)品，其中，該部分是邊緣部分。
19.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中，產(chǎn)生窗函數(shù)包括(a)產(chǎn)生具有形狀的窗函數(shù)，該形狀是該第一和第二相平面圖像的至少一者的高頻能量含量與總能量含量的比的函數(shù)。
20.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中，產(chǎn)生窗函數(shù)包括(a)產(chǎn)生具有形狀的窗函數(shù)，該形狀是該第一和第二相平面圖像二者的高頻能量含量與總能量含量的比的函數(shù)。
21.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中，該關(guān)聯(lián)包括分數(shù)正規(guī)化。
22.如權(quán)利要求21所述的計算機程序產(chǎn)品，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)包括使用具有范圍在零至一的值的指數(shù)。
23.如權(quán)利要求21所述的計算機程序產(chǎn)品，其中，包括分數(shù)正規(guī)化的該關(guān)聯(lián)包括使用由封閉式的解析式或查找表所產(chǎn)生的指數(shù)值。
24.一種相平面關(guān)聯(lián)器，包括(a)傅立葉轉(zhuǎn)換模塊，配置為轉(zhuǎn)換第一和第二時域圖像，以分別創(chuàng)建第一和第二相平面圖像；(b)高頻估計器，配置為估計第一和第二相平面圖像的高頻含量；(c)自適應窗函數(shù)產(chǎn)生器，配置為回應該高頻含量而產(chǎn)生窗函數(shù)；(d)混合器，配置為將該窗函數(shù)與該第一和第二相平面圖像的各者混合，以分別提供第一和第二窗表面；(e)關(guān)聯(lián)器，配置為關(guān)聯(lián)該第一和第二窗表面，以形成頻域關(guān)聯(lián)相平面表面；及(f)反轉(zhuǎn)傅立葉轉(zhuǎn)換模塊，配置為轉(zhuǎn)換該頻域關(guān)聯(lián)相平面表面，以提供圖像平面關(guān)聯(lián)表
25.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其中，該高頻估計器配置為在至少一個該相平面圖像表面的一部分測量高頻含量。
26.如權(quán)利要求25所述的相平面關(guān)聯(lián)器，其中，該部分是邊緣部分。
27.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其中，自適應窗函數(shù)產(chǎn)生器包括用于產(chǎn)生具有形狀的窗函數(shù)的手段，該形狀是該第一和第二相平面圖像的至少一者的高頻能量含量與總能量含量的比的函數(shù)。
28.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其中，自適應窗函數(shù)產(chǎn)生器包括用于產(chǎn)生具有形狀的窗函數(shù)的手段，其是第一和第二相平面圖像二者的高頻能量含量與總能量含量的比的函數(shù)。
29.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其是視頻幀關(guān)聯(lián)器的一部分。
30.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其是視頻數(shù)據(jù)壓縮系統(tǒng)的一部分。
31.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其是視頻處理系統(tǒng)的一部分。
32.如權(quán)利要求M所述的相平面關(guān)聯(lián)器，其中，該關(guān)聯(lián)器還配置為包括分數(shù)正規(guī)化。
33.如權(quán)利要求32所述的相平面關(guān)聯(lián)器，其中，還配置為包括分數(shù)正規(guī)化的該關(guān)聯(lián)器使用具有范圍在零至一的值的指數(shù)。
34.如權(quán)利要求32所述的相平面關(guān)聯(lián)器，其中，還配置為包括分數(shù)正規(guī)化的該關(guān)聯(lián)器使用由封閉式的解析式或查找表所產(chǎn)生的指數(shù)值。
全文摘要
在相平面關(guān)聯(lián)(PPC)工藝中，采用自適應頻域濾波，以幫助產(chǎn)生候選的運動向量。在PPC工藝之前，測定預濾波輸入圖像是否有利。此導致比其它情況更可靠和一致的PPC表面。濾波器是用于頻域，其中在有就地窗(in-place window)的情況下，時域卷積(time-domain convolution)會成為更有效率的分量形式(component-wise)的乘法(multiplication)。在計算的傅立葉表面的高頻含量的能量測量，測量圖像中的高頻含量的程度。首先，計算兩個圖像的傅里葉轉(zhuǎn)換。接著，從傅立葉表面估計高頻含量。計算窗函數(shù)作為高頻能量的函數(shù)。窗被應用于傅立葉表面。然后，修改的傅立葉表面送入PPC工藝。
文檔編號H04N7/26GK102282848SQ200980154534
公開日2011年12月14日 申請日期2009年11月20日 優(yōu)先權(quán)日2008年11月20日
發(fā)明者G·F·弗雷登哈根 申請人:Ati技術(shù)無限責任公司