專利名稱：用于視頻圖像數(shù)據(jù)中的基于行的運動估計的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于視頻圖像數(shù)據(jù)中的基于行的運動估計的方法和裝置，并且特 別針對基于行的場率上轉(zhuǎn)換運動估計視頻圖像數(shù)據(jù)。本發(fā)明還涉及一種電視機、一種計算 機程序產(chǎn)品和包括計算機程序的數(shù)據(jù)載體。
背景技術(shù)：
本發(fā)明涉及一種基于行的運動估計和運動補償設(shè)備，更具體地，涉及一種對運動 矢量進(jìn)行估計并對色度子采樣/非子采樣的視頻幀/場的隔行掃描/非隔行掃描序列執(zhí)行 運動補償預(yù)測的運動估計和運動補償設(shè)備。下文中，將關(guān)于對視頻處理裝置(如具有行存儲設(shè)備的微 處理器或微控制器)內(nèi) 的用于基于行的運動估計和運動補償?shù)囊曨l信號進(jìn)行的處理來描述本發(fā)明及其潛在問題， 而應(yīng)當(dāng)注意，本發(fā)明不限于該應(yīng)用，而還可以用于其他視頻處理裝置?；?00/120HZ幀率甚至更高幀率的電視機的市場倡導(dǎo)要求開發(fā)可靠的場/幀率 上轉(zhuǎn)換(FRU)技術(shù)來移除畫面中的偽像，如大面積閃爍和線條閃爍。對要在顯示器上顯示 的缺失圖像場進(jìn)行插值而不執(zhí)行對連續(xù)圖像場中的運動目標(biāo)的運動估計和補償?shù)臉?biāo)準(zhǔn)FRU 方法，在許多應(yīng)用中是令人滿意的，特別是在圖像的較好的質(zhì)量和上述偽像的減少的方面 尤其如此。然而，許多畫面包含引起所謂的運動抖動的運動目標(biāo)，如人、字幕等。參照圖1更好地理解該問題，其中，假設(shè)原始圖像場(即，發(fā)送和接收到的圖像場) 中的運動目標(biāo)(白方塊)的運動軌跡是直線的。如果缺失場/幀是由通過上述標(biāo)準(zhǔn)FRU方 法(即，沒有運動估計和補償)插值產(chǎn)生的，則插值后的場中的運動目標(biāo)(黑灰方塊)的運 動不在觀察者預(yù)期的位置上(虛方塊)。這樣的偽像是可見的并引入模糊效應(yīng)，特別是快速 運動目標(biāo)的模糊效應(yīng)。典型地，這些模糊效應(yīng)顯著地降低了所顯示圖像的質(zhì)量。為了避免這樣的模糊效應(yīng)并減少偽像，提出了多種運動估計和運動補償(或簡稱 MEMC)的方法。該MEMC提供了，對接收到的圖像場內(nèi)的運動部分或目標(biāo)的檢測，然后根據(jù)所 估計的運動通過對所估計的場中的缺失目標(biāo)或部分進(jìn)行插值來對缺失場進(jìn)行插值。圖2示意性示出了兩個連續(xù)圖像場之間運動目標(biāo)的位置的改變。在兩個連續(xù)接收 的圖像場/幀之間，運動目標(biāo)將已改變了它們的位置，例如位置A中先前場/幀T中的目標(biāo) MO隨后在當(dāng)前場/幀T+1中位于位置B。這表明，從先前場/幀T至當(dāng)前場/幀T+1存在 運動。連續(xù)圖像場/幀中目標(biāo)的這種運動可以由所謂的運動矢量表示。運動矢量AB表示 從先前場T中的位置A至當(dāng)前場/幀T+1中的位置B的目標(biāo)MO的運動。該運動矢量AB典 型地具有水平和垂直矢量分量。從先前場T中的點A開始并將該運動矢量AB應(yīng)用于目標(biāo) M0，然后將目標(biāo)MO平移到當(dāng)前場/幀T+1中的位置B。必須通過考慮運動目標(biāo)MO的相應(yīng)位 置A、B，對先前場T和當(dāng)前場T+1插值來計算必須進(jìn)行插值的缺失場/幀T+1/2中的目標(biāo) MO的缺失位置I。如果目標(biāo)MO在先前場/幀和當(dāng)前場/幀之間沒有改變其位置，例如，如 果A和B是相同的，則通過將A平移運動矢量IAB I/2來獲得缺失場中位置I。這樣，利用位 于正確位置的運動目標(biāo)插值出缺失場T+1/2，從而有效地避免模糊效應(yīng)。
基于行的MEMC的一個主要問題是屏幕上幀或場內(nèi)的最高的第一行。對于該第一 行，MEMC是非常困難的，特別是對于測試和更新并入到MEMC中的處理尤其困難。對于基 于行的運動估計，非常有利的是，對于場景中的實際運動運動矢量將快速 收斂。因此，對于幀或場的不同行，可以實現(xiàn)測試和/或更新處理。在場或幀的每一行中，用 所選運動矢量來測試用于更新目的的上方行的運動矢量。然而，該測試和更新處理不能夠 用于幀或場內(nèi)的第一行，這是由于在第一行之上沒有可以用于更新和測試目的的任何行。 這導(dǎo)致畫面的上半部中的模糊/抖動效應(yīng)。

發(fā)明內(nèi)容
因此，基于以上目的本發(fā)明提供了更好地特別是能夠更可靠地在基于行的運動估 計實現(xiàn)方式中選擇特別用于場或幀的第一行的運動矢量的可能性。根據(jù)本發(fā)明，提供了一種包括權(quán)利要求1的特征的方法，和/或一種包括權(quán)利要求 10的特征的裝置、和/或一種包括權(quán)利要求12的特征的電視機、和/或一種包括權(quán)利要求 13的特征的計算機程序產(chǎn)品、和/或一種包括權(quán)利要求14的特征的數(shù)據(jù)載體。因此，提供了 一種特別針對運動畫面的連續(xù)幀/場中的場率上轉(zhuǎn)換、用于視頻圖像數(shù)據(jù)中的基 于行的運動估計的方法，所述方法包括以下步驟提供包括幀或場的若干視頻行或這些視 頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻信號；通過對視頻圖像數(shù)據(jù)進(jìn)行基于行的檢測和 分析并根據(jù)檢測到的運動導(dǎo)出運動矢量來執(zhí)行運動估計；其中，運動估計采用用于對場或 幀內(nèi)的不同行進(jìn)行測試和更新的匹配處理，并且，與相同幀或場的其他行相比，對于場或幀 的第一行，該匹配處理是不同的。_ 一種特別針對運動畫面的連續(xù)幀或場中基于行的運動估計和補償?shù)膱雎噬限D(zhuǎn) 換，用于視頻圖像數(shù)據(jù)中的基于行的運動估計的裝置，其中，所述裝置被配置為執(zhí)行根據(jù)本 發(fā)明的方法。一種電視機，包括提供視頻輸入信號的模擬或數(shù)字輸入端子；從視頻輸入信號 產(chǎn)生基于行的視頻信號的設(shè)備，所述視頻輸入信號包括畫面的視頻行和視頻行的一部分的 視頻圖像數(shù)據(jù)；執(zhí)行根據(jù)權(quán)利要求1所述的基于行的運動估計和運動補償?shù)难b置；使用運 動補償后的圖像輸出信號來顯示運動補償后的畫面的屏幕。-一種包括代碼在內(nèi)的計算機程序產(chǎn)品，所述代碼被配置為實現(xiàn)根據(jù)本發(fā)明的方法。-一種包括根據(jù)本發(fā)明的計算機程序產(chǎn)品在內(nèi)的數(shù)據(jù)載體。在運動估計的處理期間，計算適合于在后續(xù)運動補償處理中使用的若干運動矢 量。出于更新的目的，行內(nèi)不同的運動矢量被用于測試上方行的運動矢量。本發(fā)明的基本 思想在于，對于測試和更新，與相同幀或場的其他行相比，以不同方式處理該幀或場內(nèi)的第 一行。這里，特別地，具有預(yù)定義幅度的規(guī)則振蕩函數(shù)可以被應(yīng)用于測試和更新第一行的運 動矢量。通過應(yīng)用這種類型的預(yù)定義函數(shù)，能夠令人意外地提供用于第一行內(nèi)的運動矢量 的簡單但有效的測試和更新處理。由于第一行內(nèi)沒有或不良測試的運動矢量而導(dǎo)致的模糊 和/或抖動效應(yīng)不會出現(xiàn)或至少被顯著降低。該更新方法還支持在已經(jīng)出現(xiàn)場景改變之后的矢量場的快速收斂。此外，全局運動矢量的快速查找顯著加快。本發(fā)明還描述了一種用于運動估計和運動補償?shù)姆椒?，該方法僅沿一個方向操作，從而使用至少一個單行緩沖存儲器(所謂的行存儲器)來執(zhí)行運動估計和運動補償操 作。這能夠提供將芯片嵌入式存儲器減小為針對先前場或幀的一個單行存儲器，和針對當(dāng) 前場或幀的一個單行存儲器。這有利地實現(xiàn)了顯著的硅面積減小和成本節(jié)省的實現(xiàn)方式。參照附圖，在其他從屬權(quán)利要求和在以下描述中可以發(fā)現(xiàn)本發(fā)明的優(yōu)點、實施例 和其他改進(jìn)。在優(yōu)選實施例中，針對每一幀或場的第一行，為所選運動矢量加載根據(jù)預(yù)定義函 數(shù)逐像素變化的預(yù)定義矢量值，其中，預(yù)定義函數(shù)具有預(yù)定義幅度。在優(yōu)選實施例中，規(guī)則振蕩函數(shù)，特別是鋸齒函數(shù)和/或正弦函數(shù)和/或三角函 數(shù)，被用于確定第一行的逐像素的運動矢量。在優(yōu)選實施例中，對于幀或場的其他行，通過對要測試的行以上的相應(yīng)行的相應(yīng) 像素的運動矢量進(jìn)行測試來進(jìn)行匹配處理。在優(yōu)選實施例中，對至少一個所選運動矢量進(jìn)行改變，以發(fā)起運動估計處理和/ 或遵循與恒定運動的偏離。在優(yōu)選實施例中，該方法包括以下步驟通過檢測和分析視頻圖像數(shù)據(jù)并根據(jù)檢 測到的運動導(dǎo)出運動矢量來執(zhí)行運動估計，其中，運動矢量僅包含針對沿一個方向(特別 是沿著水平方向)的目標(biāo)運動的運動數(shù)據(jù)；使用用于運動補償?shù)倪\動矢量來對畫面進(jìn)行插值。在優(yōu)選實施例中，針對匹配處理，亮度簡檔和/或色度簡檔被用作匹配參數(shù)。在優(yōu)選實施例中，采用基于SAD的方法和/或基于ADRC的方法進(jìn)行亮度和/或色 度值的比較。在優(yōu)選實施例中，運動矢量僅包含針對沿一個方向(特別是水平方向)的目標(biāo)運 動的運動數(shù)據(jù)。在優(yōu)選實施例中，該裝置是集成電路和/或在微控制器或微處理器中實現(xiàn)的。


為了更完全地理解本發(fā)明及其優(yōu)點，現(xiàn)在結(jié)合附圖參照以下描述。以下使用在附 圖中示出的實施例以非限制示例更詳細(xì)地說明本發(fā)明，在附圖中圖1示出了標(biāo)準(zhǔn)(即，非運動補償?shù)?FRU方法的結(jié)果；圖2示出了兩個連續(xù)接收到的圖像場之間運動目標(biāo)的位置變化；圖3通過當(dāng)前幀/場和相應(yīng)先前幀/場示出了基于行的運動估計的運動估計原 理；圖4示出了根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第一實施例的框圖；圖5示出了對運動估計的匹配處理進(jìn)行示意的示例；圖6示出了若干行的場的示意，以示意根據(jù)本發(fā)明的用于測試和更新第一行內(nèi)運 動矢量的方法；圖7示出了根據(jù)本發(fā)明的用于更新第一行內(nèi)運動矢量的過程的詳細(xì)示例；圖8示出了示意了根據(jù)本發(fā)明的基于行的運動估計的實施例的框圖9示出了使用被分配給同樣用于運動估計設(shè)備的去隔行器設(shè)備的行存儲器的、 根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第二實施例的框圖。在所有附圖中，除非另外明確說明，相同或至少具有相同功能的元件、特征和信號 被提供了相同的參考符號、描述和縮寫。
具體實施例方式在本發(fā)明的以下描述中，首先提供運動估計和運動補償?shù)暮喍谈攀?。MEMC方法主要由兩部分組成，運動估計和運動補償方法。運動估計執(zhí)行對運動的 測量，并導(dǎo)出以像素每畫面(即，場或幀)為單位的顯示區(qū)域的速度。同樣運動方向?qū)⒂烧?號或負(fù)號來指示。這些所測量的運動信息以運動矢量的形式來描述。運動矢量用于運動補 償，以在精確的時間位置對畫面進(jìn)行插值，并避免所謂的抖動效應(yīng)和/或所謂的運動模糊 效應(yīng)。圖3通過當(dāng)前畫面(場或幀)10 (η)和相應(yīng)的先前畫面11 (n-1)示出了基于行的運 動估計的運動估計原理。根據(jù)時間位置，將運動矢量12、13按其長度分成兩個部分，其中， 第一矢量部分12指向先前畫面11，第二矢量部分13指向當(dāng)前畫面10。為了插值當(dāng)前和先 前畫面10、11之間的缺失畫面14(n-l/2)，考慮來自兩個時間畫面10、11的像素15來進(jìn)行 補償。在基于行的MEMC中，在相同時刻僅使用相同行16內(nèi)的像素15，并且僅針對場或幀的 單行16執(zhí)行MEMC。對于這種類型的MEMC，將當(dāng)前畫面10的像素15與先前畫面11的相應(yīng) 像素15進(jìn)行比較以估計和補償缺失畫面14的相應(yīng)像素15。圖4示出了根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的框圖。MEMC系統(tǒng)由參考數(shù)字20表 示。MEMC系統(tǒng)20包括輸入端子21、總線22、兩個行存儲器23、24、運動估計設(shè)備25、運動 補償設(shè)備26、以及輸出端子27。假設(shè)，總線22是外部總線，特別是外部存儲器總線22。然 而，還可能的是，總線22是內(nèi)部總線22。在輸入側(cè)，總線22連接至外部存儲器設(shè)備28，如 SDRAM,DDR-RAM等。將要在面板29 (如等離子或IXD面板或CRT屏幕)中顯示的圖像數(shù)據(jù) 存儲在該外部存儲器28中。經(jīng)由輸入端子21和存儲器總線22，將該圖像數(shù)據(jù)XI、ΧΓ傳 送至兩個行存儲器23、24。根據(jù)本發(fā)明的一實施例，僅需要兩個行存儲器23、24，而第一行 存儲器23用于對先前畫面的圖像數(shù)據(jù)Xl進(jìn)行緩沖，另一行存儲器24用于對當(dāng)前畫面的圖 像數(shù)據(jù)ΧΓ進(jìn)行存儲。本專利申請中所使用的行存儲器23、24指示了大小為幀或場的一個視頻行或至 少小于輸入視頻信號流或?qū)嶋H處理視頻信號流的嵌入式存儲器。場表示包括奇或偶數(shù)行的 視頻圖像或畫面。幀表示由一幅畫面的完整視頻信息組成的視頻圖像，即，由奇數(shù)行的場和 偶數(shù)行的相應(yīng)場構(gòu)成的視頻圖像。行表示一個視頻畫面的場內(nèi)的整個水平行或該行的至少 一部分。行存儲器23、24在它們的輸出側(cè)均耦合至運動估計設(shè)備25和運動補償設(shè)備26。 這使得能夠?qū)⒃谛写鎯ζ?3、24中存儲的圖像數(shù)據(jù)Χ1、ΧΓ分別傳送至運動估計設(shè)備25和 運動補償設(shè)備26。在圖4中，與運動估計設(shè)備25相對應(yīng)的數(shù)據(jù)信號由Χ2、Χ2’表示，并且 與運動補償設(shè)備26相對應(yīng)的數(shù)據(jù)信號由Χ3、Χ3’表示。運動估計設(shè)備25通過采用匹配處理，由存儲在行存儲器23、24中的圖像數(shù)據(jù)Χ2、 Χ2’產(chǎn)生運動矢量信號Χ4。將該矢量信號Χ4傳送至運動補償設(shè)備26。運動補償設(shè)備26使用存儲在行存儲器23、24中的圖像數(shù)據(jù)X3、X3’并將矢量數(shù)據(jù)X4應(yīng)用于該圖像數(shù)據(jù)X3、X3’ 來執(zhí)行運動補償。在輸出端子27處，運動補償設(shè)備27提供包括針對運動補償后的畫面的 信息在內(nèi)的視頻信號X5。經(jīng)由輸出端子27將該視頻信號X5傳送至顯示器29，如IXD面板 29等。關(guān)于圖5，下文中將更詳細(xì)地描述運動估計設(shè)備25的操作為了運動估計，采用匹配處理來選擇最適于給定數(shù)量的像素30的相應(yīng)像素序列 32。為了該選擇，從當(dāng)前幀32的行存儲器24中獲取應(yīng)針對其確定運動的中心像素31周圍 的當(dāng)前幀的行的給定數(shù)量的像素30。下文中，該給定量的像素30被表示為像素序列30。在 本實施例中，像素序列30包括9個單個像素33。應(yīng)當(dāng)理解，該序列還可以包括更多或更少 數(shù)量的像素33。為了選擇，將像素33的亮度簡檔用作匹配參數(shù)。亮度是沿給定方向的光強的密度 的光度測量。它描述了通過特定面積或從該特定面積發(fā)出和落在給定立體角內(nèi)的光量。因 此，亮度是運動畫面幀中明度的光度測量。如果亮度為高，則畫面亮，如果亮度為低則該畫 面暗。因此，亮度是畫面的黑白部分。
該亮度簡檔用于從先前幀35中找出與當(dāng)前幀/場32的9像素序列30最符合的9 像素序列34(根據(jù)質(zhì)量，針對匹配處理可以使用更多或更少的像素)。在圖5的實施例中， 將當(dāng)前幀32的9像素序列30的亮度簡檔與先前幀35的若干相應(yīng)的9像素序列34的亮度 簡檔進(jìn)行比較。為了導(dǎo)出真實的運動，9像素序列30將沿著水平方向36在搜索范圍上移 動。假設(shè)顯示出(與當(dāng)前幀32的9像素序列30)最佳亮度簡檔匹配的先前幀35的9像素 序列34是正確的像素序列。然后，將這些像素序列30、34用于計算運動矢量。該搜索范圍的典型值包括，例如64個像素(+31...-32)。然而，還可以使用少于 64個像素；然而，該比較的結(jié)果質(zhì)量逐漸下降。另一方面，還可以使用多于64個像素。則 選擇結(jié)果的質(zhì)量提高，然而，這需要更多的計算量。因此，典型地，采用在選擇結(jié)果的最佳質(zhì) 量與同時地最小計算量之間提供最優(yōu)化的折衷。在優(yōu)選實施例中，針對每個所選運動矢量37，以上述方式來執(zhí)行單個匹配處理。通 過為每個像素序列30分配質(zhì)量等級和/或失敗等級來執(zhí)行該匹配處理。然后，將質(zhì)量等級 和/或失敗等級分配給經(jīng)歷匹配處理的那些像素序列30中的每一個。選擇具有最高質(zhì)量 等級和/或最低失敗等級的那些像素序列30作為最可能的像素序列。然后，將這些像素序 列30用于計算針對水平運動的運動矢量。典型地，但非必要地，將SAD方法(SAD =絕對差 的和)和/或ADRC方法用于亮度和/或色度值的比較。予頁誅調(diào)運云力矢I樣本來講行運云M古i十假設(shè)場景中目標(biāo)的運動是逐幀(場)恒定的，并且目標(biāo)大于像素序列(例如，上述 9個像素)，則如果針對亮度簡檔的匹配檢查預(yù)選的運動矢量37 (所謂的運動矢量樣本37) 的集合38，則可以更高效地執(zhí)行匹配處理(參見圖5)。例如，可以從鄰近像素獲取一個所 選運動矢量37。如果將已經(jīng)估計的運動矢量存儲在特別針對不同運動矢量樣本設(shè)計的矢量 存儲器中，則可以從先前行獲取第二所選運動矢量。指示目標(biāo)沒有運動的零矢量典型地是最常用的運動矢量樣本之一。使用該零矢 量，以便于更高效地檢測未示出運動的畫面內(nèi)的區(qū)域。原則上，將要考慮的預(yù)選運動矢量37 的數(shù)量完全取決于期望的運動矢量質(zhì)量類型。
所詵運動矢量的變化為了發(fā)起運動估計處理，并遵循與恒定運動的偏離，出于測試操作目的，可能需要特定預(yù)選運動矢量的變化。這表明對于預(yù)選運動矢量樣本，將加上或減去特定量的運動。這可以通過向這些運動矢量應(yīng)用具有不同運動速度量值的變化來實現(xiàn)。所測試的實現(xiàn)方式在先前確定的運動矢量上，在交替更新+/-1像素和+/_4像素的奇像素和偶像素之間進(jìn)行檢查。根據(jù)需要或根據(jù)提出的需求，對變化的選擇是可調(diào)整和可變的，例如對變化的選擇取決于輸入視頻信號的分辨率。第一行運動矢量的處理對于基于行的運動估計，運動矢量針對場景中的真實運動快速收斂將是非常有利的。因此，針對幀或場的第一行以不同方式處理對所測試的運動矢量的選擇。對于幀或場的第一行，由于需要進(jìn)行測試的第一行之上的行不存在，因此無法以正常方式進(jìn)行測試。在每個場的第一行中，為正常測試上方行的運動矢量的所選運動矢量加載例如根據(jù)三角函數(shù)逐像素變化的矢量值。三角函數(shù)在可調(diào)整的最小值和可調(diào)整的最大值之間振蕩。出于該目的，還可以采用其他規(guī)則振蕩函數(shù)(例如鋸齒函數(shù)、正弦函數(shù)等)來確定第一行的運動矢 量。圖6示出了若干行的場/幀的示意，以示意根據(jù)本發(fā)明的用于測試和更新第一行內(nèi)運動矢量的方法。在圖6中，場由參考數(shù)字40表示。應(yīng)當(dāng)注意，根據(jù)本發(fā)明的方法還可以用于幀或幀或場的一部分而不是場40。在圖6所示的實施例中，幀/場40包括若干行41，而最高的第一行由參考數(shù)字41’表示。每行41、41，包括多個像素42、42，，而第一行41，內(nèi)的像素由參考數(shù)字42，表示。在針對不同行41、41’內(nèi)的每個像素42、42’的運動估計期間，例如基于如上所述的SAD方法、ADRC方法等來計算運動矢量。然后，將這些運動矢量用于基于行的運動補償。對于測試和更新處理，基于緊鄰上方行41上的像素42的相應(yīng)運動矢量，來測試被分配給相應(yīng)行41內(nèi)的特定像素42的運動矢量。在圖6中基于場40的中間部分中的三個行41a至41c來描述該處理的示例。此處，被分配至像素42a的運動矢量A用于測試相鄰下方行41b的像素42b的運動矢量B。因此，基于以上運動矢量A來測試運動矢量B。此外，然后，該運動矢量B用于測試緊鄰下方行42c的像素42c的運動矢量C。針對場40的所有行，采用該測試和更新處理。然而，對于第一行41’，由于在第一行41’之上沒有行則如上所述的測試和更新處理是不可能的。出于對該第一行41’的像素42’的不同運動矢量進(jìn)行測試和更新的目的，采用具有預(yù)定幅度和特性的預(yù)定義函數(shù)來測試被分配至第一行41’的不同像素42’的運動矢量。關(guān)于圖7示出了上述內(nèi)容。圖7示出了根據(jù)本發(fā)明的用于更新第一行內(nèi)運動矢量的過程的詳細(xì)示例。優(yōu)選地，預(yù)定義函數(shù)是規(guī)則振蕩函數(shù)。在圖7中，該振蕩函數(shù)是在幅度X和-X之間振蕩的正弦函數(shù)50。對于預(yù)定義的時間點tl-t7從像素42到像素42’確定正弦函數(shù)50的相應(yīng)值X1-X7。為了確定正弦函數(shù)50的不同值51，時間點tl-t7中的兩個時間點之間的持續(xù)時間At應(yīng)當(dāng)是恒定的。然后，將分別被分配至行41’內(nèi)的不同像素42’的確定值X1-X7用于測試和更新相應(yīng)像素42’內(nèi)的相應(yīng)運動矢量。然后，給這些像素的運動矢量加載有利地為所確定的值 X1-X7的函數(shù)的特定值f (Xl)-f (X7)。還能夠使用任何其他三角函數(shù)或鋸齒函數(shù)來確定值X1-X7，以測試第一行41’中 的運動矢量，而不使用正弦函數(shù)50。匹配處理
在優(yōu)選實施例中，匹配處理將失敗值分配至每個所測試的運動矢量。在另一實施 例中，該值還可以是質(zhì)量值。還可以評估失敗值和質(zhì)量值用于匹配處理。優(yōu)選地，將絕對差 的和(SAD)用作失敗值或至少用于導(dǎo)出失敗值。理想地，為了找到最優(yōu)運動矢量，需要失敗 值為零。然而，典型地，失敗值不同于零。因此，然后，選擇與最低失敗值相對應(yīng)的運動矢量 作為表示局部場景中目標(biāo)運動的最可能的運動矢量。矢量詵擇的衰減、矢量阻尼在優(yōu)選實施例中，使用取決于不同運動矢量的矢量衰減的阻尼值。這使得能夠以 相等失敗值控制運動矢量和/或為運動矢量選擇處理提供特定方向。矢量存儲器有利地，將不同運動矢量存儲在矢量存儲器中。然后，從矢量存儲器取出這些運動 矢量(如果需要)，用于其他處理和/或用于后繼像素的運動估計。運動估計處理形成遞歸過程。因此，該矢量存儲器的大小主要取決于匹配處理的 期望質(zhì)量等級。在一個實施例中，所測試的實現(xiàn)方式僅包括矢量存儲器的一行。在該矢量 存儲器中，將交替存儲每隔一個的運動矢量，使得對來自上方的所測量行的運動矢量的存 取是可能的。通過提供矢量肓方圖的魯棒性改進(jìn)在優(yōu)選實施例中，計算運動矢量直方圖以便創(chuàng)建高度可靠并均勻的運動矢量場。 該矢量直方圖允許矢量多數(shù)排序?qū)С鰧嶋H場景中最多和較少使用的運動矢量。如上所述以及如圖4所示的運動估計設(shè)備25中實現(xiàn)的，圖8示出了根據(jù)本發(fā)明的 基于行的運動估計的實施例的框圖。運動估計設(shè)備或模塊25包括匹配設(shè)備80、成本/質(zhì)量功能設(shè)備81、以及矢量選 擇器設(shè)備82，這些設(shè)備以串聯(lián)的方式布置在運動估計設(shè)備25的輸入側(cè)83和運動估計設(shè)備 25的輸出側(cè)84之間，其中，在運動估計設(shè)備25的輸入側(cè)83，提供存儲在兩個行存儲器23、 24中的圖像數(shù)據(jù)信號XI、ΧΓ，運動矢量信號X4出現(xiàn)在運動估計設(shè)備25的輸出側(cè)84。在 設(shè)備元件80-82中，實現(xiàn)關(guān)于圖5描述的匹配處理和矢量選擇。運動估計設(shè)備25還包括一方面連接至輸入側(cè)83另一方面連接至輸出側(cè)84的矢 量質(zhì)量設(shè)備85。矢量質(zhì)量設(shè)備85由圖像數(shù)據(jù)信號Χ1、ΧΓ和運動矢量信號Χ4產(chǎn)生包括矢 量質(zhì)量的信息在內(nèi)的質(zhì)量信號Χ6。運動估計設(shè)備25還包括以串聯(lián)的方式布置在輸出側(cè)84和匹配設(shè)備80之間的反 饋路徑中的矢量直方圖設(shè)備86和矢量多數(shù)設(shè)備87。這里，在設(shè)備元件86、87中，產(chǎn)生矢量 直方圖來提供實際場景中最多和較少使用的矢量的排序。運動估計設(shè)備25還可以包括另一行存儲器88來存儲運動矢量數(shù)據(jù)Χ4和/或針 對矢量質(zhì)量的數(shù)據(jù)Χ6。運動估計設(shè)備25還包括矢量樣本設(shè)備89。該矢量樣本設(shè)備89還可以被布置在反饋路徑中，并在其輸入側(cè)與行存儲器88、矢量多數(shù)設(shè)備87連接，并有利地與另一設(shè)備90連接。該另一設(shè)備90通過使用具有特定幅度的特殊信號(例如，正弦信號、鋸齒信號等)來 執(zhí)行運動矢量樣本的改變。然后，該特定信號被用于幀或場的第一行的測試和/或匹配處 理和更新處理。然而，還可以隨機更新幀或場的不同行。在矢量樣本設(shè)備89的輸出側(cè)，矢 量樣本設(shè)備89在其輸出側(cè)連接至匹配設(shè)備80。運動估計設(shè)備25還包括垂直運動估計設(shè)備91。對于垂直運動，上述一維運動估計 算法不能充分補償沿垂直方向的運動。然而，垂直運動的出現(xiàn)可以被用于通過將畫面分成 不同的區(qū)域來導(dǎo)出針對每個區(qū)域的垂直運動，以減少畫面的相同區(qū)域中的補償。在這種情 況下，將對相同畫面的不同區(qū)域中的行的亮度值進(jìn)行求和，并針對該畫面的每一行單獨存 儲相同畫面的不同區(qū)域中的行的亮度值。這導(dǎo)致了針對相同畫面的不同區(qū)域的累積的垂直 簡檔。然后，將整個畫面劃分成較小的區(qū)域，來導(dǎo)出針對這些區(qū)域中的每一個的垂直運動。 在垂直運動估計設(shè)備91中執(zhí)行該垂直運動估計處理，垂直運動估計設(shè)備91連接至輸入側(cè) 83并在其輸出側(cè)提供基于部分的垂直運動索引X7。因此，如上所述的垂直MEMC可以與水平MEMC無關(guān)地執(zhí)行也可以與水平MEMC組合 地來執(zhí)行，其中，可以分別根據(jù)特定情況或存在的運動來執(zhí)行組合。此外，這樣的方法允許 實現(xiàn)垂直MEMC，垂直MEMC不需要大量的附加存儲器容量來分析連續(xù)幀/場的數(shù)據(jù)，而需要 大量的附加存儲器容量是現(xiàn)有技術(shù)的大多數(shù)方法的情況。運動估計設(shè)備25還包括矢量阻尼設(shè)備92。在該阻尼設(shè)備92中，如上所述的阻尼 值可以被用于對矢量樣本設(shè)備89的矢量樣本進(jìn)行阻尼，并向矢量選擇器82提供阻尼后的 矢量樣本。圖9示出了使用被分配至同樣用于運動估計設(shè)備的去隔行器設(shè)備的行存儲器的、 根據(jù)本發(fā)明的基于行的MEMC系統(tǒng)的第二實施例的框圖。與圖4中的第一實施例不同，去隔行器設(shè)備113被布置在行存儲器110、111、112 和運動補償設(shè)備26之間。去隔行器設(shè)備113典型地用于將由視頻數(shù)據(jù)流表示的場轉(zhuǎn)換成 隨后同樣由另一視頻數(shù)據(jù)流表示的完整幀?；诖鎯ζ鳌⒂糜谝曨l處理的片上解決方案具有現(xiàn)有的內(nèi)部行緩沖器 110-112(所謂的行存儲器110-112)，該內(nèi)部行緩沖器110-112承載來自先前和當(dāng)前場或幀 的視頻數(shù)據(jù)。這些行緩沖器110-112可以位于例如自適應(yīng)操作運動的時間噪聲降低或去隔 行單元113內(nèi)。利用所提出的基于行的MEMC，這些行緩沖器附加地可以針對運動估計進(jìn)行 重用。為此并且為了降低來自影片源的運動抖動偽像，使用下拉(pull-down)模式的指示 當(dāng)前插值序列的影片檢測器。行緩沖器選擇器根據(jù)先前和當(dāng)前視頻輸入信號將視頻信號數(shù) 據(jù)傳送至運動估計設(shè)備。該技術(shù)允許將現(xiàn)有的存儲器資源同樣用于運動估計，也可以防止 用于時間上轉(zhuǎn)換處理的附加帶寬。因此，針對運動估計和運動補償?shù)男酒娣e可以降低為 最小。在該實施例中，去隔行器設(shè)備113使用3個行存儲器110、111、112，這三個行存儲 器在它們的輸入側(cè)耦合至存儲器總線22并且在它們的輸出側(cè)提供行數(shù)據(jù)。可以在去隔行 器設(shè)備內(nèi)對由行存儲器110、111、112提供的該行數(shù)據(jù)進(jìn)行處理，然后將該行數(shù)據(jù)提供給運 動補償設(shè)備26。根據(jù)本發(fā)明，這些行存儲器110、111、112附加地還用于運動估計設(shè)備25。 為此，系統(tǒng)20附加地包括選擇器設(shè)備114，其中將影片序列XO提供給該選擇器設(shè)備114。然后，可以經(jīng)由存儲器總線22將該影片序列XO存儲在外部存儲器28中，并可以通過行存儲 器110、111和112從該外部存儲器28讀出該影片序列X0。對于操作，存儲在去隔行器設(shè)備 113的行存儲器110、111、112中的該數(shù)據(jù)還可以用于MEMC。為此，然后，同樣將存儲在行存 儲器110、111、112中的數(shù)據(jù)提供給運動估計設(shè)備25和運動補償設(shè)備26。盡管以上已經(jīng)示出并描述了本發(fā)明的實施例和應(yīng)用，但對于本領(lǐng)域技術(shù)人員顯而易見的是，在不背離這里描述的本發(fā)明的構(gòu)思的前提下，更多修改(除了以上所述)是可能 的。因此，本發(fā)明僅受限于所附權(quán)利要求的精神。因此，以上詳細(xì)描述應(yīng)當(dāng)視為示意性的 而非限制性的，并且應(yīng)當(dāng)理解以下權(quán)利要求包括在意在限定本發(fā)明的精神和范圍的這些權(quán) 利要求中描述的所有等同物。以上描述并不意在否定要求保護(hù)的本發(fā)明的范圍也不意在否 定其任何等同物。應(yīng)當(dāng)理解，上述數(shù)字?jǐn)?shù)據(jù)僅是示意性的，并適于最佳地提供優(yōu)化的模糊效 應(yīng)。最后，應(yīng)當(dāng)注意，上述實施例示意而非限制本發(fā)明，并且在不背離所附權(quán)利要求所限定的本發(fā)明的范圍的情況下，本領(lǐng)域技術(shù)人員將能夠設(shè)計許多備選實施例。在權(quán)利要求 中，置于括號中的任何參考符號不應(yīng)視為限制權(quán)利要求。單詞“包括”等不排除任何權(quán)利或 作為整體的說明書中所列的那些組件或步驟以外的組件或步驟的存在。組件的單數(shù)形式不 排除這樣的組件的復(fù)數(shù)形式，反之亦然。在列舉若干設(shè)備的裝置權(quán)利要求中，這些設(shè)備中的 許多設(shè)備可以由在一個或相同軟件或硬件項目來體現(xiàn)。事實僅在于，在彼此不同的獨立權(quán) 利要求中引述的特定措施并不指示這些措施的組件不能用于獲得利益。
權(quán)利要求
一種特別針對運動畫面的連續(xù)幀中的場率上轉(zhuǎn)換、用于視頻圖像數(shù)據(jù)中的基于行的運動估計的方法，所述方法包括以下步驟-提供包括幀或場的若干視頻行或這些視頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻信號(X1、X1’)；-通過對視頻圖像數(shù)據(jù)進(jìn)行基于行的檢測和分析并根據(jù)檢測到的運動導(dǎo)出運動矢量來執(zhí)行運動估計；-其中，運動估計采用用于對場或幀內(nèi)的不同行進(jìn)行測試和更新的匹配處理，并且，與相同幀或場的其他行相比，對于場或幀的第一行，該匹配處理是不同的。
2.根據(jù)權(quán)利要求1所述的方法，其中，針對每一幀或場(40)的第一行(41’)，為所選運動矢量加載根據(jù)預(yù)定義函數(shù) (50)逐像素(42’ )變化的預(yù)定義矢量值，其中，預(yù)定義函數(shù)(40)具有預(yù)定義幅度(X)。
3.根據(jù)權(quán)利要求1所述的方法，其中，規(guī)則振蕩函數(shù)(50)，特別是鋸齒函數(shù)和/或正弦 函數(shù)(50)和/或三角函數(shù)，被用于確定第一行(41’ )的逐像素的運動矢量。
4.根據(jù)權(quán)利要求1所述的方法，其中，對于幀(40)或場的其他行(41)，通過對要測試 的行(41)以上的相應(yīng)行(41)的相應(yīng)像素(42)的運動矢量進(jìn)行測試來進(jìn)行匹配處理。
5.根據(jù)權(quán)利要求1所述的方法，其中，對至少一個所選運動矢量進(jìn)行改變，以發(fā)起運動 估計處理和/或遵循與恒定運動的偏離。
6.根據(jù)權(quán)利要求1所述的方法，-其中，所述方法包括以下步驟-通過對視頻圖像數(shù)據(jù)進(jìn)行檢測和分析并根據(jù)檢測到的運動導(dǎo)出運動矢量來執(zhí)行運動 估計；-使用用于運動補償?shù)倪\動矢量來對畫面(14)進(jìn)行插值。
7.根據(jù)權(quán)利要求1所述的方法，其中，針對匹配處理，亮度簡檔和/或色度簡檔被用作匹配參數(shù)。
8.根據(jù)權(quán)利要求1所述的方法，其中，采用基于SAD的方法和/或基于ADRC的方法進(jìn)行亮度和/或色度值的比較。
9.根據(jù)權(quán)利要求1所述的方法，其中，運動矢量僅包含針對沿一個方向、特別是水平方向的目標(biāo)運動的運動數(shù)據(jù)。
10.一種特別針對運動畫面的連續(xù)幀或場中基于行的運動估計和補償?shù)膱雎噬限D(zhuǎn)換， 用于視頻圖像數(shù)據(jù)中的基于行的運動估計的裝置(20)，其中，所述裝置(20)被配置為執(zhí)行 根據(jù)權(quán)利要求1所述的方法。
11.根據(jù)權(quán)利要求10所述的裝置，其中，所述裝置是集成電路(20)和/或在微控制器或微處理器中來實現(xiàn)。
12.—種電視機，包括_提供視頻輸入信號的模擬或數(shù)字輸入端子；-從包括基于行的視頻圖像數(shù)據(jù)的視頻輸入信號產(chǎn)生基于行的視頻信號(XI、ΧΓ )的 設(shè)備；-執(zhí)行根據(jù)權(quán)利要求1所述的基于行的運動估計并提供運動補償后的圖像輸出信號 (X5、X5，)的裝置(20)；-使用運動補償后的圖像輸出信號(X5、X5’ )來顯示運動補償后的畫面的屏幕。
13.—種包括代碼在內(nèi)的計算機程序產(chǎn)品，所述代碼被配置為實現(xiàn)根據(jù)權(quán)利要求1所 述的方法。
14.一種包括根據(jù)權(quán)利要求13所述的計算機程序產(chǎn)品的數(shù)據(jù)載體。
全文摘要
本發(fā)明涉及一種特別針對運動畫面的連續(xù)幀/場中的場率上轉(zhuǎn)換、用于視頻圖像數(shù)據(jù)中的基于行的運動估計的方法和裝置，所述方法包括以下步驟提供包括幀或場的若干視頻行或這些視頻行的一部分的視頻圖像數(shù)據(jù)在內(nèi)的視頻信號；通過對視頻圖像數(shù)據(jù)進(jìn)行基于行的檢測和分析并根據(jù)檢測到的運動導(dǎo)出運動矢量來執(zhí)行運動估計；其中，運動估計采用用于對場或幀內(nèi)的不同行進(jìn)行測試和更新的匹配處理，并且，與相同幀或場的其他行相比，對于場或幀的第一行，該匹配處理是不同的。本發(fā)明還涉及電視機、計算機程序產(chǎn)品和包括計算機程序的數(shù)據(jù)載體。
文檔編號H04N5/44GK101803363SQ200880106222
公開日2010年8月11日 申請日期2008年8月5日 優(yōu)先權(quán)日2007年9月10日
發(fā)明者福爾克爾·布盧姆 申請人:Nxp股份有限公司