專利名稱：搜索全局運動矢量的方法
技術領域：
本發(fā)明涉及用于搜索與視頻序列的圖像(picture)相關的全局運動矢量的方法和設備。
本發(fā)明可以用于例如移動設備諸如照相機、移動電話或個人數字助理PDA中。
背景技術：
用于運動估算的常規(guī)方法是根據失真測量在當前塊和若干候選決組之間執(zhí)行塊匹配，并且隨后選擇引起最小失真的候選塊。由于其水平和垂直分量可以是整數或非整數取樣的平移運動而選擇候選塊。運動矢量MV限定參考圖像中的候選塊相比于在參考圖像中具有與當前圖像中的當前塊相同的位置的塊的相對位置。塊匹配處理包括計算包含在當前圖像中的當前塊與包含在參考圖像中的候選塊之間的失真值的步驟。這個計算步驟例如是基于這兩個塊之間的絕對誤差差值SAD之和的計算。通常，必須在其中查找候選塊的搜索區(qū)域具有預定大小，一般具有給定數量的行，并且所述搜索區(qū)域內的每個候選塊都必須被測試。
在所謂的全局運動估算的情況中，利用投影圖像F來確定全局運動矢量，其中投影圖像F對應于輸入圖像f沿水平(或垂直)方向的水平(或垂直)之和，如等式(1)中所示F(i,k)=Σj=0N-1f(i,j,k)---(1)]]>其中i表示圖像的行，j表示圖像的列，N表示圖像的列數，而k表示時間。
當前圖像F(k)的當前全局垂直運動矢量vig(k)等于候選垂直全局運動矢量vi，其中對于該候選垂直全局運動矢量vi，在候選運動矢量vi在沿垂直軸的第一方向上移位的在前投影的圖像F(k-1)與候選運動矢量vi在沿著與第一方向相反的第二方向移位的下一個投影的圖像(F(k+1))之間的絕對差值SAD之和是最小的，如等式(2)所示vig(k)argminvi∈sigΣj=0M-1|F(i-vi,k-1)-F(i+vi,k+1)|---(2)]]>其中M是圖像的行數，而Sig是垂直搜索組。
根據等式(2)，必須測試搜索組Sig內的每個候選運動矢量vi，以確定絕對差值SAD之和的最小值。該方法有時被稱為全搜索方法。但是，這樣的全搜索方法的計算是特別昂貴的，尤其是在高清晰圖像的情況下。

發(fā)明內容
本發(fā)明的目的是提供一種搜索全局運動矢量的方法，該方法的計算強度低于現有技術的方法。
為此，根據本發(fā)明的搜索方法的特征在于，它包括下列步驟-計算圖像沿預定軸的投影；-基于與至少一個在前投影的圖像相關的至少一個在前全局運動矢量，確定與當前投影的圖像相關的當前全局運動矢量的預測；-基于預測的當前全局運動矢量，確定運動矢量搜索組；-計算候選運動矢量沿預定軸移位的在前投影圖像與下一個投影圖像之間的失真值，所述計算步驟對于運動矢量搜索組中的不同候選運動矢量進行迭代(重復)當前全局運動矢量為最小化該失真值的候選矢量。
結果，搜索組僅包括在全局運動矢量的預測周圍的有限數量的候選運動矢量，而該搜索組比現有技術中的要寬得多，因為其被包括在下閾值vmin和上閾值vmax之間。因此，本發(fā)明允許降低搜索方法的計算成本。
根據本發(fā)明的一個實施例，預測的當前全局運動矢量是與在前投影圖像相關的在前全局運動矢量。
根據本發(fā)明的更完善的實施例，預測的當前全局運動矢量是與在前投影圖像組相關的在前全局運動矢量組的外插(extrapolation)。
根據本發(fā)明的一個實施例，搜索組包括范圍[vpred-n，vpred+n]，其中vpred是預測的全局運動矢量的值，而n是正值。有利地，搜索組還包括運動矢量候選者vpred+2q.n，其中q是不同于0到所述運動矢量候選者位于下閾值vmin和上閾值vmax之間的范圍的整數。
本發(fā)明還涉及用于實施根據本發(fā)明的搜索方法的設備。
本發(fā)明涉及移動設備，其包括用于顯示一系列圖像的屏幕、這樣的用于確定與當前圖像相關的當前全局運動矢量的設備和用于根據當前全局運動矢量來補償移動設備的運動的裝置。
本發(fā)明涉及用于編碼圖像的視頻編碼器，所述編碼器包括用于提供編碼圖像的編碼單元；用于根據編碼圖像提供解碼圖像的解碼單元；用于交付(deliver)運動補償圖像的預測單元；用于將運動補償圖像加到解碼圖像上的加法器，所述加法器的輸出被提供給預測單元的輸入；用于從輸入圖像中減去運動補償圖像的減法器；和用于向預測單元提供全局運動矢量的設備。
本發(fā)明最后涉及包括用于實施所述方法的程序指令的計算機程序產品。
本發(fā)明的這些和其他方面從下面描述的實施例中將是明白的，并將參照下面描述的實施例進行闡述。


現在，將參照附圖通過示例的方式更詳細地描述本發(fā)明，其中圖1是根據本發(fā)明的搜索全局運動矢量的方法的方框圖；圖2是根據本發(fā)明的減少的運動矢量搜索組的示意圖；和圖3是實施根據本發(fā)明的搜索方法的編碼設備的方框圖。
具體實施例方式
當前，被引入高端產品中的特征趨于轉移到低端產品，并且甚至轉移到移動產品。但是，這種轉移通常需要更經濟實施這些特征或某些修改，以適合市場。幀(速)率轉換、交錯(隔行)-逐級(逐行)轉換和穩(wěn)定拍攝(steady shot)是可以被引入到低端和/或移動產品中的特征的示例。
本發(fā)明旨在減少根據投影的圖像獲得圖像序列內的全局運動矢量所需要的計算能力。在全局運動估算的上下文中，SAD操作的數量等于候選運動矢量的數量，如前所討論的。候選運動矢量的數量與搜索組和全局運動矢量所需的分辨率成比例。在進行全局運動矢量的預測時，實現候選運動矢量數量的顯著減少。因此，實施所述預測的搜索方法有助于更一致的運動估算。
根據本發(fā)明的搜索全局運動矢量的方法首先包括步驟PROJ，即計算輸入圖像f(i，j)沿水平或垂直軸的投影F(i)，如以前等式(1)中所述。
該方法還包括步驟PRED，即確定與當前投影的圖像F(k)相關的當前全局運動矢量vig(k)的預測vpred(k)。該當前全局運動矢量的預測例如分別基于與至少一個在前投影圖像相關的至少一個在前全局運動矢量。
根據本發(fā)明的實施例，當前全局運動矢量的預測等于與在前投影圖像F(k-1)相關的在前全局運動矢量vig(k-1)。
根據本發(fā)明的更完善的實施例，當前全局運動矢量的預測等于與一組在前投影圖像{F(k-m)，...，F(k-1)}相關的一組在前全局運動矢量{vig(k-m)，...，vig(k-1)}的外插，其中m是絕對大于1的整數。該外插例如基于Lagrange(拉格朗日)線性外插(法)。由于這個外插技術的使用而實現更高的魯棒性(強度)。
根據本發(fā)明的方法包括基于當前全局運動矢量的預測來確定運動矢量搜索組的步驟SS。對在預測的全局運動矢量周圍的本地搜索組，執(zhí)行全局運動矢量的搜索。
根據本發(fā)明的一個實施例，搜索組包括初始搜索范圍[vpred-n，vpred+n]，其中vpred是運動矢量的預測值，而n是整數。在這種情況下，搜索組包括2n+1個值，用于全像素分辨率。全局運動矢量的精確度主要取決于這個初始搜索組的大小，即，取決于n的值。
對于本領域技術人員而言，顯然，n不一定是整數。例如，如果需要更準確的全局運動估算，則可以使用內插技術在子像素基礎上移位投影圖像。這導致非整數全局運動矢量。
對本領域技術人員而言，搜索組中的候選運動矢量不一定是等距的，這也將顯然的。例如，候選運動矢量之間的距離可以基于二次函數或對數函數。這導致全局運動矢量的更為精細的調諧。
選擇在初始搜索組外部的幾個候選運動矢量增強該方法的魯棒性。為此，搜索組還包括附加的候選運動矢量。這對于搜索方法將集中到實際的全局運動矢量的方式有影響。圖2中給出了一組測試矢量的示例。整個組的候選運動矢量描述在下面的公式中{vk∈vpred-n，vpred+n，vpred+p·dv，p∈N}∪{vk∈[vmin，vmax]，vpred+2q.n，q∈N，q≠0}其中dv是運動矢量單元，其可以為非整數。
對本領域技術人員而言，將明白，搜索組的附加候選運動矢量不必是等距的。它們也可以基于二次函數或對數函數來確定，如前所述。
如下計算對于搜索方法的最大效率的最優(yōu)候選運動矢量組。
可能的候選運動矢量的總數為pmax=vmax-vmindv]]>。
初始搜索組中的候選運動矢量的數量為s=2ndv]]>。
該方法的效率如下η=pmaxpmaxs+s-1]]>。
如下推導出最優(yōu)搜索組d(pmaxs+s-1)ds=0⇒sopt=±pmax,]]>并且最大效率則為⇒η=pmax2pmax-1≈pmax2]]>。
該搜索方法最后包括步驟CAL，即計算候選運動矢量vi(k)沿水平或垂直軸移位的在前投影圖像F(k-1)與下一個投影圖像F(k+r)之間的失真值，其中r是整數，正的或零。
例如，在幀速率上變換2的情況中，其中幀必須在新的時刻被內插(在這種情況中，恰好在中間)，計算在候選運動矢量vi在沿水平或垂直軸的第一方向上移位的在前投影圖像F(k-1)和候選運動矢量vi在與第一方向相反的第二方向移位的下一個投影圖像F(k+1)之間的失真值，如前面的等式(2)中所述。
對于本領域技術人員而言，將明白，該移位并不一定是對稱的。例如，在幀速率上變換3的情況中，必須分別地在原始幀時間的1/3和2/3上內插圖像。
作為另一個示例，在前投影圖像F(k-1)還可以相對于當前投影圖像F(k)(即，非移位的投影圖像)被移位。這個方法是可以例如用于圖像穩(wěn)定化的低成本解決方案。
計算步驟對于運動矢量搜索組中的不同候選運動矢量進行重復。當前全局運動矢量最后是最小化該失真值的候選運動矢量。
全局運動估算是對于整個圖像的運動的度量，即較大或多個物體的平均或支配運動具有或多或少的相同運動。它在物體或照相機的搖攝(即，平移)的檢測中找到其應用。它可以對于照相機系統(tǒng)用作穩(wěn)定拍攝，其中補償意外的照相機運動。對于顯示系統(tǒng)而言，它可以是搖鏡頭-變焦距模式的一部分，作為用于去交錯處理或幀速率上變換的運動估算的改進。
這樣的所述運動估算能夠足以結合序列中圖像的適當分段來補償視頻序列的運動。圖3示出了視頻編碼器的示例。這種視頻編碼器包括第一(程序)塊T/Q，其包括與量化塊Q串聯(lián)的直接頻率變換決，其中量化塊Q適于從輸入分段的圖像f中產生量化的分段圖像；和熵編碼塊EC，適于從量化的分段圖像中產生編碼的分段圖像BS。視頻編碼器還包括解碼單元，該解碼單元包括串聯(lián)的逆量化決IQ和逆頻率變換塊IT，用于提供解碼的分段圖像。該編碼器包括預測單元，其包括與運動補償單元MC串聯(lián)的圖像存儲器MEM，用于產生運動補償的分段圖像。它包括用于將解碼的分段圖像加到運動補償的分段圖像上的加法器和用于從輸入的分段圖像f中減去運動補償的分段圖像的減法器，這個減法器的結果被傳送給塊T/Q。視頻編碼器最后包括根據本發(fā)明的全局運動估算設備，用于向預測單元提供全局運動矢量。
上面僅通過示例描述了本發(fā)明的幾個實施例，并且對于本領域技術人員來說，將明白在不背離由所附權利要求限定的本發(fā)明的范圍的情況下，可以對所描述的實施例進行修改和改變。此外，在權利要求書中，括號之間的任何參考符號不應被認為是限制權利要求。術語“包括”并不排除除了權利要求中所列出之外的其他元素或步驟的存在。術語“一或一個”并不排除多個。本發(fā)明可以利用包括幾個不同元素的硬件和利用合適編程的計算機來實現。在列舉若干裝置的設備權利要求中，可以利用同一個硬件項來實施這些裝置中的若干裝置。唯一事實是在互不相同的獨立權利要求中敘述的措施并不表示不能有益使用這些措施的組合。
權利要求
1.一種搜索與視頻序列中的圖像相關的全局運動矢量的方法，所述方法包括下列步驟-計算(PROJ)圖像(f)沿預定軸的投影；-基于與至少一個在前投影的圖像相關的至少一個在前全局運動矢量，確定(PRED)與當前投影的圖像(F(k))相關的當前全局運動矢量(vig(k))的預測(Vpred(k))；-基于預測的當前全局運動矢量，確定(SS)運動矢量搜索組；-計算(CAL)候選運動矢量(vi(k))沿預定軸移位的在前投影圖像(F(k-1))與下一個投影的圖像(F(k+r))之間的失真值，所述計算步驟對于運動矢量搜索組中的不同候選運動矢量進行迭代，當前全局運動矢量是最小化誼失真值的候選運動矢量。
2.如權利要求1所述的方法，其中預測的當前全局運動矢量是與在前投影的圖像(F(k-1))相關的在前全局運動矢量(vig(k-1))。
3.如權利要求1所述的方法，其中預測的當前全局運動矢量是與在前投影的圖像組相關的在前全局運動矢量組的外插。
4.如權利要求1所述的方法，其中搜索組包括范圍[Vpred-n，Vpred+n]，其中Vpred是預測的全局運動矢量的值，并且n是正值。
5.如權利要求4所述的方法，其中搜索組還包括運動矢量候選者Vpred+2q.n，其中q是不同于從0到其中所述運動矢量候選者位于下閾值和上閾值之間的范圍的整數。
6.一種用于搜索與視頻序列中的圖像相關的全局運動矢量的設備，所述設備包括-用于計算圖像沿預定軸的投影的裝置；-用于基于與至少一個在前投影的圖像相關的至少一個在前全局運動矢量來預測與當前投影的圖像相關的當前全局運動矢量的裝置；-用于基于預測的當前全局運動矢量來確定運動矢量搜索組的裝置；-用于計算候選運動矢量沿預定軸移位的在前投影的圖像與下一個投影的圖像之間的失真值的裝置，所述計算步驟對于運動矢量搜索組中的不同候選運動矢量進行迭代，當前全局運動矢量是最小化該失真值的候選運動矢量。
7.一種移動設備，其包括用于顯示一系列圖像的屏幕；如權利要求6所述的用于確定與當前圖像相關的當前全局運動矢量的設備；和用于基于當前全局運動矢量來補償移動設備的運動的裝置。
8.一種用于編碼圖像(f)的視頻編碼器，所述編碼器包括-編碼單元(T/Q，EC)，用于提供編碼的圖像(BS)，-解碼單元(IQ/IT)，用于根據編碼的圖像來提供解碼的圖像，-預測單元(MEM，MC)，用于交付運動補償的圖像，-加法器，用于將運動補償的圖像加到解碼的圖像上，所述加法器的輸出被提供給預測單元的輸入，-減法器，用于從輸入圖像中減去運動補償的圖像，和-如權利要求6所述的設備，用于向預測單元提供全局運動矢量。
9.一種計算機程序產品，包括程序指令，用于在所述程序由處理器執(zhí)行時實施如權利要求1所述的方法。
全文摘要
本發(fā)明涉及搜索與視頻序列的圖像相關的全局運動矢量的方法，所述方法包括下列步驟計算(PROJ)圖像(f)沿預定軸的投影；基于與至少一個在前投影的圖像相關的至少一個在前全局運動矢量，確定(PRED)與當前投影的圖像(F(k))相關的當前全局運動矢量公式(I)的預測(v
文檔編號H04N7/26GK1965583SQ200580018182
公開日2007年5月16日 申請日期2005年5月31日 優(yōu)先權日2004年6月4日
發(fā)明者W·P·李 申請人:皇家飛利浦電子股份有限公司