用于運動估算的方法和裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及用于運動估算的方法和裝置。
【背景技術】
[0002]TO2008/151802(參考:FN_174)和 TO2011/069698 (參考:FN_352)公開了用于確定圖像幀之間的相對移動的視頻序列中的相應圖像幀的相關輪廓(profile)——移動包括相機移動或者主題(subject)移動。然而，提供對幀到幀運動的全局測量的應用受到限制。
[0003]因此，可能有用的是，提供指示圖像序列的塊或者區(qū)域內的全局和局部運動兩者的信息。有很多運動估算方法使用分層方法來找到視頻幀的序列中的局部塊運動。
[0004]有兩種典型方法:
[0005].圖像金字塔，例如如在US6459822中公開的那樣，其中圖像被分解成所謂的高斯(Gaussian)金字塔，其中金字塔的每個層級是前一層級的縮小(downscale)版本。層級之間的常用縮放因子為2。通過使塊之間的像素值相關，來找到對應塊之間的位移。且不說用于存儲圖像金字塔所述需要的存儲器的量，這是計算密集型處理，即使采用小的搜索半徑。
[0006].可變塊尺寸，其中圖像保持其原始尺寸，但是搜索塊隨著每次搜索迭代變得更小，并且搜索半徑也減小，從而允許更精確的估算。此方法的問題是，圖像像素必須被訪問多次并且每次迭代的數值復雜度是高的。
[0007]US 8200020 BI公開了從源圖像選取源圖塊(tile)的計算設備。從源圖塊中，計算設備可以選取第一矩形特征和第二矩形特征?；诘谝缓偷诙匦翁卣鳎嬎阍O備可以計算源特征矢量。計算設備還可以選取目標圖像的搜索區(qū)域、以及搜索區(qū)域內的目標圖塊?；谠撃繕藞D塊，計算設備可以計算目標特征矢量。計算設備可以確定源特征矢量和目標特征矢量之差在誤差閾值之下，并且基于這一確定，進一步確定源圖像和目標圖像之間的映射。然后計算設備可以將該映射應用到源圖像以產生經變換的源圖像。
[0008]US 6809758公開了穩(wěn)定使用連續(xù)幀序列形成的運動圖像，其包括:計算相鄰幀之前的運動矢量場；從運動矢量場的水平和豎直分量形成運動矢量直方圖；向運動矢量直方圖應用閾值以產生閾值化運動矢量直方圖；從閾值化運動矢量直方圖生成平均水平和豎直運動分量；在若干幀內對平均水平和豎直運動分量進行濾波，以針對幀中的每個幀識別不想要的水平和豎直運動分量；以及通過根據對應的不想要的水平和豎直運動使每個幀移位(shift)，來穩(wěn)定圖像序列。

【發(fā)明內容】

[0009]根據本發(fā)明的第一方面，提供根據權利要求1的估算給定場景的圖像幀對之間的運動的方法。
[0010]本發(fā)明的這一方面采用從每個圖像幀得出的積分圖像，以在圖像區(qū)域的分層結構的若干層級確定圖像幀之間的相對運動。不是直接使用圖像相關而是使用積分圖像輪廓，來找到對應區(qū)域之間的運動。積分圖像輪廓是一維數組，其包含圖像的興趣區(qū)域的列或者行內的所有像素的強度的總和。將對應區(qū)域的積分圖像輪廓進行相關，以便找到區(qū)域之間的位移。
[0011]如所討論的那樣，將圖像縮小若干次并且在金字塔或者分層結構中保留所有經縮小層級在嵌入式應用中是不切實際的。此外，從分層結構內的圖像的那些經縮小層級建立的輪廓會造成不必要的存儲器流量。通過每幀使用單個積分圖像，針對分層結構的每個層級按需要進行采樣以產生分層位移圖，有效地解決了這一問題。
[0012]在實施例中，分層結構的每個層級被分割為一個或者多個區(qū)域，使得區(qū)域的數目隨分層結構向下的每個層級增加，例如在基礎層級，圖像被分割為16x16個區(qū)域，向上的下一層級具有8x8個區(qū)域，下一層級具有4x4個區(qū)域，以此類推。在一些實施例中，對積分圖像信息的采樣被伸縮，使得每個層級以上方層級的兩倍分辨率采樣，從而為圖像的連續(xù)更局部化的區(qū)域提供更精細的運動估算。
[0013]本發(fā)明的實施例優(yōu)化針對金字塔的每個塊的積分輪廓的建立，并且從而提供了執(zhí)行分層運動估算的高效方法，其將對存儲器量和存儲器帶寬要求最小化并且降低了計算復雜性。
[0014]根據第二方面，提供根據權利要求18和19中的每個的估算給定場景的圖像幀對之間的運動的方法。
[0015]這些方法檢測在單個興趣區(qū)域內的多個運動，而不將其分割為子塊和重建積分圖像輪廓。它們利用兩個對應興趣區(qū)域之間的誤差函數的局部極小值，并且附加地嘗試在包含在興趣區(qū)域內的對象之間設置近似界線。
[0016]根據第三方面，提供根據權利要求21的估算給定場景的圖像幀對之間的運動的方法。
[0017]使用這一方法，代替在金字塔的頂部處開始運動估算，使用基于內置到設備中的運動傳感器的對運動的初始猜想，運動估算在分層結構的根層級之下的一個或者多個層級開始。
[0018]還提供了被布置為執(zhí)行上面提及的本發(fā)明的方面的圖像處理設備和計算機程序
τ?: 口廣PR ο
【附圖說明】
[0019]現在將通過示例的方式，參照附圖描述本發(fā)明的實施例，其中:
[0020]圖1是根據本發(fā)明的實施例的被布置為執(zhí)行運動估算的圖像處理裝置的框圖；
[0021]圖2是總體上圖示根據本發(fā)明的實施例的運動估算方法的流程圖；
[0022]圖3示出了用于生成用于圖2的方法的第一迭代的積分圖像輪廓的積分圖像像素；
[0023]圖4圖示了相對于參考圖像(R)經位移的目標圖像⑴；
[0024]圖5圖示了諸如圖4所示的一對經位移圖像的示例性積分圖像輪廓；
[0025]圖6示出了在圖2的方法的第二迭代時經位移的興趣區(qū)域(ROI);
[0026]圖7示出了在圖2的方法的第二迭代時用于針對參考圖像(R)的左上和左下ROI建立積分圖像輪廓所需要的像素；
[0027]圖8示出了在圖2的方法的第三迭代時經位移的興趣區(qū)域(ROI);
[0028]圖9圖示了插值積分圖像輪廓；
[0029]圖10和圖11圖示了基于平均絕對誤差(MAE)的對輪廓之間的子像素位移的計算;
[0030]圖12示出了覆蓋圖像幀的顯著部分的對象；
[0031]圖13示出了指示針對圖12的圖像的具有局部極小值的MAE的輪廓；
[0032]圖14示出了根據圖2的方法產生的運動矢量的位移矩陣；
[0033]圖15圖示了用于從矩陣選取用于在計算全局變換矩陣中使用的矢量的方法；
[0034]圖16示出了由圖15的方法產生的用于圖14的矩陣的選取掩模(mask);并且
[0035]圖17至圖19圖示了興趣區(qū)域的從分層結構的一個層級到下一層級的非均勻子分割。
【具體實施方式】
[0036]現在參照圖1，示意性地示出了根據本發(fā)明的實施例的用于執(zhí)行運動估算的圖像處理設備10。該設備包括總線12，該總線允許功能處理模塊14至22 (在總線之下示出)向存儲器24至28 (在總線上方示出)讀取和寫入信息。應該注意的是，模塊14至22可以并入本地存儲器以便于內部處理。
[0037]圖像幀經由下采樣器(DS) 14從圖像傳感器(未示出)獲取。下采樣器14可以例如是由Fujitsu提供的類型的高斯下采樣器。下采樣的圖像被饋送到積分圖像(II)生成器(GEN) 14，該積分圖像生成器將II寫入到存儲器24。積分圖像的計算是眾所周知的并且最初由 V1la, P.和 Jones, Μ.在“Rapid Object Detect1n using a Boosted Cascadeof Simple Features，，，Computer Vis1n and Pattern Recognit1n, 2001, Volume I 中公開。積分圖像通常用于識別諸如圖像中的臉部之類的對象，諸如W02008/018887(參考:FN-143)中所公開的那樣。如將領會的，僅需要原始圖像的強度版本以提供積分圖像。因此，可以是圖像的灰度版本，或者其可以是多平面圖像格式(例如RGB、LAB、YCC等)中的任何單個平面。
[0038]分層注冊引擎(HRE) 18從存儲器24讀取一對幀的積分圖像信息，并且針對該圖像對生成位移圖26 (如將在下面更詳細描述的)。
[0039]然后，運行應用程序的CPU模塊20可以使用連續(xù)圖像幀的位移圖26提供配置信息28，例如在WO 2014/005783(參考:FN_384)中描述的類