專(zhuān)利名稱(chēng)：一種去除視頻抖動(dòng)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域，特別地，涉及去除視頻抖動(dòng)的技術(shù)。
背景技術(shù)：
攝像設(shè)備固定在建筑物或柱子上時(shí)，當(dāng)有風(fēng)時(shí)就會(huì)出現(xiàn)晃動(dòng)；在機(jī)器(如車(chē)、飛 機(jī)、船等)、加熱通風(fēng)設(shè)備、空調(diào)、PTZ云臺(tái)等有震動(dòng)的場(chǎng)合中也輸出抖動(dòng)的不穩(wěn)定的視頻 圖像，尤其是在使用高倍放大的鏡頭情況下，視頻抖動(dòng)的程度更加嚴(yán)重，嚴(yán)重影響了視覺(jué)效 果。針對(duì)于攝像裝置輸出的視頻，目前的視頻去除抖動(dòng)方法處理的速度往往不能達(dá)到實(shí)時(shí) 的要求，或降低處理后視頻的分辨率。 視頻去除抖動(dòng)的首要工作為相鄰幀圖像間的配準(zhǔn)，配準(zhǔn)的精確程度將直接影響視 頻去抖動(dòng)的效果。常用于圖像配準(zhǔn)的方法有光流法、基于形狀內(nèi)容的方法、角點(diǎn)檢測(cè)與匹 配的方法等。光流法的運(yùn)算復(fù)雜度較高，很難做到視頻的實(shí)時(shí)處理。基于形狀內(nèi)容的方法 適合于圖像間的內(nèi)容匹配和檢索。角點(diǎn)檢測(cè)與匹配的方法主要包括SIFT角點(diǎn)檢測(cè)與匹配 方法，Harris角點(diǎn)檢測(cè)方法，SUSAN角點(diǎn)檢測(cè)方法等。其中，SIFT角點(diǎn)檢測(cè)與匹配方法具有
尺度和旋轉(zhuǎn)不變性，能較準(zhǔn)確的對(duì)圖像進(jìn)行配準(zhǔn)，但運(yùn)算復(fù)雜度較高，難以做到實(shí)時(shí)處理。 Harris和SUSAN角點(diǎn)檢測(cè)算法相對(duì)較快，且能較準(zhǔn)確的檢測(cè)出圖像中的角點(diǎn)，但當(dāng)圖像的 對(duì)比度較低或圖像偏移尺度較大時(shí)，配準(zhǔn)精度較低，邊緣的連續(xù)性和一致性較差。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種去除視頻抖動(dòng)的方法和系統(tǒng)，能夠?qū)σ曨l幀中的原圖
像進(jìn)行配準(zhǔn)后產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行平滑，并對(duì)產(chǎn)生的空白區(qū)域進(jìn)行填充。
該方法包括如下步驟 步驟一 將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)； 步驟二 將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡， 對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正； 步驟三用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣處產(chǎn) 生的空白區(qū)域； 步驟四跳轉(zhuǎn)到當(dāng)前圖像幀的下一圖像幀，返回步驟一，直至視頻中的所有圖像幀 處理完畢。
所述步驟一包括如下步驟 步驟a、計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì)原圖像進(jìn)行下 采樣，生成下采樣圖像； 步驟b、在下采樣圖像中計(jì)算每個(gè)像素的紋理特征； 步驟c、根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函數(shù)，從而得到 下采樣圖像的運(yùn)動(dòng)方向； 步驟d、根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向和列方向上的軌跡信息；
度為0。
度。
所示
素點(diǎn)(x，
步驟e、縮小下采樣尺度，對(duì)校正后的圖像進(jìn)行下采樣，返回步驟b，直至下采樣尺
所述步驟a中，最大下采樣尺度為t ， t = max{i-y W《min(H， W}}
其中，i表示臨界下采樣尺度，y為相對(duì)參數(shù)，H表示圖像的高度，W表示圖像的寬 所述步驟b中，紋理特征用圖像的灰度、水平和豎直梯度三維向量來(lái)表示，如下式
J(w) L (")，(").
其中，I(x,y)為圖像在像素點(diǎn)(x， y)處的灰度值，I(x,/ y)處的水平和豎直梯度。 所述步驟c中，代價(jià)函數(shù)為
1H W ,} 2 、2
和I
(x,y)
表示圖像在像
c,、= 其中，u為水平方向的像素偏移，v為豎直方向的像素偏移，u和v的取值范圍均是 {-1，0，1} ;C(u,v)為兩幀圖像間按(u，v)方向運(yùn)動(dòng)時(shí)的代價(jià)值，H表示圖像的高度，W表示圖
像的寬度。f(w/表示圖像在像素點(diǎn)(x，y)處的紋理特征值，f
(x+u， y+v)
表示鄰幀圖像在像素
點(diǎn)(x+u， y+v)處的紋理特征值
所述步驟c中，圖像的運(yùn)動(dòng)方向的計(jì)算公式為 , ("，v) min(C(—l",ve{-1,0,1}}S-L(O,O) c紐 其中，小為判定閾值，(u' ， v')為相鄰兩幀間的運(yùn)動(dòng)方向。
所述步驟e中，對(duì)校正后的圖像進(jìn)行下采樣時(shí)，采用金字塔模型進(jìn)行下采樣。
所述步驟二中，將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)時(shí)，首先計(jì)算當(dāng)前幀在 行方向需移動(dòng)的像素?cái)?shù)目S^和當(dāng)前幀在行方向需移動(dòng)的像素?cái)?shù)目S。y
1 々=p0r
<formula>formula see original document page 6</formula> 其中，Pk為運(yùn)動(dòng)軌跡中與當(dāng)前圖像幀相鄰i幀的圖像在行方向的累積位移，Pjc為 運(yùn)動(dòng)軌跡中與當(dāng)前圖像幀相鄰j幀的圖像在列方向的累積位移，a為濾除抖動(dòng)采用的視頻 幀寬度，P。r表示當(dāng)前圖像幀在行方向的積累位移，P。。表示當(dāng)前圖像幀在列方向的積累位 移，i、j為自然數(shù)；根據(jù)S^和S。。反方向移動(dòng)當(dāng)前圖像幀來(lái)平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡。
所述步驟三中，計(jì)算當(dāng)前圖像幀和與當(dāng)前圖像幀鄰近的圖像幀之間的共享邊緣約 束值，當(dāng)共享邊緣的約束值小于既定閾值時(shí)，用與當(dāng)前圖像幀鄰近的圖像幀的對(duì)應(yīng)區(qū)域填 充平滑抖動(dòng)時(shí)當(dāng)前圖像幀中的空白區(qū)域，否則用與當(dāng)前圖像幀鄰近的圖像幀的下一幀進(jìn)行 閾值匹配，直至當(dāng)前圖像幀中的空白區(qū)域填充完畢。
所述步驟三中，共享邊緣約束值Sk (x。， y。)為
Sk(x。， y。) = S。k(x。， y。)+Sk。(x。， y0)
其中， S。k(X。， y。)為當(dāng)前圖像幀相對(duì)于鄰近的第k幀圖像在(x。， y。)處的共享邊緣約束；
sk。(X。，y。)為鄰近的第k幀圖像相對(duì)于當(dāng)前圖像幀在(x。，y。)處的共享邊緣約束；(x。，y。)為
當(dāng)前圖像幀在與第k幀圖像共享邊緣上像素點(diǎn)的坐標(biāo)。 本發(fā)明還提供了一種去除視頻抖動(dòng)的系統(tǒng)，包括 配準(zhǔn)裝置，用于將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)； 校正裝置，用于將配準(zhǔn)中當(dāng)前圖像幀產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖
動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡，對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正； 填充裝置，用于使用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀
邊緣處產(chǎn)生的空白區(qū)域。
所述配準(zhǔn)裝置包括 下采樣單元，用于計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì)原 圖像進(jìn)行下采樣，生成下采樣圖像；以及縮小下采樣尺度，對(duì)運(yùn)動(dòng)方向校正裝置校正后的圖 像進(jìn)行下采樣以生成下采樣圖像，直至下采樣尺度為0 ;
計(jì)算單元，用于在下采樣圖像中計(jì)算每個(gè)像素的紋理特征； 運(yùn)動(dòng)方向確定單元，用于根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代 價(jià)函數(shù)，從而得到下采樣圖像的運(yùn)動(dòng)方向； 運(yùn)動(dòng)方向校正單元，用于根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向 和列方向上的軌跡信息。 與現(xiàn)有技術(shù)相比，本發(fā)明去除視頻抖動(dòng)的方法和系統(tǒng)利用多種采樣尺度對(duì)圖像幀 進(jìn)行配準(zhǔn)，并計(jì)算紋理特征，處理速度較快，且與圖像的對(duì)比度無(wú)關(guān)，僅取決于圖像的尺寸， 采用代價(jià)函數(shù)來(lái)對(duì)圖像的運(yùn)動(dòng)方向進(jìn)行判定，并在此基礎(chǔ)上對(duì)圖像的運(yùn)動(dòng)方向進(jìn)行校正， 保證了圖像的對(duì)比度較低或圖像偏移尺度較大時(shí)的配準(zhǔn)精度。利用鄰近的圖像幀來(lái)對(duì)當(dāng)前 幀進(jìn)行填充，保證了填充后在當(dāng)前幀的邊緣處具有良好的連續(xù)性和一致性，減少了人工處 理的痕跡，輸出的視頻與原始視頻具有相同的分辨率，且保持了圖像的清晰度和連續(xù)性。


圖1是本發(fā)明去除視頻抖動(dòng)的方法的流程圖；
圖2是本發(fā)明去除視頻抖動(dòng)的方法的圖像幀的配準(zhǔn)流程圖；
圖3是本發(fā)明去除視頻抖動(dòng)的方法的金字塔模型示意圖；
圖4是本發(fā)明去除視頻抖動(dòng)的系統(tǒng)的示意性框圖； 圖5a是本發(fā)明去除視頻抖動(dòng)的方法的視頻在行方向的運(yùn)動(dòng)軌跡以及不同程度平 滑后視頻的運(yùn)動(dòng)軌跡示意圖； 圖5b是本發(fā)明去除視頻抖動(dòng)的方法的視頻在列方向的運(yùn)動(dòng)軌跡以及不同程度平 滑后視頻的運(yùn)動(dòng)軌跡示意圖； 圖6是本發(fā)明去除視頻抖動(dòng)的方法的當(dāng)前幀和與當(dāng)前幀鄰近的圖像幀的共享邊 緣約束示意 圖7a是本發(fā)明去除視頻抖動(dòng)的方法的圖像具有不同偏移比例時(shí)，不同方法的配準(zhǔn)精度； 圖7b是本發(fā)明去除視頻抖動(dòng)的方法的圖像具有不同對(duì)比度時(shí)，不同方法的配準(zhǔn)精度； 圖7c是本發(fā)明去除視頻抖動(dòng)的方法的圖像具有不同對(duì)比度對(duì)角點(diǎn)檢測(cè)數(shù)目的影響； 圖7d是本發(fā)明去除視頻抖動(dòng)的方法的圖像具有不同對(duì)比度時(shí)，三種方法進(jìn)行圖像配準(zhǔn)所需時(shí)間。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行詳細(xì)說(shuō)明。 本實(shí)施例中，采用3秒至54秒不等的8段抖動(dòng)視頻和30段5分鐘的個(gè)人錄制的不同場(chǎng)景抖動(dòng)視頻，圖像幀的尺寸為320X240，電腦配置為CPU :Pentium(R)D 3GHz ;內(nèi)存1GB。從不同場(chǎng)景的視頻中截取共100幀圖像用于說(shuō)明，100幀圖像具有不同的對(duì)比度和清晰度。對(duì)每幀圖像進(jìn)行了不同程度的隨機(jī)偏移，使得偏移比例最小為O，最大為圖像寬度或高度的1/2，偏移方向包括水平和豎直兩個(gè)方向。
圖1是本發(fā)明去除視頻抖動(dòng)的方法的流程圖
步驟一 將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)。
該步驟具體如圖2所示 步驟a、計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì)原圖像進(jìn)行下采樣，生成下采樣圖像。其中，最大下采樣尺度為t，
t = max{i-y |2丄《min(H， W}} 其中，i表示臨界下采樣尺度，當(dāng)下采樣尺度大于i時(shí)，下采樣后的圖像將小于2X2，成為一個(gè)像素點(diǎn)；y為相對(duì)參數(shù)，為了保證配準(zhǔn)精度而設(shè)置，通過(guò)y的值來(lái)對(duì)t進(jìn)行調(diào)整，使下采樣后得到的圖像尺寸不小于2X2，從而保證了配準(zhǔn)的精度；式中y越大時(shí)，配準(zhǔn)的精度越高，但能正確配準(zhǔn)的像素?cái)?shù)將減少，本實(shí)施例中設(shè)置相對(duì)參數(shù)y為2。 H表示圖像的高度，W表示圖像的寬度。圖像的尺寸越大，全局紋理配準(zhǔn)的精度將越高。y的取值對(duì)圖像配準(zhǔn)精度和圖像偏移的配準(zhǔn)范圍都有影響。如圖3所示，本實(shí)施例中y取值2，使得下采樣后的圖像尺寸至少為3X3，以保證圖像配準(zhǔn)具有足夠的精度，同時(shí)使得配準(zhǔn)范圍達(dá)到圖像寬度或高度的一半，滿(mǎn)足劇烈抖動(dòng)視頻的配準(zhǔn)要求。
步驟b、在下采樣圖像中計(jì)算每個(gè)像素的紋理特征； 紋理特征用圖像的灰度、水平和豎直梯度三維向量來(lái)表示，如下式所示
/M = 其中，I(x,y)為圖像在像素點(diǎn)(x， y)處的灰度值，I(x,/'和I(x,/'表示圖像在像素點(diǎn)(x， y)處的水平和豎直梯度。 步驟c、根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函數(shù)，從而得到下采樣圖像的運(yùn)動(dòng)方向；
/ 尸 /少
8<formula>formula see original document page 9</formula>
代價(jià)函數(shù)為C( ，V) =^^Z(H，V)) 其中，u為水平方向的像素偏移，v為豎直方向的像素偏移，u和v的取值范圍均是{-1，0，1} ;C(U,V)為兩幀圖像間按(u，v)方向運(yùn)動(dòng)時(shí)的代價(jià)值，H表示圖像的高度，W表示圖像的寬度。f(〃/表示圖像在像素點(diǎn)(x，y)處的紋理特征值，f(自,y+v)2表示鄰幀圖像在像素點(diǎn)(x+u， y+v)處的紋理特征值。
圖像的運(yùn)動(dòng)方向的計(jì)算公式為
(w,v) min{c(u,v) |w，ve{-l，0,l}}"
(O，O) c紐 其中，小為判定閾值，(u' ，v')為相鄰兩幀間的運(yùn)動(dòng)方向。當(dāng)最小的代價(jià)函數(shù)值大于某一個(gè)閾值小時(shí)意味著兩幀圖像是完全不同的場(chǎng)景，否則可得相鄰兩幀間的運(yùn)動(dòng)方向(u' ， v')。 步驟d、根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向和列方向上的軌跡信息； 將最大偏移比例分成從1/10到1/2不等的10組，具體偏移比例如表1所示。如
1/2組中任一圖像的偏移比例在寬度和高度的0倍到1/2倍之間。每幀圖像均有10組最大
偏移比例，每組隨機(jī)產(chǎn)生100幅偏移圖像，并記錄圖像的偏移方向和偏移像素?cái)?shù)，得到原圖
在行方向和列方向上的軌跡信息。 表1.不同偏移尺度對(duì)應(yīng)的配準(zhǔn)精度
偏移比例1/101/81/61/51/4. 51/41/3. 51/31/2. 51/2
配準(zhǔn)精度0. 9910. 9890. 9820. 9790. 9720. 9550. 9160. 8360. 7350. 631 步驟e、縮小下采樣尺度，對(duì)校正后的圖像進(jìn)行下采樣生成下采樣圖像，回到步驟b繼續(xù)處理，直至下采樣尺度為0時(shí)結(jié)束處理。 本實(shí)施例中，對(duì)校正后的圖像進(jìn)行下采樣時(shí)，采用金字塔模型進(jìn)行下采樣。如圖
3所示，最底層為原圖像，經(jīng)過(guò)一次2X2尺度的下采樣可得到中間層圖像，此時(shí)原圖像中
2X2個(gè)像素的均值構(gòu)成下采樣后中間層圖像中一個(gè)像素的值。返回步驟b計(jì)算每個(gè)像素的
紋理特征后，根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函數(shù)，得到下采樣
圖像的運(yùn)動(dòng)方向?yàn)?1，1)，表示中間層圖像具有水平和豎直方向各1個(gè)像素的偏移。根據(jù)配
準(zhǔn)結(jié)果對(duì)原圖像進(jìn)行校正，得到原圖像在行方向和列方向上的軌跡信息為(2，2)。 繼續(xù)縮小下采樣尺度，對(duì)中間層圖像進(jìn)行2X2尺度(等效于對(duì)原 圖像進(jìn)行4X4尺度)下采樣可得到最頂層圖像。此時(shí)中間層圖像中2X2個(gè)像素
的均值構(gòu)成下采樣后最頂層圖像中一個(gè)像素的值。返回步驟b計(jì)算每個(gè)像素的紋理特征
后，根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函數(shù)，得到下采樣圖像的運(yùn)
動(dòng)方向?yàn)?1， 1)，表示最頂層圖像具有水平和豎直方向各1個(gè)像素的偏移。根據(jù)配準(zhǔn)結(jié)果對(duì)
中間層圖像進(jìn)行校正，得到中間層圖像在行方向和列方向上的軌跡信息為(2，2)，則原圖像
在行方向和列方向上的軌跡信息為(4，4)，此時(shí)下采樣尺度為0，結(jié)束處理。 (M',V')-'
9
步驟二 將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡， 對(duì)圖像進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正。 將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)時(shí)，在本實(shí)施例中，共檢測(cè)了 100幀圖 像，圖5a中曲線(xiàn)501為視頻幀在行方向的運(yùn)動(dòng)軌跡，圖5b中曲線(xiàn)501為視頻幀在列方向的 運(yùn)動(dòng)軌跡。首先計(jì)算當(dāng)前圖像幀在行方向需移動(dòng)的像素?cái)?shù)目s^和當(dāng)前圖像幀在列方向需 移動(dòng)的像素?cái)?shù)目S。y4 = ^-^yl巧c 其中，如圖5a中曲線(xiàn)501所示，p^為運(yùn)動(dòng)軌跡中與當(dāng)前圖像幀相鄰i幀的圖像在 行方向的累積位移，Pj。為運(yùn)動(dòng)軌跡中與當(dāng)前圖像幀相鄰j幀的圖像在列方向的累積位移， a為濾除抖動(dòng)采用的視頻幀寬度，如圖5a、圖5b中的5幀，10幀或20幀，p。^表示當(dāng)前圖像 幀在行方向的積累位移，P。。表示表示當(dāng)前圖像幀在列方向的積累位移，i、 . j為自然數(shù)；根 據(jù)S^和S。。反方向移動(dòng)當(dāng)前圖像幀來(lái)平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡。 通過(guò)多尺度全局紋理配準(zhǔn)可檢測(cè)出視頻幀間的抖動(dòng)情況，對(duì)抖動(dòng)進(jìn)行累積計(jì)算便 可得到攝像機(jī)的運(yùn)動(dòng)信息。視頻在行方向和列方向的運(yùn)動(dòng)軌跡中含有大量的高頻成分，即 劇烈的抖動(dòng)。運(yùn)動(dòng)軌跡中的低頻成分是攝像機(jī)的主觀運(yùn)動(dòng)，應(yīng)當(dāng)予以保留。視頻去抖動(dòng)操 作就是為了濾除運(yùn)動(dòng)軌跡中的高頻成分。檢測(cè)出視頻的運(yùn)動(dòng)信息后，可利用行方向和列方 向的運(yùn)動(dòng)軌跡來(lái)濾除視頻的抖動(dòng)。本發(fā)明中采用運(yùn)動(dòng)軌跡的平滑處理來(lái)達(dá)到濾除抖動(dòng)的目 的，并取得了很好的效果。 本實(shí)施例中的抖動(dòng)濾除方法類(lèi)似與對(duì)運(yùn)動(dòng)軌跡進(jìn)行低通濾波，圖5a中的曲線(xiàn)502 是對(duì)運(yùn)動(dòng)軌跡進(jìn)行l(wèi)l幀寬度(左右各5幀)的平滑處理結(jié)果；采用21幀寬度來(lái)平滑運(yùn)動(dòng)軌 跡可得到圖5a中曲線(xiàn)503所示的運(yùn)動(dòng)軌跡；采用41幀寬度來(lái)處理可得到圖5a中曲線(xiàn)504 所示的運(yùn)動(dòng)軌跡。相對(duì)于原始視頻運(yùn)動(dòng)軌跡501，去抖動(dòng)后視頻的運(yùn)動(dòng)軌跡更加平滑，濾除 了高頻抖動(dòng)干擾，且保留了曲線(xiàn)501中的低頻運(yùn)動(dòng)趨勢(shì)，反映了攝像機(jī)的主觀運(yùn)動(dòng)方向。同 理，圖5b中的不同曲線(xiàn)反映了不同程度平滑后視頻在列方向的運(yùn)動(dòng)軌跡。
經(jīng)過(guò)運(yùn)動(dòng)檢測(cè)與抖動(dòng)濾除處理后，視頻已經(jīng)基本穩(wěn)定。校正過(guò)程中對(duì)圖像的偏移， 導(dǎo)致視頻的周邊出現(xiàn)空白區(qū)域。以往一些視頻去抖動(dòng)算法的結(jié)果通常降低去抖動(dòng)后視頻的 分辨率。本發(fā)明將采用共享邊緣約束的最鄰近圖像幀來(lái)填充空白區(qū)域，使得輸出視頻與輸
入具有相同的分辨率，保證視頻幀在邊緣處的連續(xù)性和一致性，且保持了視頻幀的對(duì)比度。
步驟三用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣處產(chǎn) 生的空白區(qū)域； 圖像配準(zhǔn)的結(jié)果難免出現(xiàn)偏差，如果直接采用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充 當(dāng)前幀的空白區(qū)域，容易留下明顯的人工處理痕跡。本發(fā)明將采用共享邊緣約束來(lái)驗(yàn)證圖 像配準(zhǔn)的結(jié)果。如圖6所示，實(shí)線(xiàn)框601是顯示區(qū)域，虛線(xiàn)框602是平移后的圖像幀。經(jīng)過(guò) 運(yùn)動(dòng)檢測(cè)和濾除，當(dāng)前圖像幀需要向左上方平移以消除抖動(dòng)，導(dǎo)致顯示窗口下側(cè)和右側(cè)出 現(xiàn)空白區(qū)域。與當(dāng)前圖像幀鄰近的圖像幀(虛線(xiàn)603)需要向右下方平移，覆蓋了顯示窗口 中的一部分空白區(qū)域。圖6中黑色粗實(shí)線(xiàn)604為兩幀圖像的共享邊緣，采用既定范圍內(nèi)的方 差來(lái)描述共享邊緣的平滑程度。既定范圍如圖6中灰色方框605所示，使既定范圍的中心 遍歷共享邊緣上的點(diǎn)，并統(tǒng)計(jì)既定范圍內(nèi)像素的亮度的方差的均值作為共享邊緣約束值。
10
共享邊緣約束值Sk (x。， y。)為
Sk(x。， y。) = S。k(x。， y。)+Sk。(x。， y0)其中，^(A^o)-—Z (/(^)—/(&,;^))為當(dāng)前圖像幀
相對(duì)于與當(dāng)前圖像幀鄰近的第k幀圖像在(x。， y。)處的共享邊緣約束。
&oh，％)=;; S (A"力—A%，>W))為與當(dāng)前圖像幀鄰近的第k幀圖像相對(duì)于當(dāng)前圖
像幀在(x。，y。)處的共享邊緣約束。(x。，y。)為當(dāng)前圖像幀在與當(dāng)前圖像幀鄰近的第k幀圖 像內(nèi)的邊緣的像素點(diǎn)的坐標(biāo)；(x， y)為顯示窗口中的像素坐標(biāo)；m為以(x。， y。)為中心的既 定范圍的像素?cái)?shù)目；"Jx。，y。)為當(dāng)前圖像幀在既定范圍中的區(qū)域，"2(x。，y。)為與當(dāng)前圖 像幀鄰近的第k幀圖像在既定范圍中的區(qū)域，I(x， y)為當(dāng)前圖像幀在(x， y)處的亮度值， Ik(x，y)為與當(dāng)前圖像幀鄰近的第k幀圖像在(x，y)處的亮度值，1^^775^是當(dāng)前圖像幀 與當(dāng)前圖像幀鄰近的第k幀圖像在以(x。，y。)為中心的既定范圍的亮度均值，即 "4,、) = — Z Z 既定范圍為以當(dāng)前圖像幀在與當(dāng)前圖像幀鄰近的第k幀圖像內(nèi)的邊緣的像素點(diǎn)
的坐標(biāo)(x。，y。)為中心，顯示區(qū)域?qū)挾鹊?%至1%為邊長(zhǎng)的正方形區(qū)域。 共享邊緣約束值Sk(X。， y。)越小，說(shuō)明兩幀圖像在邊緣處越平滑，即圖像配準(zhǔn)的越
精確，用該鄰近幀來(lái)填充當(dāng)前圖像幀的可信度越高。本實(shí)施例中局部窗口采用5X5的大小。 得到兩幀圖像的共享邊緣約束后，便可由該幀與當(dāng)前圖像幀的共享邊緣的約束值 確定配準(zhǔn)的精確程度，當(dāng)共享邊緣的約束值小于既定閾值時(shí)，用與當(dāng)前圖像幀鄰近的圖像 幀的對(duì)應(yīng)區(qū)域填充平滑抖動(dòng)時(shí)在當(dāng)前幀邊緣處產(chǎn)生的空白區(qū)域，否則用該鄰近的圖像幀的 下一幀對(duì)空白區(qū)域進(jìn)行填充。如下式所示，當(dāng)共享邊緣約束小于既定閾值P (本實(shí)施例中 設(shè)為IOO)時(shí)，可以用于當(dāng)前圖像幀的空白區(qū)域填充；否則，不能使用該鄰近幀。^k等于l 表示鄰近的第k幀圖像可用于空白區(qū)域填充。 當(dāng)鄰近的多幀圖像都可用于當(dāng)前圖像幀的空白區(qū)域填充時(shí)，優(yōu)先選用與當(dāng)前圖像 幀更鄰近的圖像幀。因?yàn)橐曨l中兩幀圖像靠的越近，圖像間旋轉(zhuǎn)和縮放變化的系數(shù)越小，更 加符合本發(fā)明提出的快速圖像配準(zhǔn)方法的假設(shè)，圖像配準(zhǔn)的精度更高，空白區(qū)域填充后的 人工處理痕跡也將越小。 步驟四跳轉(zhuǎn)到當(dāng)前圖像幀的下一幀，返回步驟一，直至視頻中的所有圖像幀處理 完畢后結(jié)束。 參見(jiàn)圖4，公開(kāi)了一種去除視頻抖動(dòng)的系統(tǒng)400，包括配準(zhǔn)裝置401、校正裝置402 和填充裝置403。其中配準(zhǔn)裝置401將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)； 校正裝置402將配準(zhǔn)中當(dāng)前圖像幀產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn) 動(dòng)軌跡，對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正；填充裝置403使用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣處產(chǎn)生的空白區(qū)域。配準(zhǔn)裝置401進(jìn)一 步包括下采樣單元411，用于計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì) 原圖像進(jìn)行下采樣，生成下采樣圖像；以及縮小下采樣尺度，對(duì)運(yùn)動(dòng)方向校正裝置校正后的 圖像進(jìn)行下采樣以生成下采樣圖像，直至下采樣尺度為0;計(jì)算單元412，用于在下采樣圖 像中計(jì)算每個(gè)像素的紋理特征；運(yùn)動(dòng)方向確定單元413，用于根據(jù)各像素的紋理特征計(jì)算 兩圖像幀的下采樣圖像的代價(jià)函數(shù)，從而得到下采樣圖像的運(yùn)動(dòng)方向；運(yùn)動(dòng)方向校正單元 414，用于根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向和列方向上的軌跡信息。 通過(guò)該系統(tǒng)能夠?qū)嵤┧鲆曨l抖動(dòng)的方法。 本方法的配準(zhǔn)過(guò)程與Harris和SUSAN角點(diǎn)檢測(cè)與配準(zhǔn)方法進(jìn)行了比較，包括隨 著偏移比例變化的配準(zhǔn)精度，隨著圖像對(duì)比度變化的配準(zhǔn)精度和隨著圖像對(duì)比度變化的配 準(zhǔn)速度。圖7a展示了圖像具有不同偏移比例時(shí)，不同方法的配準(zhǔn)精度。圖中，本方法的配 準(zhǔn)過(guò)程由于采用多種尺度進(jìn)行下采樣，采集紋理特征進(jìn)行配準(zhǔn)，故用MSGTR(Multi-Scale Global Texture Registeration多尺度全局紋理配準(zhǔn)方法)表示。橫坐標(biāo)為10時(shí)表示圖 像行方向和列方向偏移的范圍從O到寬度和高度的1/10。從圖中可知，在圖像偏移較大時(shí)， 本方法的配準(zhǔn)過(guò)程配準(zhǔn)精度相對(duì)較高，為63. 1% ;在圖像偏移較小時(shí)，其配準(zhǔn)精度與SUSAN 角點(diǎn)檢測(cè)與匹配方法相當(dāng)，比Harris角點(diǎn)檢測(cè)與配準(zhǔn)方法的配準(zhǔn)精度相對(duì)較低。各種方法 的具體配準(zhǔn)精度如表2所示。 表2.三種方法不同偏移尺度對(duì)應(yīng)的配準(zhǔn)精度
偏移比例1/101/81/61/51/4.51/41/3.51/31/2.51/2
配 準(zhǔn) 精 度Harris0.9590.9560.950.9460.9440.9390.8710.7540.6440.504
SUSAN0.9920.9890.9880.9850.9830.9810.9190.8210.7170.598
MSGTR0.9910.9890.9820.9790.9720.9550.9160.8360.7350.631 圖7b展示了圖像具有不同對(duì)比度時(shí)，不同方法的配準(zhǔn)精度。圖像的對(duì)比度較低 時(shí)，Harris和SUSAN角點(diǎn)檢測(cè)的精確程度有所降低，從而影響圖像配準(zhǔn)的精度。從圖中可 見(jiàn)，MSGTR代表的本方法的配準(zhǔn)過(guò)程受對(duì)比度的影響相對(duì)較小，對(duì)比度最低時(shí)，配準(zhǔn)精度為 82% ;而Harris角點(diǎn)檢測(cè)與匹配方法受的影響最大，配準(zhǔn)精確度僅為69%。對(duì)比度較高時(shí)， 三種方法的配準(zhǔn)精度都較高。 圖7c顯示了圖像具有不同對(duì)比度對(duì)角點(diǎn)檢測(cè)數(shù)目的影響。從圖中可見(jiàn)，隨著圖像 對(duì)比度的增強(qiáng)，Harris和SUSAN角點(diǎn)檢測(cè)方法能夠檢測(cè)出更多的角點(diǎn)。且相同對(duì)比度情況 下，SUSAN角點(diǎn)檢測(cè)方法檢測(cè)出的角點(diǎn)數(shù)目更多一些。這是圖像具有相同對(duì)比度時(shí)，SUSAN 角點(diǎn)檢測(cè)與配準(zhǔn)方法精度略高一些的原因，如圖5a和圖5b所示。 圖7d顯示了圖像具有不同對(duì)比度時(shí)，三種方法進(jìn)行圖像配準(zhǔn)所需時(shí)間的變化情 況。從圖中可見(jiàn)，隨著圖像對(duì)比度的提高，Harris和SUSAN算法檢測(cè)出更多的角點(diǎn)，也消耗 更多的時(shí)間，但MSGTR代表的本方法的配準(zhǔn)過(guò)程受圖像對(duì)比度的影響較小，且耗時(shí)較其他 兩種方法明顯偏小。 本方法的配準(zhǔn)過(guò)程與Harris和SUSAN角點(diǎn)檢測(cè)與配準(zhǔn)方法的性能相比，本方法的 配準(zhǔn)過(guò)程的配準(zhǔn)速度與圖像的對(duì)比度無(wú)關(guān)，僅受圖像尺寸的影響。當(dāng)圖像尺寸為320X240 時(shí)，本方法的配準(zhǔn)過(guò)程的處理時(shí)間僅為16ms，且由共享邊緣的約束值確定的與當(dāng)前幀鄰近
12的圖像幀填充平滑抖動(dòng)時(shí)在當(dāng)前幀邊緣處產(chǎn)生的空白區(qū)域，保證了邊緣的連續(xù)性和一致 性，使重建后圖像與原始輸入視頻具有相同的分辨率，在邊緣處能夠平滑過(guò)渡，填充區(qū)域具 有較高的對(duì)比度，有效地去除了視頻的抖動(dòng)。 顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若對(duì)本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范 圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
一種去除視頻抖動(dòng)的方法，其特征在于，包括步驟一將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)；步驟二將配準(zhǔn)中當(dāng)前圖像幀產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡，對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正；步驟三用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣處產(chǎn)生的空白區(qū)域；步驟四跳轉(zhuǎn)到當(dāng)前圖像幀的下一圖像幀，返回步驟一，直至視頻中的所有圖像幀處理完畢。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟一包括如下步驟 步驟a、計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì)原圖像進(jìn)行下采樣，生成下采樣圖像；步驟b、在下采樣圖像中計(jì)算每個(gè)像素的紋理特征；步驟c、根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函數(shù)，從而得到下采 樣圖像的運(yùn)動(dòng)方向；步驟d、根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向和列方向上的軌跡信息；步驟e、縮小下采樣尺度，對(duì)校正后的圖像進(jìn)行下采樣，返回步驟b，直至下采樣尺度為0。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟a中，最大下采樣尺度為t， t = max{i-y 《min(H， W}}其中，i表示臨界下采樣尺度，Y為相對(duì)參數(shù)，H表示圖像的高度，W表示圖像的寬度。
4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟b中，紋理特征用圖像的灰度、水 平和豎直梯度三維向量來(lái)表示，如下式所示力w)=其中，l(x,y)為圖像在像素點(diǎn)(X， W處的灰度值，l(X,/'和iky)"表示圖像在像素點(diǎn)(x，y)處的水平和豎直梯度。
5. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟c中，代價(jià)函數(shù)為<formula>formula see original document page 2</formula>其中，u為水平方向的像素偏移，v為豎直方向的像素偏移，u和v的取值范圍均是{-1， 0，1} ;C(u,v)為兩幀圖像間按(u， v)方向運(yùn)動(dòng)時(shí)的代價(jià)值，H表示圖像的高度，W表示圖像的 寬度。f(〃/表示圖像在像素點(diǎn)(x， y)處的紋理特征值，f(自,y+v)2表示鄰幀圖像在像素點(diǎn) (x+u， y+v)處的紋理特征值。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟c中，圖像的運(yùn)動(dòng)方向的計(jì)算公 式為<formula>formula see original document page 2</formula>其中，小為判定閾值，(u' ，v')為相鄰兩幀間的運(yùn)動(dòng)方向，
7. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟e中，對(duì)校正后的圖像進(jìn)行下采 樣時(shí)，采用金字塔模型進(jìn)行下采樣。
8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟二中，將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌 跡信息進(jìn)行累計(jì)時(shí)，首先計(jì)算當(dāng)前幀在行方向需移動(dòng)的像素?cái)?shù)目s^和當(dāng)前幀在行方向需 移動(dòng)的像素?cái)?shù)目S。y其中，P^為運(yùn)動(dòng)軌跡中與當(dāng)前圖像幀相鄰i幀的圖像在行方向的累積位移，Pj。為運(yùn)動(dòng) 軌跡中與當(dāng)前圖像幀相鄰j幀的圖像在列方向的累積位移，a為濾除抖動(dòng)采用的視頻幀寬 度，P。r表示當(dāng)前圖像幀在行方向的積累位移，P。。表示當(dāng)前圖像幀在列方向的積累位移，i、 j為自然數(shù)；根據(jù)S to和S 。。反方向移動(dòng)當(dāng)前圖像幀來(lái)平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡。
9. 根據(jù)權(quán)利要求l所述的方法，其特征在于，所述步驟三中，計(jì)算當(dāng)前圖像幀和與當(dāng) 前圖像幀鄰近的圖像幀之間的共享邊緣約束值，當(dāng)共享邊緣的約束值小于既定閾值時(shí)，用 與當(dāng)前圖像幀鄰近的圖像幀的對(duì)應(yīng)區(qū)域填充平滑抖動(dòng)時(shí)當(dāng)前圖像幀中的空白區(qū)域，否則用 與當(dāng)前圖像幀鄰近的圖像幀的下一幀進(jìn)行閾值匹配，直至當(dāng)前圖像幀中的空白區(qū)域填充完 畢。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟三中，共享邊緣約束值Sk (x。， y。)為 <formula>formula see original document page 3</formula>) 其中，S。k(X。， y。)為當(dāng)前圖像幀相對(duì)于鄰近的第k幀圖像在(x。， y。)處的共享邊緣約束； Sk。(x。，y。)為鄰近的第k幀圖像相對(duì)于當(dāng)前圖像幀在(x。，y。)處的共享邊緣約束；(x。，y。)為 當(dāng)前圖像幀在與第k幀圖像共享邊緣上像素點(diǎn)的坐標(biāo)。
11. 一種去除視頻抖動(dòng)的系統(tǒng)，其特征在于，包括 配準(zhǔn)裝置，用于將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)；校正裝置，用于將配準(zhǔn)中當(dāng)前圖像幀產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡，對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正；填充裝置，用于使用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣 處產(chǎn)生的空白區(qū)域。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述配準(zhǔn)裝置包括下采樣單元，用于計(jì)算當(dāng)前圖像幀的最大下采樣尺度，根據(jù)最大下采樣尺度對(duì)原圖像 進(jìn)行下采樣，生成下采樣圖像；以及縮小下采樣尺度，對(duì)運(yùn)動(dòng)方向校正裝置校正后的圖像進(jìn) 行下采樣以生成下采樣圖像，直至下采樣尺度為0 ;計(jì)算單元，用于在下采樣圖像中計(jì)算每個(gè)像素的紋理特征；運(yùn)動(dòng)方向確定單元，用于根據(jù)各像素的紋理特征計(jì)算兩圖像幀的下采樣圖像的代價(jià)函 數(shù)，從而得到下采樣圖像的運(yùn)動(dòng)方向；運(yùn)動(dòng)方向校正單元，用于根據(jù)運(yùn)動(dòng)方向?qū)υ瓐D像進(jìn)行校正，得到原圖像在行方向和列 方向上的軌跡信息。
全文摘要
本發(fā)明提供了一種去除視頻抖動(dòng)的方法和系統(tǒng)，所述方法包括步驟一將視頻中當(dāng)前圖像幀相對(duì)于其鄰近圖像幀進(jìn)行配準(zhǔn)；步驟二將配準(zhǔn)中產(chǎn)生的抖動(dòng)的軌跡信息進(jìn)行累計(jì)，并平滑抖動(dòng)產(chǎn)生的運(yùn)動(dòng)軌跡，對(duì)當(dāng)前圖像幀進(jìn)行與運(yùn)動(dòng)軌跡相反方向的校正；步驟三用與當(dāng)前圖像幀鄰近的圖像幀來(lái)填充平滑抖動(dòng)時(shí)在當(dāng)前圖像幀邊緣處產(chǎn)生的空白區(qū)域；步驟四跳轉(zhuǎn)到當(dāng)前圖像幀的下一圖像幀，返回步驟一，直至視頻中的所有圖像幀處理完畢。通過(guò)本發(fā)明的方法和系統(tǒng)，處理速度更快，且與圖像的對(duì)比度無(wú)關(guān)，具有相對(duì)更高的配準(zhǔn)精度，并保證了填充后圖像在邊緣處具有很好的連續(xù)性和一致性，減少了人工處理的痕跡。
文檔編號(hào)H04N5/232GK101742122SQ20091024279
公開(kāi)日2010年6月16日 申請(qǐng)日期2009年12月21日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者劉昌平, 姚波, 黃磊 申請(qǐng)人:漢王科技股份有限公司