專利名稱：基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及是一種可廣泛用于手機(jī)、數(shù)碼相機(jī)、攝像機(jī)等消費(fèi)電子類產(chǎn)品，同時(shí)亦 可廣泛用于飛機(jī)、艦船、衛(wèi)星、導(dǎo)彈等所裝備的攝像和監(jiān)視系統(tǒng)中的實(shí)時(shí)視頻穩(wěn)像方法，具 體是一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法。
背景技術(shù)：
攝像機(jī)在移動過程中拍攝的視頻序列，不僅包含了攝像機(jī)的主動運(yùn)動部分，同時(shí) 也引入了不規(guī)則的隨機(jī)運(yùn)動，這種隨機(jī)運(yùn)動的存在，會造成視頻的抖動和模糊，嚴(yán)重影響了 人的視覺感受，視頻穩(wěn)像的目的就是消除或削弱這種隨機(jī)運(yùn)動對視頻畫面所造成的破壞性 影響。視頻穩(wěn)像的實(shí)現(xiàn)包括運(yùn)動估計(jì)、運(yùn)動濾波和無效區(qū)域補(bǔ)償三個(gè)模塊，針對這三個(gè)模 塊，國內(nèi)外學(xué)者提出了很多方法。在運(yùn)動估計(jì)方面，有基于塊、基于特征點(diǎn)、基于位平面等方 法；在運(yùn)動濾波方面，有加權(quán)均值濾波、卡爾曼濾波(Kalman Filter)等；在無效區(qū)域補(bǔ)償 方面，有基于圖像放大、基于視頻修復(fù)(Video Inpaint)等方法。盡管提出了這么多方法， 但是這些方法在速度和效果上仍沒能做到很好的折中，比如在運(yùn)動估計(jì)方面，基于塊的方 法，速度快，但是受光照影響較大，基于特征點(diǎn)方法，具有較好的抗光照效果，但是對局部運(yùn) 動較敏感，基于位平面方法，對光照不敏感，但是速度較慢且數(shù)據(jù)存儲量較大。另外在運(yùn)動濾波方面，基本都是采用傳統(tǒng)卡爾曼濾波或加權(quán)均值濾波，濾波的響 應(yīng)性不好，有的濾波方法利用未來幀信息進(jìn)行前向平滑處理，盡管濾波效果較好，但是由于 利用未來幀信息不能實(shí)時(shí)處理；無效區(qū)域補(bǔ)償方面，目前較好的一種方法是利用視頻修復(fù) 思想來實(shí)現(xiàn)，但是這種方法致命缺點(diǎn)是速度慢并且依賴未來幀信息，無法實(shí)時(shí)處理。因此， 對于一個(gè)魯棒的視頻穩(wěn)像器而言，設(shè)計(jì)一組實(shí)時(shí)有效的運(yùn)動估計(jì)、運(yùn)動濾波和無效區(qū)域補(bǔ) 償方法顯得非常重要。最后，經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)Marius Tico在《IEEEInternational Conference on Image Processing〉〉(pp569_572,2005)上 發(fā)表"Constraint motion filtering for videostabilization”(基于約束運(yùn)動濾波的視頻穩(wěn)像方法，圖像處理IEEE 國際會議)，該文采用了特征點(diǎn)跟蹤方法及帶約束限制的卡爾曼運(yùn)動濾波方法，試驗(yàn)結(jié)果表 明該方法有較好的穩(wěn)像效果，但是文中的運(yùn)動估計(jì)采用了基于全像素的特征匹配，精度高， 但是速度慢，同時(shí)文中采用了基于勻速模型的卡爾曼運(yùn)動濾波方法，當(dāng)運(yùn)動模型匹配時(shí)，濾 波效果較好，但是一旦模型發(fā)生變化，則濾波效果會受到很大影響，而實(shí)際攝像機(jī)在拍攝過 程中往往不符合勻速運(yùn)動規(guī)律。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像 方法，它增強(qiáng)了攝像設(shè)備的抗光照和圖像噪聲的能力，提高了全局運(yùn)動參數(shù)估計(jì)的魯棒性， 進(jìn)而提高了攝像設(shè)備對復(fù)雜環(huán)境下的視頻穩(wěn)像能力。為了解決以上技術(shù)問題，本發(fā)明提供了一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)
5像方法，它包括如下步驟第一步，對當(dāng)前幀進(jìn)行塊分割，第二步，利用積分圖特征描述每 個(gè)塊內(nèi)容，第三步，以積分圖特征誤差最小為匹配準(zhǔn)則對每個(gè)塊進(jìn)行塊匹配運(yùn)動估計(jì)，第四 步，統(tǒng)計(jì)所述塊的運(yùn)動向量獲取當(dāng)前幀相對于前一幀的全局運(yùn)動參數(shù)，第五步，對全局運(yùn)動 參數(shù)進(jìn)行運(yùn)動濾波處理，第六步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動補(bǔ)償。另外，所述第四步包括第4-1步，判斷塊運(yùn)動是否異常，如果不異常則標(biāo)注為有 效塊，第4-2步，統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移參數(shù)，第4-3步，根據(jù)所述 全局平移量估算出每一個(gè)有效塊相對于前一幀中的匹配塊的旋轉(zhuǎn)和縮放量，第4-4步，統(tǒng) 計(jì)所述的旋轉(zhuǎn)和縮放量估算出全局的旋轉(zhuǎn)和縮放量。其中，所述第五步濾波處理是采用粒子濾波方法進(jìn)行運(yùn)動濾波處理，并且所述第 五步粒子濾波方法中的重要性采樣通過自適應(yīng)卡爾曼濾波方法獲取。本發(fā)明采用了基于積分圖特征的塊運(yùn)動估計(jì)方法，而該塊運(yùn)動估計(jì)方法，首先將 當(dāng)前幀圖像分成若干塊，如8x8或16x16，將每塊在參考幀內(nèi)特定搜索范圍內(nèi)進(jìn)行匹配，塊 與塊之間的匹配準(zhǔn)則，傳統(tǒng)方法采用絕對誤差、均方誤差等，這些準(zhǔn)則易于計(jì)算，但是對圖 像噪聲和光照變化較敏感，本發(fā)明采用了積分圖特征誤差作為匹配準(zhǔn)則，該特征具有運(yùn)算 速度快，且具有對圖像噪聲和光照變化不敏感的優(yōu)點(diǎn)，增強(qiáng)了攝像設(shè)備的抗光照和圖像噪 聲的能力，提高了全局運(yùn)動參數(shù)估計(jì)的魯棒性。另外，在獲得塊運(yùn)動參數(shù)后，需要基于這些 運(yùn)動參數(shù)估計(jì)出當(dāng)前幀相對于前一幀的全局運(yùn)動參數(shù)，為了準(zhǔn)確地估計(jì)出全局運(yùn)動參數(shù)， 需要對每個(gè)塊的運(yùn)動趨勢進(jìn)行判斷，并需剔除那些運(yùn)動趨勢異常的塊，一般情況下，大多數(shù) 塊的運(yùn)動趨勢是一致的，但是有的塊會由于物體局部運(yùn)動或干擾等因素出現(xiàn)運(yùn)動趨勢異 常，本發(fā)明基于多數(shù)塊運(yùn)動趨勢一致性原理，認(rèn)為大多數(shù)塊的運(yùn)動矢量服從一個(gè)高斯分布， 而位于高斯分布均值附近的運(yùn)動矢量所對應(yīng)的塊才是有效塊，其余為異常運(yùn)動塊。然后， 在判斷出有效塊后，需利用這些塊的運(yùn)動參數(shù)估計(jì)出全局運(yùn)動參數(shù)，經(jīng)典方法是采用最小 二乘法求解一個(gè)超定方程組，即2 = (XtX)-1X'，其中2 = [χ為全局運(yùn)動參數(shù)，X為前 一幀中塊的坐標(biāo)，X’為當(dāng)前幀中對應(yīng)塊的坐標(biāo)，在求解該方程時(shí)，需要求矩陣逆，該矩陣的 維數(shù)一般都較高，因此運(yùn)算較復(fù)雜，并且有可能會由于計(jì)算機(jī)數(shù)值問題出現(xiàn)矩陣不可逆，導(dǎo) 致無法求出全局運(yùn)動參數(shù)，而本發(fā)明利用估計(jì)出當(dāng)前幀每個(gè)塊相對于前一幀塊所產(chǎn)生的平 移、旋轉(zhuǎn)和縮放量，然后，采用統(tǒng)計(jì)均值的方法求出全局運(yùn)動參數(shù)，該方法實(shí)現(xiàn)簡單，避免了 復(fù)雜的高維矩陣求逆運(yùn)算，并且估計(jì)精度較高。最后，本發(fā)明設(shè)計(jì)一種基于自適應(yīng)卡爾曼濾 波的概率粒子濾波方法(Particle Filter)，通過調(diào)節(jié)觀測噪聲方差，提高卡爾曼濾波的響 應(yīng)速度，同時(shí)通過概率粒子濾波方法來校正卡爾曼濾波在運(yùn)動模型不匹配時(shí)的狀態(tài)估計(jì)誤 差。


下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步詳細(xì)說明。圖l(a)-l(h)為本發(fā)明處理方法總體框圖。其中圖1(a)為積分圖特征描述圖；圖1(b)為運(yùn)動塊的積分圖特征描述圖；圖 1(c)為塊運(yùn)動估計(jì)流程圖；圖1(d)為異常運(yùn)動塊和無效運(yùn)動塊標(biāo)注圖；圖1(e)為單個(gè)有 效塊的旋轉(zhuǎn)角度量和縮放量的估計(jì)示意圖；圖1(f)為基于有效塊的全局運(yùn)動參數(shù)估計(jì)流 程圖；圖1(g)為運(yùn)動濾波實(shí)現(xiàn)過程圖；圖1(h)為視頻穩(wěn)像的總體框圖。
6
圖2(a)_2(b)為本發(fā)明中兩種運(yùn)動濾波效果比較圖。其中圖2(a)為帶約束限制的卡爾曼運(yùn)動濾波方法效果圖，圖2(b)為基于自適應(yīng) 卡爾曼濾波的概率粒子濾波方法效果圖。圖3(a)_(f)為本發(fā)明中視頻穩(wěn)像效果圖。其中圖3(a)為原始視頻序列，圖3(b)為穩(wěn)像后序列，圖3 (c)為χ方向位移量的 運(yùn)動濾波效果圖，圖3(d)為y方向位移量的運(yùn)動濾波效果圖，圖3(e)為旋轉(zhuǎn)角度量的運(yùn)動 濾波效果圖，圖3(f)為縮放量的運(yùn)動濾波效果圖。
具體實(shí)施例方式圖l(a)-l(h)為本發(fā)明提出的一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法 的總體框圖。各部分具體實(shí)施細(xì)節(jié)如下圖1 (a)為積分圖特征描述圖1.積分圖特征(對應(yīng)的英文為Integral Image Feature)如圖1(a)所示，所謂積分圖特征，在圖中白色矩形區(qū)域內(nèi)像素灰度值之和與黑色 矩形區(qū)域內(nèi)像素灰度值之和的差值即為積分圖特征，圖中采用了 5種積分圖特征，當(dāng)然實(shí) 際中可以需要設(shè)定。該特征的好處體現(xiàn)在(1)區(qū)域內(nèi)的像素值之和可有效抵制圖像噪聲 的影響，(2)相鄰矩形區(qū)域內(nèi)像素和的差值可有效客服光照影響，因此該特征對圖像噪聲和 光照均有較好的抗干擾能力。為了快速計(jì)算這些特征，需將原始圖像轉(zhuǎn)換成積分圖像，轉(zhuǎn)換 公式為u(x,y)= Σ(D其中，χ和y為積分圖像中的像素點(diǎn)坐標(biāo)，χ'和y'為原始圖像中的像素點(diǎn)坐標(biāo)， 為積分圖像，i為原始圖像，有了積分圖像，那么積分圖特征的計(jì)算簡化為對矩形頂點(diǎn)位 置上的積分圖像素值的簡單加減。圖1 (b)為運(yùn)動塊的積分圖特征描述圖1.塊積分圖特征及塊匹配準(zhǔn)則塊的內(nèi)容可以由一組大小和位置不同的單個(gè)積分圖特征來描述，對于一個(gè)16x16 的塊來說，其內(nèi)的積分圖特征有成千上萬個(gè)，如果用全部的積分圖特征來描述塊的內(nèi)容，精 度高，但是實(shí)時(shí)性差，通過試驗(yàn)發(fā)現(xiàn)大約100個(gè)積分圖特征就可以很好地描述出一個(gè)塊的 內(nèi)容。用積分圖特征描述好每個(gè)塊后，則兩個(gè)塊的匹配誤差準(zhǔn)則可設(shè)計(jì)如下
M丨ISAD(Ax,Ay) = Σ 巧⑷#) —(2)
A=O其中，k為積分圖特征的索引號，M為積分圖特征總數(shù)，^和Ay為位移量，B(i， j)為當(dāng)前幀中心位置為(i，j)的塊，B(i+Ax，j+Ay)為前一幀中心位置為(i+Ax，j+Ay) 的塊，F(xiàn)b(U) (k)和巧㈨分別為塊B(i，j)禾PB(i+Ax，j+Ay)上第k個(gè)積分圖特征， 如果這個(gè)誤差在搜索過程中為最小，則表明這兩個(gè)塊匹配。圖1 (c)為塊運(yùn)動估計(jì)流程圖1.塊運(yùn)動估計(jì)確定了匹配誤差準(zhǔn)則后，搜索算法根據(jù)這個(gè)準(zhǔn)則在前一幀圖像中搜索出與當(dāng)前幀塊匹配誤差最小的對應(yīng)塊。為了確保匹配的精準(zhǔn)性，在搜索過程中，盡量選擇特征豐富的塊 去進(jìn)行搜索，而對那些特征不豐富的塊，直接進(jìn)行無效塊標(biāo)記，不參與運(yùn)動匹配。特征豐富 程度，可由下式計(jì)算得到
UT = ^FB(k)(3)
k=\其中，F(xiàn)b (k)為塊B上的第k個(gè)積分圖特征，M為積分圖特征總數(shù)。一般情況下， 塊內(nèi)的紋理信息與T值大小有關(guān)，T值越大，該塊紋理信息越明顯，特征越豐富，否則，反之。 如果T小于一個(gè)最小閾值，則該塊的特征被定義為不豐富，直接標(biāo)注為無效塊。同樣，對那 些在運(yùn)動估計(jì)中匹配誤差較大的塊，也進(jìn)行無效塊標(biāo)記，因?yàn)檎`差偏大，說明匹配可能不準(zhǔn) 確。對部分塊進(jìn)行無效標(biāo)注，可以提高全局運(yùn)動參數(shù)估計(jì)的精準(zhǔn)度。在搜索方法上，本發(fā)明 采用了傳統(tǒng)的鉆石搜索法，該方法速度快、搜索精度高。圖1 (d)為異常運(yùn)動塊和無效運(yùn)動塊標(biāo)注圖1.異常運(yùn)動塊剔除剔除異常運(yùn)動塊與標(biāo)注無效塊的目的是一樣的，都是為了更準(zhǔn)確地估計(jì)出全局運(yùn) 動參數(shù)，一般情況下，大多數(shù)塊的運(yùn)動趨勢都是一致的，但是有的塊會由于物體的局部運(yùn)動 或干擾，出現(xiàn)運(yùn)動趨勢異常，必須找出這些塊并加以剔除。在本發(fā)明中，采用了一種統(tǒng)計(jì)方 法來實(shí)現(xiàn)對異常運(yùn)動塊的剔除，首先，統(tǒng)計(jì)所有塊的運(yùn)動矢量的均值和方差，然后以這個(gè)均 值和方差構(gòu)造一個(gè)高斯分布函數(shù)，如果某個(gè)塊的運(yùn)動矢量分布在該高斯分布均值的3倍方 差以外，則將該塊標(biāo)注為異常運(yùn)動塊。圖1(d)中標(biāo)有灰白色線的塊為運(yùn)動異常塊，無線條 標(biāo)注的塊為特征不豐富或匹配過程中誤差較大的塊，標(biāo)有黑色線的塊為有效塊。異常運(yùn)動 塊的判斷實(shí)現(xiàn)步驟如下步驟1 統(tǒng)計(jì)塊運(yùn)動參數(shù)的均值和方差塊運(yùn)動參數(shù)的均值和方差計(jì)算公式如下Ux=^fjVxQ)(4)
L ι=\宅^^⑴-^]2(5)
厶一1 /=1O(6)S2y=^—jyvy(l)-Uyf(7)
L-I /=1其中，1為塊的索引值，L為塊的總數(shù)量，VX(1)為第1個(gè)塊在χ方向上的運(yùn)動位移， Vy(I)為y方向上的運(yùn)動位移，Ux為所有塊在X方向上的運(yùn)動位移均值，《為X方向上的運(yùn) 動位移方差，Uy為所有塊在y方向上的運(yùn)動位移均值，g為y方向上的運(yùn)動位移方差。步驟2 檢驗(yàn)每個(gè)塊的運(yùn)動異常性對于第k個(gè)塊，如果其χ和y方向位移量Vx(k) ^P Vy (k)滿足下面任何一個(gè)公式， 則該塊為異常運(yùn)動塊，需剔除，不參與下一次均值和方差計(jì)算，公式如下
8
Γ,(8)其中，T為閾值，一般取2. 5-4。步驟3 循環(huán)步驟1和步驟2，當(dāng)?shù)鷿M足一個(gè)最大迭代次數(shù)，或當(dāng)前統(tǒng)計(jì)出的均值 與前一次的均值相比變化很小時(shí)，停止迭代。圖1 (e)為單個(gè)有效塊的旋轉(zhuǎn)角度量和縮放量的估計(jì)示意圖1.單個(gè)有效塊的旋轉(zhuǎn)角度量和縮放量估計(jì)判斷出有效塊后，需基于這些塊的運(yùn)動參數(shù)估計(jì)出全局運(yùn)動參數(shù)。當(dāng)前幀相對于 前一幀的全局運(yùn)動過程，如果反應(yīng)到一個(gè)塊上，則可以由圖1(e)中的塊運(yùn)動過程描述，即 前一幀的塊從O1點(diǎn)平移到當(dāng)前幀的O2點(diǎn)，然后，旋轉(zhuǎn)到O3點(diǎn)，最后，縮放至O4點(diǎn)。在估計(jì)單 個(gè)有效塊的旋轉(zhuǎn)角度量和縮放量之前，需先統(tǒng)計(jì)出全局平移量，全局平移量可以由下式計(jì) 算得到
ι MGx^—YVx{m)(9)
M m=l
ι MGy=-YjV^m)(10)
M \
1V± W=I其中，Gx和Gy為當(dāng)前幀相對于前一幀的全局平移量，M為有效塊的總數(shù)，m為有效 塊的索引，Vx(HI)和\(!11)分別為第m個(gè)有效塊在χ方向和y方向上的運(yùn)動位移量。塊在O1位置經(jīng)過了 Gx和Gy平移后，到達(dá)O2點(diǎn)，然后旋轉(zhuǎn)到O3點(diǎn)，旋轉(zhuǎn)角度θ (m) 可以通過下式計(jì)算θ{π ) = ZO1OOa=ζβοο4-ΖΒΟΟ2= a tan(^) - α tan(^)(11)= a tan(^) - a tand)
0AyOxy + Gy其中，O4y和O4x為當(dāng)前幀中心位置為(04y，O4x)的塊，Oly和Olx為在前一幀中搜索 到的最佳匹配塊中心位置，Gx和Gi為估計(jì)到的全局平移量。
S(m) =
同理，可以推導(dǎo)出每個(gè)有效塊的縮放量
"00 4 _ "oo 4 ^oo 3 "OO2 二
Io2 +O2
_ V^y 卞 ljIx(12)
Pl^O2
2x
「 ^Oly +Ol =-γ---
^(Oiy + Gy)2 + (Olx + Gx)2
圖1(f)為基于有效塊的全局參數(shù)估計(jì)流程圖 1.全局運(yùn)動參數(shù)估計(jì)
在獲得每個(gè)有效塊的平移量、旋轉(zhuǎn)角度量和縮放量后，則全局運(yùn)動參數(shù)并可由這
9些量統(tǒng)計(jì)得到，其中，全局平移量由式(9)和式(10)估計(jì)出，而全局旋轉(zhuǎn)角度量和縮放量可 由下式估計(jì)出
ι MG9=-YuGim)(13)
ι MGs=-YjSim)(14)其中，G0是全局旋轉(zhuǎn)量，Gs是全局縮放量，θ (m)是第m個(gè)有效塊的旋轉(zhuǎn)角度量， S (m)是第m個(gè)有效塊的縮放量。圖1 (g)為運(yùn)動濾波實(shí)現(xiàn)過程圖。所謂運(yùn)動濾波就是濾除抖動分量，使處理后的視頻變得平穩(wěn)。由于本發(fā)明中的無 效區(qū)域補(bǔ)償采用了基于圖像放大的方法，因此對濾波算法的輸出需要進(jìn)行限幅，即補(bǔ)償量 不能大于某個(gè)閾值。本發(fā)明借鑒了 Marius Tico論文中帶約束的卡爾曼濾波思想，但是該 論文中的方法存在濾波響應(yīng)性不好，以及運(yùn)動模型不匹配時(shí)，狀態(tài)估計(jì)誤差偏大問題，針對 這兩個(gè)問題，本發(fā)明設(shè)計(jì)了一種基于自適應(yīng)卡爾曼濾波的概率粒子濾波方法，通過自適應(yīng) 調(diào)節(jié)觀測噪聲方差來提高卡爾曼濾波的快速響應(yīng)性，同時(shí)通過概率粒子濾波算法來客服運(yùn) 動模型不匹配時(shí)狀態(tài)估計(jì)誤差偏大問題。粒子濾波是一種基于蒙特卡羅方法的概率濾波算法，它能有效解決非線性、非高 斯情況下的狀態(tài)估計(jì)問題。粒子濾波算法通過一組帶權(quán)重的粒子來逼近狀態(tài)的后驗(yàn)分布， 當(dāng)粒子的數(shù)目趨于無窮大時(shí)，則這些粒子在理論上可以逼近狀態(tài)的真實(shí)后驗(yàn)分布。粒子濾 波算法一般包括重要性采樣、重采樣以及狀態(tài)估計(jì)三個(gè)步驟。在重要性采樣步，首先，t-i時(shí) 刻的粒子μ }=通過運(yùn)動模型P(XKj)傳遞到下一時(shí)刻；然后，在給定的觀測值Zt，每
個(gè)被傳遞的粒子ρ,)被賦予權(quán)值ω ^nr7, 最后，歸一化這些權(quán)值^)=^0 /fy') ο
在重采樣步，粒子·{；^)，M^ 將被重新采樣，每個(gè)粒子被選擇的次數(shù)與它的權(quán)值大小成正
比，權(quán)值越大的粒子被選擇的可能性越大。在估計(jì)出狀態(tài)的后驗(yàn)分布后，目標(biāo)的狀態(tài)可以利 用最小均方根誤差估計(jì)方法(MMSE)估計(jì)出?；谧赃m應(yīng)卡爾曼濾波的概率粒子濾波方法 實(shí)現(xiàn)步驟如下步驟1 重要性采樣在重要性采樣步驟中，通過自適應(yīng)卡爾曼濾波方法獲得概率粒子濾波的采樣狀
態(tài)，具體實(shí)現(xiàn)過程如下X^1 = AX^1 ,i = l,...,N(15)P^lx= AP^At +σ]ΒΒτ(16)G = Pgcmc + O-1(17)if) = (/ - GCT(18)Xt(0 = X^1 + G[Zt -CtX^1 ](19)1((,) 二 X〉') + N(0,P^)(20)
10
其中，i為粒子的索引值，N為粒子總數(shù)，乂= lQ j ,B= [1 1]T, C= [1 0]τ， 「1 0]
/= Λ ,，w,)為第i個(gè)粒子t-ι時(shí)刻的狀態(tài)，y(i)為第i個(gè)粒子在t時(shí)刻的預(yù)測狀態(tài)，D(,)
為第i個(gè)粒子t-Ι時(shí)刻的狀態(tài)協(xié)方差陣，為第i個(gè)粒子在t時(shí)刻的狀態(tài)協(xié)方差預(yù)測陣， G為卡爾曼濾波的增益陣，if為第i個(gè)粒子在t時(shí)刻的狀態(tài)協(xié)方差估計(jì)陣，為第i個(gè)粒 子在t時(shí)刻卡爾曼濾波的估計(jì)狀態(tài)，為第i個(gè)粒子重采樣后的狀態(tài)，Zt為觀測值，<為狀 態(tài)噪聲方差，巧2 為t時(shí)刻的觀測噪聲方差，該值在傳統(tǒng)卡爾曼濾波方法中是利用先驗(yàn)信息 設(shè)定一個(gè)固定值，但是實(shí)際系統(tǒng)中很難獲得這種先驗(yàn)信息，而該值的大小直接影響卡爾曼 濾波的響應(yīng)速度，本發(fā)明中，設(shè)計(jì)了一種自適應(yīng)調(diào)節(jié)觀測噪聲方差的方法。當(dāng)抖動很厲害時(shí)，反應(yīng)在觀測值上為其方差較大，此時(shí)，如果還用固定的觀測噪聲 方差進(jìn)行卡爾曼濾波的話，濾波的快速響應(yīng)性受到影響，為了提高濾波的快速響應(yīng)性，本發(fā) 明設(shè)計(jì)了如下的自適應(yīng)調(diào)節(jié)觀測噪聲方差的策略。首先，統(tǒng)計(jì)一段時(shí)間窗內(nèi)的觀測值變化 劇烈程度，劇烈程度的描述公式如下M2=J X Z1(21)
L I=I-L-I民二丄 I(22)
L I=I-L-I其中，L為時(shí)間窗長度,Z1為第1時(shí)刻的觀測值，ΜΖ為時(shí)間窗內(nèi)的觀測值均值，Sz為 時(shí)間窗內(nèi)的觀測值變化劇烈程度，當(dāng)Sz越大，則在該時(shí)間窗內(nèi)，觀測值變化越劇烈，否則，反 之。其次，根據(jù)觀測值變化劇烈程度，自適應(yīng)調(diào)節(jié)觀測噪聲方差，調(diào)節(jié)公式為
。X、U, if Sz > Smiix=心,If1Smin <SZ< Smax(23) αχ"，if Sz <Smm其中為t時(shí)刻的觀測噪聲方差，A^wSt-I時(shí)刻的觀測噪聲方差；SZ為時(shí)間窗內(nèi) 的觀測值變化劇烈程度，和β為調(diào)節(jié)系數(shù)，α —般取0. 7-0. 9，β 一般取1. 1-1. 3 ；Smax為 觀測值變化劇烈程度的最大閾值，Smin為觀測值變化劇烈程度最小閾值。也就是說當(dāng)Sz大 于Sfflax時(shí)，減小t時(shí)刻的觀測噪聲方差；當(dāng)Sz小于Sfflin時(shí)，增加t時(shí)刻的觀測噪聲方差。式 (23)的目的就是在觀測值變化劇烈時(shí)，通過調(diào)小觀測噪聲方差來增加卡爾曼濾波的增益， 從而提高狀態(tài)估計(jì)的響應(yīng)速度。為了防止調(diào)節(jié)出的觀測噪聲方差過大或過小，采用下式進(jìn)行約束，使觀測噪聲方 差在一個(gè)最大和最小值之間自適應(yīng)調(diào)整，調(diào)節(jié)公式設(shè)計(jì)如下Η"=σΓ' ifcrIu >σΓ(24)也就是說CT^的調(diào)節(jié)過程中的值當(dāng)大于最大設(shè)定閾值時(shí)，取最大設(shè)定閾值，當(dāng)小于 最小設(shè)定閾值時(shí)，取最小設(shè)定閾值。最大設(shè)定閾值一般取402-502之間的值，最小設(shè)定閾值 一般取52_102之間的值。
11
步驟2:計(jì)算粒子權(quán)值^0 = i 1 exp卜；步驟3:歸一化粒子權(quán)值w{p =w{p /YjW^步驟4:重米樣粒子{X((0,l/iVj^ = ResampleJ^i(27)步驟5 狀態(tài)估計(jì)在狀態(tài)估計(jì)時(shí)，如果被選擇的粒子狀態(tài)和實(shí)際觀測值的差值太大，即運(yùn)動補(bǔ)償量 太大時(shí)，需要對補(bǔ)償量進(jìn)行約束處理，約束過程實(shí)現(xiàn)如下
χ(0 = |力'.)+ 噸-nrl-z^ocpec]-1 ,if \z-cTxr\>D (28)
X(<0, otherwise其中，Zt為t時(shí)刻的觀測值，C= [1 0] ,Ρ，為第i個(gè)粒子在t時(shí)刻的狀態(tài)協(xié)方差 估計(jì)陣，D為補(bǔ)償量的最大閾值。步驟6:狀態(tài)輸出對每個(gè)粒子狀態(tài)進(jìn)行限幅處理后，最終輸出狀態(tài)由下式得到足=丄式(')(29) 1 N ‘其中，足為t時(shí)刻的估計(jì)狀態(tài)，為重采樣并限幅處理后的第i個(gè)粒子狀態(tài)。圖2(a)_2(b)為本發(fā)明中兩種運(yùn)動濾波方法的效果比較圖，該圖中的目標(biāo)狀態(tài)在 快速運(yùn)動和靜止兩種狀態(tài)之間來回切換。圖2(a)為帶約束限制的卡爾曼運(yùn)動濾波方法 效果圖，圖2(b)為基于自適應(yīng)卡爾曼濾波的概率粒子濾波方法效果圖，兩圖中虛線2為 濾波后的效果圖，實(shí)線1為濾波前的效果圖，縱軸表示水平χ方向的位移量(Horizontal Position)，橫軸表示幀數(shù)(Frame)。從圖中可以明顯看出，基于自適應(yīng)卡爾曼濾波的概率粒 子濾波方法無論在快速響應(yīng)性還是模型不匹配時(shí)的狀態(tài)估計(jì)上均優(yōu)于帶約束限制的卡爾 曼運(yùn)動濾波方法。圖3(a)_3(f)為本發(fā)明中視頻穩(wěn)像效果圖。其中，圖3 (a)為原始視頻序列，圖3 (b) 為穩(wěn)像后序列，圖3(c)為χ方向位移量的運(yùn)動濾波效果圖，圖3(d)為y方向位移量的運(yùn)動 濾波效果圖，圖3(e)為旋轉(zhuǎn)角度量的運(yùn)動濾波效果圖，圖3(f)為縮放量的運(yùn)動濾波效果 圖，其中圖3(c)、(d)、(e)和(f)中的虛線2為濾波后的效果圖，實(shí)線1為濾波前的效果圖， 圖3(c)的縱軸表示水平χ方向位移量(Horizontal Position)，橫軸表示幀數(shù)(Frame)， 圖3(d)的縱軸表示垂直y方向的位移量(Vertical Position)，橫軸表示幀數(shù)(Frame)，圖 3(e)縱軸表示旋轉(zhuǎn)角度量(Rotation Angle)，橫軸表示幀數(shù)(Frame)，圖3 (f)縱軸表示縮 放量(Scale)，橫軸表示幀數(shù)(Frame)。從這些結(jié)果圖中可以看出，本發(fā)明中的濾波方法在 濾波響應(yīng)性和模型不匹配時(shí)的狀態(tài)估計(jì)均有較好效果。
權(quán)利要求
一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于，第一步，對當(dāng)前幀進(jìn)行塊分割，第二步，利用積分圖特征描述每個(gè)塊內(nèi)容，第三步，以積分圖特征誤差最小為匹配準(zhǔn)則對每個(gè)塊進(jìn)行塊匹配運(yùn)動估計(jì)，第四步，統(tǒng)計(jì)所述塊的運(yùn)動向量獲取當(dāng)前幀相對于前一幀的全局運(yùn)動參數(shù)，第五步，對全局運(yùn)動參數(shù)進(jìn)行運(yùn)動濾波處理，第六步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動補(bǔ)償。
2.根據(jù)權(quán)利要求1所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 在所述第三步之前還包括對所述塊的特征豐富程度進(jìn)行判定，由下式計(jì)算得到MT = YuF^k)(1)k=\其中，F(xiàn)b (k)為塊B上的第k個(gè)積分圖特征，M為積分圖特征總數(shù)，T表示特征豐富程度， T值越大，特征越豐富，如果T小于一個(gè)最小閾值，則該塊的特征被定義為不豐富，直接標(biāo)注 為無效塊，對該塊不進(jìn)行所述第三步的塊匹配運(yùn)動估計(jì)。
3.根據(jù)權(quán)利要求1或2所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在 于，所述第三步還包括塊匹配誤差判斷步驟，該步驟是對前后兩個(gè)塊的匹配誤差按照如下 公式進(jìn)行計(jì)算M丨ISAD(Ax,Ay) 二 ￡ ,"#)-廠卯+。 ⑷(2)Ar=O其中，k為積分圖特征的索引號，M為積分圖特征總數(shù)，^和Ay為位移量，B(i，j)為當(dāng) 前幀中心位置為(i，j)的塊，B(i+Ax，j+Ay)為前一幀中心位置為(i+Ax，j+Ay)的塊，F(xiàn)B(i, j) (k)和^;㈨分別為塊B(i，j)禾口 B(i+Ax，j+Ay)上第k個(gè)積分圖特征，ISAD ( Δ x, Δ y)為匹配誤差值，如果該匹配誤差值大于一個(gè)最大設(shè)定值，則標(biāo)注為無效塊，該塊不參與 所述第四步中的全局運(yùn)動參數(shù)估計(jì)。
4.根據(jù)權(quán)利要求1所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 所述第四步包括第4-1步，判斷塊運(yùn)動是否異常，如果不異常則標(biāo)注為有效塊，第4-2步， 統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，第4-3步，根據(jù)所述全局平移量估算 出每一個(gè)有效塊相對于前一幀中的匹配塊的旋轉(zhuǎn)和縮放量，第4-4步，統(tǒng)計(jì)所述的旋轉(zhuǎn)和 縮放量估算出全局的旋轉(zhuǎn)和縮放量。
5.根據(jù)權(quán)利要求4所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 所述第4-1步中判斷塊運(yùn)動是否異常包括如下步驟步驟1 統(tǒng)計(jì)塊在χ，y方向上的運(yùn)動參數(shù)的均值和方差，具體計(jì)算公式如下Ux=\±Vxd)(3)L ι=ιS2x -Ux]2(4)Uy=\±Vy(l)(5)L -1 1=1其中，1為塊的索引值，L為塊的總數(shù)量，VX(1)為第1個(gè)塊在X方向上的運(yùn)動位移，Vy(I)為y方向上的運(yùn)動位移，Ux為所有塊在χ方向上的運(yùn)動位移均值，焚為χ方向上的運(yùn)動位移 方差，Uy為所有塊在y方向上的運(yùn)動位移均值，g為y方向上的運(yùn)動位移方差；步驟2 檢驗(yàn)每個(gè)塊的運(yùn)動異常性，對于第k個(gè)塊，如果其χ和y方向位移量Vx (k)和 Vy (k)滿足下面任何一個(gè)公式，則該塊為異常運(yùn)動塊，否則標(biāo)注為有效塊，公式如下
6.根據(jù)權(quán)利要求4所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 所述第4-2步統(tǒng)計(jì)所述有效塊平移量的平均值估算出全局平移量，所述全局平移量包括在 χ方向上的全局平移量Gx和y方向上的全局平移量Gy，具體計(jì)算公式如下
7.根據(jù)權(quán)利要求4或5所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在 于，所述第4-3步的第m個(gè)有效塊的旋轉(zhuǎn)角度量θ (m)通過如下公式計(jì)算
8.根據(jù)權(quán)利要求4或5所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在 于，所述第4-3步的第m個(gè)有效塊的縮放量S (m)通過如下公式計(jì)算
9.根據(jù)權(quán)利要求4所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 所述第4-4步統(tǒng)計(jì)所述的全局的旋轉(zhuǎn)和縮放量，可以通過如下公式計(jì)算得到
10.根據(jù)權(quán)利要求1所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征在于， 所述第五步濾波處理是采用粒子濾波方法進(jìn)行運(yùn)動濾波處理。
11.根據(jù)權(quán)利要求10所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征是， 所述第五步粒子濾波方法中的重要性采樣通過自適應(yīng)卡爾曼濾波方法獲取。
12.根據(jù)權(quán)利要求11所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征是， 所述的自適應(yīng)卡爾曼濾波方法是通過判斷全局運(yùn)動參數(shù)的變化劇烈程度來自適應(yīng)調(diào)節(jié)卡 爾曼濾波中的觀測噪聲方差，其中調(diào)節(jié)觀測噪聲方差采用如下公式^lu =if Sz > Smaxif5mm<Sz<^max(14)if Sz < ^min其中，< 為t時(shí)刻的觀測噪聲方差，々為t-Ι時(shí)刻的觀測噪聲方差；SZ為時(shí)間窗內(nèi)的 觀測值變化劇烈程度，當(dāng)Sz越大，則在該時(shí)間窗內(nèi)，觀測值變化越劇烈，否則，反之；α和β 為調(diào)節(jié)系數(shù)，α —般取0.7-0. 9，β 一般取1.1-1. 3 ;Smax為觀測值變化劇烈程度的最大閾 值，Sfflin為觀測值變化劇烈程度最小閾值。
13.根據(jù)權(quán)利要求12所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征是， 所述的的調(diào)節(jié)過程中的值當(dāng)大于最大設(shè)定閾值時(shí)，取最大設(shè)定閾值，當(dāng)小于最小設(shè)定閾 值時(shí)，取最小設(shè)定閾值。
14.根據(jù)權(quán)利要求12或13所述的基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，其特征 是，所述最大設(shè)定閾值一般取402-502之間的值，最小設(shè)定閾值一般取52-102之間的值。
全文摘要
本發(fā)明公開了一種基于積分圖特征塊匹配的實(shí)時(shí)視頻穩(wěn)像方法，它增強(qiáng)了攝像設(shè)備的抗光照和圖像噪聲的能力，提高了全局運(yùn)動參數(shù)估計(jì)的魯棒性，進(jìn)而提高了攝像設(shè)備對復(fù)雜環(huán)境下的視頻穩(wěn)像能力。它包括如下步驟第一步，對當(dāng)前幀進(jìn)行塊分割，第二步，利用積分圖特征描述每個(gè)塊內(nèi)容，第三步，以積分圖特征誤差最小為匹配準(zhǔn)則對每個(gè)塊進(jìn)行塊匹配運(yùn)動估計(jì)，第四步，統(tǒng)計(jì)所述塊的運(yùn)動向量獲取當(dāng)前幀相對于前一幀的全局運(yùn)動參數(shù)，第五步，對全局運(yùn)動參數(shù)進(jìn)行運(yùn)動濾波處理，第六步，根據(jù)濾波結(jié)果進(jìn)行運(yùn)動補(bǔ)償。
文檔編號G06T5/00GK101951464SQ20101017928
公開日2011年1月19日 申請日期2010年5月19日 優(yōu)先權(quán)日2010年5月19日
發(fā)明者王競, 龔志 申請人:上海穩(wěn)像信息技術(shù)有限公司