基于卡爾曼濾波的幀率上變換運(yùn)動(dòng)估計(jì)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻后處理技術(shù)領(lǐng)域，具體地，涉及一種基于卡爾曼濾波的幀率上變 換運(yùn)動(dòng)估計(jì)方法及系統(tǒng)。
【背景技術(shù)】
[0002] IXD(液晶顯示器）克服了 CRT體積龐大、耗電和閃爍的缺點(diǎn)，近年來已經(jīng)逐漸取代 CRT成為人們?nèi)粘Ｉ钪凶钪饕娘@示設(shè)備。然而，LCD在顯示快速運(yùn)動(dòng)的視頻時(shí)往往會(huì)產(chǎn) 生陰影，影響視頻的顯示效果。從信號(hào)處理的角度出發(fā)，一種有效的解決辦法是采用幀率上 變換技術(shù)，即在原始視頻源中間產(chǎn)生新的幀，從而提高視頻源的幀率。基于此，學(xué)者們提出 了一系列的幀率上變換方法，如插黑幀、幀重復(fù)和幀平均。這類方法雖然提高了幀率，但也 帶來了抖動(dòng)感。而基于運(yùn)動(dòng)估計(jì)的幀率上變換通過預(yù)測(cè)原始幀之間的運(yùn)動(dòng)信息，并據(jù)此重 建內(nèi)插幀，使得變換后的視頻更為平滑，從而改善了視覺質(zhì)量。
[0003] 運(yùn)動(dòng)估計(jì)是決定幀率上變換是否有效的關(guān)鍵。對(duì)實(shí)時(shí)的視頻處理器件來說，運(yùn)動(dòng) 估計(jì)方法不僅需要保證良好的視覺效果，還必須滿足來自硬件實(shí)現(xiàn)的約束，如方法的規(guī)則 性、低復(fù)雜度、低帶寬以及實(shí)時(shí)要求。因此，現(xiàn)有的多數(shù)方法無法達(dá)到可實(shí)現(xiàn)的要求。具體 表現(xiàn)在：搜索運(yùn)動(dòng)矢量過程中搜索過多的點(diǎn)、運(yùn)動(dòng)估計(jì)過程存在多次迭代等非因果性操作， 而且低帶寬需求也常常被忽視，使得現(xiàn)有方法難以適用于輸入源分辨率越來越高的視頻處 理器件。

【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于卡爾曼濾波的幀率上變換 運(yùn)動(dòng)估計(jì)方法及系統(tǒng)，使其適用于輸入源分辨率越來越高的視頻處理器件。
[0005] 根據(jù)本發(fā)明的一個(gè)方面，提供一種基于卡爾曼濾波的幀率上變換運(yùn)動(dòng)估計(jì)方法， 該方法能以較低的復(fù)雜度實(shí)現(xiàn)準(zhǔn)確的運(yùn)動(dòng)估計(jì)。
[0006] 所述方法包括如下步驟：
[0007] 步驟1 :設(shè)置卡爾曼濾波模型的參數(shù)以及狀態(tài)初始值；
[0008] 步驟2 :測(cè)量運(yùn)動(dòng)矢量觀測(cè)值：
[0009] a)進(jìn)行單向運(yùn)動(dòng)估計(jì)（UME)，得到單向運(yùn)動(dòng)矢量（UMV);
[0010] b)將單向運(yùn)動(dòng)矢量映射到待內(nèi)插幀，得到雙向運(yùn)動(dòng)估計(jì)（BME)的候選矢量；
[0011] C)通過雙向運(yùn)動(dòng)估計(jì)得到雙向運(yùn)動(dòng)矢量（BMV)，作為系統(tǒng)運(yùn)動(dòng)矢量的觀測(cè)值。
[0012] 步驟3 :對(duì)觀測(cè)矢量進(jìn)行卡爾曼濾波：
[0013] a)估計(jì)運(yùn)動(dòng)矢量預(yù)測(cè)值；
[0014] b)根據(jù)運(yùn)動(dòng)矢量觀測(cè)值與運(yùn)動(dòng)矢量預(yù)測(cè)值之間的差異，估算狀態(tài)噪聲方差以及觀 測(cè)噪聲方差；
[0015] c)根據(jù)步驟1中的卡爾曼濾波模型參數(shù)及步驟3b)中的狀態(tài)噪聲方差、觀測(cè)噪聲 方差，計(jì)算卡爾曼增益；
[0016] d)根據(jù)步驟2和步驟3c)得到的結(jié)果，更新運(yùn)動(dòng)矢量以及濾波誤差協(xié)方差。
[0017] 步驟2a)中的單向運(yùn)動(dòng)估計(jì)包含8個(gè)候選矢量，它們是：0矢量、3個(gè)空間候選矢量 以及4個(gè)時(shí)間候選運(yùn)動(dòng)矢量。其中時(shí)間候選矢量位于當(dāng)前塊5*5鄰域中，并保證其異于空 間候選矢量。
[0018] 采用從當(dāng)前塊向鄰域螺旋遍歷的方式，找出與空間候選矢量差值大于某閾值的4 個(gè)時(shí)間候選矢量；若時(shí)間候選矢量少于4個(gè)，則用5*5鄰域的頂點(diǎn)塊添加抖動(dòng)矢量后補(bǔ)充。
[0019] 步驟2b)中將當(dāng)前塊進(jìn)行重疊塊擴(kuò)展，并沿著運(yùn)動(dòng)矢量的方向投影到待內(nèi)插幀 中，內(nèi)插幀中與此重疊塊產(chǎn)生交集的塊都將此運(yùn)動(dòng)矢量縮放一半后納入它們的雙向候選矢 量集。
[0020] 步驟3a)中，根據(jù)時(shí)間域上的1維自回歸模型確定當(dāng)前塊的運(yùn)動(dòng)矢量預(yù)測(cè)值，即將 前一內(nèi)插幀與當(dāng)前塊同位置的運(yùn)動(dòng)矢量作為當(dāng)前塊的運(yùn)動(dòng)矢量預(yù)測(cè)值。
[0021] 步驟3b)中，根據(jù)運(yùn)動(dòng)矢量的預(yù)測(cè)值與觀測(cè)值的差異度確定狀態(tài)噪聲方差以及觀 測(cè)噪聲方差：若兩者相等或接近，則狀態(tài)噪聲方差以及觀測(cè)噪聲方差與其對(duì)應(yīng)的SAD成簡(jiǎn) 單的比例關(guān)系；否則，將觀測(cè)值平滑后重新計(jì)算差異度，若差異度明顯減小，判斷觀測(cè)值不 準(zhǔn)、預(yù)測(cè)值較準(zhǔn)，反之亦然。
[0022] 根據(jù)本發(fā)明的一個(gè)方面，提供一種基于卡爾曼濾波的幀率上變換運(yùn)動(dòng)估計(jì)系統(tǒng)， 所述系統(tǒng)包括以下模塊：
[0023] 塊組/塊順序控制模塊：用于對(duì)圖像進(jìn)行塊組/塊劃分，控制運(yùn)動(dòng)估計(jì)過程中塊掃 描順序，以及運(yùn)動(dòng)估計(jì)的開始與結(jié)束。
[0024] UME候選矢量生成模塊：耦接于塊組/塊順序控制器和UMV緩存之后，用于產(chǎn)生 UME所需的候選矢量集合，這些候選矢量通過訪問UMV緩存并按照候選矢量生成規(guī)則得到。
[0025] BME候選矢量生成模塊：耦接于塊組/塊順序控制器和BME候選矢量緩存之后，用 于產(chǎn)生BME所需的候選矢量集合，這些候選矢量通過訪問BME候選矢量緩存并經(jīng)過去冗余 后得到。
[0026] UMV緩存模塊：用于緩存前一幀以及當(dāng)前幀的UMV矢量場(chǎng)，兩幀的數(shù)據(jù)通過乒乓結(jié) 構(gòu)存儲(chǔ)、訪問。
[0027] BME候選矢量緩存模塊：用于緩存前一幀以及當(dāng)前幀的BMV候選矢量，兩幀的數(shù)據(jù) 通過兵兵結(jié)構(gòu)存儲(chǔ)、訪問。
[0028] 像元緩存模塊：耦接于UME候選矢量生成模塊和BME候選矢量生成模塊之后，保存 運(yùn)動(dòng)估計(jì)的搜索區(qū)內(nèi)的數(shù)據(jù)，并動(dòng)態(tài)維護(hù)搜索窗的范圍；響應(yīng)候選矢量訪問請(qǐng)求，返回其對(duì) 應(yīng)的前后幀的像元塊數(shù)據(jù)。
[0029] SAD計(jì)算與分析模塊：耦接于像元緩存模塊之后，用于計(jì)算前后幀的像元塊之間 的絕對(duì)差和（SAD)，并對(duì)各候選矢量的SAD進(jìn)行分析比較，輸出SAD最小的候選矢量。
[0030] 卡爾曼濾波模塊：耦接于SAD計(jì)算與分析模塊之后，接收其輸出的BMV測(cè)量值，并 用預(yù)測(cè)值進(jìn)行更新，從而得到最佳BMV ;
[0031] 最佳BMV緩存：用于緩存前一幀以及當(dāng)前幀的BMV矢量場(chǎng)；其中前一幀的BMV矢量 場(chǎng)用于產(chǎn)生當(dāng)前幀運(yùn)動(dòng)矢量的預(yù)測(cè)值，兩幀的數(shù)據(jù)通過乒乓結(jié)構(gòu)存儲(chǔ)、訪問。
[0032] 優(yōu)選地，所述系統(tǒng)包括兩條并行的數(shù)據(jù)通道：通道1根據(jù)UME候選矢量訪問像元 緩存，通過比較SAD，得到UMV ;通道2根據(jù)BME候選矢量訪問像元緩存，通過比較SAD，得到 BMV，進(jìn)而進(jìn)行卡爾曼濾波，并行的兩路數(shù)據(jù)通道復(fù)用SAD計(jì)算與分析模塊。
[0033] 所述兩路并行的數(shù)據(jù)通道分別處理連續(xù)兩幀的相同位置的塊，通道2相對(duì)于通道 1延時(shí)一幀，兩路通道采用同樣的塊組/塊編號(hào)及掃描順序。
[0034] 優(yōu)選地，所述塊組/塊順序控制模塊將一幀圖像以塊組為單位進(jìn)行劃分，塊組掃 描順序?yàn)樗椒较驈淖蟮接?、從右到左逐行交替，豎直方向從上到下、從下到上逐幀交替， 塊組內(nèi)部按照從左上到右下、從左下到右上逐幀交替。
[0035] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0036] 1、保證了候選矢量之間的差異性，不僅降低運(yùn)動(dòng)估計(jì)的計(jì)算量，同時(shí)也提高了運(yùn) 動(dòng)估計(jì)的準(zhǔn)確性；
[0037] 2、基于重疊塊擴(kuò)展的矢量映射，增加 BME候選矢量的平滑度，從而提高觀測(cè)矢量 的準(zhǔn)確性；
[0038] 3、基于卡爾曼的幀率上變換運(yùn)動(dòng)估計(jì)能夠有效去除基于SAD準(zhǔn)則產(chǎn)生的運(yùn)動(dòng)估 計(jì)噪聲；
[0039] 4、交替的掃描順序提高了系統(tǒng)的收斂性，并提高了像元數(shù)據(jù)的重復(fù)利用率。
[0040] 5、并行的兩路通路，提高了系統(tǒng)的吞吐及處理速度。
【附圖說明】
[0041] 通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0042] 圖1是本發(fā)明所提出的方法總體流程圖；
[0043] 圖2是單向運(yùn)動(dòng)估計(jì)的候選矢量分布圖；
[0044] 圖3是矢量映射的示意圖；
[0045] 圖4是本發(fā)明所提出的系統(tǒng)架構(gòu)圖；
[0046] 圖5是塊組/塊掃描順序示意圖；
[0047] 圖6是兩路通路的示意圖。
【具體實(shí)施方式】
[0048] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明 的保護(hù)范圍。
[004