一種可硬件實現的幀頻提升方法
【專利摘要】本發(fā)明公開了一種可硬件實現的幀頻提升方法。它首先利用雙向運動估計得到運動矢量預測值；然后結合時域和空域相關性，進行小菱形搜索和局部全搜索相結合的運動搜索得到運動矢量估計值；其次對該運動矢量估計值進行平滑和補償；接著利用圖像信息對平滑和補償后的運動矢量進行修正，得到終止運動矢量；最后根據幀頻提升的要求，得到插值幀的運動矢量，根據該插值運動矢量的可靠性判斷，確定是否濾波，當可靠性低時，以該插值幀的運動矢量和濾波后的插值幀運動矢量結果加權的方法得到最終插值結果，生成插值幀。本發(fā)明的幀頻提升方法采用可硬件實現的系統(tǒng)構架，提高了算法的效率，提高了運動矢量的準確性和可靠性，并且得到的最終插值結果準確性高。
【專利說明】
一種可硬件實現的幀頻提升方法
技術領域
[0001] 本發(fā)明涉及一種電視屏幕顯示的領域，具體涉及一種可硬件實現的幀頻提升方 法。
【背景技術】
[0002] 近年來，消費者對于液晶顯示器LCD電視的畫質要求逐年提高，因此LCD電視屏幕 的尺寸不斷地增大的同時也開始出現高清甚至超清電視信號。但是LCD電視由于其響應過 慢的缺點，造成了運動圖像的模糊現象。目前，基于運動估計和運動補償的插值方法被用來 實現高清視頻的幀頻提升，以解決運動物體模糊的問題。
[0003] 由于基于像素點的幀頻提升方法計算量過大，因此常采用基于宏塊匹配的方法來 實現幀頻提升。幀頻提升包括運動估計和運動補償兩個部分。傳統(tǒng)的基于宏塊匹配的運動 估計包括單向運動估計和雙向運動估計。單向運動估計會產生重疊和空洞的問題;雙向運 動估計則會受到搜索范圍的影響。因此一般的方法得到運動矢量可靠性不高。
[0004] 對于運動補償，一般采用運動估計得到的運動矢量來進行前后幀的宏塊匹配，并 利用匹配得到的像素進行插幀。一般的運動補償所得到的像素值精度不高，特別是對運動 復雜的物體很難得到準確的插值結果。

【發(fā)明內容】

[0005] [要解決的技術問題]
[0006] 本發(fā)明的目的是解決上述現有技術問題，提供一種可硬件實現的幀頻提升方法。 該方法旨在硬件可實現的情況下尚效并且尚精度的達到幀頻提升，以滿足尚刷新率下尚分 辨率LCD電視屏幕的顯示效果。
[0007] [技術方案]
[0008] 為了達到上述的技術效果，本發(fā)明采取以下技術方案：
[0009] -種可硬件實現的幀頻提升方法，它包括以下步驟:運動矢量估計、運動矢量平 滑、運動補償和插值幀的生成，并且整個步驟均通過塊匹配的方式來實現，它的具體步驟如 下：
[0010] (1)將每一幀分成許多互不重疊的宏塊，對相鄰兩幀的每個宏塊進行雙向運動估 計，得到前一幀和當前幀每個宏塊的運動矢量預測值；
[0011] (2)結合時域和空域相關性，根據前一幀和當前幀相同坐標位置宏塊的運動矢量 預測值，進行小菱形搜索和局部全搜索相結合的運動搜索，以不同的運動估計匹配準則得 到運動矢量估計值；
[0012] (3)對得到的運動矢量估計值進行運動矢量的平滑和補償；
[0013] (4)利用前一幀和當前幀的圖像信息對平滑和補償后的運動矢量做進一步的修 正，得的終值運動矢量；
[0014] (5)根據幀頻提升的要求，得到插值幀的運動矢量，根據該插值幀運動矢量的可靠 性判斷，確定是否濾波；當可靠性高時，以該插值幀運動矢量進行插值幀的生成；當可靠性 低時，以該插值幀的運動矢量和濾波后的插值幀運動矢量結果加權的方法得到最終插值結 果，生成插值幀；當可靠性介于高低之間時，對該插值幀運動矢量進行濾波處理后進行插值 幀的生成。
[0015] 根據本發(fā)明跟進一步的技術方案，所述不同的運動估計匹配準則為SAD匹配準則、 VOD匹配準則、MD匹配準則、MSE匹配準則或NCCF匹配準則。
[0016] 根據本發(fā)明跟進一步的技術方案，所述小菱形搜索和局部全搜索相結合的運動搜 索是指當前一幀與當前幀相同坐標位置宏塊的運動矢量預測值相等且可靠性高時，用該運 動矢量預測值的結果為中心做小菱形搜索，得到運動矢量估計值；當前一幀與當前幀相同 坐標位置宏塊的運動矢量預測值不相等或可靠性低時，分別以前一幀的運動矢量預測值的 結果為中心、以當前幀的運動矢量預測值的結果為中心和以當前幀的目標宏塊為中心進行 三個小菱形搜索；當得到的值小于預先設定的閾值時，以該值為運動矢量估計值；當得到的 值均不小于預先設定的閾值時，啟用局部全搜索，在給定范圍內通過逐像素點雙向運動估 計，得到運動矢量估計值。
[0017] 根據本發(fā)明跟進一步的技術方案，運動矢量和運動矢量預測值可靠性的判定均是 根據相對應宏塊對應像素點像素值所屬范圍，確定閾值th_low和th_high;然后利用對應像 素之差blk_dif與閾值的關系進行可靠性的判斷；當blk_dif彡thjow，可靠性高；當blk_ dif彡th_high，可靠性低。
[0018] 根據本發(fā)明跟進一步的技術方案，所述運動矢量的平滑和補償是運用中值濾波和 均值濾波進行濾波運算。
[0019] 根據本發(fā)明跟進一步的技術方案，對得到的運動矢量估計值進行了運動矢量的平 滑和補償后，還可以進行運動矢量拆分運算和全局矢量統(tǒng)計。
[0020] 根據本發(fā)明跟進一步的技術方案，所述利用圖像信息是指利用對應宏塊對應像素 點的像素值判斷對應宏塊終值運動矢量的可靠性;可靠性低的終值運動矢量需要進行修 正。
[0021] 根據本發(fā)明跟進一步的技術方案，所述插值幀的運動矢量是由插值相位計算前向 運動矢量贈_?和后向運動矢量MV_N;所述計算公式如下：
[0022] MV_P=MV*phase/32
[0023] MV_N=MV*( 64-phase )/32
[0024] 其中，所述運動矢量為終值運動矢量;phase為插值相位。
[0025] 下面將詳細地說明本發(fā)明。
[0026] 對相鄰兩幀的每個宏塊進行雙向運動估計，對前一幀以目標宏塊為中心統(tǒng)計一定 范圍內宏塊的標準差，根據求得的標準差劃分運動模式，最后以窗內同一運動模式宏塊運 動矢量的均值作為目標宏塊的運動矢量預測值;而對于當前幀的目標宏塊，將其周圍已經 計算出的運動矢量的中值作為目標宏塊的運動矢量預測值。
[0027] 本發(fā)明的優(yōu)選實施方案是以16*16的像素宏塊為基本單元進行運動矢量的預測。 對前一幀的雙向運動估計是以目標宏塊為中心的3*3的窗內統(tǒng)計運動矢量的標準差，計算 前一幀運動矢量預測值。
[0028] 所述進行小菱形搜索和局部全搜索相結合的運動搜索，是值通過得到的前一幀和 當前幀運動矢量預測值的結果和可靠性，進行一系列小菱形搜索得到的運動矢量，再根據 該運動矢量結果確定是否進行局部全搜索，所述小菱形搜索和局部全搜索是并列的過程。 這樣的組合方法既保證了算法的可靠性又盡可能的減少了算法的計算復雜度，使得算法實 用性更尚。
[0029] 本發(fā)明的優(yōu)選實施方式是以SAD匹配準則進行運動估計，利用得到的SAD值進行下 一步的計算和判斷。
[0030] 本發(fā)明為了對運動矢量估計值進行運動矢量的平滑和補償，進行了一個濾波運 算。以水平方向X為例，取當前塊和周圍8個塊組成一個3*3的運動矢量塊，計算這9個X方向 上運動矢量分量的均值，并同時統(tǒng)計9個分量為零的個數;然后計算9個分量的平均差，以平 均差為門限，和當前塊的X分量和9分量均值差做比較，如果這個差值比門限大，那么就認為 當前塊的X分量屬于奇異值;同理判斷當前塊的垂直方向Y分量的奇異性。最后判斷條件，如 果當前塊的水平或垂直分量有一個屬于奇異值，那么就對當前塊的運動矢量進行濾波。如 果需要對該塊濾波，再判斷當前塊所在的3*3鄰域內水平或垂直方向分量為零的個數是否 大于3,如果水平或垂直方向分量有一個滿足這個條件，那么濾波后當前塊運動矢量的輸出 為水平和垂直分量的均值;如果條件不滿足，那么濾波輸出為3*3濾波水平和垂直分量的中 值。
[0031] 為了進一步提高運動矢量的準確度，還可以進行運動矢量的拆分運算和全局矢量 統(tǒng)計。所述拆分運算方法如下：當前已求得的運動矢量均是針對于16*16的像素宏塊，為了 提高精度，將其拆分為8*8的宏塊進行處理。先將其均分為具有相同矢量的4個塊，然后每一 個子塊進行一次領域比較判斷濾波，具體做法是比較該子塊矢量和最相鄰的3個子塊矢量 再加上零矢量對應數據塊的SAD，最小SAD對應該子塊最終的運動矢量。全局統(tǒng)計是指對全 場所有的運動矢量進行統(tǒng)計，判斷是否多數運動矢量是相同的，如果是那么認為整場都具 有這樣的運動狀態(tài)，稱為靜態(tài)運動。
[0032] 本發(fā)明根據輸入視頻幀數和目標幀數，查表得到插值幀的組織方式，由插值相位 (phase)計算前向運動矢量1^_?和后向運動矢量MV_N。其中每個插值區(qū)間均被分為64份，每 份對應一度相位，所以稱為64度相位精度插值。因此，當相位為32度時運動矢量無需調整； 當相位為〇度時原始幀無需插值運算。
[0033] 若blk_dif〈 = th_low，則認為匹配塊中相應位置為可靠性高，即設置運動矢量高 低可靠性加權值alpha = 0,若1311^_(11€> = 1:11_111811，則認為匹配塊中相應位置為可靠性低， 即設置運動矢量高低可靠性加權值alpha= 1。當其介于兩者之間，加權值的計算方式，即圖 3中所述的AI pha =閾值?該處閾值的計算方法為：
[0034] ~
[0035] 本發(fā)明中，當運動矢量可靠性低時，需要對運動矢量的修正方式如下：
[0036] 按照圖4的方法進行分區(qū)：把位于中心的8*8塊分割為A、B、C和D四個區(qū)域。中心的 8*8塊為當前塊，Nl~N8為鄰居塊。其中A、B、C和D四個4*4的子塊的運動矢量為其最相鄰的 四個宏塊運動矢量均值濾波的結果。例如，對于子塊A，其最相鄰的四個宏塊為NI、N2、N3和 N4;對于子塊C，其最相鄰的四個宏塊為M、N6、N7和N8。
[0037][有益效果]
[0038] 本發(fā)明與現有技術相比，具有以下的有益效果：
[0039] 本發(fā)明對比現有的幀頻提升算法具有如下的有益效果:本發(fā)明提供的幀頻提升方 法，采用可硬件實現的系統(tǒng)構架，提高了算法的效率;運動矢量估計中，綜合考慮了時域特 性和空間特性，提高了運動矢量的準確性。此外，使用均值濾波和中值濾波做了運動補償， 更進一步提高了運動矢量的可靠性。在算法的插值部分，運用插值幀的運動矢量和濾波后 的插值幀運動矢量結果加權的方法得到最終插值結果，最終得到了更準確的內插幀。
【附圖說明】
[0040] 圖1是本發(fā)明可硬件實現的幀頻提升方法的流程示意圖；
[0041] 圖2是本發(fā)明可硬件實現的幀頻提升方法中雙向運動估計可硬件實現的算法框圖 示意圖；
[0042] 圖3是本發(fā)明可硬件實現的幀頻提升方法中運動矢量的平滑和補償和插值模塊生 成的算法框圖示意圖；
[0043]圖4是本發(fā)明可硬件實現的幀頻提升方法中運動補償的運動矢量修正說明圖示意 圖。
【具體實施方式】
[0044]下面結合本發(fā)明的實施例對本發(fā)明作進一步的闡述和說明。
[0045] 如圖1~圖3所示，一種可硬件實現的幀頻提升方法，它包括以下步驟：
[0046] (1)將每一幀分成許多互不重疊的宏塊，對相鄰兩幀的每個宏塊進行雙向運動估 計，得到前一幀和當前幀每個宏塊的運動矢量預測值;對前一幀以目標宏塊為中心的3*3的 窗內統(tǒng)計運動矢量的標準差，根據求得的標準差劃分運動模式，最后以窗內同一運動模式 宏塊的運動矢量的均值作為目標宏塊的運動矢量預測值。而對于當前幀的目標宏塊，將其 周圍已經計算出運動矢量的中值作為目標宏塊的運動矢量預測值。
[0047] (2)結合時域和空域相關性，根據前一幀和當前幀相同坐標位置宏塊的運動矢量 預測值，進行小菱形搜索和局部全搜索相結合的運動搜索，以SAD匹配準則得到運動矢量估 計值；當前一幀與當前幀相同坐標位置宏塊的運動矢量預測值相等且可靠性高時，用該運 動矢量預測值的結果為中心做小菱形搜索，得到運動矢量估計值；當前一幀與當前幀相同 坐標位置宏塊的運動矢量預測值不相等或可靠性低時，分別以前一幀的運動矢量預測值的 結果為中心、以當前幀的運動矢量預測值的結果為中心和以當前幀的目標宏塊為中心進行 三個小菱形搜索；當得到的值小于預先設定的閾值時，以該值為運動矢量估計值；當得到的 值均不小于預先設定的閾值時，啟用局部全搜索，在給定范圍內通過逐像素點雙向運動估 計，得到運動矢量估計值。
[0048] 其中，運動矢量和運動矢量預測值可靠性的判定均是根據相對應宏塊對應像素點 像素值所屬范圍，確定閾值th_low和th_hi gh;然后利用對應像素之差bIk_dif與閾值的關 系進行可靠性的判斷；當blk_dif < th_low，可靠性高；當blk_dif彡th_high，可靠性低。
[0049] (3)對得到的運動矢量估計值進行運動矢量的平滑和補償;是運用中值濾波和均 值濾波進行濾波運算。
[0050] (4)利用前一幀和當前幀的圖像信息對平滑和補償后的運動矢量做進一步的修 正，得的終值運動矢量；
[0051] (5)根據幀頻提升的要求，得到插值幀的運動矢量，根據該插值幀運動矢量的可靠 性判斷，確定是否濾波；當可靠性高時，以該插值幀運動矢量進行插值幀的生成；當可靠性 低時，以該插值幀的運動矢量和濾波后的插值幀運動矢量結果加權的方法得到最終插值結 果，生成插值幀；當可靠性介于高低之間時，對該插值幀運動矢量進行濾波處理后進行插值 幀的生成。
[0052] 本發(fā)明另一個實施方案，對得到的運動矢量估計值進行了運動矢量的平滑和補償 后，還可以進行運動矢量拆分運算和全局矢量統(tǒng)計。所述拆分運算方法如下：當前已求得的 運動矢量均是針對于16*16的像素宏塊，為了提高精度，將其拆分為8*8的宏塊進行處理。先 將其均分為具有相同矢量的4個塊，然后每一個子塊進行一次領域比較判斷濾波，具體做法 是比較該子塊矢量和最相鄰的3個子塊矢量再加上零矢量對應數據塊的SAD，最小SAD對應 該子塊最終的運動矢量。全局統(tǒng)計是指對全場所有的運動矢量進行統(tǒng)計，判斷是否多數運 動矢量是相同的，如果是那么認為整場都具有這樣的運動狀態(tài)，稱為靜態(tài)運動。
[0053] 所述利用圖像信息是指利用對應宏塊對應像素點的像素值判斷對應宏塊終值運 動矢量的可靠性;可靠性低的終值運動矢量需要進行修正。
[0054] 所述插值幀的運動矢量是由插值相位計算前向運動矢量1￥_?和后向運動矢量MV_ N;所述計算公式如下：
[0055] MV_P=MV^phase/32
[0056] MV_N=MV*( 64-phase )/32
[0057] 其中，所述運動矢量為終值運動矢量;phase為插值相位。
[0058]本發(fā)明根據輸入視頻幀數和目標幀數，查表得到插值幀的組織方式，由插值相位 (phase)計算前向運動矢量1^_?和后向運動矢量MV_N。其中每個插值區(qū)間均被分為64份，每 份對應一度相位，所以稱為64度相位精度插值。因此，當相位為32度時運動矢量無需調整； 當相位為〇度時原始幀無需插值運算。
[0059] 若blk_dif〈 = th_low，則認為匹配塊中相應位置為可靠性高，即設置運動矢量高 低可靠性加權值alpha = 0,若1311^_(11€> = 1:11_111811，則認為匹配塊中相應位置為可靠性低， 即設置運動矢量高低可靠性加權值alpha= 1。當其介于兩者之間，加權值的計算方式，即圖 3中所述的AI nil a.=闔借？該々卜闔借的計算方法為：
[0060]
[0061 ]本發(fā)明中，當運動矢量可靠性低時，需要對運動矢量的修正方式如下：
[0062] 按照圖4的方法進行分區(qū)：把位于中心的8*8塊分割為A、B、C和D四個區(qū)域。中心的 8*8塊為當前塊，Nl~N8為鄰居塊。其中A、B、C和D四個4*4的子塊的運動矢量為其最相鄰的 四個宏塊運動矢量均值濾波的結果。例如，對于子塊A，其最相鄰的四個宏塊為NI、N2、N3和 N4;對于子塊C，其最相鄰的四個宏塊為M、N6、N7和N8。
[0063] 盡管這里參照本發(fā)明的解釋性實施例對本發(fā)明進行了描述，上述實施例僅為本發(fā) 明較佳的實施方式，本發(fā)明的實施方式并不受上述實施例的限制，應該理解，本領域技術人 員可以設計出很多其他的修改和實施方式，這些修改和實施方式將落在本申請公開的原則 范圍和精神之內。
【主權項】
1. 一種可硬件實現的幀頻提升方法，其特征在于它包括以下步驟:運動矢量估計、運動 矢量平滑、運動補償和插值幀的生成，并且整個步驟均通過塊匹配的方式來實現，它的具體 步驟如下： (1) 將每一幀分成許多互不重疊的宏塊，對相鄰兩幀的每個宏塊進行雙向運動估計，得 到前一幀和當前幀每個宏塊的運動矢量預測值； (2) 結合時域和空域相關性，根據前一幀和當前幀相同坐標位置宏塊的運動矢量預測 值，進行小菱形搜索和局部全搜索相結合的運動搜索，以不同的運動估計匹配準則得到運 動矢量估計值； (3) 對得到的運動矢量估計值進行運動矢量的平滑和補償； (4) 利用前一幀和當前幀的圖像信息對平滑和補償后的運動矢量做進一步的修正，得 的終值運動矢量； (5) 根據幀頻提升的要求，得到插值幀的運動矢量，根據該插值幀運動矢量的可靠性判 斷，確定是否濾波；當可靠性高時，以該插值幀運動矢量進行插值幀的生成；當可靠性低時， 以該插值幀的運動矢量和濾波后的插值幀運動矢量結果加權的方法得到最終插值結果，生 成插值幀；當可靠性介于高低之間時，對該插值幀運動矢量進行濾波處理后進行插值幀的 生成。2. 根據權利要求1所述的可硬件實現的幀頻提升方法，其特征在于所述不同的運動估 計匹配準則為SAD匹配準則、VOD匹配準則、MD匹配準則、MSE匹配準則或NCCF匹配準則。3. 根據權利要求1所述的可硬件實現的幀頻提升方法，其特征在于所述小菱形搜索和 局部全搜索相結合的運動搜索是指當前一幀與當前幀相同坐標位置宏塊的運動矢量預測 值相等且可靠性高時，用該運動矢量預測值的結果為中心做小菱形搜索，得到運動矢量估 計值；當前一幀與當前幀相同坐標位置宏塊的運動矢量預測值不相等或可靠性低時，分別 以前一幀的運動矢量預測值的結果為中心、以當前幀的運動矢量預測值的結果為中心和以 當前幀的目標宏塊為中心進行三個小菱形搜索；當得到的值小于預先設定的閾值時，以該 值為運動矢量估計值；當得到的值均不小于預先設定的閾值時，啟用局部全搜索，在給定范 圍內通過逐像素點雙向運動估計，得到運動矢量估計值。4. 根據權利要求3所述的可硬件實現的幀頻提升方法，其特征在于運動矢量和運動矢 量預測值可靠性的判定均是根據相對應宏塊對應像素點像素值所屬范圍，確定閾值th_low 和th_high;然后利用對應像素之差blk_dif與閾值的關系進行可靠性的判斷；當blk_dif彡 th_low，可靠性高；當blk_dif彡th_high，可靠性低。5. 根據權利要求1所述的可硬件實現的幀頻提升方法，其特征在于所述運動矢量的平 滑和補償是運用中值濾波和均值濾波進行濾波運算。6. 根據權利要求5所述的可硬件實現的幀頻提升方法，其特征在于對得到的運動矢量 估計值進行了運動矢量的平滑和補償后，還可以進行運動矢量拆分運算和全局矢量統(tǒng)計。7. 根據權利要求4所述的可硬件實現的幀頻提升方法，其特征在于所述利用圖像信息 是指利用對應宏塊對應像素點的像素值判斷對應宏塊終值運動矢量的可靠性;可靠性低的 終值運動矢量需要進行修正。8. 根據權利要求1所述的可硬件實現的幀頻提升方法，其特征在于所述插值幀的運動 矢量是由插值相位計算前向運動矢量贈_?和后向運動矢量MV_N;所述計算公 式如下： MV_P=MV*phase/32 MV_N=MV*(64-phase)/32 其中，所述MV為終值運動矢量;phase為插值相位。
【文檔編號】H04N7/01GK105915835SQ201610313425
【公開日】2016年8月31日
【申請日】2016年5月12日
【發(fā)明人】樊鵬, 劉成強, 魯國寧, 劉強, 汪航, 羅文 , 李莉
【申請人】四川長虹電器股份有限公司