專利名稱：運動補償圖像的內(nèi)插方法以及用于所述方法的實現(xiàn)的設(shè)備的制作方法
運動補償圖像的內(nèi)插方法以及用于所述方法的實現(xiàn)的設(shè)備
背景技術(shù)：
本發(fā)明涉及圖像或視頻處理領(lǐng)域，更具體地涉及使用運動補償?shù)?圖像內(nèi)插的領(lǐng)域。
背景技術(shù)：
多種視頻處理操作需要用于改進處理質(zhì)量(例如在視頻內(nèi)插的情 況下)或者用于減少數(shù)據(jù)量(例如在視頻壓縮的情況下)的視頻處理 操作。本發(fā)明更具體地涉及具有運動補償?shù)膬?nèi)插，也稱為運動補償視 頻內(nèi)插。
運動補償視頻內(nèi)插通常包括運動估計步驟和隨后的內(nèi)插步驟。 運動估計在于定義要內(nèi)插的圖像中的每個點的運動向量，該圖像
在時間上位于兩個源圖像之間。通常，以2個步驟來執(zhí)行運動估計步
驟預測步驟和校正步驟。預測步驟在于從針對相鄰像素所計算的 運動向量以及針對包括所考慮的像素的先前源圖像所計算的運動向量 的投影定義要內(nèi)插的圖像中的每個像素的運動向量。例如，已計算的
運動向量是先前的像素線中的n個相鄰像素的運動向量。然后，預測 在于從n+l個預計算的運動向量中選擇產(chǎn)生最小DFD (移位幀間差) 值的運動向量。隨后的校正步驟包括將所選運動向量繞著它的軸旋轉(zhuǎn)， 以便進一步減少(如果可能的話)所考慮的像素的DFD。
在多數(shù)情況下，估計步驟之后的內(nèi)插步驟是雙線性內(nèi)插。在要內(nèi)
插的圖像Iint處于先前源圖像Iprev和當前源圖像Ieurr之間的情況下，先 前所定義的運動矢量指向源圖像中的每個圖像中的像點，該像點是一 個像素或者位于4個像素之間的點。在已知為"單一幀"的內(nèi)插的情 況下，雙線性內(nèi)插在于給圖像Iint的所考慮的P分配作為由所估計的 運動向量指向源圖像(通常為當前源圖像)之一的4個像素中的值的
5
雙線性函數(shù)f的值。例如，如果V。
V2、 V3和V4表示由當前源圖像
中的運動向量所指向的圖像點附近的4個像素的值，以及如果a,、 《2、
A和^是所述像素與圖像點的接近度的加權(quán)因子表示，分配給圖像Iint 「4 ) 4
的像素的值是1^1 J i=1 。如果運動向量指向4個像素之中的特定
像素，則分配給其他3個像素的加權(quán)因子為零，并且分配給所考慮的 像素的值為該特定像素的值。在內(nèi)插已知為"雙幀"的情況下，以相 同的方式來進行線性內(nèi)插，但是使用8個像素，即先前源圖像中的4 個像素和當前源圖像中的4個像素。
假設(shè)運動估計必出錯，這類運動中的補償內(nèi)插包含圖像區(qū)域內(nèi)的 可見缺陷，由于兩個連續(xù)源圖像的像素之間不可能匹配，該可見缺陷 在兩個連續(xù)源圖像之間消失或出現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明提出了一種的新的運動補償視頻內(nèi)插，該運動補償視頻內(nèi) 插比之前所定義的更安全，尤其是針對對象的出現(xiàn)或消失區(qū)域。
本發(fā)明提出了一種運動補償視頻內(nèi)插方法，在其中內(nèi)插步驟本身 根據(jù)所估計的運動向量和/或可靠性指標而變化。使得針對內(nèi)插所考慮 的像素數(shù)以及與這些像素相關(guān)聯(lián)的加權(quán)因子根據(jù)所估計的運動向量的 幅度和/或可靠性指標而變化。
因此，本發(fā)明涉及一種用于從至少兩個源圖像中內(nèi)插出運動補償 圖像的至少一個像素的方法，該方法包括以下步驟
-從源圖像估計要內(nèi)插的圖像的像素的運動向量，
-確定對所述向量的估計的信息表示，
-根據(jù)對所述向量的估計的所述信息表示，針對要內(nèi)插的圖像的 像素選擇內(nèi)插模型，該內(nèi)插模型識別源圖像中的至少一個圖像中的像 素，并將加權(quán)因子與所識別的每個像素相關(guān)聯(lián)，以及
-從所選內(nèi)插模型的像素和因子中內(nèi)插出該圖像的像素。 對向量的估計的信息表示可以是所估計的向量的幅度，或者與向
量估計有關(guān)的可靠性指標，或者這兩者。根據(jù)特定實施例，僅考慮將所估計的運動向量的幅度用于選擇內(nèi) 插模型。在這種情況下，我們考慮內(nèi)插的幾種等級。如果要內(nèi)插的圖像的像素的估計運動向量的幅度小于或等于第 一非零閾值，則該內(nèi)插模型包括源圖像之一中與要內(nèi)插的像素的空間位置最靠近的n個像素，n大于或等于2，并且分配給源圖像像素中的 每個像素的加權(quán)因子取決于它們與要內(nèi)插的像素的接近度。在這種情 況下，這包括單幀內(nèi)插。在雙幀內(nèi)插的情況下，該內(nèi)插模型包括每個 源圖像中與要內(nèi)插的像素的空間位置最靠近的n個像素，n大于或等 于2，并且分配給每個源圖像像素的加權(quán)因子取決于它們與要內(nèi)插的 像素的接近度以及要內(nèi)插的圖像相對于兩個源圖像的時間位置。如果要內(nèi)插的圖像的像素的估計運動向量大于第一閾值，則在單 幀內(nèi)插的情況下，該內(nèi)插模型包括源圖像之一中與要內(nèi)插的像素的空 間位置最靠近的n個像素，n大于或等于2，并且分配給源圖像像素的 加權(quán)因子都相等。在雙幀內(nèi)插的情況下，該內(nèi)插模型包括每個源圖像 中與要內(nèi)插的像素的空間位置最靠近的n個像素，n大于或等于2，并 且分配給源圖像像素中的每個像素的加權(quán)因子取決于它們與要內(nèi)插的 像素的接近度以及要內(nèi)插的圖像相對于兩個源圖像的時間位置。像素 的數(shù)量n隨著所估計的向量的幅度而適當?shù)卦龃蟆８鶕?jù)另一個特定實施例，只將與所估計的運動向量相關(guān)的可靠性 指標考慮用于選擇內(nèi)插模型。例如，該可靠性指標取決于包括要內(nèi)插 的像素的mXm像素窗中的運動向量的方差。在這種情況，我們還可以考慮幾種內(nèi)插等級。如果要內(nèi)插的圖像的像素的運動向量的可靠性指標大于第一可 靠性閾值，則在單幀內(nèi)插的情況下，該內(nèi)插模型包括源圖像之一中與 要內(nèi)插的像素的空間位置最靠近的n個像素，n大于或等于2，并且分 配給源圖像像素中的每個像素的加權(quán)因子取決于它們與要內(nèi)插的像素 的接近度。在雙幀內(nèi)插的情況下，該內(nèi)插模型包括每個源圖像中與要 內(nèi)插的像素的空間位置最靠近的n個像素，n大于或等于2，并且分配 給每個源圖像像素的加權(quán)因子取決于它們與要內(nèi)插的像素的接近度以
及要內(nèi)插的圖像相對于兩個源圖像的時間位置。如果要內(nèi)插的圖像的像素的運動向量的可靠性指標小于或等于 第一可靠性閾值，則在單幀內(nèi)插的情況下，該內(nèi)插模型包括源圖像之一中與要內(nèi)插的像素的空間位置最靠近的ii個像素，n大于或等于2， 并且分配給源圖像像素的加權(quán)因子都相等。在雙幀內(nèi)插的情況下，該 內(nèi)插模型包括每個源圖像中與要內(nèi)插的像素的空間位置最靠近的n個 像素，n大于或等于2，并且分配給每個源圖像像素的加權(quán)因子取決于 它們與要內(nèi)插的像素的接近度以及要內(nèi)插的圖像相對于兩個源圖像的 時間位置。像素的數(shù)量n隨著所估計的向量的可靠性指標的值而有利 地減少。根據(jù)另一個特定實施例，考慮將向量的幅度以及與向量有關(guān)的可 靠性指標用于選擇內(nèi)插模型。最后，本發(fā)明還涉及一種用于從至少兩個源圖像內(nèi)插出運動補償 圖像的至少一個像素的內(nèi)插設(shè)備，該設(shè)備包括--存儲器，用于存儲源圖像；-運動估計器，用于從源圖像中估計要內(nèi)插的圖像的像素的運動。-確定電路，用于確定對所述向量的估計的信息表示，以及-內(nèi)插電路，用于根據(jù)對所述向量的估計的所述信息表示來選擇 針對要內(nèi)插的圖像的像素的內(nèi)插模型，該內(nèi)插模型識別源圖像中的至 少一個圖像中的像素，并將加權(quán)因子與所識別的像素中的每個相關(guān)聯(lián)， 并從所選內(nèi)插模型的像素和因子中內(nèi)插出像素。


通過閱讀以下只為提供信息的描述，并參考附圖，將更好地理解 本發(fā)明，在附圖中-圖1是表示基于所估計的運動向量的幅度的第一實施例中的本 發(fā)明方法的步驟的流程圖，-圖2是示出了根據(jù)所估計的運動向量的幅度所采用的不同內(nèi)插 模型的圖示， -圖3更具體地示出了在所估計的運動向量小于閾值SA1的情況 下的內(nèi)插，-圖4更具體地示出了在所估計的運動向量處于閾值SA1和閾值 SA2之間的情況下的內(nèi)插，-圖5更具體地示出了在所估計的運動向量大于閾值SA2的情況 下的內(nèi)插，-圖6是能夠?qū)崿F(xiàn)圖1中的方法的設(shè)備，-圖7是表示基于所估計的運動的可靠性指標的第二實施例中的 本發(fā)明的方法的步驟的流程圖，-圖8是示出了根據(jù)所估計的運動向量所采用的不同內(nèi)插模型的 圖示，-圖9是能夠?qū)崿F(xiàn)圖7中的方法的設(shè)備，-圖10是表示基于所估計的運動向量的幅度和可靠性指標的第 三實施例中的本發(fā)明的方法的步驟的流程圖，-圖11是示出了根據(jù)所估計的運動向量的幅度和可靠性指標所 采用的不同內(nèi)插模型的圖示，-圖12是能夠?qū)崿F(xiàn)圖10中的過程的設(shè)備。
具體實施方式
如之前所指示的，本發(fā)明的原理是使得內(nèi)插模型(即，內(nèi)插和/ 或關(guān)聯(lián)加權(quán)因子所基于的像素的數(shù)量)根據(jù)針對所考慮的像素所估計 的運動向量的幅度和/或與所估計的運動向量相關(guān)聯(lián)的可靠性指標而 變化。在下文中描述3個實施例第一實施例單獨基于所估計的運動向 量的幅度，第二實施例單獨基于所估計的運動向量的可靠性指標，以 及第三實施例結(jié)合上面所提到的兩個實施例。圖1是表示本發(fā)明方法的第一實施例的步驟的流程圖。圖1包括-運動估計步驟100，用于估計要內(nèi)插的圖像中的每個像素的運 動向量(Vx， Vy)，-步驟110，用于確定所估計的運動向量的幅度A (A"vx2+vy2)，-內(nèi)插模型選擇步驟120，根據(jù)針對該像素所估計的運動向量的 幅度，針對要內(nèi)插的圖像中的每個像素來選擇內(nèi)插模型，'-內(nèi)插步驟130，針對該圖像中的每個像素，通過使用針對該像 素所選的內(nèi)插模型來產(chǎn)生內(nèi)插圖像。圖2更具體地示出了內(nèi)插步驟130，并且示出了根據(jù)所估計的運動向量的幅度所采用的不同類型的內(nèi)插(雙線性內(nèi)插、平均內(nèi)插)以 及各種模型。要注意的是，運動向量的方向(正或負運動向量)不包 括在內(nèi)插的選擇中。在這個實施例中，我們使用基于多個相鄰像素的 雙線性內(nèi)插或平均內(nèi)插。針對這些類型的內(nèi)插中的每種內(nèi)插，所估計 的運動向量的幅度越大，內(nèi)插模型中的像素數(shù)量也越大。如果運動向量的幅度小于或等于第一閾值SA1，則認為該運動為 低。例如，將閾值SA1設(shè)為2個像素(每幀)。然后，例如該內(nèi)插是 基于4個像素的雙線性內(nèi)插，這4個像素是在源圖像中所考慮的像素 的相鄰像素。相鄰像素理解為表示其空間坐標靠近要內(nèi)插的圖像中的 所考慮像素的坐標的源圖像。在單幀內(nèi)插的情況下，僅使用源圖像之 一中的4個相鄰像素。這種情況由圖3所示。這4個像素表示為Pi、 P2、 P3和P4，與這4個像素相關(guān)聯(lián)的視頻值表示為V。 V2、 V3和V4， 并且相關(guān)聯(lián)的加權(quán)因子表示為on、 a2、 0C3和a4。因子(Xi的值是將相關(guān) 聯(lián)的像素Pi與要內(nèi)插的像素分開的距離的函數(shù)。在圖3的示例中，像素P,最靠近要內(nèi)插的像素，因此它的因子(Xi最大。像素P4最遠離要 內(nèi)插的像素，因此它的因子0C4最小。然后，分配給要內(nèi)插的像素的值等于<formula>formula see original document page 10</formula>非常明顯的并且如之前所指示的是，如果運動向量指向4個像素之中的特定像素，則分配給其他3個像素的加權(quán)因子 為零。在雙幀內(nèi)插的情況下，對先前源圖像中的4個相鄰像素和當前 源圖像中的4個像素進行雙線性內(nèi)插。如果V,、 V2、 V3和V4表示當 前源圖像中的4個相鄰像素的值，并且a。 a2、 (X3和(X4表示相關(guān)聯(lián)的
加權(quán)因子，以及如果V、、 V'2、 V'3和V'4表示先前源圖像中的4個相鄰像素的值，并且a、、 a'2、 a'3和a'4表示相關(guān)聯(lián)的加權(quán)因子，則分配 要內(nèi)插的像素的值等于<formula>formula see original document page 11</formula>在這個公式中，々是 取決于要內(nèi)插的圖像相對于源圖像的時間位置的因子。如果要內(nèi)插的圖像在時間上位于兩個源圖像之間的中間位置，則/ =1/2。如果要內(nèi) 插的圖像更靠近當前源圖像，則P大于1/2。如果針對給定像素所估計的運動向量的幅度為零，則運動向量指 向在先前和當前源圖像中具有相同空間坐標的像素。雙線性內(nèi)插等于 從先前或當前源圖像的一個中重新拷貝相應的像素(即，具有相同空 間坐標)的值。要注意的是，如果先前和當前源圖像是通過對已交織 的視頻序列解交織而得到的漸進圖像，應該相等的像素(因為這些像 素與零運動向量相對應)的值也可以不是這樣的。在這種情況下，我們?nèi)匀豢梢灾匦驴截愡\動向量所指向的值中的任一個，或者可能計算 出平均值。如果運動向量的幅度大于閾值SA1而小于或等于第二閾值SA2 (SA2大于SA1)，則認為該運動是平均的。例如，將閾值SA2設(shè)為 6個像素(每幀)。然后，內(nèi)插是基于在源圖像中所考慮的像素中的4個相鄰像素Pi、P2、 P3和P4的平均步驟。這種情況由圖4所示。4個相鄰像素的加權(quán)因子相等(a產(chǎn)af(X3-(X4-oO。在單幀內(nèi)插的情況下，分配給要內(nèi)插的像素的值等于<formula>formula see original document page 11</formula>。在雙幀內(nèi)插的 情況下，其中(a'產(chǎn)a'fa'尸a'4-(x')，分配給要內(nèi)插的像素的值等于<formula>formula see original document page 11</formula>最后，如果運動向量的幅度大于幅值SA2，則認為該運動為高。 然后，內(nèi)插是基于8個相鄰像素的平均步驟，例如圖5中所示的那些。
8個相鄰像素的加權(quán)因子相等(-oc)。在單幀內(nèi)插的情況下，分配給要內(nèi)插的像素的值等于"1 j 。在雙幀內(nèi)插的情況下，分配給要內(nèi)插,8 、a乂 v'=l 乂乂/8的像素的值等于圖6表示能夠?qū)崿F(xiàn)先前所描述的過程的設(shè)備。該設(shè)備包括至少 兩個圖像存儲器200，其中的每個都能夠存儲一個源圖像，即當前源 圖像和先前源圖像；運動估計器210，用于從設(shè)備輸入端處的當前源 圖像以及存儲在圖像存儲器200之一的先前源圖像中確定要內(nèi)插的圖 像中的每個像素的運動向量(Vx， Vy);電路220，用于確定來自估 計器210和內(nèi)插器230的所估計的運動向量的幅度A，估計器210和 內(nèi)插器230用于從存儲在圖像存儲器200中的當前和先前源圖像中產(chǎn) 生內(nèi)插圖像，此外幅度A由電路220確定。針對要內(nèi)插的每個像素， 內(nèi)插器230將針對該像素所估計的運動向量的幅度A與閾值SA1和 SA2以及零值進行比較，隨后采用適當?shù)膬?nèi)插模型。圖7是示出本發(fā)明的第二實施例中的步驟的流程圖。圖7包括-運動估計步驟300，用于估計要內(nèi)插的圖像中的每個像素的運 動向量(Vx， Vy)，-步驟310，用于確定所估計的運動向量的可靠性指標C，以及-內(nèi)插模型選擇步驟320，根據(jù)所估計的運動向量的可靠性指標， 針對要內(nèi)插的圖像中的每個像素來選擇內(nèi)插模型，-內(nèi)插步驟330，針對該圖像中的每個像素，通過使用針對該像 素所選的內(nèi)插模型來產(chǎn)生內(nèi)插圖像。在這個實施例中，該可靠性指標越低，該內(nèi)插模型所使用的像素 數(shù)量越大。實際上，當我們在所固定的運動向量的值中具有較小可靠 性時，可以使內(nèi)插圖像更加模糊。例如，通過分析包括所考慮圖像的 圖像區(qū)域中的運動向量的值的擴散來確定該可靠性指標。該區(qū)域中的 運動向量的值越擴散，則與所考慮像素相關(guān)聯(lián)的可靠性指標越低。例 如，可靠性指標C與包括所考慮像素的5X5像素的窗中的運動向量
<formula>formula see original document page 13</formula>的方差成反比:24V(2.Vxmax)2+(2.Vymax)2使該等式中的第二項標準化，以便包含在0到1之間。坐標像素(3， 3)表示當 前像素。Vxy和Vyi,j分別表示像素(i， j)的運動向量的水平和垂直分量。VXm^和Vyn^表示該運動向量的最大水平和垂直分量。在對這些分量中的每個進行8位編碼的情況下，Vxmax=Vymax=255。圖8更具體地示出了內(nèi)插步驟330，并示出了根據(jù)與所估計的運動向量相關(guān)聯(lián)的可靠性指標的值所采用的內(nèi)插的示例。如果可靠性指標的值小于或等于第一閾值SC1，則認為該可靠性 指標為低。然后，例如內(nèi)插是基于8個像素的平均內(nèi)插，這8個像素 是在源圖像中所考慮的相鄰像素。在單幀內(nèi)插的情況下，僅使用源圖 像之一中的8個相鄰像素。與圖2到圖5相比，如果我們再使用針對 第一實施例所定義的符號，則分配給要內(nèi)插的像素的值等于<formula>formula see original document page 13</formula>在雙幀內(nèi)插的情況下，對先前源圖像中的8水相鄰像素和當前源圖像中的8個像素進行內(nèi)插。然后，分配給要內(nèi)
插的像素的值等于<formula>formula see original document page 13</formula>如果可靠性指標的值大于閾值SC1而小于或等于第二閾值SC2 (SC2大于SC1)，則認為該可靠性指標居中。然后，例如內(nèi)插是基于 4個像素的平均內(nèi)插，這4個像素是在源圖像中所考慮的像素的相鄰 像素。在單幀內(nèi)插的情況下，僅使用源圖像中的4個相鄰像素。如果 我們再使用針對涉及圖2到圖5的第一實施例所定義的符號，則分配廣4給要內(nèi)插的像素的值等于<formula>formula see original document page 13</formula>在雙幀內(nèi)插的情況
下，對先前源圖像中的4個相鄰像素和當前源圖像中的4個像素進行內(nèi)插。然后，分配給要內(nèi)插的像素的值等于<formula>formula see original document page 14</formula>最后，如果可靠性指標的值大于閾值SC2，則認為該可靠性指標 較強。然后，例如內(nèi)插是基于4個像素的雙線性內(nèi)插，這4個像素是 在源圖像中所考慮的像素的相鄰像素。在單幀內(nèi)插的情況下，僅使用 源圖像之一中的4個相鄰像素。如果我們使用針對涉及圖2到圖5的f4 、4第一實施例的符號，則分配給要內(nèi)插的像素的值等于1^1 J1=1 。在雙幀內(nèi)插的情況下，對先前源圖像中的4個相鄰像素和當前源圖像 中的4個像素進行雙線性內(nèi)插。然后，分配給要內(nèi)插的像素的值等于<formula>formula see original document page 14</formula>圖9表示能夠?qū)崿F(xiàn)之前所述方法的設(shè)備。該設(shè)備包括至少兩個 圖像存儲器400，其中的每個都能夠存儲一個源圖像，即當前源圖像 和先前源圖像；運動估計器410，用于從設(shè)備輸入端處的當前源圖像 以及存儲在圖像存儲器400之一的先前源圖像中確定要內(nèi)插的圖像中 的每個像素的運動向量；電路420，用于確定來自估計器410和內(nèi)插 器430的所估計的運動向量中的每個向量的可靠性指標C，估計器410 和內(nèi)插器430用于從存儲在圖像存儲器400中的當前和先前源圖像中 產(chǎn)生內(nèi)插圖像，此外可靠性指標C由電路420確定。針對要內(nèi)插的每 個像素，內(nèi)插器430將針對該像素所估計的運動向量的可靠性指標C 與閾值SC1和SC2相比，隨后采用適當?shù)膬?nèi)插模型。圖10是示出了根據(jù)所估計的運動向量的幅度A和可靠性指標C 來選擇內(nèi)插模型的本發(fā)明方法的實施例的步驟的流程圖。圖IO包括:-運動估計步驟500，用于估計要內(nèi)插的圖像中的每個像素的運 動向量(Vx， Vy)，-步驟510，用于確定所估計的運動向量中的每個的幅度A(A=VVx2+Vy2)和可靠性指標C (例如，作為包括針對第二實施例所描述的所考慮像素的像素的窗中的運動向量的方差)，以及-內(nèi)插模型選擇步驟520，根據(jù)所估計的運動向量的幅度和可靠性指標，針對要內(nèi)插的圖像中的每個像素來選擇內(nèi)插模型，-內(nèi)插步驟530，針對該圖像中的每個像素，通過使用針對該像素所選的內(nèi)插模型來產(chǎn)生內(nèi)插圖像。例如，針對內(nèi)插步驟530，我們計算修改的幅度(標為Am。d)所需要的一個值，根據(jù)該值來選擇內(nèi)插模型。例如，Am。d等于Am。d-AX(l-C)。例如，根據(jù)A目d所采用的內(nèi)插如圖IO所示。如果Am。a小于或等于第一閾值SA'1，則所采用的內(nèi)插是基于一個或兩個源圖像上的所考慮像素的4個相鄰像素的雙線性內(nèi)插。如果Am。d大于第一閾值SA'1但小于或等于第二閾值SA'2 (SA'2大于SA'1)，則內(nèi)插是基于一 個或兩個源圖像中的所考慮像素的4個相鄰像素的平均步驟。最后， 如果Am。d大于閾值SA'2，則內(nèi)插是基于較多個相鄰像素(例如8個像 素)的平均步驟。圖11表示能夠?qū)崿F(xiàn)由圖9所示的過程的設(shè)備。該設(shè)備包括至 少兩個圖像存儲器600，其中的每個都能夠存儲一個源圖像，即當前 源圖像和先前源圖像；運動估計器610，用于從設(shè)備輸入端處的當前 源圖像以及存儲在圖像存儲器600之一的先前源圖像中確定要內(nèi)插的 圖像中的每個像素的運動向量(Vx， Vy);電路620，用于確定來自 估計器610和內(nèi)插器630的所估計的運動向量的幅度A和可靠性指標 C，估計器610和內(nèi)插器630用于從存儲在圖像存儲器600中的當前 和先前源圖像中產(chǎn)生內(nèi)插圖像，此外幅度A和可靠性指標C由電路 620確定。自然地，本發(fā)明不局限于先前所描述的實施例。通過使用不同數(shù) 量的像素或不同的加權(quán)因子，本領(lǐng)域的那些技術(shù)人員將能夠預見除了 這里所提出的以外的內(nèi)插類型和內(nèi)插模型的使用。
權(quán)利要求
1.一種用于從至少兩個源圖像內(nèi)插出運動補償圖像的至少一個像素的方法，所述方法包括以下步驟-從源圖像估計針對要內(nèi)插的圖像的所述像素的運動矢量(100；300；500)，-確定對所述向量的估計的至少一個信息表示(110；310；510)，-根據(jù)對所述向量的估計的所述信息表示，針對要內(nèi)插的圖像的所述像素選擇內(nèi)插模型(120；320；520)，所述內(nèi)插模型識別所述源圖像的至少之一中的像素，并將加權(quán)因子(αi)與所識別的像素中的每個相關(guān)聯(lián)，以及-從所選內(nèi)插模型的像素和因子中內(nèi)插出圖像的所述像素(130；330；530)。
2. 如權(quán)利要求1所述的方法，其中，對所述向量的估計的所述信 息表示是所估計的向量的幅度(A)。
3. 如權(quán)利要求2所述的方法，其中，如果要內(nèi)插的圖像的所述像 素中的估計運動向量的幅度小于或等于第一非零閾值(SA1)，則所述 內(nèi)插模型包括源圖像之一中與要內(nèi)插的所述像素的空間位置最靠近的 n個像素，n大于或等于2，并且分配給所述源圖像像素中的每個像素 的加權(quán)因子取決于它們與要內(nèi)插的所述像素的接近度。
4. 如權(quán)利要求2所述的方法，其中，如果要內(nèi)插的圖像的所述像 素中的估計運動向量的幅度小于或等于第一非零閾值(SA1),則所述 內(nèi)插模型包括每個源圖像中與要內(nèi)插的所述像素的空間位置最靠近的 n個像素，n大于或等于2，并且分配給每個源圖像像素的加權(quán)因子取 決于它們與要內(nèi)插的所述像素的接近度以及要內(nèi)插的所述圖像相對于 兩個源圖像的時間位置。
5. 如權(quán)利要求3或4所述的方法，其中，如果要內(nèi)插的圖像的像 素的估計運動向量大于所述第一閾值(SA1)，則所述內(nèi)插模型包括源 圖像之一中與要內(nèi)插的所述像素的空間位置最靠近的n個像素，n大 于或等于2，并且分配給所述源圖像像素的加權(quán)因子都相等。
6. 如權(quán)利要求3或4所述的方法，其中，如果要內(nèi)插的圖像的像 素的估計運動向量大于所述第一閾值(SA1)，則所述內(nèi)插模型包括每 個源圖像中與要內(nèi)插的所述像素的空間位置最靠近的n個像素，n大 于或等于2，并且分配給所述源圖像像素的每個像素的加權(quán)因子取決 于它們與要內(nèi)插的所述像素的接近度以及要內(nèi)插的所述圖像相對于兩 個源圖像的時間位置。
7. 如權(quán)利要求3到6之一所述的方法，其中，像素的數(shù)量n隨著 所估計的向量的幅度而增大。
8. 如權(quán)利要求1所述的方法，其中，對所述向量的估計的所述信 息表示是與對所述向量的估計有關(guān)的可靠性指標(C)。
9. 如權(quán)利要求8所述的方法，其中，如果要內(nèi)插的圖像中的所述 像素的運動向量的可靠性指標大于第一可靠性閾值(SC2)，則所述內(nèi) 插模型包括源圖像之一中與要內(nèi)插的所述像素的空間位置最靠近的n 個像素，n大于或等于2，并且分配給所述源圖像像素中的每個像素的 加權(quán)因子取決于它們與要內(nèi)插的所述像素的接近度。
10. 如權(quán)利要求8所述的方法，其中，如果要內(nèi)插的圖像的所述像 素的運動向量的可靠性指標大于第一可靠性閾值(SC2)，則所述內(nèi)插 模型包括每個源圖像中與要內(nèi)插的所述像素的空間位置最靠近的n個 像素，n大于或等于2，并且分配給所述源圖像像素中的每個像素的加 權(quán)因子取決于它們與要內(nèi)插的所述像素的接近度以及要內(nèi)插的所述圖 像相對于兩個源圖像的時間位置。
11. 如權(quán)利要求9或IO所述的方法，其中，如果要內(nèi)插的圖像的 所述像素的運動向量的可靠性指標小于或等于所述第一可靠性閾值(SC2)，則所述內(nèi)插模型包括源圖像之一中與要內(nèi)插的所述像素的空 間位置最靠近的n個像素，n大于或等于2，并且分配給所述源圖像像 素的加權(quán)因子都相等。
12. 如權(quán)利要求9或IO所述的方法，其中，如果要內(nèi)插的圖像的 所述像素的運動向量的可靠性指標小于或等于所述第一可靠性閾值(SC2)，則所述內(nèi)插模型包括每個源圖像中與要內(nèi)插的所述像素的空 間位置最靠近的n個像素，n大于或等于2，并且分配給所述源圖像像素中的每個像素的加權(quán)因子取決于它們與要內(nèi)插的所述像素的接近度 以及要內(nèi)插的圖像相對于兩個源圖像的時間位置。
13. 如權(quán)利要求9到12之一所述的方法，其中，像素的數(shù)量n隨 著所估計的向量的可靠性指標的值而減少。
14. 如權(quán)利要求8到13之一所述的方法，其中，與針對要內(nèi)插的 像素的運動向量的估計相關(guān)的可靠性指標取決于包括所述像素的mX m像素的窗中的運動向量的方差。
15. 如權(quán)利要求1所述的方法，其中，對所述向量的估計的所述至 少一個信息表示是所述估計向量的幅度(A)、以及與所述向量的估計 相關(guān)的可靠性指標。
16. —種用于從至少兩個源圖像內(nèi)插出運動補償圖像的至少一個像素的內(nèi)插設(shè)備，所述內(nèi)插設(shè)備包括-存儲器(200;400;600)，用于存儲所述源圖像；-運動估計器(210;410;610)，用于從所述源圖像中估計針對要內(nèi)插的圖像的所述像素的運動向量，-確定電路(220;420;620)，用于確定對所述向量的估計的至少一個信息表示，以及-內(nèi)插電路(230;430;630)，用于根據(jù)對所述向量的估計的所述信息表示來選擇針對要內(nèi)插的圖像的所述像素的內(nèi)插模型，所述內(nèi)插模型識別所述源圖像中的至少一個圖像中的像素，并將加權(quán)因子(OCi)與所識別的像素中的每個相關(guān)聯(lián)，并從所選內(nèi)插模型的像素和因子中 內(nèi)插出所述像素。
全文摘要
本發(fā)明提出了一種對運動估計矢量中的誤差不敏感的運動補償視頻內(nèi)插。本發(fā)明提出了一種運動補償視頻內(nèi)插方法，在其中內(nèi)插步驟根據(jù)針對所考慮的像素所估計的運動矢量的振幅和/或可靠性指標而改變。使針對內(nèi)插所考慮的像素數(shù)以及與這些像素相關(guān)聯(lián)的加權(quán)因子根據(jù)所估計的運動矢量的振幅和/或可靠性指標而變化。
文檔編號H04N7/26GK101163247SQ20071018010
公開日2008年4月16日 申請日期2007年10月10日 優(yōu)先權(quán)日2006年10月12日
發(fā)明者喬納森·克維克, 哈?！どw爾蒙德, 迪迪埃·杜楊 申請人:湯姆森許可貿(mào)易公司