專利名稱：圖像預(yù)測(cè)方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理，且更具體地，涉及圖像預(yù)測(cè)。
背景技術(shù)：
預(yù)測(cè)是一種統(tǒng)計(jì)估計(jì)處理，其中根據(jù)其他隨機(jī)變量的觀測(cè)來(lái)估計(jì)一個(gè)或多個(gè)隨機(jī)變量。當(dāng)要估計(jì)的變量在某種意義上與“將來(lái)”相關(guān)聯(lián)并且可觀測(cè)的變量與“過(guò)去”相關(guān)聯(lián)時(shí)，這被稱為預(yù)測(cè)。最簡(jiǎn)單、普遍的預(yù)測(cè)技術(shù)之一是線性預(yù)測(cè)。線性預(yù)測(cè)例如在于根據(jù)另一向量來(lái)預(yù)測(cè)一向量。預(yù)測(cè)的最通常用途是根據(jù)幾個(gè)在先樣本的觀測(cè)來(lái)估計(jì)平穩(wěn)隨機(jī)過(guò)程(即，當(dāng)在時(shí)間或空間中移位時(shí)其聯(lián)合概率分布不改變的隨機(jī)過(guò)程(random stochastic process)的樣本。預(yù)測(cè)的另一應(yīng)用是當(dāng)根據(jù)在參考圖像(也稱為前向圖像)中包括的被觀測(cè)“在先”像素塊來(lái)估計(jì)像素塊時(shí)、應(yīng)用在圖像/視頻壓縮中。在此情況下，將每個(gè)被預(yù)測(cè)的圖像(或者畫面或幀)劃分為非重疊的矩形塊。使用參考畫面中的運(yùn)動(dòng)估計(jì)(Motion Estimation,ME)來(lái)推導(dǎo)每個(gè)塊的運(yùn)動(dòng)向量(即，對(duì)于用于提供從被預(yù)測(cè)畫面中的坐標(biāo)到參考畫面中的坐標(biāo)的偏移的預(yù)測(cè)所使用的向量)。然后，參考由所推導(dǎo)的運(yùn)動(dòng)向量指向的參考幀中的對(duì)應(yīng)塊，使用運(yùn)動(dòng)補(bǔ)償(MC)來(lái)預(yù)測(cè)每個(gè)塊。ME和MC兩者都是本領(lǐng)域技術(shù)人員所已知的方法。此方法可以有助于消除冗余信息，并結(jié)果，可以需要較少的比特來(lái)描述殘差(其是原始和被預(yù)測(cè)塊之間的差)。然而，這種ME/MC預(yù)測(cè)方法實(shí)際上不是用于預(yù)測(cè)將來(lái)幀的最終解決方案，這是由于它是基于所捕獲的運(yùn)動(dòng)對(duì)象正在執(zhí)行平移運(yùn)動(dòng)的假設(shè)，而這不總是真的。此外，對(duì)于涉及非高斯過(guò)程的圖像估計(jì)而言，ME/MC技術(shù)不能完全地提取出將有助于預(yù)測(cè)將來(lái)幀的關(guān)于過(guò)去的所有可能信息。如今，需要一種用于克服現(xiàn)有技術(shù)缺點(diǎn)的、可以容易地在現(xiàn)有通信基礎(chǔ)架構(gòu)上實(shí)現(xiàn)的圖像預(yù)測(cè)解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服缺點(diǎn)和/或?qū)ΜF(xiàn)有技術(shù)做出改善。為了達(dá)到那樣的程度，本發(fā)明提出了一種用于根據(jù)第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的方法，對(duì)于被預(yù)測(cè)幀中的每個(gè)像素塊，所述方法包括以下動(dòng)作a)定義與被預(yù)測(cè)幀中的像素塊并置的第一參考幀中的第一像素塊；b)沿著所述并置塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與第一并置像素塊對(duì)應(yīng)的第二像素塊；cl)計(jì)算用于允許將并置塊的像素變換為第二塊的像素的第一系數(shù)集合；d)使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素來(lái)計(jì)算被預(yù)測(cè)幀塊的像素。本發(fā)明還涉及一種根據(jù)權(quán)利要求7的系統(tǒng)。本發(fā)明還涉及一種根據(jù)權(quán)利要求4的裝置。本發(fā)明還涉及一種根據(jù)權(quán)利要求10的計(jì)算機(jī)程序。
4
所提出方法的優(yōu)點(diǎn)在于，它可以適應(yīng)性地充分利用冗余度，以根據(jù)本地空間時(shí)間區(qū)域內(nèi)像素的特性來(lái)調(diào)整在連續(xù)幀之間推導(dǎo)出的運(yùn)動(dòng)信息。與現(xiàn)有解決方案相比，所提出方法的另一優(yōu)點(diǎn)在于，它能夠適應(yīng)性地調(diào)節(jié)內(nèi)插系數(shù)(以根據(jù)先前幀中的現(xiàn)有像素來(lái)預(yù)測(cè)像素)，從而匹配視頻信號(hào)的不穩(wěn)定統(tǒng)計(jì)屬性。內(nèi)插系數(shù)對(duì)于預(yù)測(cè)精度而言扮演了重要角色。所述系數(shù)越精確，則被預(yù)測(cè)幀就越可靠。這些系數(shù)可能涉及視頻壓縮的比特率方面的沉重負(fù)擔(dān)。因而，根據(jù)本發(fā)明的方法提出了用于通過(guò)充分利用相鄰幀的相同對(duì)象之間的高相似性來(lái)推導(dǎo)出第一塊的更精確系數(shù)的算法，因此釋放了傳送這種系數(shù)的巨大負(fù)擔(dān)。


現(xiàn)在，將單獨(dú)地借助于示例并且僅僅參考附圖來(lái)描述本發(fā)明的實(shí)施例，在所述附圖中，向同樣的部件提供了對(duì)應(yīng)的附圖標(biāo)記，并且其中圖1示意性地圖示了根據(jù)本發(fā)明實(shí)施例的根據(jù)參考圖像中的像素而進(jìn)行的被預(yù)測(cè)圖像中的像素預(yù)測(cè)的示例；圖2示意性地圖示了在根據(jù)本發(fā)明實(shí)施例的方法中使用的塊和幀；圖3A示意性地圖示了根據(jù)本發(fā)明實(shí)施例的方法；圖;3B示意性地圖示了根據(jù)本發(fā)明實(shí)施例的方法；圖3C示意性地圖示了根據(jù)本發(fā)明附加實(shí)施例的方法；圖4A示意性地圖示了用于傳統(tǒng)內(nèi)插方法中的四分之一樣本亮度內(nèi)插(quarter sample Iuma interpolation)的整數(shù)(integer)樣本禾口分?jǐn)?shù)(fractional)采樣位置的示例；圖4B示意性地圖示了根據(jù)本發(fā)明實(shí)施例的用于對(duì)對(duì)應(yīng)分?jǐn)?shù)像素(fractional pixel)進(jìn)行內(nèi)插的空間鄰域的示例；圖5示意性地圖示了根據(jù)本發(fā)明實(shí)施例的從后向到前向系數(shù)的轉(zhuǎn)變；圖6是在DVC編碼-“福爾曼(foreman) ”中由根據(jù)本發(fā)明的方法與現(xiàn)有的基于運(yùn)動(dòng)外插的方案生成的邊信息的比較；圖7是在DVC編碼-“莫比爾(Mobile)”中由根據(jù)本發(fā)明的方法與現(xiàn)有的基于運(yùn)動(dòng)外插的方案生成的邊信息的比較；圖8是在DVC編碼-“福爾曼”中由根據(jù)本發(fā)明的方法與現(xiàn)有的基于運(yùn)動(dòng)外插的方案生成的重建WZ幀的比較；圖9是在DVC編碼-“莫比爾”中由根據(jù)本發(fā)明的方法與現(xiàn)有的基于運(yùn)動(dòng)外插的方案生成的重建WZ幀的比較；圖10是當(dāng)對(duì)于序列“莫比爾”通過(guò)根據(jù)本發(fā)明的方法來(lái)替換跳躍模型(skip model)時(shí)的性能的比較；以及圖11是當(dāng)對(duì)于序列“坦普特(Tempete) ”通過(guò)根據(jù)本發(fā)明的方法來(lái)替換跳躍模型時(shí)的性能的比較。
具體實(shí)施例方式以下是示范實(shí)施例的描述，當(dāng)與附圖結(jié)合地做出時(shí)，這些示范實(shí)施例的描述將證明上述特征和優(yōu)點(diǎn)，并且引入此外的特征和優(yōu)點(diǎn)。在以下描述中，為了解釋、而不是限制的目的，提出特定細(xì)節(jié)(諸如，架構(gòu)、接口、 技術(shù)、裝置等)以用于進(jìn)行說(shuō)明。然而，對(duì)于本領(lǐng)域技術(shù)人員將明顯的是，脫離這些細(xì)節(jié)的其他實(shí)施例仍將被理解為處于所附權(quán)利要求的范圍內(nèi)。而且，為了清楚的目的，省略了公知裝置、系統(tǒng)和方法的詳細(xì)描述，從而不使得本發(fā)明的描述模糊。此外，沒(méi)有詳述路由器、服務(wù)器、節(jié)點(diǎn)、基站、網(wǎng)關(guān)或電信網(wǎng)絡(luò)中的其他實(shí)體，這是由于它們的實(shí)現(xiàn)超出了本系統(tǒng)和方法的范圍。另外，應(yīng)該明確地理解，為了圖示性目的而包括了附圖，并且所述附圖不表現(xiàn)本系統(tǒng)的范圍。根據(jù)本發(fā)明的方法提出了一種用于基于在先前圖像中做出的觀測(cè)來(lái)預(yù)測(cè)圖像 (即，所謂的被預(yù)測(cè)的或當(dāng)前的圖像/幀)的模型。在根據(jù)本發(fā)明的方法中，以像素塊為單位來(lái)執(zhí)行該預(yù)測(cè)，并且可以對(duì)于被預(yù)測(cè)圖像的每個(gè)塊來(lái)執(zhí)行該預(yù)測(cè)。在全文中，可以將圖像同化(assimilate)為(像素的)塊。通過(guò)第一圖像和第二圖像中的并置(collocated) 塊，人們可以理解在兩個(gè)圖像中處于完全相同位置中的塊。例如，在圖2中，塊Bt(k，1)和 Bt-Jk, 1)是并置塊。圖3A描述了根據(jù)本發(fā)明的方法的說(shuō)明性實(shí)施例，其中根據(jù)兩者都已知并且在被預(yù)測(cè)幀260 (即，要預(yù)測(cè)的幀)之前的第一參考幀200和第二參考幀210來(lái)計(jì)算該被預(yù)測(cè)幀。 所有圖像都可以處于圖像流中。在此說(shuō)明性實(shí)施例中，對(duì)于被預(yù)測(cè)幀沈0中的要預(yù)測(cè)的每個(gè)像素塊，該方法包括用于允許定義與被預(yù)測(cè)幀中要預(yù)測(cè)的像素塊(即，第三塊)并置的第一參考幀中的第一像素塊的動(dòng)作220。然后，動(dòng)作230允許沿著第一并置像素塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與所述并置塊對(duì)應(yīng)的第二像素塊。運(yùn)動(dòng)向量是用于幀間預(yù)測(cè)(inter prediction)的向量，該幀間預(yù)測(cè)用于提供從被預(yù)測(cè)畫面中的坐標(biāo)到參考畫面中的坐標(biāo)的偏移。它用于基于參考畫面中宏塊或像素的位置來(lái)表現(xiàn)被預(yù)測(cè)畫面中的此宏塊或像素(或相似的一個(gè)宏塊或像素)。由于第一和第二參考畫面是已知畫面，所以可以將容易為本領(lǐng)域技術(shù)人員可用的技術(shù)用于推導(dǎo)從第一參考幀到第二參考幀的并置塊的運(yùn)動(dòng)向量，并因此，可以定義第二塊。隨后，可以在動(dòng)作MO中計(jì)算用于允許將并置塊的像素變換為第二塊的像素的第一系數(shù)集合。最終，動(dòng)作250允許使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素來(lái)計(jì)算被預(yù)測(cè)幀塊的像素。在根據(jù)本發(fā)明的方法中，使用第一系數(shù)集合，根據(jù)第一參考幀中的第四像素塊來(lái)推導(dǎo)要預(yù)測(cè)的像素塊。因而，由于將第二和第四塊分別并置在第二和第一參考幀中，所以使用第四塊來(lái)推導(dǎo)被預(yù)測(cè)幀中的要預(yù)測(cè)的像素塊暗示了 用于定義第二塊的運(yùn)動(dòng)向量與用于建立第四塊與要預(yù)測(cè)的像素塊之間關(guān)系的運(yùn)動(dòng)向量相同。圖1示意性地描述了沿著以下運(yùn)動(dòng)向量130而根據(jù)參考幀120中的像素來(lái)預(yù)測(cè)被預(yù)測(cè)幀110中的像素111，該運(yùn)動(dòng)向量130用于將要預(yù)測(cè)的像素111與參考幀120中的其對(duì)應(yīng)像素122進(jìn)行關(guān)聯(lián)(link)。如圖1所示，對(duì)于被預(yù)測(cè)幀110中的每個(gè)像素111，沿著(通過(guò)運(yùn)動(dòng)向量130而在圖1中示出的)運(yùn)動(dòng)軌跡(trajectory)來(lái)推導(dǎo)參考幀120中的對(duì)應(yīng)像素121。定義了在參考幀120中的以對(duì)應(yīng)像素121為中心的方形空間鄰域125。因而，將被預(yù)測(cè)幀中的像素111近似為參考幀120中對(duì)應(yīng)空間鄰域125的像素122的線性組合?？梢詫⒋藘?nèi)插處理表達(dá)為
-雄y)分其中(抝，召)表現(xiàn)了被預(yù)測(cè)幀110中位于坐標(biāo)(m，η)處的被預(yù)測(cè)像素111 ；-Xt^1對(duì)應(yīng)于參考幀120中像素的表現(xiàn)；-(/ ,乃)表現(xiàn)了通過(guò);(爪，妁)的、被預(yù)測(cè)幀110中位于(m，n)處的對(duì)應(yīng)被預(yù)
測(cè)像素111的運(yùn)動(dòng)向量130所指向的參考幀120中的對(duì)應(yīng)像素121的位置；-α μ是內(nèi)插系數(shù)；-nt(m，n)是加性高斯白噪聲?？梢允褂帽绢I(lǐng)域技術(shù)人員已知的方法(諸如，如此后進(jìn)一步解釋的均方誤差 (MSE)方法和最小均方(LMS)方法)來(lái)推導(dǎo)內(nèi)插系數(shù)。內(nèi)插集合或內(nèi)插濾波器(即，用于方形空間鄰域125的內(nèi)插系數(shù)的)的半徑r可以用于將內(nèi)插濾波器的尺寸定義為A2r+1) X Qr+1)。例如，在圖1中，半徑為r = 1，并且內(nèi)插濾波器的尺寸為3X3。圖2描述了在根據(jù)本發(fā)明的方法中使用的幀。使用第一參考幀Xw 211和第二參考幀Xt_2 222來(lái)推導(dǎo)出用于推導(dǎo)被預(yù)測(cè)幀Yt 205中每個(gè)像素塊的內(nèi)插系數(shù)。將第一參考幀Xw 211中的第一塊Bt_i(k，l)212定義為被預(yù)測(cè)幀Yt 205中要預(yù)測(cè)的像素塊(第三塊)Bt (k，1)201的并置塊。由于已知并且定義了第一和第二參考幀兩者，所以本領(lǐng)域技術(shù)人員已知的現(xiàn)有方法允許沿著并置(或第一)塊Bt_i(k，1)212從第一參考幀Xw到第二參考幀Xt_2的運(yùn)動(dòng)向
量、 _2 (k，1)來(lái)定義第二塊
ο因而，可以根據(jù)第一和第二參考幀中的已知像素、如圖1中描述的那樣定義第一內(nèi)插系數(shù)集合。然后，連同此上所先前獲得的第一系數(shù)集合來(lái)使用第二參考幀222中 Bt.2(^/) 221的第一參考幀中的并置塊241(參考圖3A，也稱為第四塊)，以推
導(dǎo)出被預(yù)測(cè)幀205中要預(yù)測(cè)的像素塊(或第三塊)Bt(k，1)201中的被預(yù)測(cè)像素。圖;3B描述了根據(jù)本發(fā)明的方法的說(shuō)明性實(shí)施例。在動(dòng)作300中，在被預(yù)測(cè)幀Yt中選擇要預(yù)測(cè)的像素塊Bt (k，1)。然后，在動(dòng)作310 中定義與Yt中要預(yù)測(cè)的像素塊并置的Bt_i (k，1)。由于已知并且定義了 Xw和Xt_2兩者，所以在動(dòng)作320中可以沿著并置塊Bt_i(k，1)212從第一參考幀Xt_i到第二參考幀Xt_2的運(yùn)動(dòng)
向量Vt-u-Jk，1)來(lái)定義在Xt_2中與Uk，1)對(duì)應(yīng)的第二塊Bq怵， >在動(dòng)作330中定義
權(quán)利要求
1.一種用于根據(jù)第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的方法，對(duì)于被預(yù)測(cè)幀中的每個(gè)像素塊，所述方法包括以下動(dòng)作a)定義與對(duì)應(yīng)于被預(yù)測(cè)幀中像素塊的第三像素塊并置的第一參考幀中的第一像素塊；b)沿著所述第一塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與第一像素塊對(duì)應(yīng)的第二像素塊；Cl)計(jì)算用于允許將第一塊的像素變換為第二塊的像素的第一系數(shù)集合； d)使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素，來(lái)計(jì)算第三塊的像素。
2.根據(jù)權(quán)利要求1的方法，還包括以下動(dòng)作c2)計(jì)算用于允許將第二塊的像素變換為第一塊的像素的第二系數(shù)集合，該動(dòng)作d)還使用所述第二系數(shù)集合。
3.根據(jù)前述權(quán)利要求之一的方法，其中所述像素塊是nXn個(gè)像素的方形塊，其中η是大于1的整數(shù)，第一和第二系數(shù)集合對(duì)應(yīng)于第一和第二 η X η矩陣，并且其中，在動(dòng)作d)中， 該計(jì)算步驟考慮到所述第一矩陣和所述第二矩陣的轉(zhuǎn)置。
4.一種用于根據(jù)視頻流的第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的內(nèi)插裝置，將所述裝置安排為從該視頻流中選擇所述第一和第二幀，對(duì)于被預(yù)測(cè)幀中的每個(gè)像素塊，將所述裝置進(jìn)一步安排為a)定義與作為被預(yù)測(cè)幀中像素塊的第三像素塊并置的第一參考幀中的第一像素塊；b)沿著所述第一塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與第一像素塊對(duì)應(yīng)的第二像素塊；cl)計(jì)算用于允許將第一塊的像素變換為第二塊的像素的第一系數(shù)集合； dl)使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素，來(lái)計(jì)算第三塊的像素。
5.根據(jù)權(quán)利要求4的裝置，進(jìn)一步安排為c2)計(jì)算用于允許將第二塊的像素變換為第一塊的像素的第二系數(shù)集合； d2)還使用第二系數(shù)集合來(lái)計(jì)算被預(yù)測(cè)幀的像素。
6.根據(jù)前述權(quán)利要求4和5之一的裝置，其中所述像素塊是nXn個(gè)像素的方形塊，其中η是大于1的整數(shù)，第一和第二系數(shù)集合對(duì)應(yīng)于第一和第二 nXn矩陣，將該裝置進(jìn)一步安排為考慮到所述第一矩陣和所述第二矩陣的轉(zhuǎn)置來(lái)計(jì)算被預(yù)測(cè)幀的像素。
7.一種用于根據(jù)視頻流的第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的系統(tǒng)，所述系統(tǒng)包括 -傳送裝置，用于傳送該視頻流；-內(nèi)插裝置，被安排為 -從該傳送裝置接收該視頻流； -從該視頻流中選擇所述第一和第二幀， 對(duì)于被預(yù)測(cè)幀中的每個(gè)像素塊，將所述裝置進(jìn)一步安排為a)定義與作為被預(yù)測(cè)幀中像素塊的第三像素塊并置的第一參考幀中的第一像素塊；b)沿著所述第一塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與第一像素塊對(duì)應(yīng)的第二像素塊；cl)計(jì)算用于允許將第一塊的像素變換為第二塊的像素的第一系數(shù)集合；dl)使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素來(lái)計(jì)算第三塊的像素。
8.根據(jù)權(quán)利要求7的系統(tǒng)，其中將該內(nèi)插裝置進(jìn)一步安排為c2)計(jì)算用于允許將第二塊的像素變換為第一塊的像素的第二系數(shù)集合； d2)還使用第二系數(shù)集合來(lái)計(jì)算被預(yù)測(cè)幀的像素。
9.根據(jù)前述權(quán)利要求7和8之一的系統(tǒng)，其中所述像素塊是nXn個(gè)像素的方形塊，其中η是大于1的整數(shù)，第一和第二系數(shù)集合對(duì)應(yīng)于第一和第二 ηΧη矩陣，將該裝置進(jìn)一步安排為考慮到所述第一矩陣和所述第二矩陣的轉(zhuǎn)置來(lái)計(jì)算被預(yù)測(cè)幀的像素。
10.一種用于提供在計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)程序，當(dāng)加載到數(shù)據(jù)處理器上時(shí)，該計(jì)算機(jī)可執(zhí)行指令使得該數(shù)據(jù)處理器執(zhí)行根據(jù)權(quán)利要求1到3的用于根據(jù)第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的方法。
全文摘要
一種用于根據(jù)第一和第二參考幀來(lái)計(jì)算被預(yù)測(cè)幀的方法，對(duì)于被預(yù)測(cè)幀中的每個(gè)像素塊，所述方法包括以下動(dòng)作定義與作為被預(yù)測(cè)幀中像素塊的第三像素塊并置的第一參考幀中的第一像素塊；沿著所述第一塊從所述第一參考幀到第二參考幀的運(yùn)動(dòng)向量來(lái)定義在第二參考幀中與第一像素塊對(duì)應(yīng)的第二像素塊；計(jì)算用于允許將第一塊的像素變換為第二塊的像素的第一系數(shù)集合；使用第一系數(shù)集合和來(lái)自在第一參考幀中與第二像素塊并置的第四塊的像素來(lái)計(jì)算第三塊的像素。
文檔編號(hào)H04N7/36GK102204256SQ200980143556
公開(kāi)日2011年9月28日 申請(qǐng)日期2009年10月20日 優(yōu)先權(quán)日2008年10月31日
發(fā)明者張永兵, 王榮剛 申請(qǐng)人:法國(guó)電信公司