專(zhuān)利名稱(chēng)：基于多區(qū)塊的單幀圖像的超分辨率重建的裝置、系統(tǒng)和方法
基于多區(qū)塊的單幀圖像的超分辨率重建的裝置、系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像和視頻處理，特別涉及用于圖像超分辨率的裝置、系統(tǒng)和方法。背景技木超分辨率(SR)方法g在從低分辨率(LR)圖像中復(fù)原出超過(guò)奈奎斯特頻率的新的高分辨率(HR)信息。SR方法適用于HDTV、視頻通信、視頻監(jiān)控、醫(yī)學(xué)成像和其它應(yīng)用。最近，由單個(gè)LR輸入圖像重建HR圖像的基于樣本(example-based)的SR (通常也被稱(chēng)為“幻象(hallucination)”)，已經(jīng)成為ー種有前景的技術(shù)，因?yàn)槠淠軌蚩朔鹘y(tǒng)多圖像超分辨率方法的ー些限制，且能夠以較低的計(jì)算和存儲(chǔ)器成本來(lái)實(shí)現(xiàn)。
基于樣本的SR方法假設(shè)丟失的HR細(xì)節(jié)能夠從具有代表性的訓(xùn)練集(trainingset)或LR圖像本身學(xué)習(xí)和推斷出。例如，圖象預(yù)測(cè)模型可以依賴(lài)于ー個(gè)包括了樣本的低頻信息和剰余高頻信息數(shù)據(jù)構(gòu)成的數(shù)據(jù)庫(kù)，而該數(shù)據(jù)庫(kù)是通過(guò)ー個(gè)訓(xùn)練集來(lái)建立的。在進(jìn)行超分辨率處理時(shí)，將LR圖像分成多個(gè)重疊的區(qū)塊。對(duì)每個(gè)區(qū)塊，根據(jù)樣本區(qū)塊的低頻成分在數(shù)據(jù)庫(kù)里進(jìn)行搜索以確定相應(yīng)的高頻成分用于重建。其它這類(lèi)代表性的方法包括基于核嶺回歸(Kernel Ridge Regression based)的 SR 方法、基于稀疏編碼(Sparse Coding)的SR方法等。這些類(lèi)型的SR方法能夠?qū)φ麄€(gè)圖像產(chǎn)生真實(shí)感很強(qiáng)的高清晰細(xì)節(jié)；但是，如果數(shù)據(jù)庫(kù)中缺乏相關(guān)樣本，就會(huì)在生成的圖像中產(chǎn)生噪聲，特別是彎曲邊緣會(huì)出現(xiàn)不規(guī)則的噪聲。此外，基于數(shù)據(jù)庫(kù)的通常需要花費(fèi)更多的計(jì)算時(shí)間、耗費(fèi)更多存儲(chǔ)器，這使得高效的硬件實(shí)現(xiàn)變得非常困難。另ー個(gè)基于樣本的SR方法采用圖像的自相似(self-similarity)特性，即自然圖像中的小區(qū)塊會(huì)在該圖像內(nèi)多次重現(xiàn)的特性。在一個(gè)現(xiàn)有技術(shù)的方法里，在相同圖像尺度(scale)內(nèi)和若干較小圖像尺度之間的區(qū)塊重現(xiàn)被用來(lái)發(fā)掘亞像素級(jí)的錯(cuò)位和低分辨率/高分辨率區(qū)塊對(duì)中所包含的高頻信息。該方法使用一個(gè)統(tǒng)ー的框架來(lái)發(fā)掘著兩種信息，并采用近似最鄰近(ANN)算法來(lái)加速區(qū)塊搜索。在另ー個(gè)方法里，使用輸入LR圖像的圖像金字塔，在線(xiàn)建立ー個(gè)低分辨率/高分辨率區(qū)塊對(duì)的字典，并且使用組合稀疏約束(groupsparsity constraint)來(lái)進(jìn)行優(yōu)化。通過(guò)在字典里使用ANN搜索,重建HR圖像。在又ー個(gè)方法里，根據(jù)自然圖像的局部自相似特性，將區(qū)塊捜索局限在10X10的范圍內(nèi)，而不是整個(gè)輸入圖像，從而極大地降低了區(qū)塊搜索的復(fù)雜度，同時(shí)不會(huì)影響大多數(shù)重建圖像的質(zhì)量。在又ー個(gè)方法里，提出了ー種非局部反投影(non-local back-pro jection)方法,利用在小窗口內(nèi)進(jìn)行局部捜索以恢復(fù)非局部冗余以及抑制“鋸齒”偽影和振鈴效應(yīng)。與其它前述的算法中較小的圖像放大步長(zhǎng)(如由4X4放大到5X5)相比，該方法運(yùn)行ー次便將圖像在每個(gè)方向上都放大2倍，因此對(duì)于一般的應(yīng)用，連續(xù)使用該方法一到兩次便可以達(dá)到目標(biāo)圖像所需的放大率。上述基于樣本的SR算法通常計(jì)算量龐大，因?yàn)閷?duì)每個(gè)像素或區(qū)塊，本方法需要在數(shù)據(jù)庫(kù)/字典、圖像金字塔或圖像的局部區(qū)域里捜索高分辨率的區(qū)塊。盡管已經(jīng)有很多降低計(jì)算復(fù)雜性的方法被提出，但SR的計(jì)算復(fù)雜性仍然很高，成為SR技術(shù)商業(yè)應(yīng)用ー個(gè)主要障礙。
發(fā)明概述本發(fā)明的實(shí)施例包括基于多區(qū)塊的單幀圖像超分辨率重建的裝置、系統(tǒng)和方法。在此使用的“圖像”是指通過(guò)攝取對(duì)應(yīng)物體的光線(xiàn)或光磁輻射而獲得的ー個(gè)物體視覺(jué)表象。圖像可以包括ー個(gè)靜止圖像或ー個(gè)視頻幀。這類(lèi)實(shí)施例可以包括一種基于尺度不變自相似(SiSS)的超分辨率方法。不同于在數(shù)據(jù)庫(kù)里或LR圖像里捜索HR樣本，本實(shí)施例可以根據(jù)區(qū)塊本身的SiSS特性來(lái)選擇區(qū)塊，而不需要涉及任何捜索，因而可以降低SR方法的計(jì)算復(fù)雜性。為了解決自然圖像中缺乏相關(guān)樣本的問(wèn)題，本實(shí)施例可以在HR圖像重建時(shí)采用多形狀和多尺寸的區(qū)塊。另外，實(shí)施例可以包括使用ー個(gè)混合加權(quán)方法步驟來(lái)抑制偽影(artifact)。本方法的某些實(shí)施例比基于區(qū)塊搜索的SR方法快l(Tl000倍，并獲得相當(dāng)?shù)腍R圖像質(zhì)量。在一個(gè)實(shí)施例里，一個(gè)從單個(gè)低分辨率圖像產(chǎn)生高分辨率圖像的方法包括將所 述低分辨率圖像分割成具有多種形狀和尺寸的大量的重疊區(qū)塊。另外，本方法可以包括按照順序處理各個(gè)區(qū)塊。在一個(gè)實(shí)施例里，本方法包括比較整個(gè)區(qū)塊與其中心區(qū)域以獲得每個(gè)區(qū)塊的尺度不變自相似性。本方法也可以包括選擇尺度不變自相似性大于某個(gè)閾值的區(qū)塊。另外，本方法可以包括使用加權(quán)的低分辨率區(qū)塊來(lái)重建所述低分辨率區(qū)塊中心區(qū)域?qū)?yīng)的高分辨率圖像。另外，本方法可以包括應(yīng)用反投影(back-projection)到重建的圖像。在一個(gè)實(shí)施例里，多形狀區(qū)塊包括完整區(qū)塊和被從區(qū)塊中心點(diǎn)到邊界的一條或多條直線(xiàn)分割的部分區(qū)塊。比較區(qū)塊及其中心區(qū)域可以包括將區(qū)塊或部分區(qū)塊縮小到跟中心區(qū)域相同的尺寸，并計(jì)算原始區(qū)塊(或部分區(qū)塊)中心區(qū)域與縮小的區(qū)塊(或部分區(qū)塊)之間的相似性度量。在一個(gè)特別實(shí)施例里，選擇步驟還包括將以同一位置為中心的多種形狀的區(qū)塊分割成多個(gè)子集，在每個(gè)子集里選擇其相似性大于ー個(gè)閾值且相似性為前N個(gè)最大的區(qū)塊。在另ー個(gè)實(shí)施例里，重建步驟包括使用相似性度量計(jì)算第一權(quán)重；線(xiàn)性映射區(qū)塊中心區(qū)域的每個(gè)像素到區(qū)塊的對(duì)應(yīng)像素，使用區(qū)塊和中心區(qū)域的對(duì)應(yīng)像素之間的亮度差計(jì)算每個(gè)像素的第二權(quán)重；通過(guò)合并第一和第二權(quán)重來(lái)獲得每個(gè)像素的權(quán)重，井分別計(jì)算該區(qū)塊里的像素與其它與之相重疊的區(qū)塊里的像素的加權(quán)和。在另ー個(gè)實(shí)施例里，中心區(qū)域與區(qū)塊或部分區(qū)塊的形狀相同。并且，如果區(qū)塊是完整區(qū)塊，則中心區(qū)域以區(qū)塊的中心點(diǎn)為中心；如果區(qū)塊是部分區(qū)塊，則其中心區(qū)域是以對(duì)應(yīng)的完整區(qū)塊的中心點(diǎn)為中心。中心區(qū)域尺寸和區(qū)塊尺寸之間的比例與低分辨率圖像和放大的高分辨率圖像之間的尺寸比例相同。在另ー個(gè)實(shí)施例里，計(jì)算相似性度量的步驟還包括使用ー個(gè)加法樹(shù)來(lái)計(jì)算整個(gè)區(qū)塊以及同一位置上相應(yīng)部分區(qū)塊的相似性度量。前述已經(jīng)相當(dāng)廣泛地闡述了本發(fā)明的特征和技術(shù)優(yōu)勢(shì)，由此將更加容易理解以下本發(fā)明的詳細(xì)描述。本發(fā)明的其他特征和優(yōu)勢(shì)將在其后描述，此構(gòu)成本發(fā)明的權(quán)利要求部分。本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在此披露的概念和特定實(shí)施例可以作為一個(gè)基礎(chǔ)，用來(lái)修改或設(shè)計(jì)其它結(jié)構(gòu)來(lái)執(zhí)行本發(fā)明的相同目的。本領(lǐng)域普通技術(shù)人員也應(yīng)該認(rèn)識(shí)到，這種等同的構(gòu)造沒(méi)有脫離由所附權(quán)利要求闡述的本發(fā)明精神和范圍。被看作本發(fā)明特征的新穎性特征，無(wú)論是其組織還是運(yùn)行方法，與其它目的和優(yōu)勢(shì)一起，通過(guò)以下的描述并結(jié)合附圖，將會(huì)得到更好的理解。但是，需要強(qiáng)調(diào)的是，每個(gè)附圖僅是用作描述和敘述，并不是意圖限制本發(fā)明。

為了更完整地理解本發(fā)明，現(xiàn)結(jié)合附圖參照以下的描述，其中圖1A描述ー個(gè)從低分辨率圖像或視頻幀產(chǎn)生高分辨率圖像或視頻幀的方法實(shí)施·例；圖1B描述使用SiSS度量進(jìn)行超分辨率重建；圖1C描述ー個(gè)區(qū)塊融合運(yùn)算的實(shí)施例；圖2A描述ー個(gè)包括SiSS和非SiSS區(qū)塊的實(shí)例圖像；圖2B-E描述圖2A所示圖像里標(biāo)記的區(qū)塊和部分區(qū)塊；圖3描述ー個(gè)使用多形狀區(qū)塊來(lái)處理非SiSS區(qū)塊的方法實(shí)施例；圖4描述ー個(gè)使用多尺寸區(qū)塊來(lái)處理非SiSS區(qū)塊的方法實(shí)施例；圖5描述ー個(gè)具有離群像素的區(qū)塊及其中心區(qū)域的例子；圖6是ー個(gè)實(shí)施例的基于多區(qū)塊的超分辨率方法流程圖；圖7描述幾種區(qū)塊幾何形狀的實(shí)施例；圖8描述幾種部分區(qū)塊的形狀模式和相應(yīng)中心區(qū)域的實(shí)施例；圖9描述ー個(gè)從單個(gè)圖像或視頻幀的基于多區(qū)塊的超分辨率的系統(tǒng)實(shí)施例；圖10描述ー個(gè)基于多區(qū)塊的超分辨率系統(tǒng)的視頻處理系統(tǒng)實(shí)施例；圖11描述ー個(gè)從單個(gè)圖像或視頻幀的基于多區(qū)塊的超分辨率的裝置實(shí)施例；和圖12描述在1/2像素圖像里進(jìn)行4x4像素區(qū)塊的SiSS計(jì)算的例子。
發(fā)明詳述圖1A描述ー個(gè)從低分辨率圖像或視頻幀102產(chǎn)生高分辨率圖像或視頻幀的實(shí)施例方法。如上所述，可以使用超分辨率方法來(lái)將低分辨率自然圖像或視頻幀102轉(zhuǎn)換成高分辨率圖像或視頻幀104，以便顯示在高分辨率顯示器裝置上或用于圖像或視頻處理、分析、傳輸或其它功能的裝置上。自相似性是自然圖像102的一個(gè)特征，即圖像中某種局部視覺(jué)內(nèi)容在相同或不同的尺度(scale)上將重復(fù)出現(xiàn)?；谶@個(gè)假設(shè)，可以通過(guò)在輸入LR圖像102里以ー個(gè)或多個(gè)尺度捜索相似的區(qū)塊來(lái)確定該低分辨率區(qū)塊對(duì)應(yīng)的高分辨率區(qū)塊，然后將該高分辨率區(qū)塊用于重建HR圖像104。在一個(gè)實(shí)施例里，該局部視覺(jué)內(nèi)容在每個(gè)尺度上的外觀都相同。這種現(xiàn)象可以被稱(chēng)為尺度不變自相似性(SiSS)，在自然圖像里通常發(fā)生在諸如邊緣和拐角等局部結(jié)構(gòu)中。該現(xiàn)象可以更嚴(yán)格地描述為，給定ー個(gè)包括某局部結(jié)構(gòu)的圖像區(qū)塊P，通過(guò)以下公式可以度量P的SiSS特性
s/'ss = minf/'(Cs(P), Ds(P)))
s，(I)
其中Ds( )表示ー個(gè)尺度比例因子為s的下采樣運(yùn)算，Cs( )是具有跟隊(duì)(の相同尺寸的P的中心區(qū)域，F(xiàn)( )是區(qū)塊對(duì)區(qū)塊的相似性度量。大的SiSS數(shù)值表示在相似性度量F( )下，該局部結(jié)構(gòu)在任何尺度上都具有相同的外觀。進(jìn)ー步，我們可以假設(shè)如果ー個(gè)局部視覺(jué)內(nèi)容在某個(gè)分辨率上滿(mǎn)足SiSS，其將在更高分辨率上保持其結(jié)構(gòu)和SiSS特性。類(lèi)似的假設(shè)已經(jīng)在邊緣剖面梯度銳度的統(tǒng)計(jì)研究里得到部分證明，即邊緣剖面的梯度銳度分布在不同分辨率上保持不變。與上述邊緣剖面的梯度銳度的度量不同，本實(shí)施例中所述的SiSS不僅可以描述邊緣的特性，而且可以描述自然圖像中更為一般的局部結(jié)構(gòu)諸如拐角的特性。如果區(qū)塊P具有較高的SiSS，P及其中心區(qū)域Cs(P)可以被看作是同一局部視覺(jué)內(nèi)容的ー個(gè)高分辨率/低分辨率對(duì)(high-resolution/low-resolution pair),即P為該局部視覺(jué)內(nèi)容的高分辨率表示，而Cs(P)為相應(yīng)的低分辨率表示。在此前提下，可以拷貝P作為Cs(P)的一個(gè)高分辨率實(shí)例，對(duì)Cs(P)進(jìn)行超分辨率重建。換言之，不同于已有SR方法中搜索相似區(qū)塊的方法，本發(fā)明實(shí)施例通過(guò)測(cè)量局部視覺(jué)內(nèi)容的SiSS，并選擇那些最合適的區(qū)塊來(lái)直接重建高分辨率的內(nèi)容。由于本實(shí)施例不需要進(jìn)行區(qū)塊搜索，因此能夠以相對(duì)較低的計(jì)算成本重建高分辨率圖像。圖1B描述使用以上SiSS測(cè)量和區(qū)塊選擇的圖像重建過(guò)程。輸入圖像被分成多個(gè)互相重疊的小區(qū)塊。如圖所示，假設(shè)其中一個(gè)區(qū)塊A滿(mǎn)足SiSS特性，B是A的中心區(qū)域，且B和A尺寸的比例與低分辨率輸入圖像和放大的高分辨率圖像尺寸的比例相同。由于區(qū)塊A滿(mǎn)足SiSS特性，我們可以將A看作是B的高分辨率實(shí)例。進(jìn)ー步，假設(shè)區(qū)域C是區(qū)塊B被放大后對(duì)應(yīng)的位置，則當(dāng)我們重建該放大圖像時(shí)，可以直接拷貝A到C作為B的高分辨率重建結(jié)果。顯而易見(jiàn)，區(qū)塊A將比使用雙三次插值或其它類(lèi)似技術(shù)直接放大B而得到的結(jié)果包含更多的原始圖像細(xì)節(jié)信息，因此重建的圖像不僅保持了邊緣銳度，而且具有更多的圖像細(xì)節(jié)信息。我們可以將公式(I)所述的SiSS準(zhǔn)則進(jìn)ー步放寬到某一特定的尺度比例因子。假設(shè)P(x，y)是尺寸為WXW的方形區(qū)塊，并假設(shè)尺度比例因子為2，我們將負(fù)的均方差(MSE)作為相似性度量，則SiSS度量可以簡(jiǎn)化為
權(quán)利要求
1.一個(gè)方法，包括接收具有第一分辨率的第一圖像，用以轉(zhuǎn)換成具有第二分辨率的第二圖像；將所述第一圖像分割成多個(gè)區(qū)塊，所述區(qū)塊具有不同的屬性；對(duì)具有不同屬性的各個(gè)區(qū)塊進(jìn)行處理以便選擇其中的一部分，選擇的條件包括該區(qū)塊的尺度不變自相似性數(shù)值高于一個(gè)閾值；和使用具有選擇的不同屬性的各個(gè)區(qū)塊，將所述第一圖像轉(zhuǎn)換成所述第二圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中所述不同屬性包括區(qū)塊的尺寸。
3.根據(jù)權(quán)利要求1所述的方法，其中所述不同屬性包括區(qū)塊的形狀。
4.根據(jù)權(quán)利要求3所述的方法，其中所述每個(gè)區(qū)塊包括一個(gè)或多個(gè)部分區(qū)塊，所述每個(gè)部分區(qū)塊具有不同的形狀。
5.根據(jù)權(quán)利要求3所述的方法，其中所述每個(gè)部分區(qū)塊包括一個(gè)或多個(gè)形狀，其由從區(qū)塊中心點(diǎn)到區(qū)塊邊界的一條或多條線(xiàn)確定。
6.根據(jù)權(quán)利要求1所述的方法，還包括將整個(gè)區(qū)塊與整個(gè)區(qū)塊的中心區(qū)域進(jìn)行比較以確定所述尺度不變自相似性數(shù)值。
7.根據(jù)權(quán)利要求6所述的方法，其中所述將整個(gè)區(qū)塊與整個(gè)區(qū)塊的中心區(qū)域進(jìn)行比較包括縮小所述整個(gè)區(qū)塊到和所述中心區(qū)域有相同的尺寸。
8.根據(jù)權(quán)利要求1所述的方法，還包括計(jì)算所述整個(gè)區(qū)塊的中心區(qū)域和所述縮小的整個(gè)區(qū)塊之間的一個(gè)相似性數(shù)值。
9.根據(jù)權(quán)利要求1所述的方法，其中所述每個(gè)區(qū)塊包括一個(gè)區(qū)域，其與一個(gè)或多個(gè)其它區(qū)塊重疊。
10.根據(jù)權(quán)利要求1所述的方法，還包括應(yīng)用反投影到所述第二圖像。
11.根據(jù)權(quán)利要求9所述的方法，其中所述將第一圖像轉(zhuǎn)換成第二圖像還包括根據(jù)所述自相似性數(shù)值計(jì)算第一加權(quán)數(shù)值；將所述整個(gè)區(qū)塊或部分區(qū)塊的中心區(qū)域的每個(gè)像素映射到所述整個(gè)區(qū)塊或部分區(qū)塊上的對(duì)應(yīng)像素；使用所述整個(gè)區(qū)塊或部分區(qū)塊的對(duì)應(yīng)像素和所述整個(gè)區(qū)塊或部分區(qū)塊的中心區(qū)域之間的差異，計(jì)算所述整個(gè)區(qū)塊或部分區(qū)塊上每個(gè)像素的第二權(quán)重；合并所述第一權(quán)重和所述第二權(quán)重以確定一個(gè)綜合加權(quán)數(shù)值；和根據(jù)所述綜合加權(quán)數(shù)值，分別計(jì)算所述區(qū)塊的各個(gè)區(qū)塊內(nèi)像素和與之重疊的區(qū)塊中對(duì)應(yīng)位置像素的加權(quán)和。
12.根據(jù)權(quán)利要求6所述的方法，其中所述整個(gè)區(qū)塊中心區(qū)域的部分區(qū)域的形狀由所述部分區(qū)塊確定。
13.根據(jù)權(quán)利要求12所述的方法，其中所述區(qū)塊中心區(qū)域是以所述區(qū)塊的中心點(diǎn)為中心。
14.根據(jù)權(quán)利要求6所述的方法，其中所述整個(gè)區(qū)塊和所述整個(gè)區(qū)塊中心區(qū)域之間的比例，與所述第一圖像和所述第二圖像之間的比例相同。
15.根據(jù)權(quán)利要求6所述的方法，其中所述計(jì)算一個(gè)相似性數(shù)值還包括使用一個(gè)加法樹(shù)，計(jì)算所述整個(gè)區(qū)塊和一個(gè)或多個(gè)相應(yīng)部分區(qū)塊的尺度不變自相似性度量。
16.一個(gè)系統(tǒng),包括一個(gè)輸入端，其被設(shè)置以接收具有第一分辨率的第一圖像，用以轉(zhuǎn)換成具有第二分辨率的第二圖像；和 一個(gè)圖像處理器，其被連接到所述輸入端，并被設(shè)置成 將所述第一圖像分割成多個(gè)區(qū)塊，所述區(qū)塊具有不同的屬性； 對(duì)具有不同屬性的各個(gè)區(qū)塊進(jìn)行處理以便選擇其中的一部分，選擇的條件包括該區(qū)塊的尺度不變自相似性數(shù)值高于一個(gè)閾值；和 使用具有選擇的不同屬性的每個(gè)區(qū)塊，將所述第一圖像轉(zhuǎn)換成所述第二圖像。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述不同屬性包括區(qū)塊尺寸。
18.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述不同屬性包括區(qū)塊形狀。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述每個(gè)區(qū)塊包括一個(gè)或多個(gè)部分區(qū)塊，每個(gè)部分區(qū)塊有不同的形狀。
20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述每個(gè)部分區(qū)塊包括一個(gè)或多個(gè)形狀，其由從所述區(qū)塊中心點(diǎn)到所述區(qū)塊邊界的一條或多條線(xiàn)確定。
21.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述圖像處理器還被設(shè)置以比較所述整個(gè)區(qū)塊和所述整個(gè)區(qū)塊中心區(qū)域，從而確定所述尺度不變數(shù)值。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述比較整個(gè)區(qū)塊和整個(gè)區(qū)塊中心部分包括縮小所述整個(gè)區(qū)塊到跟所述中心區(qū)域具有相同的尺寸。
23.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述圖像處理器還被設(shè)置以計(jì)算所述整個(gè)區(qū)塊中心區(qū)域和縮小的整個(gè)區(qū)塊之間的一個(gè)相似性數(shù)值。
24.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述每個(gè)區(qū)塊包括一個(gè)與另一個(gè)區(qū)塊重疊的區(qū)域。
25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述圖像處理器還被設(shè)置以 計(jì)算所述多個(gè)區(qū)塊的每個(gè)區(qū)塊上的像素的權(quán)重；和 計(jì)算權(quán)重和，作為所述與另一個(gè)區(qū)塊重疊區(qū)域里像素的最終像素?cái)?shù)值。
26.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述圖像處理器還被設(shè)置以應(yīng)用反投影到所述第二圖像。
27.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述將第一圖像轉(zhuǎn)換成第二圖像還包括 根據(jù)所述自相似性數(shù)值，計(jì)算第一權(quán)重?cái)?shù)值； 將所述整個(gè)區(qū)塊或部分區(qū)塊的中心區(qū)域的每個(gè)像素映射到所述整個(gè)區(qū)塊或部分區(qū)塊上的對(duì)應(yīng)像素； 使用所述整個(gè)區(qū)塊或部分區(qū)塊的對(duì)應(yīng)像素和所述整個(gè)區(qū)塊或部分區(qū)塊的中心區(qū)域之間的差異，計(jì)算所述整個(gè)區(qū)塊或部分區(qū)塊里每個(gè)像素的第二權(quán)重； 合并所述第一權(quán)重和所述第二權(quán)重以確定一個(gè)綜合權(quán)重?cái)?shù)值；和根據(jù)所述綜合權(quán)重?cái)?shù)值，分別計(jì)算所述區(qū)塊的各個(gè)區(qū)塊內(nèi)像素和與之重疊的區(qū)塊中對(duì)應(yīng)位置像素的加權(quán)和。
28.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述整個(gè)區(qū)塊中心區(qū)域的部分區(qū)域的形狀由所述部分區(qū)塊確定。
29.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述區(qū)塊中心區(qū)域是以所述區(qū)塊的中心點(diǎn)為中心。
30.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述整個(gè)區(qū)塊和所述整個(gè)區(qū)塊中心區(qū)域之間的比例，跟所述第一圖像和所述第二圖像之間的比例相同。
31.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述計(jì)算一個(gè)相似性數(shù)值還包括使用一個(gè)加法樹(shù)，計(jì)算所述整個(gè)區(qū)塊和一個(gè)或多個(gè)對(duì)應(yīng)部分區(qū)塊的尺度不變自相似性度量。
全文摘要
本發(fā)明包括從單個(gè)視頻幀進(jìn)行基于多區(qū)塊的超分辨率重建的裝置、系統(tǒng)和方法。實(shí)施例包括一個(gè)基于尺度不變自相似性(SiSS)的超分辨率方法。不同于在數(shù)據(jù)庫(kù)或者低分辨率(LR)圖像里搜索高分辨率(HR)樣本，本實(shí)施例可以根據(jù)區(qū)塊本身的SiSS特性來(lái)選擇區(qū)塊，從而不需要涉及任何搜索，能夠降低本方法的計(jì)算復(fù)雜性。為了解決在自然圖像里缺乏相關(guān)樣本的問(wèn)題，本實(shí)施例可以采用多形狀和多尺寸的區(qū)塊用于HR圖像重建。另外，實(shí)施例可以包括一個(gè)混合加權(quán)方法的步驟用于抑制偽影。本方法的實(shí)施例比基于區(qū)塊樣本搜索的超分辨率方法快10~1000倍，并獲得相當(dāng)?shù)腍R圖像質(zhì)量。
文檔編號(hào)G06T5/50GK103020897SQ20121047285
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年11月20日 優(yōu)先權(quán)日2012年9月28日
發(fā)明者梁路宏, 趙京雄, 林彥民 申請(qǐng)人:香港應(yīng)用科技研究院有限公司