一種基于稀疏編碼的快速視頻放大方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明實(shí)施例公開(kāi)了一種基于稀疏編碼的快速視頻放大方法及系統(tǒng)，其中，該方法包括：對(duì)高分辨率圖像H經(jīng)過(guò)模糊與下采樣獲得輸入的低分辨率圖像L，L＝RBH，R表示下采樣操作，B是一已知模糊核；根據(jù)輸入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖像H；其中，高分辨圖像H中的高分辨率圖像塊h通過(guò)訓(xùn)練出來(lái)的一個(gè)字典Dh線性表示且表示系數(shù)稀疏：h≈Dhαfor someα∈Rkwith||α||0＜＜K。在本發(fā)明實(shí)施例中，通過(guò)分層放大很好地重建了圖像的細(xì)節(jié)紋理信息，另外，通過(guò)訓(xùn)練有重疊聚類子字典，在降低字典維度的同時(shí)保留了字典的完備性，從而在保證圖像質(zhì)量的同時(shí)明顯降低了時(shí)間復(fù)雜度。
【專利說(shuō)明】一種基于稀疏編碼的快速視頻放大方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻處理【技術(shù)領(lǐng)域】，尤其涉及一種基于稀疏編碼的快速視頻放大方法 及系統(tǒng)。

【背景技術(shù)】
[0002] 稀疏的思想首先是由對(duì)神經(jīng)感知系統(tǒng)的研究得來(lái)的。一組有限的神經(jīng)元可以有效 的表示外界數(shù)量龐大的輸入模式，也就是說(shuō)為了充分利用神經(jīng)系統(tǒng)的可計(jì)算資源，自足神 經(jīng)細(xì)胞必須盡可能多的編碼外界信息。稀疏表示的思想就類似于神經(jīng)元處理外界信息的方 法?；诖?，人們想到利用人眼感知的稀疏特性，即人眼只對(duì)某些結(jié)構(gòu)性高頻信息敏感，從 而稀疏表示模型能有效地和人類視覺(jué)感知系統(tǒng)匹配。在這種背景下，出現(xiàn)了基于冗余字典 的稀疏表示方法，即信號(hào)可以用一個(gè)冗余字典中少量基元的線性組合來(lái)表示，并在圖像處 理領(lǐng)域得到廣泛研究和應(yīng)用，例如將圖像壓縮、圖像去噪、圖像恢復(fù)以及圖像超分辨率重建 等應(yīng)用中。
[0003] 利用幾余字典的稀疏表不在超分辨率中的應(yīng)用最為典型的算法為S. Mallat等人 提出的基于混合稀疏估計(jì)的圖像超分辨率構(gòu)架，基于圖像的稀疏性將圖像信號(hào)建模成字典 中的一組原子的稀疏表示，將圖像超分辨率重建的逆向問(wèn)題轉(zhuǎn)換為字典里的稀疏估計(jì)問(wèn) 題。
[0004] 目前，國(guó)內(nèi)外的研究主要集中在冗余字典的設(shè)計(jì)、稀疏編碼算法和稀疏表示模型 在圖像處理中的應(yīng)用等方面。雖然這些方面的研究取得了一定的成就，但仍然存在著諸多 的問(wèn)題待解決。
[0005] 針對(duì)稀疏一類的基于學(xué)習(xí)的方法很早便有所研究。Freeman等人利用MRF建立高 與低分辨率圖像之間的對(duì)應(yīng)關(guān)系Liu等人也利用了 MRF的方法來(lái)預(yù)測(cè)低分辨率圖像在成像 過(guò)程中丟失的高頻成分。Sun等人通過(guò)提取圖像的基本素描輪廓先驗(yàn)改進(jìn)了 Liu的方法，改 善了重構(gòu)圖像的邊緣效果。由于基于MRF的學(xué)習(xí)方法通常需要上百萬(wàn)個(gè)高低分辨率圖像塊 訓(xùn)練數(shù)據(jù)庫(kù)才能取得更好的效果，因此，需要的計(jì)算量非常大。
[0006] Change等人使用局部線性嵌入（Locally Linear Embedding,LLE)建立高與低分 辨率圖像塊之間的關(guān)系。此種方法的基本思想是假設(shè)對(duì)應(yīng)的高低分辨率圖像塊可以在它們 的特征空間形成具有相同局部幾何結(jié)構(gòu)的流形。盡管這種方法大幅度地降低了計(jì)算量，但 是由于使用固定的K值，因此，會(huì)出現(xiàn)過(guò)擬合或者欠擬合的現(xiàn)象。
[0007] 受壓縮傳感理論啟發(fā)，基于高分辨率和低分辨率圖像塊分別對(duì)應(yīng)于高分辨率和低 分辨率字典有相同的稀疏表示的假設(shè)，Yang等人提取了基于稀疏表示的SR方法。這種方 法是基于如下假設(shè)提出的：自然界的圖像具有相似的結(jié)構(gòu)表示基元，這里的結(jié)構(gòu)通常指高 頻信息，例如圖像的邊界信息、紋理結(jié)構(gòu)信息等。這種方法包括訓(xùn)練和重建兩個(gè)階段。
[0008] Yang的方法有效地降低了字典的維度，且能夠自適應(yīng)地選擇最相關(guān)的圖像塊進(jìn)行 重構(gòu)，從而解決了欠擬合或過(guò)擬合的問(wèn)題。然而，它只是簡(jiǎn)單地以一階導(dǎo)和二階導(dǎo)作為圖像 塊特征，并沒(méi)有考慮圖像的邊緣和紋理等結(jié)構(gòu)信息，因此，對(duì)邊緣和紋理復(fù)雜的圖像重構(gòu)的 效果會(huì)嚴(yán)重下降。另外，該方法必須對(duì)每一個(gè)圖像塊都執(zhí)行一次完整的重構(gòu)過(guò)程，因而整個(gè) 重構(gòu)過(guò)程非常耗時(shí)。若直接降低字典的維度，雖然可以獲得速度上的提升，但是重構(gòu)的圖像 的效果就會(huì)越差。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于稀疏編碼的快速 視頻放大方法及系統(tǒng)，在對(duì)效果改善的同時(shí)，提高了圖像放大速度。
[0010] 為了解決上述問(wèn)題，本發(fā)明提出了一種基于稀疏編碼的快速視頻放大方法，所述 方法包括：
[0011] 對(duì)高分辨率圖像H經(jīng)過(guò)模糊與下采樣獲得輸入的低分辨率圖像L，L = RBH，R表示 下采樣操作，B是一已知模糊核；
[0012] 根據(jù)輸入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖像H ;
[0013] 其中，高分辨圖像H中的高分辨率圖像塊h通過(guò)訓(xùn)練出來(lái)的一個(gè)字典Dh線性表示 且表示系數(shù)稀疏：
[0014] h ^ DhQforsomeQ e RkwithI I a I I0 << Ko
[0015] 優(yōu)選地，所述根據(jù)輸入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖像H的步驟 包括：
[0016] 訓(xùn)練子字典；
[0017] 獲得超分辨率圖像。
[0018] 優(yōu)選地，所述訓(xùn)練子字典的步驟包括：
[0019] 結(jié)合分層與有重疊聚類的訓(xùn)練方式，通過(guò)TV-filter將待訓(xùn)練圖庫(kù)分為細(xì)節(jié)層 detail 和基層 base ;
[0020] 采用KSVD訓(xùn)練算法訓(xùn)練基于細(xì)節(jié)層字典[Dh(U，D1(U] {j = 1，. . .，8}和基于基層 字典[Dhbj, Dlbj] {j = 1，. . .，8}，其中各字典集合的聚類中心分別為dCen = {Cerij}，j = 1，· · ·，8 和 bCen = {been』}，j = 1，· · ·，8。
[0021] 優(yōu)選地，所述訓(xùn)練子字典的步驟包括：
[0022] 步驟1，采用TV-filter將輸入的低分辨率圖L分為低分辨率細(xì)節(jié)層Ld和低分辨率 基層Lb;
[0023] 步驟2,對(duì)Ld和Lb采用基于宏塊patch放大，分別記為P d和Pb ;
[0024] 步驟3,對(duì)于每一個(gè)宏塊Pdj和Pbj，尋找與其最近的子字典；
[0025] 步驟4,采用特征符號(hào)查找法分別計(jì)算求解Pdj和Pbj的稀疏系數(shù)：

【權(quán)利要求】
1. 一種基于稀疏編碼的快速視頻放大方法，其特征在于，所述方法包括： 對(duì)高分辨率圖像H經(jīng)過(guò)模糊與下采樣獲得輸入的低分辨率圖像L，L = RBH，R表示下采 樣操作，B是一已知模糊核； 根據(jù)輸入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖像H ; 其中，高分辨圖像H中的高分辨率圖像塊h通過(guò)訓(xùn)練出來(lái)的一個(gè)字典Dh線性表示且表 示系數(shù)稀疏： h ?Dh a for some a G Rkwith I I a I I 〇 << K。
2. 如權(quán)利要求I所述的基于稀疏編碼的快速視頻放大方法，其特征在于，所述根據(jù)輸 入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖像H的步驟包括： 訓(xùn)練子字典； 獲得超分辨率圖像。
3. 如權(quán)利要求1所述的基于稀疏編碼的快速視頻放大方法，其特征在于，所述訓(xùn)練子 字典的步驟包括： 結(jié)合分層與有重疊聚類的訓(xùn)練方式，通過(guò)TV-filter將待訓(xùn)練圖庫(kù)分為細(xì)節(jié)層detail 和基層base ; 采用KSVD訓(xùn)練算法訓(xùn)練基于細(xì)節(jié)層字典[Dh(U，D1(U] {j = 1，. . .，8}和基于基層字典 [Dhbj，Dlbj] {j = 1，? ? ?，8}，其中各字典集合的聚類中心分別為dCen = {Cerij}，j = 1，? ? ?，8 和 bCen = {been』}，j = 1，? ? ?，8。
4. 如權(quán)利要求1所述的基于稀疏編碼的快速視頻放大方法，其特征在于，所述訓(xùn)練子 字典的步驟包括： 步驟1，采用TV-filter將輸入的低分辨率圖L分為低分辨率細(xì)節(jié)層Ld和低分辨率基層 U ; 步驟2,對(duì)Ld和Lb采用基于宏塊patch放大，分別記為Pd和P b ; 步驟3,對(duì)于每一個(gè)宏塊Ptu和Pw，尋找與其最近的子字典； 步驟4,采用特征符號(hào)查找法分別計(jì)算求解Ptu和Pw的稀疏系數(shù)：
步驟5,通過(guò)循環(huán)上述步驟4求得細(xì)節(jié)層與基層所有宏塊的稀疏系數(shù)； 步驟6,根據(jù)上述各步驟的計(jì)算結(jié)果：
H = Hd+Hb ； 其中，H為所需的超分辨率圖像。
5. 如權(quán)利要求3所述的基于稀疏編碼的快速視頻放大方法，其特征在于，所述重疊聚 類的聚類數(shù)為8。
6. -種基于稀疏編碼的快速視頻放大系統(tǒng)，其特征在于，所述系統(tǒng)包括： 低分辨率圖像獲得模塊，用于對(duì)高分辨率圖像H經(jīng)過(guò)模糊與下采樣獲得輸入的低分辨 率圖像L，L = RBH，R表示下采樣操作，B是一已知模糊核； 高分辨率圖像獲得模塊，用于根據(jù)輸入的低分辨率圖像L獲得同樣場(chǎng)景的高分辨率圖 像H ; 其中，高分辨圖像H中的高分辨率圖像塊h通過(guò)訓(xùn)練出來(lái)的一個(gè)字典Dh線性表示且表 示系數(shù)稀疏： h ?Dh a for some a G Rkwith I I a I I 〇 << K。
【文檔編號(hào)】G06T3/40GK104361557SQ201410568409
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2014年10月17日 優(yōu)先權(quán)日:2014年10月17日
【發(fā)明者】羅笑南, 林格, 周凡, 吳雪蓮 申請(qǐng)人:中山大學(xué)