vf在歐式空間最近的K個(gè)高分辨率圖像塊，這K個(gè)高分 辨率圖像塊即妤的局部流行空間，這K個(gè)高分辨率圖像塊的編號(hào)？1構(gòu)成集合野既表 示組成的高分辨率局部流形空間的高分辨率圖像塊的編號(hào)，同時(shí)也表示組成#對(duì)應(yīng)低 分辨率圖像塊xf的低分辨率局部流形空間的低分辨率圖像塊的編號(hào)。對(duì)應(yīng)的低分辨率 圖像塊_0的高分辨率局部流行空間和低分辨率局部流行空間則為O'f&
[0066] 具體實(shí)施時(shí)，可根據(jù)經(jīng)驗(yàn)自行設(shè)定K取值，一般取為8。
[0067] S5:逐一建立各待處理圖像塊的局部流行空間，根據(jù)局部流行空間構(gòu)建各待處理 圖像塊的投影矩陣。
[0068] 將第ρ個(gè)待處理圖像塊記作韋，將訓(xùn)練庫(kù)中所有低分辨率圖像塊的集合記為 kl二，在集合{《丨二中找出與；^在歐式空間最近的κ，個(gè)低分辨率圖像塊，κ，個(gè)低分 辨率圖像塊中各圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構(gòu)成xf的局部 流行空間。
[0069] 具體實(shí)施時(shí)，可自行設(shè)定K'取值，K'和K相等或不相等。
[0070] 根據(jù)待處理圖像塊的局部流行空間構(gòu)建待處理圖像塊的投影矩陣為本技術(shù)領(lǐng)域 的常規(guī)技術(shù)，為便于理解，下面將提供一種構(gòu)建待處理圖像塊投影矩陣的具體實(shí)施方法。
[0071] 基于 < 的低分辨率局部流形空間和高分辨率局部流形空間建立< 的投影矩陣 MP：
[0072]Mp=(ML' *Ml+λI)Mh (2)
[0073] 式⑵中，Μ肩示由xf的低分辨率局部流形空間轉(zhuǎn)化的矩陣，ΜΗ表示由的高分 辨率局部流形空間轉(zhuǎn)化的矩陣；λ為經(jīng)驗(yàn)值常數(shù)，一般取1 ;1為單位矩陣;是隊(duì)的轉(zhuǎn)置 矩陣
[0074]S6:采用投影矩陣Μρ恢復(fù)待處理圖像塊xf，獲得待估圖像塊J'f
[0075]S7:拼接待估圖像塊jf，得待估高分辨率人臉圖像yt。
[0076] 按圖像分塊的逆過(guò)程，將待估圖像塊集拼接組合，得待估高分辨率人臉圖 像。
[0077] 為驗(yàn)證本發(fā)明技術(shù)效果，使用中國(guó)人臉數(shù)據(jù)庫(kù)CAS-PEAL進(jìn)行驗(yàn)證。從中選擇510 個(gè)人臉樣本，分辨率是112*96,用仿射變換法對(duì)齊人臉。從人臉樣本中選取40幅圖像下采 樣4倍（分辨率為24*28)后加上0. 015的高斯噪聲后作為測(cè)試圖像。將人臉樣本剩余圖 像作為訓(xùn)練庫(kù)，使用雙三次插值方法將測(cè)試圖像放大4倍得到主觀圖像；分別采用傳統(tǒng)局 部臉人臉超分辨率方法（方法1)、方法Lan[4](方法2)、基于輪廓先驗(yàn)的魯棒性人臉超分辨 率處理方法[5](方法3)得到主觀圖像作為參照。
[0078] 從實(shí)驗(yàn)結(jié)果可知，方法1~3雖然比插值方法在分辨率上有所提升，但出現(xiàn)了較嚴(yán) 重誤差，與原始圖像的相似度很低。方法2~3中的結(jié)果由于是全局臉架構(gòu)，往往具有細(xì)節(jié) 恢復(fù)上的短板，所以在這方面稍遜于本發(fā)明方法。本發(fā)明方法所恢復(fù)圖像的質(zhì)量相比于方 法1~3和雙三次插值方法都有顯著提高。
[0079] 表1展示了各圖像對(duì)應(yīng)的客觀質(zhì)量，包括PSNR(峰值信噪比）和SS頂值（結(jié)構(gòu)相 似性準(zhǔn)則）。從表1中可以看出，本發(fā)明方法在恢復(fù)圖像的客觀質(zhì)量上，也有較為明顯的穩(wěn) 定提升。
[0080] 表1恢復(fù)圖像客觀質(zhì)量的對(duì)比
[0081]
[0082] 本發(fā)明方法通過(guò)從高分辨率條件下訓(xùn)練正確的局部流形空間庫(kù)，約束正確的流形 空間的建立，進(jìn)而對(duì)低質(zhì)量人臉圖像進(jìn)行準(zhǔn)確恢復(fù)。實(shí)驗(yàn)結(jié)果從主觀質(zhì)量到客觀質(zhì)量均證 明了本發(fā)明的有效性，即反向流形空間的引入有效減弱了嚴(yán)重噪聲或者輕微不均勻光照對(duì) 超分辨率重建的影響，自動(dòng)提取的特征避免了人工干預(yù)帶來(lái)的負(fù)面效果（例如，處理結(jié)果 不穩(wěn)定、不精確等問(wèn)題），從而提升了人臉超分辨率處理結(jié)果。
[0083] 本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng) 域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替 代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。
【主權(quán)項(xiàng)】
1. 一種基于反向流形約束的魯棒性人臉超分辨率處理方法，其特征是，包括： S1構(gòu)建包含高分辨率人臉圖像庫(kù)及其對(duì)應(yīng)的低分辨率人臉圖像庫(kù)的訓(xùn)練庫(kù)； S2采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為具交疊部 分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為待處理圖像塊，劃分訓(xùn) 練庫(kù)中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為高分辨率圖像塊和低 分辨率圖像塊；對(duì)高分辨率圖像塊和低分辨率圖像塊分別編號(hào)，并使高分辨率圖像塊和其 對(duì)應(yīng)的低分辨率圖像塊編號(hào)相同； S3在訓(xùn)練庫(kù)中找尋各高分辨率圖像塊妙在歐式空間的K近鄰高分辨率圖像塊，該K近 鄰高分辨率圖像塊的編號(hào)集為iVf，得技'對(duì)應(yīng)的低分辨率圖像塊嫁''的高分辨率局部流行 到司(乂'L',e游郝低分辨率^部流到司{-皆Lew，。'，K力經(jīng)驗(yàn)值，Pi表示胃分辨率S像塊芽口 低分辨率圖像塊的編號(hào)； S4在訓(xùn)練庫(kù)中找尋各待處理圖像塊xf在歐式空間的K'近鄰低分辨率圖像塊，各K'近 鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構(gòu)成若>的局部流行 空間，根據(jù)婷的局部流行空間構(gòu)建投影矩陣；K'為經(jīng)驗(yàn)值，與K相等或不相等； 55 :采用投影矩陣恢復(fù)對(duì)應(yīng)的待處理圖像塊，獲得待估圖像塊； 56 :拼接待估圖像塊得待估高分辨率人臉圖像。2. 如權(quán)利要求1所述的基于反向流形約束的魯棒性人臉超分辨率處理方法，其特征 是： S1具體為： 將高分辨率人臉圖像庫(kù)中高分辨率人臉圖像位置對(duì)齊，并進(jìn)行降質(zhì)處理，得對(duì)應(yīng)的低 分辨率人臉圖像庫(kù)，高分辨率人臉圖像庫(kù)和低分辨率人臉圖像庫(kù)構(gòu)成訓(xùn)練庫(kù)； 同時(shí)，在S2之前，使待處理低分辨率人臉圖像與訓(xùn)練庫(kù)中圖像大小相同，且位置對(duì)齊。3. 如權(quán)利要求2所述的基于反向流形約束的魯棒性人臉超分辨率處理方法，其特征 是： 所述的位置對(duì)齊采用仿射變換法將進(jìn)行位置對(duì)齊。4. 如權(quán)利要求1所述的基于反向流形約束的魯棒性人臉超分辨率處理方法，其特征 是： S5中所獲得待估圖像塊療，其中，《表示待處理圖像塊，Mp表示皆的投影矩 陣。5. -種基于反向流形約束的魯棒性人臉超分辨率處理系統(tǒng)，其特征是，包括： 訓(xùn)練庫(kù)構(gòu)建模塊，用來(lái)構(gòu)建包含高分辨率人臉圖像庫(kù)及其對(duì)應(yīng)的低分辨率人臉圖像庫(kù) 的訓(xùn)練庫(kù)； 圖像塊劃分模塊，用來(lái)采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖 像劃分為具交疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為待處 理圖像塊，劃分訓(xùn)練庫(kù)中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為高分 辨率圖像塊和低分辨率圖像塊；對(duì)高分辨率圖像塊和低分辨率圖像塊分別編號(hào)，并使高分 辨率圖像塊和其對(duì)應(yīng)的低分辨率圖像塊編號(hào)相同； 局部流行空間建立模塊，用來(lái)在訓(xùn)練庫(kù)中找尋各高分辨率圖像塊乂'在歐式空間的K近鄰高分辨率圖像塊，該K近鄰高分辨率圖像塊的編號(hào)集為Wf'，得對(duì)應(yīng)的低分辨率圖 像塊的高分辨率局部流行空間'[乂'iwW,和低分辨率局部流行空間，K為經(jīng)驗(yàn) 值，Pi表示高分辨率圖像塊和低分辨率圖像塊的編號(hào)； 投影矩陣構(gòu)建模塊，用來(lái)在訓(xùn)練庫(kù)中找尋各待處理圖像塊皆在歐式空間的K'近鄰低 分辨率圖像塊，各K'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行 空間構(gòu)成磚的局部流行空間，根據(jù)皆的局部流行空間構(gòu)建投影矩陣；K'為經(jīng)驗(yàn)值，與K相 等或不相等； 圖像塊恢復(fù)模塊，用來(lái)采用投影矩陣恢復(fù)對(duì)應(yīng)的待處理圖像塊，獲得待估圖像塊； 圖像塊拼接模塊，用來(lái)拼接待估圖像塊得待估高分辨率人臉圖像。
【專利摘要】本發(fā)明公開了一種基于反向流形約束的魯棒性人臉超分辨率處理方法及系統(tǒng)，包括：S1：構(gòu)建訓(xùn)練庫(kù)；S2：將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為具交疊部分的圖像塊；S3：逐一建立訓(xùn)練庫(kù)中各高分辨率圖像塊的局部流行空間；S4：逐一建立各待處理圖像塊的高分辨率局部流行空間和低分辨率局部流行空間，并構(gòu)建各待處理圖像塊的投影矩陣；S5：采用投影矩陣恢復(fù)對(duì)應(yīng)的待處理圖像塊，獲得待估圖像塊；S6：拼接待估圖像塊得待估高分辨率人臉圖像。本發(fā)明采用高分辨率局部流形空間的距離度量來(lái)決定低分辨率局部流形空間，對(duì)于低質(zhì)量環(huán)境下人臉圖像的恢復(fù)，在主觀質(zhì)量上可以得到明顯的提升，尤其適用于監(jiān)控環(huán)境下?lián)p毀嚴(yán)重的人臉圖像恢復(fù)。
【IPC分類】G06T3/40
【公開號(hào)】CN105405097
【申請(qǐng)?zhí)枴緾N201510719130
【發(fā)明人】胡瑞敏, 陳亮, 韓鎮(zhèn), 陳軍, 江俊君, 魏雪麗, 丁新, 李青, 馬蕓, 楊振國(guó), 關(guān)健
【申請(qǐng)人】武漢大學(xué)
【公開日】2016年3月16日
【申請(qǐng)日】2015年10月29日