基于反向流形約束的魯棒性人臉超分辨率處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理和圖像恢復(fù)技術(shù)領(lǐng)域，具體涉及一種基于反向流形約束的魯 棒性人臉超分辨率處理方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉超分辨率技術(shù)是通過(guò)輔助訓(xùn)練庫(kù)，學(xué)習(xí)高低分辨率對(duì)應(yīng)關(guān)系，進(jìn)而達(dá)到從已 有的低分辨率人臉圖像中估計(jì)出高分辨率人臉圖像的目的。人臉超分辨率現(xiàn)在被廣泛應(yīng)用 于多個(gè)領(lǐng)域，其中最具代表性的領(lǐng)域之一就是監(jiān)控錄像中的人臉圖像增強(qiáng)。隨著監(jiān)控系統(tǒng) 的廣泛普及，監(jiān)控視頻在刑事取證和刑偵調(diào)查過(guò)程中發(fā)揮著越來(lái)越重要的作用。而人臉圖 像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于現(xiàn)有條件 下，目標(biāo)嫌疑人與攝像頭距離相對(duì)較遠(yuǎn)，捕捉到的監(jiān)控人臉可用像素非常少，兼之真實(shí)情況 下由于惡劣天氣（例如：雨霧）、光照（例如：光照過(guò)強(qiáng)、過(guò)暗、明暗不均）、器件等因素對(duì)捕 獲的圖像引發(fā)的嚴(yán)重?fù)p毀（例如：嚴(yán)重的模糊和噪聲），圖像恢復(fù)、放大和辨識(shí)往往受到嚴(yán) 重的干擾。這就需要用到人臉超分辨率技術(shù)提升圖像分辨率，從低分辨率圖像恢復(fù)到高分 辨率圖像。
[0003] 近年來(lái)，流形學(xué)習(xí)逐漸成為了人臉超分辨率的主流方法。這類(lèi)方法的核心思想是： 描述低分辨率圖像的流形空間關(guān)系，尋找出每個(gè)低分辨率圖像數(shù)據(jù)點(diǎn)周?chē)木植啃再|(zhì)，然 后將低分辨率圖像的流形非線(xiàn)性地映射到高分辨率圖像的流形空間中，在高分辨率對(duì)應(yīng)空 間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang[1]等首 次將流形學(xué)習(xí)法引入圖像超分辨率重構(gòu)中，提出了一種鄰域嵌入的圖像超分辨率重構(gòu)法。 SungWonPark[2]提出一種基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法，從局部子流形分析 人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。2005年，Wang[3]提出一種基于 PCA(Principalcomponentanalysis，主成分分析）分解的方法，把低分辨率待處理圖像用 低分辨率空間的主成分的線(xiàn)性組合表示，投影系數(shù)到對(duì)應(yīng)的高分辨率主成分空間獲得最終 結(jié)果。該方法對(duì)噪聲具有較好的魯棒性，但是仍然在結(jié)果圖像的邊緣存在鬼影、混疊的現(xiàn) 象。2014年，Dong[4]提出基于局部特征分解的人臉超分辨率方法，通過(guò)局部空間采用主成 分分析的方法，將全局空間的結(jié)果分解到，間延伸至CCA空間，進(jìn)一步解決了這個(gè)問(wèn)題。同 年，Lan[5]針對(duì)監(jiān)控環(huán)境下嚴(yán)重的模糊和噪聲導(dǎo)致的圖像像素?fù)p毀嚴(yán)重的問(wèn)題，提出在傳統(tǒng) PCA架構(gòu)中添加形狀約束作為相似度度量準(zhǔn)則，利用人眼睛識(shí)別形狀時(shí)對(duì)干擾的魯棒性來(lái) 人工添加形狀特征點(diǎn)作為約束。
[0004] 綜上所述，現(xiàn)有的這些流形方法大多僅按照傳統(tǒng)的技術(shù)思路以低分辨率空間的信 息為基礎(chǔ)，而相比較高分辨率空間而言，低分辨率空間的建立本身已經(jīng)丟失了非常多的信 息，缺乏針對(duì)性的篩選和有效約束。因此恢復(fù)出的圖像包含有較多的信息偏差，當(dāng)待處理圖 像含有較嚴(yán)重的毀壞混疊時(shí)，圖像恢復(fù)效果并不令人滿(mǎn)意。
[0005] 文中涉及如下參考文獻(xiàn)：
[0006] [1]H.Chang,D. -Y.Yeung,andY.Xiong,αSuper-resolutionthroughneighbor embedding,'，inProc.IEEEConf.Comput.Vis.PatternRecog. ,Jul. 2004,pp. 275 - 282.
[0007] [2]SungWonPark,Savvides,M.^BreakingtheLimitationofManifold AnalysisforSuper-ResolutionofFacialImages"，ICASSP,pp:573-576, 2007.
[0008] [3]XiaogangWangandXiaoouTang,"Hallucinatingfacebyeigentrans formation,'，Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEE Transactionson,vol. 35,no. 3,pp. 425 - 434, 2005.
[0009] [4]XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,Liang Chen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocal Eigentransformation,SpringerInternationalPublishing, 2014.
[0010] [5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshape semanticmoderegularization.IEEEInternationalConferenceonImage Processing(ICIP), 2021 - 2024, 26-29Sept. 2010.

【發(fā)明內(nèi)容】

[0011] 針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種基于反向流形約束的魯棒性人臉超 分辨率處理方法及系統(tǒng)，尤其適用于損毀嚴(yán)重的人臉圖像恢復(fù)。
[0012] 為了解決上述技術(shù)問(wèn)題，本發(fā)明采用如下的技術(shù)方案：
[0013] -、一種基于反向流形約束的魯棒性人臉超分辨率處理方法，包括：
[0014]S1構(gòu)建包含高分辨率人臉圖像庫(kù)及其對(duì)應(yīng)的低分辨率人臉圖像庫(kù)的訓(xùn)練庫(kù)；
[0015]S2采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為具交 疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱(chēng)為待處理圖像塊，劃 分訓(xùn)練庫(kù)中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱(chēng)為高分辨率圖像塊 和低分辨率圖像塊；對(duì)高分辨率圖像塊和低分辨率圖像塊分別編號(hào)，并使高分辨率圖像塊 和其對(duì)應(yīng)的低分辨率圖像塊編號(hào)相同；
[0016]S3在訓(xùn)練庫(kù)中找尋各高分辨率圖像塊少f在歐式空間的K近鄰高分辨率圖像塊，該 K近鄰高分辨率圖像塊的編號(hào)集為得對(duì)應(yīng)的低分辨率圖像塊彳的高分辨率局部流 行空間{χΓ?#和低分辨率局部流行空間·(#1胃,，K為經(jīng)驗(yàn)值，Pl表示高分辨率圖像塊 和低分辨率圖像塊的編號(hào)；
[0017]S4在訓(xùn)練庫(kù)中找尋各待處理圖像塊xf在歐式空間的K'近鄰低分辨率圖像塊，各 κ'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構(gòu)成.yf的局部 流行空間，根據(jù)<的局部流行空間構(gòu)建投影矩陣；κ'為經(jīng)驗(yàn)值，與κ相等或不相等；
[0018]S5 :采用投影矩陣恢復(fù)對(duì)應(yīng)的待處理圖像塊，獲得待估圖像塊；
[0019]S6 :拼接待估圖像塊得待估高分辨率人臉圖像。
[0020]S1具體為：
[0021] 將高分辨率人臉圖像庫(kù)中高分辨率人臉圖像位置對(duì)齊，并進(jìn)行降質(zhì)處理，得對(duì)應(yīng) 的低分辨率人臉圖像庫(kù)，高分辨率人臉圖像庫(kù)和低分辨率人臉圖像庫(kù)構(gòu)成訓(xùn)練庫(kù)；
[0022] 同時(shí)，在S2之前，使待處理低分辨率人臉圖像與訓(xùn)練庫(kù)中圖像大小相同，且位置 對(duì)齊。
[0023] 所述的位置對(duì)齊采用仿射變換法將進(jìn)行位置對(duì)齊。
[0024] S5中所獲得待估圖像塊J'f ，其中，彳表示待處理圖像塊，Mp表示彳的投 影矩陣。
[0025] 二、一種基于反向流形約束的魯棒性人臉超分辨率處理系統(tǒng)，包括：
[0026]訓(xùn)練庫(kù)構(gòu)建模塊，用來(lái)構(gòu)建包含高分辨率人臉圖像庫(kù)及其對(duì)應(yīng)的低分辨率人臉圖 像庫(kù)的訓(xùn)練庫(kù)；
[0027]圖像塊劃分模塊，用來(lái)采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù) 中圖像劃分為具交疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱(chēng)為 待處理圖像塊，劃分訓(xùn)練庫(kù)中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱(chēng)為 高分辨率圖像塊和低分辨率圖像塊；對(duì)高分辨率圖像塊和低分辨率圖像塊分別編號(hào)，并使 高分辨率圖像塊和其對(duì)應(yīng)的低分辨率圖像塊編號(hào)相同；
[0028]局部流行空間建立模塊，用來(lái)在訓(xùn)練庫(kù)中找尋各高分辨率圖像塊在歐式空間 的κ近鄰高分辨率圖像塊，該κ近鄰高分辨率圖像塊的編號(hào)集為MMlvf對(duì)應(yīng)的低分辨率 圖像塊彳的高分辨率局部流行空間·[# 和低分辨率局部流行空間:，K為經(jīng) 驗(yàn)值，P1表示高分辨率圖像塊和低分辨率圖像塊的編號(hào)；
[0029] 投影矩陣構(gòu)建模塊，用來(lái)在訓(xùn)練庫(kù)中找尋各待處理圖像塊<在歐式空間的K'近 鄰低分辨率圖像塊，各K'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部 流行空間構(gòu)成4的局部流行空間，根據(jù)<