一種高效且易于并行實現(xiàn)的美顏移動終端的制作方法
【專利摘要】本發(fā)明公開了一種高效且易于并行實現(xiàn)的美顏移動終端，它包括圖像輸入模塊、圖像輸出模塊、存儲器以及分別與所述圖像輸入模塊、圖像輸出模塊、所述發(fā)射模塊、所述接收模塊和所述存儲器連接的GPU，其中，所述存儲器中存儲一組程序代碼，所述GPU用于調(diào)用所述存儲器中存儲的程序代碼，執(zhí)行以下操作：獲取圖像輸入模塊輸入的一副RGB彩色圖像；通過GPU硬件加速逐像素獨立執(zhí)行圖像的整體美化、圖像的增強處理和生成圖像的皮膚區(qū)域的遮罩處理；根據(jù)得到的皮膚區(qū)域的遮罩分別對整體美白后的圖像及整體去噪后的圖像進行逐像素融合；通過圖像輸出模塊輸出。本發(fā)明借助GPU的硬件加速特性，對系統(tǒng)的多個子模塊進行處理，可以解決使用CPU時的效率低下問題。
【專利說明】
一種高效且易于并行實現(xiàn)的美顏移動終端
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種高效且易于并行實現(xiàn)的美顏移動終端。
【背景技術(shù)】
[0002] 美顏方法通常由多個基礎(chǔ)步驟組成，包括圖像中外部光照及人體皮膚等噪聲的去 除、人體皮膚檢測、人臉檢測、祛斑、皮膚美白、圖像融合等。
[0003] 圖像去噪作為最基本也是最重要的一環(huán)，對后續(xù)的算法處理具有至關(guān)重要的作 用，目前去噪的算法較多，通常包括高斯平滑、雙線性濾波平滑、平均濾波平滑、基于塊匹配 的三維去噪等算法，其中各算法的性能和效果均有不同程度的差異，以及各自具有不同程 度的局限性，這對于應(yīng)用場景的算法選擇上有較大的影響。例如，平均濾波平滑效率很高， 但往往會過濾掉圖像的更多細(xì)節(jié)如頭發(fā)、睫毛、眉毛等人臉具有明顯特征的區(qū)域;高斯平滑 在濾波半徑較小時效率較高但濾波半徑較大時效率很低;雙線性濾波平滑能很好的保留圖 像邊緣細(xì)節(jié)但會產(chǎn)生混色現(xiàn)象;基于塊匹配的三維去噪算法能很好的處理高斯白噪聲但效 率特別低下。因此，選擇一種能在效率和效果上平衡的算法，對整體算法的結(jié)果是一種挑 戰(zhàn)，同時又需要很好的適用于相應(yīng)的應(yīng)用場景。
[0004] 皮膚檢測與人臉檢測，主要需要處理的是皮膚及人臉區(qū)域，保證在皮膚與非皮膚 區(qū)域的接縫處無明顯人工痕跡，這是由應(yīng)用場景所決定的。當(dāng)用于高分辨率圖像時人臉檢 測算法的性能較低，這往往是由于需要進行金字塔逐層檢測人臉區(qū)域，同時并不適用于其 它皮膚區(qū)域如手臂、肩膀、脖頸等，因此選擇一種適合的皮膚及人臉區(qū)域的檢測算法，同時 具備較高的性能，尤為重要。
[0005] 祛斑祛痘主要指皮膚區(qū)域的局部區(qū)域處理，通常的做法是人工手選區(qū)域進行祛 除，不適用于圖像的自動處理。
[0006] 皮膚美白與圖像增強可以有多種處理方式，包括指數(shù)映射、對數(shù)映射、冪函數(shù)映 射、線性加深、自動色階等，其目的為將圖像中較暗的區(qū)域進行增強處理，增強細(xì)節(jié)呈現(xiàn)效 果，同時更好的保留較亮區(qū)域的細(xì)節(jié)變化，防止出現(xiàn)泛白現(xiàn)象。
[0007] 整體而言，由于美顏方法通常需要若干個子方法的相互銜接才能完成，因此各子 方法的微弱變化也會對最后的效果產(chǎn)生較大的影響，選擇合適的子方法并有效的組合在一 起，同時滿足效率較高且效果即時呈現(xiàn)，使其具有更好的應(yīng)用前景，這是本發(fā)明將要解決的 問題。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種高效且易于并行實現(xiàn)的美顏移 動終端，借助GHJ的硬件加速特性，可以解決使用CPU時的效率低下問題，同時系統(tǒng)提出并使 用的各個子模塊都能很好的應(yīng)用于GHJ加速處理，在保證效率實時的同時，可以得到即時的 效果呈現(xiàn)。
[0009] 本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：一種高效且易于并行實現(xiàn)的美顏移 動終端，它包括圖像輸入模塊、圖像輸出模塊、存儲器、發(fā)射模塊、接收模塊以及分別與所述 圖像輸入模塊、圖像輸出模塊、發(fā)射模塊、接收模塊和存儲器連接的GPU，其中，所述存儲器 中存儲一組程序代碼，所述GPU用于調(diào)用所述存儲器中存儲的程序代碼，執(zhí)行以下操作： [0010]獲取圖像輸入模塊輸入的一副RGB彩色圖像；
[0011] 通過GPU硬件加速逐像素獨立執(zhí)行圖像的整體美化、圖像的增強處理和生成圖像 的皮膚區(qū)域的遮罩處理；
[0012] 在圖像整體美化、圖像增強處理、皮膚區(qū)域遮罩處理均完成處理后，根據(jù)得到的皮 膚區(qū)域的遮罩分別對整體美白后的圖像及整體去噪后的圖像進行逐像素融合；
[0013]通過圖像輸出模塊輸出；
[0014]其中，所述的圖像的整體美化包括：
[0015]將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間，同時保留UV通道；
[0016] 設(shè)置采樣窗口大小，判斷采樣窗口的大小是否大于預(yù)設(shè)的閾值:如果是則使用積 分圖，否則使用盒子濾波;所述的使用積分圖包括:生成亮度圖像的積分圖，包括一次項與 二次項的積分圖，對于圖像中的所有像素逐個處理，在以每個像素為中心的窗口中，分別計 算此窗口中所有像素的均值和方差;所述的盒子濾波單元對圖像進行盒子濾波；
[0017] 在得到基于此像素為中心的窗口的均值和方差后，根據(jù)得到的均值和方差進行平 滑濾波，實現(xiàn)去噪；
[0018] 對圖像進行銳化處理，對圖像的紋理細(xì)節(jié)進行補償提升；
[0019] 將銳化后的圖像與去噪前RGB轉(zhuǎn)換得到的UV通道合并成YUV圖像；
[0020]將得到的YUV圖像轉(zhuǎn)換回RGB顏色空間；
[0021]所述的圖像增強處理采用非線性圖像增強，對圖像進行整體美白處理，通過提升 圖像的暗部細(xì)節(jié)的同時保持亮度細(xì)節(jié)的方式實現(xiàn)，首先將圖像歸一化至[0，1]的范圍內(nèi)，然 后采用指數(shù)函數(shù)映射的方法進行處理；
[0022] 所述的生成圖像的皮膚區(qū)域的遮罩處理使用閾值處理，檢測時當(dāng)圖像的像素值大 于統(tǒng)計值時則劃分為皮膚區(qū)域，否則為非皮膚區(qū)域，得到一個皮膚區(qū)域的初步檢測;所述的 遮罩處理單元用于在得到皮膚區(qū)域的遮罩后，采用指定窗口大小的高斯模糊對遮罩作進一 步的細(xì)化處理;所述的統(tǒng)計值為對多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一 組值。
[0023] 所述的將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間的轉(zhuǎn)換公式如下：
[0024]
[0025] 所述的將得到的YUV圖像轉(zhuǎn)換回RGB顏色空間的轉(zhuǎn)換公式如下：
[0026]
[0027]所述的對多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值中的多張 為1000張。
[0028]本發(fā)明的有益效果是：
[0029] (1)本發(fā)明提出一種易于理解且性能優(yōu)異的圖像去噪算法處理框架，利用基于圖 像積分圖的快速圖像去噪方案，保證計算速度與采樣窗口的大小無關(guān)，同時很好的去除圖 像噪聲如斑點的同時保持細(xì)節(jié)。
[0030] (2)本發(fā)明提出一種更高效的皮膚區(qū)域檢測處理框架，使用首先進行粗步檢測再 進行細(xì)化的多步驟快速處理方法，可以很好在皮膚與非皮膚區(qū)域的接縫處實行無縫合成。
[0031] (3)本發(fā)明使用非線性圖像增強方法，對圖像進行整體增強。
[0032] (4)本發(fā)明借助GPU的硬件加速特性，對本系統(tǒng)的多個步驟同時進行處理，可以解 決使用CPU時的效率低下問題，同時本系統(tǒng)提出并使用的多個步驟都能很好的應(yīng)用于GPU加 速處理，在保證效率實時的同時，可以得到即時的效果呈現(xiàn)，應(yīng)用于單幅圖像的特效處理。
【附圖說明】
[0033]圖1為本發(fā)明結(jié)構(gòu)方框圖；
[0034]圖2為GPU執(zhí)行代碼流程圖。
【具體實施方式】
[0035]下面結(jié)合附圖進一步詳細(xì)描述本發(fā)明的技術(shù)方案：
[0036]如圖1所示，一種高效且易于并行實現(xiàn)的美顏移動終端，它包括圖像輸入模塊、圖 像輸出模塊、存儲器、發(fā)射模塊、接收模塊以及分別與所述圖像輸入模塊、圖像輸出模塊、發(fā) 射模塊、接收模塊和存儲器連接的GPU，其中，所述存儲器中存儲一組程序代碼，所述GPU用 于調(diào)用所述存儲器中存儲的程序代碼，執(zhí)行以下操作：
[0037]獲取圖像輸入模塊輸入的一副RGB彩色圖像；
[0038]通過GPU硬件加速逐像素獨立執(zhí)行圖像的整體美化、圖像的增強處理和生成圖像 的皮膚區(qū)域的遮罩處理；
[0039]在圖像整體美化、圖像增強處理、皮膚區(qū)域遮罩處理均完成處理后，根據(jù)得到的皮 膚區(qū)域的遮罩分別對整體美白后的圖像及整體去噪后的圖像進行逐像素融合;整合公式 為：
[0040] Finali,j = Bi,j*(l_ai.j)+Fi,j*ai.j
[0041] 式中，B表示整體去噪后的圖像，F(xiàn)表示整體美白后的圖像，a表示得到的皮膚區(qū)域 的遮罩，F(xiàn)inal表示圖像融合結(jié)果。
[0042]通過圖像輸出模塊輸出。
[0043]其中，所述的圖像的整體美化包括對人體皮膚區(qū)域平滑處理，如人臉及其它皮膚 區(qū)域的斑點、痣等其它影響美觀的區(qū)域擦除，以及整體光照引進的環(huán)境噪聲如曝光不足等， 其它后期處理時引進的其它噪聲如椒鹽噪聲等，包括圖片或者視頻傳輸過程中的信號丟 失、編解碼有損處理、方塊效應(yīng)等，包括：
[0044]將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間，這主要是為了操作于亮度圖像以 提高效率，同時保留UV通道;其中，所述的將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間的 轉(zhuǎn)換公式如下：
[0045]
[0046] 由于生成積分圖的過程上存在前后上下鄰域像素的計算相關(guān)性，這會涉及一次上 下行的開銷時間。在我們的方案中，會設(shè)定一個閾值，如果采樣窗口的大小超過此閾值，則 使用積分圖，否則使用盒子濾波。
[0047] 設(shè)置采樣窗口大小，判斷采樣窗口的大小是否大于預(yù)設(shè)的閾值:如果是則使用積 分圖，否則使用盒子濾波;所述的使用積分圖包括:生成亮度圖像的積分圖，包括一次項與 二次項的積分圖，其中迭代公式分別如下
[0048] sunu, j = sunu, j-i+sumi-i, j-sumi-i, j-i+f i, j ；
[0049]
[0050] 式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的兩幅積分 圖像;可用于下一步圖像去噪的基于窗口的快速濾波，即使在采樣窗口較大時也不會影響 計算效率；
[0051] 之后再對圖像中的所有像素逐個處理，在以每個像素為中心的窗口中，分別計算 此窗口中所有像素的均值和方差；
[0052]
[0053]
[0054] VAR = Esq-E2
[0055] 式中，E表示均值，VAR表示方差；i，j分別表示相對于圖像左上角的垂直和水平方 向的坐標(biāo)，N表示窗口半徑。
[0056] 所述的盒子濾波單元對圖像進行盒子濾波；所述的使用盒子濾波的計算公式如 下：
[0057]
[0058]
[0059] VAR = Esq-E2
[0060] 式中，E表示均值，VAR表示方差;m，n分別表示垂直和水平方向與當(dāng)前像素位置的 相對距離。
[0061] 對亮度圖像進行去噪處理，由于人的眼睛對亮度信號比色度信號更敏感，因此在 亮度信號的噪聲會比色度信號噪聲更加敏感，在去除亮度信號噪聲之后，人的眼睛會感覺 到明顯的變化，同時在提高計算效率的基礎(chǔ)上不會影響整體質(zhì)量。
[0062] 在得到基于此像素為中心的窗口的均值和方差后，根據(jù)得到的均值和方差進行平 滑濾波，實現(xiàn)去噪;其原理上圖像越平滑，則得到的方差值越接近于〇，從而該像素值則越接 近均值E。所述的平滑濾波的校正方式為：
[0063]
[0064] fi, j = E*( l-k)+fi, j*k
[0065] 式中，β表示調(diào)節(jié)的參數(shù)值，其值越大，表示平滑的程度越大，則去除的噪聲越大； e是一個接近于0的小數(shù)，其目的是為了防止被除數(shù)為0時的異常;從對像素值進行校正的 公式中可以得出，當(dāng)調(diào)節(jié)的參數(shù)值越大時，該像素值越接近E。
[0066]對圖像進行銳化處理，對圖像的紋理細(xì)節(jié)進行補償提升;處理公式為：
[0067]
[0068] 式中，S表示銳化后的圖像，α表示銳化的程度，即4-鄰域拉普拉斯梯度對像素值的 貢獻百分比，α值越大，銳化程度越大；
[0069]將銳化后的圖像與去噪前RGB轉(zhuǎn)換得到的UV通道合并成YUV圖像；
[0070]將得到的YUV圖像轉(zhuǎn)換回RGB顏色空間，所述的將得到的YUV圖像轉(zhuǎn)換回RGB顏色空 間的轉(zhuǎn)換公式如下：
[0071]
[0072]所述的圖像增強處理采用非線性圖像增強，對圖像進行整體美白處理，通過提升 圖像的暗部細(xì)節(jié)的同時保持亮度細(xì)節(jié)的方式實現(xiàn)，首先將圖像歸一化至[0，1]的范圍內(nèi)，然 后采用指數(shù)函數(shù)映射的方法進行處理：
[0073]
[0074]式中，p表示美白的程度；
[0075] 皮膚區(qū)域與非皮膚區(qū)域相比，通常具有較易區(qū)分的顏色，尤其是與較暗的黑色區(qū) 域相比，對于美顏的應(yīng)用場景，主要需要區(qū)分的是人的皮膚與人的頭發(fā)、眉毛、睫毛、眼睛的 分區(qū)域處理。所述的生成圖像的皮膚區(qū)域的遮罩處理使用閾值處理，首先劃分出皮膚與非 皮膚的粗選區(qū)域，通常人的皮膚區(qū)域的RGB統(tǒng)計值為[a，b，c]，其中a、b、c為對1000張圖像的 皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值，檢測時當(dāng)圖像的像素值大于統(tǒng)計值時則 劃分為皮膚區(qū)域，否則為非皮膚區(qū)域，得到一個皮膚區(qū)域的初步檢測；
[0076] 所述的遮罩處理單元用于在得到皮膚區(qū)域的遮罩后，采用指定窗口大小的高斯模 糊對遮罩作進一步的細(xì)化處理;得到皮膚區(qū)域的遮罩后，對遮罩作進一步的細(xì)化處理，而不 能直接參與圖像融合，否則在圖像的皮膚區(qū)域與非皮膚區(qū)域的接縫處會有明顯的人工痕 跡。具體地，采用指定窗口大小的高斯模糊進行遮罩處理，高斯函數(shù)的二維公式如下：
[0077]
[0078] 式中，x，y分別表示垂直和水平方向與當(dāng)前操作像素的相對距離，σ表示標(biāo)準(zhǔn)差。 [0079]在整個方案中，由于涉及的處理步驟較多，但是每個步驟都可以逐像素獨立執(zhí)行， 因此在CHJ不能實時的情況下，使用基于GHJ的硬件加速，可以實時處理，其中移動端使用 OpenGL ES加速。
【主權(quán)項】
1. 一種高效且易于并行實現(xiàn)的美顏移動終端，其特征在于:它包括圖像輸入模塊、圖像 輸出模塊、存儲器、發(fā)射模塊、接收模塊W及分別與所述圖像輸入模塊、圖像輸出模塊、發(fā)射 模塊、接收模塊和存儲器連接的GPU，其中，所述存儲器中存儲一組程序代碼，所述GPU用于 調(diào)用所述存儲器中存儲的程序代碼，執(zhí)行W下操作： 獲取圖像輸入模塊輸入的一副RGB彩色圖像； 通過GPU硬件加速逐像素獨立執(zhí)行圖像的整體美化、圖像的增強處理和生成圖像的皮 膚區(qū)域的遮罩處理； 在圖像整體美化、圖像增強處理、皮膚區(qū)域遮罩處理均完成處理后，根據(jù)得到的皮膚區(qū) 域的遮罩分別對整體美白后的圖像及整體去噪后的圖像進行逐像素融合； 通過圖像輸出模塊輸出； 其中，所述的圖像的整體美化包括： 將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間，同時保留UV通道； 設(shè)置采樣窗口大小，判斷采樣窗口的大小是否大于預(yù)設(shè)的闊值:如果是則使用積分圖， 否則使用盒子濾波;所述的使用積分圖包括:生成亮度圖像的積分圖，包括一次項與二次項 的積分圖，對于圖像中的所有像素逐個處理，在W每個像素為中屯、的窗口中，分別計算此窗 口中所有像素的均值和方差;所述的盒子濾波單元對圖像進行盒子濾波； 在得到基于此像素為中屯、的窗口的均值和方差后，根據(jù)得到的均值和方差進行平滑濾 波，實現(xiàn)去噪； 對圖像進行銳化處理，對圖像的紋理細(xì)節(jié)進行補償提升； 將銳化后的圖像與去噪前RGB轉(zhuǎn)換得到的UV通道合并成YUV圖像； 將得到的YUV圖像轉(zhuǎn)換回RGB顏色空間； 所述的圖像增強處理采用非線性圖像增強，對圖像進行整體美白處理，通過提升圖像 的暗部細(xì)節(jié)的同時保持亮度細(xì)節(jié)的方式實現(xiàn)，首先將圖像歸一化至[〇，1]的范圍內(nèi)，然后采 用指數(shù)函數(shù)映射的方法進行處理； 所述的生成圖像的皮膚區(qū)域的遮罩處理使用闊值處理，檢測時當(dāng)圖像的像素值大于統(tǒng) 計值時則劃分為皮膚區(qū)域，否則為非皮膚區(qū)域，得到一個皮膚區(qū)域的初步檢測;所述的遮罩 處理單元用于在得到皮膚區(qū)域的遮罩后，采用指定窗口大小的高斯模糊對遮罩作進一步的 細(xì)化處理;所述的統(tǒng)計值為對多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組 值。2. 根據(jù)權(quán)利要求1所述的一種高效且易于并行實現(xiàn)的美顏移動終端，其特征在于:所述 的將輸入圖像的RGB顏色空間轉(zhuǎn)化到Y(jié)UV顏色空間的轉(zhuǎn)換公式如下：所述的將得到的YUV圖像轉(zhuǎn)換回RGB顏色空間的轉(zhuǎn)換公式如下：3.根據(jù)權(quán)利要求1所述的一種高效且易于并行實現(xiàn)的美顏移動終端，其特征在于:所述 的對多張圖像的皮膚與非皮膚區(qū)域進行統(tǒng)計分類而得到的一組值中的多張為1000張。
【文檔編號】G06T3/00GK105976309SQ201610286489
【公開日】2016年9月28日
【申請日】2016年5月3日
【發(fā)明人】賴守波, 韓志宏, 余剛
【申請人】成都索貝數(shù)碼科技股份有限公司