前景圖像提取方法
【專利摘要】本發(fā)明公開了一種前景圖像提取方法，包括圖像景深分類及色彩信息切割，圖像景深分類采用Kinect設(shè)備找出前景圖像的景深區(qū)域、背景圖像的景深區(qū)域以及未偵測到景深的判斷區(qū)域，所述色彩信息切割的方法包括：S1.將圖像由RGB顏色空間轉(zhuǎn)為L*a*b*顏色空間；S2.對圖像進行sobel邊緣檢測；S3.對S2取得的邊緣梯度值進行分水嶺切割；S4.將L*、a*、b*色彩信息分別對應(yīng)到分水嶺切割后的區(qū)塊中進行平均值與標(biāo)準(zhǔn)差的計算；S5.將前景圖像區(qū)域的特征值與判斷區(qū)域的特征值做比較，相似的區(qū)域加入前景圖像區(qū)域中，不相近似的加入背景圖像中。本發(fā)明采用結(jié)合圖像的色彩特征對Kinect分類區(qū)域進行補充修正，改善了Kinect提取前景圖像的準(zhǔn)確率，同時縮短了提取的運算時間，提高計算效率。
【專利說明】前景圖像提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像獲取及處理領(lǐng)域，尤其涉及一種對獲取的圖像進行前景提取的方法。
【背景技術(shù)】
[0002]在近年來流行的智慧型裝置中，非常強調(diào)人機互動，讓人與機器之間能以簡單、正確、迅速的方式進行溝通，為讓人機互動形式更豐富、細(xì)膩，可以增加人臉識別、手勢識別及體感識別等功能，其中，體感識別目前經(jīng)常應(yīng)用與商業(yè)及娛樂中，是ー種較為熱門的技木。這項技術(shù)的關(guān)鍵在于圖像處理，在圖像處理的【技術(shù)領(lǐng)域】中，對于任意場景環(huán)境中有效的對前景圖像進行切割是個復(fù)雜的問題，盡管有許多學(xué)者提出各種方式來解決，如針對低景深圖像進行顯著物件的切割、圖像顏色特征使用粒子群演算法來分類物體群、透過光度立體技術(shù)來達(dá)到基于形狀的圖像切割以及利用三角測量的方式找出圖像中人的肢體進行切割等方式，這些方式都需要圖像特征符合指定的條件才能進行，因此具有很大的挑戰(zhàn)性。
[0003]在一個場景的圖像中大致可以分為前景和背景，而顯著物體大多會位于前景之中，而當(dāng)ー個場景圖像結(jié)合了 3D的深度信息，借由物體所對應(yīng)的深度位置，就可以快速的分類出前景和背景的物體區(qū)域，也能在任意的場景環(huán)境中進行動態(tài)人像的切割。Microsoft推出的Kinect體感設(shè)備可以取得圖像的色彩信息、景深信息、提供人像辨識和人體骨架等豐富的信息。其是使用紅外線投影的方式計算圖像景深，由于紅外線在整個投影的過程中可能被光滑物體所折射或者被較黑的物體所吸收，會造成無法接收到信息的問題，讓深度的信息流失，最后造成前景圖像切割在邊緣產(chǎn)生不規(guī)則的鋸齒狀或破洞的結(jié)果。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題在于，提供ー種前景圖像提取方法，包括圖像景深分類及色彩信息切割，其中圖像景深分類采用Kinect設(shè)備追蹤校準(zhǔn)找出前景圖像的景深區(qū)域、背景圖像的景深區(qū)域以及未偵測到景深的判斷區(qū)域，為了讓不確定的區(qū)域能產(chǎn)生在前景圖像的周圍，在對圖像景深分類時對前景圖像的區(qū)域進行擴張。
[0005]所述色彩信息切割的方法包括:
[0006]SI將圖像由RGB顏色空間轉(zhuǎn)為L*a*b*顏色空間，在色彩信息切割的時候，由于L*a*b*的設(shè)計較為接近人類的視覺，因此選擇這種色彩空間進行處理。
[0007]S2對對圖像L*值進行sobel邊緣檢測。
[0008]進ー步地，步驟S2進行邊緣檢測之前針對L*進行平滑濾波去除雜訊。
[0009]S3對S2取得的邊緣梯度值進行分水嶺切割。
[0010]分水嶺算法的分割概念是假設(shè)圖像中像素點的值代表高度，而當(dāng)ー個局部區(qū)域中找到最低點，該點所影響到的范圍就成為蓄水盆，在多個蓄水盆之間的所交接的邊界就稱為分水嶺。
[0011]進ー步地，由于Sobel的梯度圖中有些微弱的梯度值用來表示人眼難以察覺的邊緣特征，這些值會影響分水嶺算法的判斷，從而造成圖像的過度切割，因此在進行分水嶺切割前還對S2檢測到的邊緣梯度值進行削弱，讓ー些區(qū)塊能夠合并起來，排除過度切割的問題。
[0012]在本發(fā)明中，特征值是指在一個區(qū)塊內(nèi)特征數(shù)值化所代表的值，我們使用區(qū)塊的平均值表示該區(qū)塊整體的數(shù)值傾向，使用區(qū)塊的標(biāo)準(zhǔn)差表示區(qū)塊中數(shù)值的浮動程度，在步驟S4中，將L*、a*、b*色彩信息分別對應(yīng)到分水嶺切割后的區(qū)塊中進行平均值與標(biāo)準(zhǔn)差的計算。
[0013]S5將前景圖像區(qū)域的特征值與判斷區(qū)域的特征值做比較，相似的區(qū)域加入前景圖像區(qū)域中，不相近似的加入背景圖像中。
[0014]進ー步地，步驟S5中對與所述判斷區(qū)域距離為D以內(nèi)的前景區(qū)域進行特征值進行比較。
[0015]需要說明的是，在前景圖像為人像的圖像中，所述距離D為人像頭部骨架點到頸部骨架點之間的半顆頭骨架的距離。
[0016]進ー步地，在距離所述判斷區(qū)域為D以內(nèi)的前景區(qū)域選取3個區(qū)塊進行特征值比較。
[0017]實施本發(fā)明，具有如下有益效果:
[0018]本發(fā)明采用結(jié)合圖像的色彩特征對Kinect分類區(qū)域進行補充修正，改善了Kinect提取前景圖像的準(zhǔn)確率，同時縮短了提取的運算時間，提高計算效率。
【專利附圖】

【附圖說明】
[0019]圖1是本發(fā)明流程示意圖；
[0020]圖2是采用Kinect設(shè)備對圖像進行圖像景深分類示意圖；
[0021]圖3是本發(fā)明判斷區(qū)域產(chǎn)生過程的示意圖；
[0022]圖4是本發(fā)明分水嶺切割的示意圖；
[0023]圖5是Sobel邊緣檢測示意圖；
[0024]圖6是分水嶺過度切割的示意圖；
[0025]圖7是本發(fā)明分水嶺切割的示意圖；
[0026]圖8是本發(fā)明尋找比較區(qū)塊的示意圖；
[0027]圖9是本發(fā)明實驗數(shù)據(jù)與結(jié)果示意圖。
【具體實施方式】
[0028]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進ー步地詳細(xì)描述。
[0029]如圖1所示，本發(fā)明的識別方法的步驟包括
[0030]采用Kinect設(shè)備追蹤校準(zhǔn)找出前景圖像的景深區(qū)域、背景圖像的景深區(qū)域以及未偵測到景深的判斷區(qū)域；
[0031]采用色彩信息切割的方法在判斷區(qū)域中進行切割區(qū)塊的篩選；
[0032]去除為連接的區(qū)塊從而形成新的前景圖像。
[0033]色彩信息切割方法包括以下步驟:[0034]SI將圖像由RGB顏色空間轉(zhuǎn)為L*a*b*顏色空間；
[0035]S2對圖像進行sobel邊緣檢測；
[0036]S3對S2取得的邊緣梯度值進行分水嶺切割；
[0037]S4將L*、a*、b*色彩信息分別對應(yīng)到分水嶺切割后的區(qū)塊中進行平均值與標(biāo)準(zhǔn)差的計算；
[0038]S5將前景圖像區(qū)域的特征值與判斷區(qū)域的特征值做比較，相似的區(qū)域加入前景圖像區(qū)域中，不相近似的加入背景圖像中。
[0039]采用Kinect找出的圖像景深分類參照圖2所示，其中圖2(a)為實驗采用的圖像， 圖2 (b)為圖像的色彩信息，圖2 (c)為圖像的景深分類，圖2 (d)為通過對圖像的景深分類后提取的前景圖像。
[0040]Kinect進行追蹤校準(zhǔn)時對圖像景深的分類如圖2 (c)所示，其中區(qū)域I為背景圖像的景深區(qū)域，II為前景圖像的景深區(qū)域，圖2 (c)中空白的區(qū)域III為判斷區(qū)域。
[0041]本發(fā)明實施例的目的在于找出判斷區(qū)域III中所流失的前景圖像區(qū)域。
[0042]圖3是本發(fā)明判斷區(qū)域產(chǎn)生過程的示意圖，在實際操作中發(fā)現(xiàn)，由現(xiàn)有的Kinect 設(shè)備實現(xiàn)的圖像景深分類，不但有未檢測到的前景圖像區(qū)域的流失，還有一部分背景圖像的區(qū)域被誤歸到前景圖像的區(qū)域中。
[0043]圖中圖3 (a)和圖3 (b)分別是經(jīng)過分類后所產(chǎn)生的前景圖像區(qū)域和背景圖像區(qū)域，圖3 (C)為圖3 (a)侵蝕之后的結(jié)果，除去了部分背景圖像被歸類為前景的問題，圖3 (d)是圖3 (b)擴張后的結(jié)果，為一個包含完整人像的區(qū)域，圖3 (e)為人像的范圍去掉背景圖像區(qū)域所產(chǎn)生的可能區(qū)域，圖3 (f)則為圖3 (b)侵蝕后的結(jié)果，去掉前景圖像中所摻雜到背景圖像的問題，圖3 (g)是圖3 (e)可能區(qū)域去掉確定的人像區(qū)域后產(chǎn)生的判斷區(qū)域，是本發(fā)明用來判斷前景圖像區(qū)域和背景圖像區(qū)域的重要區(qū)域，圖3 (h)為判斷區(qū)域?qū)?yīng)到色彩信息的結(jié)果，從圖中可以看出，判斷區(qū)域能同時包含前景圖像和背景圖像。
[0044]在本實施例中，要生成判斷區(qū)域，首先以[5X5]的圓侵蝕背景圖像區(qū)域和前景圖像區(qū)域，用來消除被錯誤分類到背景圖像區(qū)域的前景圖像，接著為了讓判斷區(qū)域能產(chǎn)生在前景圖像區(qū)域附近，因此對前景圖像區(qū)域進行[odd (D) Xodd (D)]的圓進行擴張。
[0045]其中odd表示讓數(shù)值無條件進位為奇數(shù)，D則表示在平面圖像上人體頭部的骨架點到頸部骨架點之間的歐幾里得距離，這個參數(shù)可以直接從設(shè)備上獲得，用骨架是因為在前景區(qū)域人像所失去的信息中以頭部最為嚴(yán)重，有時候會嚴(yán)重到失去半個頭，所以D用來作為擴張范圍，讓擴張的結(jié)果能保住整個人像，針對人像的可能區(qū)域轉(zhuǎn)換公式如(I)所示:
[0046]Hupossible ⑴=max (Fgexpansion ⑴-Bgerositm ⑴，0)(I)
[0047]其中i為當(dāng)前的像素點，max ()為取最大值，而取出的最小值為0，F(xiàn)gexpans^代表擴張后的前景圖像區(qū)域，表侵蝕后的背景圖像區(qū)域，HiTssible代表人像的可能區(qū)域。為了進一步縮小可能區(qū)域的范圍，需要減去信息沒有分類錯誤的前景圖像區(qū)域來形成判斷區(qū)域，轉(zhuǎn)換公式如(2)所示:
[0048]Judgearea ⑴=max (Hupossible ⑴-Huidentified ⑴，0)(2)
[0049]Huidentified代表侵蝕后的前景圖像區(qū)域，這個區(qū)域也代表在本實施例中不會變動的已確定的人像區(qū)域，Judgearea代表判斷區(qū)域，作為用來選取加入人像區(qū)域的重要區(qū)域。
[0050]如圖4所示是本發(fā)明分水嶺切割的示意圖，分水嶺算法的分割概念是假設(shè)圖像中像素點的值代表高度，而當(dāng)一個局部區(qū)域中找到最低點，該點所影響到的范圍就成為蓄水盆，在多個蓄水盆之間的所交接的邊界就稱為分水嶺。
[0051]如圖所示，假設(shè)圖4 (a)為Gradient梯度圖的梯度值，在圖4 (b)中梯度剪頭的指向?qū)⒂上袼攸c周圍8個方位的梯度值所決定，箭頭指向較小的值也就是較低的點，而當(dāng)周圍的梯度值都大于目前像素點的梯度值時，就產(chǎn)生了這個區(qū)域的最低點，最后在影響范圍內(nèi)劃分出區(qū)塊，進而形成分水嶺的切割。
[0052]優(yōu)選地，由于Sobel的梯度圖中有些微弱的梯度值用來表示人眼難以察覺的邊緣特征，這些值會影響分水嶺算法的判斷，從而造成圖像的過度切割，因此在進行分水嶺切割前還對S2檢測到的邊緣梯度值進行削弱，讓一些區(qū)塊能夠合并起來，排除過度切割的問題。對微弱梯度值削弱的公式如(3) (4) (5)所示:
[0053]e=(max(Gradient)-min(Gradient))X t+min(Gradient)(3)
[0054]NewGradient(i)=max(Gradient(i)-e, 0)(4)
[0055]S=watershed(NewGradient)(5)[0056]在公式(3)中max ()表示為取最大值,min ()為取最小值,t表示在最大梯度值和最小的梯度值之間要削弱的程度范圍，而e代表閾值，i為目前的像素位置，在公式(4)里， Gradient為sobel所產(chǎn)生的梯度圖,NewGradient表示為被削弱過后的梯度圖，過程中表示當(dāng)像素中梯度值小于e時，則新的梯度值設(shè)為0，watershed ()為進行分水嶺的切割，最后公式(5)的D代表NewGradient經(jīng)由分水嶺切割后的切割圖。以上過程的結(jié)果如圖5~圖 7所示，圖5為經(jīng)過Sobel邊緣檢測后所產(chǎn)生的梯度圖，圖6為分水嶺切割后，由于微小梯度的干擾太多造成的過度切割，圖7是經(jīng)過本發(fā)明方法將梯度圖削弱后經(jīng)過分水嶺切割后的呈現(xiàn)的物體的區(qū)塊示意圖。
[0057]在本發(fā)明中，特征值是指在一個區(qū)塊內(nèi)特征數(shù)值化所代表的值，我們使用區(qū)塊的平均值表示該區(qū)塊整體的數(shù)值傾向，使用區(qū)塊的標(biāo)準(zhǔn)差表示區(qū)塊中數(shù)值的浮動程度，在計算的過程4中，將L*、a*、b*色彩信息分別對應(yīng)到分水嶺切割后的區(qū)塊中進行平均值與標(biāo)準(zhǔn)差的計算。以j代表目前在S的區(qū)塊位置，Sj代表分水嶺切割后的區(qū)塊，而L(Sj)、a(Sp、 b(Sj)代表區(qū)塊S」所對應(yīng)色彩信息的平均值特征，L。(Sj)^ao (Sj) ,b o (Sj)即為區(qū)塊Sj所對應(yīng)色彩信息的標(biāo)準(zhǔn)差特征。
[0058]圖8是本發(fā)明尋找比較區(qū)塊的示意圖，其中IV為已確定前景圖像區(qū)域，V為前景圖像邊緣區(qū)域，VI為判斷區(qū)域，vn為以確定的背景圖像區(qū)域。本發(fā)明方法是利用在前景圖像邊界區(qū)塊中特征值與判斷區(qū)域里區(qū)塊的特征值做比較。首先需找到在人像邊緣的區(qū)域后， 對映到s的邊緣區(qū)塊珊，稱之為前景邊界區(qū)塊，對映到s的判斷區(qū)域，則稱之為判斷區(qū)塊，其公式表達(dá)如(6) (7) (8)所示:
-1 *1 -1 I
[0059]FB= -1 8 -1:1 -1 4 J
[0060]Hub0Undry=filter (Huidentifiedj FB) (6)
[0061 ] HB =S；, if(Hu)( 7 )
mJ v 1J y
[0062] Judger:廣"=Sj, if(Judge廠e )( 8 )[0063]FB代表邊緣檢測的遮罩，在公式(6)中
【權(quán)利要求】
1.一種前景圖像提取方法，包括圖像景深分類及色彩信息切割，其中圖像景深分類采 用Kinect設(shè)備追蹤校準(zhǔn)找出前景圖像的景深區(qū)域、背景圖像的景深區(qū)域以及未偵測到景 深的判斷區(qū)域，其特征在于，所述色彩信息切割的方法包括:SI將圖像由RGB顏色空間轉(zhuǎn)為L*a*b*顏色空間；S2對圖像進行sobel邊緣檢測；S3對S2取得的邊緣梯度值進行分水嶺切割；S4將L*、a*、b*色彩信息分別對應(yīng)到分水嶺切割后的區(qū)塊中進行平均值與標(biāo)準(zhǔn)差的計算；S5將前景圖像區(qū)域的特征值與判斷區(qū)域的特征值做比較，相似的區(qū)域加入前景圖像區(qū) 域中，不相近似的加入背景圖像中。
2.根據(jù)權(quán)利要求1所述的前景圖像提取方法，其特征在于，在對圖像景深分類時對前 景圖像的區(qū)域進行擴張。
3.根據(jù)權(quán)利要求1所述的前景圖像提取方法，其特征在于，步驟S2中對L*值進行邊緣 檢測。
4.根據(jù)權(quán)利要求3所述的識別方法，其特征在于，步驟S2進行邊緣檢測之前針對L*進 行平滑濾波去除雜訊。
5.根據(jù)權(quán)利要求1所述的前景圖像提取方法，其特征在于，步驟S3進行分水嶺切割S2 檢測到的邊緣梯度值進行削弱。
6.根據(jù)權(quán)利要求1所述的前景圖像提取方法，其特征在于，步驟S5中對與所述判斷區(qū) 域距離為D以內(nèi)的前景區(qū)域進行特征值進行比較。
7.根據(jù)權(quán)利要求6所述的前景圖像提取方法，其特征在于，在距離所述判斷區(qū)域為D以 內(nèi)的前景區(qū)域選取3個區(qū)塊進行特征值比較。
8.根據(jù)權(quán)利要求1?7任意一項所述的前景圖像提取方法，其特征在于，所述前景圖像 為人像。
【文檔編號】G06T7/00GK103578113SQ201310586613
【公開日】2014年2月12日 申請日期:2013年11月19日 優(yōu)先權(quán)日:2013年11月19日
【發(fā)明者】莊禮鴻, 吳明霓, 鄒豐懋 申請人:汕頭大學(xué)