專利名稱：復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于影像偵測(cè)，尤其是一種人臉偵測(cè)系統(tǒng)。
背景技術(shù)：
現(xiàn)今市面上較少見到人臉偵測(cè)系統(tǒng)，有的話對(duì)于攝影品質(zhì)及環(huán)境的要求也是相當(dāng)高，大部份均在良好的取像環(huán)境下達(dá)成，對(duì)于光線明亮度的需求相當(dāng)?shù)馗?，并且背景環(huán)境也不能太復(fù)雜。因此上述系統(tǒng)無法應(yīng)用于實(shí)際環(huán)境下，也無法與現(xiàn)有的監(jiān)控設(shè)備做整合。
由此可見，上述現(xiàn)有系統(tǒng)實(shí)在無法應(yīng)用于當(dāng)前大部份的監(jiān)控系統(tǒng)，或者是要替換成品質(zhì)較佳的監(jiān)控設(shè)備，實(shí)非理想方案，而有待改進(jìn)。

發(fā)明內(nèi)容
本發(fā)明的目的即在于提供一種改良原本現(xiàn)有的人臉偵測(cè)系統(tǒng)，使其具有在復(fù)雜環(huán)境下亦能準(zhǔn)確地偵測(cè)出人臉位置的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)。
為了達(dá)到以上目的，本發(fā)明的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)主要由影像輸入單元及人臉偵測(cè)單元所組成。影像輸入單元持續(xù)地捕捉數(shù)字影像，接著再由人臉偵測(cè)單元使用移動(dòng)物體偵測(cè)算法，擷取有移動(dòng)物體的部份，然后再定位出人臉位置并擷取人臉特征，例如人眼、鼻子及嘴巴等，最后系統(tǒng)便知道目前的影像是否有人臉出現(xiàn)，或者是輸出該人臉?biāo)鄙俚奶卣鳛楹?。本發(fā)明定位人臉位置的方法是采用可變動(dòng)式橢圓樣版比對(duì)(Template matching)，并配合膚色偵測(cè)輔助。而本發(fā)明采用的人臉特征為雙眼及嘴巴，一般是使用膚色信息及輪廓的等特征來尋找，但在影像品質(zhì)不佳的情況下，使用上述方法無法偵測(cè)出眼睛及嘴巴等特征，因此本發(fā)明采用一種穩(wěn)定且適用于影像品質(zhì)不佳的算法，即利用雙眼及嘴巴的顏色比周圍還暗的特性，先找出可能的雙眼中心位置，以及可能的雙眼及嘴巴位置，最后使用合理的衡量方法來決定正確的雙眼及嘴巴位置，惟有使用此方式才得以克服影像品質(zhì)不佳的問題。
最后人臉偵測(cè)單元將偵測(cè)結(jié)果回報(bào)給系統(tǒng)，偵測(cè)結(jié)果可分為四類一、偵測(cè)出正常人臉，二、缺少眼睛特征的人臉，三、缺少嘴巴特征的人臉，四、非人臉。
本發(fā)明可應(yīng)用于目前已架設(shè)好、并且需要偵測(cè)人臉的監(jiān)控設(shè)備，或者是想要以較低的成本建置具有人臉偵測(cè)功能的監(jiān)控設(shè)備，如大樓安全監(jiān)控及銀行監(jiān)視錄像設(shè)備等，均是本發(fā)明可應(yīng)用的范圍。
本發(fā)明采用移動(dòng)物體偵測(cè)及人臉特征擷取等技術(shù)來偵測(cè)人臉，故能有效地與當(dāng)前大部份的監(jiān)控系統(tǒng)相結(jié)合，以提高監(jiān)控系統(tǒng)的功能與價(jià)值，在最少的花費(fèi)下以達(dá)到最高的效能；與前述現(xiàn)有技術(shù)相比較時(shí)，更具有下列的優(yōu)點(diǎn)一、可應(yīng)用于復(fù)雜的環(huán)境及取像品質(zhì)不佳的監(jiān)控系統(tǒng)。
二、可與現(xiàn)有監(jiān)控系統(tǒng)相結(jié)合，以較少的成本達(dá)到人臉偵測(cè)的效果。
以下結(jié)合附圖和具體實(shí)施例進(jìn)一步說明本發(fā)明的特點(diǎn)及技術(shù)內(nèi)容。有關(guān)該實(shí)施例的附圖如下

圖1為本發(fā)明復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)的架構(gòu)示意圖；以及圖2為復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)的人臉偵測(cè)范例圖；圖3是對(duì)橢圓輪廓臉型的位元點(diǎn)進(jìn)行遮罩運(yùn)算的框圖。
附圖標(biāo)記說明11影像輸入單元12人臉偵測(cè)單元13移動(dòng)物體偵測(cè)14人臉位置定位15改良式雙眼偵測(cè)16改良式嘴巴偵測(cè)具體實(shí)施例如圖1及圖2所示，本發(fā)明所提供的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)是將數(shù)字影像監(jiān)控系統(tǒng)架設(shè)在欲監(jiān)控的場(chǎng)所，其主要包括影像輸入單元11；以及人臉偵測(cè)單元12；該影像輸入單元11持續(xù)地捕捉數(shù)字影像，接著再由人臉偵測(cè)單元12使用移動(dòng)物體偵測(cè)算法，擷取有移動(dòng)物體的部份，然后再定位出人臉位置并擷取人臉特征，最后系統(tǒng)輸出目前的影像是否有人臉出現(xiàn)，或者是輸出該人臉?biāo)鄙俚奶卣鳛楹危黄渲?，該影像輸入單?1可采用含鏡頭的CCD攝影機(jī)及影像捕捉卡、含鏡頭的攝影機(jī)加上IEEE 1394輸入卡、含鏡頭的攝影機(jī)加上USB接口，或者是將含鏡頭的攝影機(jī)以數(shù)字相機(jī)取代，只要能持續(xù)地?cái)X取影像，均為該影像輸入單元11可采用的方法。
輸入的影像首先交由人臉偵測(cè)單元12進(jìn)行處理，如圖2A及B所示，為該場(chǎng)景的前后兩張連續(xù)影像。首先進(jìn)行移動(dòng)物體偵測(cè)13，假設(shè)影像輸入單元輸入的影像大小為M×N，前一張輸入的影像為Ipre，目前的影像為Inow，則人臉偵測(cè)單元使用的移動(dòng)物體偵測(cè)算法M(x，y)＝ABS(Inow(x，y)-Ipre(x，y))，0≤x≤M，0≤y≤N.
M，(x，y)＝{1，if(M(x，y)≥θ) 0≤x≤M，0≤y≤N.
此時(shí)M’(x，y)值為1即代表該點(diǎn)為移動(dòng)物體位元，M為前后兩張影像的差值強(qiáng)度影像，ABS(·)為絕對(duì)值運(yùn)算，θ為判斷是否有移動(dòng)的門檻值。為了強(qiáng)化其準(zhǔn)確性，使用以下步驟可得到較佳的移動(dòng)物體位元M”(x，y)＝M’(x，y)∧EI(x，y)，0≤x≤M，0≤y≤N.
M”即為準(zhǔn)確的移動(dòng)物體位元圖，其中∧為AND邏輯運(yùn)算，EI為Inow的邊緣影像(Edgeimage)。圖2A及B進(jìn)行移動(dòng)物體偵測(cè)13后的影像如圖2C及D所示，圖2C為經(jīng)過二元化的移動(dòng)物體位元圖M’，圖2D則為使用邊緣影像強(qiáng)化過的移動(dòng)物體位元圖M”。
接著對(duì)M”進(jìn)行人臉位置定位14，由于在影像品質(zhì)較差的環(huán)境下，人臉的膚色范圍相當(dāng)?shù)貜V，而人臉膚色又是非常重要的人臉特征，因此我們將欲偵測(cè)的膚色范圍放寬，將所有接近膚色的顏色也包含進(jìn)來；又人臉的輪廓為橢圓形，所以使用樣版比對(duì)方法，在移動(dòng)物體位元圖上尋找橢圓樣版，而橢圓樣版的大小是可變動(dòng)的，因此設(shè)計(jì)一種評(píng)分方式針對(duì)不同大小的橢圓樣版比對(duì)結(jié)果給分。我們將樣版比對(duì)配合膚色偵測(cè)可得到準(zhǔn)確的人臉候選位置，在欲樣版比對(duì)的位置上，限定該位置的橢圓樣版內(nèi)必須要偵測(cè)到有膚色的位元點(diǎn)才行，如此可以得到較準(zhǔn)確的人臉區(qū)塊位置。結(jié)果如圖2E所示，圖中的橢圓即為本發(fā)明偵測(cè)出來最有可能為人臉的區(qū)域。
接著對(duì)偵測(cè)出來的人臉區(qū)域進(jìn)行改良式雙眼偵測(cè)15及改良式嘴巴偵測(cè)16。一開始先對(duì)該橢圓輪廓內(nèi)所有的位元點(diǎn)做為中心點(diǎn)進(jìn)行底下兩個(gè)遮罩運(yùn)算，如圖3所示。
第一個(gè)遮罩的大小為P×2Q，用來尋找上面長(zhǎng)方形區(qū)塊較暗且下面長(zhǎng)方形區(qū)塊較亮的中心點(diǎn)，第二個(gè)遮罩的大小為P×Q，用來尋找中間長(zhǎng)方形區(qū)塊較亮且兩邊長(zhǎng)方形區(qū)塊較暗的中心點(diǎn)。在同一位元點(diǎn)上，若同時(shí)滿足兩個(gè)遮罩運(yùn)算結(jié)果都大于門檻值ρ，則可將其視為雙眼的中心點(diǎn)位置，因此將以上兩個(gè)遮罩命名為雙眼中心遮罩。
找到雙眼中心點(diǎn)位置之后，因?yàn)橛泻芏嗪蜻x點(diǎn)，需再進(jìn)一步確認(rèn)雙眼的位置，以找出正確的雙眼及其中心點(diǎn)位置。此時(shí)將人臉區(qū)塊分別依垂直及水平方向取各線條上的區(qū)域極小值，將兩方向的區(qū)域極小值取交集可得到數(shù)個(gè)雙眼候選點(diǎn)。利用先前找到的雙眼中心點(diǎn)位置，使用相連元件標(biāo)示法(Connected component labeling)將其分成數(shù)個(gè)雙眼中心區(qū)塊，然后在每個(gè)區(qū)塊的兩邊各自尋找雙眼配對(duì)，條件有三個(gè)一、配對(duì)的雙眼中心位置必須落在該雙眼中心區(qū)塊上，二、配對(duì)的雙眼其平均灰階值必須相近，三、配對(duì)的雙眼傾斜角度必須在一個(gè)容忍范圍內(nèi)。符合上述三個(gè)條件的雙眼配對(duì)仍然不少，最后選擇雙眼距離最小但須在門檻值σ之上的配對(duì)，做為本雙眼中心區(qū)塊所找到的雙眼位置。最后，從找到雙眼配對(duì)的雙眼中心區(qū)塊之中，將最接近人臉中心位置的該區(qū)塊視為雙眼的中心區(qū)塊。
嘴巴的位置一樣要利用雙眼中心區(qū)塊，因?yàn)樽彀偷奈恢靡欢ㄔ陔p眼中心區(qū)塊的下方。與尋找雙眼配對(duì)方法類似，將人臉區(qū)塊依垂直方向，取各線條上的區(qū)域極小值(此時(shí)不用取水平方向各線條的區(qū)域極小值)，然后在各雙眼中心區(qū)塊的下方尋找相連長(zhǎng)度大于2的區(qū)域極小值連線，每個(gè)連線均可能為嘴巴特征，若是有偵測(cè)出雙眼，則可利用雙眼距離及雙眼中心至嘴巴的距離來找出最適合的連線視為嘴巴，若是未偵測(cè)出雙眼，則只能將此人臉影像視為缺少眼睛特征的人臉。圖2F為改良式雙眼偵測(cè)時(shí)所需的雙眼中心區(qū)塊、垂直與水平方向的區(qū)域極小值，圖中黑色區(qū)塊即為雙眼中心區(qū)塊，灰色點(diǎn)為區(qū)域極小值，圖2G為改良式嘴巴偵測(cè)時(shí)的雙眼中心區(qū)塊與嘴巴候選線條，黑色區(qū)塊一樣為雙眼中心區(qū)塊，灰色線條為嘴巴候選線條。最后雙眼偵測(cè)所偵測(cè)到的雙眼位置，與嘴巴候選線條配對(duì)產(chǎn)生出最后的結(jié)果如圖2H所示。
權(quán)利要求
1.一種復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，是利用移動(dòng)物體偵測(cè)及人臉特征擷取等技術(shù)來準(zhǔn)確地偵測(cè)人臉，可有效的強(qiáng)化安全監(jiān)控功能的目的，其特征在于，包括影像輸入單元；人臉偵測(cè)單元；該影像輸入單元持續(xù)地捕捉數(shù)字影像，接著再由人臉偵測(cè)單元使用移動(dòng)物體偵測(cè)算法，擷取有移動(dòng)物體的部份，然后定位出人臉位置并擷取人臉特征，最后系統(tǒng)輸出目前的影像是否有人臉出現(xiàn)，或者是輸出該人臉?biāo)鄙俚奶卣鳛楹巍?br> 2.如權(quán)利要求1所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中的影像輸入單元可使用含鏡頭的攝影機(jī)加影像擷取卡。
3.如權(quán)利要求1所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中的影像輸入單元可使用含鏡頭的攝影機(jī)，該攝影機(jī)具有USB接口或IEEE 1394接口。
4.如權(quán)利要求1所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中的影像輸入單元可使用數(shù)字相機(jī)搭配USB接口或IEEE 1394接口。
5.如權(quán)利要求1所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中人臉偵測(cè)單元在人臉位置定位之后利用雙眼比周圍還暗的特性，找出可能的雙眼中心位置。
6.如權(quán)利要求1所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中的人臉偵測(cè)單元在人臉位置定位之后利用嘴巴比周圍還暗的特性，找出可能的嘴巴位置。
7.如權(quán)利要求5或6所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中該人臉偵測(cè)單元是先找出可能的雙眼中心位置，再以此為基礎(chǔ)尋找嘴巴位置。
8.如權(quán)利要求5所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中該人臉偵測(cè)單元可使用變動(dòng)大小的雙眼中心遮罩進(jìn)行雙眼偵測(cè)。
9.如權(quán)利要求8所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中該雙眼偵測(cè)可使用雙眼中心遮罩與區(qū)域極小值以準(zhǔn)確定位雙眼位置。
10.如權(quán)利要求6所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中該人臉偵測(cè)單元可使用變動(dòng)大小的嘴巴遮罩進(jìn)行嘴巴偵測(cè)。
11.如權(quán)利要求10所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中該嘴巴偵測(cè)可使用嘴巴遮罩與區(qū)域極小值以定位可能的嘴巴位置。
12.如權(quán)利要求5或6所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中嘴巴偵測(cè)的結(jié)果可用來回溯調(diào)整雙眼中心位置。
13.如權(quán)利要求7所述的復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，其特征在于，其中嘴巴偵測(cè)的結(jié)果可用來回溯調(diào)整雙眼中心位置。
全文摘要
一種復(fù)雜環(huán)境下動(dòng)態(tài)人臉偵測(cè)系統(tǒng)，主要由影像輸入單元及動(dòng)態(tài)人臉偵測(cè)單元所組成，該影像輸入單元持續(xù)對(duì)場(chǎng)景捕捉數(shù)字影像，接著由人臉偵測(cè)單元使用移動(dòng)物體偵測(cè)算法擷取有移動(dòng)的部分，再來使用人臉特征擷取的技術(shù)對(duì)有移動(dòng)的部分進(jìn)行人臉偵測(cè)，擷取到所有人臉必要特征代表偵測(cè)到人臉，若是擷取不到部分特征，則通知系統(tǒng)所缺少的特征為何，以達(dá)到在復(fù)雜的環(huán)境且不良的攝影條件下，利用移動(dòng)物體偵測(cè)及人臉特征擷取的技術(shù)來準(zhǔn)確地偵測(cè)人臉，可用在大樓監(jiān)控及安全監(jiān)控等環(huán)境，并可與現(xiàn)有的監(jiān)控設(shè)備結(jié)合，不用再重新添購(gòu)品質(zhì)較佳的監(jiān)控設(shè)備，以節(jié)省使用單位的成本。
文檔編號(hào)G06K9/00GK1734468SQ200510079319
公開日2006年2月15日 申請(qǐng)日期2005年6月17日 優(yōu)先權(quán)日2005年6月17日
發(fā)明者吳坤榮, 白家榮 申請(qǐng)人:中華電信股份有限公司