專利名稱：基于人臉認(rèn)證的屏幕保護(hù)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種屏幕保護(hù)方法及裝置，尤其涉及一種基于人臉認(rèn)證的屏幕保護(hù)方法及裝置。
背景技術(shù)：
對(duì)于屏幕保護(hù)方法來(lái)說(shuō)，經(jīng)常使用的方法是通過程序控制來(lái)播放屏幕保護(hù)圖像，目前的屏幕保護(hù)程序一般是針對(duì)視頻來(lái)制作的，對(duì)于合成視頻捕獲設(shè)備(如攝像頭)捕捉視頻的應(yīng)用很少。
而隨著網(wǎng)絡(luò)視頻技術(shù)的廣泛應(yīng)用，越來(lái)越多的人開始應(yīng)用攝像頭等視頻捕捉設(shè)備進(jìn)行網(wǎng)上聊天等活動(dòng)，同時(shí)針對(duì)于視頻捕捉設(shè)備的應(yīng)用程序也在日益增多。
另一方面，作為網(wǎng)上聊天功能的需要，攝像頭通常捕捉到的圖像是使用者的人臉，而人臉識(shí)別技術(shù)也是目前在計(jì)算機(jī)領(lǐng)域研究的一個(gè)重點(diǎn)。
因此，能否將人臉識(shí)別技術(shù)與屏幕保護(hù)方法結(jié)合起來(lái)，已經(jīng)成為業(yè)內(nèi)亟待解決的問題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種基于人臉認(rèn)證的屏幕保護(hù)方法及裝置，將攝像頭捕捉到的圖像與背景圖像進(jìn)行合成，從而提供屏幕保護(hù)，同時(shí)對(duì)捕捉到的人臉圖像進(jìn)行人臉認(rèn)證，從而開鎖屏幕保護(hù)。
本發(fā)明提供一種基于人臉認(rèn)證的屏幕保護(hù)方法，包括如下步驟(1)設(shè)定對(duì)從視頻捕捉設(shè)備捕捉到的視頻圖像啟動(dòng)人臉認(rèn)證的條件；
(2)播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；(3)將視頻捕獲設(shè)備捕捉到的視頻圖像拆分成多路視頻流；(4)將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；(5)檢測(cè)步驟(1)設(shè)定的啟動(dòng)條件是否滿足，如果滿足，則在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，認(rèn)證通過時(shí)開鎖屏幕保護(hù)。
本發(fā)明進(jìn)而提供一種基于人臉認(rèn)證的屏幕保護(hù)裝置，包括條件設(shè)定模塊，用于設(shè)定對(duì)從視頻捕捉設(shè)備捕捉到的視頻圖像啟動(dòng)人臉認(rèn)證的條件；背景播放模塊，用于播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；視頻拆分模塊，用于將視頻捕獲設(shè)備捕捉到的視頻圖像拆分成多路視頻流；視頻合成模塊，用于將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；人臉認(rèn)證模塊，用于檢測(cè)所述條件設(shè)定模塊設(shè)定的啟動(dòng)條件是否滿足，如果滿足，則在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，認(rèn)證通過時(shí)開鎖屏幕保護(hù)。
本發(fā)明豐富了用戶對(duì)攝像頭設(shè)備的使用，讓用戶在使用屏幕保護(hù)的過程當(dāng)中，體驗(yàn)到人臉識(shí)別、背景視頻等技術(shù)給人們帶來(lái)的樂趣和安全保障，極大地豐富了人們的娛樂生活。


圖1為根據(jù)本發(fā)明實(shí)施例所述的基于人臉認(rèn)證的屏幕保護(hù)方法流程圖；圖2為根據(jù)本發(fā)明實(shí)施例所述的人臉認(rèn)證流程圖；
圖3為根據(jù)本發(fā)明實(shí)施例所述的樣本訓(xùn)練流程示意圖；圖4為根據(jù)本發(fā)明實(shí)施例所述的人臉樣本的標(biāo)定與采集示意圖；圖5為根據(jù)本發(fā)明實(shí)施例所述的人臉圖像非線性矯正示意圖；圖6為根據(jù)本發(fā)明實(shí)施例所述的非線性矯正原理示意圖；圖7為根據(jù)本發(fā)明實(shí)施例所述的人臉圖像光照處理結(jié)果示意圖；圖8為根據(jù)本發(fā)明實(shí)施例所述的基于AdaBoost的特征抽取方法流程圖；圖9為根據(jù)本發(fā)明實(shí)施例所述的支持向量機(jī)最優(yōu)分類面示意圖；圖10A、圖10B為根據(jù)本發(fā)明實(shí)施例所述的人臉認(rèn)證輸出結(jié)果示意圖。
具體實(shí)施例方式
如圖1所示，為根據(jù)本發(fā)明實(shí)施例所述的基于人臉認(rèn)證的屏幕保護(hù)方法流程圖一方面，由計(jì)算機(jī)正常執(zhí)行存儲(chǔ)的現(xiàn)有屏幕保護(hù)程序，如步驟107播放現(xiàn)有背景視頻文件。
步驟108對(duì)視頻文件進(jìn)行音頻解碼與視頻解碼。
解碼后的音頻可以由音頻設(shè)備輸出。視頻可以作為與攝像頭采集的圖像進(jìn)行合成。
另一方面步驟101首先由視頻捕捉設(shè)備(例如攝像頭)捕捉視頻圖像。
步驟102結(jié)合人臉模型庫(kù)，在捕捉的圖像基礎(chǔ)上進(jìn)行人臉追蹤識(shí)別與認(rèn)證。
步驟103將捕捉到的視頻圖像轉(zhuǎn)換成RGB24格式。
視頻捕獲設(shè)備捕獲到的原始視頻圖像，一般是RGB或者YUV2的格式。如果是YUV2或者RGB32格式，那么需要進(jìn)行格式轉(zhuǎn)換，把它轉(zhuǎn)換成RGB24格式。
步驟104拆分視頻流。
視頻圖像的拆分與合成技術(shù)，現(xiàn)有技術(shù)中已經(jīng)提供，例如，Windows平臺(tái)的DirectX9.0技術(shù)開發(fā)的多媒體應(yīng)用程序既可以實(shí)現(xiàn)。本發(fā)明的實(shí)施例把轉(zhuǎn)換后的RGB24格式的圖像通過Inifinite Pin Tee Filter把原始視頻圖像進(jìn)行多路拆分，就是把一路視頻流按照一定的算法進(jìn)行多路輸出，輸出后的視頻流輸入到視頻合成器。
步驟105合成視頻流。
背景視頻文件經(jīng)過視頻解碼后輸入到視頻合成器。
步驟106視頻合成器把輸入的多路視頻進(jìn)行疊加、銳化等處理后輸出到視頻顯示設(shè)備上。
此外，本發(fā)明實(shí)施例中，還可以進(jìn)一步對(duì)人臉認(rèn)證設(shè)定啟動(dòng)條件，例如，可以通過手動(dòng)設(shè)置其為常開狀態(tài)，也就是無(wú)條件認(rèn)證，在整個(gè)屏幕保護(hù)期間都進(jìn)行人臉認(rèn)證，還可以設(shè)置為當(dāng)視頻圖像中的人臉面積占據(jù)整幀圖像面積的一定比例時(shí)啟動(dòng)，例如30％。因?yàn)槿四樏娣e過小，說(shuō)明使用者距離計(jì)算機(jī)過遠(yuǎn)，并沒有開鎖屏幕保護(hù)的意愿。通過設(shè)置人臉認(rèn)證開啟條件，可以更加靈活的運(yùn)用本發(fā)明。
相應(yīng)的，從裝置角度來(lái)說(shuō)，本發(fā)明實(shí)施例還提供一種基于人臉認(rèn)證的屏幕保護(hù)裝置，包括條件設(shè)定模塊，用于設(shè)定對(duì)從視頻捕捉設(shè)備捕捉到的視頻圖像啟動(dòng)人臉認(rèn)證的條件；背景播放模塊，用于播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；編碼轉(zhuǎn)換模塊，用于將視頻捕獲設(shè)備捕捉到的視頻圖像進(jìn)行編碼轉(zhuǎn)換。
視頻拆分模塊，用于將視頻捕獲設(shè)備捕捉到的、經(jīng)由所述編碼轉(zhuǎn)換模塊轉(zhuǎn)換成RGB24格式的視頻圖像拆分成多路視頻流；視頻合成模塊，用于將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；
人臉認(rèn)證模塊，用于檢測(cè)所述條件設(shè)定模塊設(shè)定的啟動(dòng)條件是否滿足，如果滿足，則在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，認(rèn)證通過時(shí)開鎖屏幕保護(hù)。
同樣，所述條件設(shè)定模塊，設(shè)置的啟動(dòng)條件，可以包括無(wú)條件啟動(dòng)，或當(dāng)視頻圖像中的人臉面積占據(jù)整幀圖像面積的一定比例時(shí)啟動(dòng)。
實(shí)現(xiàn)本發(fā)明的屏幕保護(hù)裝置及方法，一方面的重點(diǎn)在于視頻拆分與合成技術(shù)，另一方面就在于人臉認(rèn)證技術(shù)?，F(xiàn)有技術(shù)已經(jīng)提供有很多人臉識(shí)別認(rèn)證的方法，本發(fā)明實(shí)施例提供一種基于Gabor特征和支持向量機(jī)的人臉認(rèn)證方式，同樣適用于本發(fā)明。也可以說(shuō)，本發(fā)明是這種人臉認(rèn)證方法的實(shí)際運(yùn)用。
如圖2所示，為根據(jù)本發(fā)明實(shí)施例所述的人臉認(rèn)證流程圖，首先通過人臉樣本圖像，為每個(gè)需要認(rèn)證的用戶訓(xùn)練獲得一個(gè)一對(duì)多的支持向量機(jī)人臉模型(步驟201)；采集攝像頭輸入的視頻圖像，搜索并檢測(cè)圖像中的正面人臉，并對(duì)其進(jìn)行持續(xù)追蹤與驗(yàn)證，確保追蹤的人臉是正面人臉(步驟202)；自動(dòng)標(biāo)定正面人臉中的器官特征點(diǎn)，并據(jù)此對(duì)檢測(cè)到的人臉進(jìn)行預(yù)處理(步驟203)；然后計(jì)算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量(步驟204)；將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識(shí)別，返回與各人臉模型的相似度數(shù)據(jù)(步驟205)；結(jié)合連續(xù)數(shù)幀圖像的相似度數(shù)值，輸出最終的人臉認(rèn)證結(jié)果(步驟206)。
圖2中步驟201所述的訓(xùn)練過程，可以采用多種方式進(jìn)行訓(xùn)練，如圖3所示，為本發(fā)明實(shí)施例采用的樣本訓(xùn)練流程示意圖，首先針對(duì)每個(gè)需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像(步驟301)；對(duì)所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點(diǎn)位置(步驟302)；根據(jù)標(biāo)定結(jié)果，對(duì)所有樣本圖像進(jìn)行預(yù)處理(步驟303)；計(jì)算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量(步驟304)；利用所述低維特征向量，采用一對(duì)多支持向量機(jī)對(duì)不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個(gè)用戶獲得一個(gè)一對(duì)多的支持向量機(jī)人臉模型(步驟305)。
圖2中步驟202所述的人臉追蹤，也可以通過多種方法實(shí)現(xiàn)，例如中國(guó)專利申請(qǐng)200510135668.8中提供的一種視頻序列中人臉的實(shí)時(shí)檢測(cè)與持續(xù)追蹤的方法及系統(tǒng)，該申請(qǐng)采用AdaBoost訓(xùn)練算法訓(xùn)練正面人臉的分層檢測(cè)模型，并分尺度搜索輸入的視頻圖像，確定圖像中多個(gè)人臉的位置；接著系統(tǒng)對(duì)檢測(cè)的人臉在后續(xù)幾幀進(jìn)行驗(yàn)證，驗(yàn)證完畢再結(jié)合基于Mean shift和顏色直方圖的人臉跟蹤算法實(shí)現(xiàn)人臉的持續(xù)跟蹤；在跟蹤過程中可進(jìn)行人臉的驗(yàn)證，確定跟蹤結(jié)果的準(zhǔn)確性。該系統(tǒng)已在多場(chǎng)景中對(duì)多個(gè)人臉進(jìn)行了測(cè)試，測(cè)試結(jié)果表明本文的人臉檢測(cè)和跟蹤算法可以快速準(zhǔn)確檢測(cè)不同表情、不同膚色、不同光照條件下的多個(gè)正面人臉，可以檢測(cè)-20°到20°深度旋轉(zhuǎn)、-20°到20°平面旋轉(zhuǎn)的人臉，可實(shí)時(shí)跟蹤任意姿態(tài)人臉，包括側(cè)面、旋轉(zhuǎn)人臉等。
圖2中步驟203所述的人臉器官特征點(diǎn)定位，也有很多種方法可以實(shí)現(xiàn)，例如中國(guó)專利申請(qǐng)200610011673.2中提供的定位方法。根據(jù)本發(fā)明的實(shí)施例，可以通過以下步驟確定雙眼位置(1)在已獲人臉位置信息的基礎(chǔ)上，采用統(tǒng)計(jì)方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，并確定左眼初選位置與右眼初選位置；(2)在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測(cè)器與右眼局部特征檢測(cè)器，對(duì)所有左眼初選位置和右眼初選位置進(jìn)行判別，并為每個(gè)初選位置確定一個(gè)單眼相似度數(shù)值；(3)從所有左眼初選位置與右眼初選位置中，分別選擇相似度數(shù)值最大的前N1個(gè)位置作為左眼候選位置和右眼候選位置，并將所有左眼和右眼候選位置配成雙眼候選對(duì)，以每一個(gè)候選對(duì)為基準(zhǔn)確定雙眼區(qū)域；(4)采用雙眼區(qū)域檢測(cè)器作為全局約束，對(duì)所述每一個(gè)雙眼區(qū)域進(jìn)行判別，為其中每個(gè)雙眼候選對(duì)確定一個(gè)雙眼相似度數(shù)值；(5)選擇雙眼相似度數(shù)值最大的前M1個(gè)雙眼候選對(duì)，對(duì)其中的所有左眼候選位置與所有右眼候選位置分別計(jì)算平均值，作為左眼特征點(diǎn)位置與右眼特征點(diǎn)位置。
并可以通過以下步驟確定嘴巴位置(1)在已獲眼睛位置信息的基礎(chǔ)上，采用統(tǒng)計(jì)方式確定嘴巴位置搜索區(qū)域，并確定嘴巴初選位置；(2)在嘴巴位置搜索區(qū)域內(nèi)，采用嘴巴局部特征檢測(cè)器對(duì)每一個(gè)嘴巴初選位置進(jìn)行判別，并為之確定一個(gè)嘴巴局部相似度數(shù)值；(3)選擇嘴巴局部相似度數(shù)值最大的前N2個(gè)初選位置作為嘴巴候選位置，對(duì)于每個(gè)候選位置，以左眼特征點(diǎn)位置、右眼特征點(diǎn)位置、嘴巴候選位置為基準(zhǔn)，確定臉部區(qū)域；(4)采用臉部區(qū)域檢測(cè)器作為全局約束，對(duì)每個(gè)所述確定的臉部區(qū)域進(jìn)行判別，為其中的每個(gè)嘴巴候選位置確定一個(gè)嘴巴全局相似度數(shù)值；(5)選擇嘴巴全局相似度數(shù)值最大的前M2個(gè)候選位置，計(jì)算這些候選位置的平均值，作為嘴巴特征點(diǎn)位置。
圖2中步驟203所述的預(yù)處理步驟，以及圖3中步驟303所述的預(yù)處理步驟，過程都是相似的，下面主要以對(duì)樣本圖像的預(yù)處理為例來(lái)進(jìn)一步說(shuō)明。
在進(jìn)行人臉識(shí)別前，必須對(duì)輸入人臉圖像的尺寸、位置和灰度進(jìn)行預(yù)處理，使不同的人臉圖像的尺寸、灰度保持一致。另外，不同圖像中人臉的位置應(yīng)該保持一致，這可通過眼睛、嘴巴定位的方法，使輸入圖像中人臉眼睛、嘴巴的位置基本固定，再對(duì)整幅圖像進(jìn)行仿射變換或非線性矯正。只有經(jīng)過這些預(yù)處理后，同一個(gè)人的多個(gè)輸入人臉在某些特征上才會(huì)具有一定的相似性，而不同的人臉也才會(huì)具有一定的差異，此時(shí)才可以采用統(tǒng)計(jì)模式識(shí)別算法進(jìn)行模型的訓(xùn)練與識(shí)別。
參考圖3中的步驟301，由于本發(fā)明采用支持向量機(jī)(SVM)的方式實(shí)現(xiàn)人臉認(rèn)證(對(duì)于支持向量機(jī)的算法描述，可以參見邊肇祺、張學(xué)工等人所著的《模式識(shí)別》，清華大學(xué)出版社，2000年)，因此需要收集大量反樣本人臉，以提高人臉認(rèn)證的準(zhǔn)確度。這些反樣本最好應(yīng)盡量覆蓋不同表情、不同膚色、不同年齡的人臉，包含-20°到20°深度旋轉(zhuǎn)的人臉，包含戴與不戴眼鏡人臉。
人臉認(rèn)證的正樣本人臉是指待認(rèn)證用戶的人臉樣本，這類數(shù)據(jù)需要在實(shí)際應(yīng)用時(shí)由程序自動(dòng)采集用戶的樣本，并自動(dòng)對(duì)用戶樣本進(jìn)行預(yù)處理和特征計(jì)算。
參考圖3中的步驟302，對(duì)所有反樣本，本發(fā)明可以通過手動(dòng)標(biāo)定所有反樣本人臉的關(guān)鍵特征點(diǎn)，為每個(gè)正樣本人臉標(biāo)定了三個(gè)點(diǎn)兩眼中心、嘴巴中心。而對(duì)于待認(rèn)證用戶的正樣本可以采取自動(dòng)標(biāo)定的方法，獲取三個(gè)點(diǎn)的坐標(biāo)，如圖4所示。
接著，本發(fā)明根據(jù)這些標(biāo)定點(diǎn)可以對(duì)各個(gè)人臉進(jìn)行幾何歸一化，即將人臉圖像的主要器官位置矯正到標(biāo)準(zhǔn)位置，減小樣本間的尺度、平移和平面旋轉(zhuǎn)差異，然后根據(jù)器官位置剪裁出人臉區(qū)域成為人臉樣本，使人臉樣本盡量少地引入背景干擾，且不同人臉樣本的器官位置具有一致性。
本發(fā)明引入了一幅標(biāo)準(zhǔn)人臉圖像對(duì)各個(gè)人臉樣本進(jìn)行幾何歸一化和人臉區(qū)域的裁剪。首先確定待識(shí)別人臉窗口的尺度wd×ht為44×48，即寬為44，高為48。接著獲取一幅標(biāo)準(zhǔn)的正面人臉圖像，標(biāo)準(zhǔn)圖像中兩眼的y坐標(biāo)一致，人臉也完全對(duì)稱，如圖4中的4A所示，標(biāo)定該圖像的三個(gè)關(guān)鍵特征點(diǎn)。根據(jù)該圖像中雙眼的距離和位置確定裁剪的正方形人臉區(qū)域的位置。設(shè)兩眼的距離為r，兩眼連線的中心點(diǎn)為(xcenter，ycenter)，采集矩形的寬設(shè)為2r，即兩倍雙眼間距，則矩形裁剪區(qū)域的坐標(biāo)(xleft，ytop，xright，ybottom)為xleftytopxrightybottom=xcenter-rytop-0.5rxcenter+rytop+ht]]>將裁剪的人臉區(qū)域歸一化到44×48的尺寸，如圖4中的4B，并獲取歸一化后三個(gè)標(biāo)定點(diǎn)的坐標(biāo)[xstad(i)，ystad(i)]，i＝0，1，2，前兩個(gè)為眼睛中心點(diǎn)，最后一個(gè)為嘴唇中心點(diǎn)。
任意給定原始人臉樣本和標(biāo)定的三個(gè)特征點(diǎn)[xlabel(i)，ylabel(i)]，i＝0，1，2，如圖4中的4C，比較直接的裁剪方法是計(jì)算這三個(gè)點(diǎn)與標(biāo)準(zhǔn)圖像歸一化后三點(diǎn)坐標(biāo)間的仿射變換系數(shù)。另外，仿射變換式中不能加入人臉各個(gè)方向的拉伸變換，我們僅考慮旋轉(zhuǎn)和整體縮放兩個(gè)變換。接著由仿射變換系數(shù)可以計(jì)算該裁剪圖像中任意一點(diǎn)到原始樣本中對(duì)應(yīng)點(diǎn)坐標(biāo)，進(jìn)而獲取裁剪人臉中所有點(diǎn)的象素值，如圖4中的4D所示。
不過基于仿射變換的算法存在著比較明顯的缺陷。首先當(dāng)人臉樣本帶表情或者輸入人臉非正面時(shí)，采用這種方法獲取的裁剪人臉的眼睛嘴唇中心點(diǎn)與標(biāo)準(zhǔn)圖像的眼睛嘴唇中心點(diǎn)偏差會(huì)比較大，特別是帶姿態(tài)樣本裁剪后的嘴唇中心點(diǎn)還不在圖像垂直中心軸上，眼睛位置也有差異，如圖5所示，5A是原始圖像和標(biāo)定點(diǎn)，5B是裁剪圖像。因此對(duì)于同一人不同姿態(tài)表情的人臉，其裁剪圖像中人臉眼睛嘴唇位置差異較大，這一定程度會(huì)降低識(shí)別算法抗表情、姿態(tài)干擾的能力。
本發(fā)明的實(shí)施例采用了一種非線性矯正方法，即采用非線性的方法將輸入人臉三個(gè)中心點(diǎn)完全矯正到標(biāo)準(zhǔn)人臉三點(diǎn)的位置。首先僅考慮眼睛的兩個(gè)中心點(diǎn)，采用仿射變換算法在輸入人臉與標(biāo)準(zhǔn)人臉的標(biāo)定點(diǎn)之間計(jì)算仿射變換系數(shù)，此時(shí)同樣只考慮旋轉(zhuǎn)和整體縮放兩個(gè)變換。即xlabel(i)ylabel(i)=scosθ-ssinθssinθscosθxstad(i)ystad(i)+ab=c-dadcbxstad(i)ystad(i)1,i=0,1]]>上式中有四個(gè)未知數(shù)，四個(gè)等式，只有唯一的一個(gè)解，設(shè)為(a，b，c，d)，圖5中的5C是僅采用這四個(gè)系數(shù)獲取的裁剪結(jié)果。由這個(gè)仿射變換系數(shù)可以計(jì)算出輸入樣本中三個(gè)特征點(diǎn)在裁剪人臉中的對(duì)應(yīng)點(diǎn)，設(shè)為[xtrans(i)，ytrans(i)]，i＝0，1，2。前兩個(gè)變換坐標(biāo)即眼睛的位置與標(biāo)準(zhǔn)臉的眼睛位置完全一致，但受姿態(tài)、表情等干擾，嘴巴位置差別可能比較大。為此我們需要將嘴巴位置矯正到標(biāo)準(zhǔn)位置。
如圖6所示，圖中A、B點(diǎn)是標(biāo)準(zhǔn)圖像中的中心點(diǎn)，D點(diǎn)是A、B的中央點(diǎn)，Cstad是標(biāo)準(zhǔn)嘴唇中央點(diǎn)，C是變換后的嘴唇點(diǎn)。非線性矯正過程分兩步進(jìn)行，首先在y方向進(jìn)行矯正，使矯正后嘴唇點(diǎn)的y坐標(biāo)與Cstad一致，如圖6中的C′點(diǎn)。然后再進(jìn)行x方向的矯正，我們將D與C′連接起來(lái)，DC′連線將人臉分為左右半邊，考慮水平方向的某條直線，設(shè)其y坐標(biāo)為y1，其與DC′直線的交點(diǎn)坐標(biāo)E為(x1，y1)。由于我們需要將(x1，y1)移至(xD，y1)，其中xD為D的x坐標(biāo)，因此需要對(duì)(xD，y1)左右兩邊的點(diǎn)分別進(jìn)行線性變換，將E移至中軸線DCstad上?？紤]某點(diǎn)(x，y1)，對(duì)左邊的點(diǎn)x＜x1，其矯正后點(diǎn)的坐標(biāo)為(x·xD/x1，y1)，對(duì)右邊的點(diǎn)x≥x1，其矯正后點(diǎn)的坐標(biāo)為[2xD-xD·(2xD-x)/(2xD一x1)，y1]?？梢钥闯觯绻鸆′在Cstad的右側(cè)，則需要對(duì)左例的人臉進(jìn)行壓縮，對(duì)右側(cè)人臉進(jìn)行拉伸，這樣可以將DC′直線上所有點(diǎn)都矯正到人臉垂直中軸線DCstad上。
在獲取非線性矯正系數(shù)后，接著結(jié)合原始圖像獲取矯正后的人臉，設(shè)裁剪后的人臉圖像為I，該圖像尺寸為44×48，其中某點(diǎn)坐標(biāo)為(x，y)，根據(jù)非線性矯正系數(shù)獲取其矯正前的坐標(biāo)(x′，y′)，再由仿射變換系數(shù)獲取原始圖像中該點(diǎn)的坐標(biāo)(xori，yori)xoriyori=c-dadcbx′y′1]]>為消除噪聲的影響，裁剪后的圖像中(x，y)的象素值設(shè)為對(duì)應(yīng)點(diǎn)(xori，yori)鄰域范圍內(nèi)所有點(diǎn)象素值的均值，如圖5中的5D所示。
此外，受外界光照、成像設(shè)備等因素干擾，人臉圖像亮度或?qū)Ρ榷葧?huì)出現(xiàn)異常，出現(xiàn)強(qiáng)陰影或反光等情況，另外不同人種的膚色間也存在這差異，因此需要對(duì)幾何歸一化和矯正后的人臉樣本進(jìn)行灰度均衡化處理，改善其灰度分布，增強(qiáng)模式間的一致性。不過，人臉識(shí)別中的光照問題一直是比較困難但也是非常重要的問題。多年來(lái)已經(jīng)有了非常多的光照處理算法，但性能都比較一般，抗各種環(huán)境光干擾的能力都比較差。由于基于統(tǒng)計(jì)方法的人臉識(shí)別算法需要采集人臉的正樣本并進(jìn)行訓(xùn)練，但人臉正樣本的光照一般比較單一，即使對(duì)加入不同光照的正樣本，訓(xùn)練數(shù)據(jù)也只能覆蓋少數(shù)幾種光照分布。而實(shí)際場(chǎng)景中光照是非常復(fù)雜的，而同樣的人臉但光照差別較大時(shí)灰度也會(huì)存在這明顯的差異，計(jì)算出的圖像特征也會(huì)存在這差別。另外，如果輸入人臉的光照不均勻，部分區(qū)域光照強(qiáng)，部分區(qū)域光照弱一些，此時(shí)即使對(duì)圖像進(jìn)行全圖的歸一化、直方圖均衡等，都很難得到光照比較均勻的人臉數(shù)據(jù)，這就會(huì)大大降低人臉識(shí)別的精度。
本發(fā)明實(shí)施例采用的光照處理算法可以分兩步進(jìn)行，首先對(duì)圖像進(jìn)行整體的灰度歸一化，接著結(jié)合標(biāo)準(zhǔn)圖像進(jìn)行局部的灰度歸一化。
整體歸一化比較簡(jiǎn)單，給定一幅標(biāo)準(zhǔn)人臉圖像，如圖4中的4B，計(jì)算標(biāo)準(zhǔn)人臉灰度的均值Ps和方差σs，接著計(jì)算輸入樣本灰度的均值P和方差σ，其任一象素值I(x，y)歸一化后的象素值為I′(x，y)＝[I(x，y)-P]·σs/σ+Ps
設(shè)標(biāo)準(zhǔn)圖像某點(diǎn)(x，y)的象素值為S(x，y)，輸入人臉灰度歸一化后該點(diǎn)值為I′(x，y)。由于這兩幅圖像中眼睛、嘴巴的位置已經(jīng)完全對(duì)應(yīng)，因此樣本中各個(gè)器官的位置與標(biāo)準(zhǔn)人臉的器官位置差別也不會(huì)太大。也就是說(shuō)兩幅圖像各個(gè)局部的灰度應(yīng)該近似一致，如果灰度不一致，則可以認(rèn)為是輸入人臉的光照不均勻，需要進(jìn)行灰度的矯正，由此可以用標(biāo)準(zhǔn)人臉的灰度去矯正輸入人臉的灰度。
基于此考慮，本發(fā)明實(shí)施例對(duì)各個(gè)象素點(diǎn)分別進(jìn)行處理，考慮其中某個(gè)點(diǎn)(x，y)，抽取其鄰域范圍內(nèi)所有象素點(diǎn)，鄰域長(zhǎng)寬均為W，我們統(tǒng)計(jì)輸入樣本中(x，y)鄰域內(nèi)W×W個(gè)點(diǎn)灰度的均值，設(shè)為AI(x，y)，再統(tǒng)計(jì)標(biāo)準(zhǔn)樣本中(x，y)鄰域內(nèi)W×W個(gè)點(diǎn)灰度的均值，設(shè)為AS(x，y)。AI(x，y)反映的當(dāng)前鄰域內(nèi)亮度的大小，AS(x，y)反映的是標(biāo)準(zhǔn)人臉局部光照的強(qiáng)度，如果兩者差異較大，則表示輸入人臉當(dāng)前點(diǎn)附近光照不均勻，需要對(duì)該點(diǎn)的灰度進(jìn)行矯正，又AS(x，y)與AI(x，y)的比值可以近似反映光照強(qiáng)度的比值，因此可以直接將該點(diǎn)的灰度值乘以這個(gè)比值，作為矯正結(jié)果，即(x，y)點(diǎn)處理后新的灰度值Ir(x，y)為Ir(x，y)＝I′(x，y)·AS(x，y)/AI(x，y)W的選擇比較關(guān)鍵，W不能太大，否則灰度矯正沒有效果，W也不能太小，否則矯正后的人臉圖像與標(biāo)準(zhǔn)人臉比較接近，本文將W設(shè)為15，獲取最佳結(jié)果。如圖7所示，為光照處理前和光照處理后的結(jié)果對(duì)比示意圖，其中，7A為整體灰度歸一化后的人臉圖像；7B為根據(jù)本發(fā)明的實(shí)施例進(jìn)行灰度矯正后的人臉圖像。
圖2中步驟204以及圖3中步驟304所述的特征抽取步驟，在人臉識(shí)別中是非常關(guān)鍵的環(huán)節(jié)。常用的特征有灰度特征、邊緣特征、小波特征、Gabor特征等。其中Gabor為人臉圖像提供多尺度、多方向的精細(xì)描述，表現(xiàn)出優(yōu)秀的時(shí)頻聚集性，具備很強(qiáng)的刻畫細(xì)節(jié)與局部結(jié)構(gòu)的能力。它具有帶通濾波的性質(zhì)，既能部分地抵抗慢變光照的影響，也能濾去一些高頻噪聲。同時(shí)，二維Gabor濾波器的沖激響應(yīng)函數(shù)與哺乳動(dòng)物的視皮層中簡(jiǎn)單型細(xì)胞對(duì)圖像信號(hào)的響應(yīng)非常相似，在理論上具備堅(jiān)實(shí)的基礎(chǔ)。因此，本發(fā)明的實(shí)施例在實(shí)現(xiàn)人臉識(shí)別時(shí)選擇Gabor特征。
二維Gabor濾波器的沖激響應(yīng)表示為ψj(x)=||kj||σ2exp(-||kj||·||x||2σ2)[exp(ikjx)-exp(-σ22)]]]>其中σ＝2π，我們考慮了5個(gè)頻率ν＝0，...，4，8個(gè)方向μ＝0，...，7，則有 在人臉圖像的每個(gè)點(diǎn)，可以都計(jì)算5個(gè)頻率，8個(gè)方向，共40維Gabor特征，計(jì)算方式是將輸入圖像與各個(gè)頻率各個(gè)方向的沖激響應(yīng)進(jìn)行卷積，即Gj(x)＝∫Ir(x′)ψj(x-x′)dx′為了提高Gabor特征的計(jì)算效率，可以采用FFT算法對(duì)這個(gè)卷積過程進(jìn)行加速，先對(duì)Ir(x′)和ψj(x′)分別進(jìn)行FFT變換，將變換后的結(jié)果相乘再進(jìn)行反FFT變換，就可以得到圖像中所有點(diǎn)對(duì)于某個(gè)頻率某個(gè)方向的Gabor特征?？偟腉abor特征數(shù)為5×8×44×48＝84480，這個(gè)數(shù)據(jù)量是非常大的，直接采用分類算法對(duì)如此高維的特征進(jìn)行訓(xùn)練和識(shí)別是非常困難的，因此還需要進(jìn)行特征的挑選，大幅度降低特征的維數(shù)。
每幅人臉Gabor特征的維數(shù)高達(dá)84480，而總的訓(xùn)練樣本數(shù)有一萬(wàn)多，而在分類器訓(xùn)練時(shí)采用的是1對(duì)多的SVM算法，因此可以采用基于AdaBoost的特征挑選算法，結(jié)合1對(duì)多的分類方式和正反樣本數(shù)據(jù)從這些特征中挑選出分類能力最強(qiáng)的數(shù)千維特征如2000維特征出來(lái)，將挑選出的特征組成新的低維Gabor特征向量，特征選擇完畢后再采用一對(duì)多的支持向量機(jī)(SVM)算法對(duì)不同用戶進(jìn)行訓(xùn)練。這樣訓(xùn)練算法的計(jì)算量和存儲(chǔ)的人臉模型的數(shù)據(jù)量都大大降低。在認(rèn)證過程中，算法只需要計(jì)算出人臉的Gabor特征，結(jié)合已有的特征挑選結(jié)果挑選出低維特征，再對(duì)低維特征向量進(jìn)行識(shí)別。
下面簡(jiǎn)單介紹一下本發(fā)明實(shí)施例所采用的基于AdaBoost的特征抽取方法，如圖8所示步驟801給定兩類樣本，樣本數(shù)為L(zhǎng)，正樣本數(shù)為L(zhǎng)p，反樣本數(shù)為L(zhǎng)n。
步驟802初始化，設(shè)置權(quán)重，正樣本為1/2Lp，反樣本為1/2Ln。
首先，為正反圖像樣本集設(shè)定權(quán)值，在一個(gè)具體的實(shí)施例中，可以將反圖像樣本集所占的權(quán)重設(shè)置為1/2，將所有正圖像樣本集所占的權(quán)重設(shè)置為1/2。當(dāng)然，在其它的實(shí)施例中，也完全可以將所有反圖像樣本集所占的權(quán)重設(shè)置為2/5，將所有反圖像樣本集所占的權(quán)重設(shè)置為3/5。也就是說(shuō)，可以根據(jù)需要為正反圖像樣本集設(shè)定權(quán)重。之后，要為每個(gè)正反圖像樣本設(shè)定權(quán)重，在一個(gè)具體的實(shí)施例中，可以設(shè)定每個(gè)正樣本的權(quán)重為正樣本集權(quán)重的1/Lp，設(shè)定每個(gè)反樣本的權(quán)重為反樣本集總權(quán)重的1/Ln。當(dāng)然，也可以將重要的正反圖像樣本設(shè)定較高的權(quán)重。
步驟803設(shè)定迭代輪次t＝1，2，...，T。
步驟804考慮所有從未入選的特征，利用單個(gè)特征訓(xùn)練弱分類器，根據(jù)訓(xùn)練樣本集的權(quán)值得到最優(yōu)的閾值參數(shù)，使得所有樣本的加權(quán)錯(cuò)誤率最小，這樣可以為每個(gè)弱分類器及其對(duì)應(yīng)的特征獲取一個(gè)錯(cuò)誤率。
采用第j個(gè)弱分類器hj(x)根據(jù)設(shè)定的閾值與每個(gè)圖像樣本的第j個(gè)特征Gj(x)去判斷各個(gè)樣本圖像是正樣本還是反樣本，由此可以統(tǒng)計(jì)出該弱分類器的加權(quán)錯(cuò)誤率。
每個(gè)弱分類器都只處理對(duì)應(yīng)的一個(gè)特征，其可表示為hj(x)=1,ifgj(x)>low_θjandgj(x)<high_θj0,otherwise]]>其中，low_θj是弱分類器hj(x)的低閾值，high_θj是弱分類器hj(x)的高閾值，如果當(dāng)前圖像樣本的第j個(gè)特征Gj(x)的數(shù)值大于低閾值且低于高閾值時(shí)，所述弱分類器hj(x)輸出為1，其表示當(dāng)前圖像樣本被判斷為正樣本；反之，所述弱分類器hj(x)輸出為0，其表示當(dāng)前圖像樣本被判斷為反樣本。其中，弱分類器hj(x)的低閾值和高閾值是根據(jù)圖像樣本的權(quán)重設(shè)定。
關(guān)于弱分類器對(duì)圖像樣本的分類，具體來(lái)講就是，首先，第j個(gè)弱分類器hj(x)根據(jù)第1個(gè)圖像樣本第j個(gè)特征Gj(x)判斷第1個(gè)圖像樣本是正樣本還是反樣本，接下來(lái)，根據(jù)第2個(gè)圖像樣本第j個(gè)特征Gj(x)判斷第2個(gè)圖像樣本是正樣本還是反樣本，......，直到，第j個(gè)弱分類器hj(x)根據(jù)第L個(gè)圖像樣本第j個(gè)特征Gj(x)判斷第L個(gè)圖像樣本是正樣本還是反樣本。
步驟805統(tǒng)計(jì)出每個(gè)弱分類器hj(x)的錯(cuò)誤率，選定錯(cuò)誤率最小的預(yù)定數(shù)目個(gè)弱分類器并將其對(duì)應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。
每個(gè)弱分類器hj(x)都要對(duì)L個(gè)圖像樣本是正樣本還是反樣本進(jìn)行判斷，其中必定有判斷錯(cuò)的樣本，換句話說(shuō)，弱分類器hj(x)可能將正樣本認(rèn)定為反樣本，也可能將正樣本認(rèn)定為反樣本。將該弱分類器統(tǒng)計(jì)錯(cuò)誤的圖像樣本的權(quán)重求得，就可以得到這個(gè)弱分類器hj(x)的加權(quán)錯(cuò)誤率。之后，將錯(cuò)誤率最小的預(yù)定數(shù)目個(gè)弱分類器對(duì)應(yīng)的特征作為當(dāng)前輪的特征挑選結(jié)果。在一個(gè)實(shí)施例中，所述預(yù)定數(shù)目是1，也可以是，2或3等等，操作者可以根據(jù)實(shí)際情況設(shè)定這個(gè)數(shù)目。
步驟806減小選定的弱分類器判斷正確的圖像樣本的權(quán)重，增加選定的弱分類器判斷錯(cuò)誤的圖像樣本的權(quán)重，并對(duì)更新后的圖像樣本的權(quán)重進(jìn)行歸一化，使所有樣本的權(quán)重之和等于1，返回103，進(jìn)入下一輪迭代，直至完成設(shè)定輪次，挑選出預(yù)定數(shù)目的特征。
上面的挑選方法針對(duì)的是兩類問題。對(duì)于多類問題，可以結(jié)合模式分類算法的實(shí)現(xiàn)架構(gòu)設(shè)計(jì)挑選方法。如果模式分類算法采用的是一對(duì)多的架構(gòu)，我們將特征挑選過程分解為多個(gè)兩類問題，每個(gè)兩類問題中其中一類是某類樣本，另一類則對(duì)應(yīng)其他樣本。如果模式識(shí)別問題采用的是一對(duì)一的架構(gòu)，即將多類模式識(shí)別問題分解為多個(gè)兩類一對(duì)一問題，每個(gè)兩類問題中的一類為任一類輸入樣本，第二類為另一類輸入樣本。這樣在特征挑選時(shí)需要考慮多個(gè)類似圖8的AdaBoost模塊流程，我們將各個(gè)AdaBoost模塊流程同步實(shí)現(xiàn)，即將所有AdaBoost模塊的第t輪弱分類器返回的錯(cuò)誤率加起來(lái)，將總的錯(cuò)誤率最小的特征返回，作為該輪的特征挑選結(jié)果。各輪特征挑選完畢后再根據(jù)當(dāng)前的各個(gè)AdaBoost模塊的錯(cuò)誤率更新權(quán)重，挑選下一組特征。
圖2中步驟201以及圖3中步驟305所述支持向量機(jī)(SVM)是統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展出的一種模式識(shí)別方法。該算法是從線性可分情況下的最優(yōu)分類面提出的?？紤]圖9中所示的兩類線性可分情況，設(shè)樣本集(xi，yi)，i＝1，...，n，x∈Rd，y∈{+1，-1}，其中yi是模式xi的類別標(biāo)號(hào)，H:w·x+b＝0為分類界面，H1、H2分別為平行于H且與H距離為1/‖w‖的兩平面，它們之間的距離叫做分類間隔(margin)。支持向量機(jī)的基本思想就是希望找到一個(gè)最優(yōu)線性分類面，使分類間隔盡量大，即‖w‖盡量小，并且在訓(xùn)練集上分類錯(cuò)誤盡量少。最優(yōu)分類面的求解問題實(shí)際上一個(gè)不等式約束下的二次函數(shù)極值問題，其最優(yōu)解為w=Σi=1nαiyixi]]>其中αi為權(quán)重。對(duì)多數(shù)樣本αi為零，少數(shù)不為零的αi對(duì)應(yīng)的就是支持向量，即位于H1和H2兩平面上的樣本。最優(yōu)分類函數(shù)則為f(x)=sgn[(w·x)+b]=sgn[Σi=1nαiyi(xi·x)+b]]]>sgn()為符號(hào)函數(shù)。f(x)為1則表示識(shí)別為第一類樣本，即y＝1，否則認(rèn)為識(shí)別為第二類樣本。將上式中特征向量的點(diǎn)擊運(yùn)算改為內(nèi)積，且內(nèi)積滿足Mercer條件，就可以將線性SVM擴(kuò)展為廣義的非線性SVM，即f(x)=sgn[(w·x)+b]=sgn[Σi=1nαiyiK(xi,·x)+b]]]>采用不同的內(nèi)積函數(shù)將導(dǎo)致不同的支持向量機(jī)算法，如多項(xiàng)式內(nèi)積、S形函數(shù)、徑向核函數(shù)(RBF)等，與線性SVM相比，非線性SVM將最優(yōu)分類面擴(kuò)展為非線性的，可以實(shí)現(xiàn)很多線性不可分情形的分類，因此分類準(zhǔn)確率也得到提高。我們?cè)趯?shí)現(xiàn)人臉識(shí)別時(shí)，采用了基于RBF的SVM算法，即K(x,xi)=exp{-||x-xi||σ2}]]>SVM在用于多類人臉的識(shí)別時(shí)，有一對(duì)一和一對(duì)多兩種實(shí)現(xiàn)形式。一對(duì)一的SVM是在算法為任兩類樣本訓(xùn)練SVM分類器，這樣如果有N類樣本，則需要訓(xùn)練N×(N-1)/2個(gè)分類器。識(shí)別時(shí)將樣本依次輸入到各個(gè)SVM分類器中，每次判決都將淘汰一類樣本。當(dāng)然如果某個(gè)分類器對(duì)應(yīng)的兩個(gè)樣本均已淘汰，則跳過該分類器，所有判決完成后剩下的那個(gè)類別就是識(shí)別結(jié)果。一對(duì)一分類器的主要問題是訓(xùn)練時(shí)只考慮了各類訓(xùn)練樣本，大量的反樣本數(shù)據(jù)都浪費(fèi)掉了，且這種分類器無(wú)法實(shí)現(xiàn)反樣本的拒識(shí)，因此無(wú)法應(yīng)用于人臉認(rèn)證算法。
一對(duì)多的SVM算法只需要為每個(gè)類別分別訓(xùn)練一個(gè)分類器，每次訓(xùn)練時(shí)正樣本就是該類別的訓(xùn)練數(shù)據(jù)，而反樣本則包含了其他各類數(shù)據(jù)及所有的反樣本數(shù)據(jù)。由于這個(gè)方法考慮了眾多的反樣本數(shù)據(jù)，訓(xùn)練完后得到的最優(yōu)分界面可以比較準(zhǔn)確地將當(dāng)前類別樣本與其他類別樣本分離開來(lái)，因此在實(shí)現(xiàn)多個(gè)人臉的自動(dòng)認(rèn)證時(shí)，一對(duì)多的SVM算法有非常好的應(yīng)用價(jià)值。
一對(duì)多SVM的認(rèn)證過程也比較簡(jiǎn)單，將輸入樣本挑選后的特征輸入到N個(gè)SVM分類器中，如果所有分類器會(huì)拒識(shí)輸入特征，則認(rèn)為輸入人臉與訓(xùn)練庫(kù)中所有類別都不相似，算法輸出拒識(shí)的結(jié)果；反之，如果輸入特征僅通過了一個(gè)分類器，而被其他所有分類器拒識(shí)，則該分類器對(duì)應(yīng)的類別就是人臉識(shí)別的結(jié)果；另一種特殊情況就是輸入特征通過了不止一個(gè)SVM分類器，算法認(rèn)為其與多個(gè)類別相似，從我們實(shí)驗(yàn)結(jié)果看，這種情形非常少見，因?yàn)槲覀冊(cè)诜诸惼饔?xùn)練時(shí)各類樣本都互為其他類別的反樣本，但當(dāng)不同類別的人臉比較相似時(shí)，這種情況也會(huì)出現(xiàn)。此時(shí)我們采取一種簡(jiǎn)化方法解決這個(gè)問題，由于各個(gè)一對(duì)多SVM算法都會(huì)為每個(gè)樣本輸出一個(gè)判決數(shù)值J(x)=Σi=1nαiyiK(xi,x)+b,]]>這個(gè)數(shù)值在一定程度上也反映了輸入樣本與對(duì)應(yīng)類別的接近程度，及與對(duì)應(yīng)反樣本的差距大小。該數(shù)值越大，則表示輸入樣本與當(dāng)前類別越相似，與其他類別差異越大。因此我們根據(jù)這個(gè)判決數(shù)值的大小處理這種特殊情況，即將未輸出拒識(shí)結(jié)果的SVM分類器返回的J(x)=Σi=1nαiyiK(xi,x)+b]]>進(jìn)行排序，將最大數(shù)對(duì)應(yīng)的類別作為人臉識(shí)別的結(jié)果。這盡管是一個(gè)近似的結(jié)果，但從實(shí)際結(jié)果看，這個(gè)方法的效果還是非常不錯(cuò)的。
下面結(jié)合一對(duì)多SVM，對(duì)圖2中步驟205、206所述的相似度的計(jì)算進(jìn)行說(shuō)明。
基于一對(duì)多SVM的人臉認(rèn)證算法會(huì)為每個(gè)輸入人臉輸出一個(gè)判決數(shù)據(jù)Jn(x)，n＝0，1，...，N-1，反映了當(dāng)前人臉與對(duì)應(yīng)類別的相似程度。我們將各個(gè)類別臉形數(shù)幀的判決數(shù)據(jù)組合起來(lái)，得到一個(gè)反映多幀識(shí)別信息的新的判決數(shù)Ln(x)，n＝0，1，...，N-1，我們將這個(gè)數(shù)作為各個(gè)類別的識(shí)別相似度。設(shè)在前面k-1幀我們求得一個(gè)相似度為L(zhǎng)nk-1(x)，n＝0，1，...，N-1，第k幀的SVM返回?cái)?shù)為Jnk(x)，n＝0，1，...，N-1，則k幀的相似度計(jì)算式為L(zhǎng)nk(x)=min(max(Lnk-1(x)+Jnk,min_data),max_data)]]>即人臉的相似度是累加的，不過累加數(shù)需要限制最大和最小值。這樣當(dāng)連續(xù)數(shù)幀某個(gè)類別的Jn(x)都大于零時(shí)，則總的相似度Ln(x)將逐漸增加；反之則逐漸減少。如果在第k幀所有類別的Lkn(x)都小于零，則拒識(shí)該人臉；如果有一個(gè)或者多個(gè)Lkn(x)大于零，則將數(shù)值最大Lkn(x)對(duì)應(yīng)的類別作為人臉認(rèn)證的結(jié)果。如圖10A所示，為一幀輸入人臉，圖10B是輸出結(jié)果，圖中各人的Lkn(x)用柱狀圖顯示，中間黑線是相似度判決閾值，本發(fā)明將這個(gè)閾值直接設(shè)為零。
綜上所述，本發(fā)明充分利用了多視頻合成和人臉識(shí)別技術(shù)，也就是把捕捉視頻設(shè)備捕捉到的視頻和背景視頻進(jìn)行多方位的合成，形成了最終的屏幕保護(hù)程序。在這個(gè)過程中，增加了人臉識(shí)別技術(shù)，可以利用已經(jīng)采集的人臉數(shù)據(jù)，對(duì)屏幕保護(hù)程序提供人臉驗(yàn)證保護(hù)功能。
權(quán)利要求
1.一種基于人臉認(rèn)證的屏幕保護(hù)方法，其特征在于，包括如下步驟(1)設(shè)定對(duì)從視頻捕捉設(shè)備捕捉到的視頻圖像啟動(dòng)人臉認(rèn)證的條件；(2)播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；(3)將視頻捕獲設(shè)備捕捉到的視頻圖像拆分成多路視頻流；(4)將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；(5)檢測(cè)步驟(1)設(shè)定的啟動(dòng)條件是否滿足，如果滿足，則在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，認(rèn)證通過時(shí)開鎖屏幕保護(hù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述步驟(1)中的啟動(dòng)條件，包括無(wú)條件啟動(dòng)，或當(dāng)視頻圖像中的人臉面積占據(jù)整幀圖像面積的一定比例時(shí)啟動(dòng)。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟(3)中，進(jìn)一步包括將視頻捕獲設(shè)備捕捉到的視頻圖像進(jìn)行編碼轉(zhuǎn)換。
4.如權(quán)利要求3所述的方法，其特征在于，所述步驟(3)中，將捕捉到的視頻圖像轉(zhuǎn)換成RGB24格式。
5.如權(quán)利要求1所述的方法，其特征在于，所述步驟(5)，包括(51)通過人臉樣本圖像，為每個(gè)需要認(rèn)證的用戶訓(xùn)練獲得一個(gè)支持向量機(jī)人臉模型；(52)采集視頻捕獲設(shè)備輸入的視頻圖像，搜索并檢測(cè)圖像中的正面人臉，并對(duì)其進(jìn)行持續(xù)追蹤與驗(yàn)證，確保追蹤的人臉是正面人臉；(53)自動(dòng)標(biāo)定正面人臉中的器官特征點(diǎn)，并據(jù)此對(duì)檢測(cè)到的人臉進(jìn)行預(yù)處理；(54)計(jì)算經(jīng)過預(yù)處理后的人臉圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(55)將挑選后的低維特征向量輸入到所述人臉模型中，進(jìn)行人臉識(shí)別，返回與各人臉模型的相似度數(shù)據(jù)；(56)根據(jù)所述返回的相似度數(shù)據(jù)，輸出最終的人臉認(rèn)證結(jié)果。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟(56)，是結(jié)合連續(xù)數(shù)幀圖像的相似度數(shù)值，輸出最終的人臉認(rèn)證結(jié)果。
7.如權(quán)利要求5所述的方法，其特征在于，所述步驟(51)包括(1A)針對(duì)每個(gè)需要認(rèn)證的用戶，采集正樣本與反樣本人臉圖像；(1B)對(duì)所有樣本人臉進(jìn)行標(biāo)定，確定人臉樣本中的人臉器官特征點(diǎn)位置；(1C)根據(jù)標(biāo)定結(jié)果，對(duì)所有樣本圖像進(jìn)行預(yù)處理；(1D)計(jì)算經(jīng)過預(yù)處理后的樣本圖像的Gabor特征，從高維Gabor特征中挑選出分類能力最強(qiáng)的部分Gabor特征組成低維特征向量；(1E)利用所述低維特征向量，采用支持向量機(jī)對(duì)不同認(rèn)證用戶進(jìn)行訓(xùn)練，為每個(gè)用戶獲得一個(gè)的支持向量機(jī)人臉模型。
8.一種基于人臉認(rèn)證的屏幕保護(hù)裝置，其特征在于，包括條件設(shè)定模塊，用于設(shè)定對(duì)從視頻捕捉設(shè)備捕捉到的視頻圖像啟動(dòng)人臉認(rèn)證的條件；背景播放模塊，用于播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；視頻拆分模塊，用于將視頻捕獲設(shè)備捕捉到的視頻圖像拆分成多路視頻流；視頻合成模塊，用于將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；人臉認(rèn)證模塊，用于檢測(cè)所述條件設(shè)定模塊設(shè)定的啟動(dòng)條件是否滿足，如果滿足，則在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，認(rèn)證通過時(shí)開鎖屏幕保護(hù)。
9.如權(quán)利要求8所述的裝置，其特征在于，所述條件設(shè)定模塊，設(shè)置的啟動(dòng)條件，包括無(wú)條件啟動(dòng)，或當(dāng)視頻圖像中的人臉面積占據(jù)整幀圖像面積的一定比例時(shí)啟動(dòng)。
10.如權(quán)利要求8所述的裝置，其特征在于，進(jìn)一步包括編碼轉(zhuǎn)換模塊，用于將視頻捕獲設(shè)備捕捉到的視頻圖像進(jìn)行編碼轉(zhuǎn)換。
11.如權(quán)利要求10所述的裝置，其特征在于，所述編碼轉(zhuǎn)換模塊，將捕捉到的視頻圖像轉(zhuǎn)換成RGB24格式。
全文摘要
本發(fā)明公開了一種基于人臉認(rèn)證的屏幕保護(hù)方法及裝置，包括(1)播放背景視頻文件作為當(dāng)前屏幕保護(hù)圖像的背景；(2)將視頻捕獲設(shè)備捕捉到的視頻圖像拆分成多路視頻流；(3)將所述多路視頻流與所述背景視頻進(jìn)行合成并顯示；(4)在所述由視頻捕獲設(shè)備捕捉到的視頻圖像中進(jìn)行人臉識(shí)別，將識(shí)別出的人臉與數(shù)據(jù)庫(kù)中存儲(chǔ)的基礎(chǔ)模型進(jìn)行比對(duì)認(rèn)證，符合條件時(shí)開鎖屏幕保護(hù)。本發(fā)明豐富了用戶對(duì)攝像頭設(shè)備的使用，讓用戶在使用屏幕保護(hù)的過程當(dāng)中，體驗(yàn)到人臉識(shí)別、背景視頻等技術(shù)給人們帶來(lái)的樂趣和安全保障，極大地豐富了人們的娛樂生活。
文檔編號(hào)G06K9/00GK1862487SQ20061001228
公開日2006年11月15日 申請(qǐng)日期2006年6月15日 優(yōu)先權(quán)日2006年6月15日
發(fā)明者劉凱, 黃英 申請(qǐng)人:北京中星微電子有限公司