本發(fā)明涉及圖像處理技術(shù),尤其涉及一種圖像處理方法及其裝置。
背景技術(shù):
當(dāng)前頭部朝向估計(jì)方法大致分成兩大類:第一類,基于模型方法;第二類,基于表觀方法。其中,基于模型的頭部朝向估計(jì)方法一般都是通過重建頭部三維模型來判斷頭部朝向的,此類方法比較準(zhǔn)確,但需要龐大的計(jì)算量,因此不適合實(shí)時(shí)計(jì)算;而基于表觀的頭部朝向估計(jì)方法有兩種:一是基于特征表示的魯棒性來估計(jì)頭部朝向;二是基于人臉及頭部的特征點(diǎn)來估計(jì)頭部朝向;這里,基于特征表示魯棒性的頭部朝向估計(jì)方法是依靠某種特征對姿態(tài)變化不敏感的性質(zhì)來完成人臉姿態(tài)的估計(jì),估計(jì)的準(zhǔn)確率嚴(yán)重依賴于特征表示的性質(zhì);基于人臉特征點(diǎn)的頭部朝向估計(jì)方法是通過在圖像上標(biāo)注多個(gè)人臉的特征點(diǎn)并通過特征點(diǎn)之間的幾何關(guān)系來判定頭部朝向的,該方法估計(jì)的準(zhǔn)確率依賴于特征點(diǎn)檢測的準(zhǔn)確率。通過上述過程可以看出,現(xiàn)有估計(jì)方法要么計(jì)算量龐大,不適合實(shí)時(shí)計(jì)算;要么過于依賴特征算子,導(dǎo)致不同訓(xùn)練集得到的結(jié)果的差異性較大。
技術(shù)實(shí)現(xiàn)要素:
為解決現(xiàn)有存在的技術(shù)問題,本發(fā)明實(shí)施例提供了一種圖像處理方法及其裝置,能至少解決現(xiàn)有技術(shù)中存在的上述問題。
本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的:
本發(fā)明實(shí)施例第一方面提供了一種圖像處理方法,包括:
確定圖像集;所述圖像集包含針對第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的第一圖像;
提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;
根據(jù)所述圖像集中第一圖像的姿態(tài)特征確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及根據(jù)所述圖像集中第一圖像的局部特征確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組;
其中,所述姿態(tài)匹配模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)的姿態(tài)模型;所述頭部識別模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)下頭部細(xì)節(jié)的頭部模型。
本發(fā)明實(shí)施例第二方面提供了一種圖像處理裝置,包括:
采集單元,用于確定圖像集;所述圖像集包含針對第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的第一圖像;
特征提取單元,用于提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;
圖像處理單元,用于根據(jù)所述圖像集中第一圖像的姿態(tài)特征確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及根據(jù)所述圖像集中第一圖像的局部特征確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組;
其中,所述姿態(tài)匹配模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)的姿態(tài)模型;所述頭部識別模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)下頭部細(xì)節(jié)的頭部模型。
本發(fā)明實(shí)施例所述的圖像處理方法及其裝置,能夠提取出圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征,并利用提取出的姿態(tài)特征確定出能夠用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及利用提取出的局部特征確定出能夠用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組,這樣,為圖像識別、身份識別等應(yīng)用提供了應(yīng)用基礎(chǔ);而且,由于本發(fā)明實(shí)施例所述的方法能夠確定出兩個(gè)模型,分別為姿態(tài)匹配模型組和頭部識別模型組,而且,確定出的所述姿態(tài)匹配模型組中包含有針對不同頭部姿態(tài)的姿態(tài)模型,確定出的頭部識別模型組中包含有處于不同頭部姿態(tài)下的頭部模型,所以,能夠?qū)崿F(xiàn)有針對性識別的目的,即針對不同的頭部姿態(tài)進(jìn)行識別,為提升識別通過率奠定了基礎(chǔ),也豐富了識別方式。
附圖說明
圖1為本發(fā)明實(shí)施例一圖像處理方法的流程示意圖;
圖2為本發(fā)明實(shí)施例圖像集所包含的針對第一目標(biāo)體不同頭部姿態(tài)的第一圖像的示意圖;
圖3為本發(fā)明實(shí)施例根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)確定出姿態(tài)匹配模型組的示意圖;
圖4為本發(fā)明實(shí)施例根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)確定出姿態(tài)匹配模型組的流程示意圖;
圖5為本發(fā)明實(shí)施例根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)確定出頭部識別模型組的示意圖;
圖6為本發(fā)明實(shí)施例根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)確定出頭部識別模型組的流程示意圖;
圖7為本發(fā)明實(shí)施例圖像集所包含的針對第一目標(biāo)體不同頭部姿態(tài)的第一圖像,以及針對第二目標(biāo)體不同頭部姿態(tài)的第二圖像的示意圖;
圖8為本發(fā)明實(shí)施例根據(jù)不同目標(biāo)體的同一頭部姿態(tài)確定出姿態(tài)匹配模型組的示意圖;
圖9為本發(fā)明實(shí)施例根據(jù)不同目標(biāo)體的同一頭部姿態(tài)確定出姿態(tài)匹配模型組的流程示意圖;
圖10為本發(fā)明實(shí)施例根據(jù)不同目標(biāo)體的同一頭部姿態(tài)確定出頭部識別模型組的示意圖;
圖11為本發(fā)明實(shí)施例根據(jù)不同目標(biāo)體的同一頭部姿態(tài)確定出頭部識別模型組的流程示意圖;
圖12為本發(fā)明實(shí)施例利用姿態(tài)匹配模型組和頭部識別模型組來進(jìn)行人臉識別的方法的流程示意圖;
圖13為本發(fā)明實(shí)施例圖像處理方法的具體應(yīng)用的流程示意圖;
圖14為本發(fā)明實(shí)施例圖像處理裝置的邏輯單元的結(jié)構(gòu)示意圖;
圖15為本發(fā)明實(shí)施例圖像處理裝置的硬件結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了能夠更加詳盡地了解本發(fā)明的特點(diǎn)與技術(shù)內(nèi)容,下面結(jié)合附圖對本發(fā)明的實(shí)現(xiàn)進(jìn)行詳細(xì)闡述,所附附圖僅供參考說明之用,并非用來限定本發(fā)明。
實(shí)施例一
本實(shí)施例提供了一種圖像處理方法,所述方法應(yīng)用于圖像處理裝置中;具體地,如圖1所示,所述方法包括:
步驟101:確定圖像集;所述圖像集包含針對第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的第一圖像;
具體地,圖2為本發(fā)明實(shí)施例圖像集所包含的針對第一目標(biāo)體不同頭部姿態(tài)的第一圖像的示意圖;如圖2所示,所述圖像集中包含有針對第一目標(biāo)體的四個(gè)頭部朝向的第一圖像,分別為頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4。這里,在實(shí)際應(yīng)用中,所述圖像集中的元素是通過第一圖像的向量表示的,例如,所述圖像集包含的針對所述第一目標(biāo)體的頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4均是通過向量來表示的。
步驟102:提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;
本實(shí)施例中,所述姿態(tài)特征可以具體為方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征;所述局部特征可以具體為Gabor特征。當(dāng)然,在實(shí)際應(yīng)用中,所述姿態(tài)特征和所述局部特征還可以具體為其他算子,如所述姿態(tài)特征還可以具體為:Canny算子等;所述局部特征還可以具體為:局部二值模式(LBP,Local Binary Patterns)特征等,本實(shí)施例對此不作限制。
進(jìn)一步地,本實(shí)施例以姿態(tài)特征為HOG特征,局部特征為Gabor特征為例,此時(shí),步驟102具體為:提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的HOG特征,以及提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的Gabor特征。具體地,以圖像集包含有圖2所示的四個(gè)圖像為例,步驟102則為:分別提取出頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4的HOG特征以及Gabor特征。這里,所述HOG特征即可表征出所述第一圖像的頭部姿態(tài);所述Gabor特征接口表征出所述第一圖像處于自身對應(yīng)的頭部姿態(tài)下的頭部細(xì)節(jié)(如面部細(xì)節(jié)等)特征。
步驟103:根據(jù)所述圖像集中第一圖像的姿態(tài)特征確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及根據(jù)所述圖像集中第一圖像的局部特征確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組;
其中,所述姿態(tài)匹配模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)的姿態(tài)模型;所述頭部識別模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)下頭部細(xì)節(jié)的頭部模型。
具體地,當(dāng)所述姿態(tài)特征具體為HOG特征,所述局部特征具體為Gabor特征時(shí),所述姿態(tài)模型即為針對于所述HOG特征的模型;而所述頭部模型即為針對所述Gabor特征的模型,其中,每一頭部姿態(tài)對應(yīng)一個(gè)姿態(tài)模型和一個(gè)頭部模型;進(jìn)一步地,所述姿態(tài)匹配模型組則具體由對應(yīng)不同頭部姿態(tài)的針對所述HOG特征的姿態(tài)模型組成;而所述頭部識別模型組則具體由對應(yīng)不同頭部姿態(tài)下的針對所述Gabor特征的頭部模型組成。這里,繼續(xù)以圖像集包含有圖2所示的四個(gè)圖像為例,所述姿態(tài)匹配模型組中的姿態(tài)模型可以是根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)對應(yīng)的HOG特征而確定出的;如圖3所示,所述姿態(tài)匹配模型組則是由針對頭部朝上的第一圖像-1中第一目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-1、針對頭部朝下的第一圖像-2中第一目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-2、針對頭部朝左的第一圖像-3中第一目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-3以及針對頭部朝右的第一圖像-4中第一目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-4組成;具體地,如圖4所示,針對于同一目標(biāo)體(也即第一目標(biāo)體)的不同頭部姿態(tài)確定出姿態(tài)匹配模型組的步驟包括:確定包含有針對第一目標(biāo)體的頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4;分別提取出頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4的HOG特征;根據(jù)提取出的第一圖像-1對應(yīng)的HOG特征、第一圖像-2對應(yīng)的HOG特征、第一圖像-3對應(yīng)的HOG特征以及第一圖像-4對應(yīng)的HOG特征,確定出針對頭部朝上的第一目標(biāo)體的姿態(tài)模型-1、針對頭部朝下的第一目標(biāo)體的姿態(tài)模型-2、針對頭部朝左的第一目標(biāo)體的姿態(tài)模型-3以及針對頭部朝右的第一目標(biāo)體的姿態(tài)模型-4,進(jìn)而將所述姿態(tài)模型-1、姿態(tài)模型-2、姿態(tài)模型-3以及姿態(tài)模型-4組成姿態(tài)匹配模型組。
相應(yīng)地,所述頭部識別模型組中的頭部模型也可以是根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)下的Gabor特征而確定出的;如圖5所示,所述頭部識別模型組則是由針對頭部朝上的第一圖像-1中第一目標(biāo)體對應(yīng)的Gabor特征的頭部模型-1、針對頭部朝下的第一圖像-2中第一目標(biāo)體對應(yīng)的Gabor特征的頭部模型-2、針對頭部朝左的第一圖像-3中第一目標(biāo)體對應(yīng)的Gabor特征的頭部模型-3以及針對頭部朝右的第一圖像-4中第一目標(biāo)體對應(yīng)的Gabor特征的頭部模型-4組成。具體地,如圖6所示,針對于同一目標(biāo)體(也即第一目標(biāo)體)的不同頭部姿態(tài)確定出頭部識別模型組的步驟包括:確定包含有針對第一目標(biāo)體的頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4;分別提取出頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3以及頭部朝右的第一圖像-4的Gabor特征;根據(jù)提取出的第一圖像-1對應(yīng)的Gabor特征、第一圖像-2對應(yīng)的Gabor特征、第一圖像-3對應(yīng)的Gabor特征以及第一圖像-4對應(yīng)的Gabor特征,確定出針對頭部朝上的第一目標(biāo)體的頭部模型-1、針對頭部朝下的第一目標(biāo)體的頭部模型-2、針對頭部朝左的第一目標(biāo)體的頭部模型-3以及針對頭部朝右的第一目標(biāo)體的頭部模型-4,進(jìn)而將所述頭部模型-1、頭部模型-2、頭部模型-3以及頭部模型-4組成頭部識別模型組。
這樣,便于在圖像識別過程(如人臉核驗(yàn)過程)中,利用所述姿態(tài)匹配模型組去檢測待檢測圖像中檢測對象的頭部姿態(tài),進(jìn)而在確定出所述檢測對象的頭部姿態(tài)后,利用與確定出的頭部姿態(tài)相對應(yīng)的頭部模型,去對所述檢測對象進(jìn)行核驗(yàn),為提升通過率奠定了基礎(chǔ)。
本實(shí)施例中,可以根據(jù)如下方式構(gòu)建姿態(tài)匹配模型組(以下稱為頭部朝向識別模型),例如,利用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)來構(gòu)建頭部朝向識別模型,或者利用LVQ(Learning Vector Quantization)神經(jīng)網(wǎng)絡(luò)來構(gòu)建頭部朝向識別模型;具體地,對人臉圖像進(jìn)行預(yù)處理,構(gòu)建BP網(wǎng)絡(luò)或LVQ網(wǎng)絡(luò),利用構(gòu)建的BP網(wǎng)絡(luò)或LVQ網(wǎng)絡(luò)對預(yù)處理后的人臉圖像進(jìn)行訓(xùn)練,以提取出人臉朝向特征,進(jìn)而得到人臉頭部朝向識別模型。
本發(fā)明實(shí)施例所述的方法,能夠提取出圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征,并利用提取出的姿態(tài)特征確定出能夠用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及利用提取出的局部特征確定出能夠用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組,這樣,為圖像識別、身份識別等應(yīng)用提供了應(yīng)用基礎(chǔ);而且,由于本發(fā)明實(shí)施例所述的方法能夠確定出兩個(gè)模型,分別為姿態(tài)匹配模型組和頭部識別模型組,而且,確定出的所述姿態(tài)匹配模型組中包含有針對不同頭部姿態(tài)的姿態(tài)模型,確定出的頭部識別模型組中包含有處于不同頭部姿態(tài)下的頭部模型,所以,能夠?qū)崿F(xiàn)有針對性識別的目的,即針對不同的頭部姿態(tài)進(jìn)行識別,為提升識別通過率奠定了基礎(chǔ),也豐富了識別方式。
另外,利用本發(fā)明實(shí)施例所述的方法進(jìn)行識別時(shí),無需重建頭部三維模型來判斷朝向,只需利用已經(jīng)建立的姿態(tài)匹配模型組來判斷頭部朝向,所以,與現(xiàn)有重建頭部三維模型的方式相比,本發(fā)明實(shí)施例在保證準(zhǔn)確率的基礎(chǔ)上,降低了計(jì)算量,便于大規(guī)模應(yīng)用。
而且,本發(fā)明實(shí)施例所述的方法建立出的姿態(tài)匹配模型組中包含有不同朝向的姿態(tài)模型,也就是說,在識別時(shí),可以將檢測對象與不同朝向的姿態(tài)模型去做匹配,進(jìn)而根據(jù)匹配程度最高的姿態(tài)模型對應(yīng)的朝向作為檢測對象的朝向,所以,與現(xiàn)有基于表觀方法,如僅提取特征對姿態(tài)變化不敏感的部分進(jìn)行朝向估計(jì),或通過選取人臉特征點(diǎn)來判斷朝向的方式相比,利用本發(fā)明實(shí)施例建立的姿態(tài)匹配模型組去判斷朝向的準(zhǔn)確率更高。
實(shí)施例二
基于實(shí)施例一所述的方法,本實(shí)施例提供了一種基于相關(guān)濾波器技術(shù)來確定姿態(tài)匹配模型組和頭部識別模型組的方法;這里,所述相關(guān)濾波器技術(shù)源于相關(guān)運(yùn)算,所述相關(guān)運(yùn)算是計(jì)算兩種模型之間的相似程度的一種運(yùn)算;例如,假設(shè)有兩張圖片R、T,在二維上將它們定義為兩個(gè)模式,即R(x,y)和T(x,y),兩個(gè)模式之間的相關(guān)運(yùn)算為:(T*R)(x,y)=∫∫T(x,y)R(x-Γx,y-Γy)dΓxdΓy;將兩個(gè)模式轉(zhuǎn)化到頻域上并將R(x,y)作為濾波器,則相關(guān)運(yùn)算可認(rèn)為是用R(x,y)濾波器對T(x,y)進(jìn)行濾波,即為相關(guān)濾波器。由于相關(guān)濾波器具有時(shí)移不變性、良好的退化性和閉式解等優(yōu)點(diǎn),它已經(jīng)有效地應(yīng)用在了人臉識別上。
具體地,根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)對應(yīng)的HOG特征確定出針對HOG特征的相關(guān)濾波器,即根據(jù)所述圖像集中針對所述至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)的姿態(tài)特征,確定出所述至少兩個(gè)頭部姿態(tài)之間的第一姿態(tài)相關(guān)特征(即根據(jù)相關(guān)濾波器確定出的相關(guān)特征);基于所述第一姿態(tài)相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的姿態(tài)特征,確定出針對每一頭部姿態(tài)的第一姿態(tài)模型;至少利用針對每一頭部姿態(tài)的第一姿態(tài)模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。也就是說,在實(shí)際應(yīng)用中,可以首先根據(jù)同一第一目標(biāo)體在不同頭部姿態(tài)下的HOG特征,確定出針對HOG特征的相關(guān)濾波器,也即第一姿態(tài)相關(guān)特征,進(jìn)而再利用相關(guān)濾波器(即第一姿態(tài)相關(guān)特征)以及每一種頭部姿態(tài)下的第一目標(biāo)體的HOG特征確定出針對每一頭部姿態(tài)的第一姿態(tài)模型,進(jìn)而通過上述方法確定出不同頭部姿態(tài)下的針對第一目標(biāo)體HOG特征的第一姿態(tài)模型,以利用不同頭部姿態(tài)下的針對第一目標(biāo)體HOG特征的第一姿態(tài)模型組成姿態(tài)匹配模型組,此時(shí),所述姿態(tài)匹配模型組是基于相關(guān)濾波器技術(shù)確定出的。例如,利用圖4所示的四種朝向的第一目標(biāo)體對應(yīng)的HOG特征確定出相關(guān)濾波器,進(jìn)而在利用確定出的相關(guān)濾波器確定出針對每種朝向的第一目標(biāo)體HOG特征對應(yīng)第一姿態(tài)模型,進(jìn)而將不同朝向的第一目標(biāo)體HOG特征對應(yīng)第一姿態(tài)模型組合成姿態(tài)匹配模型組。當(dāng)然,在實(shí)際應(yīng)用中,可以利用第一目標(biāo)體對應(yīng)的所有頭部姿態(tài)的HOG特征來確定第一姿態(tài)相關(guān)特征;還可以利用第一目標(biāo)體對應(yīng)的所有頭部姿態(tài)中至少兩個(gè)頭部姿態(tài)的HOG特征來確定第一姿態(tài)相關(guān)特征,只要能夠使確定出的第一姿態(tài)相關(guān)特征為相關(guān)特征即可。
相應(yīng)地,根據(jù)同一第一目標(biāo)體的不同頭部姿態(tài)下的Gabor特征確定出針對Gabor特征的相關(guān)濾波器,即根據(jù)所述圖像集中針對所述至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)的局部特征,確定出所述至少兩個(gè)頭部姿態(tài)之間的第一局部相關(guān)特征(即根據(jù)相關(guān)濾波器確定出的相關(guān)特征);基于所述第一局部相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的局部特征,確定出針對每一頭部姿態(tài)的第一頭部模型;至少利用針對每一頭部姿態(tài)的第一頭部模型組成用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組。也就是說,在實(shí)際應(yīng)用中,可以首先根據(jù)同一第一目標(biāo)體在不同頭部姿態(tài)下的Gabor特征,確定出針對Gabor特征的相關(guān)濾波器,也即第一局部相關(guān)特征,進(jìn)而再利用確定出的相關(guān)濾波器(也即第一局部相關(guān)特征)以及每一種頭部姿態(tài)下的第一目標(biāo)體的Gabor特征確定出針對每一頭部姿態(tài)的第一頭部模型,進(jìn)而通過上述方法確定出不同頭部姿態(tài)下的針對第一目標(biāo)體Gabor特征的第一頭部模型,以利用不同頭部姿態(tài)下的針對第一目標(biāo)體Gabor特征的第一頭部模型組成頭部識別模型組,此時(shí),所述頭部識別模型組是基于相關(guān)濾波器技術(shù)確定出的。例如,利用圖6所示的四種朝向的第一目標(biāo)體對應(yīng)的Gabor特征確定出相關(guān)濾波器,進(jìn)而在利用確定出的相關(guān)濾波器確定出針對每種朝向的第一目標(biāo)體Gabor特征對應(yīng)第一頭部模型,進(jìn)而將不同朝向的第一目標(biāo)體Gabor特征對應(yīng)第一頭部模型組合成頭部識別模型組。當(dāng)然,在實(shí)際應(yīng)用中,可以利用第一目標(biāo)體對應(yīng)的所有頭部姿態(tài)的Gabor特征來確定第一局部相關(guān)特征;還可以利用第一目標(biāo)體對應(yīng)的所有頭部姿態(tài)中至少兩個(gè)頭部姿態(tài)的Gabor特征來確定第一局部相關(guān)特征,只要能夠使確定出的第一局部相關(guān)特征為相關(guān)特征即可。
這里,由于相關(guān)濾波器技術(shù)是通過提取樣本的大部分表征特征作為評判標(biāo)準(zhǔn)的,能夠利用相關(guān)濾波器技術(shù)確定出的姿態(tài)匹配模型組以及頭部識別模型組能夠在識別應(yīng)用中具有很好的容錯(cuò)能力,而且,提升了健壯性。
實(shí)施例三
基于實(shí)施例一所述的方法,本實(shí)施例還提供了一種基于相關(guān)濾波器技術(shù)來確定姿態(tài)匹配模型組和頭部識別模型組的方法。即根據(jù)不同目標(biāo)體(以第一目標(biāo)體和第二目標(biāo)體為例)的同一頭部姿態(tài)下的HOG特征以及Gabor特征分別確定出姿態(tài)匹配模型組以及頭部識別模型組。
具體地,獲取針對第二目標(biāo)體對應(yīng)的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的姿態(tài)特征,以及頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的姿態(tài)特征(此姿態(tài)特征即可是基于相關(guān)濾波器技術(shù)確定出的),確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組;以及,根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的局部特征,確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組。
這里,所述圖像集中還可以包含有針對第二目標(biāo)體的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的第二圖像;具體地,圖7為本發(fā)明實(shí)施例圖像集所包含的針對第一目標(biāo)體不同頭部姿態(tài)的第一圖像,以及針對第二目標(biāo)體不同頭部姿態(tài)的第二圖像的示意圖;如圖7所示,所述圖像集中包含有針對第一目標(biāo)體的四個(gè)頭部朝向的第一圖像以及針對第二目標(biāo)體的四個(gè)頭部朝向的第二圖像,分別為頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3和頭部朝右的第一圖像-4,以及頭部朝上的第二圖像-1、頭部朝下的第二圖像-2、頭部朝左的第二圖像-3和頭部朝右的第二圖像-4。當(dāng)然,在實(shí)際應(yīng)用中,所述圖像集中的元素是通過第一圖像和第二圖像的向量表示的。進(jìn)一步地,所述獲取針對第二目標(biāo)體對應(yīng)的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的姿態(tài)特征,以及頭部姿態(tài)下頭部細(xì)節(jié)的局部特征,可具體為:提取出每一第二圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第二圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征。當(dāng)確定出針對第一目標(biāo)體的不同頭部姿態(tài)的姿態(tài)特征,以及針對第二目標(biāo)體的不同頭部姿態(tài)的姿態(tài)特征后,可以根據(jù)第一目標(biāo)體和第二目標(biāo)體同一頭部姿態(tài)對應(yīng)的姿態(tài)特征確定出該同一頭部姿態(tài)下的姿態(tài)模型,進(jìn)而根據(jù)不同頭部姿態(tài)下的姿態(tài)模型組成姿態(tài)匹配模型組。相應(yīng)地,當(dāng)確定出針對第一目標(biāo)體在不同頭部姿態(tài)下的局部特征,以及針對第二目標(biāo)體在不同頭部姿態(tài)下的局部特征后,可以根據(jù)第一目標(biāo)體和第二目標(biāo)體在同一頭部姿態(tài)下的局部特征確定出頭部模型,進(jìn)而根據(jù)不同頭部姿態(tài)下的局部模型組成頭部識別模型組。具體地,如圖8所示,本實(shí)施例中所述姿態(tài)匹配模型組是由針對頭部朝上的第一圖像-1中第一目標(biāo)體和頭部朝上的第二圖像-1中第二目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-1、針對頭部朝下的第一圖像-2中第一目標(biāo)體和頭部朝下的第二圖像-2中第二目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-2、針對頭部朝左的第一圖像-3中第一目標(biāo)體和頭部朝左的第二圖像-3中第二目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-3,以及針對頭部朝右的第一圖像-4中第一目標(biāo)體和頭部朝右的第二圖像-4中第二目標(biāo)體對應(yīng)的HOG特征的姿態(tài)模型-4組成。具體地,如圖9所示,針對于不同目標(biāo)體的同一頭部姿態(tài)確定出姿態(tài)匹配模型組的步驟包括:確定針對第一目標(biāo)體的頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3和頭部朝右的第一圖像-4;以及確定針對第二目標(biāo)體的頭部朝上的第二圖像-1、頭部朝下的第二圖像-2、頭部朝左的第二圖像-3和頭部朝右的第二圖像-4;分別提取出頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3和頭部朝右的第一圖像-4的HOG特征,以及提取出頭部朝上的第二圖像-1、頭部朝下的第二圖像-2、頭部朝左的第二圖像-3和頭部朝右的第二圖像-4的HOG特征;根據(jù)提取出的第一圖像-1對應(yīng)的HOG特征以及第二圖像-1對應(yīng)的HOG特征,確定出頭部朝上的姿態(tài)模型-1;根據(jù)提取出的第一圖像-2對應(yīng)的HOG特征以及第二圖像-2對應(yīng)的HOG特征,確定出頭部朝下的姿態(tài)模型-2;以及根據(jù)提取出的第一圖像-3對應(yīng)的HOG特征以及第二圖像-3對應(yīng)的HOG特征,確定出頭部朝左的姿態(tài)模型-3;以及根據(jù)提取出的第一圖像-4對應(yīng)的HOG特征以及第二圖像-4對應(yīng)的HOG特征,確定出頭部朝右的姿態(tài)模型-4;進(jìn)而將所述姿態(tài)模型-1、姿態(tài)模型-2、姿態(tài)模型-3以及姿態(tài)模型-4組成姿態(tài)匹配模型組。
相應(yīng)地,如圖10所示,所述頭部識別模型組則是由針對頭部朝上的第一圖像-1中第一目標(biāo)體和頭部朝上的第二圖像-1中第二目標(biāo)體對應(yīng)的Gabor特征的頭部模型-1、針對頭部朝下的第一圖像-2中第一目標(biāo)體和頭部朝下的第二圖像-2中第二目標(biāo)體對應(yīng)的Gabor特征的頭部模型-2、針對頭部朝左的第一圖像-3中第一目標(biāo)體和頭部朝左的第二圖像-3中第二目標(biāo)體對應(yīng)的Gabor特征的頭部模型-3,以及針對頭部朝右的第一圖像-4中第一目標(biāo)體和頭部朝右的第二圖像-4中第二目標(biāo)體對應(yīng)的Gabor特征的頭部模型-4組成。具體地,如圖11所示,針對于不同目標(biāo)體的同一頭部姿態(tài)確定出頭部識別模型組的步驟包括:確定針對第一目標(biāo)體的頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3和頭部朝右的第一圖像-4;以及確定針對第二目標(biāo)體的頭部朝上的第二圖像-1、頭部朝下的第二圖像-2、頭部朝左的第二圖像-3和頭部朝右的第二圖像-4;分別提取出頭部朝上的第一圖像-1、頭部朝下的第一圖像-2、頭部朝左的第一圖像-3和頭部朝右的第一圖像-4的Gabor特征;以及提取出頭部朝上的第二圖像-1、頭部朝下的第二圖像-2、頭部朝左的第二圖像-3和頭部朝右的第二圖像-4的Gabor特征;根據(jù)提取出的第一圖像-1對應(yīng)的Gabor特征以及第二圖像-1對應(yīng)的Gabor,確定出頭部朝上的頭部模型-1;根據(jù)提取出的第一圖像-2對應(yīng)的Gabor特征以及第二圖像-2對應(yīng)的Gabor特征,確定出頭部朝下的頭部模型-2;根據(jù)提取出的第一圖像-3對應(yīng)的Gabor特征以及第二圖像-3對應(yīng)的Gabor特征,確定出頭部朝左的頭部模型-3;根據(jù)提取出的第一圖像-4對應(yīng)的Gabor特征以及第二圖像-4對應(yīng)的Gabor特征,確定出頭部朝右的頭部模型-4,進(jìn)而將所述頭部模型-1、頭部模型-2、頭部模型-3以及頭部模型-4組成頭部識別模型組。
這樣,便于在圖像識別過程(如人臉核驗(yàn)過程)中,利用所述姿態(tài)匹配模型組去檢測待檢測圖像中檢測對象的頭部姿態(tài),進(jìn)而在確定出所述檢測對象的頭部姿態(tài)后,利用與確定出的頭部姿態(tài)相對應(yīng)的頭部模型,去對所述檢測對象進(jìn)行核驗(yàn),為提升通過率奠定了基礎(chǔ)。
本實(shí)施例還可以根據(jù)不同目標(biāo)體(以第一目標(biāo)體和第二目標(biāo)體為例)的同一頭部姿態(tài)下的HOG特征確定出針對HOG特征的相關(guān)濾波器;即根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的姿態(tài)特征,確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組,可以具體包括:根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的姿態(tài)特征,確定出所述第一目標(biāo)體和所述第二目標(biāo)體之間的第二姿態(tài)相關(guān)特征;基于所述第二姿態(tài)相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的第一目標(biāo)體的姿態(tài)特征,確定出針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二姿態(tài)模型;至少利用針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二姿態(tài)模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。也就是說,在實(shí)際應(yīng)用中,可以首先根據(jù)不同目標(biāo)體在同一頭部姿態(tài)下的HOG特征,確定出針對HOG特征針對某一特定頭部姿態(tài)的相關(guān)濾波器,也即第二姿態(tài)相關(guān)特征,進(jìn)而再利用相關(guān)濾波器(即第二姿態(tài)相關(guān)特征)以及每一種頭部姿態(tài)下的第一目標(biāo)體的HOG特征確定出針對每一頭部姿態(tài)下的第一目標(biāo)體的第二姿態(tài)模型,進(jìn)而通過上述方法確定出不同頭部姿態(tài)下的針對第一目標(biāo)體HOG特征的第二姿態(tài)模型,以利用不同頭部姿態(tài)下的針對第一目標(biāo)體HOG特征的第二姿態(tài)模型組成姿態(tài)匹配模型組,此時(shí),所述姿態(tài)匹配模型組是基于相關(guān)濾波器技術(shù)確定出的。
相應(yīng)地,根據(jù)不同目標(biāo)體(以第一目標(biāo)體和第二目標(biāo)體為例)的同一頭部姿態(tài)下的Gabor特征確定出針對Gabor特征的相關(guān)濾波器,即根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的局部特征,確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組,具體包括:根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的局部特征,確定出所述第一目標(biāo)體和所述第二目標(biāo)體之間的第二局部相關(guān)特征;基于所述第二局部相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的第一目標(biāo)體的局部特征,確定出針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二頭部模型;至少利用針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二頭部模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。也就是說,在實(shí)際應(yīng)用中,可以首先根據(jù)不同目標(biāo)體在同一頭部姿態(tài)下的Gabor特征,確定出某一特定頭部姿態(tài)下的針對Gabor特征的相關(guān)濾波器,也即第二局部相關(guān)特征,進(jìn)而再利用確定出的相關(guān)濾波器(也即第二局部相關(guān)特征)以及每一種頭部姿態(tài)下的第一目標(biāo)體的Gabor特征確定出針對每一頭部姿態(tài)的第二頭部模型,進(jìn)而通過上述方法確定出不同頭部姿態(tài)下的針對第一目標(biāo)體Gabor特征的第二頭部模型,以利用不同頭部姿態(tài)下的針對第一目標(biāo)體Gabor特征的第二頭部模型組成頭部識別模型組,此時(shí),所述頭部識別模型組是基于相關(guān)濾波器技術(shù)確定出的。
這里,由于相關(guān)濾波器技術(shù)是通過提取樣本的大部分表征特征作為評判標(biāo)準(zhǔn)的,能夠利用相關(guān)濾波器技術(shù)確定出的姿態(tài)匹配模型組以及頭部識別模型組能夠在識別應(yīng)用中具有很好的容錯(cuò)能力,而且,提升了健壯性。
總上所述,本發(fā)明實(shí)施例所述的方法首先對圖像集中的圖像分類,即分為頭部朝上、頭部朝下、頭部朝左和頭部朝右,并訓(xùn)練出不同朝向的圖像中目標(biāo)體的HOG特征,進(jìn)而確定出對應(yīng)于四種不同頭部朝向的朝向估計(jì)濾波器組(也即以上所述的姿態(tài)匹配模型組);進(jìn)一步地,訓(xùn)練出不同朝向的圖像中目標(biāo)體的Gabor特征,進(jìn)而確定出對應(yīng)于四種不同頭部朝向下人臉細(xì)節(jié)的識別濾波器組(也即以上所述的頭部識別模型組),進(jìn)而為利用朝向估計(jì)濾波器組以及識別濾波器組進(jìn)行人臉識別奠定了基礎(chǔ)。即可以利用朝向估計(jì)濾波器組判定待檢測圖像中檢測對象的頭部朝向,進(jìn)而選取與判定出的頭部朝向相對應(yīng)的識別濾波器組做識別,以提升識別通過率。
當(dāng)然,在實(shí)際應(yīng)用中,可以將實(shí)施例二和實(shí)施例三的確定姿態(tài)匹配模型組和頭部識別模型組的過程相結(jié)合,也就是說,在確定姿態(tài)匹配模型組和頭部識別模型組時(shí),基于同一目標(biāo)體的不同頭部姿態(tài)、以及不同目標(biāo)體的同一頭部姿態(tài)確定姿態(tài)匹配模型組和頭部識別模型組。
實(shí)施例四
將實(shí)施例一至實(shí)施例三任一項(xiàng)所述的方法,本實(shí)施例提供了一種利用姿態(tài)匹配模型組和頭部識別模型組來進(jìn)行人臉識別的方法;具體地,獲取包含有檢測對象的所述待檢測圖像;確定所述檢測對象為所述第一目標(biāo)體時(shí),利用所述姿態(tài)匹配模型組對所述檢測對象的頭部姿態(tài)進(jìn)行識別,得到識別結(jié)果;所述識別結(jié)果表征所述檢測對象處于所述至少兩個(gè)頭部姿態(tài)所對應(yīng)的第一姿態(tài);從所述頭部識別模型組中,選取出與所述第一姿態(tài)相對應(yīng)的目標(biāo)頭部模型;利用所述目標(biāo)頭部模型對所述檢測對象的頭部細(xì)節(jié)進(jìn)行識別,以便于確定出所述檢測對象的身份。
在實(shí)際應(yīng)用中,當(dāng)所述圖像集中包含有多個(gè)目標(biāo)體對應(yīng)的圖像時(shí),且存在與多個(gè)目標(biāo)體對應(yīng)的姿態(tài)匹配模型組和頭部識別模型組時(shí),所述確定所述檢測對象為所述第一目標(biāo)體可以具體為:確定在所述圖像集對應(yīng)的多個(gè)目標(biāo)體中存在所述檢測對象,且確定所述檢測對象為所述第一目標(biāo)體。
圖12為本發(fā)明實(shí)施例利用姿態(tài)匹配模型組和頭部識別模型組來進(jìn)行人臉識別的方法的流程示意圖;如圖12所示,確定出檢測對象,且確定檢測對象為所述圖像集所對應(yīng)的目標(biāo)體時(shí)(這里,假設(shè)圖像集中也包含有所述第二目標(biāo)體對應(yīng)的第二圖像,且第二目標(biāo)體對應(yīng)有姿態(tài)匹配模型組和頭部識別模型組),即確定出所述檢測對象為所述第二目標(biāo)體時(shí),獲取所述第二目標(biāo)體對應(yīng)的姿態(tài)匹配模型組,這里,所述姿態(tài)匹配模型組中包含有所述第二目標(biāo)體對應(yīng)的四種頭部姿態(tài)分別對應(yīng)的姿態(tài)模型-1、姿態(tài)模型-2、姿態(tài)模型-3以及姿態(tài)模型-4;將所述檢測對象與所述姿態(tài)匹配模型組中包含的四種頭部姿態(tài)對應(yīng)的姿態(tài)模型進(jìn)行匹配,進(jìn)而確定出匹配程度最高的姿態(tài)模型-2,則姿態(tài)模型-2對應(yīng)的頭部朝向即為檢測對象的頭部朝向;進(jìn)一步地,從頭部識別模型組中選取出與確定出的檢測對象的頭部朝向相對應(yīng)的頭部模型,即從頭部識別模型組中包含的針對四種頭部朝向的頭部模型-1、頭部模型-2、頭部模型-3以及頭部模型-4中選取出與檢測對象的頭部朝向相同的頭部模型-2,進(jìn)而利用頭部模型-2對所述檢測對象進(jìn)行識別,得到識別結(jié)果。這里,由于上述識別過程是先確定檢測對象的頭部姿態(tài),然后基于檢測對象的頭部姿態(tài),選取出與頭部姿態(tài)匹配的頭部模型,進(jìn)而利用頭部模型對所述檢測對象進(jìn)行識別,所以,本實(shí)施例所述的檢測過程更具有針對性,識別通過率更高。當(dāng)然,在實(shí)際應(yīng)用中,當(dāng)確定出檢測對象的頭部姿態(tài)后,且選取出與頭部姿態(tài)匹配的頭部模型后,可以在檢測對象中僅提取出表征該朝向特征的部分人臉區(qū)域去做匹配即可,所以,利用本發(fā)明實(shí)施例所述的姿態(tài)匹配模型組和頭部識別模型組進(jìn)行人臉識別時(shí),不僅能夠提高識別通過率,還能夠提高識別效率,減小識別運(yùn)算量。
實(shí)施例五
本實(shí)施例提供了一種以上所述的圖像處理方法的具體應(yīng)用過程;這里,近幾十年,相關(guān)濾波器技術(shù)發(fā)展迅速。Mahalanobis等人提出了最小平均相關(guān)能量濾波器(MACE,Minimum Average Correlation Energy filter)。Kumar等人提出了最小方差合成鑒別函數(shù)濾波器(MVSDF,Minimum Variance Synthetic Discriminant Function filter)。Refregier則綜合了MACE和MVSDF的優(yōu)點(diǎn)提出了最優(yōu)折中濾波器(OTF,Optimal Tradeoff Filter)。而且,相關(guān)濾波器在計(jì)算機(jī)視覺領(lǐng)域有許多的應(yīng)用,如Venkataramani等人提出用相關(guān)濾波器在門禁系統(tǒng)中做指紋識別。(Venkataramani,K.,Vijaya Kumar,B.V.K.:Performance of Composite Correlation Filters for Fingerprint Verification.J.Opt.Engineering,Vol.24(8):1820--1827,(2004).)Henning等人提出用相關(guān)濾波器處理掌紋信息(Hennings,P.,Vijaya Kumar,B.V.K.:Palmprint Recognition Using Correlation Filter Classifiers.In:Proc.Signals,Systems And Computers Vol.1,pp.567--571(2004).)。Chong等人則運(yùn)用相關(guān)濾波器做虹膜識別(Chong,S.C.,Jin,A.T.B,Ling,D.N.C.:Iris Authentication Using Privatized Advanced Correlation Filter.LNCS,3832,pp.382--388,Springer-Verlag,(2006)。
以下給出了本發(fā)明實(shí)施例利用最小平均相關(guān)能量濾波器和最小方差合成鑒別函數(shù)濾波器(MVSDF)計(jì)算出最優(yōu)折中濾波器(OTF),進(jìn)而基于四種不同朝向的分別針對HOG特征和Gabor特征的最優(yōu)折中濾波器(OTF)組成相關(guān)濾波器組的方法;其中,所述相關(guān)濾波器組包括:針對HOG特征的朝向估計(jì)濾波器組,以及針對Gabor特征的識別濾波器組。
以下參照圖13對上述步驟做詳細(xì)說明;包括:
步驟A:準(zhǔn)備訓(xùn)練圖像集{x1,x2,…,xN},其中xi(i=1,2,…,N)表示第i個(gè)訓(xùn)練圖像的向量,N為訓(xùn)練樣本總數(shù),將所有訓(xùn)練圖像對應(yīng)的向量按列組合作為訓(xùn)練集。訓(xùn)練集中包含四種頭部朝向,分別為頭部朝上、頭部朝下、頭部朝左以及頭部朝右;每類朝向選取相同的人臉,也即所述訓(xùn)練圖像集中同一目標(biāo)體的人臉包括四種朝向;進(jìn)一步地,基于頭部朝向?qū)τ?xùn)練圖像集進(jìn)行分類,得到與四種不同朝向?qū)?yīng)的四種訓(xùn)練子集。
具體地,在實(shí)際應(yīng)用中可以從人臉數(shù)據(jù)庫中選取包括四種頭部朝向的圖像以組成訓(xùn)練圖像集,所述四種朝向分別為頭部朝上、頭部朝下、頭部朝左以及頭部朝右;其中,所述訓(xùn)練圖像集對應(yīng)的圖像中同一目標(biāo)體的人臉朝向包括以上所述的四種;而且,所述訓(xùn)練圖像集中包括根據(jù)頭部朝向(也即人臉朝向)分類后的四種訓(xùn)練子集,即每個(gè)訓(xùn)練子集中的頭部朝向均相同,不同訓(xùn)練子集中的頭部朝向不同。
步驟B:提取訓(xùn)練圖像集中每個(gè)訓(xùn)練圖像的HOG特征和Gabor特征;分別對提取的HOG特征和Gabor特征進(jìn)行主成份分析(PCA),得到分別針對HOG特征和Gabor特征的投影矩陣,并利用得到的投影矩陣對HOG特征和Gabor特征進(jìn)行特征降維。
這里,對HOG特征和Gabor特征進(jìn)行主成份分析得到投影矩陣并降維的步驟可以具體為:
步驟B1:計(jì)算每個(gè)訓(xùn)練子集的平均臉。其計(jì)算方法如下:提取訓(xùn)練子集中訓(xùn)練圖像的HOG特征和Gabor特征,然后以矩陣的形式表示每個(gè)訓(xùn)練子集對應(yīng)的HOG特征和Gabor特征,將訓(xùn)練子集針對HOG特征或Gabor特征的向量,按列數(shù)據(jù)相加除以列總數(shù)的方式進(jìn)行處理,將處理后得到的向量作為針對HOG特征或Gabor特征的平均臉。
步驟B2:基于針對HOG特征或Gabor特征的平均臉,計(jì)算每個(gè)訓(xùn)練子集的針對HOG特征和Gabor特征的總體散布矩陣,即總體散布矩陣其中μ為訓(xùn)練數(shù)據(jù)集的平均臉,xk為訓(xùn)練子集中第k個(gè)訓(xùn)練圖像的向量化表示。
步驟B3:按照投影能夠最大化的準(zhǔn)則計(jì)算針對HOG特征的投影矩陣WHOG和針對Gabor特征的投影矩陣WGabor。其計(jì)算方法如下:對每個(gè)訓(xùn)練子集的分別基于HOG特征或Gabor特征的總體散布矩陣進(jìn)行奇異值分解,得到特征向量和相應(yīng)的特征值后,保留特征值能量為95%對應(yīng)的特征向量組成針對訓(xùn)練子集的基于HOG特征或Gabor特征的投影矩陣。
步驟B4:利用訓(xùn)練子集對應(yīng)的投影矩陣WHOG對訓(xùn)練子集對應(yīng)的HOG特征進(jìn)行降維,以及利用訓(xùn)練子集對應(yīng)的投影矩陣WGabor對訓(xùn)練子集對應(yīng)的Gabor特征進(jìn)行降維,從而得到降維后的針對訓(xùn)練子集的HOG特征和Gabor特征。其計(jì)算方法如下:和其中表征HOG特征,表示Gabor特征,T表示轉(zhuǎn)置運(yùn)算。
步驟C:利用降維后得到的HOG特征和Gabor特征訓(xùn)練四個(gè)最優(yōu)折中濾波器(OTF),以組成包含對應(yīng)四種朝向的相關(guān)濾波器組。這里,最優(yōu)折中濾波器OTF的表達(dá)式計(jì)算如下:FOTF=T-1Y(Y+T-1Y)-1c,其中T是MVSDF和MACE的加權(quán)和,Y是HOG特征和Gabor特征的頻域表示,c是對訓(xùn)練圖像的限定值。
這里,所述步驟C具體包括:
步驟C1:對降維后的每個(gè)訓(xùn)練子集對應(yīng)的HOG特征和Gabor特征進(jìn)行傅里葉變換使HOG特征和Gabor特征從空域轉(zhuǎn)化為頻域;
步驟C2:利用頻域表示針對每個(gè)訓(xùn)練子集的HOG特征和Gabor特征訓(xùn)練得到最小平均相關(guān)能量濾波器(MACE),記為FMACE。其具體的計(jì)算形式為:FMACE=Q-1Y(Y+Q-1Y)-1c,其中Y是訓(xùn)練數(shù)據(jù)在頻域上的表示;Q一個(gè)對角矩陣,它對角線上的值是N個(gè)訓(xùn)練樣本的平均功率譜;c是一個(gè)N×1的向量,且第i列對應(yīng)的位置為1,其余為0。
步驟C3:利用頻域表示針對每個(gè)訓(xùn)練子集的HOG特征和Gabor特征訓(xùn)練得到最小方差合成鑒別函數(shù)濾波器(MVSDF),記為FMVSDF。其具體的計(jì)算形式為:FMVSDF=G-1Y(Y+G-1Y)-1c,其中G為訓(xùn)練圖像的噪聲矩陣,這里,在實(shí)際應(yīng)用中,可以采用白噪聲模擬圖像噪聲。
步驟C4:根據(jù)C2和C3計(jì)算得到最優(yōu)折中濾波器(OTF),記為FOTF;具體的計(jì)算形式為:FOTF=T-1Y(Y+T-1Y)-1c,其中T=αQ+(1-α)G,α為權(quán)重參數(shù),大于等于0小于等于1),在實(shí)際應(yīng)用中,可以根據(jù)訓(xùn)練圖像集來設(shè)置α的值,例如可以根據(jù)實(shí)際訓(xùn)練結(jié)果來調(diào)整α的值,進(jìn)而根據(jù)訓(xùn)練結(jié)果來確定出α的最優(yōu)值;本實(shí)施例可以將α設(shè)置為0.6。
步驟C5:利用不同頭部朝向的訓(xùn)練子集重復(fù)C1至C4得到針對每個(gè)朝向的OTF,進(jìn)而將四個(gè)朝向的OTF組成對應(yīng)HOG特征和Gabor特征的相關(guān)濾波器組。這里,HOG特征對應(yīng)的相關(guān)濾波器組即為朝向估計(jì)濾波器組,用于估計(jì)檢測對象的頭部朝向;Gabor特征對應(yīng)的相關(guān)濾波器組即為識別濾波器組,用于針對不同頭部朝向下的人臉進(jìn)行識別。
步驟D:獲取測試圖像,提取測試圖像中檢測對象的HOG特征,并利用投影矩陣對所述測試圖像的HOG特征進(jìn)行特征降維。
具體地,計(jì)算測試圖像中檢測圖像的HOG特征xH,利用步驟B3得到的針對不同頭部朝向的投影矩陣WHOG對xH進(jìn)行特征降維。其計(jì)算方法如下:其中T表示轉(zhuǎn)置運(yùn)算。
步驟E:將測試圖像降維得到的HOG特征送入包含四種頭部朝向的朝向估計(jì)濾波器組進(jìn)行特征提取,計(jì)算出降維得到的HOG特征與包含有四種朝向的朝向估計(jì)濾波器組的歐式距離,選取距離最小對應(yīng)的相關(guān)濾波器組的朝向作為測試圖像的朝向。
步驟F:根據(jù)朝向檢測結(jié)果,提取與確定出的朝向?qū)?yīng)的部分人臉圖像(這里,所述部分人臉圖像可以具體為能夠代表該朝向下的部分人臉圖像)的Gabor特征,并利用針對確定出的頭部朝向的投影矩陣對得到的Gabor特征進(jìn)行特征降維。
具體地,提取人臉圖像的Gabor特征xG,利用針對確定出的頭部朝向的Gabor特征對應(yīng)的投影矩陣WGabor對Gabor特征進(jìn)行降維。其計(jì)算方法如下:其中T表示轉(zhuǎn)置運(yùn)算。
步驟G:將降維得到的Gabor特征送入對應(yīng)的識別濾波器組進(jìn)行濾波處理,進(jìn)而基于最近鄰方法對處理結(jié)果進(jìn)行分類,該分類結(jié)果即為最終人臉識別結(jié)果。
這樣,利用相關(guān)濾波器技術(shù)訓(xùn)練得到用于判斷頭部朝向的朝向估計(jì)濾波器組,以及用于在頭部朝向下進(jìn)行人臉識別的識別濾波器組,這里,由于相關(guān)濾波器技術(shù)是通過提取樣本的大部分表征特征作為評判標(biāo)準(zhǔn)的,所以,能夠增加本實(shí)施例訓(xùn)練得到的朝向估計(jì)濾波器組以及識別濾波器組的容錯(cuò)能力,提高健壯性。而且,由于本實(shí)施例利用了相關(guān)濾波器技術(shù),所以能夠避免現(xiàn)有技術(shù)過于依賴特征算子導(dǎo)致不同訓(xùn)練集得到的結(jié)果差異較大的問題。
實(shí)施例六
本實(shí)施例提供了一種圖像處理裝置,如圖14所示,所述裝置包括:
采集單元1401,用于確定圖像集;所述圖像集包含針對第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的第一圖像;
特征提取單元1402,用于提取出所述圖像集中每一第一圖像對應(yīng)的頭部姿態(tài)的姿態(tài)特征,以及每一第一圖像對應(yīng)的頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;
圖像處理單元1403,用于根據(jù)所述圖像集中第一圖像的姿態(tài)特征確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組、以及根據(jù)所述圖像集中第一圖像的局部特征確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組;
其中,所述姿態(tài)匹配模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)的姿態(tài)模型;所述頭部識別模型組中包括有針對所述第一目標(biāo)體的至少兩個(gè)頭部姿態(tài)下頭部細(xì)節(jié)的頭部模型。
在一實(shí)施例中,所述圖像處理單元1403,還用于:
根據(jù)所述圖像集中針對所述至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)的姿態(tài)特征,確定出所述至少兩個(gè)頭部姿態(tài)之間的第一姿態(tài)相關(guān)特征;
基于所述第一姿態(tài)相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的姿態(tài)特征,確定出針對每一頭部姿態(tài)的第一姿態(tài)模型;
至少利用針對每一頭部姿態(tài)的第一姿態(tài)模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。
在另一實(shí)施例中,所述圖像處理單元1403,還用于:
根據(jù)所述圖像集中針對所述至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)的局部特征,確定出所述至少兩個(gè)頭部姿態(tài)之間的第一局部相關(guān)特征;
基于所述第一局部相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的局部特征,確定出針對每一頭部姿態(tài)的第一頭部模型;
至少利用針對每一頭部姿態(tài)的第一頭部模型組成用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組。
在一實(shí)施例中,所述特征提取單元1402,還用于獲取針對第二目標(biāo)體對應(yīng)的至少兩個(gè)頭部姿態(tài)中每一個(gè)頭部姿態(tài)對應(yīng)的姿態(tài)特征,以及頭部姿態(tài)下頭部細(xì)節(jié)的局部特征;
對應(yīng)地,所述圖像處理單元1403,還用于根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的姿態(tài)特征,確定出用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組;以及,根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的局部特征,確定出用于識別所述待檢測圖像中檢測對象所處頭部姿態(tài)下的頭部細(xì)節(jié)的頭部識別模型組。
在另一實(shí)施例中,所述圖像處理單元1403,還用于:
根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的姿態(tài)特征,確定出所述第一目標(biāo)體和所述第二目標(biāo)體之間的第二姿態(tài)相關(guān)特征;
基于所述第二姿態(tài)相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的第一目標(biāo)體的姿態(tài)特征,確定出針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二姿態(tài)模型;
至少利用針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二姿態(tài)模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。
在另一實(shí)施例中,所述圖像處理單元1403,還用于:
根據(jù)針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體和所述第二目標(biāo)體的局部特征,確定出所述第一目標(biāo)體和所述第二目標(biāo)體之間的第二局部相關(guān)特征;
基于所述第二局部相關(guān)特征以及針對每一頭部姿態(tài)對應(yīng)的第一目標(biāo)體的局部特征,確定出針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二頭部模型;
至少利用針對每一頭部姿態(tài)對應(yīng)的所述第一目標(biāo)體的第二頭部模型組成用于識別待檢測圖像中檢測對象的頭部姿態(tài)的姿態(tài)匹配模型組。
在另一實(shí)施例中,所述采集單元1401,用于獲取包含有檢測對象的所述待檢測圖像;
所述圖像處理單元1403,還用于確定所述檢測對象為所述第一目標(biāo)體時(shí),利用所述姿態(tài)匹配模型組對所述檢測對象的頭部姿態(tài)進(jìn)行識別,得到識別結(jié)果;所述識別結(jié)果表征所述檢測對象處于所述至少兩個(gè)頭部姿態(tài)所對應(yīng)的第一姿態(tài);還用于從所述頭部識別模型組中,選取出與所述第一姿態(tài)相對應(yīng)的第一頭部模型;利用所述第一頭部模型對所述檢測對象的頭部細(xì)節(jié)進(jìn)行識別,以便于確定出所述檢測對象的身份。
這里需要指出的是:以上裝置實(shí)施例項(xiàng)的描述,與上述方法描述是類似的,具有同方法實(shí)施例相同的有益效果,因此不做贅述。對于本發(fā)明裝置實(shí)施例中未披露的技術(shù)細(xì)節(jié),本領(lǐng)域的技術(shù)人員請參照本發(fā)明方法實(shí)施例的描述而理解,為節(jié)約篇幅,這里不再贅述。
本實(shí)施例基于上述裝置實(shí)施例提供一個(gè)具體的硬件,如圖15所示,所述裝置包括處理器1501、存儲介質(zhì)1502以及至少一個(gè)外部通信接口1503;所述處理器1501、存儲介質(zhì)1502以及外部通信接口1503均通過總線1504連接。所述處理器1501可為微處理器、中央處理器、數(shù)字信號處理器或可編程邏輯陣列等具有處理功能的電子元器件。所述存儲介質(zhì)中存儲有計(jì)算機(jī)可執(zhí)行代碼,所述計(jì)算機(jī)可執(zhí)行代碼能夠執(zhí)行以上任一實(shí)施例所述的圖像處理方法。在實(shí)際應(yīng)用中,所述采集單元1401、特征提取單元1402以及圖像處理單元1403均可以通過所述處理器1501實(shí)現(xiàn)。
在本申請所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的設(shè)備和方法,可以通過其它的方式實(shí)現(xiàn)。以上所描述的設(shè)備實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,如:多個(gè)單元或組件可以結(jié)合,或可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另外,所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口,設(shè)備或單元的間接耦合或通信連接,可以是電性的、機(jī)械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的,作為單元顯示的部件可以是、或也可以不是物理單元,即可以位于一個(gè)地方,也可以分布到多個(gè)網(wǎng)絡(luò)單元上;可以根據(jù)實(shí)際的需要選擇其中的部分或全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各實(shí)施例中的各功能單元可以全部集成在一個(gè)處理單元中,也可以是各單元分別單獨(dú)作為一個(gè)單元,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中;上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。
本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成,前述的程序可以存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中,該程序在執(zhí)行時(shí),執(zhí)行包括上述方法實(shí)施例的步驟;而前述的存儲介質(zhì)包括:移動存儲設(shè)備、只讀存儲器(ROM,Read Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
或者,本發(fā)明上述集成的單元如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),也可以存儲在一個(gè)計(jì)算機(jī)可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明實(shí)施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲在一個(gè)存儲介質(zhì)中,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分。而前述的存儲介質(zhì)包括:移動存儲設(shè)備、只讀存儲器(ROM,Read Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。