專利名稱：用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法。
背景技術(shù)：
人臉特征點(diǎn)定位是人臉識(shí)別、表情識(shí)別，性別識(shí)別，年齡估計(jì)，姿態(tài)估計(jì)中的核心技術(shù)，它是人臉檢測(cè)和人臉識(shí)別中必不可少的中間環(huán)節(jié)，其特征點(diǎn)定位的精確性直接決定著識(shí)別的精度。因而，精確地定位大量的人臉特征點(diǎn)可以極大地提高識(shí)別的精度?，F(xiàn)有的人臉特征定位方法主要分為兩類第一類是局部特征點(diǎn)定位方法，第二類是全局特征點(diǎn)定位方法。局部人臉特征點(diǎn)定位方法雖然速度快，但只能給出很少的人臉特征點(diǎn)，且易受到光照和人臉姿態(tài)的影響，其定位結(jié)果根本滿足不了識(shí)別的要求，而相對(duì)于局部人臉特征點(diǎn)定位方法，全局特征點(diǎn)定位方法，如ASM(活動(dòng)形狀模型)方法可以同時(shí)定位很多人臉特征點(diǎn)，其速度快，且對(duì)光照、背景的變化不很敏感，因而被廣泛地應(yīng)用于特征點(diǎn)定位。
經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，在《Image Processing and Analysis》(《圖像處理與分析》)的第七章“Model-based Methods in Analysis of BiomedicalImages”(“生物醫(yī)學(xué)圖像分析中基于模型的方法”)的第223頁(yè)到248頁(yè)(該書(shū)于2001年在于牛津大學(xué)出版社出版)介紹了T.F.Cootes等提出的ASM方法，該方法中，當(dāng)進(jìn)行特征點(diǎn)新位置搜索時(shí)，在垂直于前后兩個(gè)特征點(diǎn)連線的方向上的一維輪廓上找到使馬氏距離最小的子輪廓的中心并設(shè)定該中心位置為當(dāng)前特征點(diǎn)的新位置，而這種操作是在假設(shè)特征點(diǎn)周圍像素的灰度值服從正態(tài)分布的前提下完成的，事實(shí)上，特征點(diǎn)周邊像素的灰度值并不一定完全服從正態(tài)分布，特別是在背景比較復(fù)雜，光照不均的情況下，特征點(diǎn)周圍的像素就完全不服從正態(tài)分布，這樣就嚴(yán)重地影響了特征點(diǎn)定位的精度。

發(fā)明內(nèi)容
針對(duì)ASM方法中搜索特征點(diǎn)新位置時(shí)的不精確性這一缺陷，本發(fā)明提出了一種用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，使其把搜索特征點(diǎn)新位置問(wèn)題轉(zhuǎn)換為分類問(wèn)題來(lái)解決，從而解決了背景技術(shù)的問(wèn)題。本質(zhì)上，這屬于兩類分類問(wèn)題，但是針對(duì)兩類分類器訓(xùn)練時(shí)的正負(fù)樣本數(shù)的不均衡性這一難題，本發(fā)明還提出了把兩類問(wèn)題轉(zhuǎn)化為間接的多類問(wèn)題來(lái)解決，因此搜索特征點(diǎn)新位置的問(wèn)題就轉(zhuǎn)化為多類分類器問(wèn)題，這樣當(dāng)用多類分類器進(jìn)行特征點(diǎn)新位置搜索時(shí)，就會(huì)很容易找到當(dāng)前特征點(diǎn)的真正的位置，也就大大地提高了定位的精度。
本發(fā)明是使用以下技術(shù)方案實(shí)現(xiàn)的，包括如下步驟(1)建立ASM模型并初始化ASM模型從而得到模型的初始位置；(2)為人臉上的每個(gè)特征點(diǎn)生成對(duì)應(yīng)的多類訓(xùn)練樣本以訓(xùn)練支持向量機(jī)多類分類器；(3)對(duì)于每一個(gè)特征點(diǎn)，用其對(duì)應(yīng)的訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器；(4)用模型的初始位置作為ASM搜索的起始位置，并使用支持向量機(jī)多類分類器進(jìn)行特征點(diǎn)定位。
所述的步驟(1)，是指首先在訓(xùn)練集的每一個(gè)訓(xùn)練樣本圖像上手工選擇k個(gè)人臉的主要特征點(diǎn)，這k個(gè)特征點(diǎn)組成的形狀可以由一個(gè)向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來(lái)表示，具有相同編號(hào)的特征點(diǎn)在不同的圖像中代表了相同的特征，n個(gè)訓(xùn)練樣本圖像就對(duì)應(yīng)有n個(gè)形狀向量，然后校準(zhǔn)這n個(gè)向量從而使得它們所表示的形狀在大小、方向和位置上最為接近。然后對(duì)n個(gè)校準(zhǔn)后的形狀向量進(jìn)行PCA(主元分析)處理，最終任何一個(gè)形狀都可以表示為x＝x+Pb，其中b＝PT.(x-x)，b代表了前t個(gè)最大的模式的變化情況，這樣就完成了ASM模型的建立。然后還要初始化該模型在人臉圖像上用方差投影函數(shù)找到兩眼位置，并設(shè)定兩眼中點(diǎn)坐標(biāo)為[X1，Y1]，對(duì)上述求得的平均形狀模型x，分別計(jì)算左眼球和右眼球周圍的四個(gè)特征點(diǎn)的中心作為左眼睛和右眼睛位置，從而得到兩眼的中點(diǎn)坐標(biāo)[X2，Y2]，然后把整個(gè)平均形狀模型x平移[X1-X2，Y1-Y2]，這樣就完成了ASM模型的初始化操作，從而就可以得到模型的初始位置。
所述的步驟(2)，是指對(duì)于人臉上的每個(gè)特征點(diǎn)，在垂直于該特征點(diǎn)的前后兩個(gè)特征點(diǎn)連線方向上兩邊各選擇1個(gè)像素，計(jì)算這2*1+1個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇2*m(m＜1)個(gè)元素組成一個(gè)一維子向量，總共有2*(1-m)+1個(gè)這樣的子向量，并依次為這些一維子向量標(biāo)以相應(yīng)的類別號(hào)，1，2，…，2*(1-m)+1。這樣一幅人臉圖像上的一個(gè)特征點(diǎn)就生成了2*(1-m)+1個(gè)不同類的訓(xùn)練樣本，n個(gè)訓(xùn)練圖像，每個(gè)特征點(diǎn)就對(duì)應(yīng)n*(2*(1-m)+1)個(gè)訓(xùn)練樣本。
所述的步驟(3)，是指對(duì)于每個(gè)特征點(diǎn)，用其對(duì)應(yīng)的n*(2*(1-m)+1)個(gè)訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器，這樣就可以得到k個(gè)分類器。
所述的步驟(4)，是指用模型的初始位置在新的圖像中搜索目標(biāo)形狀，使搜索到的最終形狀中的特征點(diǎn)和相對(duì)應(yīng)的真正特征點(diǎn)最為接近，這個(gè)搜索過(guò)程主要是通過(guò)仿射變換和參數(shù)b的變化來(lái)實(shí)現(xiàn)。具體通過(guò)反復(fù)迭代如下兩步來(lái)實(shí)現(xiàn)1)搜索特征點(diǎn)的新位置首先把初始模型覆蓋在圖像上，對(duì)于模型中第j個(gè)特征點(diǎn)，在垂直于其前后兩個(gè)特征點(diǎn)連線方向上以其為中心兩邊各選擇1個(gè)像素，計(jì)算這2*1+1個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇2*m(m＜1)個(gè)元素組成一個(gè)一維子向量，總共有2*(1-m)+1個(gè)這樣的子向量，把這2*(1-m)+1個(gè)子向量送入第k個(gè)分類器進(jìn)行分類，并把類別號(hào)被判別為m+1的子向量的中心設(shè)定為第j個(gè)特征點(diǎn)的新位置，同時(shí)計(jì)算該特征點(diǎn)位置的變化dXj，對(duì)每個(gè)特征點(diǎn)都進(jìn)行這樣的計(jì)算就得到k個(gè)位置變化dXi，i＝1，2，...，k，并組成一個(gè)向量dX＝(dX1，dX2，...，dXk)。
2)仿射變換中的參數(shù)和b的更新由公式X＝M(s，θ)[x]+Xc得M(s(1+ds)，(θ+dθ))[x+dx]+(Xc+dXc)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+Xc-(Xc+dXc)，同時(shí)由式x＝x+Pb，期望找到db使得x+dx＝x+P(b+db)，由式x＝x+Pb可得db＝P-1dx，這樣就可以對(duì)參數(shù)作如下更新Xc＝Xc+wtdXc，Yc＝Y(jié)c+wtdYc，θ＝θ+wθdθ，b＝b+Wbdb，式中wt，wθ，ws，Wb用于控制參數(shù)變化的權(quán)值，這樣就可以由式x＝x+Pb得到新的形狀。
本發(fā)明提出的人臉特征點(diǎn)定位方法具有非常高的精度。由于在搜索特征點(diǎn)新位置時(shí)使用的是支持向量機(jī)多類分類器，因此特征點(diǎn)就非常容易找到其真正的位置，這樣整個(gè)特征點(diǎn)定位的精度就得到了大大的提高。用拍攝的人臉庫(kù)(包含有2273幅人臉圖像)對(duì)比本發(fā)明提出的用支持向量機(jī)多類分類器進(jìn)行的特征點(diǎn)定位方法和原始ASM方法中用一維輪廓進(jìn)行特征點(diǎn)定位的方法，前者的特征點(diǎn)定位的平均誤差分別是2.4個(gè)像素，而后者特征點(diǎn)定位的平均誤差分別是4.5個(gè)像素，實(shí)驗(yàn)表明本發(fā)明提出的用支持向量機(jī)多類分類器定位特征點(diǎn)的方法在精度上比其他人臉特征點(diǎn)定位方法有很大的改善。


圖1為標(biāo)有特征點(diǎn)的人臉圖像。
圖2為眼睛定位的結(jié)果。
圖3為用初始模型并利用多類分類器進(jìn)行ASM搜索得到的結(jié)果。
具體實(shí)施例方式
以下結(jié)合一個(gè)具體的實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)的描述。
實(shí)施例采用的圖像來(lái)自拍攝的人臉圖像庫(kù)。整個(gè)實(shí)現(xiàn)過(guò)程如下1.從人臉庫(kù)中選擇600個(gè)標(biāo)好特征點(diǎn)的人臉圖像建立ASM模型。標(biāo)好特征點(diǎn)的人臉圖像，如圖1所示。即首先在訓(xùn)練集的每一個(gè)訓(xùn)練樣本圖像上選擇60個(gè)特征點(diǎn)，這60個(gè)特征點(diǎn)組成的形狀可以由一個(gè)向量x(i)＝[x1，x2，...，x60，y1，y2，...，y60]來(lái)表示，具有相同編號(hào)的特征點(diǎn)在不同的圖像中表示相同的特征，600個(gè)訓(xùn)練樣本圖像就有400個(gè)形狀向量，然后對(duì)這400個(gè)向量進(jìn)行校準(zhǔn)操作，使這些形狀向量所表示的形狀在大小、方向和位置上最為接近。然后對(duì)400個(gè)校準(zhǔn)后的形狀向量進(jìn)行PCA(主元分析)處理，這樣任何一個(gè)形狀都可以表示為x＝x+Pb，式中b＝PT.(x-x)，b的值表示了前26個(gè)模式的變化情況，這樣就完成了模型的建立。然后再用方差投影找到兩眼的位置，如圖2所示，并得到兩眼中點(diǎn)坐標(biāo)為(363，229)，然后求得ASM初始模型上兩眼中點(diǎn)坐標(biāo)(113，145)，然后把該模型在X方向上平移250(363-113)個(gè)像素，在Y方向上平移84(229-145)個(gè)像素，這樣就得到了ASM模型的初始位置。
2.對(duì)于人臉上的60個(gè)特征點(diǎn)，在垂直于該特征點(diǎn)的前后兩特征點(diǎn)連線方向上兩邊各選擇16個(gè)像素，計(jì)算這33(2*16+1)個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇16個(gè)元素組成一個(gè)一維子向量，總共有17個(gè)這樣的子向量，并依次為這些一維子向量標(biāo)以相應(yīng)的類別號(hào)，1，2，…，17。這樣一幅人臉圖像上的一個(gè)特征點(diǎn)就生成了17個(gè)不同類的訓(xùn)練樣本，600個(gè)訓(xùn)練圖像，每個(gè)特征點(diǎn)就對(duì)應(yīng)10200(600*17)個(gè)訓(xùn)練樣本。
3.對(duì)于每個(gè)特征點(diǎn)，用其對(duì)應(yīng)的10200個(gè)訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器，這樣就可以得到60個(gè)分類器。
4.以模型的初始位置作為起始位置并用支持向量機(jī)多類分類器進(jìn)行ASM搜索得到人臉特征點(diǎn)的位置，即把初始模型覆蓋在圖像上，對(duì)模型中第j個(gè)特征點(diǎn)，在垂直于其前后兩個(gè)特征點(diǎn)連線方向上以其為中心兩邊各選擇16個(gè)像素，這樣就形成了一個(gè)長(zhǎng)度為33(2*16+1)的一維向量，計(jì)算這33個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇16個(gè)元素組成一個(gè)一維子向量，總共有17個(gè)這樣的子向量，把這17個(gè)子向量送入第j個(gè)分類器進(jìn)行分類，并把類別號(hào)被判別為9的子向量的中心設(shè)定為第j個(gè)特征點(diǎn)的新位置，同時(shí)計(jì)算該特征點(diǎn)位置的變化dXj，對(duì)每個(gè)特征點(diǎn)都進(jìn)行這樣的計(jì)算就得到60個(gè)位置變化dXi，i＝1，2，...，60，并組成一個(gè)向量dX＝(dX1，dX2，...，dX60)。然后再根據(jù)上述dX計(jì)算仿射變換參數(shù)和b的變化，經(jīng)過(guò)24步迭代就可以最終定位60個(gè)特征點(diǎn)，如圖3所示。
從以上實(shí)施例可以看出，本發(fā)明提出的涉及了眼睛檢測(cè)、分類器訓(xùn)練、兩類分類器向多類分類器的轉(zhuǎn)換、ASM特征點(diǎn)定位的人臉特征點(diǎn)定位方法可以進(jìn)一步應(yīng)用于人臉識(shí)別，性別識(shí)別、表情識(shí)別、年齡估計(jì)等方面，其具非常高的精度。
權(quán)利要求
1.一種用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征在于，包括如下步驟(1)建立ASM模型并初始化ASM模型從而得到模型的初始位置；(2)為人臉上的每個(gè)特征點(diǎn)生成對(duì)應(yīng)的多類訓(xùn)練樣本以訓(xùn)練支持向量機(jī)多類分類器；(3)對(duì)于每一個(gè)特征點(diǎn)，用其對(duì)應(yīng)的訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器；(4)用模型的初始位置作為ASM搜索的起始位置，并使用支持向量機(jī)多類分類器進(jìn)行特征點(diǎn)定位。
2.根據(jù)權(quán)利要求1所述的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征是，所述的步驟(1)，是指首先在訓(xùn)練集的每一個(gè)訓(xùn)練樣本圖像上手工選擇k個(gè)人臉的主要特征點(diǎn)，這k個(gè)特征點(diǎn)組成的形狀由一個(gè)向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來(lái)表示，具有相同編號(hào)的特征點(diǎn)在各圖像中代表了相同的特征，n個(gè)訓(xùn)練樣本圖像就對(duì)應(yīng)有n個(gè)形狀向量，校準(zhǔn)這n個(gè)向量從而使得它們所表示的形狀在大小、方向和位置上最為接近，然后對(duì)n個(gè)校準(zhǔn)后的形狀向量進(jìn)行PCA處理，最終任何一個(gè)形狀都表示為x＝x+Pb，其中b＝PT.(x-x)，b代表了前t個(gè)最大的模式的變化情況，這樣就完成了ASM模型的建立；再初始化該模型在人臉圖像上用方差投影函數(shù)找到兩眼位置，并設(shè)定兩眼中點(diǎn)坐標(biāo)為[X1，Y1]，對(duì)上述求得的平均形狀模型x，分別計(jì)算左眼球和右眼球周圍的四個(gè)特征點(diǎn)的中心作為左眼睛和右眼睛位置，從而得到兩眼的中點(diǎn)坐標(biāo)[X2，Y2]，然后把整個(gè)平均形狀模型x平移[X1-X2，Y1-Y2]，得到模型的初始位置。
3.根據(jù)權(quán)利要求1所述的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征是，所述的步驟(2)，是指對(duì)于人臉上的每個(gè)特征點(diǎn)，在垂直于該特征點(diǎn)的前后兩特征點(diǎn)連線方向上兩邊各選擇1個(gè)像素，計(jì)算這2*l+1個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇2*m個(gè)元素組成一個(gè)一維子向量，總共有2*(l-m)+1個(gè)這樣的子向量，并依次為這些一維子向量標(biāo)以相應(yīng)的類別號(hào)，1，2，…，2*(l-m)+1，這樣一幅人臉圖像上的一個(gè)特征點(diǎn)就生成了2*(l-m)+1個(gè)不同類的訓(xùn)練樣本，n個(gè)訓(xùn)練圖像，每個(gè)特征點(diǎn)就對(duì)應(yīng)n*(2*(l-m)+1)個(gè)訓(xùn)練樣本，其中，m＜l。
4.根據(jù)權(quán)利要求1所述的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征是，所述的步驟(3)，是指對(duì)于每個(gè)特征點(diǎn)，用其對(duì)應(yīng)的n*(2*(l-m)+1)個(gè)訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器，得到k個(gè)分類器。
5.根據(jù)權(quán)利要求1所述的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征是，所述的步驟(4)，是指以模型的初始位置作為起始位置在新的圖像中搜索目標(biāo)形狀，使搜索到的最終形狀中的特征點(diǎn)和相對(duì)應(yīng)的真正特征點(diǎn)最為接近，這個(gè)搜索過(guò)程主要是通過(guò)仿射變換和參數(shù)b的變化來(lái)實(shí)現(xiàn)。
6.根據(jù)權(quán)利要求5所述的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，其特征是，所述的步驟(4)，具體通過(guò)反復(fù)如下兩步來(lái)實(shí)現(xiàn)1)計(jì)算每個(gè)特征點(diǎn)的新位置首先把初始模型覆蓋在圖像上，對(duì)于模型中第j個(gè)特征點(diǎn)，在垂直于其前后兩個(gè)特征點(diǎn)連線方向上以其為中心兩邊各選擇l個(gè)像素，計(jì)算這2*l+1個(gè)像素的灰度值導(dǎo)數(shù)并歸一化，這樣就得到了一個(gè)一維向量，然后從前往后在該一維向量中依次選擇2*m個(gè)元素組成一個(gè)一維子向量，總共有2*(l-m)+1個(gè)這樣的子向量，其中m＜l，把這2*(l-m)+1個(gè)子向量送入第k個(gè)分類器進(jìn)行分類，并把類別號(hào)被判別為l+1的子向量的中心設(shè)定為第j個(gè)特征點(diǎn)的新位置，同時(shí)計(jì)算該特征點(diǎn)位置的變化dXj，對(duì)每個(gè)特征點(diǎn)都進(jìn)行這樣的計(jì)算就得到k個(gè)位置變化dXi，i＝1，2，...，k，并組成一個(gè)向量dX＝(dX1，dX2，...，dXk)；2)仿射變換中的參數(shù)和b的更新對(duì)參數(shù)作如下更新Xc＝Xc+wtdXc，Yc＝Y(jié)c+wtdYc，θ＝θ+wθdθ，b＝b+Wbdb，式中wt，wθ，ws，Wb是用于控制參數(shù)變化的權(quán)值，這樣由式x＝x+Pb得到新的形狀。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的用支持向量機(jī)多類分類器搜索特征點(diǎn)新位置的方法，包括如下步驟(1)建立ASM模型并初始化ASM模型從而得到模型的初始位置；(2)為人臉上的每個(gè)特征點(diǎn)生成對(duì)應(yīng)的多類訓(xùn)練樣本以訓(xùn)練支持向量機(jī)多類分類器；(3)對(duì)于每一個(gè)特征點(diǎn)，用其對(duì)應(yīng)的訓(xùn)練樣本訓(xùn)練支持向量機(jī)多類分類器；(4)用模型的初始位置作為ASM搜索的起始位置，并使用支持向量機(jī)多類分類器進(jìn)行特征點(diǎn)定位。本發(fā)明提出的涉及了眼睛檢測(cè)、分類器訓(xùn)練、兩類分類器向多類分類器的轉(zhuǎn)換、ASM特征點(diǎn)定位的人臉特征點(diǎn)定位方法可以進(jìn)一步應(yīng)用于人臉識(shí)別，性別識(shí)別、表情識(shí)別、年齡估計(jì)等方面，其具非常高的精度。
文檔編號(hào)G06K9/62GK1776711SQ20051011150
公開(kāi)日2006年5月24日 申請(qǐng)日期2005年12月15日 優(yōu)先權(quán)日2005年12月15日
發(fā)明者杜春華, 楊杰 申請(qǐng)人:上海交通大學(xué)