專利名稱：特征點(diǎn)檢測(cè)裝置、特征點(diǎn)檢測(cè)方法及特征點(diǎn)檢測(cè)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用在用于從圖像中檢測(cè)對(duì)象物的特征點(diǎn)的裝置、方法及程序等中的有效技術(shù)。
背景技術(shù)：
作為從圖像中檢測(cè)對(duì)象物的特征點(diǎn)的技術(shù)，有檢測(cè)人臉的特征點(diǎn)的技術(shù)。以下，對(duì)于把人臉作為對(duì)象物的情況下的背景技術(shù)進(jìn)行敘述。
從拍攝了人物的圖像中得到臉的特征點(diǎn)位置，從而可以推測(cè)例如該人物的眼睛的睜閉信息、臉姿勢(shì)、視線方向、臉的表情等。此外，從這些推測(cè)結(jié)果可以更加詳細(xì)地了解該人物的狀態(tài)。并且，通過詳細(xì)地把握人物的狀態(tài)，可提高人機(jī)界面的性能，提供新的服務(wù)等。這樣，在人機(jī)界面的開發(fā)上，正確地了解人臉的特征點(diǎn)位置成為重要的課題。
作為這樣的人機(jī)界面的例子，有駕駛員監(jiān)視系統(tǒng)。在該系統(tǒng)中，依次觀察駕駛員眼睛的睜閉、臉姿勢(shì)、視線方向等。然后，根據(jù)該觀察結(jié)果判斷駕駛員的疲勞程度等，可以根據(jù)狀況給出恰當(dāng)?shù)慕ㄗh。
此外，作為另一人機(jī)界面的例子，有對(duì)動(dòng)態(tài)圖像攝像機(jī)和靜止圖像照相機(jī)等的應(yīng)用。在這些裝置中，通過了解被攝者的臉姿勢(shì)，可實(shí)現(xiàn)改變拍攝條件等多種多樣的處理。另外，通過詳細(xì)地分析眼睛的特征點(diǎn)或嘴的特征點(diǎn)等的圖像，也能夠高精度地進(jìn)行個(gè)人識(shí)別。
作為從圖像得到特征點(diǎn)位置的方法(以下，稱為“特征點(diǎn)檢測(cè)方法”)通常采用模板匹配法及其應(yīng)用。在這些方法中，預(yù)先保存各特征點(diǎn)的一般性信息(以下，稱為“特征量”)。然后，通過對(duì)從圖像內(nèi)的一部分區(qū)域得到的特征量和所保存的特征量進(jìn)行比較，判斷是否為應(yīng)取得的特征點(diǎn)。作為此時(shí)使用的特征量的具體例子，有圖像的亮度值向量。此外，作為兩個(gè)特征量的比較手段，通常使用歸一化相關(guān)或歐幾里得距離。
作為這樣的特征點(diǎn)檢測(cè)技術(shù)的例子，提出了通過分離度濾波器預(yù)先減少了搜索點(diǎn)數(shù)之后，通過模式匹配來檢測(cè)特征點(diǎn)候選的技術(shù)(參照專利文獻(xiàn)1)。在該技術(shù)中，在檢測(cè)出特征點(diǎn)候選之后，應(yīng)用幾何約束條件，輸出判斷為最像人臉的候選點(diǎn)的組合。
但是在該技術(shù)中，只能檢測(cè)基本上朝向正面的、攝影條件較好的人物圖像的特征點(diǎn)。因此，難以從特征點(diǎn)的一部分被遮蔽物擋住的圖像或預(yù)先保存的攝影條件(例如照明條件)與特征點(diǎn)取得時(shí)有很大不同的圖像中正確地檢測(cè)出特征點(diǎn)。
此外，也存在通過得到臉的特征點(diǎn)位置來估計(jì)臉姿勢(shì)的技術(shù)(參照專利文獻(xiàn)2、3)。在這樣的技術(shù)中，一般采用在取得臉的特征點(diǎn)位置之后，使用其整體配置和特征量來進(jìn)行估計(jì)的方法。例如，預(yù)先作為查詢表保存表示眼、口、眉、鼻的特征點(diǎn)的坐標(biāo)和臉姿勢(shì)之間的關(guān)系。然后，根據(jù)該查詢表判斷與從圖像中取得的特征點(diǎn)的坐標(biāo)對(duì)應(yīng)的臉姿勢(shì)，作為估計(jì)結(jié)果輸出。另外，也有相應(yīng)于多個(gè)臉的朝向，準(zhǔn)備臉整體模板或者臉的特征量的模板，通過與這些模板進(jìn)行匹配來求出臉姿勢(shì)的方法。但是，在這些方法中，能否正確地執(zhí)行臉姿勢(shì)的估計(jì)也取決于臉的特征點(diǎn)位置的精度。因此，如果不能正確地執(zhí)行臉的特征點(diǎn)位置的取得，就不能正確地進(jìn)行臉姿勢(shì)的估計(jì)。
作為解決這樣問題的技術(shù)，有稱為ASM(Active Shape Model，主動(dòng)形狀模型)的技術(shù)(參照非專利文獻(xiàn)1)。在ASM中，預(yù)先對(duì)學(xué)習(xí)用的多個(gè)臉圖像取得特征點(diǎn)的位置，生成并保持人臉形狀模型。人臉形狀模型由與各特征點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)構(gòu)成。此外，關(guān)于人臉形狀模型的具體情況將在具體實(shí)施方式
部分中進(jìn)行說明。
接著，對(duì)于利用ASM從圖像中檢測(cè)特征點(diǎn)位置的處理進(jìn)行說明。首先，在作為處理對(duì)象的圖像適當(dāng)?shù)某跏嘉恢锰幣渲迷撊四樞螤钅Ｐ汀＝又?，?duì)于人臉形狀模型的各節(jié)點(diǎn)，進(jìn)行節(jié)點(diǎn)周邊的多個(gè)特征量的取得。對(duì)所取得的多個(gè)特征量和預(yù)先與該節(jié)點(diǎn)對(duì)應(yīng)地保持的特征量進(jìn)行比較。把各節(jié)點(diǎn)移動(dòng)到這些多個(gè)特征量取得位置中、取得了與各節(jié)點(diǎn)對(duì)應(yīng)的特征量最接近的特征量的位置(即，判斷為是與各節(jié)點(diǎn)對(duì)應(yīng)的特征點(diǎn)的可能性最高的位置)。在該時(shí)刻，人臉形狀模型的各節(jié)點(diǎn)的位置偏離初始位置。在此，把變形后的節(jié)點(diǎn)集合影射到人臉形狀模型上而進(jìn)行整形。反復(fù)執(zhí)行從取得各節(jié)點(diǎn)周圍的特征量起的處理，直到滿足規(guī)定的次數(shù)或者一定的條件(收斂條件)。然后，把各節(jié)點(diǎn)的最終位置判斷為各特征點(diǎn)的位置。
如上所述，在ASM中，在各節(jié)點(diǎn)的位置移動(dòng)之后，進(jìn)行向人臉形狀模型的影射。通過該處理，可以檢測(cè)出特征點(diǎn)的正確位置，而各節(jié)點(diǎn)的位置關(guān)系仍然保持像臉的形狀。即，在從一般的人臉形狀分析無論如何不可能的位置上偶然存在具有與特征點(diǎn)相似的特征量的部分的情況下，也可以防止把這樣的點(diǎn)誤檢測(cè)為特征點(diǎn)。
但是，在以往的ASM中，需要在各節(jié)點(diǎn)中進(jìn)行周圍的搜索處理(特征量的取得和其比較)。因此，存在需要較多計(jì)算時(shí)間的缺點(diǎn)。此外，在以往的ASM中，存在魯棒性低的問題。即，在作為處理對(duì)象的圖像中的臉的朝向與配置在初始位置上的人臉形狀模型中假設(shè)的臉的朝向存在較大差異的情況下，存在檢測(cè)特征點(diǎn)時(shí)失敗的情況較多的問題。
作為用于解決ASM這樣的問題的技術(shù)，有AAM(Active AppearanceModel，主動(dòng)表觀模型)(參照非專利文獻(xiàn)2)。在AAM中，如下這樣求解特征點(diǎn)的位置。首先，與ASM的情況同樣，對(duì)學(xué)習(xí)用的多個(gè)人臉圖像取得特征點(diǎn)的位置，生成人臉形狀模型。接著，取得各特征點(diǎn)位置的平均值，生成由所取得的各特征點(diǎn)各自的平均位置的集合構(gòu)成的平均形狀模型。接著，在學(xué)習(xí)用人臉圖像中生成由各特征點(diǎn)構(gòu)成的多個(gè)面片(patch)，將各面片影射到平均形狀模型上，生成自由形狀圖像(shape freeimage)(該處理稱為“形狀修正處理”)。自由形狀圖像是指通過把節(jié)點(diǎn)位置固定在平均形狀的位置處，去除圖像中由人臉的表情、臉的朝向、臉的個(gè)人差異等引起的節(jié)點(diǎn)位置的變動(dòng)，僅留下濃淡信息的圖像。面片是指把節(jié)點(diǎn)或特征點(diǎn)作為頂點(diǎn)而形成的面。然后，通過對(duì)自由形狀圖像的集合實(shí)施主成分分析，生成人臉亮度值模型(自由形狀人臉亮度值模型)。接著，可以求出將人臉形狀模型從正解位置向各方向微小地移位固定的量時(shí)的自由形狀人臉亮度值向量。對(duì)于這些集合進(jìn)行線性回歸計(jì)算。由此，可以根據(jù)微小移位的人臉亮度值向量估計(jì)人臉形狀模型向正解點(diǎn)的移動(dòng)/變形方向以及移動(dòng)/變形量。在AAM中，預(yù)先執(zhí)行以上的處理作為學(xué)習(xí)處理。
接著，對(duì)利用AAM從圖像中檢測(cè)出特征點(diǎn)位置的處理進(jìn)行說明。首先，在作為處理對(duì)象的圖像的適當(dāng)?shù)某跏嘉恢锰幣渲萌四樞螤钅Ｐ?。接著，根?jù)所配置的人臉形狀模型的節(jié)點(diǎn)位置生成面片，對(duì)各面片中的亮度分布進(jìn)行采樣。然后，通過對(duì)所采樣的亮度分布進(jìn)行影射，來生成自由形狀人臉亮度值模型。
接著，根據(jù)該自由形狀人臉亮度值模型，通過預(yù)先求出的回歸式，估計(jì)人臉形狀模型的移動(dòng)/變形量。按照該估計(jì)結(jié)果對(duì)人臉形狀模型進(jìn)行移動(dòng)/變形。反復(fù)執(zhí)行以上的處理直到滿足規(guī)定的次數(shù)或者一定的條件(收斂條件)。然后，把各節(jié)點(diǎn)的最終位置判斷為各特征點(diǎn)的位置。
根據(jù)AAM，如上所述，可以檢測(cè)出各特征點(diǎn)的位置，而不用進(jìn)行各節(jié)點(diǎn)周圍的搜索處理。因此，與ASM的情況不同，無需各節(jié)點(diǎn)周圍的搜索處理所需的時(shí)間，可以削減計(jì)算時(shí)間。此外，通過對(duì)形狀模型進(jìn)行變形而進(jìn)行搜索，因此與ASM的情況同樣地，可以檢測(cè)出特征點(diǎn)的正確的位置，而各節(jié)點(diǎn)的位置關(guān)系仍然保持像人臉的形狀。
專利文獻(xiàn)1日本特開平9-251534號(hào)公報(bào)專利文獻(xiàn)2日本特開2000-97676號(hào)公報(bào)專利文獻(xiàn)3日本特開2003-141551號(hào)公報(bào)非專利文獻(xiàn)1A.Lanitis，C.J.Taylor，T.F.Cootes，“AutomaticInterpretation and Coding of Face Images Using Flexible Models”，IEEEPAMI Vol.19，No.7，pp743-756，July 1997非專利文獻(xiàn)2T.F.Cootes，G.J.Edwards and C.J.Taylor，“ActiveAppearance Models”，IEEE PAMI Vol.23，No.6，pp681-685，2001但是，在AAM中存在以下這樣的問題點(diǎn)。
為了通過AAM維持各特征點(diǎn)的位置檢測(cè)的精度，需要在取得各面片的亮度分布時(shí)進(jìn)行均勻且高密度的采樣。因此，該采樣和把亮度分布影射到平均形狀模型上時(shí)的計(jì)算量變得龐大，需要較多的計(jì)算時(shí)間。而且，在AAM中，根據(jù)基于正解點(diǎn)周圍的微小移位的線性回歸，來估計(jì)人臉形狀模型的移動(dòng)量和變形量。因此，對(duì)于較大的移位不能進(jìn)行正確的估計(jì)，不能得到正確的結(jié)果。
這樣，在以往的使用ASM或AAM的處理中，在搜索處理和通過均勻且高密度的采樣實(shí)現(xiàn)的亮度分布的形狀修正處理等中需要較多的計(jì)算量，因此不能高速地進(jìn)行特征點(diǎn)的檢測(cè)。但是，如上所述，在人機(jī)界面等中，把特征點(diǎn)的檢測(cè)結(jié)果用作為輸入數(shù)據(jù)，因此大多數(shù)情況下要求響應(yīng)性。因此，事實(shí)上對(duì)高速地進(jìn)行特征點(diǎn)的檢測(cè)的需求正在高漲。

發(fā)明內(nèi)容
本發(fā)明的第一方面是根據(jù)所輸入的圖像來估計(jì)預(yù)定的對(duì)象物圖像中的多個(gè)特征點(diǎn)的三維位置的特征點(diǎn)檢測(cè)裝置。此處所說的對(duì)象物只要是可以設(shè)定形狀模型的對(duì)象物即可。例如，對(duì)象物可以是人的臉、人的整體(全身)、X射線圖像或CT(Computed Tomography，計(jì)算機(jī)斷層成像)圖像中的內(nèi)臟器官。換言之，本技術(shù)可以應(yīng)用于具有較大個(gè)人差異的對(duì)象物和基本形狀不變地進(jìn)行變形的對(duì)象物。
本發(fā)明的第一方面的特征點(diǎn)檢測(cè)裝置具有模型生成單元、影射單元、特征量取得單元、存儲(chǔ)單元、誤差估計(jì)量取得單元以及估計(jì)單元。模型生成單元生成確定了與多個(gè)特征點(diǎn)分別對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)的三維位置的三維模型。各節(jié)點(diǎn)分別與作為檢測(cè)對(duì)象的特征點(diǎn)相對(duì)應(yīng)。此外，所生成的三維模型優(yōu)選是假設(shè)三維模型的各節(jié)點(diǎn)影射到輸入圖像上的影射點(diǎn)接近與各節(jié)點(diǎn)對(duì)應(yīng)的特征點(diǎn)的位置。因此，可以預(yù)先確定根據(jù)這樣的基準(zhǔn)而生成的三維模型的初始位置和姿勢(shì)。例如，根據(jù)對(duì)象物大多位于畫面中央且正面朝向進(jìn)行拍攝的經(jīng)驗(yàn)，可以把畫面中央設(shè)為初始位置，姿勢(shì)設(shè)為朝向正面。
影射單元把由三維模型確定的各節(jié)點(diǎn)影射到輸入圖像上，并計(jì)算其影射點(diǎn)在圖像平面中的位置。
特征量取得單元從影射單元所影射的各節(jié)點(diǎn)的影射點(diǎn)周圍的多個(gè)采樣點(diǎn)取得特征量作為三維模型的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量。作為特征量的具體例子，有像素的亮度值、Sobel濾波器特征量、HarrWavelet特征量、GaborWavelet特征量以及復(fù)合了這些特征量的值。此外，采樣點(diǎn)的配置可以是非均勻且低密度。
存儲(chǔ)單元存儲(chǔ)預(yù)先執(zhí)行的學(xué)習(xí)結(jié)果。通過對(duì)多個(gè)學(xué)習(xí)用圖像進(jìn)行學(xué)習(xí)處理來取得該學(xué)習(xí)結(jié)果。具體而言，預(yù)先作為學(xué)習(xí)結(jié)果取得關(guān)于以下所示的兩個(gè)值的相關(guān)關(guān)系的信息。一個(gè)值是正解模型和誤差模型之差，其中，正解模型是多個(gè)節(jié)點(diǎn)配置在分別對(duì)應(yīng)的特征點(diǎn)的正確的三維位置上的三維模型，誤差模型是多個(gè)節(jié)點(diǎn)中至少任一個(gè)配置在偏離了對(duì)應(yīng)的特征點(diǎn)的正確位置的位置上的三維模型。另一個(gè)值是根據(jù)把誤差模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的上述節(jié)點(diǎn)特征量。關(guān)于這樣的兩個(gè)值的相關(guān)關(guān)系的信息，例如通過典型相關(guān)分析、線性回歸、多元線性回歸、多元非線性回歸等的分析手法取得。
誤差估計(jì)量取得單元根據(jù)存儲(chǔ)在存儲(chǔ)單元中的相關(guān)關(guān)系的信息和特征量取得單元所取得的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量，取得表示當(dāng)前的三維模型的各節(jié)點(diǎn)位置和分別與之對(duì)應(yīng)的特征點(diǎn)位置之間的偏差的誤差估計(jì)量。
估計(jì)單元根據(jù)誤差估計(jì)量取得單元所得到的誤差估計(jì)量和當(dāng)前的三維模型的各節(jié)點(diǎn)的位置，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置。即，特征點(diǎn)檢測(cè)裝置在估計(jì)單元所估計(jì)出的各三維位置上檢測(cè)出各特征點(diǎn)。
根據(jù)本發(fā)明的第一方面，第一，無需形狀修正處理。換言之，根據(jù)本發(fā)明的第一方面，不實(shí)施形狀修正處理。因此，省去了此前花費(fèi)在形狀修正處理上的較多的處理，可實(shí)現(xiàn)處理的高速化。
根據(jù)本發(fā)明的第一方面，第二，無需在各節(jié)點(diǎn)周圍進(jìn)行搜索處理，也無需在由各節(jié)點(diǎn)構(gòu)成的面片中進(jìn)行面的高密度采樣。因此，可以削減以往技術(shù)的這種采樣所需的較多的計(jì)算量。
由于特征點(diǎn)的檢測(cè)處理高速化，從而上述的人機(jī)界面可以高速地工作。例如，駕駛員監(jiān)視系統(tǒng)由于其性質(zhì)而要求響應(yīng)性，可以解決以往未能實(shí)現(xiàn)的該要求。
本發(fā)明的第一方面可以還具備判定反復(fù)處理的結(jié)束的結(jié)束判定單元。結(jié)束判定單元例如可以構(gòu)成為對(duì)執(zhí)行反復(fù)處理的次數(shù)進(jìn)行計(jì)數(shù)，在達(dá)到預(yù)定的次數(shù)時(shí)判定為結(jié)束。在還具有結(jié)束判定單元的情況下，模型生成單元在得到誤差估計(jì)量的情況下，根據(jù)該誤差估計(jì)量移動(dòng)當(dāng)前的各節(jié)點(diǎn)的位置，生成新的三維模型。然后，模型生成單元和誤差估計(jì)量取得單元反復(fù)執(zhí)行處理，估計(jì)單元根據(jù)該時(shí)刻的三維模型和由結(jié)束判定單元判定為結(jié)束時(shí)的誤差估計(jì)量，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置。
根據(jù)這樣構(gòu)成的本發(fā)明的第一方面，根據(jù)基于誤差估計(jì)量移動(dòng)了各節(jié)點(diǎn)的三維位置后的新的三維模型，再次求出誤差估計(jì)量，反復(fù)執(zhí)行該處理。并且，根據(jù)由結(jié)束判定單元判定為該反復(fù)處理結(jié)束時(shí)的誤差估計(jì)量和該時(shí)刻的三維模型，來估計(jì)各特征點(diǎn)的三維位置。因此，與根據(jù)三維模型對(duì)誤差估計(jì)量進(jìn)行一次獲取來估計(jì)各特征點(diǎn)的三維位置的情況相比，其精度有所提高。
本發(fā)明的第一方面中的結(jié)束判定單元可以構(gòu)成為在通過誤差估計(jì)量取得單元所得到的誤差估計(jì)量處于閾值以下時(shí)，判定為反復(fù)處理結(jié)束。通過這樣構(gòu)成，可以更加正確地檢測(cè)各特征點(diǎn)的位置。
此外，本發(fā)明的第一方面中的模型生成單元可以在進(jìn)行上述反復(fù)處理的情況下，根據(jù)反復(fù)次數(shù)來變更根據(jù)誤差估計(jì)量生成新的三維模型的處理。例如，模型生成單元在反復(fù)處理的初期階段中，根據(jù)誤差估計(jì)量，在保持當(dāng)前各節(jié)點(diǎn)的相對(duì)位置關(guān)系不變的情況下移動(dòng)和/或旋轉(zhuǎn)各節(jié)點(diǎn)，改變?nèi)S模型的姿勢(shì)而生成新的三維模型。
本發(fā)明的第一方面優(yōu)選人臉作為預(yù)定的對(duì)象物。并且，本發(fā)明的第一方面可以進(jìn)一步具備從所輸入的圖像中至少檢測(cè)出人的臉或人臉的要素(指包含在臉中的器官或部分，例如眼、鼻、口、額頭等)的位置的人臉檢測(cè)單元。在該情況下，模型生成單元根據(jù)檢測(cè)出的人臉或人臉的要素的位置，決定三維模型中的各節(jié)點(diǎn)的三維位置。通過這樣構(gòu)成，各節(jié)點(diǎn)的初始位置變?yōu)檫m當(dāng)?shù)奈恢茫唇咏謩e對(duì)應(yīng)的特征點(diǎn)的位置。
在這樣構(gòu)成的本發(fā)明的第一方面中，使用特定于人臉檢測(cè)單元所檢測(cè)出的臉的大小的三維節(jié)點(diǎn)模型以及與該三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息來進(jìn)行特征點(diǎn)檢測(cè)。
本發(fā)明的第二方面是使用表示人臉中的多個(gè)特征點(diǎn)的三維配置的三維人臉形狀模型，來估計(jì)輸入圖像中的臉的特征點(diǎn)的三維配置的特征點(diǎn)檢測(cè)裝置。本發(fā)明的第二方面的特征點(diǎn)檢測(cè)裝置具有模型生成單元、影射單元、特征量取得單元、存儲(chǔ)單元、誤差估計(jì)量取得單元、變更單元以及估計(jì)單元。
模型生成單元生成表示人臉中的多個(gè)特征點(diǎn)的三維配置的三維人臉形狀模型。
影射單元把模型生成單元所生成的三維人臉形狀模型的各節(jié)點(diǎn)影射到所輸入的圖像平面上，決定影射點(diǎn)在圖像平面中的位置。
特征量取得單元在影射單元所影射的三維人臉形狀模型的各節(jié)點(diǎn)的影射點(diǎn)的位置周圍離散地取得多個(gè)特征量，取得根據(jù)一個(gè)影射點(diǎn)而取得的多個(gè)特征量作為一個(gè)節(jié)點(diǎn)特征量。
存儲(chǔ)單元存儲(chǔ)通過典型相關(guān)分析而預(yù)先取得的變換向量矩陣作為誤差估計(jì)矩陣，其中，該典型相關(guān)分析以表示正解三維人臉形狀模型和誤差三維人臉形狀模型中的各節(jié)點(diǎn)的位置之差的向量的集合以及把誤差三維人臉形狀模型影射到學(xué)習(xí)用圖像上而得到的節(jié)點(diǎn)特征量的集合作為輸入。在此，正解三維人臉形狀模型是指各節(jié)點(diǎn)配置在正確位置上的三維人臉形狀模型，誤差三維人臉形狀模型是指至少任一個(gè)節(jié)點(diǎn)偏離正確位置而配置的三維人臉形狀模型。
誤差估計(jì)量取得單元根據(jù)存儲(chǔ)在存儲(chǔ)單元中的誤差估計(jì)矩陣和特征量取得單元所取得的節(jié)點(diǎn)特征量的集合，取得表示三維人臉形狀模型的各節(jié)點(diǎn)的當(dāng)前位置和人臉的特征點(diǎn)位置之間的偏差的誤差估計(jì)量。
變更單元根據(jù)由誤差估計(jì)量取得單元所得到的誤差估計(jì)量，變更當(dāng)前的三維人臉形狀模型的各節(jié)點(diǎn)位置。
此外，估計(jì)單元估計(jì)通過變更單元變更了位置之后的各節(jié)點(diǎn)位置作為特征點(diǎn)的位置。
根據(jù)這樣構(gòu)成的本發(fā)明的第二方面也可起到與本發(fā)明的第一方面同樣的作用和效果。
第一和第二方面可以通過信息處理裝置執(zhí)行程序來實(shí)現(xiàn)。即，本發(fā)明可以把上述第一和第二方面中的各單元執(zhí)行的處理具體化為用于使信息處理裝置執(zhí)行的程序或者記錄該程序的記錄介質(zhì)。此外，本發(fā)明可以把上述各單元執(zhí)行的處理具體化為信息處理裝置執(zhí)行的方法。此外，此處所示的信息處理裝置可以是個(gè)人計(jì)算機(jī)、數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)、安全防范攝像機(jī)、安裝了數(shù)字照相機(jī)的便攜電話、數(shù)字錄像機(jī)、進(jìn)行圖像處理的服務(wù)器(可以是與網(wǎng)絡(luò)連接的服務(wù)器)、數(shù)字照片打印機(jī)以及微型監(jiān)測(cè)儀等。


圖1是表示從人臉圖像提取出的特征點(diǎn)的例子的圖。
圖2是表示Retina結(jié)構(gòu)的例子的圖。
圖3是表示對(duì)于人臉形狀模型具有的某一個(gè)節(jié)點(diǎn)應(yīng)用了Retina結(jié)構(gòu)時(shí)的采樣點(diǎn)的分布例的圖。
圖4是表示偏差配置模型的例子的圖。
圖5是表示學(xué)習(xí)處理的處理例的流程圖。
圖6是表示特征點(diǎn)檢測(cè)裝置的功能模塊的示例的圖。
圖7是表示特征點(diǎn)檢測(cè)裝置的動(dòng)作例的流程圖。
具體實(shí)施例方式
以往，如AAM那樣，一般通過進(jìn)行形狀修正處理來進(jìn)行誤差估計(jì)(估計(jì)形狀模型中的各節(jié)點(diǎn)向正解點(diǎn)移動(dòng)的移動(dòng)方向和移動(dòng)量)。因此，至今為止沒有研究過省去每當(dāng)進(jìn)行誤差估計(jì)時(shí)的形狀修正處理。但是，研究在以往的AAM中導(dǎo)致計(jì)算量增大的原因時(shí)，作為原因可以列舉出認(rèn)為必要的形狀修正處理。因此，本發(fā)明人研究了可以檢測(cè)特征點(diǎn)而不進(jìn)行這樣的形狀修正處理的裝置。
此外，以往為了較高地維持誤差估計(jì)的精度，一般在各節(jié)點(diǎn)的周圍實(shí)施高密度的采樣。例如，在以往的AAM中，需要在由各節(jié)點(diǎn)構(gòu)成的面片內(nèi)進(jìn)行均勻且高密度的采樣(具體而言，通常為1萬點(diǎn)以上的采樣)。因此，至今為止，沒有研究過每當(dāng)進(jìn)行誤差估計(jì)時(shí)實(shí)施低密度的采樣。但是，作為在以往的AAM中導(dǎo)致計(jì)算量增大的原因之一，也可以列舉出這樣的均勻且高密度的采樣。因此，本發(fā)明人對(duì)于可以檢測(cè)特征點(diǎn)而不進(jìn)行這樣的均勻且高密度的采樣的裝置進(jìn)行了研究。
此外，以往在圖像平面(二維)上捕捉特征點(diǎn)的位置。因此，為了得到對(duì)象物(例如，人的臉)的姿勢(shì)，需要在確定圖像平面上的特征點(diǎn)的位置之后，根據(jù)該特征點(diǎn)的位置來估計(jì)對(duì)象物的姿勢(shì)。沒有研究過利用三維來表示形狀模型。但是，在使用三維模型作為形狀模型的情況下，可以從檢測(cè)出的特征點(diǎn)的位置直接求出對(duì)象物的姿勢(shì)。因此，本發(fā)明人對(duì)于使用三維形狀模型進(jìn)行特征點(diǎn)檢測(cè)的裝置進(jìn)行了研究。
本發(fā)明人對(duì)于這些研究的結(jié)果考慮如下。首先，在以往的AAM中的誤差估計(jì)中，在由各節(jié)點(diǎn)構(gòu)成的面片中實(shí)施采樣。因此，當(dāng)象面片這樣作為面來捕捉采樣結(jié)果時(shí)，節(jié)點(diǎn)會(huì)根據(jù)誤差估計(jì)結(jié)果產(chǎn)生移動(dòng)，導(dǎo)致形狀變形，如果不通過形狀修正處理對(duì)該形狀變形進(jìn)行修正，就難以維持處理的精度。然而，在對(duì)于各節(jié)點(diǎn)周圍的多個(gè)點(diǎn)進(jìn)行非均勻且低密度的采樣的情況下，即使形狀變形，點(diǎn)也不會(huì)變形，并且采樣點(diǎn)密度低，因此難以受到伴隨節(jié)點(diǎn)移動(dòng)而引起的形狀變形的影響。因此，不特別實(shí)施形狀修正處理也可維持處理的精度。根據(jù)這樣的研究結(jié)果，本發(fā)明人提出以下這樣的特征點(diǎn)檢測(cè)裝置。
因此，本發(fā)明的目的在于，解決上述問題，提供可以從圖像中高速檢測(cè)出特征點(diǎn)位置的裝置和程序等。
以下，把對(duì)象物設(shè)為人的臉，對(duì)于估計(jì)人臉的特征點(diǎn)的三維位置的特征點(diǎn)檢測(cè)裝置進(jìn)行說明。在以下的說明中，人臉圖像是指至少包括人物的臉的一部分或者全部圖像的圖像。因此，人臉圖像可以包括人物整體的圖像，也可以僅包括人物的臉或者上半身的圖像。此外，人臉圖像也可以包括多個(gè)人物的圖像。而且，人臉圖像也可以在其背景中包含人物以外的風(fēng)景(背景也包括作為被攝體而被關(guān)注的物體)或圖案等的任意圖像。
本發(fā)明人在ASM中使用三維形狀模型作為形狀模型，而且通過組合基于可變Retina結(jié)構(gòu)的特征量采樣和基于典型相關(guān)分析的誤差估計(jì)矩陣學(xué)習(xí)，而實(shí)現(xiàn)了高速的特征點(diǎn)檢測(cè)。此外，通過該組合，實(shí)現(xiàn)了魯棒性高的特征點(diǎn)檢測(cè)。此外，通過該組合，甚至可以與特征點(diǎn)的檢測(cè)同時(shí)進(jìn)行人臉姿勢(shì)的估計(jì)。以下，對(duì)于本發(fā)明人提出的技術(shù)進(jìn)行說明。
首先，說明特征點(diǎn)檢測(cè)所需的學(xué)習(xí)處理。接著，對(duì)于根據(jù)該學(xué)習(xí)處理的結(jié)果實(shí)施本發(fā)明人提出的特征點(diǎn)檢測(cè)的特征點(diǎn)檢測(cè)裝置1說明其結(jié)構(gòu)示例和動(dòng)作示例等。接著，對(duì)于特征點(diǎn)檢測(cè)裝置1的結(jié)構(gòu)可采用的變形例進(jìn)行說明。
首先，對(duì)于使特征點(diǎn)檢測(cè)裝置1工作所需的學(xué)習(xí)處理進(jìn)行說明。該學(xué)習(xí)處理需要預(yù)先實(shí)施，以便通過特征點(diǎn)檢測(cè)裝置1從人臉圖像中檢測(cè)出特征點(diǎn)的位置。首先，對(duì)于說明本學(xué)習(xí)處理的流程所需的處理、三維人臉形狀模型的取得、三維人臉形狀模型向圖像平面的影射、Retina采樣以及誤差估計(jì)矩陣的取得進(jìn)行說明。之后，對(duì)于學(xué)習(xí)處理的具體的流程示例進(jìn)行說明。
<三維人臉形狀模型的取得>
在學(xué)習(xí)處理中，首先準(zhǔn)備多個(gè)學(xué)習(xí)用人臉圖像(以下，在學(xué)習(xí)處理的說明中稱為“人臉圖像”)和各人臉圖像中的特征點(diǎn)的三維坐標(biāo)。例如，可以通過激光掃描儀或立體攝影機(jī)等的技術(shù)而取得特征點(diǎn)，也可以利用其它任何技術(shù)。為了提高學(xué)習(xí)處理的精度，也期望由人來實(shí)施該特征點(diǎn)提取處理。圖1(a)是表示從人臉圖像中提取出的特征點(diǎn)的示例的圖。在圖1(a)中，含有斜線的圓的中心位置作為特征點(diǎn)。具體而言，可以把雙眼的兩端(內(nèi)側(cè)眼角和外側(cè)眼角)以及中心部分、左右顴骨部分(眼窩部分)、鼻子的頂點(diǎn)、左右嘴角、嘴的中心、鼻的左右端點(diǎn)和左右嘴角的中間點(diǎn)等作為特征點(diǎn)。此外，為了說明特征點(diǎn)的位置，圖1(a)示為平面圖形，但實(shí)際上如圖1(b)所示，作為三維坐標(biāo)來提取特征點(diǎn)。將各特征點(diǎn)pi的坐標(biāo)設(shè)為pi(xi，yi，zi)。此時(shí)，i表示從1至n(n表示特征點(diǎn)的數(shù)量)的值。
接著，如式(1)這樣定義關(guān)于各人臉圖像的特征點(diǎn)配置向量。關(guān)于某一人臉圖像j的特征點(diǎn)配置向量記為Xj。其中，X的維數(shù)為3n。
(式1)X＝[x1，y1，z1，x2，y2，z2，……xn，yn，zn]T接著，根據(jù)適當(dāng)?shù)幕鶞?zhǔn)，對(duì)所取得的所有特征點(diǎn)配置向量X進(jìn)行歸一化。此時(shí)的歸一化的基準(zhǔn)可以由設(shè)計(jì)者適當(dāng)決定。以下，對(duì)于歸一化的具體例子進(jìn)行說明。例如，關(guān)于某一人臉圖像j的特征點(diǎn)配置向量Xj，當(dāng)把點(diǎn)p1～pn的重心坐標(biāo)設(shè)為pG時(shí)，把各點(diǎn)移動(dòng)至以重心pG作為原點(diǎn)的坐標(biāo)系中之后，可以使用由式2定義的Lm，對(duì)其大小進(jìn)行歸一化。具體而言，可以通過將移動(dòng)后的坐標(biāo)值除以Lm，來對(duì)大小進(jìn)行歸一化。在此，Lm是重心距各點(diǎn)的直線距離的平均值。
(式2)Lm=1nΣi=1n(xi-xG)2+(yi-yG)2+(zi-zG)2]]>此外，對(duì)于旋轉(zhuǎn)，例如可以通過對(duì)特征點(diǎn)坐標(biāo)進(jìn)行旋轉(zhuǎn)變換，以使連結(jié)雙眼中心的直線朝向一定方向，來進(jìn)行歸一化。以上的處理能夠以旋轉(zhuǎn)、擴(kuò)大/縮小的組合來表現(xiàn)，因此歸一化后的特征點(diǎn)配置向量x可以如式3這樣表示(相似變換)。
(式3)x＝sRxRyRzX+tRx=1000cosθ-sinθ0sinθcosθ,Ry=cosφ0sinφ010-sinφ0cosφ,Rz=cosψ-sinψ0sinψcosψ0001t=txtytz]]>接著，對(duì)該歸一化特征點(diǎn)配置向量的集合進(jìn)行主成分分析。主成分分析例如可以如下這樣進(jìn)行。首先，按照式4取得平均向量(通過在x的上部標(biāo)記水平線來表示平均向量)。此外，在式4中，N表示人臉圖像的數(shù)量，即表示特征點(diǎn)配置向量的數(shù)量。
(式4)
x‾=1NΣj=1Nxj]]>然后，如式5所示，通過從所有的歸一化特征點(diǎn)配置向量中減去平均向量，取得差分向量x’。關(guān)于圖像j的差分向量表示為x’i。
(式5)x′j＝xj-x作為上述的主成分分析的結(jié)果，可以得到3n個(gè)固有向量和固有值的組。任意的歸一化特征點(diǎn)配置向量可以通過式6所示的公式來表示。
(式6)x＝x+Pb其中，P表示固有向量矩陣，b表示形狀參數(shù)向量。各自的值如式7所示。其中，ei表示固有向量。
(式7)P＝[e1，e2，…，e3n]Tb＝[b1，b2，…，b3n]實(shí)際上，通過使用固有值大的前k維為止的值，可以將任意的歸一化特征點(diǎn)配置向量x如式8這樣進(jìn)行近似表示。以下，按照固有值從大到小的順序，將ei稱為第i主成分。
(式8)x＝x+P′b′P′＝[e1，e2，…，ek]Tb′＝[b1，b2，…，bk]此外，在將人臉形狀模型施加(擬合)到實(shí)際的人臉圖像上時(shí)，對(duì)歸一化特征點(diǎn)配置向量x進(jìn)行相似變換(平移、旋轉(zhuǎn))。當(dāng)設(shè)相似變換的參數(shù)為sx、sy、sz、sθ、s、sψ時(shí)，與形狀參數(shù)一同，模型參數(shù)k可以如式9這樣表示。
(式9)k＝[sx，sy，sz，sθ，sφ，sψ，b1，b2，…，bk]在通過該模型參數(shù)k表示的三維人臉形狀模型與某一人臉圖像上的特征點(diǎn)位置幾乎準(zhǔn)確地一致的情況下，把該參數(shù)稱為該人臉圖像中的三維正解模型參數(shù)。根據(jù)由設(shè)計(jì)者設(shè)定的閾值或基準(zhǔn)來判斷是否準(zhǔn)確地一致。
<影射處理>
通過把三維形狀模型影射到二維平面上，可以進(jìn)行二維圖像上的處理。作為把三維形狀影射到二維平面上的方法，存在平行投影法、透視投影法等的各種方法。在此，以透視投影法中的單點(diǎn)透視投影為例進(jìn)行說明。但是，使用其它的任何方法也可以得到同樣的效果。對(duì)z＝0平面的單點(diǎn)透視投影矩陣如式10所示。
(式10)T=10000100000r0001]]>其中，r＝-1/zc，zc表示z軸上的投影中心。由此，對(duì)三維坐標(biāo)[x，y，z]如式11所示進(jìn)行變換，在z＝0平面上的坐標(biāo)系中，如式12這樣表示。
(式11)xyz110000100000r0001xy0rz+1]]>(式12)x*y*=xrz+1yrz+1]]>通過以上的處理，三維形狀模型被影射到二維平面上。
<Retina采樣>
接著，對(duì)特征量的采樣進(jìn)行說明。通過對(duì)影射到圖像上的人臉形狀模型組合可變Retina結(jié)構(gòu)來進(jìn)行特征量的采樣。Retina結(jié)構(gòu)是指在某一要關(guān)注的特征點(diǎn)(節(jié)點(diǎn))周圍呈放射狀離散配置的采樣點(diǎn)的結(jié)構(gòu)。圖2是表示Retina結(jié)構(gòu)的示例的圖。在圖2中，要關(guān)注的特征點(diǎn)的坐標(biāo)為原點(diǎn)，位于其它坐標(biāo)的各點(diǎn)表示Retina結(jié)構(gòu)中的采樣點(diǎn)。通過實(shí)施基于Retina結(jié)構(gòu)的采樣，可以以低維且高效地對(duì)特征點(diǎn)周圍的信息進(jìn)行采樣。在本學(xué)習(xí)處理中，在從三維人臉形狀模型影射到二維平面上的人臉形狀模型(以下，稱為二維人臉形狀模型)的各節(jié)點(diǎn)的影射點(diǎn)(各點(diǎn)p)處實(shí)施基于Retina結(jié)構(gòu)的采樣。此外，基于Retina結(jié)構(gòu)的采樣是指在根據(jù)Retina結(jié)構(gòu)而確定的采樣點(diǎn)處實(shí)施采樣。
圖3是表示對(duì)于二維人臉形狀模型的某一個(gè)節(jié)點(diǎn)應(yīng)用了Retina結(jié)構(gòu)時(shí)的采樣點(diǎn)的分布示例的圖。在圖3中，包含斜線的圓表示人臉形狀模型的節(jié)點(diǎn)，黑圓點(diǎn)表示Retina結(jié)構(gòu)中的采樣點(diǎn)。
當(dāng)把第i個(gè)采樣點(diǎn)的坐標(biāo)設(shè)為qi(xi，yi)時(shí)，Retina結(jié)構(gòu)可以如式13這樣表示。
(式13)r=[q1T,q2T,···,qmT]T]]>因此，例如對(duì)于某一點(diǎn)p(xp，yp)，通過進(jìn)行基于Retina結(jié)構(gòu)的采樣而得到的Retina特征量fp可以如式14這樣表示。
(式14)fp＝[f(p+q1)，…，f(p+qm)]T其中，f(p)表示點(diǎn)p(采樣點(diǎn)p)處的特征量。此外，在Retina結(jié)構(gòu)中的各采樣點(diǎn)處，作為該采樣點(diǎn)的特征量取得圖像的亮度值、Sobe1濾波器特征量、HarrWavelet特征量、GaborWavelet特征量或復(fù)合了這些特征量的值。在特征量為多維的情況下，Retina特征量可以如式15這樣表示。
(式15)fp=[f1(p+q1(1)),···,fD(p+q1(D)),···,f1(p+qm(1))···,fD(p+qm(D))]T]]>其中，D是特征量的維數(shù)，fD(p)表示點(diǎn)p的第D維的特征量。此外，qi(d)表示與第d維相對(duì)的Retina結(jié)構(gòu)的、第i個(gè)采樣坐標(biāo)。
此外，Retina結(jié)構(gòu)可以與人臉形狀模型的縮放相應(yīng)地改變其大小。例如，可以與平移參數(shù)sz成反比地改變Retina結(jié)構(gòu)的大小。此時(shí)，Retina結(jié)構(gòu)r可以如式16這樣表示。其中，α是適當(dāng)?shù)墓潭ㄖ?。此外，Retina結(jié)構(gòu)可以與人臉形狀模型中的其它參數(shù)相應(yīng)地進(jìn)行旋轉(zhuǎn)和形狀變化。此外，Retina結(jié)構(gòu)可以設(shè)定為因人臉形狀模型的各節(jié)點(diǎn)而形狀(結(jié)構(gòu))各異。此外，Retina結(jié)構(gòu)可以是僅中心點(diǎn)一點(diǎn)的結(jié)構(gòu)。即，僅把特征點(diǎn)(節(jié)點(diǎn))作為采樣點(diǎn)的結(jié)構(gòu)也包括在Retina結(jié)構(gòu)之內(nèi)。
(式16)r=αsz-1[q1T,q2T,···,qmT]T]]>在由某一模型參數(shù)確定的三維人臉形狀模型中，把針對(duì)影射到影射平面上的各節(jié)點(diǎn)的影射點(diǎn)進(jìn)行上述的采樣而得到的Retina特征量排列為一列而成的向量定義為該三維人臉形狀模型中的采樣特征量f。采樣特征量f可以如式17這樣表示。在式17中，n表示人臉形狀模型中的節(jié)點(diǎn)的數(shù)量。
(式17)f=[fp1T,fp2T,···,fpnT]T]]>此外，在采樣時(shí)，在各節(jié)點(diǎn)進(jìn)行歸一化。例如，可以進(jìn)行縮放變換以使特征量收斂于0至1的范圍內(nèi)，由此進(jìn)行歸一化。此外，可以通過進(jìn)行變換以得到一定的均值或方差來進(jìn)行歸一化。此外，根據(jù)特征量不同，有時(shí)不進(jìn)行歸一化也可。
<誤差估計(jì)矩陣的取得>
接著，對(duì)本學(xué)習(xí)處理中執(zhí)行的誤差估計(jì)矩陣的取得進(jìn)行說明。誤差估計(jì)矩陣的取得通過使用典型相關(guān)分析(Canonical Correlation Analysis)來實(shí)施。典型相關(guān)分析是求兩個(gè)維數(shù)不同的變量之間的相關(guān)關(guān)系的方法中的一種。通過典型相關(guān)分析可得到表示當(dāng)人臉形狀模型的各節(jié)點(diǎn)配置在錯(cuò)誤位置(與應(yīng)檢測(cè)的特征點(diǎn)不同的位置)上時(shí)應(yīng)向哪個(gè)方向進(jìn)行修正的相關(guān)關(guān)系學(xué)習(xí)結(jié)果。
首先，根據(jù)學(xué)習(xí)用人臉圖像的特征點(diǎn)的三維位置信息生成三維人臉形狀模型?；蛘?，根據(jù)學(xué)習(xí)用人臉圖像的二維正解坐標(biāo)點(diǎn)生成三維人臉形狀模型。然后，根據(jù)三維人臉形狀模型生成正解模型參數(shù)。通過利用隨機(jī)數(shù)等將該正解模型參數(shù)散開在一定范圍內(nèi)，生成至少任一節(jié)點(diǎn)偏離了特征點(diǎn)的三維位置的偏離配置模型。圖4是表示把偏離配置模型影射到學(xué)習(xí)用人臉圖像上時(shí)的各節(jié)點(diǎn)的影射點(diǎn)的示例的圖。在圖4中，包含斜線的圓表示影射點(diǎn)的位置。圖4(a)是表示將某一人臉圖像的正解模型參數(shù)影射到學(xué)習(xí)用人臉圖像上而得到的各節(jié)點(diǎn)的影射點(diǎn)的位置的圖。圖4(b)是表示將通過對(duì)圖4(a)中所示的正解模型(利用正解模型參數(shù)表示的三維人臉形狀模型)進(jìn)行移位而生成的偏離配置模型影射到學(xué)習(xí)用人臉圖像上而得到的各節(jié)點(diǎn)的影射點(diǎn)的位置的圖。然后，把根據(jù)偏離配置模型而取得的采樣特征量以及偏離配置模型與正解模型之差作為組，取得關(guān)于相關(guān)關(guān)系的學(xué)習(xí)結(jié)果。以下，說明具體的處理。
首先，如式18所示那樣定義兩組變量向量x和y。x表示對(duì)偏離配置模型的采樣特征量。y表示正解模型參數(shù)(kopt)與偏離配置模型參數(shù)(表示偏離配置模型的參數(shù)kdif)之差。
(式18)x＝[x1，x2，…xp]Ty＝[y1，y2，…yq]T＝kopt-kdif預(yù)先對(duì)于每個(gè)維將兩組變量向量歸一化為均值為0、方差為1。在后述的特征點(diǎn)檢測(cè)處理中需要?dú)w一化所用到的參數(shù)(各維的均值、方差)。以下，分別設(shè)為xave、xvar、yave、yvar，稱為歸一化參數(shù)。
接著，在如式19所示對(duì)兩個(gè)變量的線性變換進(jìn)行定義后，求解使得u、v之間的相關(guān)度為最大的a、b。
(式19)u＝a1x1+…+apxp＝aTxv＝b1y1+…+bqyq＝bTy上述a和b是在考慮x、y的同時(shí)分布，如式20這樣定義了其方差協(xié)方差矩陣∑的情況下，作為式21所示的對(duì)于求解一般固有值問題時(shí)的最大固有值的固有向量而得到。
(式20)Σ=ΣXXΣXYΣYXΣYY]]>(式21)(ΣXYΣYY-1λYX-λ2ΣXX)A=0]]>(ΣYXΣXX-1ΣXY-λ2ΣYY)B=0]]>
這些之中，先求解維數(shù)低的固有值問題。例如，在求解第1個(gè)式子得到的最大固有值為λ1，所對(duì)應(yīng)的固有向量為a1時(shí)，向量b1可以利用式22來得到。
(式22)b1=1λ1ΣYY-1ΣYXa1]]>這樣求得的λ1稱為第一典型相關(guān)系數(shù)。此外，利用式23表示的u1、v1稱為第一典型變量。
(式23)u1=a1Tx]]>v1=b1Ty]]>以下，如與第二大的固有值對(duì)應(yīng)的第二典型變量、與第三大的固有值對(duì)應(yīng)的第三典型變量這樣，根據(jù)固有值的大小依次求解。此外，在后述的特征點(diǎn)的檢測(cè)處理中使用的向量為固有值具有一定以上的值(閾值)的第M典型變量為止的向量。此時(shí)的閾值可以由設(shè)計(jì)者適當(dāng)決定。以下，把第M典型變量為止的變換向量矩陣設(shè)為A’、B’，稱為誤差估計(jì)矩陣。A’、B’可以如式24那樣表示。
(式24)A′＝[a1，…，aM]B′＝[b1，…，bM]B’一般不為正方矩陣。但是，在特征點(diǎn)的檢測(cè)處理中需要逆矩陣，因此對(duì)B’假想地追加0向量，成為正方矩陣B”。正方矩陣B”可以如式25這樣表示。
(式25)B″＝[b1，…，bM，0，…，0]此外，也可以利用線性回歸、多元線性回歸、多元非線性回歸等的分析手法來求解誤差估計(jì)矩陣。但是，通過使用典型相關(guān)分析，可以忽略與較小的固有值對(duì)應(yīng)的變量的影響。因此，可以排除不對(duì)誤差估計(jì)帶來影響的要素的影響，可以實(shí)現(xiàn)更加穩(wěn)定的誤差估計(jì)。因此，如果不需要相關(guān)的效果，則可以不使用典型相關(guān)分析而使用上述的其它的分析方法來取得誤差估計(jì)矩陣。此外，誤差估計(jì)矩陣可以通過SVM、RVM等的方法來取得。
<學(xué)習(xí)處理的流程>
以上，對(duì)于本學(xué)習(xí)處理所需的三個(gè)處理，即人臉形狀模型的取得、Retina采樣以及誤差估計(jì)矩陣的取得進(jìn)行了說明。接著，對(duì)使用這些處理進(jìn)行學(xué)習(xí)處理時(shí)的流程進(jìn)行說明。圖5是表示學(xué)習(xí)處理的流程示例的流程圖。以下，使用圖5對(duì)于學(xué)習(xí)處理的流程的示例進(jìn)行說明。此外，以下說明的處理通過安裝了學(xué)習(xí)處理程序的信息處理裝置來執(zhí)行。該信息處理裝置構(gòu)成為可以從所連接的存儲(chǔ)裝置中讀出學(xué)習(xí)用人臉圖像和從各人臉圖像中預(yù)先提取的各特征點(diǎn)的三維坐標(biāo)位置(特征點(diǎn)的正解坐標(biāo))。該信息處理裝置不限于上述的從存儲(chǔ)裝置讀出，也可構(gòu)成為經(jīng)由網(wǎng)絡(luò)或者通過訪問記錄介質(zhì)等來讀出上述數(shù)據(jù)。
首先，定義變量i，代入1(S01)。接著，在預(yù)先取得了特征點(diǎn)的三維位置的學(xué)習(xí)用人臉圖像之中，讀入第i個(gè)人臉圖像(Img_i)(S02)。在此，因?yàn)榘?代入了i，因此讀入第1個(gè)人臉圖像(Img_1)。接著，讀出人臉圖像Img_i的特征點(diǎn)正解坐標(biāo)的集合，取得正解模型參數(shù)kopt，生成三維人臉形狀模型(正解模型)(S03)。接著，根據(jù)正解模型參數(shù)kopt生成偏離配置模型參數(shù)kdif，生成偏離配置模型(S04)。該偏離配置模型的生成優(yōu)選是產(chǎn)生隨機(jī)數(shù)而在預(yù)定的范圍內(nèi)偏離正解模型。接著，把偏離配置模型影射到學(xué)習(xí)圖像上(S05)。然后，根據(jù)影射了偏離配置模型的二維形狀模型，執(zhí)行使用了Retina結(jié)構(gòu)的采樣，取得采樣特征量f_i(S06)。此外，根據(jù)正解模型參數(shù)kopt和偏離配置模型參數(shù)kdif，取得形狀模型的誤差(偏差)dp_i(S07)。在此，判斷對(duì)于全部的學(xué)習(xí)用人臉圖像的處理是否已經(jīng)完成(S08)。例如，可以通過比較i值和表示學(xué)習(xí)用人臉圖像的數(shù)量的n來進(jìn)行判斷。在存在未處理的人臉圖像的情況下(S08-“否”)，增加i值(S09)，根據(jù)新的i值執(zhí)行S02起的處理。另一方面，當(dāng)判斷為對(duì)于全部的人臉圖像已完成處理的情況下(S08-“是”)，對(duì)于從各人臉圖像得到的采樣特征量f_i和形狀模型的誤差dp_i的集合執(zhí)行典型相關(guān)分析(S10)。然后，刪除與比預(yù)先確定的閾值小的固定值對(duì)應(yīng)的不需要的相關(guān)矩陣(S11)，最終取得誤差估計(jì)矩陣(S12)。
在上述的處理中，對(duì)各學(xué)習(xí)用圖像僅生成1個(gè)偏離配置模型，但也可以生成多個(gè)偏離配置模型。即，對(duì)于學(xué)習(xí)用圖像可以多次(例如10-100次)執(zhí)行從S03至S07的處理。
接著，對(duì)于特征點(diǎn)檢測(cè)裝置1進(jìn)行說明。特征點(diǎn)檢測(cè)裝置1根據(jù)通過上述的學(xué)習(xí)處理而得到的誤差估計(jì)矩陣和歸一化參數(shù)等，從所輸入的人臉圖像中檢測(cè)特征點(diǎn)。首先，對(duì)于特征點(diǎn)檢測(cè)裝置1的裝置結(jié)構(gòu)進(jìn)行說明。
<裝置結(jié)構(gòu)>
例如，特征點(diǎn)檢測(cè)裝置1在硬件上可以構(gòu)成為具有經(jīng)由總線而連接的CPU(中央運(yùn)算處理裝置)、主存儲(chǔ)裝置(RAM)和輔助存儲(chǔ)裝置等。在該情況下，通過CPU執(zhí)行程序來實(shí)現(xiàn)特征點(diǎn)檢測(cè)裝置1。此處言及的輔助存儲(chǔ)裝置使用非易失性存儲(chǔ)裝置來構(gòu)成。非易失性存儲(chǔ)裝置是指所謂ROM(Read-Only Memory，只讀存儲(chǔ)器包括EPROM(ErasableProgrammable Read-Only Memory，可擦可編程只讀存儲(chǔ)器)，EEPROM(Electrically Erasable Programmable Read-Only Memory，電可擦可編程只讀存儲(chǔ)器)，Mask ROM等)，F(xiàn)eRAM(Ferroelectric RAM，鐵電隨機(jī)存取存儲(chǔ)器)和硬盤等。
圖6是表示特征點(diǎn)檢測(cè)裝置1的功能模塊示例的圖。特征點(diǎn)檢測(cè)裝置1通過把存儲(chǔ)在輔助存儲(chǔ)裝置中的各種程序(OS、應(yīng)用程序等)加載到主存儲(chǔ)裝置中并通過CPU來執(zhí)行，從而起到包括圖像輸入部2、人臉檢測(cè)部3、特征量取得部4、學(xué)習(xí)結(jié)果存儲(chǔ)部5以及誤差估計(jì)部6等的裝置的作用。此外，特征點(diǎn)檢測(cè)裝置1的全部或者一部分可以構(gòu)成為專用的芯片。接著，對(duì)于特征點(diǎn)檢測(cè)裝置1包括的各功能部進(jìn)行說明。
圖像輸入部2起到用于向特征點(diǎn)檢測(cè)裝置1輸入人臉圖像數(shù)據(jù)的接口的作用。通過圖像輸入部2向特征點(diǎn)檢測(cè)裝置1輸入人臉圖像數(shù)據(jù)?？梢允褂萌我庖环N用于向特征點(diǎn)檢測(cè)裝置1輸入人臉圖像數(shù)據(jù)的現(xiàn)有技術(shù)來構(gòu)成圖像輸入部2。
例如，可以經(jīng)由網(wǎng)絡(luò)(例如，局域網(wǎng)或因特網(wǎng))向特征點(diǎn)檢測(cè)裝置1輸入人臉圖像數(shù)據(jù)。在該情況下，圖像輸入部2使用網(wǎng)絡(luò)接口來構(gòu)成。此外，也可以從數(shù)字照相機(jī)、掃描儀、個(gè)人計(jì)算機(jī)、記錄裝置(例如，硬盤驅(qū)動(dòng)器)等向特征點(diǎn)檢測(cè)裝置1輸入人臉圖像數(shù)據(jù)。在該情況下，圖像輸入部2按照將數(shù)字照相機(jī)、個(gè)人計(jì)算機(jī)、記錄裝置等與特征點(diǎn)檢測(cè)裝置1可數(shù)據(jù)通信地進(jìn)行連接的標(biāo)準(zhǔn)(例如USB(Universal Serial Bus，通用串行總線)、SCSI(Small Computer System Interface，小型計(jì)算機(jī)系統(tǒng)接口)等的有線連接或bluetooth(藍(lán)牙)(注冊(cè)商標(biāo))等的無線連接的標(biāo)準(zhǔn))而構(gòu)成。此外，也可以向特征點(diǎn)檢測(cè)裝置1輸入記錄在記錄介質(zhì)(例如各種閃存、軟盤(Floppy Disk，注冊(cè)商標(biāo))、CD(Compact Disk，光盤)或DVD(Digital Versatile Disc，Digital Video Disc數(shù)字通用光盤，數(shù)字視頻光盤))中的人臉圖像數(shù)據(jù)。在該情況下，使用從記錄介質(zhì)讀出數(shù)據(jù)的裝置(例如閃存讀取器、軟盤(注冊(cè)商標(biāo))驅(qū)動(dòng)器、CD驅(qū)動(dòng)器或DVD驅(qū)動(dòng)器)來構(gòu)成圖像輸入部2。
此外，特征點(diǎn)檢測(cè)裝置1可以包含在數(shù)字照相機(jī)等的攝像裝置或具有數(shù)字照相機(jī)等攝像裝置的各種裝置(例如PDA(Personal DigitalAssistant，個(gè)人數(shù)字助理)或便攜電話機(jī))的內(nèi)部，所拍攝的圖像可以作為人臉圖像的數(shù)據(jù)輸入到特征點(diǎn)檢測(cè)裝置1。在該情況下，可以使用CCD(Charge-Coupled Devices，電荷耦合器件)或CMOS(ComplementaryMetal-Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)傳感器等來構(gòu)成圖像輸入部2，也可以構(gòu)成為用于向特征點(diǎn)檢測(cè)裝置1輸入利用CCD或CMOS傳感器等拍攝的人臉圖像數(shù)據(jù)的接口。此外，特征點(diǎn)檢測(cè)裝置1可以包含在打印機(jī)或顯示器等的圖像輸出裝置的內(nèi)部，作為輸出數(shù)據(jù)輸入給這些圖像輸出裝置的圖像也可以作為人臉圖像數(shù)據(jù)輸入到特征點(diǎn)檢測(cè)裝置1。在該情況下，采用將輸入到這些圖像輸入裝置中的人臉圖像數(shù)據(jù)轉(zhuǎn)換為在特征點(diǎn)檢測(cè)裝置1中可處理的數(shù)據(jù)的裝置等來構(gòu)成圖像輸入部2。
此外，圖像輸入部2可以構(gòu)成為可應(yīng)對(duì)上述多個(gè)情況。
人臉檢測(cè)部3從經(jīng)由圖像輸入部2輸入的人臉圖像中檢測(cè)人的臉。人臉檢測(cè)部3可以構(gòu)成為例如使用與人臉的整體輪廓相對(duì)應(yīng)的標(biāo)準(zhǔn)模板進(jìn)行模板匹配，從而檢測(cè)人臉。此外，人臉檢測(cè)部3可以構(gòu)成為通過基于人臉的構(gòu)成要素(眼、鼻、耳等)的模板匹配來檢測(cè)臉。此外，人臉檢測(cè)部3可以構(gòu)成為通過色度鍵(chroma key)處理檢測(cè)頭部等的頂點(diǎn)，根據(jù)該頂點(diǎn)來檢測(cè)出臉。此外，人臉檢測(cè)部3可以構(gòu)成為檢測(cè)接近皮膚顏色的區(qū)域，檢測(cè)出該區(qū)域作為人臉。此外，人臉檢測(cè)部3可以構(gòu)成為通過神經(jīng)網(wǎng)絡(luò)(neural network)進(jìn)行基于訓(xùn)練信號(hào)的學(xué)習(xí)，檢測(cè)出像臉的區(qū)域作為人臉。此外，人臉檢測(cè)部3的人臉檢測(cè)處理也可以通過應(yīng)用現(xiàn)有的其它任何技術(shù)來實(shí)現(xiàn)。
人臉檢測(cè)部3確定所檢測(cè)出的臉的位置，把該位置傳遞給特征量取得部4。此時(shí)，人臉檢測(cè)部3可以構(gòu)成為取得臉的朝向或臉的大小，再把該值傳遞給特征量取得部4。
特征量取得部4從人臉檢測(cè)部3檢測(cè)出的人臉圖像中取得采樣特征量。以下，對(duì)于特征量取得部4的具體處理進(jìn)行說明。
在對(duì)人臉檢測(cè)部3檢測(cè)出的人臉初次取得采樣特征量的情況下，特征量取得部4首先確定三維人臉形狀模型中的各節(jié)點(diǎn)的三維位置，取得該形狀模型的參數(shù)(初始參數(shù))kinit。該三維形狀模型可以是例如檢測(cè)出的人臉的中心與三維人臉形狀模型的中心一致的形狀。此外，在例如利用人臉檢測(cè)部3取得臉矩形(包圍檢測(cè)出的臉的矩形)的情況下，三維形狀模型可以是從該臉矩形的某一頂點(diǎn)(例如左上角)到預(yù)定的位置配置了人臉形狀模型的預(yù)定節(jié)點(diǎn)的形狀。如果對(duì)檢測(cè)出的人臉恰當(dāng)?shù)嘏渲昧斯?jié)點(diǎn)，則特征量取得部4生成的三維人臉形狀模型的其它部分可以由設(shè)計(jì)者任意定義。各節(jié)點(diǎn)與作為檢測(cè)對(duì)象的特征點(diǎn)分別對(duì)應(yīng)。此外，所生成的三維模型的位置優(yōu)選是三維模型的各節(jié)點(diǎn)影射到輸入圖像上的影射點(diǎn)接近與各節(jié)點(diǎn)相應(yīng)的特征點(diǎn)。因此，可以預(yù)先確定根據(jù)這樣的基準(zhǔn)所生成的三維模型的初始位置和姿勢(shì)。例如，根據(jù)對(duì)象物大多位于畫面中央且朝向正面拍攝的經(jīng)驗(yàn)，可以把畫面中央設(shè)為初始位置，姿勢(shì)設(shè)為朝向正面。
此外，初始參數(shù)kinit是指在由式9表示的模型參數(shù)k中利用初始值表示的模型參數(shù)?？梢詫?duì)初始參數(shù)kinit設(shè)定適當(dāng)?shù)闹?。通過對(duì)初始參數(shù)kinit設(shè)定從一般的人臉圖像中得到的平均值，可以應(yīng)對(duì)各種人臉的朝向和表情變化等。因此，例如，對(duì)于相似變換的參數(shù)sx、sy、sz、sθ、s、sψ，可以使用在學(xué)習(xí)處理時(shí)使用的人臉圖像的正解模型參數(shù)的平均值。此外，例如也可以將形狀參數(shù)b設(shè)為0。此外，在利用人臉檢測(cè)部3得到人臉的朝向信息的情況下，可以使用該信息來設(shè)定初始參數(shù)。此外，可以把設(shè)計(jì)者根據(jù)經(jīng)驗(yàn)得到的其它值設(shè)為初始參數(shù)。
接著，特征量取得部4把利用所設(shè)定的初始參數(shù)表示的人臉形狀模型影射到所輸入的人臉圖像上。然后，特征量取得部4使用所影射的形狀模型實(shí)施基于Retina結(jié)構(gòu)的采樣，取得采樣特征量f。然后，特征量取得部4向誤差估計(jì)部6傳遞所得到的采樣特征量f。
另一方面，在第二次以后對(duì)由人臉檢測(cè)部3檢測(cè)出的臉獲取采樣特征量時(shí)，特征量取得部4對(duì)于由誤差估計(jì)部6得到的新的模型參數(shù)k(即，正解模型參數(shù)的估計(jì)值ki+1)表示的人臉形狀模型，取得采樣特征量f。然后，在該情況下，特征量取得部4也向誤差估計(jì)部6傳遞所得到的采樣特征量f。
學(xué)習(xí)結(jié)果存儲(chǔ)部5使用非易失性存儲(chǔ)裝置來構(gòu)成，存儲(chǔ)通過上述學(xué)習(xí)處理而得到的學(xué)習(xí)結(jié)果。具體而言，學(xué)習(xí)結(jié)果存儲(chǔ)部5存儲(chǔ)誤差估計(jì)矩陣、歸一化參數(shù)等。此外，根據(jù)需要，學(xué)習(xí)結(jié)果存儲(chǔ)部5可以進(jìn)一步存儲(chǔ)初始參數(shù)kinit或構(gòu)成初始參數(shù)kinit的值的一部分(例如，在學(xué)習(xí)處理時(shí)使用的人臉圖像的正解模型參數(shù)中的相似變換參數(shù)的平均值等)。
誤差估計(jì)部6根據(jù)特征量取得部4所取得的采樣特征量f以及存儲(chǔ)在學(xué)習(xí)結(jié)果存儲(chǔ)部5中的誤差估計(jì)矩陣和歸一化參數(shù)等，來估計(jì)誤差量并取得新的模型參數(shù)k。以下，對(duì)于誤差估計(jì)部6的具體的處理例進(jìn)行說明。
首先，誤差估計(jì)部6使用歸一化參數(shù)(xaye，xvar)，對(duì)特征量取得部4所取得的采樣特征量f進(jìn)行歸一化，取得用于進(jìn)行典型相關(guān)分析的向量x。然后，誤差估計(jì)部6根據(jù)式26所示的公式計(jì)算第一至第M典型變量，從而取得變量u。
(式26)u＝[u1，…，uM]T＝A′Tx接著，誤差估計(jì)部6使用式27所示的公式取得歸一化誤差估計(jì)量y。此外，在式27中，當(dāng)B’不為正方矩陣時(shí)，B’T-1為B’的偽逆矩陣。
(式27)y=B′′T-1u′]]>接著，誤差估計(jì)部6使用歸一化參數(shù)(yave，yvar)對(duì)歸一化誤差估計(jì)量y進(jìn)行復(fù)原處理，取得誤差估計(jì)量kerr。Kerr是從當(dāng)前的模型參數(shù)ki至正解模型參數(shù)kopt的誤差估計(jì)量。因此，正解模型參數(shù)的估計(jì)值ki+1可以通過對(duì)當(dāng)前的模型參數(shù)ki加上誤差估計(jì)量kerr來取得。其中，kerr有可能包含誤差。因此，為了進(jìn)行更加穩(wěn)定的檢測(cè)，可以利用式28所示的公式取得正解模型參數(shù)的估計(jì)值ki+1。在式28中，σ是適當(dāng)?shù)墓潭ㄖ?，可以由設(shè)計(jì)者適當(dāng)決定。此外，σ可以例如隨i的變化而變化。
(式28)ki+1=ki+kerrσ]]>優(yōu)選誤差估計(jì)部6反復(fù)進(jìn)行上述的采樣、誤差估計(jì)，使得正解模型參數(shù)的估計(jì)值kj接近正解參數(shù)。在進(jìn)行這樣的反復(fù)處理的情況下，誤差估計(jì)部6每當(dāng)?shù)玫焦烙?jì)值ki時(shí)，就進(jìn)行結(jié)束判定。例如，當(dāng)i的值超過閾值時(shí)，誤差估計(jì)部6可以判定為結(jié)束處理。此外，例如式29所示的Δk的值在閾值以下時(shí)，誤差估計(jì)部6可以判定為結(jié)束處理。此外，誤差估計(jì)部6可以根據(jù)所取得的ki+l的值是否在正常范圍內(nèi)來進(jìn)行結(jié)束判定。例如，在所取得的ki+1的值明顯不是表示人臉圖像中的正解位置的情況下，誤差估計(jì)部6可以通過輸出錯(cuò)誤來決定結(jié)束。此外，在由所取得的kj+1表示的節(jié)點(diǎn)的一部分超出處理對(duì)象圖像的情況下，誤差估計(jì)部6也可以通過輸出錯(cuò)誤來決定結(jié)束。
(式29)Δk＝ki+1-ki在判定為繼續(xù)進(jìn)行處理的情況下，誤差估計(jì)部6向特征量取得部4傳遞所取得的正解模型參數(shù)的估計(jì)值ki+1。另一方面，在判定為結(jié)束處理的情況下，誤差估計(jì)部6把在該時(shí)刻得到的正解模型參數(shù)的估計(jì)值ki(或者可以為ki+1)作為最終估計(jì)參數(shù)kest輸出。
<工作例>
圖7是表示特征點(diǎn)檢測(cè)裝置1的動(dòng)作例的流程圖。以下，使用圖7對(duì)特征點(diǎn)檢測(cè)裝置1的動(dòng)作例進(jìn)行說明。首先，特征點(diǎn)檢測(cè)裝置1經(jīng)由圖像輸入部2讀入作為處理對(duì)象的圖像(S20)。接著，人臉檢測(cè)部3從作為處理對(duì)象的圖像中檢測(cè)人臉。接著，特征量取得部4按照人臉檢測(cè)部3的人臉檢測(cè)處理的結(jié)果在所得到的初始位置處配置基于初始參數(shù)kinit的三維人臉形狀模型(S21)。接著，特征量取得部4定義變量i并將1代入。并且，特征量取得部4定義ki并將初始參數(shù)kinit代入(S22)。然后，特征量取得部4將以ki表示的三維人臉形狀模型影射到處理對(duì)象圖像上(S23)。特征量取得部4按照影射后的二維形狀模型取得采樣特征量f(S24)。
接著，誤差估計(jì)部6通過使用所取得的采樣特征量f或存儲(chǔ)在學(xué)習(xí)結(jié)果存儲(chǔ)部5中的誤差估計(jì)式等，取得三維形狀模型ki和正解模型參數(shù)之間的估計(jì)誤差kerr(S25)。誤差估計(jì)部6根據(jù)估計(jì)誤差按照式28計(jì)算正解模型參數(shù)的估計(jì)值ki+1(S26)。接著，誤差估計(jì)部6作為ki+1和ki之差計(jì)算出Δk(S27)，作為Δk的平方計(jì)算出E(S28)。然后，誤差估計(jì)部6進(jìn)行結(jié)束判定。
在結(jié)束判定中，誤差估計(jì)部6首先判斷所取得的ki+1的值是否在正常范圍內(nèi)(S29)。當(dāng)ki+1的值不在正常范圍內(nèi)時(shí)(S29-“否”)，誤差估計(jì)部6對(duì)未圖示的輸出裝置等輸出錯(cuò)誤(S30)，特征點(diǎn)檢測(cè)裝置1結(jié)束處理。另一方面，當(dāng)ki+1的值在正常范圍內(nèi)時(shí)(S29-“是”)，判斷在S28的處理中取得的E值是否超過閾值(ε)(S31)。當(dāng)E未超出閾值時(shí)(S31-“是”)，誤差估計(jì)部6把處理當(dāng)為收斂，輸出kest(S32)，結(jié)束作為特征點(diǎn)檢測(cè)裝置1的處理。
另一方面，當(dāng)E超出閾值時(shí)(S31-“否”)，誤差估計(jì)部6向特征量取得部4傳遞ki+1的值。然后，特征量取得部4根據(jù)該ki+1的值生成新的三維人臉形狀模型(S33)。之后，誤差估計(jì)部6增加i的值(S34)。特征量取得部4將新的三維人臉形狀模型影射到處理對(duì)象圖像上來進(jìn)行采樣特征量f的取得等。即，在該情況下，根據(jù)新的三維人臉形狀模型重復(fù)S23起的處理。
<作用/效果>
在以往的ASM中，需要在人臉形狀模型的各節(jié)點(diǎn)周圍反復(fù)進(jìn)行搜索處理。此外，在以往的AAM中，需要在由各節(jié)點(diǎn)構(gòu)成的面片內(nèi)進(jìn)行均勻且高密度的采樣，進(jìn)而對(duì)該結(jié)果進(jìn)行形狀修正處理。具體而言，在以往的AAM中，通常需要1萬點(diǎn)以上的采樣。即，盡管對(duì)于特征點(diǎn)的檢測(cè)處理要求處理速度和響應(yīng)性，但在以往的這些技術(shù)中，未能充分實(shí)現(xiàn)計(jì)算量的削減。
另一方面，在特征點(diǎn)檢測(cè)裝置1中，第一，不需要形狀修正處理。而且，在特征點(diǎn)檢測(cè)裝置1中，通過基于Retina結(jié)構(gòu)的非均勻且低密度的采樣，進(jìn)行特征點(diǎn)的檢測(cè)處理。具體而言，通?？梢酝ㄟ^幾百點(diǎn)左右的采樣進(jìn)行檢測(cè)處理。這樣，根據(jù)特征點(diǎn)檢測(cè)裝置1，與以往相比可以大幅削減特征點(diǎn)的檢測(cè)所需的計(jì)算量。此外，因?yàn)椴蓸狱c(diǎn)變少，可以抑制作為學(xué)習(xí)結(jié)果而保存的數(shù)據(jù)量。
此外，在特征點(diǎn)檢測(cè)裝置1中，通過典型相關(guān)分析求解誤差估計(jì)矩陣，因此可以預(yù)先排除導(dǎo)致預(yù)測(cè)誤差的多余要素的影響。此外，可以僅通過線性運(yùn)算進(jìn)行誤差估計(jì)，因此可以高速地進(jìn)行誤差估計(jì)處理。
此外，特征點(diǎn)檢測(cè)裝置1使用人臉形狀模型進(jìn)行特征點(diǎn)的搜索，因此在處理對(duì)象的人臉圖像中，即使一部分特征點(diǎn)被遮蔽或者與學(xué)習(xí)圖像的人臉存在較大差異，也可以穩(wěn)定地檢測(cè)特征點(diǎn)。而且，作為人臉形狀模型使用三維人臉形狀模型，因此可以得到更加高精度的穩(wěn)定的結(jié)果。
此外，因?yàn)槭褂萌S人臉形狀模型，所以可以直接從檢測(cè)過程或者檢測(cè)結(jié)果求出人臉姿勢(shì)(人臉朝向的方向和其角度)。即，可以由特征點(diǎn)檢測(cè)裝置1輸出的人臉形狀模型參數(shù)中包含的參數(shù)sθ、s、sψ求出人臉的姿勢(shì)。
<變形例>
當(dāng)關(guān)于三維模型的姿勢(shì)的誤差變?yōu)轭A(yù)定的閾值以下后，也可以根據(jù)誤差估計(jì)量來改變當(dāng)前各節(jié)點(diǎn)的相對(duì)位置而生成新的三維模型。通過采取這樣的結(jié)構(gòu)，對(duì)于輸入圖像中出現(xiàn)的對(duì)象物的朝向變化可以進(jìn)行魯棒的特征點(diǎn)檢測(cè)。
人臉檢測(cè)單元可以構(gòu)成為進(jìn)一步檢測(cè)人臉的朝向。在該情況下，模型生成單元可以構(gòu)成為具有確定了各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型，根據(jù)由人臉檢測(cè)單元檢測(cè)出的人臉的朝向，對(duì)三維節(jié)點(diǎn)模型進(jìn)行變形來使用。例如，當(dāng)由人臉檢測(cè)單元檢測(cè)出臉的朝向?yàn)橄蜃髸r(shí)，模型生成單元可以旋轉(zhuǎn)三維節(jié)點(diǎn)模型的各節(jié)點(diǎn)以匹配向左的臉。模型生成單元還可以構(gòu)成為在檢測(cè)出其它方向的人臉的情況下，也對(duì)各個(gè)方向進(jìn)行上述的旋轉(zhuǎn)處理。通過這樣的構(gòu)成，與不變形地使用預(yù)先準(zhǔn)備的三維節(jié)點(diǎn)模型的情況相比，可以更加準(zhǔn)確地檢測(cè)各特征點(diǎn)的位置。
人臉檢測(cè)單元可以構(gòu)成為還檢測(cè)人臉的大小。在該情況下，模型生成單元可以構(gòu)成為具有確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型，根據(jù)由人臉檢測(cè)單元檢測(cè)出的臉的大小，對(duì)三維節(jié)點(diǎn)模型進(jìn)行變形來使用。例如，模型生成單元可以構(gòu)成為根據(jù)由人臉檢測(cè)單元檢測(cè)出的臉的大小，放大或縮小三維節(jié)點(diǎn)模型來進(jìn)行使用。通過這樣的構(gòu)成，與不變形地使用預(yù)先準(zhǔn)備的三維節(jié)點(diǎn)模型的情況相比，可以更加準(zhǔn)確地檢測(cè)各特征點(diǎn)的位置。
人臉檢測(cè)單元可以構(gòu)成為還檢測(cè)人臉的朝向。在該情況下，模型生成單元可以構(gòu)成為根據(jù)人臉的朝向具有多個(gè)確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型。例如，模型生成單元可以構(gòu)成為具有與朝右的臉、朝向正面的臉、朝左的臉、朝上的臉、朝下的臉分別對(duì)應(yīng)的三維節(jié)點(diǎn)模型。此外，存儲(chǔ)單元可以構(gòu)成為存儲(chǔ)與利用分別拍攝對(duì)應(yīng)朝向的臉而得的學(xué)習(xí)用圖像而預(yù)先得到的各三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息。此外，模型生成單元可以構(gòu)成為根據(jù)由人臉檢測(cè)單元檢測(cè)出的臉的朝向，選擇所使用的三維節(jié)點(diǎn)模型。并且，誤差估計(jì)量取得單元可以構(gòu)成為從存儲(chǔ)單元中讀出與模型生成單元所選擇的三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息并使用。
在這樣構(gòu)成的本發(fā)明的第一方面中，使用特定于人臉檢測(cè)單元所檢測(cè)出的臉朝向的三維節(jié)點(diǎn)模型、以及與該三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息，進(jìn)行特征點(diǎn)檢測(cè)。
人臉檢測(cè)單元可以構(gòu)成為還檢測(cè)人臉的大小。在該情況下，模型生成單元可以構(gòu)成為根據(jù)人臉的大小具有多個(gè)確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型。此外，存儲(chǔ)單元可以構(gòu)成為存儲(chǔ)與利用分別拍攝對(duì)應(yīng)大小的臉?biāo)玫膶W(xué)習(xí)用圖像而預(yù)先得到的各三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息。此外，模型生成單元可以構(gòu)成為根據(jù)由人臉檢測(cè)單元檢測(cè)出的人臉的大小，選擇所使用的三維節(jié)點(diǎn)模型。并且，誤差估計(jì)量取得單元可以構(gòu)成為從存儲(chǔ)單元中讀出與模型生成單元所選擇的三維節(jié)點(diǎn)模型對(duì)應(yīng)的相關(guān)關(guān)系的信息并使用。
特征量取得單元取得節(jié)點(diǎn)特征量的采樣點(diǎn)可以離散地配置在節(jié)點(diǎn)的影射點(diǎn)的周圍。本發(fā)明第一方面中的特征量取得單元取得節(jié)點(diǎn)特征量的采樣點(diǎn)可以構(gòu)成為越接近節(jié)點(diǎn)的影射點(diǎn)就越密，越遠(yuǎn)離節(jié)點(diǎn)的影射點(diǎn)就越稀疏。此外，本發(fā)明第一方面中的特征量取得單元取得節(jié)點(diǎn)特征量的采樣點(diǎn)可以構(gòu)成為具有Retina結(jié)構(gòu)。此外，本發(fā)明第一方面的特征量取得單元可以構(gòu)成為存儲(chǔ)多個(gè)不同的Retina結(jié)構(gòu)，按照與各節(jié)點(diǎn)的影射點(diǎn)對(duì)應(yīng)的Retina結(jié)構(gòu)，確定多個(gè)采樣點(diǎn)。
學(xué)習(xí)結(jié)果存儲(chǔ)部5可以預(yù)先存儲(chǔ)表示多個(gè)人臉的狀態(tài)的初始參數(shù)kinit。例如，學(xué)習(xí)結(jié)果存儲(chǔ)部5可以存儲(chǔ)與朝向側(cè)面的臉或者朝向上方的臉等相對(duì)應(yīng)的初始參數(shù)kinit的值。并且，特征量取得部4可以隨所取得的ki+1的值而改變所使用的人臉形狀模型。例如，預(yù)先確定各初始參數(shù)負(fù)責(zé)的人臉形狀模型的范圍。特征量取得部4可以構(gòu)成為在誤差估計(jì)部6新取得的ki+1的值離開所采用的初始參數(shù)的負(fù)責(zé)范圍時(shí)，丟棄該ki+1的值，從學(xué)習(xí)結(jié)果存儲(chǔ)部5中讀出與所采用的初始參數(shù)kinit不同的另一初始參數(shù)，根據(jù)該值再次執(zhí)行S21起的處理。
此外，特征量取得部4例如在反復(fù)執(zhí)行特征點(diǎn)的檢測(cè)處理時(shí)，可以根據(jù)某一時(shí)刻得到的ki+1的值，改變與接下來輸入的人臉圖像對(duì)應(yīng)的檢測(cè)處理中使用的人臉形狀模型。在作為處理對(duì)象的圖像中包含的臉朝向側(cè)方的情況時(shí)等，使用表示朝向側(cè)面的臉的人臉形狀模型的初始參數(shù)進(jìn)行處理，與使用由ki+1表示的模型繼續(xù)進(jìn)行處理相比，有時(shí)可以得到更加高精度的結(jié)果。因此，在這樣的情況下，按照上述的變形例來構(gòu)成是有效的。
通過這樣的構(gòu)成，可以應(yīng)對(duì)更大的人臉姿勢(shì)的變化。
此外，特征量取得部4可以構(gòu)成為不切換初始參數(shù)kinit，而切換Retina結(jié)構(gòu)或誤差估計(jì)矩陣等。例如，可以考慮固定形狀參數(shù)而僅改變移動(dòng)/旋轉(zhuǎn)的參數(shù)來進(jìn)行初始的正解模型參數(shù)估計(jì)，在基本上確定了移動(dòng)/旋轉(zhuǎn)參數(shù)之后，進(jìn)行形狀參數(shù)的估計(jì)處理。即，在初始的模型參數(shù)估計(jì)中，利用誤差估計(jì)量kerr中的與移動(dòng)和旋轉(zhuǎn)相關(guān)的參數(shù)sx、sy、sz、sθ、s、sψ，使模型參數(shù)接近正解參數(shù)。然后，當(dāng)與移動(dòng)和旋轉(zhuǎn)相關(guān)的參數(shù)收斂時(shí)，利用誤差估計(jì)量kerr中的形狀參數(shù)b1、b2、…、bk使模型參數(shù)接近正解參數(shù)。通過這樣的構(gòu)成，可以實(shí)現(xiàn)對(duì)于人臉朝向的變化魯棒的特征點(diǎn)檢測(cè)/臉姿勢(shì)估計(jì)。此外，可以減少一次使用的參數(shù)的維數(shù)，因此可以高速地進(jìn)行處理。此外，可以采取與反復(fù)處理的次數(shù)相應(yīng)地增大形狀參數(shù)的變化的結(jié)構(gòu)。
此外，誤差估計(jì)部6可以不進(jìn)行結(jié)束判定，而輸出在該時(shí)刻得到的ki+1的值作為kest。
此外，特征點(diǎn)檢測(cè)裝置1可以構(gòu)成為不具備人臉檢測(cè)部3。在該情況下，特征量取得部4可以構(gòu)成為例如通過把畫面中央設(shè)為初始位置來進(jìn)行處理。此外，人臉檢測(cè)部3可以設(shè)在特征點(diǎn)檢測(cè)裝置1的外部，將檢測(cè)出的人臉的位置信息與人臉圖像一起輸入到特征點(diǎn)檢測(cè)裝置1中。
此外，人臉檢測(cè)部3可以構(gòu)成為不檢測(cè)人臉而檢測(cè)人的眼、口或其它特征點(diǎn)。在該情況下，特征量取得部4可以構(gòu)成為根據(jù)這些特征點(diǎn)的位置決定初始位置。
此外，特征量取得部4可以根據(jù)Retina結(jié)構(gòu)以外的結(jié)構(gòu)進(jìn)行采樣點(diǎn)的配置。例如，特征量取得部4可以從離散地配置在節(jié)點(diǎn)的影射點(diǎn)周圍的多個(gè)點(diǎn)中取得特征量。
此外，把特征點(diǎn)檢測(cè)裝置1作為以人臉作為對(duì)象物而估計(jì)人臉的特征點(diǎn)位置的裝置進(jìn)行了說明，但對(duì)象物可以是人臉以外的物體。例如，特征點(diǎn)檢測(cè)裝置1可以把人的整體(全身)、X射線圖像或CT圖像中的內(nèi)臟器官等在大小上存在個(gè)人差異的對(duì)象物或者不改變基本形狀地進(jìn)行變形的對(duì)象物作為對(duì)象來估計(jì)特征點(diǎn)的位置。此外，特征點(diǎn)檢測(cè)裝置1也可以對(duì)汽車等工業(yè)產(chǎn)品這樣的不變形的剛體設(shè)定形狀模型，因此可以把這樣的剛體作為對(duì)象物來估計(jì)其特征點(diǎn)的位置。
作為本發(fā)明的效果，可以更加高速地實(shí)現(xiàn)特征點(diǎn)的檢測(cè)處理。
權(quán)利要求
1.一種特征點(diǎn)檢測(cè)裝置，該特征點(diǎn)檢測(cè)裝置根據(jù)所輸入的圖像來估計(jì)預(yù)定的對(duì)象物圖像中的多個(gè)特征點(diǎn)的三維位置，其特征在于，該特征點(diǎn)檢測(cè)裝置具有模型生成單元，其生成確定了與所述多個(gè)特征點(diǎn)分別對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)的三維位置的三維模型；影射單元，其將由所述三維模型確定的各節(jié)點(diǎn)影射到所述圖像上；特征量取得單元，其從所述影射單元所影射的各節(jié)點(diǎn)的影射點(diǎn)周圍的多個(gè)采樣點(diǎn)中取得特征量，作為所述三維模型的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量；存儲(chǔ)單元，其預(yù)先存儲(chǔ)關(guān)于學(xué)習(xí)用圖像中正解模型和誤差模型之差與節(jié)點(diǎn)特征量之間的相關(guān)關(guān)系的信息，其中，該正解模型為多個(gè)節(jié)點(diǎn)三維配置在分別對(duì)應(yīng)的特征點(diǎn)的正確位置上的模型，該誤差模型為多個(gè)節(jié)點(diǎn)中的至少任一節(jié)點(diǎn)三維配置在偏離了對(duì)應(yīng)特征點(diǎn)的正確位置的位置上的模型，該節(jié)點(diǎn)特征量是根據(jù)所述誤差模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的；誤差估計(jì)量取得單元，其根據(jù)存儲(chǔ)在所述存儲(chǔ)單元中的所述相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量，取得表示當(dāng)前的三維模型與分別對(duì)應(yīng)的特征點(diǎn)位置之間的偏差的誤差估計(jì)量；以及估計(jì)單元，其根據(jù)由所述誤差估計(jì)量取得單元所得到的誤差估計(jì)量和當(dāng)前的三維模型，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置。
2.根據(jù)權(quán)利要求1所述的特征點(diǎn)檢測(cè)裝置，其特征在于，該特征點(diǎn)檢測(cè)裝置還具有判定反復(fù)處理的結(jié)束的結(jié)束判定單元，在得到所述誤差估計(jì)量的情況下，所述模型生成單元根據(jù)該誤差估計(jì)量，移動(dòng)當(dāng)前各節(jié)點(diǎn)的位置，生成新的三維模型；所述模型生成單元和所述誤差估計(jì)量取得單元反復(fù)執(zhí)行處理；所述估計(jì)單元根據(jù)在由所述結(jié)束判定單元判定為結(jié)束時(shí)的誤差估計(jì)量和該時(shí)刻的三維模型，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置。
3.根據(jù)權(quán)利要求2所述的特征點(diǎn)檢測(cè)裝置，其特征在于，當(dāng)所述誤差估計(jì)量取得單元所得到的誤差估計(jì)量變?yōu)殚撝狄韵聲r(shí)，所述結(jié)束判定單元判定為反復(fù)處理的結(jié)束。
4.根據(jù)權(quán)利要求2或3所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述模型生成單元在反復(fù)處理的初期階段中，根據(jù)所述誤差估計(jì)量，保持當(dāng)前各節(jié)點(diǎn)的相對(duì)位置關(guān)系不變而進(jìn)行移動(dòng)和/或旋轉(zhuǎn)，來生成改變了姿勢(shì)的新的三維模型，當(dāng)關(guān)于三維模型的姿勢(shì)的誤差變?yōu)轭A(yù)定的閾值以下之后，所述模型生成單元還根據(jù)所述誤差估計(jì)量改變當(dāng)前各節(jié)點(diǎn)的相對(duì)位置，來生成新的三維模型。
5.根據(jù)權(quán)利要求1所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述對(duì)象物是人的臉。
6.根據(jù)權(quán)利要求5所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述特征點(diǎn)檢測(cè)裝置還具有人臉檢測(cè)單元，該人臉檢測(cè)單元從所述輸入的圖像中至少檢測(cè)出人臉或人臉要素的位置，所述配置單元根據(jù)所述檢測(cè)出的人臉或人臉要素的位置，來決定所述三維模型中的各節(jié)點(diǎn)的三維位置。
7.根據(jù)權(quán)利要求6所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述人臉檢測(cè)單元還檢測(cè)人臉的朝向，所述模型生成單元具有確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型，所述模型生成單元根據(jù)由所述人臉檢測(cè)單元檢測(cè)出的臉的朝向，對(duì)所述三維節(jié)點(diǎn)模型進(jìn)行變形來使用。
8.根據(jù)權(quán)利要求6所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述人臉檢測(cè)單元還檢測(cè)人臉的大小，所述模型生成單元具有確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型，所述模型生成單元根據(jù)由所述人臉檢測(cè)單元檢測(cè)出的臉的大小，對(duì)所述三維節(jié)點(diǎn)模型進(jìn)行變形來使用。
9.根據(jù)權(quán)利要求6所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述人臉檢測(cè)單元還檢測(cè)人臉的朝向，所述模型生成單元與臉的朝向相應(yīng)地具有多個(gè)確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型，所述存儲(chǔ)單元存儲(chǔ)與使用拍攝分別對(duì)應(yīng)的朝向的臉?biāo)玫乃鰧W(xué)習(xí)用圖像而預(yù)先得到的各三維節(jié)點(diǎn)模型相對(duì)應(yīng)的所述相關(guān)關(guān)系的信息；所述模型生成單元根據(jù)由所述人臉檢測(cè)單元檢測(cè)出的臉的朝向，選擇要使用的三維節(jié)點(diǎn)模型；所述誤差估計(jì)量取得單元從所述存儲(chǔ)單元中讀出并使用與所述模型生成單元選擇的三維節(jié)點(diǎn)模型相對(duì)應(yīng)的所述相關(guān)關(guān)系的信息。
10.根據(jù)權(quán)利要求6所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述人臉檢測(cè)單元還檢測(cè)人臉的大小；所述模型生成單元與臉的大小相應(yīng)地具有多個(gè)確定了三維模型中的各節(jié)點(diǎn)的三維位置的三維節(jié)點(diǎn)模型；所述存儲(chǔ)單元存儲(chǔ)與使用拍攝分別對(duì)應(yīng)的大小的臉?biāo)玫乃鰧W(xué)習(xí)用圖像而預(yù)先得到的各三維節(jié)點(diǎn)模型相對(duì)應(yīng)的所述相關(guān)關(guān)系的信息；所述模型生成單元根據(jù)由所述人臉檢測(cè)單元檢測(cè)出的臉的大小，選擇要使用的三維節(jié)點(diǎn)模型；所述誤差估計(jì)量取得單元從所述存儲(chǔ)單元中讀出并使用與所述模型生成單元選擇的三維節(jié)點(diǎn)模型相對(duì)應(yīng)的所述相關(guān)關(guān)系的信息。
11.根據(jù)權(quán)利要求1所述的特征點(diǎn)檢測(cè)裝置，其特征在于，所述多個(gè)采樣點(diǎn)離散地配置在節(jié)點(diǎn)的影射點(diǎn)的周圍。
12.一種特征點(diǎn)檢測(cè)裝置，該特征點(diǎn)檢測(cè)裝置使用表示人臉中的多個(gè)特征點(diǎn)的三維配置的三維人臉形狀模型，來估計(jì)輸入圖像中的臉的特征點(diǎn)的三維位置，其特征在于，該特征點(diǎn)檢測(cè)裝置具有模型生成單元，其生成所述三維人臉形狀模型；影射單元，其將所述模型生成單元所生成的三維人臉形狀模型的各節(jié)點(diǎn)影射到所輸入的圖像平面上；特征量取得單元，其在由所述影射單元影射的各節(jié)點(diǎn)的影射點(diǎn)的位置周圍離散地取得多個(gè)特征量，將根據(jù)一個(gè)影射點(diǎn)而取得的多個(gè)特征量作為一個(gè)節(jié)點(diǎn)特征量來取得；存儲(chǔ)單元，其存儲(chǔ)通過典型相關(guān)分析而預(yù)先取得的變換向量矩陣作為誤差估計(jì)矩陣，該典型相關(guān)分析以表示正解三維人臉形狀模型和誤差三維人臉形狀模型中的各節(jié)點(diǎn)的位置之差的向量的集合以及節(jié)點(diǎn)特征量的集合作為輸入，該正解三維人臉形狀模型是各節(jié)點(diǎn)配置在正確位置上的模型，該誤差三維人臉形狀模型是至少任一節(jié)點(diǎn)偏離正確位置而配置的模型，該節(jié)點(diǎn)特征量是從所述誤差三維人臉形狀模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)中取得的特征量；誤差估計(jì)量取得單元，其根據(jù)存儲(chǔ)在所述存儲(chǔ)單元中的誤差估計(jì)矩陣和由所述特征量取得單元所取得的節(jié)點(diǎn)特征量的集合，來取得表示三維人臉形狀模型的各節(jié)點(diǎn)的當(dāng)前位置和臉的特征點(diǎn)位置之間的偏差的誤差估計(jì)量；變更單元，其根據(jù)由所述誤差估計(jì)量取得單元所得到的所述誤差估計(jì)量，來變更當(dāng)前的三維人臉形狀模型的各節(jié)點(diǎn)位置；以及估計(jì)單元，其將由所述變更單元變更了位置后的各節(jié)點(diǎn)位置估計(jì)為特征點(diǎn)的三維位置。
13.一種特征點(diǎn)檢測(cè)方法，該特征點(diǎn)檢測(cè)方法根據(jù)所輸入的圖像來估計(jì)預(yù)定對(duì)象物的圖像中的多個(gè)特征點(diǎn)的三維位置，其特征在于，該特征點(diǎn)檢測(cè)方法包括以下步驟生成確定了與所述多個(gè)特征點(diǎn)分別對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)的三維位置的三維模型的步驟；將由所述三維模型確定的各節(jié)點(diǎn)影射到所述圖像上的步驟；從由所述影射單元影射的各節(jié)點(diǎn)的影射點(diǎn)周圍的多個(gè)采樣點(diǎn)取得特征量作為所述三維模型的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量的步驟；根據(jù)基于學(xué)習(xí)用圖像預(yù)先取得的、關(guān)于正解模型和誤差模型之差與節(jié)點(diǎn)特征量之間的相關(guān)關(guān)系的信息，和在所述取得特征量的步驟中所取得的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量，來取得表示當(dāng)前的三維模型與分別對(duì)應(yīng)的特征點(diǎn)的位置之間的偏差的誤差估計(jì)量的步驟，其中，該正解模型為多個(gè)節(jié)點(diǎn)三維配置在分別對(duì)應(yīng)的特征點(diǎn)的正確位置上的模型，該誤差模型為多個(gè)節(jié)點(diǎn)中至少任一節(jié)點(diǎn)三維配置在偏離了對(duì)應(yīng)特征點(diǎn)的正確位置的位置上的模型，所述節(jié)點(diǎn)特征量是根據(jù)所述誤差模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的；以及根據(jù)所述誤差估計(jì)量和當(dāng)前的三維模型，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置的步驟。
14.一種特征點(diǎn)檢測(cè)程序，該特征點(diǎn)檢測(cè)程序用于使信息處理裝置根據(jù)所輸入的圖像來估計(jì)預(yù)定對(duì)象物的圖像中的多個(gè)特征點(diǎn)的三維位置，其特征在于，使得信息處理裝置執(zhí)行以下步驟生成確定了與所述多個(gè)特征點(diǎn)分別對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)的三維位置的三維模型的步驟；將由所述三維模型確定的各節(jié)點(diǎn)影射到所述圖像上的步驟；從由所述影射單元影射的各節(jié)點(diǎn)的影射點(diǎn)周圍的多個(gè)采樣點(diǎn)取得特征量作為所述三維模型的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量的步驟；根據(jù)基于學(xué)習(xí)用圖像預(yù)先取得的、關(guān)于正解模型和誤差模型之差與節(jié)點(diǎn)特征量之間的相關(guān)關(guān)系的信息，和在所述取得特征量的步驟中所取得的各節(jié)點(diǎn)的節(jié)點(diǎn)特征量，來取得表示當(dāng)前的三維模型與分別對(duì)應(yīng)的特征點(diǎn)的位置之間的偏差的誤差估計(jì)量的步驟，其中，該正解模型為多個(gè)節(jié)點(diǎn)三維配置在分別對(duì)應(yīng)的特征點(diǎn)的正確位置上的模型，該誤差模型為多個(gè)節(jié)點(diǎn)中至少任一節(jié)點(diǎn)三維配置在偏離了對(duì)應(yīng)特征點(diǎn)的正確位置的位置上的模型，所述節(jié)點(diǎn)特征量是根據(jù)所述誤差模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的；以及根據(jù)所述誤差估計(jì)量和當(dāng)前的三維模型，來估計(jì)所輸入的圖像中的各特征點(diǎn)的三維位置的步驟。
15.一種特征點(diǎn)檢測(cè)方法，該特征點(diǎn)檢測(cè)方法使用表示人臉中的多個(gè)特征點(diǎn)的三維配置的三維人臉形狀模型，來估計(jì)輸入圖像中的臉的特征點(diǎn)的三維位置，其特征在于，該特征點(diǎn)檢測(cè)方法包括以下步驟生成所述三維人臉形狀模型的步驟；將所生成的三維人臉形狀模型的各節(jié)點(diǎn)影射到所輸入的圖像平面上的步驟；在所影射的各節(jié)點(diǎn)的影射點(diǎn)的周圍離散地取得多個(gè)特征量，把根據(jù)一個(gè)影射點(diǎn)所取得的多個(gè)特征量作為一個(gè)節(jié)點(diǎn)特征量來取得的步驟；根據(jù)通過典型相關(guān)分析預(yù)先取得的變換向量矩陣和在所述取得特征量的步驟中所取得的節(jié)點(diǎn)特征量的集合，來取得表示三維人臉形狀模型的各節(jié)點(diǎn)的當(dāng)前位置與臉的特征點(diǎn)位置之間的偏差的誤差估計(jì)量的步驟，其中，該典型相關(guān)分析以根據(jù)學(xué)習(xí)用圖像預(yù)先取得的、表示正解三維人臉形狀模型和誤差三維人臉形狀模型中的各節(jié)點(diǎn)的位置之差的向量的集合、以及根據(jù)所述誤差三維人臉形狀模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的節(jié)點(diǎn)特征量的集合作為輸入，該正解三維人臉形狀模型是各節(jié)點(diǎn)配置在正確位置上的模型，該誤差三維人臉形狀模型是至少任一節(jié)點(diǎn)偏離正確位置而配置的模型；根據(jù)所取得的所述誤差估計(jì)量變更當(dāng)前的三維人臉形狀模型的各節(jié)點(diǎn)位置的步驟；以及把位置變更后的各節(jié)點(diǎn)位置估計(jì)為特征點(diǎn)的三維位置的步驟。
16.一種特征點(diǎn)檢測(cè)程序，其使信息處理裝置利用表示人臉中的多個(gè)特征點(diǎn)的三維配置的三維人臉形狀模型，來估計(jì)輸入圖像中的臉的特征點(diǎn)的三維位置，其特征在于，其使得信息處理裝置執(zhí)行以下步驟生成所述三維人臉形狀模型的步驟；將所生成的三維人臉形狀模型的各節(jié)點(diǎn)影射到所輸入的圖像平面上的步驟；在所影射的各節(jié)點(diǎn)的影射點(diǎn)的周圍離散地取得多個(gè)特征量，把根據(jù)一個(gè)影射點(diǎn)所取得的多個(gè)特征量作為一個(gè)節(jié)點(diǎn)特征量來取得的步驟；根據(jù)通過典型相關(guān)分析預(yù)先取得的變換向量矩陣和在所述取得特征量的步驟中所取得的節(jié)點(diǎn)特征量的集合，來取得表示三維人臉形狀模型的各節(jié)點(diǎn)的當(dāng)前位置與臉的特征點(diǎn)位置之間的偏差的誤差估計(jì)量的步驟，其中，該典型相關(guān)分析以根據(jù)學(xué)習(xí)用圖像預(yù)先取得的、表示正解三維人臉形狀模型和誤差三維人臉形狀模型中的各節(jié)點(diǎn)的位置之差的向量的集合、以及根據(jù)所述誤差三維人臉形狀模型影射到學(xué)習(xí)用圖像上的影射點(diǎn)而取得的節(jié)點(diǎn)特征量的集合作為輸入，該正解三維人臉形狀模型是各節(jié)點(diǎn)配置在正確位置上的模型，該誤差三維人臉形狀模型是至少任一節(jié)點(diǎn)偏離正確位置而配置的模型；根據(jù)所取得的所述誤差估計(jì)量變更當(dāng)前的三維人臉形狀模型的各節(jié)點(diǎn)位置的步驟；以及把位置變更后的各節(jié)點(diǎn)位置估計(jì)為特征點(diǎn)的三維位置的步驟。
全文摘要
本發(fā)明提供一種特征點(diǎn)檢測(cè)裝置、特征點(diǎn)檢測(cè)方法及特征點(diǎn)檢測(cè)程序。其課題在于，實(shí)現(xiàn)高速地從圖像中檢測(cè)特征點(diǎn)的位置。作為解決手段，使用學(xué)習(xí)圖像，預(yù)先取得各節(jié)點(diǎn)配置在特征點(diǎn)的正確位置上的正解模型和任一節(jié)點(diǎn)配置在錯(cuò)誤位置上的誤差模型之差與根據(jù)誤差模型所取得的節(jié)點(diǎn)特征量之間的相關(guān)關(guān)系的信息。在從輸入圖像中檢測(cè)特征點(diǎn)時(shí)，生成確定了多個(gè)節(jié)點(diǎn)的三維位置的三維模型，將各節(jié)點(diǎn)投影到輸入圖像上，從投影點(diǎn)取得節(jié)點(diǎn)特征量，根據(jù)該節(jié)點(diǎn)特征量和學(xué)習(xí)所得的相關(guān)關(guān)系的信息，取得表示當(dāng)前的各節(jié)點(diǎn)位置與對(duì)應(yīng)的特征點(diǎn)位置之間的偏差的誤差估計(jì)量，根據(jù)該誤差估計(jì)量和當(dāng)前各節(jié)點(diǎn)的位置，來估計(jì)輸入圖像中的各特征點(diǎn)的三維位置。
文檔編號(hào)G06K9/00GK101038623SQ20071013593
公開日2007年9月19日 申請(qǐng)日期2007年3月13日 優(yōu)先權(quán)日2006年3月13日
發(fā)明者木下航一 申請(qǐng)人:歐姆龍株式會(huì)社