專利名稱：臉部特征點(diǎn)位置校正設(shè)備、臉部特征點(diǎn)位置校正方法以及臉部特征點(diǎn)位置校正程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種臉部特征點(diǎn)位置校正設(shè)備、一種臉部特征點(diǎn)位置校正方法以及一種臉部特征點(diǎn)位置校正程序，用于校正從圖像檢測(cè)到的臉部器官(眼睛、鼻子等)的特征點(diǎn)的位置。
背景技術(shù)：
對(duì)于以高精度執(zhí)行臉部定向估計(jì)、臉部認(rèn)證、臉部表情等而言，用于從拍攝了臉部的圖像檢測(cè)諸如眼睛和鼻子等臉部器官的特征點(diǎn)(臉部特征點(diǎn))的位置(臉部特征點(diǎn)位置)并且輸出檢測(cè)到的臉部特征點(diǎn)位置的技術(shù)是重要的。關(guān)于對(duì)臉部特征點(diǎn)位置的檢測(cè)，已經(jīng)提出了各種方法。例如，描述了一種用于檢測(cè)臉部特征點(diǎn)并輸出臉部特征點(diǎn)位置的技術(shù)的非專利文 獻(xiàn)I公開了一種用于基于統(tǒng)計(jì)臉部形狀模型來校正檢測(cè)到的臉部特征點(diǎn)位置的方法。在該方法中，首先通過對(duì)臉部區(qū)域應(yīng)用臉部特征點(diǎn)檢測(cè)器(已經(jīng)針對(duì)每個(gè)臉部特征點(diǎn)構(gòu)造了每個(gè)檢測(cè)器)來檢測(cè)臉部特征點(diǎn)，并且針對(duì)每個(gè)檢測(cè)到的臉部特征點(diǎn)產(chǎn)生對(duì)臉部特征點(diǎn)的適合性加以指示的可靠性圖。隨后，對(duì)于每個(gè)臉部特征點(diǎn)，基于規(guī)定的評(píng)價(jià)函數(shù)搜索具有高可靠性并且最小化與統(tǒng)計(jì)臉部形狀模型所指示的位置的差的臉部特征點(diǎn)位置。在該過程中，對(duì)臉部特征點(diǎn)位置分配懲罰(具體地，不分配權(quán)重)，這些臉部特征點(diǎn)遠(yuǎn)離統(tǒng)計(jì)臉部形狀模型所指示的對(duì)應(yīng)位置。因此，即使當(dāng)部分或所有臉部特征點(diǎn)被臉部圖像中的某東西(遮擋)隱藏(阻擋)時(shí)，可以獲取看似可信的臉部特征點(diǎn)位置。描述了一種用于檢測(cè)臉部特征點(diǎn)并且輸出臉部特征點(diǎn)位置的技術(shù)的專利文獻(xiàn)I公開了一種用于基于幾何布置(位置關(guān)系)來校正檢測(cè)到的臉部特征點(diǎn)位置的方法。在該方法中，首先基于輸入的可靠性圖在預(yù)設(shè)搜索區(qū)域內(nèi)搜索臉部圖像中的臉部特征點(diǎn)，作為搜索的結(jié)果，通過輸入的可靠性圖來獲取初始臉部特征點(diǎn)位置。通過執(zhí)行采用本征空間的統(tǒng)計(jì)幾何約束過程，基于初始臉部特征點(diǎn)的位置關(guān)系來校正通過搜索而獲取的初始臉部特征點(diǎn)位置。隨后，基于校正的初始臉部特征點(diǎn)位置預(yù)設(shè)搜索區(qū)域，并且在預(yù)設(shè)的搜索區(qū)域內(nèi)再次執(zhí)行針對(duì)臉部特征點(diǎn)位置的搜索。最后，通過判斷初始臉部特征點(diǎn)位置的位置可可靠性以及作為第二次搜索結(jié)果的臉部特征點(diǎn)位置的位置可靠性來獲取看似可信的臉部特征點(diǎn)位置。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I JP-A-2009-211177非專利文獻(xiàn)I :D.Cristinacce 和 T.F. Cootes, " A Comparison ofShapeConstrained Facial Feature Detectors " , in 6th InternationalConference onAutomatic Face and Gesture Recognition 2004, Korea, pp.357—380。

發(fā)明內(nèi)容
技術(shù)問題在非專利文獻(xiàn)I中描述的方法中，當(dāng)由于拍攝臉部圖像時(shí)的一些因素(照明條件的變化、遮擋等)針對(duì)一個(gè)或一些臉部特征點(diǎn)產(chǎn)生了錯(cuò)誤的可靠性圖時(shí)，通過規(guī)定的評(píng)價(jià)函數(shù)對(duì)這樣的臉部特征點(diǎn)的位置分配懲罰，并且將這樣的臉部特征點(diǎn)位置校正到與根據(jù)臉部形狀模型計(jì)算的平均位置接近的位置。然而，由于執(zhí)行利用規(guī)定的評(píng)價(jià)函數(shù)的計(jì)算(還包括這種臉部特征點(diǎn)的可靠性)。因此，存在移動(dòng)其他臉部特征點(diǎn)的位置受錯(cuò)誤可靠性圖影響的問題。同時(shí)，在專利文獻(xiàn)I中描述的方法中，當(dāng)關(guān)于一個(gè)或多個(gè)臉部特征點(diǎn)輸入具有低可靠性的信息時(shí)，基于幾何布置(位置關(guān)系)適當(dāng)?shù)匦Ｕ@樣的臉部特征點(diǎn)的位置，只要已經(jīng)正確地確定了其他臉部特征點(diǎn)位置。然而，如果由于臉部檢測(cè)等錯(cuò)誤在對(duì)臉部區(qū)域的位 置、尺寸和屏幕上旋轉(zhuǎn)的歸一化中出現(xiàn)另一失敗，則臉部特征點(diǎn)位置整體上偏離本征空間所表示的標(biāo)準(zhǔn)臉部形狀。在這種情況下，不能判斷哪些臉部特征點(diǎn)位置偏離標(biāo)準(zhǔn)臉部形狀。因此，不能適當(dāng)?shù)赜?jì)算幾何布置(位置關(guān)系)，并且不能正確地確定臉部特征點(diǎn)位置。因此，本發(fā)明的主要目的是提供一種臉部特征點(diǎn)位置校正設(shè)備、一種臉部特征點(diǎn)位置校正方法以及一種臉部特征點(diǎn)位置校正程序，使得能夠即使在關(guān)于一個(gè)或多個(gè)臉部特征點(diǎn)輸入具有低可靠性的信息時(shí)也能夠輸出高精度的臉部特征點(diǎn)位置。解決問題的手段根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正設(shè)備包括臉部特征點(diǎn)可靠性產(chǎn)生裝置，針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)；初始臉部特征點(diǎn)位置計(jì)算裝置，基于所述臉部特征點(diǎn)可靠性產(chǎn)生裝置所產(chǎn)生的所述可靠性圖，計(jì)算臉部被拍攝的圖像中臉部特征點(diǎn)的位置；離位臉部特征點(diǎn)判斷裝置，判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于所述初始臉部特征點(diǎn)位置計(jì)算裝置所計(jì)算的臉部特征點(diǎn)的位置以及基于統(tǒng)計(jì)臉部形狀模型中與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)；臉部特征點(diǎn)差計(jì)算裝置，根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被所述離位臉部特征點(diǎn)判斷裝置判斷為所述離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和所述與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；以及臉部特征點(diǎn)位置校正裝置，基于所述離位臉部特征點(diǎn)判斷裝置的判斷結(jié)果以及所述臉部特征點(diǎn)差計(jì)算裝置的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正方法包括針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)；基于產(chǎn)生的所述可靠性圖，計(jì)算所述臉部被拍攝的圖像中所述臉部特征點(diǎn)的位置；判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于計(jì)算的所述臉部特征點(diǎn)的位置以及統(tǒng)計(jì)臉部形狀模型中與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)；根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被判斷為所述離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和所述與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；并且基于所述每個(gè)臉部特征點(diǎn)是否是所述離位臉部特征點(diǎn)的判斷結(jié)果以及所述每個(gè)臉部特征點(diǎn)的位置和所述與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正程序使計(jì)算機(jī)執(zhí)行以下操作臉部特征點(diǎn)可靠性產(chǎn)生過程，針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)；初始臉部特征點(diǎn)位置計(jì)算過程，基于所述臉部特征點(diǎn)可靠性產(chǎn)生過程所產(chǎn)生的所述可靠性圖，計(jì)算臉部被拍攝的圖像中所述臉部特征點(diǎn)的位置；離位臉部特征點(diǎn)判斷過程，判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于所述初始臉部特征點(diǎn)位置計(jì)算過程所計(jì)算的臉部特征點(diǎn)的位置以及統(tǒng)計(jì)臉部形狀模型中與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)；臉部特征點(diǎn)差計(jì)算過程，根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被所述離位臉部特征點(diǎn)判斷過程判斷為離位臉部特征點(diǎn)的每個(gè)臉部特征點(diǎn)的位置和所述與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；并且臉部特征點(diǎn)位置校正過程，基于所述離位臉部特征點(diǎn)判斷過程的判斷結(jié)果以及所述臉部特征點(diǎn)差計(jì)算過程的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。
本發(fā)明的有利效果根據(jù)本發(fā)明，即使當(dāng)關(guān)于一個(gè)或多個(gè)臉部特征點(diǎn)輸入具有低可靠性的信息時(shí)，可以通過校正臉部特征點(diǎn)的位置來輸出高精度臉部特征點(diǎn)位置。


[圖I]示出了根據(jù)本發(fā)明示例性實(shí)施例的臉部特征點(diǎn)位置校正設(shè)備的配置示例的框圖。[圖2]是示出了示例性實(shí)施例的臉部特征點(diǎn)位置校正設(shè)備的操作的流程圖。[圖3]是示出了臉部圖像輸入裝置輸入的臉部圖像(拍攝了臉部的圖像)的示例的說明圖。[圖4]是示出了期望在臉部圖像中檢測(cè)到臉部特征點(diǎn)的說明圖。[圖5]是示出了針對(duì)右眼瞳孔中心的可靠性圖的示例的說明圖。[圖6]是指示了最大可靠性位置(使可靠性最大化的位置)的說明圖，其中可靠性圖中的X標(biāo)記圍繞右眼的瞳孔中心。[圖7]是示出了初始臉部特征點(diǎn)位置計(jì)算裝置所計(jì)算的初始臉部特征點(diǎn)的位置的說明圖。[圖8]是示出了隨機(jī)選擇的兩個(gè)臉部特征點(diǎn)的示例的說明圖。[圖9]是示出了離位臉部特征點(diǎn)判斷裝置的判斷結(jié)果的示例的說明圖。[圖10]是示出了臉部特征點(diǎn)位置校正裝置執(zhí)行的對(duì)偏離臉部形狀模型的臉部特征點(diǎn)的位置校正結(jié)果的示例的說明圖。[圖11]是示出了本發(fā)明的概要的框圖。
具體實(shí)施例方式現(xiàn)在參照附圖，詳細(xì)給出對(duì)根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正設(shè)備的示例性實(shí)施例的描述。圖I示出了根據(jù)本發(fā)明示例性實(shí)施例的臉部特征點(diǎn)位置校正設(shè)備的配置示例的框圖。如圖I所示，根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正設(shè)備I包括數(shù)據(jù)處理設(shè)備100和存儲(chǔ)設(shè)備200。數(shù)據(jù)處理設(shè)備100包括臉部圖像輸入裝置110、臉部特征點(diǎn)可靠性產(chǎn)生裝置120、初始臉部特征點(diǎn)位置計(jì)算裝置130、離位臉部特征點(diǎn)判斷裝置140、臉部特征點(diǎn)差計(jì)算裝置150和臉部特征點(diǎn)位置校正裝置160。存儲(chǔ)設(shè)備200包括臉部形狀模型存儲(chǔ)裝置210。臉部圖像輸入裝置110輸入臉部被拍攝的圖像(臉部圖像)。根據(jù)臉部圖像輸入裝置Iio輸入的臉部圖像，臉部特征點(diǎn)可靠性產(chǎn)生裝置120針對(duì)每個(gè)臉部特征點(diǎn)產(chǎn)生對(duì)臉部特征點(diǎn)(眼睛、鼻子等)的特征點(diǎn)的適合性加以指示的可靠性圖。初始臉部特征點(diǎn)位置計(jì)算裝置130基于臉部特征點(diǎn)可靠性產(chǎn)生裝置120產(chǎn)生的可靠性圖，來計(jì)算臉部特征點(diǎn)位置(臉部特征點(diǎn)的位置)。下文中，初始臉部特征點(diǎn)位置計(jì)算裝置130所計(jì)算的臉部特征點(diǎn)位置被稱作“初始臉部特征點(diǎn)位置”?；诔跏寄槻刻卣鼽c(diǎn)位置計(jì)算裝置130所計(jì)算的初始臉部特征點(diǎn)位置，離位臉部 特征點(diǎn)判斷裝置140判斷每個(gè)初始臉部特征點(diǎn)位置處的每個(gè)臉部特征點(diǎn)是否是位于偏離(離開)臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型的位置的離位臉部特征點(diǎn)。臉部特征點(diǎn)差計(jì)算裝置150根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置與統(tǒng)計(jì)臉部形狀模型中對(duì)應(yīng)的臉部特征點(diǎn)(對(duì)應(yīng)點(diǎn))的位置之間的差。基于離位臉部特征點(diǎn)判斷裝置140的判斷結(jié)果和臉部特征點(diǎn)差計(jì)算裝置150的計(jì)算結(jié)果，臉部特征點(diǎn)位置校正裝置160校正與(臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型中)對(duì)應(yīng)的臉部特征點(diǎn)的位置的位置誤差較大的臉部特征點(diǎn)的位置。接著，以下參照附圖描述臉部特征點(diǎn)位置校正設(shè)備I的操作。圖2是示出了示例性實(shí)施例的臉部特征點(diǎn)位置校正設(shè)備的操作的流程圖。首先，臉部圖像輸入裝置110輸入臉部被拍攝的圖像(臉部圖像)(步驟S111)。隨后，根據(jù)步驟Slll中輸入的臉部圖像，臉部特征點(diǎn)可靠性產(chǎn)生裝置120對(duì)臉部特征點(diǎn)(眼睛、鼻子等)的特征點(diǎn)的適合性加以指示的可靠性圖(步驟S112)。初始臉部特征點(diǎn)位置計(jì)算裝置130基于步驟S112中產(chǎn)生的可靠性圖，來計(jì)算初始臉部特征點(diǎn)位置(步驟S113)。隨后，基于步驟S113中計(jì)算的初始臉部特征點(diǎn)位置，離位臉部特征點(diǎn)判斷裝置140判斷每個(gè)初始臉部特征點(diǎn)位置處的每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)(位于偏離(離開)臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型的位置)(步驟S114)。臉部特征點(diǎn)差計(jì)算裝置150根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置與統(tǒng)計(jì)臉部形狀模型中對(duì)應(yīng)的臉部特征點(diǎn)(對(duì)應(yīng)點(diǎn))的位置之間的差(步驟S115)。隨后，基于步驟S114中的判斷結(jié)果步驟S115中的計(jì)算結(jié)果，臉部特征點(diǎn)位置校正裝置160校正與(臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型中)對(duì)應(yīng)的臉部特征點(diǎn)的位置的位置誤差較大的臉部特征點(diǎn)的位置(步驟SI 16)。根據(jù)該示例性實(shí)施例，根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，通過以下操作來校正臉部特征點(diǎn)的位置從自臉部圖像中檢測(cè)到的臉部特征點(diǎn)中排除位于偏離(離開)統(tǒng)計(jì)臉部形狀模型中對(duì)應(yīng)臉部特征點(diǎn)位置的位置處的臉部特征點(diǎn)；并且根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，來計(jì)算每個(gè)(其余)臉部特征點(diǎn)與統(tǒng)計(jì)臉部形狀模型中每個(gè)對(duì)應(yīng)臉部特征點(diǎn)之間的位置差(誤差)。因此，可以輸出高精度的臉部特征點(diǎn)位置。〈示例〉接著，使用一些特定示例詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例的配置和操作。在圖I的根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正設(shè)備I中，存儲(chǔ)設(shè)備200例如由半導(dǎo)體存儲(chǔ)器或硬盤驅(qū)動(dòng)器來實(shí)現(xiàn)。臉部圖像輸入裝置110例如由數(shù)字?jǐn)z像機(jī)來實(shí)現(xiàn)。臉部圖像輸入裝置110、臉部特征點(diǎn)可靠性產(chǎn)生裝置120、初始臉部特征點(diǎn)位置計(jì)算裝置130、離位臉部特征點(diǎn)判斷裝置140、臉部特征點(diǎn)差計(jì)算裝置150和臉部特征點(diǎn)位置校正裝置160例如由根據(jù)程序控制執(zhí)行過程的CPU(中央處理單元)來實(shí)現(xiàn)。臉部形狀模型存儲(chǔ)裝置210例如由半導(dǎo)體存儲(chǔ)器或硬盤驅(qū)動(dòng)器來實(shí)現(xiàn)。
臉部圖像輸入裝置110輸入臉部被拍攝的圖像。圖3是示出了臉部圖像輸入裝置110輸入的臉部圖像(拍攝了臉部的圖像)的示例的說明圖。臉部圖像輸入裝置110輸入的圖像不僅可以包括臉部而且還包括背景。臉部圖像輸入裝置110還可以被配置為預(yù)先執(zhí)行臉部檢測(cè)，從臉部圖像中提取臉部區(qū)域(臉部占據(jù)的區(qū)域)，并且向臉部特征點(diǎn)位置校正設(shè)備I輸入提取的臉部區(qū)域。根據(jù)臉部圖像輸入裝置110輸入的臉部圖像，臉部特征點(diǎn)可靠性產(chǎn)生裝置120針對(duì)每個(gè)臉部特征點(diǎn)產(chǎn)生可靠性圖(指示臉部特征點(diǎn)(眼睛、鼻子等)的特征點(diǎn)的適合性)。圖4是示出了期望在臉部圖像中檢測(cè)到臉部特征點(diǎn)的說明圖。在圖4的示例中，期望被檢測(cè)到的臉部特征點(diǎn)由X標(biāo)記指示。在該示例中，如圖4所示總共輸出了 14個(gè)X標(biāo)記(每個(gè)(左、右)眼眉兩端，每只(左、右)眼睛的中心和兩端、鼻子的下部、嘴的中心和兩端)。在這種情況下，臉部特征點(diǎn)可靠性產(chǎn)生裝置120產(chǎn)生與這些點(diǎn)相對(duì)應(yīng)的14個(gè)可靠性圖。迄今為止所提出的各種技術(shù)可以用于產(chǎn)生對(duì)臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖。例如，類似于非專利文獻(xiàn)I的技術(shù)，可以通過對(duì)數(shù)據(jù)處理設(shè)備100輸入的整個(gè)圖像區(qū)域應(yīng)用針對(duì)每個(gè)臉部特征點(diǎn)的檢測(cè)器來產(chǎn)生可靠性圖，每個(gè)臉部特征點(diǎn)通過采用基于Viola和Jones提出的Haar類似特征的AdaBoost來構(gòu)造。圖5是示出了針對(duì)右眼瞳孔中心的可靠性圖的示例的說明圖。在圖5中示出的示例中，利用可靠性越大則越暗來指示每個(gè)點(diǎn)(位置)，可靠性表示臉部特征點(diǎn)的適合性。圖5的示例指示，不僅圍繞右眼瞳孔中心的可靠性較高，而且圍繞左眼瞳孔中心、右眼眉以及鼻子下區(qū)域的可靠性較高。初始臉部特征點(diǎn)位置計(jì)算裝置130基于臉部特征點(diǎn)可靠性產(chǎn)生裝置120產(chǎn)生的可靠性圖，來計(jì)算臉部特征點(diǎn)的位置(臉部特征點(diǎn)的位置)。在期望檢測(cè)圖4中所示的14個(gè)臉部特征點(diǎn)的位置的情況下，計(jì)算14個(gè)初始臉部特征點(diǎn)的位置。例如，初始臉部特征點(diǎn)位置計(jì)算裝置130確定使臉部特征點(diǎn)可靠性產(chǎn)生裝置120產(chǎn)生的每個(gè)可靠性圖中的可靠性最大化的位置(可靠性最高的位置)作為每個(gè)初始特征點(diǎn)的位置。除了該使用可靠性圖中的最大可靠性位置的方法作為初始臉部特征點(diǎn)的位置以外，初始臉部特征點(diǎn)位置計(jì)算裝置130還可以使用使臉部特征點(diǎn)可靠性與臉部特征點(diǎn)位置的先驗(yàn)分布的乘積最大化的位置作為初始臉部特征點(diǎn)的位置。圖6是指示了最大可靠性位置(使可靠性最大化的位置)的說明圖，其中可靠性圖中的X標(biāo)記圍繞右眼的瞳孔中心。圖6指示，不僅圍繞右眼瞳孔中心的可靠性較高，而且圍繞左眼瞳孔中心、右眼眉以及鼻子下區(qū)域的可靠性較高。然而，圖6還指示，已經(jīng)將右眼瞳孔中心(用X標(biāo)記指示的位置)選作初始臉部特征點(diǎn)的位置，這是由于可靠性在右眼瞳孔中心處最高?；诔跏寄槻刻卣鼽c(diǎn)位置計(jì)算裝置130所計(jì)算的初始臉部特征點(diǎn)位置，離位臉部特征點(diǎn)判斷裝置140判斷每個(gè)初始臉部特征點(diǎn)位置處的每個(gè)臉部特征點(diǎn)是否是位于偏離(離開)臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型的位置的離位臉部特征點(diǎn)。在臉部形狀模型存儲(chǔ)裝置210中，已經(jīng)將圖4中示出的14個(gè)臉部特征點(diǎn)的坐標(biāo)值預(yù)存儲(chǔ)為統(tǒng)計(jì)臉部形狀模型。
附帶地，還可以將14個(gè)臉部特征點(diǎn)的坐標(biāo)值確定為大量臉部圖像(包括個(gè)體差異以及臉部表情和臉部方向的變化)中的臉部特征點(diǎn)坐標(biāo)值的平均。臉部形狀模型存儲(chǔ)裝置210還可以預(yù)存儲(chǔ)通過對(duì)大量臉部圖像(包括各種變化)中的臉部特征點(diǎn)坐標(biāo)值應(yīng)用k-means方法而獲取坐標(biāo)值集合作為臉部形狀模型。例如可以使用魯棒的估計(jì)技術(shù)來進(jìn)行對(duì)每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)(位于偏離(離開)與統(tǒng)計(jì)臉部形狀模型的位置)的判斷。這里參照附圖描述采用LMedS(最小中值平方)的離位臉特征點(diǎn)判斷的方法(一種類型的魯棒的估計(jì)技術(shù))。圖7是示出了初始臉部特征點(diǎn)位置計(jì)算裝置130所計(jì)算的初始臉部特征點(diǎn)的位置的說明圖。如圖7所示，這里假定初始臉部特征點(diǎn)位置計(jì)算裝置130使計(jì)算的右眼瞳孔中心、右眼內(nèi)角以及嘴右端的初始臉部特征點(diǎn)位置作為由于拍攝臉部圖像時(shí)的一些因素(例如，照明條件的變化)極大地偏離(離開)臉部圖像(臉部被拍攝的圖像)中對(duì)應(yīng)位置的位置。離位臉部特征點(diǎn)判斷裝置140首先從圖4中示出的14個(gè)臉部特征點(diǎn)中隨機(jī)選擇兩個(gè)臉部特征點(diǎn)。圖8是示出了隨機(jī)選擇的兩個(gè)臉部特征點(diǎn)的示例的說明圖。圖8(a)的示例指示選擇了右眼外角的臉部特征點(diǎn)以及嘴左端的臉部特征點(diǎn)。通過對(duì)離位臉部特征點(diǎn)判斷裝置140選擇的每個(gè)臉部特征點(diǎn)分配字符“a”或“b”來給出以下詳細(xì)描述。在輸入圖像中，將與兩個(gè)隨機(jī)選擇的臉部特征點(diǎn)相對(duì)應(yīng)的初始臉部特征點(diǎn)的坐標(biāo)值集合定義為(ta，tb)。每個(gè)符號(hào)ta，tb表示對(duì)輸入圖像中的坐標(biāo)值加以表示的二維向量。此外，在臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型中，將與離位臉部特征點(diǎn)判斷裝置140選擇的臉部特征點(diǎn)相對(duì)應(yīng)的兩個(gè)臉部特征點(diǎn)(在該示例中，在右眼外角的點(diǎn)以及在嘴左端的點(diǎn))的坐標(biāo)值集合(即，在右眼外角的點(diǎn)以及在嘴左端的點(diǎn)的坐標(biāo)值集合)定義為(ka，kb)，如圖8(b)所示。每個(gè)符號(hào)ka，kb表示對(duì)臉部形狀模型中坐標(biāo)值加以表示的二維向量。由于針對(duì)臉部形狀模型中臉部特征點(diǎn)的坐標(biāo)系以及針對(duì)初始臉部特征點(diǎn)的坐標(biāo)系彼此不同，因此有必要將前者坐標(biāo)系中的坐標(biāo)值與后者坐標(biāo)系中的坐標(biāo)值彼此相關(guān)聯(lián)。因此，離位臉部特征點(diǎn)判斷裝置140確定從初始臉部特征點(diǎn)的坐標(biāo)值集合(ta，tb)到臉部形狀模型中坐標(biāo)值集合(ka,kb)的坐標(biāo)變換P。坐標(biāo)變換P是四維向量,包括沿著X軸方向的平移分量、沿著y軸方向的平移分量、沿著屏幕上方向的旋轉(zhuǎn)分量以及縮放分量。隨后，離位臉部特征點(diǎn)判斷裝置140計(jì)算使用坐標(biāo)變換P變換之后的其余12個(gè)初始臉部特征點(diǎn)的坐標(biāo)值和臉部形狀模型中與12個(gè)初始臉部特征點(diǎn)相對(duì)應(yīng)的12個(gè)臉部特征點(diǎn)之間的平方誤差，并然后根據(jù)以下表達(dá)式(I)來確定12個(gè)平方誤差的中值
me d I p (t J- k Jl…式⑴
i *a, b以上表達(dá)式⑴中的符號(hào)“med”表示用于計(jì)算中值的函數(shù)。離位臉部特征點(diǎn)判斷裝置140多次執(zhí)行以上序列(隨機(jī)選擇兩個(gè)臉部特征點(diǎn)、確定坐標(biāo)變換P、以及計(jì)算坐標(biāo)值的平方誤差)。然后，離位臉部特征點(diǎn)判斷裝置140保持使平方誤差的中值最小化的坐標(biāo)變換P作為坐標(biāo)變換P’。最后，離位臉部特征點(diǎn)判斷裝置140判斷每個(gè)臉部特征點(diǎn)是否是否離位臉部特征點(diǎn)。具體地，如果通過坐標(biāo)P’變換之后的初始臉部特征點(diǎn)的坐標(biāo)值與臉部形狀模型中的坐標(biāo)值之間的平方誤差大于規(guī)定閾值，則判斷臉部特征點(diǎn)是離位臉部特征點(diǎn)。圖9是示出了離位臉部特征點(diǎn)判斷裝置140的判斷結(jié)果的示例的說明圖。在圖9中，被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的每個(gè)臉部特征點(diǎn)用被圓圈包圍的X標(biāo)記來指示。圖9指示，已經(jīng)將針對(duì)右眼瞳孔中心、右眼內(nèi)角以及嘴右端的初始臉部特征點(diǎn)判斷為離位臉部特征點(diǎn)。
附帶地，離位臉部特征點(diǎn)判斷裝置140隨機(jī)選擇用于確定坐標(biāo)變換P的臉部特征點(diǎn)的數(shù)目也可以是三個(gè)或更多個(gè)。例如，這里通過向離位臉部特征點(diǎn)判斷裝置140選定的每個(gè)臉部特征點(diǎn)分配字符“a”、“b”或“c”來簡(jiǎn)要說明圖4中示出的離位臉部特征點(diǎn)判斷裝置140從14個(gè)臉部特征點(diǎn)中隨機(jī)選擇3個(gè)臉部特征點(diǎn)的情況。在輸入圖像中，將與3個(gè)隨機(jī)選定的臉部特征點(diǎn)相對(duì)應(yīng)的3個(gè)初始臉部特征點(diǎn)的坐標(biāo)值集合定義為(ta，tb，t。)。此外，在臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的統(tǒng)計(jì)臉部形狀模型中，將與離位臉部特征點(diǎn)判斷裝置140選定的臉部特征點(diǎn)相對(duì)應(yīng)的3個(gè)臉部特征點(diǎn)的坐標(biāo)值集合定義為(ka，kb，k。)。離位臉部特征點(diǎn)判斷裝置140確定坐標(biāo)變換P，該坐標(biāo)變換P最小化與從初始臉部特征點(diǎn)的坐標(biāo)值集合(ta，tb，t。)到臉部形狀模型中的坐標(biāo)值集合(ka，kb，k。)的坐標(biāo)變換中的在前坐標(biāo)值相對(duì)應(yīng)的初始臉部特征點(diǎn)的坐標(biāo)值與臉部形狀模型中的其他坐標(biāo)值(其余臉部特征點(diǎn)的坐標(biāo)值)之間的平方誤差。其后，類似于隨機(jī)選定的臉部特征點(diǎn)的數(shù)目是2的情況，離位臉部特征點(diǎn)判斷裝置140判定每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)。臉部特征點(diǎn)差計(jì)算裝置150根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置與統(tǒng)計(jì)臉部形狀模型中對(duì)應(yīng)的臉部特征點(diǎn)的位置之間的差。例如，臉部特征點(diǎn)差計(jì)算裝置150通過最小平方方法來確定除了被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的那些初始臉部特征點(diǎn)以外的初始臉部特征點(diǎn)的坐標(biāo)值到臉部形狀模型中與初始臉部特征點(diǎn)相對(duì)應(yīng)的臉部特征點(diǎn)的坐標(biāo)值的坐標(biāo)變換P。其后，臉部特征點(diǎn)差計(jì)算裝置150可以使用坐標(biāo)變換P變換之后的每個(gè)初始臉部特征點(diǎn)的坐標(biāo)值與臉部形狀模型中坐標(biāo)值之間的平方誤差作為每個(gè)臉部特征點(diǎn)(除了被判定為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外)的位置與統(tǒng)計(jì)臉部形狀模型中臉部特征點(diǎn)的位置之間的差。臉部特征點(diǎn)差計(jì)算裝置150還可以用坐標(biāo)變換p’ (由離位臉部特征點(diǎn)判斷裝置140來確定)來代替以上坐標(biāo)變換P。除了每個(gè)初始臉部特征點(diǎn)的變換后坐標(biāo)值與臉部形狀模型中的坐標(biāo)值之間的平方誤差以外，臉部特征點(diǎn)差計(jì)算裝置150例如還可以在每個(gè)初始臉部特征點(diǎn)的坐標(biāo)處的臉部特征點(diǎn)可靠性。在使用臉部特征點(diǎn)可靠性的情況下，例如，臉部特征點(diǎn)差計(jì)算裝置150可以計(jì)算臉部特征點(diǎn)可靠性的倒數(shù)(reciprocal number)和初始臉部特征點(diǎn)的變換后坐標(biāo)值與臉部形狀模型中的坐標(biāo)值之間的平方誤差的乘積，并且輸出該乘積作為初始臉部特征點(diǎn)的變換后坐標(biāo)值與臉部形狀模型中的坐標(biāo)值之間的誤差。基于離位臉部特征點(diǎn)判斷裝置140的判斷結(jié)果以及臉部特征點(diǎn)差計(jì)算裝置150的計(jì)算結(jié)果，臉部特征點(diǎn)位置校正裝置160校正與統(tǒng)計(jì)臉部形狀模型的誤差較大的臉部特征點(diǎn)的位置。經(jīng)過臉部特征點(diǎn)位置校正裝置160位置校正的臉部特征點(diǎn)是那些被離位臉部特征點(diǎn)判斷裝置140判斷為離位臉部特征點(diǎn)的臉部特征點(diǎn)，以及臉部特征點(diǎn)差計(jì)算裝置150所計(jì)算位置誤差(與臉部形狀模型中的位置的誤差)是規(guī)定閾值或者更大的那些臉部特征點(diǎn)。例如，臉部特征點(diǎn)位置校正裝置160可以使用臉部形狀模型存儲(chǔ)裝置210中存儲(chǔ)的用于校正臉部特征點(diǎn)的臉部形狀模型。具體地，臉部特征點(diǎn)位置校正裝置160可以通過使用臉部特征點(diǎn)差計(jì)算裝置150確定的坐標(biāo)變換P的逆變換P 來變換臉部模型中對(duì)應(yīng)的臉部特征點(diǎn)(對(duì)應(yīng)于校正目標(biāo)臉部特征點(diǎn))的坐標(biāo)值，從而確定偏離臉部形狀模型的臉部特征點(diǎn)(作為校正目標(biāo)的臉部特征點(diǎn))的校正后坐標(biāo)值。圖10是示出了臉部特征點(diǎn)位置校正裝置160執(zhí)行的對(duì)偏離臉部形狀模型的臉部·特征點(diǎn)的位置校正結(jié)果的示例的說明圖。圖10指示，已經(jīng)將右眼瞳孔中心、右眼的內(nèi)角以及嘴右端的臉部特征點(diǎn)(已經(jīng)被判斷為圖9中的離位臉部特征點(diǎn))的位置校正到適當(dāng)位置。根據(jù)該示例性實(shí)施例，可以通過對(duì)被判斷為位于與統(tǒng)計(jì)臉部形狀模型中對(duì)應(yīng)的臉部特征點(diǎn)的位置偏離的位置的臉部特征點(diǎn)的位置校正，將高精度的臉部特征點(diǎn)位置輸出到適當(dāng)位置。接著，說明本發(fā)明的概要。圖11是示出了本發(fā)明的概要的框圖。如圖11所示，根據(jù)本發(fā)明的臉部特征點(diǎn)位置校正設(shè)備300包括臉部特征點(diǎn)可靠性產(chǎn)生裝置301、初始臉部特征點(diǎn)位置計(jì)算裝置302、離位臉部特征點(diǎn)判斷裝置303、臉部特征點(diǎn)差計(jì)算裝置304以及臉部特征點(diǎn)位置校正裝置305。臉部特征點(diǎn)可靠性產(chǎn)生裝置301針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，該臉部特征點(diǎn)指示臉上器官的特征點(diǎn)。初始臉部特征點(diǎn)位置計(jì)算裝置302基于臉部特征點(diǎn)可靠性產(chǎn)生裝置301所產(chǎn)生的可靠性圖，計(jì)算臉部被拍攝的圖像中臉部特征點(diǎn)的位置。離位臉部特征點(diǎn)判斷裝置303判斷每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于初始臉部特征點(diǎn)位置計(jì)算裝置302所計(jì)算的臉部特征點(diǎn)的位置以及統(tǒng)計(jì)臉部形狀模型中與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)。臉部特征點(diǎn)差計(jì)算裝置304根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被離位臉部特征點(diǎn)判斷裝置303判斷為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和與臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差。臉部特征點(diǎn)位置校正裝置305基于離位臉部特征點(diǎn)判斷裝置303的判斷結(jié)果以及臉部特征點(diǎn)差計(jì)算裝置304的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。這樣的配置使得能夠即使由于拍攝臉部圖像是的一些因素(照明條件變化、遮擋等)輸入了一個(gè)或多個(gè)臉部特征點(diǎn)的可靠性較低的圖像(例如，不清楚的圖像)時(shí)，也能夠輸出高精度的臉部特征點(diǎn)位置。在以上示例性實(shí)施例中還公開了以下臉部特征點(diǎn)位置校正設(shè)備(I)至⑷
(I)臉部特征點(diǎn)位置校正設(shè)備，其中，離位臉部特征點(diǎn)判斷裝置303使用魯棒的估計(jì)技術(shù)來判斷每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)。(2)臉部特征點(diǎn)位置校正設(shè)備，其中，離位臉部特征點(diǎn)判斷裝置303重復(fù)以下操作從臉部特征點(diǎn)中隨機(jī)選擇一些臉部特征點(diǎn)；將對(duì)選擇操作基于向量沒有選擇的臉部特征的位置加以表示的坐標(biāo)值變換成對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值，所述向量用于變換對(duì)選定的臉部特征點(diǎn)的 位置加以表示的坐標(biāo)值；并且計(jì)算變換后坐標(biāo)值與對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值之間的平方差的中值，并且如果對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值與基于特定向量變換的臉部特征點(diǎn)的坐標(biāo)值之間的平方誤差大于規(guī)定閾值，則判斷臉部特征點(diǎn)是離位臉部特征點(diǎn)，所述特定向量是用于重復(fù)操作中坐標(biāo)值變換的向量中使中值最小化的向量。(3)臉部特征點(diǎn)位置校正設(shè)備包括臉部形狀模型存儲(chǔ)裝置，存儲(chǔ)與統(tǒng)計(jì)臉部形狀模型有關(guān)的信息。(4)臉部特征點(diǎn)位置校正設(shè)備，其中，臉部特征點(diǎn)位置校正裝置305對(duì)被離位臉部特征點(diǎn)判斷裝置303判斷為離位臉部特征點(diǎn)的臉部特征點(diǎn)的位置以及作為臉部特征點(diǎn)差計(jì)算裝置304的計(jì)算結(jié)果差是預(yù)設(shè)閾值或更大的臉部特征點(diǎn)的位置執(zhí)行校正。盡管以上參照示例性實(shí)施例和示例描述了本發(fā)明，本發(fā)明不限于特定示意性示例性實(shí)施例和示例。在本發(fā)明范圍內(nèi)可以對(duì)本發(fā)明的配置和細(xì)節(jié)進(jìn)行本領(lǐng)域技術(shù)人員可理解的各種修改。本申請(qǐng)要求2010年5月26日遞交的日本專利申請(qǐng)No. 2010-121017的優(yōu)先權(quán)，其全部?jī)?nèi)容通過引用合并于此。工業(yè)適用性本發(fā)明廣泛適用于臉部方向估計(jì)和臉部認(rèn)證系統(tǒng)、臉部表情識(shí)別等精度改進(jìn)。附圖標(biāo)記列表1,300臉部特征點(diǎn)位置校正設(shè)備100數(shù)據(jù)處理設(shè)備110臉部圖像輸入裝置120,301臉部特征點(diǎn)可靠性產(chǎn)生裝置130，302初始臉部特征點(diǎn)位置計(jì)算裝置140,303離位臉部特征點(diǎn)判斷裝置150,304臉部特征點(diǎn)差計(jì)算裝置160,305臉部特征點(diǎn)位置校正裝置200存儲(chǔ)設(shè)備210臉部形狀模型存儲(chǔ)裝置
權(quán)利要求
1.一種臉部特征點(diǎn)位置校正設(shè)備，包括 臉部特征點(diǎn)可靠性產(chǎn)生裝置，針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)； 初始臉部特征點(diǎn)位置計(jì)算裝置，基于所述臉部特征點(diǎn)可靠性產(chǎn)生裝置所產(chǎn)生的所述可靠性圖，計(jì)算所述臉部被拍攝的圖像中所述臉部特征點(diǎn)的位置； 離位臉部特征點(diǎn)判斷裝置，判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于所述初始臉部特征點(diǎn)位置計(jì)算裝置所計(jì)算的臉部特征點(diǎn)的位置以及基于統(tǒng)計(jì)臉部形狀模型中與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)；臉部特征點(diǎn)差計(jì)算裝置，根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被所述離位臉部特征點(diǎn)判斷裝置判斷為所述離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；以及 臉部特征點(diǎn)位置校正裝置，基于所述離位臉部特征點(diǎn)判斷裝置的判斷結(jié)果以及所述臉部特征點(diǎn)差計(jì)算裝置的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。
2.根據(jù)權(quán)利要求I所述的臉部特征點(diǎn)位置校正設(shè)備， 其中，所述離位臉部特征點(diǎn)判斷裝置使用魯棒的估計(jì)技術(shù)來判斷每個(gè)臉部特征點(diǎn)是否是所述離位臉部特征點(diǎn)。
3.根據(jù)權(quán)利要求2所述的臉部特征點(diǎn)位置校正設(shè)備， 其中，所述離位臉部特征點(diǎn)判斷裝置重復(fù)以下操作 從所述臉部特征點(diǎn)中隨機(jī)選擇一些臉部特征點(diǎn)的選擇操作； 基于向量來變換對(duì)所述選擇操作沒有選擇的臉部特征的位置加以表示的坐標(biāo)值的變換操作，所述向量用于將對(duì)選定的臉部特征點(diǎn)的位置加以表示的坐標(biāo)值變換成對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值；以及 計(jì)算變換后坐標(biāo)值與對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值之間的平方差的中值的計(jì)算操作，并且 如果所述對(duì)臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置加以表示的坐標(biāo)值與基于特定向量來變換的臉部特征點(diǎn)的坐標(biāo)值之間的誤差大于規(guī)定閾值，則判斷所述臉部特征點(diǎn)是所述離位臉部特征點(diǎn)，所述特定向量在所述重復(fù)操作中用于坐標(biāo)值變換的所述向量中使所述中值最小化的向量。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的臉部特征點(diǎn)位置校正設(shè)備，包括 臉部形狀模型存儲(chǔ)裝置，存儲(chǔ)與所述統(tǒng)計(jì)臉部形狀模型有關(guān)的信息。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的臉部特征點(diǎn)位置校正設(shè)備， 其中，所述臉部特征點(diǎn)位置校正裝置對(duì)被所述離位臉部特征點(diǎn)判斷裝置判斷為所述離位臉部特征點(diǎn)的臉部特征點(diǎn)的位置以及作為所述臉部特征點(diǎn)差計(jì)算裝置的計(jì)算結(jié)果差等于或大于預(yù)設(shè)閾值的臉部特征點(diǎn)的位置執(zhí)行校正。
6.一種臉部特征點(diǎn)位置校正方法，包括 針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)； 基于產(chǎn)生的所述可靠性圖，計(jì)算所述臉部被拍攝的圖像中所述臉部特征點(diǎn)的位置；判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于計(jì)算的所述臉部特征點(diǎn)的位置以及基于統(tǒng)計(jì)臉部形狀模型中與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)； 根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被判斷為所述離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；并且基于所述每個(gè)臉部特征點(diǎn)是否是所述離位臉部特征點(diǎn)的判斷結(jié)果以及所述每個(gè)臉部特征點(diǎn)的位置和與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。
7.—種臉部特征點(diǎn)位置校正程序，使計(jì)算機(jī)執(zhí)行以下操作 臉部特征點(diǎn)可靠性產(chǎn)生過程，針對(duì)來自臉部被拍攝的輸入圖像的每個(gè)臉部特征點(diǎn)，產(chǎn)生對(duì)所述臉部特征點(diǎn)的特征點(diǎn)的適合性加以指示的可靠性圖，所述臉部特征點(diǎn)指示臉上器官的特征點(diǎn)； 初始臉部特征點(diǎn)位置計(jì)算過程，基于所述臉部特征點(diǎn)可靠性產(chǎn)生過程所產(chǎn)生的所述可靠性圖，計(jì)算臉部被拍攝的圖像中所述臉部特征點(diǎn)的位置； 離位臉部特征點(diǎn)判斷過程，判斷所述每個(gè)臉部特征點(diǎn)是否是離位臉部特征點(diǎn)，作為不滿足基于所述初始臉部特征點(diǎn)位置計(jì)算過程所計(jì)算的臉部特征點(diǎn)的位置以及基于統(tǒng)計(jì)臉部形狀模型中與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置指定的規(guī)定條件的臉部特征點(diǎn)；臉部特征點(diǎn)差計(jì)算過程，根據(jù)規(guī)定的評(píng)價(jià)函數(shù)，計(jì)算除了被所述離位臉部特征點(diǎn)判斷過程判斷為離位臉部特征點(diǎn)的每個(gè)臉部特征點(diǎn)的位置和與所述臉部特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的位置之間的差；并且 臉部特征點(diǎn)位置校正過程，基于所述離位臉部特征點(diǎn)判斷過程的判斷結(jié)果以及所述臉部特征點(diǎn)差計(jì)算過程的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。
全文摘要
臉部特征點(diǎn)可靠性產(chǎn)生裝置根據(jù)臉部圖像產(chǎn)生每個(gè)臉部特征點(diǎn)的可靠性圖。初始臉部特征點(diǎn)位置計(jì)算裝置基于可靠性圖計(jì)算臉部圖像中每個(gè)臉部特征點(diǎn)的位置。離位臉部特征點(diǎn)判斷裝置判斷每個(gè)臉部特征點(diǎn)是否是不滿足規(guī)定條件的離位臉部特征點(diǎn)。臉部特征點(diǎn)差計(jì)算裝置計(jì)算除了被判斷為離位臉部特征點(diǎn)的那些臉部特征點(diǎn)以外的每個(gè)臉部特征點(diǎn)的位置和臉部特征點(diǎn)的對(duì)應(yīng)點(diǎn)的位置之間的差。臉部特征點(diǎn)位置校正裝置基于離位臉部特征點(diǎn)判斷裝置的判斷結(jié)果以及臉部特征點(diǎn)差計(jì)算裝置的計(jì)算結(jié)果，來校正確定的臉部特征點(diǎn)位置。
文檔編號(hào)G06T1/00GK102906786SQ20118002549
公開日2013年1月30日 申請(qǐng)日期2011年5月18日 優(yōu)先權(quán)日2010年5月26日
發(fā)明者森下雄介 申請(qǐng)人:日本電氣株式會(huì)社