專利名稱：檢測特征點的設(shè)備及檢測特征點的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用來檢測特征點的設(shè)備，該設(shè)備從輸入圖像檢測目標對象的特征點，并涉及一種檢測特征點的方法。
背景技術(shù)：
在相關(guān)技術(shù)中一種用于檢測特征點設(shè)備中，有一種方法是檢測少量特征點，諸如面部圖像上的鼻子和眼睛，并然后使用檢測的特征點的位置設(shè)置新的不同的特征點，如日本申請Kokai 2004-265267中所公開的。
還有一種使用在圖像上檢測的面部特征點的位置，限制搜索不同特征點范圍的方法，如日本申請Kokai 10-86696中所公開的。
在這些方法中，第二特征點的檢測是使用與已檢測的在存儲的二維圖像上的第一特征點的相對位置關(guān)系而實現(xiàn)的。然而，存在第二特征點就不能被正確檢測這樣的問題，因為當臉朝向前方時計算的特征點相對位置關(guān)系不能指示在臉的朝向已改變時的正確位置。
作為上述問題的例子，將考慮檢測對應(yīng)于嘴中心的點的方法，嘴中心是嘴的左端和右端之間的中點。如在日本申請Kokai 2003-187247中所公開的，有一種檢測嘴唇區(qū)域的方法，該方法對顏色組件分類并把嘴唇區(qū)域兩端定義為嘴唇端，及嘴唇端的中點定義為嘴中心.當臉朝向前方時，嘴中心幾乎就與嘴端之間的中點相同。然而，當臉的朝向已改變時，或當因為臉部表情改變而嘴周圍部分形狀已改變時，嘴中心的位置不與中點匹配，因而不能正確獲得嘴中心的位置。
如上所述，在檢測特征點的背景中，有檢測第一特征點并使用第一檢測的結(jié)果檢測第二特征點的方法。然而由于在第一特征點檢測中獲得的特征點與第二特征點檢測中獲得的特征點之間相對位置關(guān)系是在二維圖像中定義的，當目標對象的朝向在相對位置關(guān)系被定義的時刻不同于目標對象實際的朝向時，就不能實現(xiàn)特征點正確的檢測。

發(fā)明內(nèi)容
為了解決上述相關(guān)技術(shù)中的問題，本發(fā)明的目的是要提供一種用于檢測特征點的設(shè)備及檢測特征點的方法，其中即使在目標對象的朝向改變時也能正確地檢測特征點。
根據(jù)本發(fā)明的實施例，這一實施例是一種檢測特征點的設(shè)備，該設(shè)備從包含目標對象的圖像檢測特征點，包括用來從包含目標對象的圖像檢測特具體征點的設(shè)備，該設(shè)備包括圖像輸入單元，用于輸入目標對象的圖像；三維形狀信息存儲單元，用于存儲模型的三維形狀信息及模型中參考點的三維位置信息，每一個參考點不同于具體特征點；對應(yīng)的參考點輸入單元，用于輸入在輸入圖像上參考特征點的對應(yīng)的參考點的位置信息；對應(yīng)的特征點獲取單元，用于獲取模型中具體特征點的對應(yīng)的特征點的位置信息；對應(yīng)關(guān)系獲取單元，用于使用對應(yīng)參考點的位置信息及參考點的三維位置信息，獲取輸入圖像與三維形狀信息之間的對應(yīng)關(guān)系；搜索區(qū)域設(shè)置單元，通過基于對應(yīng)關(guān)系把包含模型的表面上對應(yīng)的特征點的對應(yīng)區(qū)域投影到輸入圖像，對輸入圖像上的具體特征點設(shè)置搜索區(qū)域；圖像信息獲取單元，用于從輸入的圖像獲取搜索區(qū)域的圖像信息；以及特征點檢測單元，用于從圖像信息檢測輸入圖像中具體特征點的位置。
根據(jù)本發(fā)明的實施例，能夠?qū)?yīng)于目標對象朝向的三維改變或目標對象形狀的改變，檢測特征點。


圖1是一框圖，表示根據(jù)本發(fā)明第一實施例用于檢測特征點的設(shè)備的配置；圖2是一流程圖，表示根據(jù)第一實施例用于檢測特征點的設(shè)備的操作；圖3的圖示表示相關(guān)技術(shù)中特征點檢測中的問題；圖4的圖示表示根據(jù)第一實施例對應(yīng)關(guān)系獲取單元中進行的過程；圖5的圖示表示根據(jù)第一實施例搜索區(qū)域獲取單元中進行的過程；圖6的圖示表示根據(jù)第一實施例特征點檢測單元中進行的過程。
具體實施例方式
現(xiàn)將說明根據(jù)本發(fā)明的一個實施例用于檢測特征點的設(shè)備。
第一實施例參見圖1到6，將說明根據(jù)第一實施例用于檢測特征點的設(shè)備。在這實施例中，將說明采用臉作為目標對象及從臉圖像檢測嘴的中點的情形。
(1)用于檢測特征點的設(shè)備的配置圖1是一框圖，表示根據(jù)第一實施例用于檢測特征點的設(shè)備。
用于檢測特征點的設(shè)備包括圖像輸入單元110，其獲取被處理的臉圖像，三維形狀信息保存單元200，其保存臉的平均三維形狀，對應(yīng)關(guān)系獲取單元120，其估計臉圖像與三維形狀之間的對應(yīng)關(guān)系，搜索區(qū)域獲取單元130，其使用獲取的對應(yīng)關(guān)系對輸入圖像上的嘴中心設(shè)置搜索區(qū)域，以及特征點檢測單元140，其從搜索區(qū)域確定嘴中心的位置。
這些單元110到140和220的功能是通過存儲在計算機中的程序?qū)崿F(xiàn)的。
(2)用于檢測特征點的設(shè)備的操作現(xiàn)在參見圖1和圖2，將說明用于檢測特征點的設(shè)備的操作。圖2是一流程圖，表示用于檢測特征點的設(shè)備的操作。
(2-1)步驟A1在圖像輸入單元110中，通過數(shù)字攝像機，掃描儀等獲取包含作為特征檢測目標的人臉區(qū)域的數(shù)字圖像。
(2-2)步驟A2在對應(yīng)關(guān)系獲取單元120中，從由圖像輸入單元110獲取的臉圖像獲取除嘴中心以外的特征點，它們被稱為參考特征點。參考特征點可包括例如瞳孔、鼻孔、嘴端。然而，參考特征點的位置和數(shù)目是不受限制的，只要至少有不同平面上的四個點即可。作為獲取參考特征點的方法，它們可通過人工輸入獲取，其中位置是通過嘴人工規(guī)定的，或者通過如日本專利No.3279913中公開的自動檢測方法，該文獻通過參考結(jié)合在本申請中。
(2-3)步驟A3當這里作為參考特征點獲得嘴的左和右端點時，可通過在上述日本申請Kokai 2003-187247中所公開的方法作為嘴的左和右端點兩者的中點檢測嘴的中心，該文獻全部內(nèi)容在此結(jié)合以作參考。如圖3所示，當臉朝向前方時，嘴中心的坐標幾乎與嘴端之間的中點坐標匹配。然而，當臉的朝向改變時，嘴中心坐標就不與嘴端之間的中點坐標匹配。當臉的表情改變諸如微笑時，嘴的形狀變?yōu)楣危灾氯菀紫胂?，嘴中心的坐標不同于嘴端之間的中點的坐標。
因而本實施例中，使用在獲取的臉圖像上的參考特征點和存儲在三維形狀想象保存單元200中的臉形狀參考特征點的位置的坐標，計算臉圖像和三維形狀之間的關(guān)系。
首先，如圖4左上所示，在三維形狀信息保存單元200中準備關(guān)于臉的三維形狀信息及三維形狀上的參考特征點的位置。可通過在輸入圖像中測量人的三維形狀獲得臉的三維形狀信息，或可以是例如通過對若干三維形狀求平均或通過使用建模軟件準備而獲得臉的代表性三維形狀。
然后，使用日本申請Kokai 2003-141552(該文獻的全部內(nèi)容通過引用結(jié)合到本申請中)中所公開的采用因子分解的方法，從形狀矩陣S及度量矩陣W計算表示該對應(yīng)關(guān)系的運動矩陣M，在形狀矩陣中布置了三維形狀信息上的參考特征點的位置，在度量矩陣中布置了輸入圖像上的參考特征點的位置。
例如如圖4所示，當從臉的輸入圖像獲得了六個特征點時，當這六個點的坐標以向量a1，a2，...a6表示時，度量矩陣W為W＝[a1，a2，...a6]，即是一個2×6的矩陣。當由向量b1，b2，...b6表示對應(yīng)的三維模型上的特征點的位置的坐標時，形狀矩陣S為S＝[b1，b2，...b6]，就是一個3×6矩陣。于是，表示三維模型與輸入臉圖像之間對應(yīng)關(guān)系的運動矩陣M為一個2×3矩陣，該矩陣可從表達式(1)計算。
M＝WST(SST)-1...(1)(2-4)步驟A4當使用獲得的運動矩陣M時，可從表達式(2)計算二維圖像(二維向量)上對應(yīng)于三維形狀(三維向量)上任意點“b”的點“a”的位置。
A＝Mb...(2)這里，通過把三維形狀上嘴中心的坐標投影到輸入圖像，還能夠唯一地確定輸入圖像上嘴中心位置。然而，當代表性的臉的三維形狀被用作為三維形狀時，由于輸入圖像中人的臉與該臉的三維形狀之間的差別，不能保證其精確地投影到嘴中心。此外，由于臉是非剛性的對象，如果臉的表情改變，即使使用所述人的三維形狀，也不能保證三維形狀上的嘴中心位置精確投影到輸入圖像中嘴中心。
因而，如圖5所示，在搜索區(qū)域獲取單元130中，通過使用對應(yīng)關(guān)系獲取單元120獲取的運動矩陣M把臉的中心線投影到三維形狀獲得的位置，被確定為搜索區(qū)域。即使三維形狀不同于輸入圖像中人的實際形狀，預(yù)期嘴中心位置在臉的中心線上任何地方。即使當臉的表情改變時，嘴中心幾乎也在臉的中心線上。
(2-5)步驟A5最后，如圖5中所示，在特征點檢測單元140中，位于輸入的臉部圖像中臉的中心線(即臉的橫向?qū)ΨQ軸)上的象素的亮度表示為一維波形，并從這波形檢測嘴中心的位置。
作為從獲取的一維波形檢測嘴中心的該方法，例如有圖6所示的方法。首先，亮度陣列通過高斯的拉譜拉斯濾波器(LoG濾波器)濾波。嘴中心落入嘴的區(qū)域內(nèi)，并能夠想象，嘴區(qū)域的亮度低于嘴周圍皮膚的顏色。因而，從已經(jīng)由拉譜拉斯濾波器和高斯濾波器濾波后的波形獲取值等于或小于零并表示最小值的位置，作為嘴中心位置的候選。
(2-6)步驟A6當在嘴中心候選獲取中沒有獲得嘴中心的候選時，該過程可通過定義為未能檢測而終止，或如果嘴端包含在參考特征點中，可在已經(jīng)輸出嘴端之間中點作為嘴中心位置之后終止。
(2-7)步驟A7當在嘴中心候選獲取中有多個嘴中心候選時，在每一嘴中心候選計算表示嘴中心可能性的估計值。例如，這種情形下，采用已由高斯拉譜拉斯濾波器濾波后的波形上的候選位置處值的反數(shù)作為估計值。
(2-8)步驟A8其估計值為嘴中心各候選的估計值中的最高者的點被確定為嘴中心的初始位置。
(2-9)步驟A9由于從已經(jīng)過由高斯拉譜拉斯濾波器濾波后的波形獲得被檢測的嘴中心的初始位置，在原始波形與最小值之間有一誤差。逐步降低高斯濾波器的定標參數(shù)，每一步嘴中心的初始位置向最近的局部最小值的位置移動，并確定嘴中心最終的位置。
(3)效果這樣，使用根據(jù)第一實施例檢測特征點的設(shè)備，通過估計輸入圖像與三維形狀信息之間的關(guān)系，并在定義臉的中心線上的位置作為搜索范圍之后檢測特征點，能夠?qū)?yīng)于臉的朝向變化或臉的表情變化檢測嘴中心。
(4)修改本實施例中被檢測的特征點不限于嘴中心。
例如，能夠獲得臉的中心線上的上和下嘴唇輪廓的點。通過找出關(guān)于臉的中心線上亮度陣列波形上與零的交叉點，并以高斯拉譜拉斯濾波器對其濾波，并檢測與它們之間嘴中心的中間部分的最近的兩個零交叉點，能夠?qū)崿F(xiàn)臉中心線上的上下嘴唇輪廓上的點的檢測。
能夠檢測作為鼻根點的鼻根。檢測鼻根點是這樣實現(xiàn)的，通過事先檢測兩瞳孔的位置，獲得關(guān)于臉的中心線的亮度陣列，并以高斯拉譜拉斯濾波器對其濾波，找出關(guān)于臉中心線亮度陣列最小值作為鼻根候選點，并抽取最靠近兩瞳孔位置的重心的候選點。
第二實施例現(xiàn)將說明根據(jù)第二實施例用于檢測特征點的設(shè)備。這一實施例中，采用心臟作為目標對象，并基于通過X-射線心動圖作為二維圖像測量的心臟的X-射線圖像描述。
心臟的X-射線圖像是一種投影圖像，例如是通過使用碘制劑對血管成像獲得的，該制劑在目標血管中是正對比劑。在冠狀動脈血管造影術(shù)的情形下，使用對比劑觀察到圍繞心臟的動脈。這種情形下，可易于檢測到粗的主血管的分支點作為參考特征點，另一方面，從所觀察的X-射線圖像不易估計細血管的分支點的位置，或由于血栓不能成像的分支點。因而，這一實施例是要檢測血管的分支點的特征點。
(1)用于檢測特征點的設(shè)備的配置本實施例中用于檢測特征點的設(shè)備與第一實施例類似，并包括圖像輸入單元110，獲取被處理的X-射線圖像，三維形狀信息保存單元200，保存心臟和冠狀動脈平均的三維形狀模型，對應(yīng)關(guān)系獲取單元120，估計X-射線圖像與心臟的三維形狀之間的對應(yīng)關(guān)系，搜索區(qū)域獲取單元130，使用獲取的對應(yīng)關(guān)系設(shè)置搜索輸入圖像上血管分支點的區(qū)域，以及特征點檢測單元140，從搜索區(qū)域確定血管分支點的位置。
這些單元110到140的功能是通過存儲在計算機中的程序?qū)崿F(xiàn)的。
(2)用于檢測特征點的設(shè)備的操作以下將說明用于檢測特征點的設(shè)備的操作。
首先，圖像輸入單元110輸入X-射線圖像。
然后，對應(yīng)關(guān)系獲取單元120檢測粗血管的至少四個分支點，這些分支點能夠易于從由圖像輸入單元110獲取X-射線圖像作為參考特征點被檢測，并估計心臟和冠狀動脈對于三維形狀模型之間的對應(yīng)關(guān)系。可采用第一實施例中所述的方法作為估計的方法。
然后，關(guān)于從X-射線圖像難以檢測的特征點，搜索區(qū)域獲取單元130把難以檢測的特征點的位置投影到模型，并把其周圍的三維平面區(qū)域投影到X-射線圖像的二維平面區(qū)域上。
接下來，X-射線圖像的投影平面區(qū)域?qū)?yīng)于搜索特征點的區(qū)域，并在搜索區(qū)域中進行對亮度校正到優(yōu)化值等。這是為便于從下一步的繼續(xù)檢測。
最后，在特征點檢測單元140，通過邊緣檢測規(guī)定按角檢測方法在搜索區(qū)域中看似為血管分支的位置。
這樣，使用根據(jù)第二實施例檢測特征點的本設(shè)備，通過估計X-射線圖像與三維形狀信息之間的對應(yīng)關(guān)系，并確定X-射線圖像上平面小區(qū)域，該X-射線圖像是通過在三維形狀上投影作為搜索區(qū)域包含特征點的平面小區(qū)域獲得的，能夠檢測在亮度有小范圍變化因而難以規(guī)定位置的特征點。
修改本發(fā)明不限于上述實施例，并在實現(xiàn)階段不背離本發(fā)明范圍之下實施例可被修改和實施。
此外，在需要時通過組合上述實施例中公開的多種組件，這些實施例可被修改為各種形式。例如，某些組件可從實施例中所示的全部組件中去除。此外，實施例中的組件可按需要組合。
權(quán)利要求
1.一種用于從包含目標對象的圖像檢測具體特征點的設(shè)備，包括圖像輸入單元，用于輸入目標對象的圖像；三維形狀信息存儲單元，用于存儲模型的三維形狀信息及模型中參考點的三維位置信息，每一個參考點不同于具體特征點；對應(yīng)的參考點輸入單元，用于輸入在輸入圖像上參考特征點的對應(yīng)的參考點的位置信息；對應(yīng)的特征點獲取單元，用于獲取模型中具體特征點的對應(yīng)的特征點的位置信息；對應(yīng)關(guān)系獲取單元，使用對應(yīng)的參考點的位置信息及參考點的三維位置信息，獲取輸入圖像與三維形狀信息之間的對應(yīng)關(guān)系；搜索區(qū)域設(shè)置單元，通過基于對應(yīng)關(guān)系把包含模型表面上對應(yīng)的特征點的對應(yīng)區(qū)域投影到輸入圖像，對輸入圖像上的具體特征點設(shè)置搜索區(qū)域；圖像信息獲取單元，用于從輸入的圖像獲取搜索區(qū)域的圖像信息；以及特征點檢測單元，用于從圖像信息檢測輸入圖像中具體特征點的位置。
2.如權(quán)利要求1所述的設(shè)備，其中所述對應(yīng)區(qū)域是模型表面上彎曲的或直線的區(qū)域，且圖像信息是輸入圖像上一維排布的象素信息。
3.如權(quán)利要求2所述的設(shè)備，其中所述模型是人臉的模型，且對應(yīng)區(qū)域是通過模型表面上的具體特征點的區(qū)域。
4.如權(quán)利要求3所述的設(shè)備，其中所述對應(yīng)的特征點是嘴中心，其對應(yīng)于模型嘴唇的左端和右端之間的中點，且對應(yīng)區(qū)域是通過模型表面上的嘴中心的人臉的中心線。
5.如權(quán)利要求1所述的設(shè)備，其中所述對應(yīng)區(qū)域是模型表面上的平面區(qū)域，且圖像信息是輸入圖像上的二維象素信息。
6.如權(quán)利要求5所述的設(shè)備，其中所述模型是心臟及其冠狀動脈的模型，對應(yīng)區(qū)域是包含在中心的對應(yīng)特征點的三維區(qū)域，且圖像信息是輸入圖像上二維排布的象素信息。
7.一種從包含目標對象的圖像檢測具體特征點的方法，包括輸入目標對象的圖像；存儲模型的三維形狀信息及模型中參考點的三維位置信息，每一個參考點不同于具體特征點；輸入在輸入圖像上參考特征點的對應(yīng)的參考點的位置信息；獲取模型中具體特征點的對應(yīng)的特征點的位置信息；使用對應(yīng)的參考點的位置信息及參考點的三維位置信息，獲取輸入圖像與三維形狀信息之間的對應(yīng)關(guān)系；通過基于對應(yīng)關(guān)系把包含模型表面上對應(yīng)的特征點的對應(yīng)區(qū)域投影到輸入圖像，對輸入圖像上的具體特征點設(shè)置搜索區(qū)域；從輸入的圖像獲取搜索區(qū)域的圖像信息；以及從圖像信息檢測輸入圖像中具體特征點的位置。
8.如權(quán)利要求7所述的方法，其中所述對應(yīng)區(qū)域是模型表面上彎曲的或直線的區(qū)域，且圖像信息是輸入圖像上一維排布的象素信息。
9.如權(quán)利要求8所述的方法，其中模型是人臉的模型，且對應(yīng)區(qū)域是通過模型表面上的具體特征點的區(qū)域。
10.如權(quán)利要求9所述的方法，其中所述對應(yīng)的特征點是嘴中心，其對應(yīng)于模型嘴唇的左端和右端之間的中點，且對應(yīng)區(qū)域是通過模型表面上的嘴中心的人臉的中心線。
11.如權(quán)利要求7所述的方法，其中所述對應(yīng)區(qū)域是模型表面上的平面區(qū)域，且圖像信息是輸入圖像上的二維象素信息。
12.如權(quán)利要求11所述的方法，其中所述模型是心臟及其冠狀動脈的模型，對應(yīng)區(qū)域是包含在中心的對應(yīng)的特征點的三維區(qū)域，且圖像信息是輸入圖像上二維排布的象素信息。
13.一種計算機可讀記錄介質(zhì)，包含用來從存儲在其中的目標對象檢測具體特征點的程序，該程序包括用來引起計算機執(zhí)行以下步驟的指令輸入目標對象的圖像；存儲模型的三維形狀信息及模型中參考點的三維位置信息，每一個參考點不同于具體特征點；輸入在輸入圖像上參考特征點的對應(yīng)的參考點的位置信息；獲取模型中具體特征點的對應(yīng)的特征點的位置信息；使用對應(yīng)的參考點的位置信息及參考點的三維位置信息，獲取輸入圖像與三維形狀信息之間的對應(yīng)關(guān)系；通過基于對應(yīng)關(guān)系把包含模型表面上對應(yīng)的特征點的對應(yīng)區(qū)域投影到輸入圖像，對輸入圖像上的具體特征點設(shè)置搜索區(qū)域；從輸入的圖像獲取搜索區(qū)域的圖像信息；以及從圖像信息檢測輸入圖像中具體特征點的位置。
14.如權(quán)利要求13所述的計算機可讀記錄介質(zhì)，其中對應(yīng)區(qū)域是模型表面上彎曲的或直線的區(qū)域，且圖像信息是輸入圖像上一維排布的象素信息。
15.如權(quán)利要求14所述的計算機可讀記錄介質(zhì)，其中模型是人臉的模型，且對應(yīng)區(qū)域是通過模型表面上的具體特征點的區(qū)域。
16.如權(quán)利要求15所述的計算機可讀記錄介質(zhì)，其中對應(yīng)的特征點是嘴中心，其對應(yīng)于模型嘴唇的左端和右端之間的中點，且對應(yīng)區(qū)域是通過模型表面嘴中心的人臉的中心線。
17.如權(quán)利要求13所述的計算機可讀記錄介質(zhì)，其中對應(yīng)區(qū)域是模型表面上的平面區(qū)域，且圖像信息是輸入圖像上的二維象素信息。
18.如權(quán)利要求17所述的計算機可讀記錄介質(zhì)，其中模型是心臟及其冠狀動脈的模型，對應(yīng)區(qū)域是包含在中心的對應(yīng)的特征點的三維區(qū)域，且圖像信息是輸入圖像上二維排布的象素信息。
全文摘要
本發(fā)明涉及檢測特征點的設(shè)備及檢測特征點的方法，具體公開了用來檢測特具體征點的設(shè)備，包括圖像輸入單元，用于輸入目標對象的圖像；三維形狀信息存儲單元，用于存儲包含與目標對象相關(guān)的模型參考特征點的三維形狀信息；對應(yīng)關(guān)系獲取單元，用于獲取輸入圖像與三維形狀信息之間的對應(yīng)關(guān)系；搜索區(qū)域獲取單元，用于基于對應(yīng)關(guān)系獲取在輸入圖像上搜索區(qū)域的圖像信息，該區(qū)域?qū)?yīng)于包含與模型中具體特征點對應(yīng)的點的一個區(qū)域；以及特征點檢測單元，用于從圖像信息檢測輸入圖像中具體特征點的位置。
文檔編號G06K9/46GK101071473SQ20071008553
公開日2007年11月14日 申請日期2007年3月7日 優(yōu)先權(quán)日2006年3月7日
發(fā)明者武口智行, 小坂谷達夫, 西浦正英, 山口修, 湯淺真由美 申請人:株式會社東芝