物體識別裝置、物體識別方法、以及程序的制作方法
【專利說明】
【背景技術(shù)】
[0001]本發(fā)明涉及用于準(zhǔn)確地識別圖像中的物體的裝置、方法、以及程序。
[0002]為了實現(xiàn)關(guān)于攝影尺寸和角度的變化、以及關(guān)于遮蔽而穩(wěn)健識別圖像中的被攝物的功能，提出了檢測圖像中的大量特性點(特征點)并提取每個特征點周圍的局部區(qū)域的描述符(局部描述符)的系統(tǒng)。作為其中的代表性的系統(tǒng)，專利文獻(xiàn)I和非專利文獻(xiàn)I中公開了使用SIFT (尺度不變特征變換)描述符的局部描述符提取裝置。
[0003]傳統(tǒng)上，使用局部描述符提取裝置，首先從圖像中的的每個像素獨有地提取與亮度相關(guān)的信息，從提取的亮度信息中檢測大量的特性點(特征點)，以及輸出作為與每個特征點相關(guān)的信息的特征點信息。在此情況下，特征點信息指示例如檢測到的局部特征點的坐標(biāo)位置或尺度、特征點的定向等。隨后，從檢測到的每個特征點的坐標(biāo)值、尺度、定向等的特征點信息中取得將從其執(zhí)行描述符提取的局部區(qū)域，以生成(描述)局部描述符。
[0004]例如，如同非專利文獻(xiàn)I中所描述的，為了識別示出與拍攝的圖像中的被攝物相同的被攝物的圖像，比較從拍攝的圖像(換而言之，輸入圖像)提取的局部描述符I與從參照圖像生成的局部描述符2。具體而言，對構(gòu)成局部描述符I的特征點附近的區(qū)域的相應(yīng)的描述符與構(gòu)成局部描述符2的特征點附近的區(qū)域的相應(yīng)的描述符的所有組合執(zhí)行特征空間上的距離計算，并且將最近的描述符確定為對應(yīng)的描述符。確定對應(yīng)的描述符，使得其還對應(yīng)于作為描述符生成的源的特征點。隨后，關(guān)于被確定為對應(yīng)的特征點的特征點的組合，基于按照特定幾何變換移動輸入圖像中的特征點的坐標(biāo)位置所得到的坐標(biāo)點是否與位于參照圖像中的特征點的坐標(biāo)位置一致，確定對應(yīng)的特征點的是正確的還是錯誤的。當(dāng)確定為正確對應(yīng)的特征點的特征點的數(shù)目等于或大于規(guī)定值時，確定相同的被攝物被示出(換而言之，輸入圖像中的被攝物與參照圖像中的被攝物彼此一致)。
[0005]專利文獻(xiàn)1:美國專利說明書第6711293號
[0006]專利文獻(xiàn)2:專利公開JP2010-79545A
[0007]非專利文獻(xiàn)1:David G.Lowe，“Distinctive image features fromscale-1nvariant keypoints，，，美國，Internat1nal Journal of Computer Vis1n,60(2)，2004，第 91-110 頁
[0008]利用局部描述符的傳統(tǒng)的物體識別系統(tǒng)基于從輸入圖像的亮度信息提取的局部描述符與從參照圖像的亮度信息提取的局部描述符之間的對應(yīng)關(guān)系來識別物體。使用這樣的識別方法，當(dāng)輸入圖像中示出的物體與參照圖像中示出的物體彼此不同但在兩個物體之間的差異細(xì)微時，由于存在大量的對應(yīng)的特征點，所以存在將圖像錯誤地識別為示出相同物體的問題。

【發(fā)明內(nèi)容】

[0009]已經(jīng)考慮上述問題及其目標(biāo)而做出的本發(fā)明提供一種用于更準(zhǔn)確地識別示出與另一圖像中示出的物體相同的物體的圖像的技術(shù)。
[0010]根據(jù)本發(fā)明的物體識別裝置，包括:局部描述符匹配單元，用于確定從輸入圖像提取的特征點的相應(yīng)的描述符與從參照圖像提取的特征點的相應(yīng)的描述符是否正確地彼此對應(yīng)；輸入圖像差異區(qū)域描述符提取單元，用于當(dāng)基于由局部描述符匹配單元確定為正確地對應(yīng)的描述符的組合的數(shù)目的分?jǐn)?shù)等于或大于規(guī)定值時，提取與圖像區(qū)域的位置對應(yīng)的輸入圖像中的區(qū)域的描述符，圖像區(qū)域為通過對參照圖像的規(guī)定區(qū)域執(zhí)行用于校正輸入圖像與參照圖像之間的幾何偏移的幾何變換而被獲得；以及描述符匹配單元，用于匹配由輸入圖像差異區(qū)域描述符提取單元提取的描述符與從參照圖像的規(guī)定區(qū)域提取的描述符，并且用于輸出匹配結(jié)果。
[0011]根據(jù)本發(fā)明的物體識別方法，包括:局部描述符匹配步驟，確定從輸入圖像提取的特征點的相應(yīng)的描述符與從參照圖像提取的特征點的相應(yīng)的描述符是否正確地彼此對應(yīng)；輸入圖像差異區(qū)域描述符提取步驟，當(dāng)基于在確定步驟中確定為正確地對應(yīng)的描述符的組合的數(shù)目的分?jǐn)?shù)等于或大于規(guī)定值時，提取與圖像區(qū)域的位置對應(yīng)的輸入圖像中的區(qū)域的描述符，圖像區(qū)域為通過對參照圖像的規(guī)定區(qū)域執(zhí)行用于校正輸入圖像與參照圖像之間的幾何偏移的幾何變換而被獲得；以及描述符匹配步驟，匹配在提取步驟中提取的描述符與從參照圖像的規(guī)定區(qū)域提取的描述符，并且輸出匹配結(jié)果。
[0012]根據(jù)本發(fā)明的程序，使得計算機(jī)用作:局部描述符匹配單元，用于確定從輸入圖像提取的特征點的相應(yīng)的描述符與從參照圖像提取的特征點的相應(yīng)的描述符是否正確地彼此對應(yīng)；輸入圖像差異區(qū)域描述符提取單元，用于當(dāng)基于由局部描述符匹配單元確定為正確地對應(yīng)的描述符的組合的數(shù)目的分?jǐn)?shù)等于或大于規(guī)定值時，提取與圖像區(qū)域的位置對應(yīng)的輸入圖像中的區(qū)域的描述符，圖像區(qū)域為通過對參照圖像的規(guī)定區(qū)域執(zhí)行用于校正輸入圖像與參照圖像之間的幾何偏移的幾何變換而被獲得；以及描述符匹配單元，用于匹配由輸入圖像差異區(qū)域描述符提取單元提取的描述符與從參照圖像的規(guī)定區(qū)域提取的描述符，并且用于輸出匹配結(jié)果。
[0013]根據(jù)本發(fā)明，能夠提供一種用于更準(zhǔn)確地識別示出與另一圖像中示出的物體相同的物體的圖像的技術(shù)。
【附圖說明】
[0014]圖1為表示根據(jù)第一實施例的物體識別裝置的配置示例的框圖。
[0015]圖2為示出輸入圖像差異區(qū)域確定單元13的操作示例的流程圖。
[0016]圖3為表示局部描述符提取單元11的配置示例的框圖。
[0017]圖4為表示局部描述符匹配單元12的配置示例的框圖。
[0018]圖5為表示輸入圖像差異區(qū)域描述符提取單元14的配置示例的框圖。
[0019]圖6為表示描述符匹配單元15的配置示例的框圖。
[0020]圖7為表示根據(jù)第一實施例的變型的物體識別裝置的配置示例的框圖。
[0021]圖8為示出關(guān)于參照圖像的差異區(qū)域與關(guān)于輸入圖像的輸入圖像差異區(qū)域的關(guān)系的概念圖。
[0022]圖9為示出關(guān)于參照圖像的差異區(qū)域與關(guān)于輸入圖像的輸入圖像差異區(qū)域的關(guān)系的概念圖。
[0023]圖10為示出關(guān)于參照圖像的差異區(qū)域與關(guān)于輸入圖像的輸入圖像差異區(qū)域的關(guān)系的概念圖。
[0024]圖11為示出關(guān)于參照圖像的差異區(qū)域與關(guān)于輸入圖像的輸入圖像差異區(qū)域的關(guān)系的概念圖。
[0025]圖12為表示根據(jù)第二實施例的物體識別裝置的配置示例的框圖。
[0026]圖13為表示局部描述符匹配單元16的配置示例的框圖。
[0027]圖14為表示差異區(qū)域估計單元17的配置示例的框圖。
[0028]圖15為表示差異區(qū)域描述符提取單元18的配置示例的框圖。
[0029]圖16為表示根據(jù)第三實施例的物體識別裝置的配置示例的框圖。
[0030]圖17為表示差異區(qū)域估計單元19的配置示例的框圖。
[0031]圖18為表示根據(jù)第四實施例的物體識別裝置的配置示例的框圖。
[0032]圖19為表示差異區(qū)域估計單元20的配置示例的框圖。
[0033]圖20為表示根據(jù)第五實施例的物體識別裝置的配置示例的框圖。
[0034]圖21為表示差異區(qū)域估計單元21的配置示例的框圖。
[0035]圖22為表示差異區(qū)域估計單元21的配置示例的框圖。
[0036]圖23為表示差異區(qū)域估計單元21的配置示例的框圖。
[0037]圖24為表示差異區(qū)域估計單元21的配置示例的框圖。
[0038]圖25為表示根據(jù)第六實施例的物體識別裝置的配置示例的框圖。
[0039]圖26為表示差異區(qū)域估計單元22的配置示例的框圖。
[0040]圖27為表示差異區(qū)域估計單元22的配置示例的框圖。
[0041]圖28為表示根據(jù)第七實施例的物體識別裝置的配置示例的框圖。
[0042]圖29為表示差異區(qū)域估計單元23的配置示例的框圖。
[0043]圖30為表示差異區(qū)域估計單元23的配置示例的框圖。
[0044]圖31為表示差異區(qū)域估計單元23的配置示例的框圖。
[0045]圖32為表示根據(jù)第八實施例的物體識別裝置的配置示例的框圖。
[0046]圖33為表示差異區(qū)域估計單元24的配置示例的框圖。
[0047]圖34為表示差異區(qū)域估計單元24的配置示例的框圖。
[0048]圖35為表示差異區(qū)域估計單元24的配置示例的框圖。
[0049]圖36為表示根據(jù)第九實施例的物體識別裝置的配置示例的框圖。
[0050]圖37為表示差異區(qū)域估計單元25的配置示例的框圖。
[0051]圖38為表示差異區(qū)域估計單元25的配置示例的框圖。
[0052]圖39為表示根據(jù)第十實施例的物體識別裝置的配置示例的框圖。
[0053]圖40為表示輸入圖像差異區(qū)域描述符提取單元26的配置示例的框圖。
[0054]圖41為表示描述符匹配單元27的配置示例的框圖。
[0055]圖42為表示根據(jù)第十一實施例的物體識別裝置的配置示例的框圖。
[0056]圖43為表示局部描述符匹配單元28的配置示例的框圖。
[0057]圖44為表示描述符匹配單元29的配置示例的框圖。
[0058]圖45為表示識別分?jǐn)?shù)整合確定單元30的配置示例的框圖。
具體實施例
[0059]第一實施例
[0060]將參照附圖來描述本發(fā)明的第一實施例。
[0061]圖1為示出根據(jù)第一實施例的物體識別裝置的配置的框圖。物體識別裝置包括:局部描述符提取單元11、局部描述符匹配單元12、輸入圖像差異區(qū)域確定單元13、輸入圖像差異區(qū)域描述符提取單元14、以及描述符匹配單元15。例如，物體識別裝置能夠使用諸如為個人計算機(jī)或移動信息終端的信息處理裝置來配置。附加地，構(gòu)成物體識別裝置的相應(yīng)單元的功能通過使例如處理器將存儲在存儲區(qū)域中的程序擴(kuò)展到存儲器上并且執(zhí)行該程序來實現(xiàn)。此外，稍后描述的其他實施例的組件能夠以類似方式來實現(xiàn)。
[0062]局部描述符提取單元11從輸入圖像中檢測特征點，并提取檢測到的特征點和作為特征點附近的區(qū)域的局部區(qū)域的描述符作為局部描述符。由局部描述符提取單元11執(zhí)行的處理的細(xì)節(jié)將在稍后描述。
[0063]局部描述符匹配單元12，將由局部描述符提取單元11從輸入圖像提取的局部描述符I與從參照圖像提取的局部描述符2彼此匹配并且識別對應(yīng)的局部描述符。用于識別對應(yīng)的局部描述符的方法的細(xì)節(jié)將在稍后參照圖4描述。當(dāng)局部描述符對應(yīng)的局部區(qū)域經(jīng)幾何變換時，局部描述符匹配單元12根據(jù)位置來識別輸入圖像與參照圖像之間的對應(yīng)的局部區(qū)域。例如，在將輸入圖像中的局部區(qū)域繞圖像的中心以規(guī)定的角度旋轉(zhuǎn)移動之后的坐標(biāo)位置與參照圖像中的局部描述符對應(yīng)的局部區(qū)域的坐標(biāo)位置一致時，將輸入圖像和參照圖像中具有一致的坐標(biāo)位置的局部區(qū)域識別為對應(yīng)的局部區(qū)域。換而言之，上述幾何變換被執(zhí)行以使得校正參照圖像與輸入圖像之間的幾何偏移。附加地，當(dāng)對應(yīng)的局部區(qū)域被識別時，局部描述符匹配單元12輸出關(guān)于所使用的幾何變換的信息(幾何變換信息)，以及作為被確定為局部區(qū)域所對應(yīng)的參照圖像的圖像ID的局部特征已識別圖像ID。
[0064]從參照圖像提取的局部描述符2，可以提前從多個參照圖像提取，并存儲在諸如為圖1中所示的局部描述符DB的數(shù)據(jù)庫中，或者可以使用局部描述符提取單元11從參照圖像中即時提取。當(dāng)將局部描述符存儲在數(shù)據(jù)庫中時，從包括類似物體的(將類似的物體示為被攝物)參照圖像提取的局部描述符彼此關(guān)聯(lián)地注冊。局部描述符匹配單元12的細(xì)節(jié)將稍后描述。
[0065]輸入圖像差異區(qū)域確定單元13，對與從局部描述符匹配單元12輸出的局部特征已識別圖像ID對應(yīng)的參照圖像，或是對與局部特征已識別圖像ID相關(guān)聯(lián)的參照圖像組的差異區(qū)域，執(zhí)行由從局部描述符匹配單元12輸出的幾何變換信息所指示的幾何變換，并輸出輸入圖像差異區(qū)域信息。
[0066]在本實施例中，當(dāng)預(yù)測到輸入圖像中示出的物體與參照圖像中示出的物體之間可能發(fā)生細(xì)微差異時，參照圖像的差異區(qū)域指示出其中可能發(fā)生差異的參照圖像中的一部分的區(qū)域。例如，當(dāng)參照圖像的差異區(qū)域為矩形時，關(guān)于差異區(qū)域的信息可以為矩形的4個角的坐標(biāo)值信息?？蛇x地，關(guān)于參照圖像的差異區(qū)域的信息可以為表示構(gòu)成差異區(qū)域的參照圖像中的像素組的坐標(biāo)值的信息。
[0067]通過分別對參照圖像中的差異區(qū)域的4個角的坐標(biāo)值執(zhí)行幾何變換而獲得的輸入圖像中的坐標(biāo)值可以被采納作為輸入圖像差異區(qū)域信息?？蛇x地，當(dāng)關(guān)于參照圖像中的差異區(qū)域的信息為構(gòu)成差異區(qū)域的像素組的坐標(biāo)值信息時，能夠?qū)ο袼亟M中的每個像素執(zhí)行對應(yīng)于幾何變換信息的幾何變換，并且能夠?qū)?gòu)成輸入圖像中的差異區(qū)域的像素組的坐標(biāo)值信息采納作為輸入圖像差異區(qū)域信息。
[0068]參照圖像的差異區(qū)域信息提前被存儲在數(shù)據(jù)庫中。例如，當(dāng)將局部描述符2存儲在諸如為圖1中所示的局部描述符DB的數(shù)據(jù)庫中時，可以將參照圖像的差異區(qū)域信息與局部描述符2 —起存儲在局部描述符DB中。
[0069]輸入圖像差異區(qū)域描述符提取單元14從由輸入圖像差異區(qū)域確定單元13輸出的輸入圖像差異區(qū)域信息所指示的輸入圖像中的區(qū)域(輸入圖像中的差異區(qū)域)提取描述符。輸入圖像差異區(qū)域描述符提取單元14的細(xì)節(jié)將稍后描述。
[0070]描述符匹配單元15匹配由輸入圖像差異區(qū)域描述符提取單元14從輸入圖像中的差異區(qū)域提取的描述符I與從參照圖像中的差異區(qū)域提取的描述符2，并輸出匹配結(jié)果。在匹配中，描述符匹配單元15確定包括在輸入圖像中的物體與包括在參照圖像中的物體是否相同(輸入圖像與參照圖像是否將相同的物體示為被攝物)。當(dāng)物體被確定為相同時，描述符匹配單元15輸出被確定為相同的輸入圖像的圖像ID作為差異區(qū)域已識別圖像ID。
[0071]描述符2可以提前從多個參照圖像提取并存儲在如圖1中所示的數(shù)據(jù)庫中，或者可以從參照圖像中即時提取。當(dāng)在數(shù)據(jù)庫中存儲本地描述符2時，可以將類似的物體與局部描述符2相關(guān)聯(lián)和注冊。描述符匹配單元15的細(xì)節(jié)將稍后描述。
[0072]圖2為示出圖1中所示的輸入圖像差異區(qū)域確定單元13的處理流程的流程圖。如圖2中所示，首先，在S131中初始化用于控制處理的變量i。
[0073]在S132中，獲取從局部描述符匹配單元12輸出的幾何變換信息。在S133中，從局部描述符DB中獲取參照圖像的差異區(qū)域信息。當(dāng)參照圖像的差異區(qū)域為矩形時，此時獲取的差異區(qū)域信息可以為矩形的4個角的坐標(biāo)值信息，或者可以為表示構(gòu)成差異區(qū)域的參照圖像中的像素組的坐標(biāo)值的信息。
[0074]在S134中，對在S133中獲取的差異區(qū)域信息執(zhí)行由在S132中獲取的幾何變換信息指示的幾何變換。在此情況下，如果差異區(qū)域信息為4個角的坐標(biāo)值信息，則對4個坐標(biāo)值中的I個坐標(biāo)值執(zhí)行幾何變換。附加地，如果差異區(qū)域信息為構(gòu)成差異區(qū)域的參照圖像中的像素組的坐標(biāo)值信息，則對像素組當(dāng)中的I個像素執(zhí)行幾何變換。此時，當(dāng)變量i小于規(guī)定數(shù)N時，在S135中更新變量i的值，并繼續(xù)S133與S134的處理，直到變量i的值等于或超過N。當(dāng)在S133中獲取的差異區(qū)域信息為參照圖像的4個角的坐標(biāo)值信息時，設(shè)置N=4，并且當(dāng)差異區(qū)域信息為構(gòu)成差異區(qū)域的參照圖像中的像素組的坐標(biāo)值信息時，將構(gòu)成差異區(qū)域的參照圖像中的像素組的像素數(shù)設(shè)置為值N。最后，在S136中輸出在S134中計算的輸入圖像差異區(qū)域信息，并結(jié)束處理。
[0075]接下來，將參照圖3描述局部描述符提取單元11。圖3為表示局部描述符提取單元11的配置示例的框圖。局部描述符提取單元11包括:亮度信息提取單元101、局部特征點檢測單元102、以及局部描述符生成單元103。
[0076]亮度信息提取單元101接收輸入圖像，并從輸入圖像中的每個像素提取并獨有地輸出關(guān)于亮度的信息。在此情況下，接受的輸入圖像為由諸如為數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)、以及移動電話的攝影設(shè)備拍攝的圖像，由掃描機(jī)輸入的圖像，等等。附加地，圖像可以為諸如為JP