專利名稱：物體識(shí)別方法及裝置、物體識(shí)別用程序及其存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在處理對(duì)象圖像中識(shí)別具有與預(yù)先所登記的模型相對(duì)應(yīng)的輪廓形狀的識(shí)別對(duì)象物的位置及姿勢(shì)的圖像處理技術(shù)。特別是，本發(fā)明涉及一種利用包含在處理對(duì)象的圖像中的多個(gè)邊緣點(diǎn)以及其邊緣方向來(lái)執(zhí)行被稱為“廣義霍夫變換(Generalized Hough Transformation)”的處理，從而識(shí)別識(shí)別對(duì)象物體的位置以及旋轉(zhuǎn)角度的技術(shù)。
背景技術(shù)：
在現(xiàn)有的廣義霍夫變換中，預(yù)先利用包括上述模型的基準(zhǔn)圖像來(lái)確定識(shí)別對(duì)象物的基準(zhǔn)點(diǎn)的同時(shí)，對(duì)每個(gè)構(gòu)成模型的輪廓的多個(gè)邊緣點(diǎn)(以下，稱為“模型邊緣點(diǎn)”)登記表示相對(duì)邊緣方向、基準(zhǔn)點(diǎn)的方位以及距離的信息。在進(jìn)行計(jì)測(cè)時(shí)，針對(duì)處理對(duì)象圖像上的邊緣點(diǎn)，分別利用各模型邊緣點(diǎn)的登記信息來(lái)對(duì)于基準(zhǔn)點(diǎn)的坐標(biāo)以及旋轉(zhuǎn)角度計(jì)算出多個(gè)值，并將各值向假想的三維空間(投票空間)投票。然后，基于得票最多的坐標(biāo)，來(lái)識(shí)別處理對(duì)象圖像上的物體的基準(zhǔn)點(diǎn)的坐標(biāo)以及物體的旋轉(zhuǎn)角度。
利用圖12～圖16具體地說(shuō)明上述處理。
圖12是表示上述基準(zhǔn)圖像上的任意模型邊緣點(diǎn)的登記信息。圖中的30為基準(zhǔn)圖像，點(diǎn)O為上述模型的基準(zhǔn)點(diǎn)，點(diǎn)M(將坐標(biāo)設(shè)為(X0，Y0))為上述模型邊緣點(diǎn)?；鶞?zhǔn)點(diǎn)O多采用模型的中心點(diǎn)，但并不僅限定于此，而也可以將用戶所指定的任意的點(diǎn)設(shè)定為基準(zhǔn)點(diǎn)O。
角度α是表示模型邊緣點(diǎn)M的邊緣方向的角度，在該例子中，在模型邊緣點(diǎn)M的法線方向(濃度梯度方向)相對(duì)X軸(水平方向的軸)的正方向所成的角度設(shè)為α。另外，角度φ是表示模型邊緣點(diǎn)M相對(duì)基準(zhǔn)點(diǎn)O的方位的角度，在該例子中，從上述法線沿逆時(shí)針?lè)较蛴^察線段OM的角度設(shè)為φ。還有，R是從上述基準(zhǔn)點(diǎn)O到模型邊緣點(diǎn)M的距離。
在廣義霍夫變換中，對(duì)于基準(zhǔn)圖像上的各模型邊緣點(diǎn)，分別求出上述角度α、角度φ、距離R，并將這些編輯成如圖13所示的圖表中來(lái)進(jìn)行登記。
圖14是表示處理對(duì)象圖像的例子的圖。圖中的31為處理對(duì)象圖像，點(diǎn)E為該圖像中的一邊緣點(diǎn)。另外，角度β是表示在邊緣點(diǎn)E上的邊緣方向的角度，其通過(guò)與上述角度α同樣的方法來(lái)求出。
如果上述邊緣點(diǎn)E相當(dāng)于上述模型邊緣點(diǎn)M，則即使通過(guò)識(shí)別對(duì)象物的旋轉(zhuǎn)來(lái)使邊緣方向變化，表示相對(duì)上述基準(zhǔn)點(diǎn)O的關(guān)系的角度φ、距離R也應(yīng)該與模型邊緣點(diǎn)M相同。因此，能夠利用邊緣點(diǎn)E的坐標(biāo)(x，y)、角度β、以及所登記了的角度φ、距離R，來(lái)確定基準(zhǔn)點(diǎn)O的坐標(biāo)。另外，此時(shí)，表示邊緣方向的角度β和上述所登記的角度α之差Θ(Θ＝β-α)相當(dāng)于處理對(duì)象圖像上的物體的旋轉(zhuǎn)角度。
但是，處理對(duì)象圖像31上的邊緣點(diǎn)和模型邊緣點(diǎn)之間的對(duì)應(yīng)關(guān)系不明確。并且，存在處理對(duì)象圖像31中包含有噪聲成分的邊緣點(diǎn)的可能性。為此，在廣義霍夫變換中，針對(duì)處理對(duì)象圖像31上的各邊緣點(diǎn)E，分別與被登記在上述圖13的圖表中的N個(gè)模型邊緣點(diǎn)依次建立對(duì)應(yīng)關(guān)系，并將建立對(duì)應(yīng)關(guān)系的模型邊緣點(diǎn)的登記信息適用于邊緣點(diǎn)E，而求出基準(zhǔn)點(diǎn)O的坐標(biāo)(X，Y)以及旋轉(zhuǎn)角度Θ。然后，每當(dāng)算出(X，Y，Θ)組時(shí)，向以該組所表現(xiàn)的三維投票空間(在圖15中所示)中的一點(diǎn)投1票。其結(jié)果，在投票空間中，與正確的基準(zhǔn)點(diǎn)O以及旋轉(zhuǎn)角度Θ對(duì)應(yīng)的坐標(biāo)的得票變得最高，因此，通過(guò)抽取得到該最高得票的坐標(biāo)，而能夠求出基準(zhǔn)點(diǎn)O的坐標(biāo)以及物體的旋轉(zhuǎn)角度。
另一方面，在下述非專利文獻(xiàn)1中，取代設(shè)定三維投票空間的方法，而利用多個(gè)二維投票平面來(lái)進(jìn)行投票處理，從而識(shí)別上述基準(zhǔn)點(diǎn)O的坐標(biāo)以及物體的旋轉(zhuǎn)角度。
非專利文獻(xiàn)1齊藤文彥，“通過(guò)利用二維參數(shù)空間的廣義霍夫變換的旋轉(zhuǎn)圖像的抽取(2次元パラメ一タ空間を用いた一般化ハフ変換による回転図形の抽出)”，圖像電子學(xué)會(huì)志(畫(huà)像電子學(xué)會(huì)誌)，1996年4月，第25卷、第2號(hào)、p.130-137圖16表示上述非專利文獻(xiàn)1中所公開(kāi)的投票處理的概要。在該方法中，設(shè)定有用于對(duì)基準(zhǔn)點(diǎn)O的坐標(biāo)(X，Y)進(jìn)行投票的存儲(chǔ)器(基準(zhǔn)點(diǎn)投票用存儲(chǔ)器)、用于對(duì)上述旋轉(zhuǎn)角度Θ的余弦以及正弦值進(jìn)行投票的存儲(chǔ)器(cos值存儲(chǔ)器、sin值存儲(chǔ)器)等。而且，給與所算出的坐標(biāo)(Xi，Yi)對(duì)應(yīng)的基準(zhǔn)點(diǎn)投票用存儲(chǔ)器中的坐標(biāo)加1的同時(shí)，在cos值存儲(chǔ)器、sin值存儲(chǔ)器的同一坐標(biāo)中分別存儲(chǔ)cosΘ、sinΘ的值。進(jìn)而，通過(guò)將cosΘ、sinΘ的值與上次被存儲(chǔ)在同樣坐標(biāo)中的值進(jìn)行比較，而求出相差小的值向同一坐標(biāo)被連續(xù)投票的次數(shù)，而且，若該次數(shù)等于或大于規(guī)定值R，則可判斷所投票的值反映正確的(X，Y，Θ)。
在上述現(xiàn)有的廣義霍夫變換中，由于需要設(shè)定三維的投票空間，所以需要大容量的存儲(chǔ)器。另外，若存儲(chǔ)器容量變大，則用于讀取或?qū)懭霐?shù)據(jù)的時(shí)間變長(zhǎng)，從而存在處理費(fèi)時(shí)間的問(wèn)題。
對(duì)此，在非專利文獻(xiàn)1所示的方法中，通過(guò)利用二維平面的投票處理，而能夠大幅度地削減存儲(chǔ)器容量，從而能夠?qū)崿F(xiàn)處理的高速化。但是，若用于判別正確的投票的連續(xù)投票次數(shù)R沒(méi)有被設(shè)定得適當(dāng)，則進(jìn)行判別處理時(shí)可能會(huì)發(fā)生錯(cuò)誤。
例如，當(dāng)R的值設(shè)定成小于最佳值時(shí)，若在處理對(duì)象圖像中包含有多種噪聲，則對(duì)于噪聲也可能會(huì)產(chǎn)生超過(guò)R次的連續(xù)投票。與此相反，在R的值設(shè)定成大于最佳值時(shí)，即使在識(shí)別對(duì)象物的邊緣點(diǎn)，連續(xù)投票次數(shù)也可能達(dá)不到R次。

發(fā)明內(nèi)容
本發(fā)明是著眼于上述問(wèn)題而進(jìn)行的，其目的在于通過(guò)進(jìn)行能夠削減用于投票處理的存儲(chǔ)器容量的同時(shí)、不易受到噪聲的影響的投票處理，從而實(shí)現(xiàn)利用廣義霍夫變換的物體識(shí)別處理的高速化以及高精度化。
在本說(shuō)明書(shū)中，所謂“邊緣點(diǎn)”是意味著構(gòu)成圖像上的邊緣的點(diǎn)，是指針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊的像素的上述規(guī)定變量，來(lái)求出關(guān)注像素上的上述規(guī)定變量的變化的梯度時(shí)，其梯度超過(guò)規(guī)定值的像素。另外，構(gòu)成進(jìn)行過(guò)細(xì)化處理(thinningprocess)之后的輪廓線的點(diǎn)，也包括在邊緣點(diǎn)的概念中。
例如，將黑白的灰度圖像作為對(duì)象時(shí)，能夠?qū)舛戎档奶荻瘸^(guò)規(guī)定值的像素作為邊緣點(diǎn)來(lái)抽取。
另外，例如，將彩色圖像作為對(duì)象時(shí)，能夠?qū)?duì)于由相互獨(dú)立的三個(gè)顏色變量(例如R、G、B)所規(guī)定的各像素的信息中的至少一個(gè)變量的變化的梯度超過(guò)規(guī)定值的像素，作為邊緣點(diǎn)而進(jìn)行抽取。此外，變量是除了明度(Value)或色調(diào)(Hue)、R、G、B的各強(qiáng)度之外，也可以是其他的表現(xiàn)色彩的三個(gè)變量中的任意一個(gè)、或利用這些可得到的顏色信息。
在本發(fā)明的物體識(shí)別方法中，利用包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像，來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，分別獨(dú)立地關(guān)注構(gòu)成上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，并針對(duì)對(duì)圖像信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出上述關(guān)注像素的上述規(guī)定變量的變化方向，并對(duì)表示與該變化方向?qū)?yīng)的邊緣方向、上述基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息(例如，在上述圖12中所示的α、φ、R)進(jìn)行登記。
進(jìn)而，針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出關(guān)注像素的上述規(guī)定變量的變化的梯度時(shí)，將包含以該梯度超過(guò)規(guī)定值的關(guān)注像素為邊緣點(diǎn)時(shí)的該邊緣點(diǎn)的圖像作為處理對(duì)象，而對(duì)于該處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)求出該邊緣點(diǎn)的坐標(biāo)以及邊緣方向的同時(shí)，執(zhí)行算出上述多個(gè)模型邊緣點(diǎn)分別相當(dāng)于上述邊緣點(diǎn)時(shí)由上述登記信息所規(guī)定的基準(zhǔn)點(diǎn)的坐標(biāo)、以及表示邊緣點(diǎn)的邊緣方向和模型邊緣點(diǎn)的邊緣方向之差的角度的處理、與基于所算出的各值的投票處理，并利用上述投票處理的結(jié)果來(lái)識(shí)別對(duì)應(yīng)于上述模型的輪廓圖案的位置、以及以上述模型為基準(zhǔn)的輪廓圖案的旋轉(zhuǎn)角度。
此外，表示邊緣方向的信息并不僅限定于表示邊緣點(diǎn)的法線方向的角度α，而也可以是與此垂直的方向、即表示邊緣點(diǎn)的切線方向的角度。另外，“對(duì)應(yīng)于模型的輪廓圖案”并不僅限定于具有與模型同樣的輪廓的圖案，而也可以是其一部分的輪廓的圖案。
本發(fā)明的物體識(shí)別方法對(duì)用于投票處理以及物體識(shí)別的處理，具有如下的特征。
在投票處理中，對(duì)于上述處理對(duì)象圖像上的各邊緣點(diǎn)，分別向?qū)γ總€(gè)模型邊緣點(diǎn)所求出的上述基準(zhǔn)點(diǎn)的坐標(biāo)，投票與和該坐標(biāo)一同被算出的旋轉(zhuǎn)角度相對(duì)應(yīng)的矢量的同時(shí)，對(duì)每個(gè)有過(guò)投票的坐標(biāo)算出表示所投票的矢量的合成矢量的數(shù)值信息。進(jìn)而，在物體識(shí)別處理中，對(duì)應(yīng)于投票處理以及表示合成矢量的數(shù)值信息的算出處理的結(jié)束，利用上述數(shù)值信息而從上述有過(guò)投票的坐標(biāo)中抽取上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)、或者與從長(zhǎng)度最大的合成矢量開(kāi)始依次觀察各合成矢量時(shí)的規(guī)定數(shù)目的矢量對(duì)應(yīng)的坐標(biāo)，并利用該抽取結(jié)果來(lái)識(shí)別上述物體的位置以及對(duì)象物的旋轉(zhuǎn)角度。
與上述旋轉(zhuǎn)角度對(duì)應(yīng)的矢量可通過(guò)例如將該矢量分解為兩個(gè)方向時(shí)的各矢量分量來(lái)被表示?；蛘?，代替矢量分量，而也可以通過(guò)旋轉(zhuǎn)角度的正弦值(sinΘ)以及余弦值(cosΘ)來(lái)表示。
在上述投票處理中，例如，設(shè)定將基準(zhǔn)點(diǎn)的坐標(biāo)作為自變量而存儲(chǔ)上述數(shù)值信息的累計(jì)值的數(shù)組(例如sinΘ(X，Y)、cosΘ(X，Y))，而每算出坐標(biāo)(X，Y)以及旋轉(zhuǎn)角度Θ時(shí)，向與上述數(shù)組中的(X，Y)對(duì)應(yīng)的數(shù)值信息相加基于所算出的旋轉(zhuǎn)角度Θ的值。
若根據(jù)上述投票處理，則在成為投票對(duì)象的坐標(biāo)中的正確的基準(zhǔn)點(diǎn)的坐標(biāo)，所投票的矢量方向的離散變得極小，與此相對(duì)，在其他的坐標(biāo)(與錯(cuò)誤的模型邊緣點(diǎn)建立對(duì)應(yīng)關(guān)系時(shí)所算出的坐標(biāo)、或者由噪聲的邊緣點(diǎn)所算出的坐標(biāo))，所投票的矢量方向的離散變大的可能性很大。因此，若合成與所投票的旋轉(zhuǎn)角度對(duì)應(yīng)的矢量，則在正確的基準(zhǔn)點(diǎn)的坐標(biāo)的合成矢量變得比其他坐標(biāo)的合成矢量更長(zhǎng)。由此，例如，預(yù)先求出合成規(guī)定數(shù)量的指向同一方向的矢量時(shí)的合成矢量的長(zhǎng)度，將其作為閾值而進(jìn)行設(shè)定，并抽取上述合成矢量的長(zhǎng)度超過(guò)該閾值的坐標(biāo)，從而能夠不受噪聲的影響而求出基準(zhǔn)點(diǎn)的正確的坐標(biāo)。還有，由向該坐標(biāo)所投票的矢量總和的方向，能夠高精度地求出識(shí)別對(duì)象物的旋轉(zhuǎn)角度。此外，優(yōu)選地，將所抽取的坐標(biāo)作為合成矢量的長(zhǎng)度超過(guò)上述閾值、且成為作為最大值的坐標(biāo)。
進(jìn)而，上述投票處理并不是利用如現(xiàn)有的廣義霍夫變換這樣的三維投票空間，而能夠利用二維投票空間來(lái)進(jìn)行。另外，如上述非專利文獻(xiàn)1，也不需要設(shè)置多個(gè)投票平面，因此，能夠大幅度地削減存儲(chǔ)器容量，從而能夠?qū)崿F(xiàn)運(yùn)算的高速化。
此外，優(yōu)選地，每次進(jìn)行矢量的投票時(shí)進(jìn)行投票處理中的矢量合成，但是，并不僅限定于此，例如，對(duì)每個(gè)坐標(biāo)累計(jì)向該坐標(biāo)所投票的矢量，而最終進(jìn)行對(duì)矢量的合成處理也可。
還有，在能夠?qū)⒆R(shí)別對(duì)象物限定為一個(gè)時(shí)，從有過(guò)上述投票的坐標(biāo)中抽取上述合成矢量的長(zhǎng)度為最大的坐標(biāo)，并基于該坐標(biāo)而識(shí)別輪廓圖案的位置以及旋轉(zhuǎn)角度也可。
另外，也可以將輪廓圖案的位置作為上述基準(zhǔn)點(diǎn)的坐標(biāo)其本身，但是，并不僅限定于此，例如，也可以將從基準(zhǔn)點(diǎn)離開(kāi)規(guī)定距離的點(diǎn)的坐標(biāo)作為輪廓圖案的位置?；蛘撸部梢曰谏鲜瞿Ｐ瓦吘夵c(diǎn)的登記坐標(biāo)，來(lái)求出相對(duì)基準(zhǔn)點(diǎn)而位于特定的位置關(guān)系的邊緣點(diǎn)的坐標(biāo)，而將該坐標(biāo)作為輪廓圖案的位置。
另一方面，對(duì)于輪廓圖案的角度，例如能夠由上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)的該合成矢量求出。例如，能夠求出合成矢量相對(duì)水平方向(X軸方向)所成的角度。
在上述物體識(shí)別方法的優(yōu)選方式的投票處理中，對(duì)每個(gè)所投票的坐標(biāo)求出上述旋轉(zhuǎn)角度的正弦以及余弦的累計(jì)值，并算出這些兩種累計(jì)值的平方和而作為上述合成矢量的長(zhǎng)度。另外，在其他優(yōu)選的方式的上述投票處理中，對(duì)每個(gè)所投票的坐標(biāo)求出表示將與上述旋轉(zhuǎn)角度對(duì)應(yīng)的矢量分解為水平以及垂直兩個(gè)方向時(shí)的各矢量的指向以及長(zhǎng)度的數(shù)值信息，并算出這些兩種累計(jì)值的平方和而作為上述合成矢量的長(zhǎng)度。
若根據(jù)上述兩個(gè)方式，則例如每當(dāng)算出基準(zhǔn)點(diǎn)的坐標(biāo)以及旋轉(zhuǎn)角度，都更新兩種數(shù)值信息，而通過(guò)最終的各數(shù)值信息的平方和而能夠求出正確的基準(zhǔn)點(diǎn)的坐標(biāo)以及旋轉(zhuǎn)角度。
進(jìn)而，在本發(fā)明的物體識(shí)別方法中，能夠設(shè)定以下A～E的方式。
<方式A>
在該方式中，基于利用表示上述合成矢量的數(shù)值信息所抽取的坐標(biāo)而求出上述物體的臨時(shí)位置以及臨時(shí)旋轉(zhuǎn)角度之后，執(zhí)行步驟a和步驟b，該步驟a是對(duì)于各模型邊緣點(diǎn)，基于上述臨時(shí)位置以及臨時(shí)旋轉(zhuǎn)角度而求出處理對(duì)象圖像上的對(duì)應(yīng)點(diǎn)，而該步驟b是對(duì)于包含上述對(duì)應(yīng)點(diǎn)的局部區(qū)域內(nèi)所包含的邊緣點(diǎn)，利用上述模型邊緣點(diǎn)的登記信息而算出基準(zhǔn)點(diǎn)的坐標(biāo)以及相對(duì)模型的旋轉(zhuǎn)角度。然后，針對(duì)各模型邊緣點(diǎn)，對(duì)通過(guò)上述步驟a、b所求出的基準(zhǔn)點(diǎn)的坐標(biāo)進(jìn)行平均化的同時(shí)，對(duì)表示上述旋轉(zhuǎn)角度的矢量進(jìn)行合成，并基于被平均化的基準(zhǔn)點(diǎn)的坐標(biāo)以及上述合成矢量所示的角度，來(lái)識(shí)別上述物體的位置以及旋轉(zhuǎn)角度。
在上述方式中，在步驟a中所求出的對(duì)應(yīng)點(diǎn)的坐標(biāo)相當(dāng)于基于臨時(shí)位置以及臨時(shí)旋轉(zhuǎn)角度移動(dòng)上述基準(zhǔn)圖像上的模型邊緣點(diǎn)時(shí)的坐標(biāo)，但是，在該坐標(biāo)不存在邊緣點(diǎn)也可。
在步驟b中，例如設(shè)定以上述對(duì)應(yīng)點(diǎn)為中心的局部區(qū)域(遮罩(Mask))，而對(duì)包含在該區(qū)域的各邊緣點(diǎn)與用于上述對(duì)應(yīng)點(diǎn)的計(jì)算中的模型邊緣點(diǎn)建立對(duì)應(yīng)，而算出基準(zhǔn)點(diǎn)的坐標(biāo)以及表示上述邊緣方向之差的角度。這些局部區(qū)域內(nèi)的邊緣點(diǎn)與上述模型邊緣點(diǎn)相對(duì)應(yīng)、或其為離模型邊緣點(diǎn)極近的點(diǎn)的可能性很高，因此，所算出的坐標(biāo)或角度的離散也會(huì)極小。因此，通過(guò)對(duì)這些基準(zhǔn)點(diǎn)的坐標(biāo)實(shí)現(xiàn)平均化，而能夠高精度地求出真正基準(zhǔn)點(diǎn)的坐標(biāo)。另外，通過(guò)由與各基準(zhǔn)點(diǎn)的坐標(biāo)一起所求出的角度得到的合成矢量，而能夠高精度地求出旋轉(zhuǎn)角度。
但是，當(dāng)噪聲被包含在包含上述對(duì)應(yīng)點(diǎn)的處理對(duì)象區(qū)域內(nèi)時(shí)，存在由于由該噪聲所算出的值而在上述坐標(biāo)或角度的平均值上產(chǎn)生偏差的可能性。因此，在所算出的坐標(biāo)以及角度和由上述合成矢量所識(shí)別的坐標(biāo)以及旋轉(zhuǎn)角度之間存在大于規(guī)定值的差時(shí)，優(yōu)選從平均值的算出對(duì)象中排除該算出的值。
此外，取代算出平均值，而也可以將對(duì)應(yīng)于在上述局部區(qū)域中所求出的坐標(biāo)以及角度的矢量投票到與先前的投票處理時(shí)相比標(biāo)度更細(xì)的投票平面。
<方式B>
在該方式中，基于利用表示上述合成矢量的數(shù)值信息所抽取的坐標(biāo)而識(shí)別上述輪廓圖案的位置以及旋轉(zhuǎn)角度之后，利用使用了具有與上述模型對(duì)應(yīng)的輪廓形狀的一個(gè)或者多個(gè)灰度圖像的模型，來(lái)執(zhí)行反映了上述輪廓圖案的位置以及旋轉(zhuǎn)角度的歸一化相關(guān)運(yùn)算。
該方式例如能夠適用于識(shí)別具有圖樣或顏色的對(duì)象物的情況。通常，利用歸一化相關(guān)運(yùn)算來(lái)求出物體的位置以及旋轉(zhuǎn)角度時(shí)，從基準(zhǔn)圖像作成多個(gè)灰度圖像模型(將基準(zhǔn)圖像的模型每次旋轉(zhuǎn)規(guī)定角度的圖形)，并對(duì)每個(gè)模型必須執(zhí)行以整個(gè)處理對(duì)象圖像為對(duì)象的檢索。
與此相對(duì)，若根據(jù)上述方式B，則先通過(guò)廣義霍夫變換來(lái)求出對(duì)象物的大致位置以及旋轉(zhuǎn)角度，因此，例如，只要在被識(shí)別的物體的位置設(shè)定灰度圖像模型，并以上述旋轉(zhuǎn)角度為基準(zhǔn)而旋轉(zhuǎn)修正該模型，然后執(zhí)行歸一化相關(guān)運(yùn)算，就可得到改善，從而能夠大幅度地削減歸一化相關(guān)運(yùn)算所需的處理時(shí)間。而且，在其所限定的處理時(shí)間中，能夠執(zhí)行高精度的檢索處理。
<方式C>
在該方式，在對(duì)每個(gè)處理對(duì)象圖像上的邊緣點(diǎn)求出上述基準(zhǔn)點(diǎn)的坐標(biāo)的值的處理中，對(duì)于基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的上述所登記的方位和在其相反的方位，分別算出各一個(gè)上述基準(zhǔn)點(diǎn)的坐標(biāo)的候補(bǔ)。
例如，在是為上述圖14的處理對(duì)象圖像31的情況下，對(duì)于邊緣點(diǎn)E，在從上述角度β所表示的邊緣方向成角度φ的方向、以及將該方向旋轉(zhuǎn)180°的方向上，分別算出從邊緣點(diǎn)E離開(kāi)距離R的點(diǎn)的坐標(biāo)。
若根據(jù)該方式C，則對(duì)于基準(zhǔn)圖像，即使在處理對(duì)象圖像黑白反轉(zhuǎn)時(shí)或?qū)⒉噬珗D像作為處理對(duì)象時(shí)等無(wú)法唯一地確定邊緣點(diǎn)上的邊緣方向的情況下，也能夠通過(guò)投票處理來(lái)識(shí)別對(duì)象物的位置以及角度。
<方式D>
在該方式，以對(duì)上述各模型邊緣點(diǎn)的登記處理的結(jié)束為條件，對(duì)于上述基準(zhǔn)圖像上的各邊緣點(diǎn)，分別利用上述各模型邊緣點(diǎn)的上述登記信息來(lái)求出基準(zhǔn)點(diǎn)的坐標(biāo)以及邊緣方向的旋轉(zhuǎn)角度的候補(bǔ)值之后，進(jìn)行對(duì)上述投票處理以及表示上述合成矢量的數(shù)值信息的運(yùn)算處理。然后，所有邊緣點(diǎn)的投票結(jié)束時(shí)的上述數(shù)值信息所表示的合成矢量的長(zhǎng)度小于規(guī)定的閾值時(shí)，再次執(zhí)行對(duì)上述基準(zhǔn)點(diǎn)的設(shè)定以及對(duì)各模型邊緣點(diǎn)的登記處理。
例如，在識(shí)別對(duì)象的物體的輪廓形狀相當(dāng)于點(diǎn)對(duì)稱圖形時(shí)，若將物體的中心點(diǎn)設(shè)定為基準(zhǔn)點(diǎn)，則對(duì)于一個(gè)模型邊緣點(diǎn)，而算出在處于點(diǎn)對(duì)稱關(guān)系的兩個(gè)邊緣點(diǎn)的基準(zhǔn)點(diǎn)的正確坐標(biāo)的同時(shí)，向該坐標(biāo)投票指向與其相反方向的矢量。其結(jié)果，對(duì)應(yīng)于正確的基準(zhǔn)點(diǎn)的合成矢量變短，而產(chǎn)生無(wú)法正確識(shí)別對(duì)象物的位置和旋轉(zhuǎn)角度的可能性。
上述方式D為了解決這樣的問(wèn)題，而在對(duì)各模型邊緣點(diǎn)的登記處理結(jié)束的時(shí)刻，將基準(zhǔn)圖像作為對(duì)象，而執(zhí)行與利用所登記的信息來(lái)對(duì)處理對(duì)象圖像所進(jìn)行的處理同樣的計(jì)算處理以及投票處理。其結(jié)果，在所得到的矢量的長(zhǎng)度小于規(guī)定閾值時(shí)，重新設(shè)定基準(zhǔn)點(diǎn)，并再次執(zhí)行對(duì)各模型邊緣點(diǎn)的登記處理。
若根據(jù)這樣的處理，則由于能夠設(shè)定適于求出對(duì)象物的位置以及旋轉(zhuǎn)角度的基準(zhǔn)點(diǎn)，所以，不管識(shí)別對(duì)象物的形狀，而都能夠執(zhí)行高精度的識(shí)別處理。
<方式E>
在該方式中，將多個(gè)坐標(biāo)不同的點(diǎn)設(shè)定為上述基準(zhǔn)點(diǎn)，并針對(duì)處理對(duì)象圖像的每個(gè)基準(zhǔn)點(diǎn)執(zhí)行求出上述基準(zhǔn)點(diǎn)的坐標(biāo)的處理以及投票處理。
例如，若僅有模型的中心點(diǎn)或重心被設(shè)定為基準(zhǔn)點(diǎn)，則即使在處理對(duì)象圖像中存在多個(gè)與模型對(duì)應(yīng)的輪廓被重合的形狀的物體時(shí)，每個(gè)與模型對(duì)應(yīng)的形狀的基準(zhǔn)點(diǎn)重疊而作為一個(gè)點(diǎn)來(lái)被抽取，從而存在無(wú)法正確識(shí)別作為整個(gè)物體的輪廓形狀的可能性。
與此相對(duì)，若根據(jù)上述方式E，則即使中心點(diǎn)或重心包含于基準(zhǔn)點(diǎn)中，但其他的基準(zhǔn)點(diǎn)也會(huì)根據(jù)每個(gè)與模型對(duì)應(yīng)的輪廓而被抽取，所以，基于這些抽取結(jié)果，也能夠區(qū)分并判別各輪廓的朝向或位置關(guān)系。因此，能夠正確識(shí)別整個(gè)物體的輪廓形狀。
下面，本發(fā)明的物體識(shí)別用程序，其用于對(duì)計(jì)算機(jī)設(shè)定如下的功能，其中，該計(jì)算機(jī)具有的功能是利用包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像，來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，分別獨(dú)立地關(guān)注構(gòu)成上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，而針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出上述關(guān)注像素的上述規(guī)定變量的變化方向，并對(duì)表示作為與該變化方向?qū)?yīng)的方向的邊緣方向、上述基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息進(jìn)行登記的功能；以及，針對(duì)對(duì)上述像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出關(guān)注像素的上述規(guī)定變量的變化的梯度時(shí)，將包含以梯度超過(guò)規(guī)定值的關(guān)注像素為邊緣點(diǎn)而抽取出時(shí)的該邊緣點(diǎn)的圖像作為處理對(duì)象，而對(duì)于該處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)求出該邊緣點(diǎn)的坐標(biāo)以及邊緣方向的功能，該程序?qū)τ?jì)算機(jī)設(shè)定的功能是從上述處理對(duì)象圖像來(lái)識(shí)別與上述模型對(duì)應(yīng)的輪廓圖案的位置、以及以上述模型為基準(zhǔn)的輪廓圖案的旋轉(zhuǎn)角度，其作為候補(bǔ)值算出單元、存儲(chǔ)單元、信息更新單元、抽取單元、識(shí)別單元的各單元而使上述計(jì)算機(jī)進(jìn)行識(shí)別。
上述候補(bǔ)值算出單元對(duì)于上述處理對(duì)象圖像上的各個(gè)邊緣點(diǎn)，分別利用上述各模型邊緣點(diǎn)的登記信息，來(lái)算出所登記的各模型邊緣點(diǎn)分別相當(dāng)于上述邊緣點(diǎn)時(shí)所規(guī)定的基準(zhǔn)點(diǎn)的坐標(biāo)、以及表示邊緣點(diǎn)的邊緣方向和模型邊緣點(diǎn)的邊緣方向之差的角度。
存儲(chǔ)單元用于存儲(chǔ)表示對(duì)每個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)合成與上述候補(bǔ)值算出單元所算出的角度對(duì)應(yīng)的矢量時(shí)的該合成矢量的數(shù)值信息。例如，在通過(guò)上述旋轉(zhuǎn)角度的正弦以及余弦的值來(lái)表示與旋轉(zhuǎn)角度對(duì)應(yīng)的矢量時(shí)，將這些數(shù)值信息的累計(jì)值與基準(zhǔn)點(diǎn)的坐標(biāo)(X，Y)建立對(duì)應(yīng)而進(jìn)行存儲(chǔ)的二維數(shù)組發(fā)揮存儲(chǔ)單元的功能。
信息更新單元，其每當(dāng)通過(guò)上述候補(bǔ)值算出單元算出基準(zhǔn)點(diǎn)的坐標(biāo)以及旋轉(zhuǎn)角度時(shí)，用所算出的角度來(lái)更新與所算出的基準(zhǔn)點(diǎn)的坐標(biāo)對(duì)應(yīng)的上述存儲(chǔ)單元內(nèi)的數(shù)值信息。抽取單元，其對(duì)應(yīng)于上述候補(bǔ)值算出單元以及信息更新單元的處理的結(jié)束，利用存儲(chǔ)在上述存儲(chǔ)單元的數(shù)值信息而抽取上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)、或者與從長(zhǎng)度最大的合成矢量開(kāi)始依次觀察各合成矢量時(shí)的規(guī)定數(shù)目的矢量對(duì)應(yīng)的坐標(biāo)。
識(shí)別單元，其利用上述抽取單元的抽取結(jié)果，而識(shí)別上述輪廓圖案的位置以及旋轉(zhuǎn)角度。
若根據(jù)上述程序，則能夠預(yù)先利用基準(zhǔn)圖像，以登記有涉及上述基準(zhǔn)點(diǎn)的設(shè)定、以及多個(gè)模型邊緣點(diǎn)的信息為條件，而執(zhí)行上述物體識(shí)別方法。
此外，存儲(chǔ)有該程序的存儲(chǔ)介質(zhì)，除了包括上述功能之外，還可以包括用于設(shè)定抽取處理對(duì)象圖像上的邊緣點(diǎn)的功能、用于執(zhí)行識(shí)別了上述輪廓圖案的位置以及角度之后的處理(計(jì)測(cè)、判別等)的功能的程序。
本發(fā)明的物體識(shí)別裝置具備用于輸入包括上述邊緣點(diǎn)的圖像的圖像輸入單元；登記單元，其由上述圖像輸入單元被輸入包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像時(shí)，利用該基準(zhǔn)圖像來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，對(duì)于構(gòu)成該基準(zhǔn)圖像中的上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，登記表示邊緣方向、對(duì)基準(zhǔn)點(diǎn)的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息；以及上述候補(bǔ)值算出單元；存儲(chǔ)單元；信息更新單元、抽取單元、識(shí)別單元等各裝置。
在上述結(jié)構(gòu)中，除了圖像處理單元的各單元，也可以通過(guò)設(shè)定有涉及各自的單元的程序的計(jì)算機(jī)來(lái)構(gòu)成，但是，并不僅限定于此，也可以通過(guò)IC等集成電路來(lái)構(gòu)成。另外，將一部分單元通過(guò)計(jì)算機(jī)來(lái)構(gòu)成，而其他的單元由IC等來(lái)構(gòu)成也可。
若根據(jù)本發(fā)明，則能夠執(zhí)行反映了基準(zhǔn)點(diǎn)與旋轉(zhuǎn)角度的正確值的得票得以強(qiáng)化的同時(shí)、由模型邊緣點(diǎn)的對(duì)應(yīng)關(guān)系的錯(cuò)誤以及噪聲所產(chǎn)生的得票變小的投票處理，因此，不受噪聲的影響而能夠高精度地求出對(duì)象物的位置和旋轉(zhuǎn)角度。另外，由于能夠大幅度地削減用于投票處理的存儲(chǔ)器容量，所以，也能夠?qū)崿F(xiàn)識(shí)別處理的高速化。


圖1是表示適用本發(fā)明的圖像處理裝置的設(shè)置例的說(shuō)明圖。
圖2是圖像處理裝置的框圖。
圖3是表示投票處理的概要的說(shuō)明圖。
圖4是表示檢查步驟的流程圖。
圖5是表示模型登記處理的步驟的流程圖。
圖6是表示初始檢索的步驟的流程圖。
圖7是表示詳細(xì)檢索的步驟的流程圖。
圖8是表示向模型邊緣點(diǎn)的對(duì)應(yīng)點(diǎn)、以及遮罩的設(shè)定例的說(shuō)明圖。
圖9是用于說(shuō)明設(shè)定多個(gè)基準(zhǔn)點(diǎn)的意義的圖。
圖10是表示必須算出兩個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)的事例的說(shuō)明圖。
圖11是表示算出兩個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)時(shí)的計(jì)算方法的說(shuō)明圖。
圖12是表示用于廣義霍夫變換的基準(zhǔn)圖像以及登記信息的說(shuō)明圖。
圖13是表示模型圖表的構(gòu)成例的說(shuō)明圖。
圖14是與模型邊緣點(diǎn)的關(guān)系一起表示將處理對(duì)象圖像的一例的說(shuō)明圖。
圖15是表示現(xiàn)有的廣義霍夫變換中的投票處理的說(shuō)明圖。
圖16是表示非專利文獻(xiàn)1所公開(kāi)的投票處理的說(shuō)明圖。
具體實(shí)施例方式
(1)圖像處理裝置的結(jié)構(gòu)圖1表示適用本發(fā)明的圖像處理裝置的設(shè)置例。
該實(shí)施例的圖像處理裝置由照相機(jī)1、控制器2、監(jiān)視器3、控制板4等構(gòu)成，而且，在工廠的檢查流水線L中，依次拍攝被搬送過(guò)來(lái)的工件W而生成圖像，并通過(guò)處理該圖像，來(lái)判別上述工件W上的識(shí)別對(duì)象物7(在該實(shí)施例中為印刷有字符串“ABC”的標(biāo)簽)的適當(dāng)與否。
圖2表示上述圖像處理裝置的電氣結(jié)構(gòu)。
上述控制器2以CPU21為控制主體，并具備閃存器22、RAM23、圖像控制器24、照相機(jī)用接口25、輸入用接口26、外部用接口27等。
在閃存器22中存儲(chǔ)有對(duì)程序以及處理所必要的參數(shù)等，在RAM23中暫時(shí)保存有圖像數(shù)據(jù)以及中途的運(yùn)算結(jié)果等。
在照相機(jī)用接口25包括上述照相機(jī)1的驅(qū)動(dòng)電路、用于接收?qǐng)D像信號(hào)的緩沖存儲(chǔ)器、A/D變換電路(都未圖示)等。輸入用接口26用于接收來(lái)自上述控制板4的信號(hào)。外部用接口27是在與未圖示的外部設(shè)備(個(gè)人電腦、PLC等)進(jìn)行通信時(shí)被使用。圖像控制器24執(zhí)行對(duì)上述監(jiān)視器的顯示控制。
在上述CPU21上連接有工件檢側(cè)用傳感器5(光電開(kāi)關(guān)、接近開(kāi)關(guān)(proximity switch)等)。CPU21若從該傳感器5輸入表示檢測(cè)到工件W的情況的信號(hào)，則利用照相機(jī)用接口25來(lái)驅(qū)動(dòng)照相機(jī)1，而拍攝上述工件W。然后，當(dāng)上述工件W的灰度圖像(以下，稱為“處理對(duì)象圖像”)被生成而保存在RAM23時(shí)，CPU21基于被存儲(chǔ)在上述閃存器22中的程序，而求出上述識(shí)別對(duì)象物7的位置以及旋轉(zhuǎn)角度。進(jìn)而，基于該處理結(jié)果來(lái)對(duì)上述識(shí)別對(duì)象物7內(nèi)的圖像與預(yù)先所登記的基準(zhǔn)部分圖像(從拍攝上述字符串的模型而獲得的圖像所剪切的部分)進(jìn)行對(duì)照，從而判別上述識(shí)別對(duì)象物7是否有位置偏移、臟、翹邊等不良、字符串的印刷狀態(tài)是否適當(dāng)、識(shí)別對(duì)象物7是否為不同種類的標(biāo)簽等。
此外，上述圖1、2所示的控制器2是被開(kāi)發(fā)為圖像處理專用的裝置，但并不僅限定于此，例如，也可以使用安裝了圖像處理用程序的個(gè)人電腦。這時(shí)的程序是經(jīng)由CD-ROM等存儲(chǔ)介質(zhì)或者通信線路而被提供到個(gè)人電腦。另外，也可以使用監(jiān)視器以及輸入部實(shí)現(xiàn)一體化的面板式控制器來(lái)代替?zhèn)€人電腦。
另外，該實(shí)施例的圖像處理裝置是處理黑白灰度圖像的裝置，但是，也可以取而代之而生成彩色灰度圖像來(lái)進(jìn)行處理。
(2)識(shí)別對(duì)象物的抽取方法在該實(shí)施例的圖像處理裝置中，對(duì)每個(gè)上述工件W生成處理對(duì)象圖像，并對(duì)各處理對(duì)象圖像進(jìn)行利用廣義霍夫變換的方法的物體識(shí)別處理，從而抽取識(shí)別對(duì)象物7。
進(jìn)行廣義霍夫變換時(shí)，與以往同樣，需要將拍攝工件W的模型而得到的圖像作為基準(zhǔn)圖像，而進(jìn)行利用該基準(zhǔn)圖像的登記處理。例如，在基準(zhǔn)圖像上的標(biāo)簽中指定包括上述“ABC”字符串的區(qū)域，并將該區(qū)域的任意一點(diǎn)設(shè)定為基準(zhǔn)點(diǎn)。另外，將包含在上述指定區(qū)域中的多個(gè)邊緣點(diǎn)(構(gòu)成標(biāo)簽以及A、B、C各文字的輪廓線的點(diǎn))作為模型邊緣點(diǎn)而進(jìn)行抽取，并對(duì)于這些分別算出表示邊緣方向的角度α、表示相對(duì)基準(zhǔn)點(diǎn)的方位的角度φ、與基準(zhǔn)點(diǎn)的距離R，而登記到RAM23。另外，該實(shí)施例中的α、φ、R都以與上述圖12所示的現(xiàn)有例同樣的方式被定義，并登記到與上述圖13所示的圖標(biāo)同樣結(jié)構(gòu)的圖表中(以下，將該圖表稱為“模型圖表”)。
在進(jìn)行檢查時(shí)，從處理對(duì)象圖像抽取了邊緣點(diǎn)之后，對(duì)于各邊緣點(diǎn)，利用上述模型邊緣點(diǎn)的登記信息來(lái)算出基準(zhǔn)點(diǎn)O的坐標(biāo)(X，Y)以及對(duì)象物的旋轉(zhuǎn)角度Θ的候補(bǔ)值。
具體地說(shuō)，若將處理對(duì)象圖像上的任意的邊緣點(diǎn)E的坐標(biāo)設(shè)為(x，y)，將表示其邊緣方向的角度設(shè)為β，則中心點(diǎn)O的坐標(biāo)(X，Y)以及旋轉(zhuǎn)角度Θ可通過(guò)如下所述的(1)～(3)式來(lái)求出。
X＝Ri*cos(φi+β)+X …(1)Y＝Ri*sin(φi+β)+X …(2)Θ＝β-αi…(3)在該實(shí)施例中，對(duì)于處理對(duì)象圖像上的各邊緣點(diǎn)，分別依次與登記在模型圖表中的模型邊緣點(diǎn)建立對(duì)應(yīng)關(guān)系，并執(zhí)行上述(1)～(3)式，從而求出N個(gè)(X，Y，Θ)的組合。該計(jì)算方法本身與現(xiàn)有的廣義霍夫變換相同，但是，在該實(shí)施例中，通過(guò)對(duì)被算出的(X，Y，Θ)以與現(xiàn)有不同的方法進(jìn)行投票，而能夠提高識(shí)別對(duì)象物7的位置以及旋轉(zhuǎn)角度的識(shí)別精度及處理速度。
圖3表示該實(shí)施例的投影處理的概要。此外，在該圖3以及后述的圖8中，說(shuō)明對(duì)與上述圖12、14所示的情況同樣的基準(zhǔn)圖像30以及處理對(duì)象圖像31進(jìn)行處理的情況。
在該實(shí)施例中，設(shè)定三種投票平面S、C、P。各平面S、C、P均都用于將基于上述角度Θ的數(shù)值信息投票到基準(zhǔn)點(diǎn)的坐標(biāo)(X，Y)的平面。具體地說(shuō)，各平面S、C、P分別作為將坐標(biāo)(X，Y)作為自變量的二維數(shù)組S(X，Y)、C(X，Y)、P(X，Y)而被構(gòu)成。
向平面S、C的投票是根據(jù)每個(gè)處理對(duì)象圖像31上的邊緣點(diǎn)和模型邊緣點(diǎn)的組合而進(jìn)行的。向平面S投票旋轉(zhuǎn)角度Θ的正弦值sinΘ，向平面C投票旋轉(zhuǎn)角度Θ的余弦值cosΘ。另外，當(dāng)被投票的坐標(biāo)中已存儲(chǔ)有值時(shí)，在該值上相加這次的值。
即，對(duì)各平面S、C，在每個(gè)作為基準(zhǔn)點(diǎn)的候補(bǔ)而被算出的坐標(biāo)中，存儲(chǔ)被投票的值的累計(jì)值。
另一方面，向平面P的投票是在向上述平面S、C的所有投票結(jié)束了的時(shí)刻進(jìn)行的。對(duì)該平面P，向每個(gè)坐標(biāo)(X，Y)投票被存儲(chǔ)在平面S、C的相同坐標(biāo)中的值S(X，Y)、C(X，Y)的平方和((S(X，Y))2+(C(X，Y))2)。
上述sinΘ表示與上述旋轉(zhuǎn)角度Θ對(duì)應(yīng)的矢量的垂直分量，cosΘ表示上述矢量的水平分量。因此，sinΘ、cosΘ的累計(jì)值相當(dāng)于上述矢量的合成矢量的垂直分量、水平分量。另外，這些的累計(jì)值的平方和P表示上述合成矢量的長(zhǎng)度。
所合成的各矢量的方向的參差不齊程度(離散)越小，合成矢量的長(zhǎng)度就越大。因此，即使在上述投票處理中，被投票到該坐標(biāo)的角度Θ的離散越小，則對(duì)應(yīng)于平面上的一個(gè)坐標(biāo)的合成矢量也就越大。
在此，如果坐標(biāo)(X，Y)沒(méi)有相當(dāng)于基準(zhǔn)點(diǎn)O的正確的坐標(biāo)，則即使存在多個(gè)投票，各投票的角度Θ的離散也變大，其結(jié)果，合成矢量變小。對(duì)此，如果坐標(biāo)(X，Y)為基準(zhǔn)點(diǎn)O的正確的坐標(biāo)，則各投票的角度Θ的離散變得極小，其結(jié)果，合成矢量的長(zhǎng)度變得比可在其他的坐標(biāo)所得到的長(zhǎng)度大。
在該實(shí)施例中，根據(jù)上述的考察，將上述平面P上的得票成為最大值Pmax的坐標(biāo)(XP，YP)作為上述處理對(duì)象圖像中的基準(zhǔn)點(diǎn)O的坐標(biāo)來(lái)進(jìn)行抽取。進(jìn)而，通過(guò)下面的(4)式，求出坐標(biāo)(XP，YP)的合成矢量的傾角ΘP，并將此識(shí)別為上述識(shí)別對(duì)象物7的旋轉(zhuǎn)角度。
Θp=tan-1(S(Xp,Yp)C(Xp,Yp))---(4)]]>
若根據(jù)上述投票處理，則能夠減少由與錯(cuò)誤的模型邊緣點(diǎn)的對(duì)應(yīng)關(guān)系及噪聲導(dǎo)致的得票，因此，能夠穩(wěn)定地求出基準(zhǔn)點(diǎn)O的坐標(biāo)和旋轉(zhuǎn)角度Θ的正確的值。另外，由于該投票處理能夠通過(guò)三種投票平面來(lái)執(zhí)行，因此，比起現(xiàn)有的廣義霍夫變換，能夠更加大幅度地削減用于投票處理的存儲(chǔ)器容量，從而能夠?qū)崿F(xiàn)處理的高速化。
(3)關(guān)于檢查以下，以利用上述廣義霍夫變換的識(shí)別對(duì)象物的抽取處理為中心，對(duì)由上述圖像處理裝置來(lái)執(zhí)行的檢查流程進(jìn)行說(shuō)明。
首先，圖4表示進(jìn)行檢查時(shí)由控制器2來(lái)實(shí)施的處理步驟。
在上述步驟的最初的ST1(ST是“STEP(步驟)”的縮寫(xiě)。以下也同樣)中，將由上述照相機(jī)1以及照相機(jī)用接口25所生成的處理對(duì)象圖像輸入到RAM23中。
在接下來(lái)的ST2中，抽取上述處理對(duì)象圖像上的邊緣點(diǎn)。具體地說(shuō)，在處理對(duì)象圖像上掃描利用索貝爾算子等的邊緣抽取濾波器，而作為邊緣點(diǎn)抽取濃度梯度的大小為規(guī)定值以上的像素。此外，在此所抽取的邊緣點(diǎn)的坐標(biāo)及由邊緣抽取濾波器所抽取的濃淡梯度的大小Δx、Δy(Δx為水平方向上的濃淡梯度的大小，Δy為垂直方向上的濃淡梯度的大小)，被保存在RAM23的規(guī)定區(qū)域中。
在下面的ST3中，利用上述圖3所示的方法，執(zhí)行抽取識(shí)別對(duì)象物7的位置以及旋轉(zhuǎn)角度的處理(以下，稱為“初始檢索”)。在接著的ST4中，通過(guò)利用初始檢索的結(jié)果的更加詳細(xì)的檢索處理(以下，稱為“詳細(xì)檢索”)，而確定上述識(shí)別對(duì)象物7的位置以及旋轉(zhuǎn)角度。對(duì)于這些詳細(xì)的步驟，在后面詳細(xì)地進(jìn)行說(shuō)明。
在ST5中，基于通過(guò)上述詳細(xì)檢索來(lái)求出的位置以及旋轉(zhuǎn)角度，而從處理對(duì)象圖像剪切出包含上述識(shí)別對(duì)象物7的圖像，并修正其旋轉(zhuǎn)偏差。在ST6中，對(duì)該修正后的圖像執(zhí)行相對(duì)上述基準(zhǔn)部分圖像的差分運(yùn)算處理。通過(guò)該差分運(yùn)算處理，而生成顯示上述識(shí)別對(duì)象物7的印字區(qū)域內(nèi)的字符串和模型的字符串之間的差異的圖像(差圖像)。
在ST7中，對(duì)于上述差圖像執(zhí)行二值化、加標(biāo)簽等，并抽取相當(dāng)于上述差異的圖案之后，計(jì)測(cè)該圖案的位置、面積等。在ST8中，將上述計(jì)測(cè)值與規(guī)定的閾值進(jìn)行比較等，并判定上述計(jì)測(cè)對(duì)象的字符串的適當(dāng)與否。進(jìn)而，在ST9中，將上述判定結(jié)果輸出到外部設(shè)備等之后，結(jié)束處理。
下面，對(duì)于在上述檢查步驟之前所進(jìn)行的模型登記處理，利用圖5進(jìn)行說(shuō)明。
在該圖5的處理中，與使用于上述初始檢索以及詳細(xì)檢索的模型邊緣點(diǎn)的信息一起，對(duì)用于上述差分運(yùn)算處理的基準(zhǔn)部分圖像進(jìn)行登記。
首先，在最初的ST101中，輸入通過(guò)拍攝上述識(shí)別對(duì)象物的模型而生成的基準(zhǔn)圖像，并存儲(chǔ)在RAM23中。還有，也將該輸入圖像顯示在監(jiān)視器3上。
在接著的ST102中，接收對(duì)上述監(jiān)視器3的顯示畫(huà)面的區(qū)域指定操作。在ST103中，對(duì)于所指定的區(qū)域內(nèi)的圖像，通過(guò)與上述圖4的ST2同樣的方法來(lái)抽取邊緣點(diǎn)。
另外，雖在此沒(méi)有圖示，但是，在ST103中，在沒(méi)有抽取到足夠數(shù)目的邊緣點(diǎn)時(shí)，優(yōu)選返回到ST102，而接受再次的區(qū)域指定操作。另外，在將如上述圖1所示的標(biāo)簽作為識(shí)別對(duì)象物時(shí)，優(yōu)選指定除去該標(biāo)簽自身的輪廓、而僅包含字符串“ABC”的區(qū)域。這是因?yàn)橥ㄟ^(guò)將標(biāo)簽的空白部分作為背景，而抽取從其背景指向文字部分的濃度梯度，而能夠抽取構(gòu)成文字的輪廓的邊緣點(diǎn)。
在ST104中，進(jìn)行對(duì)基準(zhǔn)點(diǎn)的設(shè)定。在該處理，也能夠接受由用戶的指定操作，而將該所指定的坐標(biāo)作為基準(zhǔn)點(diǎn)?；蛘?，也可以利用上述ST103的邊緣抽取結(jié)果而自動(dòng)抽取模型的重心等，并將其設(shè)定為基準(zhǔn)點(diǎn)。
在ST105中，將邊緣點(diǎn)的抽取數(shù)設(shè)定為N。在ST106中，在上述RAM23設(shè)定具有N個(gè)區(qū)域的模型圖表。然后，下面通過(guò)執(zhí)行ST107～113，而對(duì)各模型邊緣點(diǎn)求出上述角度αi、角度φi、距離Ri(0≤i≤N-1)，并將這些登記到上述模型圖表中。
另外，角度αi、角度φi、距離Ri均都以與圖12的現(xiàn)有例中所示同樣的基準(zhǔn)來(lái)被算出。
若登記結(jié)束，則執(zhí)行為了驗(yàn)證所登記的信息對(duì)抽取基準(zhǔn)點(diǎn)O是否適當(dāng)?shù)奶幚?。設(shè)置有這樣的處理是因?yàn)樵谝粋€(gè)模型邊緣點(diǎn)能夠與兩個(gè)以上的邊緣點(diǎn)建立對(duì)應(yīng)的情況下，有可能對(duì)于基準(zhǔn)點(diǎn)O的正確坐標(biāo)的得票變小，其結(jié)果，有可能會(huì)引起基準(zhǔn)點(diǎn)O或旋轉(zhuǎn)角度Θ的誤抽取。
例如，在識(shí)別對(duì)象物的輪廓為點(diǎn)對(duì)稱圖形時(shí)，若其中心點(diǎn)被設(shè)定為基準(zhǔn)點(diǎn)O，則在處于點(diǎn)對(duì)稱關(guān)系的兩個(gè)邊緣點(diǎn)中，與上述基準(zhǔn)點(diǎn)O的正確坐標(biāo)相對(duì)應(yīng)的矢量指向相反的方向，所以，在進(jìn)行矢量的合成處理時(shí)這些相互抵消，從而合成矢量變小。
為解決上述問(wèn)題，在ST114中，對(duì)上述基準(zhǔn)圖像執(zhí)行初始檢索，而求出上述合成矢量的長(zhǎng)度的最大值Pmax。進(jìn)而，在ST115中，求出該P(yáng)max和規(guī)定的容許值M2之差，并確認(rèn)該差是否大于規(guī)定的閾值th。在此，如果(Pmax-M2)的值處于th以下，則進(jìn)入到ST116而對(duì)模型圖表內(nèi)的全部數(shù)據(jù)進(jìn)行清零，并將與在ST104所設(shè)定的基準(zhǔn)點(diǎn)不同的點(diǎn)重新設(shè)定為基準(zhǔn)點(diǎn)O。
然后，返回到ST107，基于新設(shè)定的基準(zhǔn)點(diǎn)O而再次執(zhí)行對(duì)各模型邊緣點(diǎn)的登記處理。
此外，容許值M2是為了解決處理對(duì)象圖像中不存在識(shí)別對(duì)象物的情況而設(shè)置的。在初始檢索中，合成矢量的最大值Pmax小于該容許值M2時(shí)，判斷為識(shí)別對(duì)象物不存在。
因此，認(rèn)為在(Pmax-M2)的值超出th時(shí)，能夠?qū)⒆R(shí)別對(duì)象物的基準(zhǔn)點(diǎn)的坐標(biāo)以足夠的精度抽取。由此，這時(shí)進(jìn)入到ST117，而確定所作成的模型圖表，并進(jìn)行登記。
進(jìn)而，在ST118中，從上述基準(zhǔn)圖像剪切出在上述ST102中所指定的區(qū)域內(nèi)的圖像，并將此作為上述圖像間差分運(yùn)算用基準(zhǔn)圖像而進(jìn)行登記。
接著，利用圖6說(shuō)明上述初始檢索的詳細(xì)步驟。
首先，在最初的ST201中，對(duì)構(gòu)成上述三個(gè)投票平面S、C、P的二維數(shù)組進(jìn)行初始化(清零)。
在ST202中，關(guān)注在處理對(duì)象圖像上的一個(gè)邊緣點(diǎn)，并抽取其坐標(biāo)(x，y)。在ST203中，利用抽取該邊緣點(diǎn)時(shí)所求出的濃度梯度的大小Δx、Δy，而算出表示邊緣方向的角度β。
在ST204中，將用于確定模型邊緣點(diǎn)的計(jì)數(shù)器i置為初始值0。然后，從上述模型圖表讀取第i個(gè)模型邊緣點(diǎn)的登記信息Ri、φi、αi，并利用這些和上述x、y、β而執(zhí)行上述(1)～(3)式，從而算出基準(zhǔn)點(diǎn)的坐標(biāo)(X，Y)以及旋轉(zhuǎn)角度Θ。進(jìn)而，在ST206中，對(duì)S(X，Y)、C(X，Y)分別相加sinΘ、cosΘ。
下面，通過(guò)對(duì)計(jì)數(shù)器i每次累加1的方式進(jìn)行更新，從而變更對(duì)應(yīng)的模型邊緣點(diǎn)，并反復(fù)進(jìn)行ST205、206的處理。當(dāng)利用第N-1個(gè)模型邊緣點(diǎn)的處理結(jié)束時(shí)，接著變更處理對(duì)象圖像的作為關(guān)注對(duì)象的邊緣點(diǎn)，并返回到ST202而反復(fù)執(zhí)行與上述同樣的處理。
其結(jié)果，當(dāng)對(duì)所有邊緣點(diǎn)的處理結(jié)束時(shí)，則ST209變?yōu)椤笆恰倍M(jìn)入到ST210，并對(duì)上述平面S、C的所有坐標(biāo)的每一個(gè)求出S(X，Y)與C(X，Y)的平方和而存儲(chǔ)在P(X，Y)中。
在ST211中，抽取相當(dāng)于上述P(X，Y)中的最大值Pmax的坐標(biāo)(XP，YP)。進(jìn)而，在ST212中，對(duì)上述最大值Pmax與上述容許值M2進(jìn)行比較。在此，如果Pmax≥M2，則進(jìn)入到ST213，并通過(guò)上述(4)式算出旋轉(zhuǎn)角度Θ。
另一方面，在與上述模型對(duì)應(yīng)的輪廓形狀沒(méi)有被包括在處理對(duì)象圖像中時(shí)，變?yōu)镻max＜M2。這時(shí)進(jìn)入到ST214，認(rèn)為檢索失敗而轉(zhuǎn)移到規(guī)定的錯(cuò)誤處理。
下面，對(duì)于上述詳細(xì)檢索進(jìn)行說(shuō)明。
在該實(shí)施例的詳細(xì)檢索中，以更加正確地求出上述基準(zhǔn)點(diǎn)O的坐標(biāo)以及旋轉(zhuǎn)角度為目的，而利用初始檢索的結(jié)果來(lái)對(duì)每個(gè)模型邊緣點(diǎn)執(zhí)行使用處理對(duì)象圖像的所限定范圍的、對(duì)邊緣點(diǎn)的處理。
以下，利用圖7對(duì)詳細(xì)檢索的具體步驟進(jìn)行說(shuō)明。
首先，在最初的ST301中，將用于確定上述模型邊緣點(diǎn)的計(jì)數(shù)器i置為初始值0。然后，在ST302中，利用在上述初始檢索中求出的XP、YP、ΘP，并通過(guò)以下的(5)、(6)式來(lái)求出與第i個(gè)模型邊緣點(diǎn)對(duì)應(yīng)的坐標(biāo)(xm，ym)。
xm＝XP+Ri*cos(ΘP-φi)…(5)ym＝XP+Ri*sin(ΘP-φi)…(6)圖8表示基準(zhǔn)圖像30上的任意的模型邊緣點(diǎn)M和處理對(duì)象圖像31上的對(duì)應(yīng)點(diǎn)m之間的關(guān)系。另外，圖8(3)是放大了包含處理對(duì)象圖像31中的上述對(duì)應(yīng)點(diǎn)m的區(qū)域32的圖像的圖。雖然該例子中的對(duì)應(yīng)點(diǎn)m不是邊緣點(diǎn)，但因?yàn)樵谏鲜龀跏紮z索中所求出的(XP，YP，ΘP)的可靠性高，所以可認(rèn)為在該對(duì)應(yīng)點(diǎn)m的附近存在相當(dāng)于模型邊緣點(diǎn)M的真正的對(duì)應(yīng)點(diǎn)的邊緣點(diǎn)。另外，即使是該真正的對(duì)應(yīng)點(diǎn)附近的邊緣點(diǎn)，可認(rèn)為其相對(duì)于基準(zhǔn)點(diǎn)O的方位或距離也與利用模型邊緣點(diǎn)來(lái)求出的方位或距離近似。
因此，在詳細(xì)檢索中，設(shè)定包含上述對(duì)應(yīng)點(diǎn)m以及其周?chē)浇膸讉€(gè)像素的遮罩33，并對(duì)于該遮罩33所包含的各邊緣點(diǎn)e，分別適用上述模型邊緣點(diǎn)M的登記信息來(lái)重新求出基準(zhǔn)點(diǎn)O的坐標(biāo)以及旋轉(zhuǎn)角度。
返回到圖7，具體說(shuō)明上述處理。在ST303中，若設(shè)定上述遮罩33，則在接下來(lái)的ST304中，抽取該遮罩33內(nèi)的一個(gè)邊緣點(diǎn)e的坐標(biāo)(xj，yj)。進(jìn)而，在ST305中，針對(duì)該邊緣點(diǎn)e求出表示邊緣方向的角度βj。
在ST306中，利用上述xj、yj、βj和第i個(gè)模型邊緣點(diǎn)的登記信息來(lái)執(zhí)行下述的(7)～(9)式，從而求出基準(zhǔn)點(diǎn)O的坐標(biāo)(Xv，Yv)以及旋轉(zhuǎn)角度Θv。
Xv＝xj+Ri*cos(βj+φi)…(7)Yv＝y(tǒng)j+Ri*sin(βj+φi)…(8)Θv＝βj-αi…(9)如上所述，可認(rèn)為遮罩33內(nèi)的邊緣點(diǎn)e，相對(duì)于基準(zhǔn)點(diǎn)O而具有與模型邊緣點(diǎn)M相同或者極其相近的關(guān)系，因此，上述Xv、Yv、Θv也與對(duì)模型邊緣點(diǎn)的真正的對(duì)應(yīng)點(diǎn)所算出的相應(yīng)值近似。但是，這樣的想法僅能夠適用于構(gòu)成識(shí)別對(duì)象物的輪廓的邊緣點(diǎn)，而不符合從噪聲成分求出的Xv、Yv、Θv。
由此，在該實(shí)施例中，將在上述ST306中所求出的(Xv，Yv，Θv)和在上述初始檢索中所求出的(XP，YP，ΘP)分別作為三維空間的一個(gè)點(diǎn)來(lái)理解，而求出這些點(diǎn)之間的距離D，并對(duì)該距離與規(guī)定的閾值D0進(jìn)行比較(ST307、308)。在此，當(dāng)上述距離D大于距離D0時(shí)，將(Xv，Yv，Θv)從ST309的運(yùn)算對(duì)象中排除。
另一方面，如果距離D處于上述D0以下，則進(jìn)入到ST309，而利用變量XC、YC來(lái)進(jìn)行Xv、Yv的累計(jì)處理的同時(shí)，利用變量SC、CC而對(duì)于Θv執(zhí)行與在上述初始檢索的投票平面S、C上所執(zhí)行的處理同樣的對(duì)矢量的合成處理。此外，nC是用于存儲(chǔ)該ST309的處理次數(shù)的計(jì)數(shù)器。
以下，同樣，依次抽取遮罩33內(nèi)的所有的邊緣點(diǎn)e，而執(zhí)行ST304～309。當(dāng)對(duì)遮罩33內(nèi)的最后邊緣點(diǎn)的處理結(jié)束時(shí)，在ST312中變更關(guān)注對(duì)象的模型邊緣點(diǎn)，并反復(fù)進(jìn)行上述處理。
這樣，若對(duì)所有模型邊緣點(diǎn)執(zhí)行了上述處理，則進(jìn)入到ST313，而對(duì)于基準(zhǔn)點(diǎn)O的坐標(biāo)，利用上述累計(jì)值XC、YC以及處理次數(shù)nC來(lái)算出平均值，并將此作為最終的值XR、YR。另外，對(duì)于旋轉(zhuǎn)角度，也利用上述SC、CC來(lái)求出上述合成矢量的角度，并將此作為最終的值ΘR。
這樣，在詳細(xì)檢索中，縮小決定處理對(duì)象的邊緣點(diǎn)的同時(shí)，對(duì)于基準(zhǔn)點(diǎn)的坐標(biāo)，以所算出值的參差不齊程度小為條件而求出平均值，因此，不需要進(jìn)行利用了如初始檢索那樣的平面的投票處理，從而能夠?qū)崿F(xiàn)高速化處理。
另外，對(duì)于任意的模型邊緣點(diǎn)，均都求出由其對(duì)應(yīng)點(diǎn)以及從其附近的邊緣點(diǎn)所求出的坐標(biāo)或旋轉(zhuǎn)角度，因此，最終被算出的XR、YR、ΘR比在初始檢索中所求出的XP、YP、ΘP精度高。
另外，在上述初始檢索中，需要對(duì)每個(gè)邊緣點(diǎn)進(jìn)行N周期的處理，因此，在噪聲成分多的情況等，有可能處理花費(fèi)很長(zhǎng)時(shí)間。這時(shí)，即使為實(shí)現(xiàn)處理的高速化而對(duì)初始檢索的處理對(duì)象的邊緣點(diǎn)進(jìn)行間隔剔除(pixel skipping)，通過(guò)其后的詳細(xì)檢索也能夠確保所算出的精度。
(5)其他實(shí)施例在上述實(shí)施例中所示的圖像處理裝置中，還能夠執(zhí)行如下面的a、b、c、d所示的處理。
a.利用歸一化相關(guān)(normalized correlation)的識(shí)別處理在上述圖4所示的檢查步驟中，通過(guò)上述初始檢索或詳細(xì)檢索，而確定基準(zhǔn)點(diǎn)O的坐標(biāo)(XR，YR)以及識(shí)別對(duì)象物的旋轉(zhuǎn)角度ΘR之后，執(zhí)行了圖像間差分運(yùn)算，但是，也可以取代該處理，或者在該處理的基礎(chǔ)上，執(zhí)行利用歸一化相關(guān)運(yùn)算的識(shí)別處理。這時(shí)，從處理對(duì)象圖像剪切出與基準(zhǔn)部分圖像對(duì)應(yīng)的圖像而執(zhí)行對(duì)旋轉(zhuǎn)偏移的修正，并對(duì)該修正后的圖像執(zhí)行利用上述基準(zhǔn)部分圖像的歸一化相關(guān)運(yùn)算，從而能夠求出相對(duì)基準(zhǔn)部分圖像的相似度?；蛘撸部梢酝ㄟ^(guò)上述旋轉(zhuǎn)角度ΘR來(lái)修正基準(zhǔn)部分圖像之后，將其基準(zhǔn)點(diǎn)與上述處理對(duì)象圖像上的坐標(biāo)(XR，YR)對(duì)齊而執(zhí)行歸一化相關(guān)運(yùn)算。
另外，也可以登記好多個(gè)基準(zhǔn)部分圖像，并對(duì)每個(gè)基準(zhǔn)部分圖像執(zhí)行歸一化相關(guān)運(yùn)算。
上述的處理在抽取識(shí)別對(duì)象物的灰白程度(如果是彩色圖像則為配色的不同)情況下變得有用。在利用廣義霍夫變換的識(shí)別處理中，能夠高精度地抽取物體的輪廓形狀，但無(wú)法判別灰白的差異。另一方面，在利用現(xiàn)有的歸一化相關(guān)運(yùn)算的檢索處理中，除了需要掃描整個(gè)處理對(duì)象圖像之外，還要考慮識(shí)別對(duì)象物的旋轉(zhuǎn)而需要進(jìn)行利用多個(gè)旋轉(zhuǎn)模型的檢索，從而存在處理花費(fèi)時(shí)間的問(wèn)題。
但是，若通過(guò)廣義霍夫變換來(lái)求出識(shí)別對(duì)象物的位置和旋轉(zhuǎn)角度，就能夠限定要執(zhí)行歸一化相關(guān)運(yùn)算的范圍，還有也不需要作成旋轉(zhuǎn)模型，因此，能夠大幅度地縮短處理時(shí)間，從而能夠執(zhí)行高精度的識(shí)別處理。
b.多個(gè)基準(zhǔn)點(diǎn)的設(shè)定在上述圖5所示的模型登記處理中，也可以根據(jù)識(shí)別對(duì)象物的形狀來(lái)設(shè)定多個(gè)基準(zhǔn)點(diǎn)。
例如，如圖9(A)所示，對(duì)于具有規(guī)定形狀的模型，將其中心點(diǎn)設(shè)定為基準(zhǔn)點(diǎn)O時(shí)，若存在與模型同樣的形狀和與其反向的形狀重疊而形成點(diǎn)對(duì)稱形狀的識(shí)別對(duì)象物，則如上所述，對(duì)于基準(zhǔn)點(diǎn)O的得票變小，而有可能會(huì)無(wú)法正確地抽取基準(zhǔn)點(diǎn)O。另外，即使是能夠抽取到基準(zhǔn)點(diǎn)O的情況，也無(wú)法識(shí)別到與模型對(duì)應(yīng)的形狀存在兩個(gè)的程度。
另一方面，如圖9(B)所示，對(duì)于上述模型，若將其中心點(diǎn)設(shè)為第一基準(zhǔn)點(diǎn)O1，而將從O1相隔規(guī)定距離的點(diǎn)設(shè)為第二基準(zhǔn)點(diǎn)O2，則對(duì)于上述識(shí)別對(duì)象物，除了基準(zhǔn)點(diǎn)O1之外，還能夠抽取兩個(gè)基準(zhǔn)點(diǎn)O21、O22。因此，從這些點(diǎn)的位置關(guān)系，能夠無(wú)誤地判別識(shí)別對(duì)象物的形狀和姿勢(shì)。
c.算出兩個(gè)基準(zhǔn)點(diǎn)O的坐標(biāo)的方法例如，如圖10所示，若在模型和識(shí)別對(duì)象物之間明暗關(guān)系變得相反，則處理對(duì)象圖像的邊緣點(diǎn)上的濃度梯度方向也指向與基準(zhǔn)圖像相反的方向。預(yù)計(jì)會(huì)存在這樣的情況時(shí)，如圖11所示，對(duì)處理對(duì)象圖像上的各邊緣點(diǎn)E，需要在從上述角度β所示的方向h1以及與其相反的方向h2分別沿逆時(shí)針?lè)较蛐D(zhuǎn)了角度φ的方向上，求出基準(zhǔn)點(diǎn)的候補(bǔ)點(diǎn)O1、O2的坐標(biāo)。
這時(shí)，對(duì)于所有的邊緣點(diǎn)，分別各求出兩組(X，Y，Θ)的組而進(jìn)行投票處理，但是，在上述h1、h2中，對(duì)應(yīng)于與向基準(zhǔn)點(diǎn)O的方向不同的方向的、(X，Y，Θ)的內(nèi)容，根據(jù)每個(gè)邊緣點(diǎn)都不同。因此，在與向基準(zhǔn)點(diǎn)O的方向不同的方向?qū)?yīng)的投票中，不會(huì)作成超過(guò)上述容許值M2的長(zhǎng)度的合成矢量，而在向基準(zhǔn)點(diǎn)O的方向上，能夠求出其正確的坐標(biāo)以及正確的旋轉(zhuǎn)角度。
另外，處理彩色灰度圖像時(shí)，也需要進(jìn)行與圖11同樣的處理。為了抽取彩色灰度圖像上的邊緣，必須取代濃度梯度的大小而求出顏色的變化量(色差)，但是，由于色差是作為以R、G、B各色成分為軸的三維空間的距離而被求出，因此，只能將顏色的變化量大的點(diǎn)作為邊緣點(diǎn)而進(jìn)行抽取。因此，在基準(zhǔn)點(diǎn)的位置不明確的處理對(duì)象圖像中，無(wú)法確定在上述h1、h2的任意方向上是否存在基準(zhǔn)點(diǎn)，因此，需要將兩個(gè)方向作為處理對(duì)象。
d.投票處理的其他例子在上述實(shí)施例中，對(duì)旋轉(zhuǎn)角度Θ的正弦以及余弦的值進(jìn)行了投票，但是，也可以取而代之，而對(duì)與旋轉(zhuǎn)角度Θ對(duì)應(yīng)的矢量的水平分量以及垂直分量進(jìn)行投票。由于這時(shí)的各分量被表示成根據(jù)旋轉(zhuǎn)角度Θ的正或負(fù)的值，所以，與上述圖3所示同樣，能夠通過(guò)對(duì)每個(gè)有過(guò)投票的坐標(biāo)(X，Y)求出各分量的累計(jì)值、并求出最終值的平方和的方法，而高精度地求出識(shí)別對(duì)象物的位置和旋轉(zhuǎn)角度。
權(quán)利要求
1.一種物體識(shí)別方法，該方法利用包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像，來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，分別獨(dú)立地關(guān)注構(gòu)成上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，而針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出上述關(guān)注像素的上述規(guī)定變量的變化方向，并對(duì)表示作為與該變化方向?qū)?yīng)的方向的邊緣方向、上述基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息進(jìn)行登記，針對(duì)對(duì)上述像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出關(guān)注像素的上述規(guī)定變量的變化的梯度時(shí)，將包含以該梯度超過(guò)規(guī)定值的關(guān)注像素為邊緣點(diǎn)時(shí)的該邊緣點(diǎn)的圖像作為處理對(duì)象，而對(duì)于該處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)求出該邊緣點(diǎn)的坐標(biāo)以及邊緣方向的同時(shí)，執(zhí)行算出上述多個(gè)模型邊緣點(diǎn)分別相當(dāng)于上述邊緣點(diǎn)時(shí)由上述登記信息所規(guī)定的基準(zhǔn)點(diǎn)的坐標(biāo)、以及表示邊緣點(diǎn)的邊緣方向和模型邊緣點(diǎn)的邊緣方向之差的角度的處理、和基于所算出的各值的投票處理，并利用上述投票處理的結(jié)果來(lái)識(shí)別與上述模型對(duì)應(yīng)的輪廓圖案的位置、以及以上述模型為基準(zhǔn)的輪廓圖案的旋轉(zhuǎn)角度，其特征在于，在上述投票處理中，對(duì)于上述處理對(duì)象圖像上的各邊緣點(diǎn)，分別向?qū)γ總€(gè)模型邊緣點(diǎn)所求出的上述基準(zhǔn)點(diǎn)的坐標(biāo)，投票與和該坐標(biāo)一同被算出的角度相對(duì)應(yīng)的矢量的同時(shí)，對(duì)每個(gè)有過(guò)投票的坐標(biāo)算出表示所投票的矢量的合成矢量的數(shù)值信息，對(duì)應(yīng)于上述投票處理以及表示合成矢量的數(shù)值信息的算出處理的結(jié)束，利用上述數(shù)值信息而從上述有過(guò)投票的坐標(biāo)中抽取上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)、或者與從長(zhǎng)度最大的合成矢量開(kāi)始依次觀察各合成矢量時(shí)的規(guī)定數(shù)目的矢量對(duì)應(yīng)的坐標(biāo)，并利用該抽取結(jié)果來(lái)識(shí)別上述輪廓圖案的位置以及旋轉(zhuǎn)角度。
2.如權(quán)利要求1所記載的物體識(shí)別方法，其特征在于，在上述投票處理中，對(duì)每個(gè)所投票的坐標(biāo)求出上述旋轉(zhuǎn)角度的正弦以及余弦的累計(jì)值，并算出這些兩種累計(jì)值的平方和而作為上述合成矢量的長(zhǎng)度。
3.如權(quán)利要求1所記載的物體識(shí)別方法，其特征在于，在上述投票處理中，對(duì)每個(gè)所投票的坐標(biāo)求出表示將與上述旋轉(zhuǎn)角度對(duì)應(yīng)的矢量分解為水平以及垂直兩個(gè)方向時(shí)的各矢量的指向以及長(zhǎng)度的數(shù)值信息，并算出這些兩種累計(jì)值的平方和而作為上述合成矢量的長(zhǎng)度。
4.如權(quán)利要求1～3中任意一項(xiàng)所記載的物體識(shí)別方法，其特征在于，基于利用表示上述合成矢量的數(shù)值信息所抽取的坐標(biāo)而求出上述物體的臨時(shí)位置以及臨時(shí)旋轉(zhuǎn)角度之后，執(zhí)行步驟a和步驟b，該步驟a是對(duì)于各模型邊緣點(diǎn)，基于上述臨時(shí)位置以及臨時(shí)旋轉(zhuǎn)角度而求出處理對(duì)象圖像上的對(duì)應(yīng)點(diǎn)，而該步驟b是對(duì)于包含上述對(duì)應(yīng)點(diǎn)的局部區(qū)域內(nèi)所包含的邊緣點(diǎn)，利用上述模型邊緣點(diǎn)的登記信息而算出基準(zhǔn)點(diǎn)的坐標(biāo)以及表示上述邊緣方向之差的角度，針對(duì)各模型邊緣點(diǎn)，對(duì)通過(guò)上述步驟a、b所求出的基準(zhǔn)點(diǎn)的坐標(biāo)進(jìn)行平均化的同時(shí)，對(duì)表示上述旋轉(zhuǎn)角度的矢量進(jìn)行合成，并基于被平均化的基準(zhǔn)點(diǎn)的坐標(biāo)以及上述合成矢量所示的角度，來(lái)識(shí)別上述物體的位置以及旋轉(zhuǎn)角度。
5.如權(quán)利要求1～3中任意一項(xiàng)所記載的物體識(shí)別方法，其特征在于，基于利用表示上述合成矢量的數(shù)值信息所抽取的坐標(biāo)而識(shí)別上述輪廓圖案的位置以及旋轉(zhuǎn)角度之后，利用具有與上述模型對(duì)應(yīng)的輪廓形狀的一種或者多種灰度圖像模型，來(lái)執(zhí)行反映了上述輪廓圖案的位置以及旋轉(zhuǎn)角度的歸一化相關(guān)運(yùn)算。
6.如權(quán)利要求1～5中任意一項(xiàng)所記載的物體識(shí)別方法，其特征在于，在對(duì)每個(gè)上述處理對(duì)象圖像上的邊緣點(diǎn)求出上述基準(zhǔn)點(diǎn)的坐標(biāo)的值的處理中，針對(duì)每個(gè)模型邊緣點(diǎn)，關(guān)于基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的上述所登記的方位和在其相反的方位分別算出各一個(gè)上述基準(zhǔn)點(diǎn)的坐標(biāo)的候補(bǔ)。
7.如權(quán)利要求1～6中任意一項(xiàng)所記載的物體識(shí)別方法，其特征在于，以對(duì)上述各模型邊緣點(diǎn)的登記處理的結(jié)束為條件，對(duì)于上述基準(zhǔn)圖像上的各邊緣點(diǎn)，分別利用上述各模型邊緣點(diǎn)的上述登記信息來(lái)求出基準(zhǔn)點(diǎn)的坐標(biāo)以及邊緣方向的旋轉(zhuǎn)角度的值之后，進(jìn)行對(duì)上述投票處理以及表示上述合成矢量的數(shù)值信息的運(yùn)算處理，所有邊緣點(diǎn)的投票結(jié)束時(shí)的上述數(shù)值信息所表示的合成矢量的長(zhǎng)度小于規(guī)定的閾值時(shí)，將上述基準(zhǔn)點(diǎn)設(shè)定為不同的坐標(biāo)，并再次執(zhí)行對(duì)各模型邊緣點(diǎn)的登記處理。
8.如權(quán)利要求1～7中任意一項(xiàng)所記載的物體識(shí)別方法，其特征在于，將多個(gè)坐標(biāo)不同的點(diǎn)設(shè)定為基準(zhǔn)點(diǎn)，并針對(duì)處理對(duì)象圖像的每個(gè)基準(zhǔn)點(diǎn)執(zhí)行求出上述基準(zhǔn)點(diǎn)的坐標(biāo)的處理以及投票處理。
9.一種物體識(shí)別處理用程序，其用于對(duì)計(jì)算機(jī)設(shè)定如下的功能，其中，該計(jì)算機(jī)具有的功能是利用包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像，來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，分別獨(dú)立地關(guān)注構(gòu)成上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，而針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出上述關(guān)注像素的上述規(guī)定變量的變化方向，并對(duì)表示作為與該變化方向?qū)?yīng)的方向的邊緣方向、上述基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息進(jìn)行登記的功能；以及，針對(duì)對(duì)上述像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出關(guān)注像素的上述規(guī)定變量的變化的梯度時(shí)，將包含以梯度超過(guò)規(guī)定值的關(guān)注像素為邊緣點(diǎn)而抽取出時(shí)的該邊緣點(diǎn)的圖像作為處理對(duì)象，而對(duì)于該處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)求出該邊緣點(diǎn)的坐標(biāo)以及邊緣方向的功能，該程序?qū)τ?jì)算機(jī)設(shè)定的功能是從上述處理對(duì)象圖像來(lái)識(shí)別與上述模型對(duì)應(yīng)的輪廓圖案的位置、以及以上述模型為基準(zhǔn)的輪廓圖案的旋轉(zhuǎn)角度，其特征在于，使上述計(jì)算機(jī)發(fā)揮如下各單元的功能候補(bǔ)值算出單元，其對(duì)于上述處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)，分別利用上述各模型邊緣點(diǎn)的登記信息，來(lái)算出所登記的各模型邊緣點(diǎn)分別相當(dāng)于上述邊緣點(diǎn)時(shí)所規(guī)定的基準(zhǔn)點(diǎn)的坐標(biāo)、以及表示邊緣點(diǎn)的邊緣方向和模型邊緣點(diǎn)的邊緣方向之差的角度；存儲(chǔ)單元，其用于存儲(chǔ)表示對(duì)每個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)合成與上述候補(bǔ)值算出單元所算出的角度對(duì)應(yīng)的矢量時(shí)的該合成矢量的數(shù)值信息；信息更新單元，其每當(dāng)通過(guò)上述候補(bǔ)值算出單元算出基準(zhǔn)點(diǎn)的坐標(biāo)以及角度時(shí)，用所算出的角度來(lái)更新與所算出的基準(zhǔn)點(diǎn)的坐標(biāo)對(duì)應(yīng)的上述存儲(chǔ)單元內(nèi)的數(shù)值信息；抽取單元，其對(duì)應(yīng)于上述候補(bǔ)值算出單元以及信息更新單元的處理的結(jié)束，利用存儲(chǔ)在上述存儲(chǔ)單元的數(shù)值信息而抽取上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)、或者與從長(zhǎng)度最大的合成矢量開(kāi)始依次觀察各合成矢量時(shí)的規(guī)定數(shù)目的矢量對(duì)應(yīng)的坐標(biāo)；識(shí)別單元，其利用上述抽取單元的抽取結(jié)果，而識(shí)別上述輪廓圖案的位置以及旋轉(zhuǎn)角度。
10.一種存儲(chǔ)有權(quán)利要求9所記載的程序的存儲(chǔ)介質(zhì)。
11.一種物體識(shí)別裝置，其特征在于，具有以下各單元圖像輸入單元，其針對(duì)對(duì)像素信息進(jìn)行規(guī)定的一個(gè)或者多個(gè)變量中的規(guī)定變量，基于對(duì)關(guān)注像素和其周邊像素的上述規(guī)定變量來(lái)求出關(guān)注像素的上述規(guī)定變量的變化的梯度時(shí)，輸入包含以梯度超過(guò)規(guī)定值的關(guān)注像素為邊緣點(diǎn)時(shí)的該邊緣點(diǎn)的圖像；登記單元，其由上述圖像輸入單元被輸入包含具有規(guī)定的輪廓形狀的模型的基準(zhǔn)圖像時(shí)，利用該基準(zhǔn)圖像來(lái)設(shè)定基準(zhǔn)點(diǎn)的坐標(biāo)的同時(shí)，對(duì)于構(gòu)成上述模型的輪廓的多個(gè)模型邊緣點(diǎn)，登記表示作為與上述規(guī)定變量的變化方向?qū)?yīng)的方向的邊緣方向、和上述基準(zhǔn)點(diǎn)相對(duì)上述邊緣方向的方位、以及自上述基準(zhǔn)點(diǎn)的距離的信息；候補(bǔ)值算出單元，其由上述圖像輸入單元被輸入處理對(duì)象圖像時(shí)，對(duì)于該處理對(duì)象圖像上的多個(gè)邊緣點(diǎn)，分別利用上述各模型邊緣點(diǎn)的登記信息，來(lái)算出所登記的各模型邊緣點(diǎn)分別相當(dāng)于上述邊緣點(diǎn)時(shí)所規(guī)定的基準(zhǔn)點(diǎn)的坐標(biāo)、以及表示邊緣點(diǎn)的邊緣方向和模型邊緣點(diǎn)的邊緣方向之差的角度；存儲(chǔ)單元，其用于存儲(chǔ)表示對(duì)每個(gè)基準(zhǔn)點(diǎn)的坐標(biāo)合成與上述候補(bǔ)值算出單元所算出的角度對(duì)應(yīng)的矢量時(shí)的該合成矢量的數(shù)值信息；信息更新單元，其每當(dāng)通過(guò)上述候補(bǔ)值算出單元算出基準(zhǔn)點(diǎn)的坐標(biāo)以及角度時(shí)，用所算出的角度來(lái)更新與所算出的基準(zhǔn)點(diǎn)的坐標(biāo)對(duì)應(yīng)的上述存儲(chǔ)單元內(nèi)的數(shù)值信息；抽取單元，其對(duì)應(yīng)于上述候補(bǔ)值算出單元以及信息更新單元的處理的結(jié)束，利用存儲(chǔ)在上述存儲(chǔ)單元的數(shù)值信息而抽取上述合成矢量的長(zhǎng)度超過(guò)規(guī)定值的坐標(biāo)、或者與從長(zhǎng)度最大的合成矢量開(kāi)始依次觀察各合成矢量時(shí)的規(guī)定數(shù)目的矢量對(duì)應(yīng)的坐標(biāo)；識(shí)別單元，其利用上述抽取單元的抽取結(jié)果，而識(shí)別與上述模型對(duì)應(yīng)的輪廓圖案的位置以及以上述模型為基準(zhǔn)的輪廓圖案的旋轉(zhuǎn)角度。
全文摘要
實(shí)現(xiàn)通過(guò)廣義霍夫變換的物體識(shí)別處理的高速化及高精度化。對(duì)在處理對(duì)象圖像(31)上所抽取的每個(gè)邊緣點(diǎn)(E)，利用預(yù)先所登記的N個(gè)模型邊緣點(diǎn)的信息來(lái)算出識(shí)別對(duì)象物的基準(zhǔn)點(diǎn)(O)的坐標(biāo)(X，Y)及旋轉(zhuǎn)角度(Θ)。進(jìn)而，向二維投票平面(S、C)的坐標(biāo)(X，Y)分別投票sinΘ、cosΘ的同時(shí)，算出向每個(gè)坐標(biāo)所投票的值的累計(jì)值。投票處理結(jié)束，則將各平面的累計(jì)值與每個(gè)坐標(biāo)建立對(duì)應(yīng)而求出這些的平方和(S(X，Y))
文檔編號(hào)G06K9/62GK1959706SQ20061014325
公開(kāi)日2007年5月9日 申請(qǐng)日期2006年11月1日 優(yōu)先權(quán)日2005年11月4日
發(fā)明者小松幸廣 申請(qǐng)人:歐姆龍株式會(huì)社