專(zhuān)利名稱(chēng)：模式識(shí)別設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別設(shè)備，尤其涉及可以實(shí)時(shí)識(shí)別照相機(jī)拍攝到的字符或象形圖的設(shè)備。
背景技術(shù)：
基于照相機(jī)的模式識(shí)別由于各種可能的應(yīng)用而受到相當(dāng)多的關(guān)注。令人信服的應(yīng)用之一是作為與照相機(jī)和字符識(shí)別設(shè)備集成在一起的翻譯裝置的“翻譯照相機(jī)”(參見(jiàn)非專(zhuān)利文獻(xiàn)1和2)。另一可能的應(yīng)用是識(shí)別照相機(jī)拍攝到的字符并且將識(shí)別出的字符轉(zhuǎn)換成語(yǔ)音從而將這些語(yǔ)音告知視覺(jué)障礙者。還考慮了以下情況識(shí)別照相機(jī)拍攝到的所有模式，并且在這些模式中，僅將預(yù)先已登記的且為用戶(hù)所需的信息提供給該用戶(hù)。該應(yīng)用對(duì)于視覺(jué)障礙者而言是有用的。在視覺(jué)障礙者中，存在難以找到字符的人。因此，可被稱(chēng)為“機(jī)器視覺(jué)”的應(yīng)用極其有用。為了實(shí)現(xiàn)以上應(yīng)用，需要實(shí)用的基于照相機(jī)的字符識(shí)別技術(shù)，其中該字符識(shí)別技術(shù)(1)可以進(jìn)行實(shí)時(shí)處理、(2)對(duì)幾何失真具有魯棒性并且(3)不受布局約束。首先，為了不使用戶(hù)的便利性劣化，實(shí)時(shí)處理是不可缺少的。對(duì)于幾何失真，當(dāng)對(duì)象局限于字符時(shí)，已實(shí)現(xiàn)了一些已知的技術(shù)(例如，參見(jiàn)非專(zhuān)利文獻(xiàn)3和4)。特別地，非專(zhuān)利文獻(xiàn)4已說(shuō)明了實(shí)時(shí)進(jìn)行工作的技術(shù)。在這些技術(shù)中，從利用照相機(jī)拍攝到的圖像中提取文本行，對(duì)作為對(duì)具有最高的失真自由度的射影失真(projective distortion)的近似的仿射失真(affine distortion)進(jìn)行校正，并且最終識(shí)別出所提取的字符。然而，在非專(zhuān)利文獻(xiàn)4的技術(shù)中，例如，基于文本行來(lái)校正射影失真，從而使得無(wú)法識(shí)別沒(méi)有形成文本行的字符。該技術(shù)不能應(yīng)對(duì)旋轉(zhuǎn)的字符。因此，無(wú)法識(shí)別圖1所示的對(duì)象，這意味著該技術(shù)不滿(mǎn)足上述要求(3)。具體地，該技術(shù)不能滿(mǎn)足上述能夠識(shí)別各種布局的模式的要求。另一方面，作為滿(mǎn)足上述要求(2)和(3)的技術(shù)，Kusachi等人或Li等人已提出了逐一識(shí)別字符的技術(shù)(例如，參見(jiàn)非專(zhuān)利文獻(xiàn)5和6)。由于非專(zhuān)利文獻(xiàn)5和6所述的技術(shù)逐一識(shí)別字符，因此不會(huì)引起涉及文本行的問(wèn)題，但需要大量時(shí)間來(lái)進(jìn)行處理，從而導(dǎo)致該技術(shù)無(wú)法被認(rèn)為實(shí)現(xiàn)了上述要求(1)的實(shí)時(shí)處理。已期望同時(shí)滿(mǎn)足要求(1) (3)的技術(shù)?，F(xiàn)有技術(shù)文獻(xiàn)非專(zhuān)利文獻(xiàn)# # ^lJ ^； K 1 :Y. Watanabe, Y. Okada, Y. -B. Kim and Τ. Takeda, "Translation camera, ”P(pán)roc.ICPR 1998，pp.613—617，1998。非專(zhuān)利文獻(xiàn) 2 :H. Fujisawa, H. Sako, Y. Okada and S. -ff. Lee, " Information capturing camera and developmental issues, "proc. ICDAR1999, pp.205-208, Sept. 1999。# 禾Ij i: ■ 3 :X. Chen, J. Yang and A. ffaibel, "Automatic detection and recognition of signs from natural scenes," IEEE Trans. Image Processing,vol. 13,no. 1，pp. 87-99，Jan. 2004。非專(zhuān)利文 M 4 :G. K. Myers, R. C. Bolles, Q. -Τ. Luong, J. Α. Herson and H. B. Aradhye, "Rectification and recognition of text in 3-d scene,，，IJDAR, vol. 7, no. 2-3，pp.147-158,2004。非專(zhuān)利文獻(xiàn)5 :Y. Kusachi,A. Suzuki,N. Ito and K. Arakawa,"Kanji recognition in scene images without detection of text fields-robust against variation of viewpoint, contrast, and background texture-,，，Proc.ICPR2004, 2004。__ 專(zhuān)禾1J 文獻(xiàn) 6 :L. Li and C. L. Tan, "Character recognition under severe perspective distortion, "Proc.ICPR2008，2008。非專(zhuān)利文獻(xiàn) 7 :Kazuto Noguchi, Koichi Kise, and Masakazu Iwamura, "Experimental evaluation of balancing the recognition rate, processing time, and memory requirement for large-scale recognition of specific objects，，，IEICE trans. D, vol. J92—D，pp. 1135—1143，Aug. 2009。

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題考慮到以上情形，本發(fā)明提供一種基于簡(jiǎn)單但高效的技術(shù)的模式識(shí)別設(shè)備，其可以實(shí)現(xiàn)諸如字符和象形圖等的模式的實(shí)時(shí)識(shí)別，從而實(shí)現(xiàn)了滿(mǎn)足上述要求的模式識(shí)別技術(shù)。用于解決問(wèn)題的方案本發(fā)明提供一種模式識(shí)別設(shè)備，包括提取部，用于從包括至少一個(gè)模式成分且預(yù)先經(jīng)過(guò)幾何變換的查詢(xún)圖像中提取模式成分；特征獲取部，用于獲取所述模式成分的相對(duì)于所述幾何變換保持不變的特征作為查詢(xún)特征，其中，所述查詢(xún)特征由包括各自位于所述模式成分上并且基于預(yù)定的規(guī)則從所述模式成分中檢索到的第一特征點(diǎn)、第二特征點(diǎn)和第三特征點(diǎn)的至少三個(gè)特征點(diǎn)來(lái)表示；比較部，用于將所述查詢(xún)特征與多個(gè)參考特征進(jìn)行比較，其中，所述參考特征各自表示被準(zhǔn)備作為模式識(shí)別的候選的不同的參考模式；以及模式確定部，用于基于進(jìn)行比較的特征之間的類(lèi)似度來(lái)確定所述候選中的特定參考模式作為識(shí)別結(jié)果，其中，各參考特征是使用基于與所述查詢(xún)特征的規(guī)則相同的規(guī)則從各參考模式檢索到的特征點(diǎn)來(lái)表示的，以及基于所述規(guī)則，所述第一特征點(diǎn)的位置是在位于所述模式成分上且相對(duì)于所述幾何變換保持不變的點(diǎn)中指定的，所述第二特征點(diǎn)的位置是使用與所述模式成分的形狀有關(guān)的、相對(duì)于所述幾何變換保持不變的特性所指定的，并且所述第三特征點(diǎn)的位置是根據(jù)相對(duì)于所述幾何變換保持不變的預(yù)定值以及所指定的所述第一特征點(diǎn)和所述第二特征點(diǎn)的位置所指定的。發(fā)明的效果在根據(jù)本發(fā)明的模式識(shí)別設(shè)備中，第一特征點(diǎn)的位置是在位于模式成分上且相對(duì)于幾何變換保持不變的點(diǎn)中指定的，第二特征點(diǎn)的位置是使用與模式成分的形狀有關(guān)且相對(duì)于幾何變換保持不變的特性指定的，并且第三特征點(diǎn)的位置是根據(jù)相對(duì)于幾何變換保持不變的預(yù)定值以及所指定的第一特征點(diǎn)和第二特征點(diǎn)的位置指定的。因此，不變坐標(biāo)系的組數(shù)局限于將滿(mǎn)足預(yù)定標(biāo)準(zhǔn)的像素之一確定為第一特征點(diǎn)的組合的數(shù)量。因此，與已知的幾何哈希法相比，根據(jù)本發(fā)明的方法可以大幅縮短處理時(shí)間。具體地，根據(jù)本發(fā)明，當(dāng)確定了第一特征點(diǎn)時(shí)，唯一地確定出與該第一特征點(diǎn)相對(duì)應(yīng)的第二特征點(diǎn)和第三特征點(diǎn)。已知的幾何哈希法需要與不變坐標(biāo)系有關(guān)的pPn次處理，其中pPn次處理被排列成從構(gòu)成模式區(qū)域的所有特征點(diǎn)的P個(gè)特征點(diǎn)中選擇預(yù)定數(shù)量的η個(gè)特征點(diǎn)，而本發(fā)明僅進(jìn)行與不變坐標(biāo)系有關(guān)的用于選擇第一點(diǎn)的J1次處理。因此，可以根據(jù)利用幾何變換所獲取到的圖像來(lái)實(shí)現(xiàn)模式的實(shí)時(shí)識(shí)別。首先確定第一特征點(diǎn)和第二特征點(diǎn)中的哪一個(gè)是任選的。在本發(fā)明中，查詢(xún)圖像是包含要識(shí)別的模式的圖像。該模式包括一個(gè)或多個(gè)或者一塊連接成分。一塊連接成分表示要識(shí)別的模式在區(qū)域上相連接從而形成塊的成分。例如， 諸如“I”和“J”等的字符是包括一個(gè)區(qū)域連接成分的識(shí)別對(duì)象的例子。另一方面，存在諸如“i”或“j”等的作為包括多個(gè)連接成分的一個(gè)字符的分離字符或分離模式。在本發(fā)明中，前提是查詢(xún)圖像是在經(jīng)過(guò)幾何變換之后獲取到的。例如，當(dāng)利用圖像掃描器讀取用作識(shí)別對(duì)象的字符時(shí)，讀取中存在諸如縮放或旋轉(zhuǎn)等的幾何失真。在這種情況下，查詢(xún)圖像存在由相似變換而產(chǎn)生的失真。當(dāng)利用照相機(jī)拍攝包含要識(shí)別的字符的圖像時(shí)，由此產(chǎn)生的圖像存在由于偏離正確位置而產(chǎn)生的射影失真。如果偏離量小，則可以近似該圖像，其中，該失真被當(dāng)作未伴隨有深度方向上的倍率變化的仿射失真。將各模式的圖像特征與表示該特征的矢量相關(guān)聯(lián)地存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中。圖像特征的例子包括形狀特征、濃度分布特征、色度特征以及它們的組合。圖像數(shù)據(jù)庫(kù)中的各矢量是在利用哈希表進(jìn)行系統(tǒng)化的狀態(tài)下初步登記的，這使得能夠進(jìn)行快速矢量比較?？梢酝ㄟ^(guò)利用計(jì)算機(jī)執(zhí)行預(yù)定程序來(lái)實(shí)現(xiàn)提取部、特征獲取部和比較部的功能。 可選地，例如，可以利用安裝在半導(dǎo)體芯片上的硬件來(lái)實(shí)現(xiàn)這些功能的全部或部分處理。在后面所述的實(shí)施例中，利用個(gè)人計(jì)算機(jī)的硬件和軟件來(lái)實(shí)現(xiàn)各個(gè)部的功能。在本發(fā)明中使用自適應(yīng)二值化和輪廓提取來(lái)提取模式。將幾何哈希法進(jìn)行改進(jìn)以用于本發(fā)明的模式識(shí)別。考慮到仿射變換的幾何哈希法的計(jì)算量為O(P4)，其中P是特征點(diǎn)的數(shù)量。而在本發(fā)明中，通過(guò)利用不變量的計(jì)算原理，計(jì)算量可以縮減為0(P2)。借助于利用投票系統(tǒng)的方法，即使在具有網(wǎng)絡(luò)照相機(jī)的筆記本個(gè)人計(jì)算機(jī)上，本發(fā)明也良好地實(shí)時(shí)工作。


圖1是示出作為根據(jù)本發(fā)明的識(shí)別對(duì)象的圖像的一個(gè)示例的說(shuō)明圖。圖2是示出已知的幾何哈希法中用于確定不變坐標(biāo)系的方法的第一說(shuō)明圖。圖3是示出已知的幾何哈希法中用于確定不變坐標(biāo)系的方法的第二說(shuō)明圖。圖4是示出作為根據(jù)本發(fā)明的一種幾何變換的仿射變換的不變量的一個(gè)示例的說(shuō)明圖。圖5是示出根據(jù)本發(fā)明的模式區(qū)域的形狀示例的說(shuō)明圖。圖6是示出根據(jù)本發(fā)明實(shí)施例的用于根據(jù)模式區(qū)域的重心和作為仿射不變量的預(yù)定面積比來(lái)確定第三特征點(diǎn)的第一技術(shù)的說(shuō)明圖。圖7是示出根據(jù)本發(fā)明實(shí)施例的用于根據(jù)模式區(qū)域的重心和作為仿射不變量的預(yù)定面積比來(lái)確定第三特征點(diǎn)的第二技術(shù)的說(shuō)明圖。圖8是示出根據(jù)本發(fā)明實(shí)施例的、在不指定重心作為特征點(diǎn)的情況下根據(jù)作為仿射不變量的預(yù)定面積比來(lái)確定第二特征點(diǎn)的技術(shù)的說(shuō)明圖。圖9是示出包括在根據(jù)本發(fā)明的數(shù)據(jù)庫(kù)中的哈希表的結(jié)構(gòu)的說(shuō)明圖。圖10是示出根據(jù)本發(fā)明的分離字符的描述方法的說(shuō)明圖。圖11是示出根據(jù)本發(fā)明的模式識(shí)別設(shè)備所執(zhí)行的處理的流程的說(shuō)明圖。圖12是示出根據(jù)本發(fā)明的特征矢量的計(jì)算方法的一個(gè)示例的說(shuō)明圖。圖13是示出根據(jù)本發(fā)明的實(shí)施例中姿勢(shì)估計(jì)方法的過(guò)程的一個(gè)示例的說(shuō)明圖。圖14是示出根據(jù)本發(fā)明的實(shí)驗(yàn)所使用的字體和象形圖的一個(gè)示例的說(shuō)明圖。圖15是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例1和2所使用的識(shí)別對(duì)象的紙張的一個(gè)示例的說(shuō)明圖。圖16是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例1的第一結(jié)果的圖，其中，示出相對(duì)于多種字體的累積識(shí)別率。圖17是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例1的第二結(jié)果的圖，其中，示出當(dāng)特征矢量的大小改變時(shí)象形圖的識(shí)別率和處理時(shí)間之間的關(guān)系。圖18是示出在存在幾何變換的情況下拍攝圖1中的作為根據(jù)本發(fā)明的識(shí)別對(duì)象的圖像的狀態(tài)的說(shuō)明圖。圖19是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例2的第一結(jié)果的圖，其中，示出相對(duì)于多種字體的識(shí)別率、拒絕率和錯(cuò)誤率。圖20是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例2的第二結(jié)果的圖，其中，示出相對(duì)于圖14的象形圖的識(shí)別率、拒絕率和錯(cuò)誤率。圖21是示出作為根據(jù)本發(fā)明的實(shí)驗(yàn)例2的識(shí)別對(duì)象的圖像的一個(gè)示例的說(shuō)明圖。圖22是示出在相對(duì)于紙張的角度分別為0度、30度和45度的情況下拍攝到的圖 21中的圖像的說(shuō)明圖。圖23是示出通過(guò)查詢(xún)特征矢量的位反轉(zhuǎn)來(lái)創(chuàng)建新的查詢(xún)特征矢量的說(shuō)明圖。圖M是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中用作識(shí)別對(duì)象的圖像的說(shuō)明圖。圖25是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中進(jìn)行識(shí)別所使用的100種字體的一部分和實(shí)驗(yàn)例4中進(jìn)行識(shí)別所使用的10種字體的說(shuō)明圖。圖沈是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3和4中連接成分的分組處理的示例的說(shuō)明圖。圖27是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中相對(duì)于登記字體數(shù)的識(shí)別率的圖。圖觀是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中針對(duì)每字符的平均處理時(shí)間的圖。圖四是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中相對(duì)于登記字體數(shù)的組數(shù)的圖。圖30是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例3中相對(duì)于登記字體數(shù)的存儲(chǔ)量的圖。圖31是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4所使用的演示系統(tǒng)的概述的說(shuō)明圖。圖32是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4所使用的演示系統(tǒng)中用以確定字符的流程的說(shuō)明圖。圖33是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中不具有文本行但可識(shí)別的文本的一個(gè)示例的說(shuō)明圖。圖34是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4所使用的演示系統(tǒng)中用于獲取單詞區(qū)域的方法的說(shuō)明圖。圖35是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4所使用的演示系統(tǒng)中按估計(jì)出的排列順序的
7圖34的單詞區(qū)域2中的各個(gè)字符的候選的圖。圖36是用于說(shuō)明根據(jù)本發(fā)明的實(shí)驗(yàn)例4所使用的演示系統(tǒng)中沿著涉及“從左向右讀取單詞”規(guī)則的上方向的臨時(shí)過(guò)程的說(shuō)明圖。圖37是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中用作識(shí)別對(duì)象的文本的說(shuō)明圖。圖38是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中針對(duì)每單詞的處理時(shí)間的圖。圖39是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中單詞識(shí)別的結(jié)果的圖。圖40是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中單詞識(shí)別和字符識(shí)別的失敗示例的說(shuō)明圖。圖41是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中基于字符的識(shí)別的識(shí)別率的圖。圖42是示出根據(jù)本發(fā)明的實(shí)驗(yàn)例4中在讀取數(shù)據(jù)庫(kù)時(shí)的存儲(chǔ)量的圖。
具體實(shí)施例方式在以不同的方式表現(xiàn)用以解決前述問(wèn)題的本發(fā)明時(shí)，本發(fā)明涉及一種模式識(shí)別設(shè)備，包括提取處理部(所述提取部)，用于根據(jù)以一個(gè)或多個(gè)模式預(yù)先進(jìn)行了幾何變換的方式獲取到的查詢(xún)圖像，從構(gòu)成所述模式的多個(gè)像素中提取一塊連接成分(所述模式成分)作為模式區(qū)域；特征矢量生成部(所述特征獲取部)，用于針對(duì)基于預(yù)定規(guī)則從一個(gè)模式區(qū)域確定了三個(gè)以上的特征點(diǎn)的各組合，根據(jù)以各自連接獲取到的三個(gè)特征點(diǎn)中的兩個(gè)特征點(diǎn)的兩個(gè)線(xiàn)性獨(dú)立矢量為底邊并且相對(duì)于所述幾何變換保持不變的不變坐標(biāo)系來(lái)生成表示所述模式區(qū)域的圖像特征的特征矢量作為查詢(xún)特征矢量；索引計(jì)算部，用于通過(guò)將預(yù)定哈希函數(shù)應(yīng)用于所生成的查詢(xún)特征矢量來(lái)計(jì)算索引值；比較部，用于針對(duì)作為識(shí)別結(jié)果的候選的多個(gè)參考模式，利用所述索引來(lái)參考將表示各參考模式的形狀的特征的參考特征矢量與相應(yīng)的參考模式相關(guān)聯(lián)并且預(yù)先進(jìn)行存儲(chǔ)且分類(lèi)到多個(gè)區(qū)間中的哈希表，從而對(duì)計(jì)算出索引的查詢(xún)特征矢量與存儲(chǔ)在參考目的地的區(qū)間中的一個(gè)或多個(gè)參考特征矢量進(jìn)行比較；以及模式確定部，用于基于比較來(lái)確定應(yīng)當(dāng)被指定為識(shí)別結(jié)果的參考模式，其中 針對(duì)用于從通過(guò)與所述查詢(xún)特征矢量的過(guò)程相同的過(guò)程確定出的特征點(diǎn)中選擇三個(gè)特征點(diǎn)的各組合生成所述參考特征矢量，所述特征矢量生成部基于確定特征點(diǎn)所應(yīng)用的規(guī)則來(lái)將與所述模式區(qū)域有關(guān)的像素中滿(mǎn)足預(yù)定標(biāo)準(zhǔn)的像素之一確定為第一特征點(diǎn)，將使用與所述模式區(qū)域的形狀有關(guān)的、相對(duì)于所述幾何變換保持不變的特性所確定出的一個(gè)點(diǎn)確定為第二特征點(diǎn)，并且將基于相對(duì)于所述幾何變換保持不變的預(yù)定值以及所述第一特征點(diǎn)和所述第二特征點(diǎn)所確定出的一個(gè)點(diǎn)確定為第三特征點(diǎn)。在上述模式識(shí)別設(shè)備中，基于確定特征點(diǎn)所應(yīng)用的規(guī)則，所述特征矢量生成部將與所述模式區(qū)域有關(guān)的像素中滿(mǎn)足預(yù)定標(biāo)準(zhǔn)的像素之一確定為第一特征點(diǎn)，將使用與所述模式區(qū)域的形狀有關(guān)的特性所確定出的一個(gè)點(diǎn)確定為第二特征點(diǎn)，其中，所述特性相對(duì)于所述幾何變換保持不變，并且將基于相對(duì)于所述幾何變換保持不變的預(yù)定值以及所述第一特征點(diǎn)和所述第二特征點(diǎn)所確定出的一個(gè)點(diǎn)確定為第三特征點(diǎn)。因此，不變坐標(biāo)系的組數(shù)局限于將滿(mǎn)足預(yù)定標(biāo)準(zhǔn)的像素之一確定為第一特征點(diǎn)的組合的數(shù)量。因此，與已知的幾何哈希法相比較，可以大幅縮短處理時(shí)間。以下將說(shuō)明本發(fā)明的優(yōu)選實(shí)施例。所述第一特征點(diǎn)的位置可以在位于所述模式成分的輪廓上的像素中指定。據(jù)此， 提取出模式區(qū)域的輪廓，并且可以確定地將第一特征點(diǎn)確定為輪廓上的一個(gè)點(diǎn)。
所述特性可以是重心相對(duì)于作為所述幾何變換的一種的仿射變換保持不變的特性，以及可以使用所述特性將所述模式成分的重心指定為所述第二特征點(diǎn)的位置。重心是相對(duì)于仿射變換的不變量。據(jù)此，可以將第二特征點(diǎn)唯一確定為對(duì)象模式區(qū)域的重心。所述特性可以是面積比相對(duì)于作為所述幾何變換的一種的仿射變換保持不變的特性，以及所述第三特征點(diǎn)的位置可以根據(jù)所述模式成分的輪廓并且使用所述特性基于以下面積比的預(yù)定值所指定的，其中，所述面積比是所述模式成分的面積相對(duì)于由與所述第一特征點(diǎn)、所述第二特征點(diǎn)和所述第三特征點(diǎn)相對(duì)應(yīng)的頂點(diǎn)所定義的三角形的面積之比。 該面積比是相對(duì)于仿射變換的不變量。據(jù)此，可以根據(jù)預(yù)定的不變量以及第一特征點(diǎn)和第二特征點(diǎn)來(lái)唯一確定第三特征點(diǎn)。所述特征獲取部可以使用以分別連接獲取到的三個(gè)特征點(diǎn)中的兩個(gè)特征點(diǎn)的兩個(gè)線(xiàn)性獨(dú)立矢量為底邊且相對(duì)于所述幾何變換保持不變的坐標(biāo)系來(lái)獲取相對(duì)于所述幾何變換保持不變的特征。所述比較部可以將所述查詢(xún)特征和與相應(yīng)的參考模式有關(guān)且存儲(chǔ)在哈希表中的參考特征進(jìn)行比較，其中，所述哈希表可以具有多個(gè)區(qū)間；各參考特征可以預(yù)先被分類(lèi)并存儲(chǔ)到通過(guò)根據(jù)該參考特征計(jì)算預(yù)定哈希函數(shù)所確定出的區(qū)間之一中；并且所述比較部可以使用通過(guò)根據(jù)獲取到的查詢(xún)特征計(jì)算所述哈希函數(shù)所獲得的索引來(lái)參考適當(dāng)?shù)膮^(qū)間，以進(jìn)行所述比較。據(jù)此，可以利用所述哈希表來(lái)比較與查詢(xún)特征矢量相對(duì)應(yīng)的參考特征矢量，以使得可以在短的時(shí)間段內(nèi)進(jìn)行查詢(xún)特征矢量和參考特征矢量之間的比較。所述模式確定部可以基于所述特征矢量生成部針對(duì)所述查詢(xún)圖像的模式區(qū)域所確定出的特征點(diǎn)的坐標(biāo)與存儲(chǔ)在所述哈希表中的特征點(diǎn)的坐標(biāo)之間的對(duì)應(yīng)關(guān)系來(lái)估計(jì)所述模式區(qū)域的姿勢(shì)，從而通過(guò)對(duì)各次估計(jì)進(jìn)行多數(shù)決定原則來(lái)估計(jì)所述查詢(xún)圖像的姿勢(shì)。 據(jù)此，可以基于特征點(diǎn)的坐標(biāo)的對(duì)應(yīng)關(guān)系來(lái)估計(jì)獲取到的查詢(xún)圖像的姿勢(shì)，由此可以校正查詢(xún)圖像的幾何失真，并且與沒(méi)有進(jìn)行該校正的情況相比，可以以較高的精度進(jìn)行匹配。所述模式確定部可以具有存儲(chǔ)至少一個(gè)離散模式組的離散模式表，其中，各離散模式與所述參考模式之一相對(duì)應(yīng)并且各離散模式組提供一個(gè)識(shí)別結(jié)果；所述模式確定部可以參考所述離散模式表來(lái)判斷所述候選中確定出的特定參考模式與離散模式組中的一個(gè)離散模式之間是否存在對(duì)應(yīng)關(guān)系；以及當(dāng)存在所述對(duì)應(yīng)關(guān)系，并且之前已確定與該離散模式組中的其它離散模式的對(duì)應(yīng)關(guān)系存在時(shí)，所述模式確定部可以將由與確定出的特定參考模式相對(duì)應(yīng)的離散模式所屬的離散模式組所提供的識(shí)別結(jié)果確定為識(shí)別結(jié)果。據(jù)此，可以針對(duì)離散模式確定識(shí)別結(jié)果。所述離散模式表可以存儲(chǔ)該離散模式組中一個(gè)離散模式相對(duì)于另一離散模式的相對(duì)位置，并且當(dāng)另一確定出的特定參考模式位于由所存儲(chǔ)的、相對(duì)于與一個(gè)確定出的特定參考模式相對(duì)應(yīng)的離散模式的相對(duì)位置所指定的位置時(shí)，所述模式確定部可以確定識(shí)別結(jié)果。據(jù)此，考慮到離散模式和與其組合有關(guān)的另一模式之間的位置關(guān)系，可以以較高的精度確定識(shí)別結(jié)果。在所述模式識(shí)別設(shè)備中，所述查詢(xún)圖像可以包括包含多個(gè)字符的單詞模式，并且所述模式識(shí)別設(shè)備還可以包括單詞候選確定部，用于獲得對(duì)所述模式確定部識(shí)別出的各字符追蹤一次的最短的路徑，并且確定所獲得的路徑的順序和逆序作為所述單詞的候選； 旋轉(zhuǎn)角確定部，用于獲得各字符相對(duì)于所述查詢(xún)圖像的預(yù)定方向的旋轉(zhuǎn)角；以及讀取順序確定部，其中，將按所述路徑的順序或逆序彼此相鄰的兩個(gè)字符之間的旋轉(zhuǎn)角之差指定為第一評(píng)價(jià)指標(biāo)，基于朝著與位于各候選的任一端的第一字符相鄰的第二字符的方向以及與讀取方向有關(guān)的預(yù)定規(guī)則來(lái)估計(jì)所述第一字符應(yīng)當(dāng)具有的旋轉(zhuǎn)角，并且將估計(jì)出的旋轉(zhuǎn)角與所述旋轉(zhuǎn)角確定部所確定出的所述第一字符的旋轉(zhuǎn)角之差指定為第二評(píng)價(jià)指標(biāo)，選擇使所述第一評(píng)價(jià)指標(biāo)和所述第二評(píng)價(jià)指標(biāo)最小的候選，從而確定構(gòu)成單詞的字符的讀取順序。據(jù)此，可以進(jìn)行單詞識(shí)別，其中，該單詞識(shí)別適用于以下的語(yǔ)言如英語(yǔ)那樣在特定單詞與其它單詞之間以空格進(jìn)行分離，并且根據(jù)預(yù)定讀取方向、例如根據(jù)從左向右書(shū)寫(xiě)單詞的規(guī)則來(lái)讀取單詞。 這里例示的各種優(yōu)選實(shí)施例可以進(jìn)行相互組合。
將說(shuō)明本發(fā)明和以下所述的實(shí)施例之間的對(duì)應(yīng)關(guān)系。在本發(fā)明中，查詢(xún)圖像與如后面所述的圖1所示的包含多個(gè)字符或標(biāo)記的薄片相對(duì)應(yīng)。模式成分是與連接成分相對(duì)應(yīng)的詞語(yǔ)。在本發(fā)明中，查詢(xún)特征是表示查詢(xún)圖像的各模式成分的特性的矢量值。在本發(fā)明中，參考模式與表示字符識(shí)別時(shí)的各字符的連接成分相對(duì)應(yīng)。例如，參考模式與后面所述的圖14(a)中的各字符、圖14(b)中的各象形圖以及圖10的分離字符表第 1列(并非第2列)上的各模式相對(duì)應(yīng)。參考特征表示各參考模式的特征，并且與查詢(xún)特征進(jìn)行比較(匹配)。離散模式表與后面所述的圖10中的分離字符表相對(duì)應(yīng)。在圖10的例子中，離散模式表包括構(gòu)成字符(j)的組和構(gòu)成字符(i)的組。在本發(fā)明中，離散模式例如與圖10的分離字符表中第1列(并非第2列)上的各模式相對(duì)應(yīng)。將參考附圖更詳細(xì)地說(shuō)明本發(fā)明。以下說(shuō)明的所有方面都應(yīng)當(dāng)被看作為示例性的并且不限制本發(fā)明。1.本發(fā)明的前提在詳細(xì)說(shuō)明本發(fā)明之前，首先將說(shuō)明本發(fā)明的前提。根據(jù)該技術(shù)領(lǐng)域內(nèi)的傳統(tǒng)研究，為了簡(jiǎn)化而假定在白色紙張上書(shū)寫(xiě)黑色字符?！昂谏眱H是示例性的，并且根據(jù)本發(fā)明， 可以指定具有能夠與背景區(qū)分開(kāi)的預(yù)定顏色和/或濃度的像素塊以及具有在預(yù)定范圍內(nèi)的顏色和/或濃度的像素塊作為模式區(qū)域。為了方便，將構(gòu)成模式區(qū)域的像素稱(chēng)為“黑色像素”。由于利用照相機(jī)來(lái)拍攝字符圖像，因此這些字符圖像可能存在射影失真并且可能因散焦和低分辨率而劣化。然而，假定利用簡(jiǎn)單的處理可以提取字符的連接成分、即形成圖像中黑色像素彼此相鄰的塊的成分。還假定該圖像中的所有字符都存在于同一平面上。在本發(fā)明中，要解決的問(wèn)題有三個(gè)⑴快速識(shí)別所提取出的連接成分，( )提高識(shí)別的魯棒性，(iii)識(shí)別諸如“i”和“j”等的包括多于一個(gè)的連接成分的分離字符。對(duì)于⑴快速識(shí)別，在以下第2節(jié)中將說(shuō)明如下的快速識(shí)別方法，在該快速識(shí)別方法中，將幾何哈希法適用于連接成分的匹配，并且利用了幾何不變量計(jì)算原理。對(duì)于(ii) 提高識(shí)別的魯棒性，在以下第4節(jié)中將說(shuō)明考慮到連接成分的姿勢(shì)的識(shí)別方法。對(duì)于(iii) 識(shí)別分離字符，以下第3節(jié)所述的技術(shù)解決了該問(wèn)題。2. fTi午將/1 , ^ 用于本發(fā)日月Pi實(shí)現(xiàn),高諫度的改講2. 1幾何哈希法幾何哈希法是通過(guò)使用不變量坐標(biāo)系來(lái)描述和檢索存在一定幾何失真的圖像的強(qiáng)有力的方法。為了說(shuō)明本發(fā)明提出的幾何哈希法的改進(jìn)方法，將簡(jiǎn)要說(shuō)明幾何哈希法。如需詳細(xì)說(shuō)明請(qǐng)參見(jiàn)以下所述的文獻(xiàn)Y. Lamdan and H. J. ffolfson, "Geometric hashing -.a general and efficient model-based recognition scheme. "Proc. ICCV1988, pp.238-249,1988。2. 1. 1存儲(chǔ)處理存儲(chǔ)參考圖像。假設(shè)具有從參考圖像中提取出的特征點(diǎn)。隨機(jī)選擇這些特征點(diǎn)中的三個(gè)特征點(diǎn)，并且如圖2(a)所示，考慮到所選擇的特征點(diǎn)的順序來(lái)定義兩個(gè)底邊 (base)。然后，通過(guò)使用這兩個(gè)底邊如圖2(b)所示來(lái)創(chuàng)建新的坐標(biāo)系，并且將這些特征點(diǎn)投影到該新的坐標(biāo)系上。由于即使圖像經(jīng)過(guò)了仿射變換也可以以相同的方式創(chuàng)建該坐標(biāo)系，因此該坐標(biāo)系是仿射不變坐標(biāo)系。當(dāng)如圖2(b)所示將該仿射不變坐標(biāo)系分成多個(gè)子區(qū)域時(shí)，各子區(qū)域與二維哈希表的區(qū)間(bin)相對(duì)應(yīng)。將圖像ID和底邊組ID存儲(chǔ)在各特征點(diǎn)所存在的各區(qū)間中。對(duì)所有可能的底邊執(zhí)行該處理，由此完成一個(gè)參考圖像的存儲(chǔ)。在存儲(chǔ)了所有的參考圖像之后該存儲(chǔ)處理完成。創(chuàng)建仿射不變坐標(biāo)系需要0(P3)的計(jì)算量， 并且投影特征點(diǎn)需要O(P)的計(jì)算量，由此使得存儲(chǔ)一個(gè)參考圖像的計(jì)算量為0(P4)。這里，O(P)或0(P3)是用于解決問(wèn)題的粗略計(jì)算量的描述方法，其中，在P確定時(shí)， O(P)表示計(jì)算量落入P的一次方的量級(jí)內(nèi)，即該計(jì)算量不大于aP+b，而0(P3)表示計(jì)算量落入P的三次方的量級(jí)內(nèi)，即不大于aP3+bP2+cP+d。這里，a、b、c和d為常數(shù)。這同樣適用于0(P4)和其它情況。2. 1. 2檢索處理檢索處理的初始階段與存儲(chǔ)處理的初始階段幾乎相同。假設(shè)具有從查詢(xún)圖像提取出的特征點(diǎn)。選擇這些特征點(diǎn)中的三個(gè)特征點(diǎn)，并且如圖2(a)所示，考慮到所選擇的特征點(diǎn)的順序來(lái)定義兩個(gè)底邊。然后，通過(guò)使用這兩個(gè)底邊來(lái)創(chuàng)建仿射不變坐標(biāo)系。該仿射不變坐標(biāo)系在存儲(chǔ)處理期間被分成多個(gè)子區(qū)域，其中各子區(qū)域與二維哈希表的區(qū)間相對(duì)應(yīng)。從各特征點(diǎn)所存在的各區(qū)間中提取所存儲(chǔ)的圖像ID和底邊組ID，并且對(duì)圖像ID和底邊組ID 進(jìn)行投票(投票表為二維形式)。針對(duì)所有底邊組執(zhí)行以上過(guò)程，從而確定得票數(shù)最高的圖像ID和底邊組ID。輸出該對(duì)的圖像ID作為檢索結(jié)果。如果對(duì)所有底邊組執(zhí)行該過(guò)程之前輸出圖像是顯而易見(jiàn)的，則可以退出該處理。創(chuàng)建仿射不變坐標(biāo)系需要0(P3)的計(jì)算量，并且投影特征點(diǎn)需要O(P)的計(jì)算量，由此使得總計(jì)算量為0(P4)。2. 2所提出的幾何哈希法的改進(jìn)2.2.1問(wèn)題定義的差異本發(fā)明涉及幾何哈希法的改進(jìn)。在說(shuō)明本發(fā)明之前，將說(shuō)明幾何哈希法和本發(fā)明之間在問(wèn)題定義方面的差異。幾何哈希法解決的問(wèn)題是當(dāng)給出特征點(diǎn)時(shí)，僅利用這些特征點(diǎn)的配置來(lái)識(shí)別對(duì)象。具體地，幾何哈希法不考慮特征點(diǎn)是從何處提取的。相反，在本發(fā)明中，當(dāng)給出圖形時(shí)，通過(guò)使用從該圖形中獲取到的特征點(diǎn)的配置和該圖形的特征這兩者來(lái)識(shí)別該圖形。具體地，通過(guò)對(duì)模式區(qū)域應(yīng)用預(yù)定規(guī)則來(lái)確定該圖形。因此，可以使用諸如從圖形獲取到的邊角或拐點(diǎn)等的、即使經(jīng)過(guò)了幾何變換也不改變的點(diǎn)作為特征點(diǎn)，但在本發(fā)明中，原則上指定位于圖形的輪廓上的像素作為特征點(diǎn)。后面將說(shuō)明利用該處理的該方法與幾何哈希法有何不同。2. 2. 2計(jì)算量的縮減幾何哈希法的缺點(diǎn)是計(jì)算量巨大。對(duì)于數(shù)量為P的檢索處理，幾何哈希法的仿射不變版本需要的計(jì)算量為0 (P4)。如果有100個(gè)點(diǎn)，則所需的計(jì)算量為0(100，000，000)。這
意味著幾何哈希法從未應(yīng)用于實(shí)時(shí)應(yīng)用。另一方面，如果使用所提出的方法，則在考慮計(jì)算量最小的仿射變換的情況下，可以將計(jì)算量縮減為0(P2)。以下將說(shuō)明幾何哈希法所需的計(jì)算量非常大的原因(參見(jiàn)M. Iwamura， Τ.Nakai and K. Kise,"Improvement of retrieval speed and required amount of memory for geometric hashing by combining local invariants, Proc. BMVC2997, ” Vol. 2. pp. 1010-1019, Sept. 2007)。在幾何哈希法中，為了實(shí)現(xiàn)成功的檢索，存儲(chǔ)處理所使用的底邊的組必須在檢索處理中經(jīng)過(guò)計(jì)算。然而，在該計(jì)算完成之前無(wú)法確定存儲(chǔ)處理期間的底邊的組與檢索處理期間的底邊的組是否一致，由此幾何哈希法必須通過(guò)檢查所有的(或許多的)底邊的組來(lái)搜索對(duì)應(yīng)關(guān)系。如果可以在存儲(chǔ)處理和檢索處理中選擇同一底邊，則可以縮減計(jì)算量。考慮到該情況，在所提出的幾何哈希法的改進(jìn)中，在存儲(chǔ)處理和檢索處理中選擇相同的特征點(diǎn)，以便縮減計(jì)算相同的底邊組所需的計(jì)算量。將說(shuō)明本發(fā)明中用于選擇特征點(diǎn)以縮減計(jì)算量的方法。首先將說(shuō)明仿射變換中選擇三個(gè)點(diǎn)的方法作為一個(gè)例子。在仿射變換中，存儲(chǔ)圖形的重心，以指定該重心作為第一特征點(diǎn)(無(wú)法保證重心存在于輪廓上，但這不是問(wèn)題)。與幾何哈希法相同，適當(dāng)選擇第二點(diǎn)。根據(jù)以前獲取到的兩個(gè)點(diǎn)和以下所述的不變量的特性自動(dòng)確定第三點(diǎn)。首先，將利用作為最簡(jiǎn)單例子的圖4的例子來(lái)說(shuō)明不變量的特性。當(dāng)如圖4所示在一條直線(xiàn)上給出三個(gè)點(diǎn)A、B和C時(shí)，AB/AC是針對(duì)仿射變換不存在變化的不變量。通常根據(jù)點(diǎn)的坐標(biāo)來(lái)計(jì)算不變量的值。另一方面，在本發(fā)明中，利用不變量的值以及A和B的坐標(biāo)來(lái)確定C的坐標(biāo)。 假定A、B和C位于同一直線(xiàn)上，其中C可以位于A的左側(cè)或B的右側(cè)。如果預(yù)先定義了諸如“以A、B和C按該順序位于同一直線(xiàn)上的方式來(lái)確定C”等的用于確定C的方法，則可以唯一地確定C的位置。該原理的一般形式是“如果已知不變量的值和η個(gè)點(diǎn)的坐標(biāo)中η-1 個(gè)點(diǎn)的坐標(biāo)，則可以確定剩余的點(diǎn)(第η點(diǎn))”。這種唯一地確定用于創(chuàng)建底邊的特征點(diǎn)的位置有助于縮減計(jì)算量。由于唯一確定了兩個(gè)點(diǎn)，因此該過(guò)程使計(jì)算量從0(P4)縮減為0(Ρ2)。然而，以上過(guò)程確定了三個(gè)點(diǎn)存在于同一直線(xiàn)上，從而導(dǎo)致不能利用第三點(diǎn)來(lái)創(chuàng)建相對(duì)于在第一點(diǎn)和第二點(diǎn)處所創(chuàng)建的底邊線(xiàn)性獨(dú)立的底邊(要注意，可以向后面所述的特征矢量添加第三點(diǎn)，以用于計(jì)算后面所述的哈希索引)。以下將說(shuō)明用以確定圖5所示的面積為&的圖形的第三點(diǎn)的另一方法。根據(jù)該方法，可以創(chuàng)建相對(duì)于在第一點(diǎn)和第二點(diǎn)處所創(chuàng)建的底邊線(xiàn)性獨(dú)立的底邊。表1示出仿射變換中所存儲(chǔ)的特性。^ 1仿射變換中所存儲(chǔ)的特性
特性1將直線(xiàn)存儲(chǔ)為直線(xiàn)。特性2存儲(chǔ)圖形的重心。特性3存儲(chǔ)由同一直線(xiàn)上的三個(gè)點(diǎn)所創(chuàng)建的線(xiàn)段比。
12特性4 存儲(chǔ)兩個(gè)區(qū)域的面積比。詵擇特征點(diǎn)的方法1假設(shè)如圖6所示給出三個(gè)特征點(diǎn)。假設(shè)穿過(guò)第一點(diǎn)和第二點(diǎn)的半直線(xiàn)以及穿過(guò)第一點(diǎn)和第三點(diǎn)的半直線(xiàn)，其中將從該圖形提取出的面積指定為Si。在這種情況下，根據(jù)表1 的特性4，S1ZX變?yōu)榉律洳蛔兞康闹怠Ｒ虼?，可以以使S1ZX等于預(yù)定值的方式來(lái)確定第三點(diǎn)。為了唯一確定第三點(diǎn)，可以使用順時(shí)針順序或逆時(shí)針順序。詵擇特征點(diǎn)的方法2與方法1相同，假設(shè)如圖7所示給出三個(gè)特征點(diǎn)。當(dāng)將由三個(gè)特征點(diǎn)所形成的三角形的面積指定SS1時(shí)，根據(jù)表1的特性4，S1Z^變?yōu)榉律洳蛔兞康闹?。因此，可以以Hs1/ &等于預(yù)定值的方式來(lái)確定第三點(diǎn)。S1Z^不總是局限于預(yù)定值，還可以是最大值或最小值。 為了唯一確定第三點(diǎn)，可以使用順時(shí)針順序或逆時(shí)針順序。當(dāng)考慮以S1恒定的方式確定第三點(diǎn)時(shí)，如圖7所示，第三點(diǎn)的軌跡是與通過(guò)第一點(diǎn)和第二點(diǎn)的直線(xiàn)平行的直線(xiàn)。因此，可以容易地將第三點(diǎn)確定為該直線(xiàn)和外部輪廓的交點(diǎn)，這意味著可以容易地計(jì)算出第三點(diǎn)。 如果存在多個(gè)交點(diǎn)，則例如還可以將更靠近第二點(diǎn)的點(diǎn)作為第三點(diǎn)?？梢酝ㄟ^(guò)與上述方法不同的方法來(lái)確定最初的兩個(gè)點(diǎn)。具體地，與幾何哈希法相同，從P個(gè)點(diǎn)中適當(dāng)選擇第一點(diǎn)，并且利用面積比來(lái)確定第二點(diǎn)。當(dāng)如圖8所示給出兩個(gè)特征點(diǎn)時(shí)，面積比S1ZiStl變?yōu)榉律洳蛔兞康闹?。因此，可以以使S1ZiStl等于預(yù)定值的方式來(lái)確定
~-點(diǎn)。2.2.3圖形的特征的使用在幾何哈希法中，將圖像ID和底邊組ID存儲(chǔ)在數(shù)據(jù)庫(kù)中。另一方面，在本發(fā)明中， 代替底邊組ID，存儲(chǔ)根據(jù)圖像計(jì)算出的特征矢量和用于創(chuàng)建底邊的特征點(diǎn)的坐標(biāo)(參見(jiàn)圖 9)。使用根據(jù)圖像計(jì)算出的特征矢量的原因是圖像的特征的表現(xiàn)力更高。在幾何哈希法的問(wèn)題定義中，僅給出了從檢索對(duì)象提取出的特征點(diǎn)的坐標(biāo)。然而，在本實(shí)施例的問(wèn)題中，給出了作為檢索對(duì)象的圖形本身。因此，可以使用從圖形提取出的特征矢量。存儲(chǔ)用于創(chuàng)建底邊的特征矢量的坐標(biāo)的原因是可以通過(guò)在后面所述的投票處理期間使用這些坐標(biāo)來(lái)提高姿勢(shì)的估計(jì)精度和識(shí)別精度。為了專(zhuān)門(mén)描述根據(jù)本發(fā)明的模式識(shí)別的代表例子的字符識(shí)別，以下將“圖像ID”稱(chēng)為“字符ID”。將“檢索”稱(chēng)為“識(shí)別”。將“模式識(shí)別設(shè)備”稱(chēng)為“字符識(shí)別設(shè)備”。3.分離字符的識(shí)別在前一節(jié)中，已說(shuō)明了用于高速識(shí)別包括單個(gè)連接成分的字符的方法。在本節(jié)中， 將說(shuō)明諸如“i”和“j”等的包括多于一個(gè)的連接成分的分離字符的識(shí)別方法。圖10是示出根據(jù)本發(fā)明的分離字符的描述方法的說(shuō)明圖。圖10(a)示出利用構(gòu)成分離字符的各連接成分的面積和表示這些成分的相對(duì)位置的矢量來(lái)說(shuō)明分離字符。圖 10(b)示出用于描述分離字符的分離字符表的一個(gè)例子。為了處理分離字符，在參考圖像的存儲(chǔ)處理中，對(duì)圖像內(nèi)的連接成分的數(shù)量進(jìn)行計(jì)數(shù)。對(duì)于包含兩個(gè)以上的連接成分的參考圖像，將各連接成分作為不同的字符進(jìn)行處理，單獨(dú)存儲(chǔ)各連接成分，并且將各連接成分登記到圖10(b)的分離字符表中。
該表存儲(chǔ)有字符的連接成分之間的相對(duì)位置和大小以識(shí)別分離字符，其中，可以通過(guò)在識(shí)別期間檢查預(yù)定連接成分是否存在于預(yù)定位置處來(lái)識(shí)別分離字符。圖10(b)的分離字符表包括5個(gè)元素，其中這5個(gè)元素從左端起順次被編號(hào)為第一元素 第五元素。第一元素表示連接成分的形狀和/或連接成分的數(shù)量。第二元素表示包含連接成分的分離字符。第三元素是表示連接成分的相對(duì)位置的矢量。第四元素表示連接成分的面積。第五元素表示應(yīng)當(dāng)成組的連接成分的面積。在Arial字體的情況下，“ i ”的下部連接成分具有“ I (大寫(xiě)ai) ”和“1(小寫(xiě)el)，， 的相同形狀，并且這兩者難以區(qū)分。因而，為了正確地識(shí)別“i”，必須檢查諸如“I”和“1”等的相同形狀的各連接成分是否是“i”的一部分。如果“i”的上部連接成分以正確的位置和大小存在，則將該組連接部分識(shí)別為“ i ”，否則將其識(shí)別為“ I ”或“ 1 ”。為了實(shí)現(xiàn)以上處理，相同形狀的所有連接成分被存儲(chǔ)為具有相同的連接成分ID。 即，逐一進(jìn)行參考圖像的存儲(chǔ)，并且針對(duì)各圖像檢查是否已登記相同形狀的連接成分。更詳細(xì)地，在存儲(chǔ)參考圖像之前，使用創(chuàng)建過(guò)程中的數(shù)據(jù)庫(kù)進(jìn)行識(shí)別，并且如果找到了相同形狀的連接成分，則分配相同的連接成分ID。理想地，“i”、“I”和“1”的下部連接成分具有相同的連接成分ID。然而，該方法與以下所述的生成型學(xué)習(xí)法的相關(guān)性變差，并且一部分連接成分不具有相同的連接成分ID。因此，在本實(shí)施例中，根據(jù)表2所示的類(lèi)似字符列表來(lái)手動(dòng)設(shè)置連接成分ID。4.考虎到連接成分的姿勢(shì)的樽式識(shí)別圖11示出根據(jù)本發(fā)明的模式識(shí)別設(shè)備的概述。該設(shè)備大致包括圖像存儲(chǔ)部11和圖像識(shí)別部13。根據(jù)本發(fā)明的字符識(shí)別設(shè)備包括至少可訪問(wèn)數(shù)據(jù)庫(kù)15的圖像識(shí)別部13。 以下將說(shuō)明各個(gè)部。4.1圖像存儲(chǔ)部在圖像存儲(chǔ)部11中，將參考圖像存儲(chǔ)在數(shù)據(jù)庫(kù)15中。假定參考圖像是二值圖像。4. 1. 1劣化圖像的生成為了應(yīng)對(duì)由散焦和低分辨率所引起的劣化，采用對(duì)參考圖像應(yīng)用高斯(Gaussian) 模糊的生成型學(xué)習(xí)法(參見(jiàn) H. Ishida，S. Yanadume，T. Takahasi, I. Ide, Y. Mekada and H. Murase, "Recognition of low-resolution characters by a generative learning method，”P(pán)roc.CBDAR2005，pp. 45-51,2005)。將原始圖像的位置(x，y)處的像素的亮度定義為ItlO^y),通過(guò)以下的數(shù)學(xué)式給出所生成的劣化圖像的位置(x，y)處的亮度Ig(x，y)。數(shù)學(xué)式權(quán)利要求
1.一種模式識(shí)別設(shè)備，包括提取部，用于從包括至少一個(gè)模式成分且預(yù)先經(jīng)過(guò)幾何變換的查詢(xún)圖像中提取模式成分；特征獲取部，用于獲取所述模式成分的相對(duì)于所述幾何變換保持不變的特征作為查詢(xún)特征，其中，所述查詢(xún)特征由包括各自位于所述模式成分上并且基于預(yù)定的規(guī)則從所述模式成分中檢索到的第一特征點(diǎn)、第二特征點(diǎn)和第三特征點(diǎn)的至少三個(gè)特征點(diǎn)來(lái)表示；比較部，用于將所述查詢(xún)特征與多個(gè)參考特征進(jìn)行比較，其中，所述參考特征各自表示被準(zhǔn)備作為模式識(shí)別的候選的不同的參考模式；以及模式確定部，用于基于進(jìn)行比較的特征之間的類(lèi)似度來(lái)確定所述候選中的特定參考模式作為識(shí)別結(jié)果，其中，各參考特征是使用基于與所述查詢(xún)特征的規(guī)則相同的規(guī)則從各參考模式檢索到的特征點(diǎn)來(lái)表示的，以及基于所述規(guī)則，在位于所述模式成分上且相對(duì)于所述幾何變換保持不變的點(diǎn)中指定所述第一特征點(diǎn)的位置，使用與所述模式成分的形狀有關(guān)且相對(duì)于所述幾何變換保持不變的特性來(lái)指定所述第二特征點(diǎn)的位置，并且根據(jù)相對(duì)于所述幾何變換保持不變的預(yù)定值以及所指定的所述第一特征點(diǎn)和所述第二特征點(diǎn)的位置來(lái)指定所述第三特征點(diǎn)的位置。
2.根據(jù)權(quán)利要求1所述的模式識(shí)別設(shè)備，其特征在于，在位于所述模式成分的輪廓上的像素中指定所述第一特征點(diǎn)的位置。
3.根據(jù)權(quán)利要求1或2所述的模式識(shí)別設(shè)備，其特征在于，所述特性是重心相對(duì)于作為一種所述幾何變換的仿射變換保持不變的特性，以及使用所述特性將所述模式成分的重心指定為所述第二特征點(diǎn)的位置。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的模式識(shí)別設(shè)備，其特征在于，所述特性是面積比相對(duì)于作為一種所述幾何變換的仿射變換保持不變的特性，以及根據(jù)所述模式成分的輪廓并且使用所述特性基于以下面積比的預(yù)定值來(lái)指定所述第三特征點(diǎn)的位置，其中，所述面積比是所述模式成分的面積相對(duì)于由與所述第一特征點(diǎn)、所述第二特征點(diǎn)和所述第三特征點(diǎn)相對(duì)應(yīng)的頂點(diǎn)所定義的三角形的面積之比。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的模式識(shí)別設(shè)備，其特征在于，所述特征獲取部使用以分別連接獲取到的三個(gè)特征點(diǎn)中的兩個(gè)特征點(diǎn)的兩個(gè)線(xiàn)性獨(dú)立矢量為底邊且相對(duì)于所述幾何變換保持不變的坐標(biāo)系來(lái)獲取相對(duì)于所述幾何變換保持不變的特征。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的模式識(shí)別設(shè)備，其特征在于，所述比較部將所述查詢(xún)特征和與相應(yīng)的參考模式有關(guān)且存儲(chǔ)在哈希表中的參考特征進(jìn)行比較，其中，所述哈希表具有多個(gè)區(qū)間；各參考特征預(yù)先被分類(lèi)并存儲(chǔ)到通過(guò)根據(jù)參考特征計(jì)算預(yù)定的哈希函數(shù)所確定出的區(qū)間之一中；以及針對(duì)每次比較，所述比較部使用通過(guò)根據(jù)獲取到的查詢(xún)特征計(jì)算所述哈希函數(shù)所獲得的索引來(lái)參考適當(dāng)?shù)膮^(qū)間。
7.根據(jù)權(quán)利要求6所述的模式識(shí)別設(shè)備，其特征在于，2各參考特征存儲(chǔ)在與獲取到的三個(gè)特征點(diǎn)的坐標(biāo)數(shù)據(jù)有關(guān)且與對(duì)應(yīng)于所述參考特征的參考模式的識(shí)別符有關(guān)的區(qū)間中；以及所述模式確定部基于與所述查詢(xún)特征有關(guān)的各坐標(biāo)數(shù)據(jù)相對(duì)于與存儲(chǔ)在所參考的區(qū)間中的各參考特征有關(guān)的各坐標(biāo)數(shù)據(jù)的匹配，并且基于所述匹配的多數(shù)決定原則，來(lái)估計(jì)所述查詢(xún)圖像的姿勢(shì)。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的模式識(shí)別設(shè)備，其特征在于，所述模式確定部具有存儲(chǔ)有至少一個(gè)離散模式組的離散模式表，其中，各離散模式與所述參考模式之一相對(duì)應(yīng)并且各離散模式組提供一個(gè)識(shí)別結(jié)果；所述模式確定部參考所述離散模式表，以判斷從所述候選中確定出的特定參考模式與離散模式組中的一個(gè)離散模式之間是否存在對(duì)應(yīng)關(guān)系；并且當(dāng)存在所述對(duì)應(yīng)關(guān)系且之前已確定與該離散模式組的其它離散模式的對(duì)應(yīng)關(guān)系存在時(shí)，所述模式確定部將由與確定出的特定參考模式相對(duì)應(yīng)的離散模式所屬的離散模式組所提供的識(shí)別結(jié)果確定為識(shí)別結(jié)果。
9.根據(jù)權(quán)利要求8所述的模式識(shí)別設(shè)備，其特征在于，所述離散模式表存儲(chǔ)離散模式組中一個(gè)離散模式相對(duì)于另一離散模式的相對(duì)位置，以及當(dāng)另一確定出的特定參考模式位于由所存儲(chǔ)的、相對(duì)于與一個(gè)確定出的特定參考模式相對(duì)應(yīng)的離散模式的相對(duì)位置所指定的位置時(shí)，所述模式確定部確定識(shí)別結(jié)果。
10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的模式識(shí)別設(shè)備，其特征在于所述查詢(xún)圖像包括包含多個(gè)字符的單詞模式，以及所述模式識(shí)別設(shè)備還包括單詞候選確定部，用于獲得對(duì)所述模式確定部識(shí)別出的各字符追蹤一次的最短的路徑，并且確定所獲得的路徑的順序和逆序作為單詞的候選；旋轉(zhuǎn)角確定部，用于獲得各字符相對(duì)于所述查詢(xún)圖像的預(yù)定方向的旋轉(zhuǎn)角；以及讀取順序確定部，其中，將按所述路徑的順序或逆序彼此相鄰的兩個(gè)字符之間的旋轉(zhuǎn)角之差指定為第一評(píng)價(jià)指標(biāo)，基于朝著與位于各候選的任一端的第一字符相鄰的第二字符的方向以及與讀取方向有關(guān)的預(yù)定規(guī)則來(lái)估計(jì)所述第一字符應(yīng)當(dāng)具有的旋轉(zhuǎn)角，并且將估計(jì)出的旋轉(zhuǎn)角與所述旋轉(zhuǎn)角確定部所確定出的所述第一字符的旋轉(zhuǎn)角之差指定為第二評(píng)價(jià)指標(biāo)，選擇使所述第一評(píng)價(jià)指標(biāo)和所述第二評(píng)價(jià)指標(biāo)最小的候選，從而確定構(gòu)成單詞的字符的讀取順序。
全文摘要
一種模式識(shí)別裝置，按照如下進(jìn)行配置從已經(jīng)過(guò)幾何變換的查詢(xún)圖像提取模式元素，獲取模式元素中由模式元素的三個(gè)特征點(diǎn)所表示且相對(duì)于幾何變換保持不變的特征作為查詢(xún)特征，將分別表示參考模式的特征的多個(gè)參考特征與查詢(xún)特征進(jìn)行比較，并將利用上述比較所指定的參考模式確定為識(shí)別結(jié)果，其中，使用根據(jù)規(guī)則從各參考模式確定出的特征點(diǎn)來(lái)表示各參考特征，第一特征點(diǎn)的位置是在位于模式元素中且相對(duì)于幾何變換保持不變的點(diǎn)處所指定的，第二特征點(diǎn)的位置是使用與模式元素的形狀有關(guān)且相對(duì)于幾何變換保持不變的性質(zhì)所指定的，并且第三特征點(diǎn)的位置是根據(jù)相對(duì)于幾何變換保持不變的指定量以及所確定出的第一特征點(diǎn)和第二特征點(diǎn)的位置所指定的。
文檔編號(hào)G06T7/00GK102388392SQ201080016158
公開(kāi)日2012年3月21日 申請(qǐng)日期2010年2月9日 優(yōu)先權(quán)日2009年2月10日
發(fā)明者巖村雅一, 黃瀨浩一 申請(qǐng)人:公立大學(xué)法人大阪府立大學(xué)