從場景圖像中自動(dòng)提取路牌圖像的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息處理領(lǐng)域，具體涉及從場景圖像中自動(dòng)提取路牌圖像的方法和裝 置。
【背景技術(shù)】
[0002] 近年來，具有攝像功能的移動(dòng)裝置越來越普及，從而非常便于拍攝自然場景圖像。 路牌作為一種常見的信息指示牌而廣泛出現(xiàn)在各種場景中。例如，游客可能通過拍攝包括 路牌的圖像來讀取地址，然后翻譯地址文本。通過帶有提取功能、識(shí)別功能和翻譯功能的移 動(dòng)裝置能夠自動(dòng)進(jìn)行整個(gè)過程。在這種過程中，路牌圖像提取是重要的步驟，這將決定最終 的性能。
[0003] 因此，需要一種能夠更好地提取路牌圖像的技術(shù)。

【發(fā)明內(nèi)容】

[0004] 在下文中給出關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理 解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān) 鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念， 以此作為稍后論述的更詳細(xì)描述的前序。
[0005] 本發(fā)明的一個(gè)主要目的在于，提供一種從場景圖像中自動(dòng)提取路牌圖像的方法和 裝直。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種從場景圖像中自動(dòng)提取路牌圖像的方法，該 方法包括：從場景圖像中識(shí)別至少一個(gè)標(biāo)志字符；根據(jù)包含至少一個(gè)標(biāo)志字符的標(biāo)志字符 圖像區(qū)域來估計(jì)標(biāo)志字符顏色和路牌圖像的路牌背景顏色；根據(jù)標(biāo)志字符顏色和路牌背景 顏色對(duì)場景圖像進(jìn)行多值化，以得到標(biāo)志字符顏色被分為同一類別、路牌背景顏色被分為 同一類別且其他顏色被分為同一類別的多值化場景圖像；以及根據(jù)多值化場景圖像中的圍 繞至少一個(gè)標(biāo)志字符的且顏色屬于路牌背景顏色的那一類別的連通域來提取路牌圖像。
[0007] 根據(jù)本發(fā)明的另一個(gè)方面，提供了一種從場景圖像中自動(dòng)提取路牌圖像的裝置， 該裝置包括：識(shí)別部，被配置為從場景圖像中識(shí)別至少一個(gè)標(biāo)志字符；估計(jì)部，被配置為根 據(jù)包含至少一個(gè)標(biāo)志字符的標(biāo)志字符圖像區(qū)域來估計(jì)標(biāo)志字符顏色和路牌圖像的路牌背 景顏色；多值化部，被配置為根據(jù)標(biāo)志字符顏色和路牌背景顏色對(duì)場景圖像進(jìn)行多值化，以 得到標(biāo)志字符顏色被分為同一類別、路牌背景顏色被分為同一類別且其他顏色被分為同一 類別的多值化場景圖像；以及提取部，被配置為根據(jù)多值化場景圖像中的圍繞至少一個(gè)標(biāo) 志字符的且顏色屬于路牌背景顏色的那一類別的連通域來提取路牌圖像。
[0008] 另外，根據(jù)本發(fā)明的又一個(gè)方面，還提供了用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序。
[0009] 此外，根據(jù)本發(fā)明的又一個(gè)方面，還提供了至少計(jì)算機(jī)可讀介質(zhì)形式的計(jì)算機(jī)程 序產(chǎn)品，其上記錄有用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序代碼。
[0010] 通過以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu) 點(diǎn)將更加明顯。
【附圖說明】
[0011] 參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說明，會(huì)更加容易地理解本發(fā)明的以上和其 它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似 的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來表示。
[0012] 圖1是示出根據(jù)本發(fā)明的實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的方法的流 程圖；
[0013] 圖2是示出根據(jù)一個(gè)示例的識(shí)別標(biāo)志字符的步驟的流程圖；
[0014] 圖3示意性地示出了三個(gè)場景圖像；
[0015] 圖4示意性地示出了以不同模式來識(shí)別標(biāo)志字符的圖；
[0016] 圖5示意性地示出了所獲得的標(biāo)志字符圖像區(qū)域；
[0017] 圖6示意性地示出了經(jīng)多值化的場景圖像；
[0018] 圖7示意性地示出了提取出的路牌圖像區(qū)域；
[0019] 圖8示意性地示出了經(jīng)透視校正的路牌圖像區(qū)域；
[0020] 圖9示意性地示出了最終得到的路牌圖像；
[0021] 圖10是示出根據(jù)本發(fā)明的實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的裝置的配 置框圖；
[0022] 圖11是示出根據(jù)本發(fā)明的實(shí)施例的識(shí)別部的配置框圖；
[0023] 圖12是示出根據(jù)另一個(gè)實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的裝置的配置 框圖；
[0024] 圖13是示出根據(jù)本發(fā)明的實(shí)施例的估計(jì)部的配置框圖；
[0025] 圖14是示出根據(jù)又一個(gè)實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的裝置的配置 框圖；
[0026] 圖15是示出根據(jù)本發(fā)明的再一個(gè)實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的裝 置的配置框圖；以及
[0027] 圖16是示出可以用于實(shí)施本發(fā)明的從場景圖像中自動(dòng)提取路牌圖像的方法和裝 置的計(jì)算設(shè)備的舉例的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0028] 下面參照附圖來說明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描 述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng) 當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知 的部件和處理的表示和描述。
[0029] 以下將參照?qǐng)D1至圖9來描述從場景圖像中自動(dòng)提取路牌圖像的方法100。
[0030] 圖1是示出根據(jù)本發(fā)明的實(shí)施例的從場景圖像中自動(dòng)提取路牌圖像的方法100的 流程圖。
[0031] 如圖1所示，在步驟S102中，從場景圖像中識(shí)別至少一個(gè)標(biāo)志字符。
[0032] 圖3示意性地示出了三個(gè)場景圖像。場景圖像例如可以是由移動(dòng)終端(例如，手 機(jī)、個(gè)人數(shù)字助理（PDA)、平板計(jì)算機(jī)或佩戴式移動(dòng)終端等等）拍攝的圖像。在該場景圖像 中可以包括路牌圖像，還可以包括路牌周圍的場景，例如，街道、建筑物和植被等等。路牌是 具有某一位置、地點(diǎn)或建筑的地址信息的指示牌。
[0033] 根據(jù)發(fā)明人的觀察和研究，一般情況下，在特定地理區(qū)域內(nèi)的路牌通常具有特定 的標(biāo)志字符。例如，路牌通常具有作為標(biāo)志字符的阿拉伯?dāng)?shù)字"〇"到"9"。在圖3所示的場 景圖像中，在圖（3a)中出現(xiàn)了"100"，在圖（3b)中出現(xiàn)了"99"，在圖（3c)中出現(xiàn)了"118"。 但是，應(yīng)當(dāng)理解到，標(biāo)志字符不限于阿拉伯?dāng)?shù)字，還可以是在路牌中常出現(xiàn)的其他字符，例 如"街"、"路"、"street (街)"、"block (街區(qū)）"或"No."等等。
[0034] 在標(biāo)志字符是數(shù)字的情況下，可以用數(shù)字分類器來識(shí)別作為標(biāo)志字符的數(shù)字。例 如，數(shù)字分類器可以是用于將對(duì)象分類為數(shù)字或非數(shù)字的分類器。此外，數(shù)字分類器還可以 是具有數(shù)字光學(xué)字符識(shí)別（OCR)引擎的分類器，其可以用于將對(duì)象分類為"0"、"1"、……、 "9"。如果使用具有數(shù)字OCR引擎的分類器，則識(shí)別置信度可以被視為該識(shí)別對(duì)象是相應(yīng)數(shù) 字的概率。在這種情況下，可以通過設(shè)置閾值并對(duì)識(shí)別置信度與該閾值進(jìn)行比較來提取相 應(yīng)的候選數(shù)字。
[0035] 在步驟S104中，根據(jù)包含至少一個(gè)標(biāo)志字符的標(biāo)志字符圖像區(qū)域來估計(jì)標(biāo)志字 符顏色和路牌圖像的路牌背景顏色。
[0036] 標(biāo)志字符圖像區(qū)域是包含所識(shí)別的標(biāo)志字符以及該標(biāo)志字符周圍區(qū)域在內(nèi)的圖 像區(qū)域。因此，標(biāo)志字符圖像區(qū)域中的標(biāo)志字符的顏色可以被估計(jì)作為標(biāo)志字符顏色，而該 標(biāo)志字符周圍區(qū)域的顏色可以被估計(jì)