專利名稱：圖像處理裝置、圖像形成裝置、圖像讀取裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于基于從獲取的圖像獲得的特征矢量確定與預(yù)先登記的圖像的相似度的圖像處理裝置，還涉及包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置，以及圖像處理方法。
背景技術(shù)：
已經(jīng)提出了某些方法作為其中用掃描儀讀取文檔、并且將通過讀取該文檔獲得的圖像數(shù)據(jù)與預(yù)先登記的圖像數(shù)據(jù)進(jìn)行匹配以確定所述圖像之間的相似度的圖像處理，例如一種方法，其中通過OCR(光符閱讀器，OpticalCharacter Reader)從一圖像提取關(guān)鍵字，并且基于所提取的關(guān)鍵字確定圖像之間的相似度；以及一種方法，其限制相似度要被確定的圖像以形成帶有格線(ruled lines)的圖像，并提取格線的特征以確定圖像之間的相似度。
但是，在這些確定處理中，為了準(zhǔn)確地確定圖像之間的相似度，需要校正要讀取的文檔的傾斜(傾斜校正)，并且如果不能進(jìn)行傾斜校正，就會出現(xiàn)不能準(zhǔn)確地確定圖像之間的相似度的問題。而且，由于確定圖像之間的相似度的處理很復(fù)雜，很難以硬件實(shí)現(xiàn)該處理。當(dāng)通過簡單的算法來實(shí)現(xiàn)相似度確定處理時(shí)，能夠簡單地實(shí)現(xiàn)為硬件。但是，很難提高確定準(zhǔn)確性，而且還有對傾斜或諸如噪音的外部干擾的容限(tolerance)不足的問題。
因此，例如提出了一種方法(Nakai Tomohiro和其他三人，“DocumentImage Retrieval Based on Cross-Ratio and Hashing”(基于交比和散列法的文檔圖像檢索)，The Institute of Electronics，Information and CommunicationEngineers Technical Research Report(電子協(xié)會，信息與通信工程師技術(shù)研究報(bào)告)，2005年3月)，該方法計(jì)算文檔圖像中的連接部分(connectedcomponent)的重心(centroid)，提取計(jì)算的重心作為連接部分的特征點(diǎn)，并基于提取的特征點(diǎn)計(jì)算對于圖像的旋轉(zhuǎn)或傾斜的不變量(invariant)以確定圖像之間的相似度，由此能夠準(zhǔn)確地確定圖像之間的相似度，即使目標(biāo)圖像被傾斜或包括沒有包含在預(yù)先登記的圖像中的書寫。
作為一種用于計(jì)算圖像圖形的重心的方法，提出了一種能夠高速計(jì)算重心坐標(biāo)的圖像處理方法，通過把像素矩陣看作一個(gè)單元將圍住目標(biāo)圖形的外接長方形劃分為多個(gè)塊，定義每個(gè)塊的相對原點(diǎn)和相對坐標(biāo)，并對每個(gè)塊執(zhí)行預(yù)定的處理(參見日本專利申請公開特許公報(bào)No.61-260370)。
而且，作為一種用于計(jì)算圖像中特定圖形的重心的裝置，提出了一種能夠高速計(jì)算重心的裝置，通過在特定目標(biāo)對象上設(shè)定外接正方形，并且并行地提取設(shè)定的特定目標(biāo)對象的區(qū)域和重心值(參見日本專利申請公開特許公報(bào)No.10-79035)。
但是，在上述非專利文檔“基于交比和散列法的文檔圖像檢索”公開的方法中，當(dāng)計(jì)算連接部分的重心時(shí)，讀取和存儲關(guān)于一個(gè)頁面的圖像數(shù)據(jù)，二進(jìn)制化關(guān)于一個(gè)頁面的存儲的圖像數(shù)據(jù)，執(zhí)行標(biāo)簽(label)分配以便示出每個(gè)像素包含在哪個(gè)連接部分中，對于每個(gè)連接部分累加包含在連接部分中的像素的坐標(biāo)值，并且坐標(biāo)值的和被除以包含在連接部分的中的像素?cái)?shù)量以計(jì)算連接部分的重心。從而，為了計(jì)算重心，需要存儲一個(gè)頁面的圖像數(shù)據(jù)。例如，當(dāng)通過ASIC實(shí)現(xiàn)圖像處理時(shí)，如果存儲器容量增加，門電路的數(shù)量也增加，因此電路規(guī)模變得更大，作為實(shí)現(xiàn)規(guī)模的硬件的圖像處理的實(shí)現(xiàn)很困難，并且成本提高了。
在日本專利申請公開特許公報(bào)No.61-260370中公開的方法中，當(dāng)從掃描儀獲取圖像數(shù)據(jù)時(shí)，以逐行的基礎(chǔ)從掃描儀輸入圖像數(shù)據(jù)，因此需要與包含在塊中的行數(shù)相對應(yīng)的行緩沖器(line buffer)，以便以逐塊的基礎(chǔ)執(zhí)行處理。因此，當(dāng)通過使用相對較大的塊來執(zhí)行處理時(shí)，存在需要較大存儲器的問題。而且，在日本專利申請公開特許公報(bào)No.10-79035中公開的裝置中，存在從其計(jì)算重心的連接部分的形狀受到限制的問題。

發(fā)明內(nèi)容
為了解決上述問題提出了本發(fā)明，并且本發(fā)明的目的是提供一種圖像處理裝置，能夠同時(shí)執(zhí)行標(biāo)注(labeling)和特征點(diǎn)提取，與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，能夠?qū)崿F(xiàn)為硬件，并且能夠通過沿著預(yù)定掃描方向存儲包含在多行中的像素的標(biāo)簽而高速地確定圖像之間的相似度，確定包含在多行中的當(dāng)前行中的像素是否被分配了與被分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽，并且當(dāng)確定沒有被分配相同的標(biāo)簽時(shí)，提取其中被分配了相同標(biāo)簽的像素被互相連接的連接部分的特征點(diǎn)，并且本發(fā)明的目的還是提供一種圖像形成裝置，一種包括該圖像處理裝置的圖像讀取裝置，以及一種圖像處理方法。
本發(fā)明的另一個(gè)目的是提供一種圖像處理裝置，其包括累加裝置，用于在確定分配了相同標(biāo)簽時(shí)累加分配了相同標(biāo)簽的像素的坐標(biāo)值；用于相關(guān)于每個(gè)標(biāo)簽存儲分配所述標(biāo)簽的像素的坐標(biāo)值的和的裝置，并基于存儲的坐標(biāo)值和包含在連接部分中的像素?cái)?shù)量，通過提取其中分配了相同標(biāo)簽的像素互相連接的連接部分的特征點(diǎn)來同時(shí)執(zhí)行標(biāo)注和特征點(diǎn)提取，并且因此與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，能夠?qū)崿F(xiàn)為硬件，并能夠高速確定圖像之間的相似度，并且本發(fā)明的目的還是提供包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置。
本發(fā)明的再一個(gè)目的是提供一種圖像處理裝置，其包括二進(jìn)制化裝置，用于基于包含在像素塊中的像素的亮度(luminance)值或明度(lightness)值，計(jì)算由圖像的多個(gè)像素組成的每個(gè)像素塊的閾值，并基于計(jì)算的閾值二進(jìn)制化計(jì)算閾值的像素塊中的圖像，并因此能夠?qū)崿F(xiàn)為硬件，并能夠通過主動地(actively)計(jì)算用于二進(jìn)制化的閾值以及穩(wěn)定地(stably)指定連接部分而準(zhǔn)確地確定圖像之間的相似度，并且本發(fā)明的目的還是提供包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置。
本發(fā)明的又一個(gè)目的是提供一種圖像處理裝置，其包括用于基于通過在預(yù)定方向上掃描像素塊中的像素而獲得的像素的亮度值或明度值來計(jì)算亮度值或明度值的統(tǒng)計(jì)值的裝置，以及用于存儲為像素塊中每個(gè)掃描方向計(jì)算的統(tǒng)計(jì)值，并基于像素塊中每個(gè)掃描方向的統(tǒng)計(jì)值計(jì)算閾值，并且因此能夠通過簡單地存儲像素塊中每行的統(tǒng)計(jì)值，而為每個(gè)像素塊并行地執(zhí)行二進(jìn)制化處理的閾值計(jì)算和圖像的二進(jìn)制化的裝置，并且本發(fā)明的目的還是提供包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置。
本發(fā)明的再一個(gè)目的是提供一種圖像處理裝置，其能夠準(zhǔn)確確定圖像之間的相似度，通過去除確定圖像之間相似度不需要的高頻成分，通過二進(jìn)制化由用于執(zhí)行空間過濾處理來校正圖像的空間頻率特性的裝置處理的圖像，以及即使在使用不同圖像輸入裝置時(shí)、登記圖像數(shù)據(jù)時(shí)、以及匹配圖像數(shù)據(jù)時(shí)，根據(jù)輸入裝置的特性校正圖像的惡化(degradation)，并且本發(fā)明的目的還是提供包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置。
本發(fā)明的又一個(gè)目的是提供一種圖像處理裝置，其能夠即使在通過由用于轉(zhuǎn)換圖像分辨度的裝置轉(zhuǎn)換的圖像的二進(jìn)制化而改變分辨度時(shí)確定圖像之間的相似度，并且能夠通過在將圖像轉(zhuǎn)換為比圖像輸入裝置讀取的分辨度低的分辨度之后執(zhí)行處理來減少處理量，并且本發(fā)明的目的還是提供包括該圖像處理裝置的圖像形成裝置和圖像讀取裝置。
根據(jù)本發(fā)明的圖像處理裝置的特征在于包括標(biāo)簽分配部分，用于掃描通過以預(yù)定方向二進(jìn)制化圖像而獲得的二進(jìn)制圖像的像素，以及根據(jù)關(guān)于各個(gè)像素的二進(jìn)制化信息分配標(biāo)簽給像素；標(biāo)簽存儲部分，用于沿著預(yù)定方向?qū)τ诙嘈械拿恳恍许樞虻卮鎯﹃P(guān)于分配的標(biāo)簽的信息；坐標(biāo)值存儲部分，用于存儲關(guān)于在二進(jìn)制圖像中分配了相同標(biāo)簽的像素的坐標(biāo)值的信息；確定部分，用于確定在多行中的當(dāng)前行是否存在分配了與分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽的像素；特征點(diǎn)計(jì)算部分，用于在確定沒有像素被分配了相同的標(biāo)簽時(shí)，基于坐標(biāo)值存儲部分中存儲的關(guān)于坐標(biāo)值的信息，計(jì)算其中由坐標(biāo)值指定的像素互相連接的連接部分中的特征點(diǎn)；特征矢量計(jì)算部分，用于基于計(jì)算的特征點(diǎn)計(jì)算代表圖像特征的特征矢量；以及類似確定部分，用于基于計(jì)算的特征矢量確定與其它圖像的類似(analogy)。
根據(jù)本發(fā)明的圖像處理裝置，其包括累加器部分，用于在確定在當(dāng)前行中存在分配了相同標(biāo)簽的像素時(shí)，累加分配了相同標(biāo)簽的像素的坐標(biāo)值，其中基于關(guān)于坐標(biāo)值之和的信息以及分配了相同標(biāo)簽的像素?cái)?shù)量來計(jì)算特征點(diǎn)。
根據(jù)本發(fā)明的圖像處理裝置的特征在于包括閾值計(jì)算部分，用于基于包含在像素塊中的像素的亮度值或明度值，對由多個(gè)像素組成的每個(gè)像素塊計(jì)算閾值；以及二進(jìn)制化部分，用于基于計(jì)算的閾值二進(jìn)制化像素塊中的圖像。
根據(jù)本發(fā)明的圖像處理裝置的特征在于基于通過以預(yù)定方向掃描像素塊中的像素而獲得的像素的亮度值或明度值計(jì)算亮度值或明度值的統(tǒng)計(jì)值，以及基于計(jì)算的統(tǒng)計(jì)值計(jì)算閾值。
根據(jù)本發(fā)明的圖像處理裝置的特征在于包括空間過濾器處理部分，用于執(zhí)行空間過濾處理以校正圖像的空間頻率特性，其中空間頻率特性由空間過濾器處理部分校正的圖像被二進(jìn)制化。
根據(jù)本發(fā)明的圖像處理裝置的特征在于包括分辨度轉(zhuǎn)換部分，用于轉(zhuǎn)換圖像的分辨度，其中分辨度由分辨度轉(zhuǎn)換部分轉(zhuǎn)換的圖像被二進(jìn)制化。
根據(jù)本發(fā)明的圖像形成裝置的特征在于包括由上述發(fā)明定義的圖像處理裝置；以及圖像形成部分，用于在薄頁上形成由圖像處理裝置處理的圖像。
根據(jù)本發(fā)明的圖像讀取裝置的特征在于包括用于讀取圖像的圖像讀取部分；以及由上述發(fā)明定義的圖像處理裝置，用于處理在圖像讀取部分中讀取的圖像。
根據(jù)本發(fā)明的圖像處理方法的特征在于掃描通過以預(yù)定方向二進(jìn)制化圖像而獲得的二進(jìn)制圖像的像素；根據(jù)關(guān)于各個(gè)像素的二進(jìn)制化信息將標(biāo)簽分配給像素；對于沿著預(yù)定方向的多行的每一行順序地存儲關(guān)于分配的標(biāo)簽的信息；確定在多行中的當(dāng)前行中是否存在分配了與分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽的像素；當(dāng)確定沒有被分配相同標(biāo)簽的像素時(shí)，基于存儲的關(guān)于坐標(biāo)值的信息計(jì)算在其中由坐標(biāo)值指定的像素互相連接的連接部分中的特征點(diǎn)；基于計(jì)算的特征點(diǎn)計(jì)算代表圖像特征的特征矢量；以及基于計(jì)算的特征矢量確定與其它圖像的類似。
在本發(fā)明中，以預(yù)定方向掃描包含在當(dāng)前行中的當(dāng)前像素，例如基于關(guān)于在與當(dāng)前像素鄰接的預(yù)定范圍內(nèi)、并且包含在當(dāng)前行以及緊接在當(dāng)前行之前的行中的像素的二進(jìn)制信息(例如，“1”或“0”)將標(biāo)簽分配給當(dāng)前像素，以及存儲分配的標(biāo)簽。請注意在當(dāng)前行是二進(jìn)制圖像的第一行時(shí)，基于關(guān)于當(dāng)前像素的二進(jìn)制化信息分配標(biāo)簽，存儲分配的標(biāo)簽，并且把當(dāng)前行的下一行當(dāng)作當(dāng)前行執(zhí)行類似的處理。從而，存儲包含在當(dāng)前行以及緊接在當(dāng)前行之前的行中的像素的標(biāo)簽。
當(dāng)通過掃描包含在當(dāng)前行中的當(dāng)前像素來分配標(biāo)簽時(shí)，確定與分配給包含在緊接在當(dāng)前行之前的行中的像素的標(biāo)簽相同的標(biāo)簽是否被分配給包含在當(dāng)前行中的像素。當(dāng)確定沒有被分配相同的標(biāo)簽時(shí)，確定分配了相同標(biāo)簽的連接部分在當(dāng)前行結(jié)束，并且提取其中分配了相同標(biāo)簽的像素連接在一起的連接部分中的特征點(diǎn)。因此，并行地執(zhí)行標(biāo)注包含在當(dāng)前行中的當(dāng)前像素以及確定是否分配了相同的標(biāo)簽。當(dāng)完成對當(dāng)前像素的處理時(shí)，把下一行當(dāng)作當(dāng)前行，并重復(fù)相同的處理。因此，通過簡單地存儲多行(例如，兩行)像素的標(biāo)簽，能夠標(biāo)注二進(jìn)制圖像并提取連接部分中的特征點(diǎn)。
在本發(fā)明中，當(dāng)通過掃描包含在當(dāng)前行中的當(dāng)前像素分配標(biāo)簽時(shí)，確定與分配給包含在緊接在當(dāng)前行之前的行中的像素的標(biāo)簽相同的標(biāo)簽是否被分配給包含在當(dāng)前行中的像素。當(dāng)確定分配了相同的標(biāo)簽時(shí)，累加分配了相同標(biāo)簽的像素的坐標(biāo)值(例如，二進(jìn)制圖像中像素的x坐標(biāo)和y坐標(biāo))，并存儲坐標(biāo)值的和。提取裝置基于在通過將分配了相同標(biāo)簽的像素連接在一起形成的連接部分中的坐標(biāo)值的和，以及包含在連接部分中的像素?cái)?shù)量，提取連接部分中的特征點(diǎn)。例如，能夠通過將坐標(biāo)值的和除以像素?cái)?shù)量來提取連接部分的重心作為特征點(diǎn)。因此，不限制從其提取特征點(diǎn)的連接部分的形狀，并且能夠準(zhǔn)確提取任意圖形中的特征點(diǎn)。而且，通過簡單地將坐標(biāo)值的和與標(biāo)簽相關(guān)聯(lián)地存儲，能夠并行地執(zhí)行二進(jìn)制圖像的標(biāo)注和連接部分中的特征點(diǎn)的提取(例如，連接部分的重心的計(jì)算)。
在本發(fā)明中，對于由圖像的多個(gè)像素組成的每個(gè)像素塊，基于包含在像素塊中的像素的亮度值或明度值計(jì)算閾值?；谟?jì)算的閾值，二進(jìn)制化裝置二進(jìn)制化計(jì)算了閾值的像素塊中的圖像。因此能夠動態(tài)地計(jì)算每個(gè)像素塊的二進(jìn)制化的閾值。
在本發(fā)明中，基于通過以預(yù)定方向掃描像素塊中的像素而獲得的各個(gè)像素的亮度值或明度值，計(jì)算量度值或明度值的統(tǒng)計(jì)值(例如，平均數(shù))。存儲像素塊中對每個(gè)掃描方向計(jì)算的統(tǒng)計(jì)值，并基于對每個(gè)掃描方向存儲的統(tǒng)計(jì)值計(jì)算閾值(例如，如果統(tǒng)計(jì)值是平均值，則進(jìn)一步平均該平均值)。通過簡單地存儲像素塊中的每一行的統(tǒng)計(jì)值，能夠?qū)γ總€(gè)像素塊并行地執(zhí)行圖像中像素塊中的像素的亮度值或明度值的統(tǒng)計(jì)值的計(jì)算以及像素塊中的圖像的二進(jìn)制化。
在本發(fā)明中，在二進(jìn)制化圖像之前校正圖像的空間頻率特性。例如，校正由于用于輸入圖像的圖像輸入裝置(例如，圖像讀取裝置)的光學(xué)特性中的差別導(dǎo)致的圖像的空間頻率特性，并且即使在使用不同的圖像輸入裝置，修復(fù)圖像的惡化(例如，模糊的圖像)。而且，去除提取二進(jìn)制圖像中的特征點(diǎn)不需要的高頻成分。換句話說，通過空間過濾處理對圖像執(zhí)行邊緣強(qiáng)化處理和平滑處理。
在本發(fā)明中，在二進(jìn)制化圖像之前轉(zhuǎn)換圖像的分辨度。例如，當(dāng)在用于輸入圖像的圖像輸入裝置(例如，圖像讀取裝置)中放大圖像的分辨度時(shí)，將圖像再次放大到預(yù)定分辨度。從而，即使在改變分辨度時(shí)，也能夠提取二進(jìn)制圖像的特征點(diǎn)而不受改變的影響。當(dāng)預(yù)定分辨度被設(shè)定為小于在圖像輸入裝置中讀取圖像的分辨度，能夠減少在后級(subsequent stage)中的處理量。
在本發(fā)明中，沿著預(yù)定掃描方向存儲包含在多行(例如，兩行)中的各個(gè)像素的標(biāo)簽，并且當(dāng)包含在多行中當(dāng)前行的像素中，確定沒有像素被分配了與被分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽，提取在通過將分配了相同標(biāo)簽的像素連接在一起而形成的連接部分中的特征點(diǎn)。因此，通過簡單地存儲多行(例如，兩行)像素的標(biāo)簽，能夠同時(shí)執(zhí)行標(biāo)注和特征點(diǎn)提取，與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，能夠?qū)D像處理時(shí)限為硬件，以及能夠高速確定圖像之間的像素性。
本發(fā)明包括累加裝置，用于在確定分配了相同標(biāo)簽時(shí)累加分配了相同標(biāo)簽的像素的坐標(biāo)值，以及用于將分配了相同標(biāo)簽的像素的坐標(biāo)值的和與每個(gè)標(biāo)簽相關(guān)聯(lián)的存儲的裝置。通過基于包含在通過將分配了相同標(biāo)簽的像素連接在一起形成的連接部分中的像素的坐標(biāo)值的和以及像素?cái)?shù)量提取連接部分中的特征點(diǎn)，那個(gè)提取任意圖形中的特征點(diǎn)。而且，能夠同時(shí)執(zhí)行標(biāo)注和特征點(diǎn)提取，與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，并且能夠準(zhǔn)確地高速確定圖像之間的相似度。
本發(fā)明包括二進(jìn)制化裝置，用于基于包含在像素塊中的像素的亮度值或明度值對由圖像中的多個(gè)像素組成的每個(gè)像素塊計(jì)算閾值，并且基于計(jì)算的閾值二進(jìn)制化計(jì)算閾值的像素塊中的圖像。因此，能夠?qū)D像處理實(shí)現(xiàn)為硬件，能夠動態(tài)地計(jì)算二進(jìn)制化的閾值，穩(wěn)定地指定連接部分，并準(zhǔn)確地確定圖像之間的相似度。
本發(fā)明包括用于基于通過以預(yù)定方向掃描像素塊中的像素而獲得的各個(gè)像素的亮度值或明度值計(jì)算量度值或明度值的統(tǒng)計(jì)值的裝置；以及用于存儲對像素塊中每個(gè)掃描方向計(jì)算的統(tǒng)計(jì)值，并且基于由該裝置對每個(gè)掃描方向存儲的統(tǒng)計(jì)值計(jì)算閾值。因此，通過簡單地存儲像素塊中每一行的統(tǒng)計(jì)值，能夠?qū)γ總€(gè)像素塊并行地執(zhí)行用于二進(jìn)制化的統(tǒng)計(jì)值的計(jì)算以及圖像的二進(jìn)制化。
在本發(fā)明中，通過二進(jìn)制化由用于執(zhí)行空間過濾處理的裝置處理的圖像來校正圖像的空間頻率特性，即使在使用不同的圖像輸入裝置時(shí)也能夠修復(fù)圖像的惡化(例如，模糊的圖像)。還能夠去除確定圖像之間的相似度不需要的高頻成分，并且能夠準(zhǔn)確地確定圖像之間的相似度。
在本發(fā)明中，二進(jìn)制化由用于轉(zhuǎn)換圖像的分辨度的裝置轉(zhuǎn)換的圖像。因此，即使改變分辨度時(shí)，能夠提取二進(jìn)制圖像中的特征點(diǎn)，而不受所述改變的影響，并且能夠準(zhǔn)確地確定圖像之間的相似度。而且，當(dāng)預(yù)定分辨度被設(shè)定為小于在圖像輸入裝置中讀取圖像的分辨度，能夠減少在后級中的處理量。
通過以下結(jié)合附圖的詳細(xì)說明，本發(fā)明的上述和其它目的和特征將更加清楚。


圖1是示出包括根據(jù)實(shí)施例的圖像處理裝置的圖像形成裝置的結(jié)構(gòu)的框圖；圖2是示出文檔匹配處理部分的結(jié)構(gòu)的框圖；圖3是示出特征點(diǎn)計(jì)算部分的結(jié)構(gòu)的框圖；圖4是示出過濾部分的過濾器系數(shù)的例子的說明圖；圖5是示出在二進(jìn)制化部分中執(zhí)行的二進(jìn)制化處理的說明圖；圖6是示出緩沖器結(jié)構(gòu)的示意圖；圖7是示出在重心計(jì)算部分中執(zhí)行的重心計(jì)算處理(特征點(diǎn)提取)的說明圖；圖8是示出在重心計(jì)算部分中用于標(biāo)簽分配處理的鄰近像素的例子的說明圖；圖9是示出標(biāo)簽等價(jià)表的例子的說明圖；圖10是示出坐標(biāo)值緩沖器的結(jié)構(gòu)的說明圖；圖11A到圖11C是示出標(biāo)志(flag)的轉(zhuǎn)變的例子的說明圖；圖12是示出連接部分中的特征點(diǎn)的例子的說明圖；圖13是示出提取字符串中的特征點(diǎn)的結(jié)果的例子的說明圖；圖14是示出當(dāng)前特征點(diǎn)和周邊特征點(diǎn)的說明圖；圖15A到圖15C是示出基于當(dāng)前特征點(diǎn)計(jì)算不變量的例子的說明圖；圖16A到圖16C是示出基于當(dāng)前特征點(diǎn)計(jì)算不變量的例子的說明圖；以及圖17A和圖17B是示出散列表結(jié)構(gòu)的說明圖。
具體實(shí)施例方式
以下將基于附圖解釋實(shí)施例。圖1是示出包括根據(jù)這個(gè)實(shí)施例的圖像處理裝置的圖像形成裝置100的結(jié)構(gòu)的框圖。圖像形成裝置100包括彩色圖像輸入裝置1、彩色圖像處理裝置2(圖像處理裝置)、彩色圖像輸出裝置3作為圖像形成裝置、以及用于執(zhí)行各種操作的操作面板4。通過以彩色圖像輸入裝置1讀取文檔而獲得的RGB(R紅、G綠、B藍(lán))模擬信號的圖像數(shù)據(jù)被輸出到彩色圖像處理裝置2，經(jīng)過彩色圖像處理裝置2中的預(yù)定處理，然后輸出到彩色圖像輸出裝置3作為代表CMYK(C青、M品紅、Y黃、K黑)的數(shù)字彩色信號。
例如，彩色圖像輸入裝置1是包括CCD(電荷耦合器件)的掃描儀，讀取來自文檔圖像的反射的光圖像作為RGB模擬信號，并將讀取的RGB信號輸出到彩色圖像處理裝置2。彩色圖像輸出裝置3是電子照相型或噴墨型打印機(jī)，用于將文檔圖像的圖像數(shù)據(jù)輸出到記錄紙張(paper)上。彩色圖像輸出裝置3可以是顯示裝置，諸如顯示器。
彩色圖像處理裝置2由后述處理部分組成，并且包括ASIC(特定用途集成電路)。
A/D轉(zhuǎn)換部分20將從彩色圖像輸入裝置1輸入的RGB模擬信號轉(zhuǎn)換為10位的數(shù)字信號，例如，并將轉(zhuǎn)換的RGB信號輸出到斑點(diǎn)校正(shadingcorrection)部分21。
斑點(diǎn)校正部分21對輸入的數(shù)字RGB信號執(zhí)行校正處理以便去除在彩色圖像輸入裝置1的照明系統(tǒng)、圖像聚焦系統(tǒng)以及攝像系統(tǒng)等導(dǎo)致的各種類型的惡化，并將校正的RGB信號輸出到輸入色調(diào)(tone)校正部分22。
輸入色調(diào)校正部分22對輸入的RGB信號(RGB反射率信號)執(zhí)行調(diào)整彩色平衡的處理以及去除背景密度或調(diào)整諸如對比度的圖像質(zhì)量的處理。此外，輸入色調(diào)校正部分22執(zhí)行將RGB信號轉(zhuǎn)換為諸如由彩色圖像處理裝置2使用的圖像處理系統(tǒng)容易地處理的密度信號之類的信號的處理，并將處理的RGB信號輸出到分割(segmentation)處理部分23。
分割處理部分23根據(jù)輸入的RGB信號將輸入圖像的像素分割為字符區(qū)域、半色調(diào)(halftone)區(qū)域、或照片區(qū)域?；诜指罱Y(jié)果，分割處理部分23將分割類別信號(segmentation class signal)輸出到黑生成和底色去除部分(black generation and under color removal section)26、空間過濾器處理部分27、輸出色調(diào)校正部分28和色調(diào)再現(xiàn)處理部分29，其中該分割類別信號表示各像素所屬的區(qū)域。分割處理部分23還將輸入信號照其樣子(as they are)輸出到位于后級中的文檔匹配處理部分24。
文檔匹配處理部分24二進(jìn)制化輸入圖像、基于二進(jìn)制圖像計(jì)算指定連接部分中的特征點(diǎn)，基于結(jié)果確定輸入圖像和預(yù)先登記的圖像(包括文本圖像)之間的相似度。當(dāng)文檔匹配處理部分24確定圖像互相相似時(shí)，其輸出指定對類似文檔的預(yù)設(shè)處理的分類信號，并執(zhí)行預(yù)定處理。例如，當(dāng)輸入圖像被確定為類似文檔時(shí)，文檔匹配處理部分24執(zhí)行處理，諸如取消文檔的輸出、禁止文檔的復(fù)制、以及在預(yù)定文件夾中歸檔(filing)文檔。因此，不但能夠執(zhí)行圖像(包括文本圖像)的匹配，還能夠執(zhí)行根據(jù)匹配結(jié)果的處理。而且，文檔匹配部分24將輸入的RGB信號照其樣子輸出到位于后級中的色調(diào)校正部分25。
彩色校正部分25將輸入的RGB信號轉(zhuǎn)換為CMY色空間，根據(jù)彩色圖像輸出裝置3的特性執(zhí)行彩色校正，并將校正的CMY信號輸出到黑生成和底色去除部分26。更具體地講，為了如實(shí)地再現(xiàn)彩色，彩色校正部分25去除包括無用的吸收成分的CMY色材(color materials)的光譜特性上的色濁雜質(zhì)(color haze impurity)。
黑生成和底色去除部分26基于從彩色校正部分25輸入的CMY信號生成K(黑)信號，從輸入的CMY信號中減去K信號以生成新的CMY信號，并將生成的CMYK信號輸出到空間過濾器處理部分27。
例示了在黑生成和底色去除部分26中執(zhí)行的處理的例子。例如，當(dāng)由骨架黑(skeleton black)執(zhí)行黑生成時(shí)，如果骨架曲線的輸入/輸出特性為y＝f(x)，要輸入的數(shù)據(jù)為C、M和Y，要輸出的數(shù)據(jù)為C′、M′、Y′和K′，并且UCR(底色去除)比率為α(0＜α＜1)，則要由黑生成底色去除處理輸出的數(shù)據(jù)表達(dá)為K′＝f{min(C，M，Y)}，其中C′＝C-αK′，M′＝M-αK′，以及Y′＝Y(jié)-αK′。
對于從黑生成和底色去除部分26輸入的CMYK信號，空間過濾器處理部分27基于區(qū)域識別信號使用數(shù)字過濾器執(zhí)行空間過濾處理。因此，校正圖像數(shù)據(jù)的空間頻率特性，由此防止彩色圖形輸出裝置3中輸出圖像的模糊或粒狀惡化。例如，在由分割處理部分23分割為字符區(qū)域的區(qū)域中，為了特別增強(qiáng)非彩色文本(黑色文本)或有色文本(彩色文本)的再現(xiàn)性，空間過濾器處理部分27通過執(zhí)行邊緣增強(qiáng)處理增強(qiáng)高頻成分。而且，空間過濾器處理部分27執(zhí)行低通濾波處理以去除在由分割處理部分23分割為半色調(diào)區(qū)域的區(qū)域中輸入的半色調(diào)成分?？臻g過濾器處理部分27將處理的CMYK信號輸出到輸出色調(diào)校正部分28。
輸出色調(diào)校正部分28執(zhí)行輸出色調(diào)校正處理，用于將從空間過濾器處理部分27輸入的CMYK信號轉(zhuǎn)換為彩色圖像輸出裝置3的特性值的半色調(diào)區(qū)域比率，并在輸出色調(diào)校正處理之后將CMYK信號輸出到色調(diào)再現(xiàn)處理部分29。
色調(diào)再現(xiàn)處理部分29基于從分割處理部分23輸入的區(qū)域識別信號對從輸出色調(diào)校正部分28輸入的CMYK信號執(zhí)行預(yù)定處理。例如，為了特別增強(qiáng)非彩色文本(黑色文本)或彩色文本的再現(xiàn)，色調(diào)再現(xiàn)處理部分29在分割為字符區(qū)域的區(qū)域上執(zhí)行二進(jìn)制化處理或多級抖動處理，以便該區(qū)域適于在彩色圖像輸出裝置3中再現(xiàn)高頻成分。
此外，色調(diào)再現(xiàn)處理部分29在分割處理部分23中分割為半色調(diào)區(qū)域的區(qū)域上執(zhí)行色調(diào)再現(xiàn)處理(半色調(diào)生成)，以最終將圖像分離為像素，并再現(xiàn)它們的灰度級。另外，色調(diào)再現(xiàn)處理部分29執(zhí)行二進(jìn)制化處理或多級抖動處理，以便使在分割處理部分23中分割為照片區(qū)域的區(qū)域適于彩色圖像輸出裝置3中再現(xiàn)色調(diào)。
彩色圖像處理裝置2在存儲部分(未示出)中臨時(shí)存儲由色調(diào)再現(xiàn)處理部分29處理的圖像數(shù)據(jù)(CMYK信號)，在形成圖像的預(yù)定定時(shí)讀取存儲在存儲部分中的圖像數(shù)據(jù)，并將讀取的圖像數(shù)據(jù)輸出到彩色圖像輸出裝置3。這些操作的控制例如由CPU(未示出)來執(zhí)行。
圖2是示出文檔匹配處理部分24的結(jié)構(gòu)的框圖。文檔匹配處理部分24包括特征點(diǎn)計(jì)算部分241、特征矢量計(jì)算部分242、投票處理部分243、相似度確定部分244、存儲器245、以及用于控制上述各個(gè)部分的控制器246。
特征點(diǎn)計(jì)算部分241執(zhí)行后面描述的對輸入圖像的預(yù)定處理，并且還二進(jìn)制化輸入圖像，提取(計(jì)算)在基于二進(jìn)制圖像指定的連接部分中的特征點(diǎn)(例如，通過累加在組成連接部分的像素的二進(jìn)制圖像中的坐標(biāo)值，并將坐標(biāo)值的和除以包含在連接部分中的像素的數(shù)量而獲得的值)，并將提取的特征點(diǎn)輸出到特征矢量計(jì)算部分242。
圖3是示出特征點(diǎn)計(jì)算部分241的結(jié)構(gòu)的框圖。特征點(diǎn)計(jì)算部分241包括信號變換部分2410、分辨度轉(zhuǎn)換部分2411、過濾部分2412、二進(jìn)制化部分2413和重心計(jì)算部分2414。
當(dāng)輸入圖像是彩色圖像時(shí)，信號變換部分2410將彩色圖像變換為亮度信號或明度信號，并將轉(zhuǎn)換的圖像輸出到分辨度轉(zhuǎn)換部分2411。例如，亮度信號Y可以表達(dá)為Yj＝0.30×Rj+0.59×Gj+0.11×Bj，其中Rj、Gj和Bj分別是各個(gè)像素R、G和B的彩色成分，而Yj是每個(gè)像素的亮度信號。請注意本發(fā)明并不局限于以上等式，還可以將RGB信號轉(zhuǎn)換為CIE1976L*a*b*信號。
即使在輸入圖像被彩色圖像輸入裝置1光學(xué)放大時(shí)，分辨度轉(zhuǎn)換部分2411再將輸入圖像放大到預(yù)定分辨度，然后將放大的圖像輸出到過濾部分2412。從而，即使在分辨度被彩色圖像輸入裝置1中執(zhí)行的放大處理改變時(shí)，能夠提取特征點(diǎn)而不受這個(gè)改變的影響，并且還能夠準(zhǔn)確地確定圖像之間的相似度。特別的，在縮小的字符的情況下，當(dāng)通過執(zhí)行二進(jìn)制化處理指定連接部分時(shí)，能夠防止在由于字符被擠壓而使得原始分離的區(qū)域被連接在一起的狀態(tài)中指定連接部分，以及能夠防止要計(jì)算的重心被移位(displaced)。而且，分辨度轉(zhuǎn)換部分2411將圖像轉(zhuǎn)換為小于在彩色圖像輸入裝置1等倍(equalmagnification)讀取的圖像的分辨度的分辨度。例如，在彩色圖像輸入裝置1以600dpi(點(diǎn)每英寸)讀取的圖像被轉(zhuǎn)換為300dpi。因此，能夠減少在后級中的處理量。
過濾部分2412校正輸入圖像的空間頻率特性(諸如，例如，圖像的增強(qiáng)處理和平滑處理)，并將校正的圖像輸出到二進(jìn)制化部分2413。由于彩色圖像輸入裝置1的空間頻率特性根據(jù)裝置的類型而不同，過濾部分2412將不同的空間頻率特性校正為期望的特性。由彩色圖像輸入裝置1輸出的圖像(例如，圖像信號)經(jīng)受由于包括透鏡或鏡面的光學(xué)部件的綜合效果、CCD光接收表面的孔徑度(aperture degree)、轉(zhuǎn)移效率、余象、以及物理掃描，以及掃描偏差所導(dǎo)致的惡化，諸如模糊的圖像。過濾部分2412通過增強(qiáng)邊界或邊緣修復(fù)諸如模糊圖像的惡化。而且，過濾部分2412執(zhí)行平滑處理，用于抑制在后級中執(zhí)行的特征點(diǎn)提取處理不需要的高頻成分。因此能夠準(zhǔn)確地提取特征點(diǎn)，并從而能夠準(zhǔn)確地確定圖像之間的相似度。
圖4是示出過濾部分2412的過濾器系數(shù)的例子的說明圖。如圖4所示，空間過濾器是用于執(zhí)行增強(qiáng)處理和平滑處理的7×7(7行、7列)混合過濾器。掃描輸入圖像中的像素，并對所有像素執(zhí)行使用空間過濾器的計(jì)算處理。請注意空間過濾器的尺寸并不限于7×7，也可以是3×3、5×5等。而且，過濾器系數(shù)的數(shù)值僅僅是一個(gè)例子，過濾器系數(shù)不限于此，可以根據(jù)要使用的彩色圖像輸入裝置1的裝置類型或特性而適當(dāng)?shù)卦O(shè)定。
二進(jìn)制化部分2413通過將圖像的亮度值(亮度信號)或明度值(明度信號)與閾值進(jìn)行比較，并將二進(jìn)制化的二進(jìn)制圖像輸出到重心計(jì)算部分2414。
圖5是示出由二進(jìn)制化部分2413執(zhí)行的二進(jìn)制化處理的說明圖。圖5示出文檔的一個(gè)頁面上的圖像，以圖像左上角作為原點(diǎn)的橫向和縱向分別表示主掃描方向和子掃描方向。在主掃描方向上每行有3584個(gè)像素，并且在主掃描方向上圖像的一行被分為28個(gè)塊，表示為像素塊A1、A2、……A28，每個(gè)塊由128×128個(gè)像素組成。
二進(jìn)制化部分2413包括緩沖器2413a，用于對每一行存儲包含在像素塊A1、A2、……A28的主掃描方向上的一行中的128個(gè)像素的亮度值的平均值。
圖6是示出緩沖器2413a的結(jié)構(gòu)的示意圖。由于像素塊A1、A2、……A28的每一個(gè)包括128行，每行包括128個(gè)像素，該緩沖器2413a存儲像素塊A1、A2、……A28的每一個(gè)的128行的平均值，即128個(gè)平均值。例如，如圖6所示，對像素塊A1，以逐行基礎(chǔ)對各個(gè)區(qū)域(1，1)、(2，1)、……(128，1)中的128行存儲128個(gè)像素的亮度值的平均值。
二進(jìn)制化部分2413計(jì)算閾值用于對像素塊A1、A2、……A28的每一個(gè)執(zhí)行二進(jìn)制化處理，并通過使用對像素塊A1、A2、……A28的每一個(gè)計(jì)算的閾值二進(jìn)制化在像素塊A1、A2、……A28的每一個(gè)中的圖像。更具體地講，二進(jìn)制化部分2413對像素塊A1、A2、……A28的每一個(gè)計(jì)算主掃描方向上第一行中像素(128個(gè)像素)的亮度值的平均值，并將計(jì)算的平均值存儲在緩沖器2413a的各個(gè)區(qū)域(1，1)、(1，2)、……(1，28)。因此，在緩沖器2413a中，在圖像的主掃描方向上每行存儲28個(gè)平均值。
二進(jìn)制化部分2413移動到子掃描方向上的下一行，對像素塊A1、A2、……A28的每一個(gè)計(jì)算主掃描方向上第二行中的像素(128個(gè)像素)的亮度值的平均值，并將計(jì)算的平均值存儲在緩沖器2413a的各自區(qū)域(2，1)、(2，2)、……(2，28)。二進(jìn)制化部分2413對子掃描方向上的128行重復(fù)相同的處理。因此，二進(jìn)制化部分2413存儲對應(yīng)像素塊A1、A2、……A28的每一個(gè)的128行的平均值。
二進(jìn)制化部分2413還平均對應(yīng)于為像素塊A1、A2、……A28的每一個(gè)存儲的128行的平均值，以計(jì)算平均值，并使用計(jì)算的平均值作為用于二進(jìn)制化處理的閾值。例如，通過平均存儲在緩沖器2413a的各個(gè)區(qū)域(1，1)、(2，1)、……(128，1)中的平均值來計(jì)算像素塊A1的閾值。
二進(jìn)制化部分2413掃描主掃描方向上像素塊A1、A2、……A28中圖像的當(dāng)前像素，并分別基于對像素塊A1、A2、……A28計(jì)算的閾值對它們進(jìn)行二進(jìn)制化。當(dāng)完成對像素塊A1、A2、……A28的閾值計(jì)算和二進(jìn)制化處理時(shí)，二進(jìn)制化部分2413對子掃描方向上接下來的128行重復(fù)相同的處理以二進(jìn)制化整個(gè)圖像。請注意閾值計(jì)算并不限于使用亮度值的平均值的結(jié)構(gòu)，并可以使用諸如亮度值的中值的其它統(tǒng)計(jì)值。
借助于緩沖器2413a，由于與通過參考整個(gè)圖像的廣泛區(qū)域的像素的亮度值計(jì)算閾值相比，不需要使用大容量的存儲器(storage memory)，能夠?qū)D像處理實(shí)現(xiàn)為硬件。而且，對期望尺寸的每個(gè)像素塊主動地計(jì)算閾值。從而，當(dāng)基于二進(jìn)制圖像指定連接部分時(shí)，能夠穩(wěn)定地指定連接部分而不受由諸如掃描儀的彩色圖像輸入裝置的特性導(dǎo)致的改變、以及文檔自身的頁面背景的影響。因此，能夠準(zhǔn)確地計(jì)算連接部分的特征點(diǎn)(例如，重心)，并且能夠提高確定圖像之間的相似度的準(zhǔn)確性。此外，由于對每個(gè)像素塊并行地執(zhí)行閾值計(jì)算和二進(jìn)制化處理，因此即使在主動地計(jì)算閾值時(shí)也能夠高速執(zhí)行二進(jìn)制化處理。
重心計(jì)算部分2414包括后面描述的標(biāo)簽緩沖器2414a、坐標(biāo)值緩沖器2414b和標(biāo)簽等價(jià)表，并基于在從二進(jìn)制化部分2413輸入的二進(jìn)制圖像中有關(guān)每個(gè)像素的二進(jìn)制化信息(例如，用“1”、“0”表示)執(zhí)行對每個(gè)像素的標(biāo)注(標(biāo)簽分配處理)，指定其中分配了相同標(biāo)簽的像素被連接在一起的連接部分，提取在指定的連接部分中的重心作為特征點(diǎn)，并將提取的特征點(diǎn)輸出到特征矢量計(jì)算部分242。請注意特征點(diǎn)可以用二進(jìn)制圖像中的坐標(biāo)值(x坐標(biāo)、y坐標(biāo))來表達(dá)。
圖7是示出在重心計(jì)算部分2414中執(zhí)行的重心計(jì)算(特征點(diǎn)提取)處理的說明圖。在圖7中，雖然以16×16像素的尺寸示出圖像以便簡化說明，實(shí)際圖像可以例如具有3584×3584像素的尺寸。重心計(jì)算部分2414包括用于存儲包含在沿著二進(jìn)制圖像的主掃描方向的兩行(當(dāng)前行和緊接在當(dāng)前行之前處理的行)中的像素(圖7中16×2＝32像素)的標(biāo)簽的標(biāo)簽緩沖器2414a。
圖8是示出在重心計(jì)算部分中用于標(biāo)簽分配處理的鄰近(neighboring)像素的例子的說明圖。如圖8所示，當(dāng)通過掃描主掃描方向上的當(dāng)前像素分配標(biāo)簽時(shí)，總共四個(gè)鄰接(adjacent)像素被標(biāo)注為當(dāng)前像素的鄰接像素，四個(gè)鄰接像素包括緊接在當(dāng)前像素之前處理的鄰接像素，以及包含在緊接在當(dāng)前行之前處理的行中的三個(gè)鄰接像素。請注意鄰近像素的例子并不限于此，也可以選擇其它的鄰接像素。
重心計(jì)算部分2414確定與當(dāng)前行中當(dāng)前像素鄰接的所有鄰近像素是否已經(jīng)被標(biāo)注。如果還沒有被標(biāo)注，重心計(jì)算部分2414分配未使用的標(biāo)簽給當(dāng)前像素(例如，如果標(biāo)簽“1”和“2”已經(jīng)被使用則分配標(biāo)簽“3”)，并將分配的標(biāo)簽存儲在對應(yīng)當(dāng)前像素的標(biāo)簽緩沖器2414a。
另一方面，當(dāng)鄰接當(dāng)前像素的鄰近像素已經(jīng)分配了相同標(biāo)簽時(shí)，重心計(jì)算部分2414將相同標(biāo)簽分配給當(dāng)前像素，并將所分配的標(biāo)簽存儲在對應(yīng)當(dāng)前像素的標(biāo)簽緩沖器2414a中。
當(dāng)鄰接當(dāng)前像素的鄰近像素已經(jīng)被分配了不同標(biāo)簽時(shí)，重心計(jì)算部分2414將不同標(biāo)簽中最早的標(biāo)簽分配給當(dāng)前像素，并將分配的標(biāo)簽存儲在對應(yīng)當(dāng)前像素的標(biāo)簽緩沖器2414a中。在這種情況下，為了記錄不同標(biāo)簽是相同標(biāo)簽的事實(shí)，重心計(jì)算部分2414將標(biāo)簽記錄到標(biāo)簽等價(jià)表中，并整合(integrate)各表。當(dāng)整合各表時(shí)，重心計(jì)算部分2414還整合像素的坐標(biāo)值和像素?cái)?shù)量。
圖9是示出標(biāo)簽等價(jià)表的例子的說明圖。如圖9所示，標(biāo)簽等價(jià)表包括標(biāo)簽和表值列，并例如示出了如果對應(yīng)標(biāo)簽“3”的表值是“1”，則標(biāo)簽“3”和“1”是相同的標(biāo)簽。因此，分配了標(biāo)簽“3”的像素被整合到分配了標(biāo)簽“1”的像素中。
因此，重心計(jì)算部分2414通過簡單地包括用于兩行的標(biāo)簽緩沖器2414a能夠執(zhí)行標(biāo)簽分配處理。從而，不需要使用在現(xiàn)有技術(shù)中使用的那樣的大容量的存儲器用于存儲二進(jìn)制圖像中所有像素的標(biāo)簽，并且能夠?qū)⒂糜诙M(jìn)制圖像的標(biāo)簽分配處理實(shí)現(xiàn)為硬件。
重心計(jì)算部分2414基于存儲在標(biāo)簽緩沖器2414a中的兩行像素的標(biāo)簽、與標(biāo)簽分配處理同時(shí)執(zhí)行通過累加包括在連接部分中的像素的坐標(biāo)值的計(jì)算連接部分的重心的處理。
圖10是示出坐標(biāo)值緩沖器2414b的結(jié)構(gòu)的說明圖。坐標(biāo)值緩沖器2414b包括標(biāo)簽列、像素?cái)?shù)量、x坐標(biāo)值的和、y坐標(biāo)值的和、以及標(biāo)志。相關(guān)于每個(gè)標(biāo)簽存儲像素?cái)?shù)量、x坐標(biāo)值的和、y坐標(biāo)值的和、以及標(biāo)志。像素?cái)?shù)量表示在其中分配了相同標(biāo)簽的像素被連接在一起的連接部分中的像素的數(shù)量。x坐標(biāo)值的和以及y坐標(biāo)值的和是分別通過累加包含在連接部分中的像素的x坐標(biāo)值和y坐標(biāo)值而獲得的值。
標(biāo)志通過將狀態(tài)分類為“可用的”、“處理的”或“未處理的”來表示標(biāo)簽的狀態(tài)?！翱捎玫摹北硎緲?biāo)簽未被使用的狀態(tài)?！疤幚淼摹北硎緲?biāo)簽已經(jīng)被分配給當(dāng)前行的當(dāng)前像素的狀態(tài)，而“未處理的”表示標(biāo)簽未被分配給當(dāng)前行的狀態(tài)。
在圖10中，對應(yīng)標(biāo)簽“1”和“2”的每一個(gè)的像素?cái)?shù)量、x坐標(biāo)值的和、y坐標(biāo)值的和、以及標(biāo)志表示當(dāng)在圖7中對第六當(dāng)前行的處理已經(jīng)完成時(shí)的狀態(tài)。例如，以下是關(guān)于在圖7中分配了標(biāo)簽“1”的九個(gè)像素的解釋。從圖7可以清楚地看出分配了標(biāo)簽“1”的像素?cái)?shù)量是九個(gè)。分配了標(biāo)簽“1”的像素的x坐標(biāo)值的和為(3+4)+(3+4)+(4+5)+(4+5+6)＝38。分配了標(biāo)簽“1”的像素的y坐標(biāo)值的和為(3+3)+(4+4)+(5+5)+(6+6+6)＝42。由于當(dāng)完成當(dāng)前行的處理時(shí)，標(biāo)簽“1”被分配給了三個(gè)像素，所以標(biāo)簽表示“處理的”。
以下是關(guān)于在圖7中分配了標(biāo)簽“2”(標(biāo)簽“2”分配給當(dāng)前像素)的四個(gè)像素的解釋。從圖7可以清楚地看出分配了標(biāo)簽“2”的像素為四個(gè)。分配了標(biāo)簽“2”的像素的x坐標(biāo)值的和為(10+11+12+13)＝46。分配了標(biāo)簽“2”的像素的y坐標(biāo)值的和為(6+6+6+6)＝24。由于當(dāng)完成當(dāng)前行的處理時(shí)，標(biāo)簽“2”被分配給了四個(gè)像素，所以該標(biāo)簽表示“處理的”。
通過存儲每個(gè)標(biāo)簽的標(biāo)志，重心計(jì)算部分2414可以在對一行(當(dāng)前行)的處理完成時(shí)確定是否執(zhí)行坐標(biāo)值的累積相加。
圖11A到圖11C是示出標(biāo)志的轉(zhuǎn)變的例子的說明圖。圖11A示出在對圖7中當(dāng)前行(第六行)的處理完成時(shí)的標(biāo)志。如上所述，由于在對當(dāng)前行的處理完成時(shí)標(biāo)簽“1”和“2”被分配給當(dāng)前行的像素，所以該標(biāo)簽表示“處理的”。
接著，重心計(jì)算部分2414刪除存儲在標(biāo)簽緩沖器2414a中的、緊接在當(dāng)前行(第六行)之前處理的行(第五行)的像素的標(biāo)簽，并存儲被刪除區(qū)域中當(dāng)前行(第六行)的像素的標(biāo)簽。然后，重心計(jì)算部分2414可以將第七行當(dāng)作新的當(dāng)前行，并存儲當(dāng)前行的像素的標(biāo)簽。
在作為新的當(dāng)前行開始對第七行進(jìn)行處理之前，重心計(jì)算部分2414初始化每個(gè)標(biāo)簽的標(biāo)志。利用初始化，如圖11B所示，標(biāo)志“未處理的”被設(shè)定為標(biāo)簽“1”和“2”。請注意未使用的標(biāo)簽用標(biāo)志“可用的”來初始化。
如圖7所示，由于在第七行沒有被分配標(biāo)簽“1”的像素，由分配了標(biāo)簽“1”的像素組成的連接部分在第七行結(jié)束。換句話說，由于在第七行有分配了標(biāo)簽“2”的像素(在第六行存在與分配了標(biāo)簽“2”的像素鄰接的像素)，由分配了標(biāo)簽“2”的像素組成的連接部分延續(xù)到第七行。因此，如圖11C所示，標(biāo)簽“1”還未分配，但是當(dāng)完成對當(dāng)前行(第七行)的處理時(shí)，標(biāo)簽“2”被分配給當(dāng)前行中的像素。因此，標(biāo)志“1”保持“未處理的”，而標(biāo)志“2”表示“處理的”。
因而，重心計(jì)算部分2414在完成對當(dāng)前行(第七行)的處理時(shí)，確定不累加標(biāo)簽“1”的像素的坐標(biāo)值，以及確定累加標(biāo)簽“2”的像素的坐標(biāo)值。根據(jù)不累加標(biāo)簽“1”的像素的坐標(biāo)值的決定，重心計(jì)算部分2414將存儲在坐標(biāo)值緩沖器2414b中的對應(yīng)標(biāo)簽“1”的x坐標(biāo)值的和以及y坐標(biāo)值的和的每一個(gè)除以像素的數(shù)量，以計(jì)算由分配了標(biāo)簽“1”的像素組成的連接部分的重心。例如，在圖7的情況下，通過將作為x坐標(biāo)值的和的38除以代表像素?cái)?shù)量的9，在標(biāo)簽“1”的連接部分中的重心的x坐標(biāo)為x坐標(biāo)＝4.22，而通過將作為y坐標(biāo)值的和的42除以代表像素?cái)?shù)量的9，重心的y坐標(biāo)為y坐標(biāo)＝4.67。
重心計(jì)算部分2414釋放分配給計(jì)算重心的連接部分中的像素的標(biāo)簽“1”。因此，標(biāo)簽“1”的標(biāo)志變?yōu)榭捎玫?，并且能夠作為新的?biāo)簽再次使用，并且因此能夠有效地使用坐標(biāo)值緩沖器2414b的存儲器容量。
通過執(zhí)行上述處理，即使在整個(gè)二進(jìn)制圖像中出現(xiàn)大量連接部分，也能夠只使用有限的存儲器容量來同時(shí)執(zhí)行標(biāo)簽分配處理和重心計(jì)算處理(特征點(diǎn)提取處理)，即用于兩行的標(biāo)簽緩沖器2414a和坐標(biāo)值緩沖器2414b。因此，與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，能夠?qū)D像處理實(shí)現(xiàn)為硬件，并能夠高速確定圖像之間的相似度。而且，能夠計(jì)算重心而不管連接部分的形狀，并且能夠準(zhǔn)確地確定圖像之間的相似性。
圖12是示出連接部分中的特征點(diǎn)的例子的說明圖。在圖12中，特定連接部分為字符“A”，并且被指定為分配了相同標(biāo)簽的一組像素。字符“A”的特征點(diǎn)(重心)是圖12中用黑圓表示的位置(x坐標(biāo)、y坐標(biāo))。
圖13是示出提取字符串中的特征點(diǎn)的結(jié)果的例子的說明圖。在由多個(gè)字符組成的字符串的情況下，提取根據(jù)字符類型具有不同坐標(biāo)的多個(gè)特征點(diǎn)。
特征矢量計(jì)算部分242把從特征點(diǎn)計(jì)算部分241輸入的每個(gè)特征點(diǎn)(即，連接部分的重心的坐標(biāo)值)當(dāng)作當(dāng)前特征點(diǎn)，并且例如在從當(dāng)前特征點(diǎn)的較短距離內(nèi)提取四個(gè)其它的周邊特征點(diǎn)。
圖14是示出當(dāng)前特征點(diǎn)和周邊特征點(diǎn)的說明圖。如圖14所示，例如對于當(dāng)前特征點(diǎn)P1，提取由封閉曲線S1所包圍的四個(gè)特征點(diǎn)(當(dāng)前特征點(diǎn)P2也提取作為用于當(dāng)前特征點(diǎn)P1的特征點(diǎn))。例如對于當(dāng)前特征點(diǎn)P2，提取由封閉曲線S2所包圍的四個(gè)特征點(diǎn)(當(dāng)前特征點(diǎn)P1也被提取作為用于當(dāng)前特征點(diǎn)P2的特征點(diǎn))。
特征矢量計(jì)算部分242從提取的四個(gè)特征點(diǎn)中選擇三個(gè)特征點(diǎn)，并計(jì)算不變量。請注意要選擇的特征點(diǎn)不限于三個(gè)，可以選擇四個(gè)或五個(gè)特征點(diǎn)。要選擇的特征點(diǎn)的數(shù)量根據(jù)要找到的不變量的類型而變化。例如，從三個(gè)點(diǎn)找到的不變量是模擬不變量(analog invariant)。
圖15A到圖15C是示出基于當(dāng)前特征點(diǎn)P1計(jì)算不變量的例子的說明圖。圖16A到圖16C是示出基于當(dāng)前特征點(diǎn)P2計(jì)算不變量的例子的說明圖。如圖15A到圖15C所示，從當(dāng)前特征點(diǎn)P1周邊的四個(gè)特征點(diǎn)選擇三個(gè)特征點(diǎn)，三個(gè)不同的不變量寫為H1j(j＝1，2，3)。特征矢量表示圖像的特征是一包含作為矢量元素的不變量H11、H12和H13的矢量。不變量H1j用等式H1j＝(A1j/B1j)×C/D來計(jì)算。這里，A1j和B1j表示特征點(diǎn)之間的距離，C是歸一化的常數(shù)，D是預(yù)定常數(shù)。因此，例如，即使在文檔旋轉(zhuǎn)、移動、或傾斜時(shí)，不變量Hij也不改變，并且能夠準(zhǔn)確地確定圖像之間的相似度。
類似地，如圖16A到圖16C所示，從當(dāng)前特征點(diǎn)P2周邊的四個(gè)特征點(diǎn)選擇三個(gè)特征點(diǎn)，三個(gè)不同的不變量寫為H2j(j＝1，2，3)。特征矢量表示圖像的特征是一包含作為矢量元素的不變量H21、H22和H23的矢量。不變量H2j用等式H2j＝(A2j/B2j)×C/D來計(jì)算。這里，A2j和B2j表示特征點(diǎn)之間的距離，C是歸一化的常數(shù)，D是預(yù)定常數(shù)。能夠以相同的方式計(jì)算其它當(dāng)前特征點(diǎn)的不變量。
特征矢量計(jì)算部分242基于從各個(gè)當(dāng)前特征點(diǎn)計(jì)算的不變量計(jì)算散列值Hi。當(dāng)前特征點(diǎn)Pi的散列值Hi表達(dá)為Hi＝(Hi1×102+Hi2×101+Hi3×100)/E。這里E是由設(shè)定多少余數(shù)(remainder)來確定的，并且例如，當(dāng)E為“10”時(shí)，余數(shù)的范圍從“0”到“9”，該范圍是要計(jì)算的散列值取值的范圍。I是自然數(shù)。請注意上述散列值是一個(gè)例子，并且本發(fā)明不限于此，也可以使用其它散列功能。雖然上面例示了提取六個(gè)點(diǎn)作為其它的周邊特征點(diǎn)的例子，但要提取的特征點(diǎn)不限于四個(gè)點(diǎn)。例如，能夠提取四個(gè)點(diǎn)。在這種情況下，從六個(gè)特征點(diǎn)提取五個(gè)點(diǎn)，對于提取五個(gè)點(diǎn)的六種方法的每一個(gè)、通過從五個(gè)點(diǎn)提取三個(gè)點(diǎn)找出不變量以及計(jì)算散列值。
圖17A和圖17B是示出散列表的結(jié)構(gòu)的說明圖。如圖17A所示，散列表的結(jié)構(gòu)包括散列值和代表文檔的索引的列。更具體地講，指針?biāo)饕?pointindex)表示文檔中的位置，并且不變量與代表文檔的索引相關(guān)聯(lián)的被登記。為了確定圖像之間的相似度，要進(jìn)行匹配的圖像或文檔被預(yù)先登記在散列表中。散列表被存儲在存儲器245中。如圖17B所示，當(dāng)散列值互相相等時(shí)(H1＝H5)，能夠?qū)⑸⒘斜碇械膬蓚€(gè)條目編組為一個(gè)。
投票處理部分243基于由特征矢量計(jì)算部分242計(jì)算的散列值搜索存儲在存儲器245中的散列表，并投票具有對于散列值登記的索引的文檔。投票處理部分243將累加投票的結(jié)果輸出到相似度確定部分244。
相似度確定部分244基于從投票處理部分243輸入的投票結(jié)果確定文檔(圖像或文檔圖像)的相似度，并輸出確定結(jié)果(分類信號)。更具體地講，相似度確定部分244比較從投票處理部分243輸入的投票的數(shù)量與預(yù)定閾值，當(dāng)投票數(shù)量大于閾值時(shí)確定輸入圖像類似于預(yù)先登記的文檔圖像，并進(jìn)一步確定在確定相似的圖像中具有最高投票的文檔是匹配文檔。相似度確定部分244輸出分類信號以執(zhí)行根據(jù)確定結(jié)果確定用于登記文檔的處理(諸如，例如，禁止復(fù)制或在預(yù)定文件夾中存儲結(jié)果)。當(dāng)從投票處理部分243輸入的投票的數(shù)量小于閾值時(shí)，相似度確定部分244確定沒有相似文檔，并輸出結(jié)果。上述確定方法是一個(gè)例子，還能夠使用其它方法，例如，其中在通過將投票除以每個(gè)文檔的最高投票(諸如對每個(gè)文檔找到的特征點(diǎn)數(shù)量)執(zhí)行歸一化之后進(jìn)行確定相似度或確定匹配文檔的方法。
接下來，將解釋文檔匹配處理部分24的操作。特征點(diǎn)計(jì)算部分241通過使用相對輸入圖像的預(yù)定尺寸的像素塊，對每個(gè)像素塊并行地執(zhí)行用于二進(jìn)制化處理的閾值計(jì)算和對圖像的二進(jìn)制化處理，對每個(gè)當(dāng)前行并行地執(zhí)行基于二進(jìn)制圖像的標(biāo)簽分配處理和對于連接部分的特征點(diǎn)提取(重心計(jì)算)，并將提取的特征點(diǎn)輸出到特征矢量計(jì)算部分242。
特征矢量計(jì)算部分242基于從特征點(diǎn)計(jì)算部分241輸入的特征點(diǎn)計(jì)算預(yù)定不變量，基于計(jì)算的不變量計(jì)算散列值，并將計(jì)算的散列值輸出到投票處理部分243。
投票處理部分243基于由特征矢量計(jì)算部分242計(jì)算的散列值搜索存儲在存儲器245中的散列表，并對具有散列值登記的索引的文檔投票。累加投票的結(jié)果被輸出到相似度確定部分244。
相似度確定部分244對從投票處理部分243輸入的投票數(shù)量與預(yù)定閾值進(jìn)行比較，當(dāng)投票數(shù)量大于閾值時(shí)確定輸入圖像類似于預(yù)先登記的文檔圖像，并進(jìn)一步確定在被確定類似匹配文檔的文檔中具有最高投票的文檔。相似度確定部分244輸出分類信號以根據(jù)確定結(jié)果執(zhí)行確定登記文檔的處理(諸如，例如，禁止復(fù)制或在預(yù)定文件夾中存儲結(jié)果)。當(dāng)從投票處理部分243輸入的投票數(shù)量小于閾值時(shí)，相似度確定部分244確定沒有相似的文檔，并輸出結(jié)果。上述確定方法是一個(gè)例子，還能夠使用其它方法，例如，其中在通過將投票除以每個(gè)文檔的最高投票(諸如對每個(gè)文檔找到的特征點(diǎn)數(shù)量)執(zhí)行歸一化之后進(jìn)行確定相似度或確定匹配文檔的方法。
如以上所解釋的，在這個(gè)實(shí)施例中，通過簡單地存儲用于兩行像素的標(biāo)簽，能夠同時(shí)執(zhí)行標(biāo)注和特征點(diǎn)提取，與現(xiàn)有技術(shù)相比能夠減少需要的存儲器容量，能夠?qū)D像處理實(shí)現(xiàn)為硬件，并能夠高速確定圖像之間的相似度。而且，能夠提取任意圖形的特征點(diǎn)，并且能夠準(zhǔn)確地確定圖像之間的相似性。此外，能夠動態(tài)地找出二進(jìn)制化處理的閾值，通過穩(wěn)定地指定連接部分，準(zhǔn)確地確定圖像之間的相似度，而且還能夠同時(shí)執(zhí)行二進(jìn)制化處理的閾值計(jì)算和每個(gè)像素塊的圖像的二進(jìn)制化。另外，即使在使用不同圖像輸入裝置時(shí)，能夠修復(fù)圖像的惡化(諸如，例如，模糊圖像)，去除確定圖像之間相似度不需要的高頻成分，并準(zhǔn)確地確定圖像之間的相似度。此外，即使改變分辨度時(shí)，能夠提取二進(jìn)制圖像中的特征點(diǎn)而不受所述改變的影響，能夠準(zhǔn)確地確定圖像之間的相似度。當(dāng)預(yù)定分辨度被設(shè)定小于在圖像輸入裝置中讀取圖像時(shí)的分辨度，能夠減少后級中的處理量。
在上述實(shí)施例中，例如，平面掃描儀、膠片掃描儀、數(shù)字相機(jī)或便攜式電話可以用作彩色圖像輸入裝置1。而彩色圖像輸出裝置3可以例如使用諸如CRT顯示器和液晶顯示器的圖像顯示裝置、用于將處理結(jié)果輸出到紀(jì)錄紙張上的電子照相型或噴墨型打印機(jī)。此外，作為圖像形成裝置100，可以使用用于通過網(wǎng)絡(luò)連接服務(wù)器裝置的通信裝置的調(diào)制解調(diào)器。還能夠使用通過網(wǎng)絡(luò)從外部存儲裝置、服務(wù)器裝置等獲得彩色圖像數(shù)據(jù)的結(jié)構(gòu)，而不是從彩色圖像輸入裝置1獲取彩色圖像數(shù)據(jù)。
在上述實(shí)施例中，雖然彩色圖像輸入裝置1和彩色圖像處理裝置2被解釋為分離的裝置，還可以將彩色圖像處理裝置2整合到彩色圖像輸入裝置1以構(gòu)成圖像讀取裝置。
在上述實(shí)施例中，文檔匹配處理部分24包括存儲器245和控制器246。但是，本發(fā)明并不限于這種結(jié)構(gòu)，還可以在文檔匹配處理部分24的外部提供存儲器245和控制器246。
在上述實(shí)施例中，雖然標(biāo)簽緩沖器存儲用于兩行的標(biāo)簽，但本發(fā)明不限于兩行，還能夠存儲用于三行或更多行的標(biāo)簽。請注意通過將標(biāo)簽緩沖器構(gòu)造為存儲用于兩行的標(biāo)簽，可以使存儲容量更小。
權(quán)利要求
1.一種圖像處理裝置，包括標(biāo)簽分配裝置，用于掃描通過以預(yù)定方向二進(jìn)制化圖像而獲得的二進(jìn)制圖像的像素，以及用于根據(jù)關(guān)于各個(gè)像素的二進(jìn)制化信息將標(biāo)簽分配給像素；標(biāo)簽存儲裝置，用于存儲關(guān)于沿著預(yù)定方向順序地分配給多行的每一行的標(biāo)簽的信息；坐標(biāo)值存儲裝置，用于存儲關(guān)于在二進(jìn)制圖像中分配了相同標(biāo)簽的像素的坐標(biāo)值的信息；用于確定在多行的當(dāng)前行中是否存在分配了與分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽的像素的裝置；用于在確定沒有被分配相同標(biāo)簽的像素時(shí)，基于存儲在所述坐標(biāo)值存儲裝置中的關(guān)于坐標(biāo)值的信息來計(jì)算在由坐標(biāo)值指定的像素被連接在一起的連接部分中的特征點(diǎn)的裝置；用于基于計(jì)算的特征點(diǎn)計(jì)算代表圖像特征的特征矢量的裝置；以及用于基于計(jì)算的特征矢量確定與其它圖像類似的裝置。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括累加器裝置，用于在確定在當(dāng)前行中存在分配了相同標(biāo)簽的像素時(shí)，加總分配了相同標(biāo)簽的像素的坐標(biāo)值，其中基于關(guān)于坐標(biāo)值的和以及分配了相同標(biāo)簽的像素?cái)?shù)量的信息來計(jì)算特征點(diǎn)。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括用于基于包含在像素塊中的像素的亮度值或明度值對由多個(gè)像素組成的每個(gè)像素塊計(jì)算閾值的裝置；以及用于基于計(jì)算的閾值二進(jìn)制化像素塊中的圖像的裝置。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，還包括用于基于通過以預(yù)定方向掃描像素快中的像素而獲得的各個(gè)像素的亮度值或明度值來計(jì)算亮度值或明度值的統(tǒng)計(jì)值的裝置；以及用于基于計(jì)算的統(tǒng)計(jì)值計(jì)算閾值的裝置。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括用于執(zhí)行空間過濾處理以校正圖像的空間頻率特性的裝置，其中二進(jìn)制化其空間頻率特性被所述裝置校正的圖像。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括用于轉(zhuǎn)換圖像的分辨度的裝置，其中二進(jìn)制化其分辨度被所述裝置轉(zhuǎn)換的圖像。
7.一種圖像形成裝置，包括在權(quán)利要求1到6的任意一個(gè)中定義的圖像處理裝置；以及圖像形成裝置，用于在紙張上形成由所述圖像處理裝置處理的圖像。
8.一種圖像讀取裝置，包括圖像讀取裝置，用于讀取圖像；以及在權(quán)利要求1到6的任意一個(gè)中定義的圖像處理裝置，用于處理由所述圖像讀取裝置讀取的圖像。
9.一種圖像處理方法，包括步驟掃描通過以預(yù)定方向二進(jìn)制化圖像而獲得的二進(jìn)制圖像的像素，并根據(jù)關(guān)于各個(gè)像素的二進(jìn)制化信息將標(biāo)簽分配給像素；存儲與沿著預(yù)定方向順序地分配給多行的每一行的標(biāo)簽相關(guān)的信息；存儲與在二進(jìn)制圖像中分配了相同標(biāo)簽的像素的坐標(biāo)值相關(guān)的信息；確定在多行的當(dāng)前行中是否存在分配了與分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽的像素；當(dāng)確定沒有被分配相同標(biāo)簽的像素時(shí)，基于存儲的與坐標(biāo)值相關(guān)的信息來計(jì)算在由坐標(biāo)值指定的像素被連接在一起的連接部分中的特征點(diǎn)；基于計(jì)算的特征點(diǎn)計(jì)算代表圖像特征的特征矢量；以及基于計(jì)算的特征矢量確定與其它圖像的類似。
全文摘要
以預(yù)定方向掃描通過二進(jìn)制化圖像而獲得的二進(jìn)制圖像的像素，根據(jù)關(guān)于各個(gè)像素的二進(jìn)制化信息將標(biāo)簽分配給像素，沿著預(yù)定方向?qū)Χ嘈械拿恳恍许樞虻卮鎯﹃P(guān)于分配的標(biāo)簽的信息，存儲關(guān)于在分配了相同標(biāo)簽的像素的二進(jìn)制圖像中坐標(biāo)值的信息，在多行的當(dāng)前行中確定是否存在分配了與分配給包含在緊接在當(dāng)前行之前掃描的行中的像素的標(biāo)簽相同的標(biāo)簽的像素，當(dāng)確定沒有被分配相同標(biāo)簽的像素時(shí)，基于存儲的關(guān)于坐標(biāo)值的信息，計(jì)算在通過將由坐標(biāo)值指定的像素連接在一起而形成的連接部分中的特征點(diǎn)，基于計(jì)算的特征點(diǎn)計(jì)算代表圖像特征的特征矢量，以及基于計(jì)算的特征矢量確定與其它圖像的類似。
文檔編號G06K9/20GK101064009SQ20071010092
公開日2007年10月31日 申請日期2007年4月28日 優(yōu)先權(quán)日2006年4月28日
發(fā)明者大平雅和, 森本淳壽 申請人:夏普株式會社