一種基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提 取方法。
【背景技術(shù)】
[0002] 近些年來隨著電商的迅猛發(fā)展，快遞包裹的數(shù)量急劇增加?？爝f包裹中的表單中 含有包裹寄件人、收件人、收件人地址、郵寄物品等很多信息，這些信息對郵件的分揀、信息 的提取及安檢等都有非常重要的意義。而識別包裹表單上的信息，首先需要提取用戶輸入 的內(nèi)容，然后才進(jìn)行識別等進(jìn)一步的工作。
[0003] 由于因為光照、圖像采集設(shè)備、包裹的尺寸等差異，包裹表單圖像在分辨率、亮度、 傾斜角度等處理方面比較復(fù)雜。因此，現(xiàn)在市場上亟需一種新的圖像處理方法來克服上述 缺陷。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的缺陷，提出了一種基于圖像局部特征點(diǎn)配準(zhǔn) 的表單內(nèi)容提取方法。
[0005] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法，包括以下步驟：
[0006] 步驟一：提取輸入圖像中的SIFT特征點(diǎn)；
[0007] 步驟二：求出所述輸入圖像與其對應(yīng)基準(zhǔn)圖像的各局部圖像塊的匹配特征點(diǎn)對集 合；
[0008] 步驟三：根據(jù)所述匹配特征點(diǎn)對，計算所述基準(zhǔn)圖像的各局部圖像塊的變換矩 陣；
[0009] 步驟四：根據(jù)所述變換矩陣，求出所述輸入圖像中的各對應(yīng)局部圖像塊；
[0010] 步驟五：以所述局部圖像塊為節(jié)點(diǎn)、以所述局部圖像塊間幾何關(guān)系為邊建立圖模 型，通過圖匹配運(yùn)算對所述輸入圖像的各局部圖像塊和所述基準(zhǔn)圖像的各局部圖像塊進(jìn)行 匹配，求得匹配圖像塊集合；
[0011] 步驟六：根據(jù)所述匹配圖像塊集合中的匹配特征點(diǎn)對集合，求得全局變換矩陣； [0012] 步驟七：通過所述全局變換矩陣變換所述輸入圖像；
[0013] 步驟八：將變換后的所述輸入圖像與所述基準(zhǔn)圖像相減，得到對應(yīng)像素的差值；
[0014] 步驟九：對相減后的所述輸入圖像進(jìn)行二值化，得到表單內(nèi)容。
[0015] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，所述基準(zhǔn)圖像的 局部圖像塊為矩形圖像塊。
[0016] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，所述步驟一之前 先選取所述基準(zhǔn)圖像中具有代表性的圖像塊作為局部圖像塊。其中，具有代表性的圖像塊 是指檢測到SIFT特征點(diǎn)比較多的圖像塊。
[0017] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，所述步驟二采用 基于特征描述子的歐幾里德距離的最近鄰與次近鄰比值法。
[0018] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，所述步驟三和步 驟六中，采用RANSAC方法計算所述變換矩陣。
[0019] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，所述步驟五中， 同一圖像上任意兩個局部圖像塊間的幾何關(guān)系定義為：兩局部圖像塊中心的距離與局部圖 像塊的兩個角之間距離的比值。
[0020] 本發(fā)明提出的基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中，對所述基準(zhǔn)圖像 的局部圖像塊，兩個角為左上角和右上角；對所述輸入圖像的局部圖像塊，兩個角為與所述 基準(zhǔn)圖像的局部圖像塊的左上角和右上角對應(yīng)的兩個角。
[0021] 本發(fā)明方法基于圖像局部特征點(diǎn)配準(zhǔn)，涉及圖像局部特征、圖匹配、圖像變換等內(nèi) 容，克服了復(fù)雜分辨率、亮度、傾斜角度等方面的干擾。
[0022] 本發(fā)明在圖像特征方面，基于圖像梯度分布的SIFT(scale_invariant feature transform)具有尺度不變性和旋轉(zhuǎn)不變性等優(yōu)異特性，其性能得到公認(rèn)。然而，SIFT特征 點(diǎn)匹配時，不考慮特征點(diǎn)之間的位置關(guān)系，只依據(jù)特征描述子之間的相似性，在圖像配準(zhǔn)時 存在一定的局限性。本發(fā)明基于局部圖像塊進(jìn)行分析，以圖像塊為節(jié)點(diǎn)、圖像塊間幾何關(guān)系 為邊建立圖模型，從而加入了特征點(diǎn)之間的位置關(guān)系，對結(jié)果有一定的改善。
[0023] 本發(fā)明在圖匹配方面，求解兩圖的匹配問題可以轉(zhuǎn)化為求解該兩圖生成的 association graph的最大（權(quán)）團(tuán)問題。本發(fā)明中將圖匹配問題轉(zhuǎn)化為了最大權(quán)團(tuán)問題， 其中加權(quán)可以更合理的對相似性建模。
[0024] 本發(fā)明在圖像變換方面采用投影變換模型，以及采用RANSAC方法來根據(jù)匹配數(shù) 據(jù)估計變換模型的參數(shù)。
[0025] 本發(fā)明方法應(yīng)用范圍廣，可以用于各種表單的內(nèi)容提取，包括包裹表單、票據(jù)等。
【附圖說明】
[0026] 圖1為本發(fā)明基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中輸入圖像的示意 圖。
[0027] 圖2為本發(fā)明基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法中基準(zhǔn)圖像的示意 圖。
[0028] 圖3為實施例中基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法的流程圖。
[0029] 圖4為本發(fā)明方法中基準(zhǔn)圖像的局部圖像塊的示意圖。
[0030] 圖5a為本發(fā)明方法中基準(zhǔn)圖像的SIFT特征點(diǎn)示例圖（局部）。
[0031] 圖5b為本發(fā)明方法中輸入圖像的SIFT特征點(diǎn)示例圖（局部）。
[0032] 圖6為本發(fā)明方法中輸入圖像的局部圖像塊的示意圖。
[0033] 圖7為本發(fā)明方法中基準(zhǔn)圖像圖模型的示意圖。
[0034] 圖8為本發(fā)明方法中輸入圖像圖模型的示意圖。
[0035] 圖9為本發(fā)明方法中輸入圖像在圖匹配后的公共子圖示意圖。
[0036] 圖10為本發(fā)明方法中基準(zhǔn)圖像在圖匹配后的公共子圖示意圖。
[0037] 圖11為本發(fā)明中變換后的輸入圖像的示意圖。
[0038] 圖12為本發(fā)明方法中輸入圖像與基準(zhǔn)圖像相減后的圖像示意圖。
[0039] 圖13為本發(fā)明方法提取出的表單內(nèi)容示意圖。
[0040] 圖14為本發(fā)明基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法的流程圖。
【具體實施方式】
[0041] 結(jié)合以下具體實施例和附圖，對發(fā)明作進(jìn)一步的詳細(xì)說明。實施本發(fā)明的過程、條 件、實驗方法等，除以下專門提及的內(nèi)容之外，均為本領(lǐng)域的普遍知識和公知常識，本發(fā)明 沒有特別限制內(nèi)容。
[0042] 本發(fā)明提出了一種基于圖像局部特征點(diǎn)配準(zhǔn)的表單內(nèi)容提取方法，包括以下步 驟：
[0043] 步驟一：提取輸入圖像中的SIFT特征點(diǎn)；
[0044] 步驟二：求出輸入圖像與其對應(yīng)基準(zhǔn)圖像的各局部圖像塊的匹配特征點(diǎn)對集合；
[0045] 步驟三：根據(jù)匹配特征點(diǎn)對，計算基準(zhǔn)圖像的各局部圖像塊的變換矩陣；
[0046] 步驟四：根據(jù)變換矩陣，求出輸入圖像中的各對應(yīng)局部圖像塊；
[0047] 步驟五：以局部圖像塊為節(jié)點(diǎn)、以局部圖像塊間幾何關(guān)系為邊建立圖模型，通過圖 匹配運(yùn)算對輸入圖像的各局部圖像塊和基準(zhǔn)圖像的各局部圖像塊進(jìn)行匹配，求得匹配圖像 塊集合；
[0048] 步驟六：根據(jù)匹配圖像塊集合中的匹配特征點(diǎn)對集合，求得全局變換矩陣；
[0049] 步驟七：通過全局變換矩陣變換輸入圖像；
[0050] 步驟八：將變換后的輸入圖像與基準(zhǔn)圖像相減，得到對應(yīng)像素的差值；
[0051] 步驟九：對相減后的輸入圖像進(jìn)行二值化，得到表單內(nèi)容。
[0052] 本發(fā)明中，基準(zhǔn)圖像的局部圖像塊為矩形圖像塊。
[0053] 本發(fā)明中，步驟一之前先選取基準(zhǔn)圖像中SIFT特征點(diǎn)較多的圖像區(qū)域作為局部 圖像塊。
[0054] 本發(fā)明中，步驟二采用基于特征描述子的歐幾里德距離的最近鄰與次近鄰比值 法。
[0055] 本發(fā)明中，步驟三和步驟六中，采用RANSAC方法計算變換矩陣。
[0056] 本發(fā)明中，步驟五中，同一圖像上任意兩個局部圖像塊間的幾何關(guān)系定義為：兩局 部圖像塊中心的距離與局部圖像塊的兩個角之間距離的比值。
[0057] 本發(fā)明中，對基準(zhǔn)圖像的局部圖像塊，兩個角是指左上角和右上角；對輸入圖像的 局部圖像塊，兩個角是指與基準(zhǔn)圖像的局部圖像塊的左上角和右上角對應(yīng)的兩個角。
[0058] 實施例
[0059] 本實施例中，以提取郵政包裹表單內(nèi)容為例描述本發(fā)明的實施方法，實際本發(fā)明 方法可以應(yīng)用于其他表單內(nèi)容