基于rgb-d相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于RGB?D相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法，該方法利用RGB‐D相機(jī)分割出紙幣，圖像預(yù)處理后將紙幣區(qū)域RGB顏色空間轉(zhuǎn)化為HSI顏色空間，利用色度分量初步判斷，再用SURF算法提取特征點(diǎn)與參考區(qū)域模板匹配，根據(jù)匹配特征點(diǎn)數(shù)與閾值的大小比較輸出結(jié)果。該方法專(zhuān)用于盲人在復(fù)雜背景環(huán)境下的紙幣檢測(cè)與識(shí)別，具有無(wú)紙幣時(shí)檢測(cè)到視場(chǎng)中不存在紙幣，有紙幣時(shí)輸出紙幣面值的功能。該方法的實(shí)現(xiàn)對(duì)盲人無(wú)特殊要求，操作習(xí)慣與常人相同，同時(shí)全面考慮了各種實(shí)際環(huán)境中可能遇到的干擾因素，具有速度快，準(zhǔn)確性高，魯棒性好等優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】
基于RGB-D相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及場(chǎng)景獲取、物體識(shí)別、視覺(jué)障礙人群輔助技術(shù)領(lǐng)域，尤其涉及一種利用 RGB-D相機(jī)采集視頻圖像，判斷復(fù)雜環(huán)境中是否存在紙幣以及存在時(shí)輸出紙幣的面值的方 法。
【背景技術(shù)】
[0002] 視覺(jué)是人類(lèi)最依賴(lài)的感官。通過(guò)視覺(jué)，人類(lèi)獲得至少80 %的外界信息，獲得對(duì)機(jī)體 生存具有重要意義的各種信息。然而，中國(guó)每年會(huì)出現(xiàn)新視覺(jué)障礙人士大約45萬(wàn)，低視力 135萬(wàn)，即約每分鐘就會(huì)出現(xiàn)1個(gè)全盲患者，3個(gè)低視力患者。據(jù)2013年最新統(tǒng)計(jì)顯示，中國(guó)有 視力障礙的殘疾人約1350萬(wàn)，而世界衛(wèi)生組織估計(jì)全世界有4000萬(wàn)到4500萬(wàn)的盲人。隨著 社會(huì)的各項(xiàng)保障制度與體系的完善，盲人的生活越來(lái)越受到政府與科研機(jī)構(gòu)的關(guān)注，用于 盲人視覺(jué)輔助的簡(jiǎn)單設(shè)備已無(wú)法滿(mǎn)足盲人的基本生活需求。
[0003] 盲人的出行不可避免伴隨著錢(qián)幣的交易，雖然紙幣上有按照各個(gè)國(guó)家的標(biāo)準(zhǔn)制定 了的盲文，然而隨著紙幣的流通，盲文經(jīng)歷了越來(lái)越嚴(yán)重的磨損，早已無(wú)法再被盲人感知。 因此，盲文雖然是一項(xiàng)很有意義的存在，卻并沒(méi)有真正發(fā)揮價(jià)值。同樣，紙幣的大小也是有 國(guó)家標(biāo)準(zhǔn)的，而這一標(biāo)準(zhǔn)是盲人通常使用的判斷面值的方法。經(jīng)調(diào)研，盲人通常會(huì)在身邊放 一張1元的紙幣，對(duì)于其他經(jīng)手的紙幣通過(guò)與1元紙幣的相對(duì)大小的比較獲得面值信息，但 這是基于紙幣是完好無(wú)損的，且這種使用的方法比較笨拙和機(jī)械。然而，市場(chǎng)上目前為止并 沒(méi)有專(zhuān)為盲人設(shè)計(jì)的紙幣識(shí)別系統(tǒng)，因此為了更加便捷盲人的生活，設(shè)計(jì)一款面向盲人的 紙幣識(shí)別系統(tǒng)迫在眉睫。
[0004] 該系統(tǒng)既是要應(yīng)用到實(shí)際生活當(dāng)中，那么它的設(shè)計(jì)需要考慮到很多重要且現(xiàn)實(shí)的 因素:紙幣的四種朝向（正面豎著，正面倒著，反面豎著，反面倒著），我們無(wú)法保證盲人拿著 的紙幣的狀態(tài)，因此在檢測(cè)到正樣本時(shí)，需要保證這四種狀態(tài)在系統(tǒng)中均可以被檢測(cè)到;紙 幣距離導(dǎo)致場(chǎng)景中的大小不同以及無(wú)法保證完全水平放置出現(xiàn)的小角度旋轉(zhuǎn);手持紙幣不 同位置時(shí)導(dǎo)致的不同程度、面積的遮擋;場(chǎng)景中光線的明暗造成紙幣可能出現(xiàn)過(guò)曝與欠曝 的情況;觀察紙幣時(shí)視場(chǎng)的變化、色溫的變化;紙幣所處的復(fù)雜背景以及不存在紙幣時(shí)輸出 無(wú)結(jié)果等。針對(duì)以上需要考慮的眾多因素，通過(guò)對(duì)視頻圖像的簡(jiǎn)單預(yù)處理從而提取目標(biāo)特 征進(jìn)行匹配識(shí)別總是無(wú)法正確識(shí)別所有因素下的紙幣。
[0005] 近些年來(lái)，深度相機(jī)在體感游戲方面的體驗(yàn)深入人心，也讓人們意識(shí)到了深度相 機(jī)在視覺(jué)互動(dòng)方面的潛在價(jià)值。利用深度相機(jī)剔除場(chǎng)景中的復(fù)雜背景，實(shí)現(xiàn)背景與目標(biāo)的 完整分割，減少了系統(tǒng)設(shè)計(jì)時(shí)需要考慮的因素，比如復(fù)雜的背景環(huán)境，場(chǎng)景中光線明暗也可 根據(jù)分割出來(lái)的區(qū)域調(diào)整局部亮度。這大大降低了圖像預(yù)處理時(shí)需要考慮的眾多因素，最 重要的是屏蔽了隨機(jī)背景對(duì)目標(biāo)分割的干擾。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明為了解決視覺(jué)障礙人群較為急迫的紙幣識(shí)別問(wèn)題，提供了一種基于RGB-D 相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法。本發(fā)明可以識(shí)別現(xiàn)在發(fā)行的中華人民共和國(guó)第五 套人民幣，包括1元、5元、10元、20元、50元、100元。
[0007]本發(fā)明通過(guò)以下技術(shù)方案來(lái)解決技術(shù)問(wèn)題:一種基于RGB-D相機(jī)的復(fù)雜環(huán)境下紙 幣檢測(cè)和識(shí)別方法，包括以下步驟：
[0008] (1)、第五套人民幣的1元、5元、10元、20元、50元、舊版100元、新版100元這七種紙 幣的數(shù)據(jù)獲取;該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0009] (1.1)、將第五套人民幣的1元紙幣正面放入RGB-D相機(jī)的視場(chǎng)中，根據(jù)正常手持紙 幣的最近距離，由近及遠(yuǎn)移動(dòng)紙幣，直至達(dá)到手臂伸直的最遠(yuǎn)距離;再將第五套人民幣的1 元紙幣反面放入RGB-D相機(jī)的視場(chǎng)中，由近及遠(yuǎn)移動(dòng)紙幣，直至達(dá)到最遠(yuǎn)距離;保證紙幣在 最近距離與最遠(yuǎn)距離內(nèi)，通過(guò)RGB-D相機(jī)采集視頻流N幀，N為自然數(shù)，為保證獲取的數(shù)據(jù)具 有普遍性，N至少為100;同時(shí)獲取視頻流中每一幀圖像的彩色信息和深度信息。
[0010] (1.2)、對(duì)步驟1.1獲取的每一幀圖像，設(shè)置深度閾值范圍的上限與下限，該上下限 是步驟1.1中的手持紙幣時(shí)的最遠(yuǎn)與最近距離。將深度閾值范圍內(nèi)的場(chǎng)景信息提取出來(lái)，像 素值設(shè)為全白1，同時(shí)將深度閾值范圍以外的像素值設(shè)為全黑〇,從而將每一幀圖像均轉(zhuǎn)化 為二值圖像。
[0011] (1.3)、對(duì)步驟1.2得到的二值圖像進(jìn)行水平和豎直直方圖投影，統(tǒng)計(jì)該方向上像 素值為1的像素點(diǎn)個(gè)數(shù)，找出投影中直方圖高出直方圖高度閾值下限且長(zhǎng)度最長(zhǎng)的一段，則 必為紙幣所在的水平和垂直區(qū)域，即提取區(qū)域。所述直方圖高度閾值下限是紙幣在深度閾 值上限時(shí)紙幣寬度對(duì)應(yīng)的像素個(gè)數(shù)。找到提取區(qū)域的最大外切矩形，設(shè)置為感興趣區(qū)域，獲 取感興趣區(qū)域內(nèi)的RGB信息。
[0012] (1.4)、將步驟1.3獲取的感興趣區(qū)域的每個(gè)像素點(diǎn)RGB顏色空間轉(zhuǎn)化到對(duì)應(yīng)的HSI 顏色空間，只針對(duì)H色度分量進(jìn)行分析。H分量對(duì)應(yīng)的轉(zhuǎn)化公式如下： f OXj>B \2tt-0,G<B
[0013] //-
[0014] 其中， l;R、G、B分別為RGB信息中的紅色值、綠 色值和藍(lán)色值；
[0015] 由于HSI顏色空間的H分量映射為一個(gè)圓，H的值對(duì)應(yīng)的是角度值，所以它的范圍為 [0，360)內(nèi)的整數(shù)。統(tǒng)計(jì)感興趣區(qū)域內(nèi)H色度各值的像素點(diǎn)個(gè)數(shù)。
[0016] (1.5)、紙幣的H色度分量的獲取:將步驟1.1獲取的N幀圖像依次經(jīng)過(guò)步驟1.2、1.3 獲得N個(gè)感興趣區(qū)域，再通過(guò)步驟1.4統(tǒng)計(jì)這N個(gè)感興趣區(qū)域的H色度從0到359各值的像素點(diǎn) 個(gè)數(shù)之和。找到N個(gè)感興趣區(qū)域統(tǒng)計(jì)的像素點(diǎn)個(gè)數(shù)之和最大所在的H色度值，對(duì)該色度值上 下取余量值40作為該面值紙幣的顏色閾值。
[0017] 將N幀中該顏色閾值范圍內(nèi)的像素點(diǎn)個(gè)數(shù)之和除以這N幀感興趣區(qū)域像素點(diǎn)個(gè)數(shù) 之和的百分比數(shù)值減5作為百分比閾值。
[0018] (1.6)、紙幣參考區(qū)域的SURF特征點(diǎn)的獲取，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0019] (1.6.1)、獲取1元紙幣的標(biāo)準(zhǔn)圖片，正面和反面各一張，所述的標(biāo)準(zhǔn)圖片是干凈、 整潔、無(wú)折痕的紙幣在正常光照下拍攝并截取的只含有紙幣的圖片，該標(biāo)準(zhǔn)圖片也可以從 網(wǎng)上獲取，分辨率為800*400。
[0020] (1.6.2)、將通過(guò)步驟1.6.1獲取的標(biāo)準(zhǔn)紙幣截取出七個(gè)參考區(qū)域作為模板，即七 個(gè)參考區(qū)域分別為：紙幣正面三處紙幣數(shù)值區(qū)域，紙幣背面的三處紙幣數(shù)值區(qū)域和紙幣背 面中間的圖像區(qū)域。
[0021] (1.6.3 )、針對(duì)步驟1.6.2中的七個(gè)模板，依次找到它們的SURF特征點(diǎn)并計(jì)算出描 述子。
[0022] (1.7)、將剩余六種紙幣5元、10元、20元、50元、舊版100元、新版100元依次通過(guò)步 驟1.1、1.2、1.3、1.4、1.5、1.6獲得該面值紙幣對(duì)應(yīng)的顏色閾值、相應(yīng)的百分比閾值以及對(duì) 應(yīng)七個(gè)參考區(qū)域的SURF特征點(diǎn)和描述子。
[0023] (2 )、紙幣檢測(cè)，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0024] (2.1)、獲取RGB-D相機(jī)任意一幀含有彩色信息和深度信息的圖像作為待測(cè)圖像， 對(duì)待測(cè)圖像進(jìn)行紙幣檢測(cè)。
[0025] (2.2)、對(duì)步驟2.1中的待測(cè)圖像進(jìn)行步驟1.2、1.3處理尋找待測(cè)感興趣區(qū)域。若無(wú) 法找到待測(cè)感興趣區(qū)域，則判定無(wú)紙幣。找到待測(cè)感興趣區(qū)域的繼續(xù)紙幣識(shí)別。
[0026] (3 )、紙幣識(shí)別，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0027] (3.1)、H分量初步估計(jì)紙幣面值范圍：對(duì)步驟2獲得的待測(cè)感興趣區(qū)域按照步驟 1.4處理，獲得其H色度各值對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)。分別統(tǒng)計(jì)其在七種紙幣顏色閾值范圍內(nèi)的 像素占待測(cè)感興趣區(qū)域像素總數(shù)的百分比，找出達(dá)到相應(yīng)百分比閾值的面值作為候選面 值。若此過(guò)程中，H色度的像素點(diǎn)在七種紙幣的顏色閾值范圍內(nèi)的個(gè)數(shù)百分比均無(wú)法達(dá)到相 應(yīng)的百分比閾值，則判定無(wú)紙幣。
[0028] (3.2)、SURF特征點(diǎn)進(jìn)一步紙幣面值確定:將步驟2獲取的待測(cè)感興趣區(qū)域的特征 點(diǎn)與步驟3.1獲取的一個(gè)或多個(gè)候選面值下的七個(gè)參考區(qū)域的特征點(diǎn)匹配，匹配時(shí)根據(jù)對(duì) 應(yīng)描述子中的歐氏距離判斷，若歐氏距離小于歐氏距離閾值，則特征點(diǎn)匹配上;歐氏距離閾 值為描述子中最小歐氏距離的1.5倍。每個(gè)候選面值得到7個(gè)顯示特征點(diǎn)匹配數(shù)量的數(shù)據(jù)， 求出7個(gè)數(shù)據(jù)之和作為該候選面值匹配度。若有多個(gè)候選面值，即有多個(gè)候選面值匹配度， 選取匹配度最大且大于20的作為最終輸出面值;若只有1個(gè)候選面值，即只有1個(gè)候選面值 匹配度，當(dāng)其大于20時(shí)，輸出該候選面值。
[0029] 本方法相比現(xiàn)有的視覺(jué)障礙輔助方法，其有益效果是：
[0030] 1、紙幣提取完整且干擾因素少。在圖像分割時(shí)，利用RGB-D相機(jī)取代圖像處理的圖 像分割，充分利用了相機(jī)的深度信息，提高了紙幣提取的可靠性與完整性。
[0031] 2、魯棒性高。該算法利用HSI顏色空間和SURF算法相結(jié)合，兼具顏色空間的亮度調(diào) 整，在目標(biāo)圖像有部分遮擋、旋轉(zhuǎn)變化、尺度變化、光照變化、色溫變化、視角變化時(shí)都具有 良好的穩(wěn)定性。
[0032] 3、速度快，準(zhǔn)確性高。簡(jiǎn)單的使用顏色空間的變化，雖然快，準(zhǔn)確率卻無(wú)法保證；只 使用SURF算法，準(zhǔn)確性較好，速度卻很慢。因此，將這兩者結(jié)合，先用顏色空間的匹配縮小可 能的結(jié)果范圍，再在小范圍內(nèi)使用SURF算法，既確保了準(zhǔn)確度，又提高了速度。
[0033] 4、使用方便。傳統(tǒng)的方法都具有實(shí)際操作上的不便，例如實(shí)用一元紙幣比對(duì)大小 的方法。而本方法不需要使用比對(duì)模板，直接將錢(qián)幣置于探測(cè)器之下即可快速得到紙幣面 值信息，與正常人眼識(shí)別的方式是類(lèi)似的，沒(méi)有打破人們的操作習(xí)慣，因此使用上會(huì)很方 便。
[0034] 5、方法智能化程度高。本發(fā)明的核心技術(shù)在于找到合適的智能方法使得在各種復(fù) 雜的場(chǎng)景下均能得到很好的匹配效果。為了達(dá)到上述目的，我們采取模板學(xué)習(xí)的方法，通過(guò) 海量數(shù)據(jù)輸入學(xué)習(xí)紙幣SURF特征點(diǎn)，得到最適宜的匹配方案，幾乎是模仿了人的思維學(xué)習(xí) 方法，因此得到的智能化程度非常高，而且這種方法是可移植性的。
[0035] 6、應(yīng)用生命力強(qiáng)。本發(fā)明專(zhuān)注于識(shí)別第五套人民幣，對(duì)于接下來(lái)的第六套人民幣， 只需要更新其數(shù)據(jù)庫(kù)便可以方便快速地適用于第六套人民幣，并不需要很復(fù)雜地更換設(shè)備 或者重新設(shè)計(jì)方案，具有很強(qiáng)的延續(xù)性。
【附圖說(shuō)明】
[0036] 圖1是本發(fā)明的流程圖；
[0037] 圖2是紙幣提取SURF特征點(diǎn)的參考區(qū)域示意圖。
【具體實(shí)施方式】
[0038] 如圖1所示，本發(fā)明基于RGB-D相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法，包括以下 步驟：
[0039] 1、待測(cè)圖片處理前，七種紙幣的數(shù)據(jù)獲取，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0040] 1.1、將1元紙幣正面放入RGB-D相機(jī)的視場(chǎng)中，根據(jù)正常手持紙幣的最近距離，由 近及遠(yuǎn)移動(dòng)紙幣，直至達(dá)到手臂伸直，此時(shí)即最遠(yuǎn)距離（此處的距離均相對(duì)架在鏡框上的 RGB-D相機(jī)所在的平面而言的距離）；再將1元紙幣反面放入RGB-D相機(jī)的視場(chǎng)中，由近及遠(yuǎn) 移動(dòng)紙幣，直至達(dá)到最遠(yuǎn)距離。保證紙幣正面和反面在最近距離與最遠(yuǎn)距離內(nèi)，通過(guò)RGB-D 相機(jī)采集視頻流共200幀，同時(shí)獲取視頻流中每一幀圖像的彩色信息和深度信息。
[0041] 1.2、對(duì)步驟1.1獲取的每一幀圖像，設(shè)置深度閾值范圍的上限與下限，該上下限是 步驟1.1中的手持紙幣時(shí)的最遠(yuǎn)與最近距離。將深度閾值范圍內(nèi)的場(chǎng)景信息提取出來(lái)，像素 值設(shè)為全白1，同時(shí)將深度閾值范圍以外的像素值設(shè)為全黑〇,從而將每一幀圖像均轉(zhuǎn)化為 二值圖像。
[0042] 1.3、對(duì)步驟1.2得到的二值圖像進(jìn)行水平和豎直直方圖投影，統(tǒng)計(jì)該方向上像素 值為1的像素點(diǎn)個(gè)數(shù)，由于紙幣在視場(chǎng)中具有一定的長(zhǎng)度與寬度，紙幣所在的水平和垂直位 置對(duì)應(yīng)的直方圖比其他無(wú)紙幣存在的位置要高，即白色像素點(diǎn)要多。找出投影中直方圖高 出直方圖高度閾值下限且長(zhǎng)度最長(zhǎng)的一段，則必為紙幣所在的水平和垂直區(qū)域，即提取區(qū) 域。所述直方圖高度閾值下限是紙幣在深度閾值上限時(shí)紙幣寬度對(duì)應(yīng)的像素個(gè)數(shù)。此方法 可以剔除一些干擾點(diǎn)，因?yàn)樵谠撋疃乳撝祪?nèi)，可能有噪聲點(diǎn)的存在。找到提取區(qū)域的最大外 切矩形，設(shè)置為感興趣區(qū)域，獲取感興趣區(qū)域內(nèi)的RGB信息。
[0043] 1.4、將步驟1.3獲取的感興趣區(qū)域的每個(gè)像素點(diǎn)RGB顏色空間轉(zhuǎn)化到對(duì)應(yīng)的HSI顏 色空間，只針對(duì)H色度分量進(jìn)行分析。H分量對(duì)應(yīng)的轉(zhuǎn)化公式如下： f 6,g>b
[0044] II =< \2n-(lG<B
[0045] 其中
[0046] 由于HSI顏色空間的H分量映射為一個(gè)圓，H的值對(duì)應(yīng)的是角度值，所以它的范圍為 [0，360)內(nèi)的整數(shù)。統(tǒng)計(jì)感興趣區(qū)域內(nèi)H色度各值的像素點(diǎn)個(gè)數(shù)。
[0047] 1.5、紙幣的H色度分量的獲取:將步驟1.1獲取的200幀圖像依次經(jīng)過(guò)步驟1.2、1.3 獲得200個(gè)感興趣區(qū)域，再通過(guò)步驟1.4統(tǒng)計(jì)這200個(gè)感興趣區(qū)域的H色度從0到359各值的像 素點(diǎn)個(gè)數(shù)之和。找到200個(gè)感興趣區(qū)域統(tǒng)計(jì)的像素點(diǎn)個(gè)數(shù)之和最大所在的H色度值，對(duì)該色 度值上下取余量值40作為該面值紙幣的顏色閾值。此時(shí)需要注意的是，各面值的顏色閾值 存在重疊的部分。
[0048]將200幀中該顏色閾值范圍內(nèi)的像素點(diǎn)個(gè)數(shù)之和除以這200幀感興趣區(qū)域像素點(diǎn) 個(gè)數(shù)之和的百分比數(shù)值減5作為百分比閾值。
[0049] 1.6、紙幣參考區(qū)域的SURF特征點(diǎn)的獲取，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0050] 1.6.1、獲取1元紙幣的標(biāo)準(zhǔn)圖片，正面和反面各一張，所謂的標(biāo)準(zhǔn)圖片是干凈、整 潔、無(wú)折痕的紙幣在正常光照下拍攝并截取的只含有紙幣的圖片，該標(biāo)準(zhǔn)圖片也可以從網(wǎng) 上獲取，分辨率為800*400。
[0051] 1.6.2、將通過(guò)步驟1.6.1獲取的標(biāo)準(zhǔn)紙幣按照?qǐng)D2的方式截取出七個(gè)參考區(qū)域作 為模板，即七個(gè)參考區(qū)域分別為：紙幣正面三處紙幣數(shù)值區(qū)域(兩個(gè)"1"和一個(gè)"壹"），紙幣 背面的三處紙幣數(shù)值區(qū)域和紙幣背面中間的圖像區(qū)域。
[0052] 1.6.3、針對(duì)步驟1.6.2中的七個(gè)模板，依次找到它們的SURF特征點(diǎn)并計(jì)算出描述 子。
[0053] 1.7、將剩余六種紙幣5元、10元、20元、50元、舊版100元、新版100元依次通過(guò)步驟 1.1、1.2、1.3、1.4、1.5、1.6獲得該面值對(duì)應(yīng)的顏色閾值、相應(yīng)的百分比閾值以及對(duì)應(yīng)七個(gè) 參考區(qū)域的SURF特征點(diǎn)和描述子。
[0054] 2、紙幣檢測(cè)，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0055] 2.1、獲取RGB-D相機(jī)任意一幀含有彩色信息和深度信息的圖像作為待測(cè)圖像，對(duì) 待測(cè)圖像進(jìn)行紙幣檢測(cè)。
[0056] 2.2、對(duì)步驟2.1中的待測(cè)圖像進(jìn)行步驟1.2、1.3處理尋找待測(cè)感興趣區(qū)域。若無(wú)法 找到待測(cè)感興趣區(qū)域，則輸出無(wú)紙幣。找到待測(cè)感興趣區(qū)域的繼續(xù)紙幣識(shí)別。
[0057] 3、紙幣識(shí)別，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)：
[0058] 3.1、H分量初步估計(jì)紙幣面值范圍：對(duì)步驟2獲得的待測(cè)感興趣區(qū)域按照步驟1.4 處理，獲得其H色度各值對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)。分別統(tǒng)計(jì)其在六種紙幣顏色閾值范圍內(nèi)的像素 占待測(cè)感興趣區(qū)域像素總數(shù)的百分比，找出達(dá)到相應(yīng)百分比閾值的面值作為候選面值，此 時(shí)的候選面值由于光照的輕微變化可能存在多種情況。若此過(guò)程中，H色度的像素點(diǎn)在七種 紙幣的顏色閾值范圍內(nèi)的個(gè)數(shù)百分比均無(wú)法達(dá)到相應(yīng)的百分比閾值，則輸出無(wú)紙幣，此時(shí) 視場(chǎng)內(nèi)可能只是一張純色的紙。
[0059] 3.2、SURF特征點(diǎn)進(jìn)一步紙幣面值確定
[0060] SURF算法的好處在于具有旋轉(zhuǎn)和尺度的不變性，具有良好的魯棒性。因此，加上這 一步，可以驗(yàn)證步驟3.1獲取的一個(gè)候選面值的正確性或者找出多個(gè)候選面值中可信度最 高的結(jié)果。
[0061]將步驟2獲取的待測(cè)感興趣區(qū)域的特征點(diǎn)與步驟3.1獲取的一個(gè)或多個(gè)候選面值 下的七個(gè)參考區(qū)域的特征點(diǎn)匹配，匹配時(shí)根據(jù)對(duì)應(yīng)描述子中的歐氏距離判斷，若歐氏距離 小于歐氏距離閾值，則特征點(diǎn)匹配上；歐氏距離閾值為描述子中最小歐氏距離的1.5倍。每 個(gè)候選面值得到7個(gè)顯示特征點(diǎn)匹配數(shù)量的數(shù)據(jù)，求出7個(gè)數(shù)據(jù)之和作為該候選面值匹配 度。若有多個(gè)候選面值，即有多個(gè)候選面值匹配度，選取匹配度最大且大于20的作為最終輸 出面值;若只有1個(gè)候選面值，即只有1個(gè)候選面值匹配度，當(dāng)其大于20時(shí)，輸出該候選面值。 從實(shí)驗(yàn)中發(fā)現(xiàn)，一幅1920* 1080的圖片，紙幣在深度閾值范圍內(nèi)與正確紙幣進(jìn)行SURF特征點(diǎn) 的匹配度均大于20。
【主權(quán)項(xiàng)】
1. 一種基于RGB-D相機(jī)的復(fù)雜環(huán)境下紙幣檢測(cè)和識(shí)別方法，其特征在于，包括以下步 驟： (1)、第五套人民幣的1元、5元、10元、20元、50元、舊版100元、新版100元這七種紙幣的 數(shù)據(jù)獲取;該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)： (1.1 )、將第五套人民幣的1元紙幣正面放入RGB-D相機(jī)的視場(chǎng)中，根據(jù)正常手持紙幣的 最近距離，由近及遠(yuǎn)移動(dòng)紙幣，直至達(dá)到手臂伸直的最遠(yuǎn)距離;再將1元紙幣反面放入RGB-D 相機(jī)的視場(chǎng)中，由近及遠(yuǎn)移動(dòng)紙幣，直至達(dá)到最遠(yuǎn)距離；保證紙幣在最近距離與最遠(yuǎn)距離 內(nèi)，通過(guò)RGB-D相機(jī)采集視頻流N幀，N為自然數(shù)，為保證獲取的數(shù)據(jù)具有普遍性，N至少為 100;同時(shí)獲取視頻流中每一幀圖像的彩色信息和深度信息。 (1.2) 、對(duì)步驟1.1獲取的每一幀圖像，設(shè)置深度閾值范圍的上限與下限，該上下限是步 驟1.1中的手持紙幣時(shí)的最遠(yuǎn)與最近距離。將深度閾值范圍內(nèi)的場(chǎng)景信息提取出來(lái)，像素值 設(shè)為全白1，同時(shí)將深度閾值范圍以外的像素值設(shè)為全黑0,從而將每一幀圖像均轉(zhuǎn)化為二 值圖像。 (1.3) 、對(duì)步驟1.2得到的二值圖像進(jìn)行水平和豎直直方圖投影，統(tǒng)計(jì)該方向上像素值 為1的像素點(diǎn)個(gè)數(shù)，找出投影中直方圖高出直方圖高度閾值下限且長(zhǎng)度最長(zhǎng)的一段，則必為 紙幣所在的水平和垂直區(qū)域，即提取區(qū)域。所述直方圖高度閾值下限是紙幣在深度閾值上 限時(shí)紙幣寬度對(duì)應(yīng)的像素個(gè)數(shù)。找到提取區(qū)域的最大外切矩形，設(shè)置為感興趣區(qū)域，獲取感 興趣區(qū)域內(nèi)的RGB信息。 (1.4 )、將步驟1.3獲取的感興趣區(qū)域的每個(gè)像素點(diǎn)RGB顏色空間轉(zhuǎn)化到對(duì)應(yīng)的HS I顏色 空間，只針對(duì)H色度分量進(jìn)行分析。H分量對(duì)應(yīng)的轉(zhuǎn)化公式如下：其中 為RGB信息中的紅色值、綠色值和 藍(lán)色值； 由于HS I顏色空間的H分量映射為一個(gè)圓，H的值對(duì)應(yīng)的是角度值，所以它的范圍為[0， 360)內(nèi)的整數(shù)。統(tǒng)計(jì)感興趣區(qū)域內(nèi)H色度各值的像素點(diǎn)個(gè)數(shù)。 (1.5) 、紙幣的H色度分量的獲取:將步驟1.1獲取的N幀圖像依次經(jīng)過(guò)步驟1.2、1.3獲得 N個(gè)感興趣區(qū)域，再通過(guò)步驟1.4統(tǒng)計(jì)這N個(gè)感興趣區(qū)域的H色度從0到359各值的像素點(diǎn)個(gè)數(shù) 之和。找到N個(gè)感興趣區(qū)域統(tǒng)計(jì)的像素點(diǎn)個(gè)數(shù)之和最大所在的H色度值，對(duì)該色度值上下取 余量值40作為該面值紙幣的顏色閾值。 將N幀中該顏色閾值范圍內(nèi)的像素點(diǎn)個(gè)數(shù)之和除以這N幀感興趣區(qū)域像素點(diǎn)個(gè)數(shù)之和 的百分比數(shù)值減5作為百分比閾值。 (1.6) 、紙幣參考區(qū)域的SURF特征點(diǎn)的獲取，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)： (1.6.1) 、獲取1元紙幣的標(biāo)準(zhǔn)圖片，正面和反面各一張，所述的標(biāo)準(zhǔn)圖片是干凈、整潔、 無(wú)折痕的紙幣在正常光照下拍攝并截取的只含有紙幣的圖片，該標(biāo)準(zhǔn)圖片也可以從網(wǎng)上獲 取，分辨率為800*400。 (1.6.2) 、將通過(guò)步驟1.6.1獲取的標(biāo)準(zhǔn)紙幣截取出七個(gè)參考區(qū)域作為模板，即七個(gè)參 考區(qū)域分別為：紙幣正面三處紙幣數(shù)值區(qū)域，紙幣背面的三處紙幣數(shù)值區(qū)域和紙幣背面中 間的圖像區(qū)域。 (1.6.3 )、針對(duì)步驟1.6.2中的七個(gè)模板，依次找到它們的SURF特征點(diǎn)并計(jì)算出描述子。 (1.7)、將剩余六種紙幣5元、10元、20元、50元、舊版100元、新版100元依次通過(guò)步驟 1.1、1.2、1.3、1.4、1.5、1.6獲得該面值紙幣對(duì)應(yīng)的顏色閾值、相應(yīng)的百分比閾值以及對(duì)應(yīng) 七個(gè)參考區(qū)域的SURF特征點(diǎn)和描述子。 (2)、紙幣檢測(cè)，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)： (2.1) 、獲取RGB-D相機(jī)任意一幀含有彩色信息和深度信息的圖像作為待測(cè)圖像，對(duì)待 測(cè)圖像進(jìn)行紙幣檢測(cè)。 (2.2) 、對(duì)步驟2.1中的待測(cè)圖像進(jìn)行步驟1.2、1.3處理尋找待測(cè)感興趣區(qū)域。若無(wú)法找 到待測(cè)感興趣區(qū)域，則判定無(wú)紙幣。找到待測(cè)感興趣區(qū)域的繼續(xù)紙幣識(shí)別。 (3 )、紙幣識(shí)別，該步驟通過(guò)以下子步驟來(lái)實(shí)現(xiàn)： (3.1)、H分量初步估計(jì)紙幣面值范圍：對(duì)步驟2獲得的待測(cè)感興趣區(qū)域按照步驟1.4處 理，獲得其H色度各值對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)。分別統(tǒng)計(jì)其在七種紙幣顏色閾值范圍內(nèi)的像素占 待測(cè)感興趣區(qū)域像素總數(shù)的百分比，找出達(dá)到相應(yīng)百分比閾值的面值作為候選面值。若此 過(guò)程中，H色度的像素點(diǎn)在七種紙幣的顏色閾值范圍內(nèi)的個(gè)數(shù)百分比均無(wú)法達(dá)到相應(yīng)的百 分比閾值，則判定無(wú)紙幣。 (3.2 )、SURF特征點(diǎn)進(jìn)一步紙幣面值確定:將步驟2獲取的待測(cè)感興趣區(qū)域的特征點(diǎn)與 步驟3.1獲取的一個(gè)或多個(gè)候選面值下的七個(gè)參考區(qū)域的特征點(diǎn)匹配，匹配時(shí)根據(jù)對(duì)應(yīng)描 述子中的歐氏距離判斷，若歐氏距離小于歐氏距離閾值，則特征點(diǎn)匹配上;歐氏距離閾值為 描述子中最小歐氏距離的1.5倍。每個(gè)候選面值得到7個(gè)顯示特征點(diǎn)匹配數(shù)量的數(shù)據(jù)，求出7 個(gè)數(shù)據(jù)之和作為該候選面值匹配度。若有多個(gè)候選面值，即有多個(gè)候選面值匹配度，選取匹 配度最大且大于20的作為最終輸出面值;若只有1個(gè)候選面值，即只有1個(gè)候選面值匹配度， 當(dāng)其大于20時(shí)，輸出該候選面值。
【文檔編號(hào)】G07D7/20GK105894655SQ201610260457
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2016年4月25日
【發(fā)明人】汪凱巍, 張?jiān)? 楊?lèi)饌?
【申請(qǐng)人】浙江大學(xué)