一種影像識別系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種影像識別系統(tǒng)，包括：機(jī)器人，具有一圖像采集模塊，通過一影像采集驅(qū)動模塊驅(qū)動該圖像采集模塊來采集機(jī)器人視野范圍內(nèi)的圖像；光源，在所述圖像采集模塊采集圖像時進(jìn)行補(bǔ)光；人臉檢測模塊，根據(jù)所述圖像采集模塊采集得到的圖像，對圖像中出現(xiàn)的人臉影像進(jìn)行定位；人臉識別模塊，對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。本發(fā)明在進(jìn)行人臉識別時，不需要固定的人臉姿勢即可進(jìn)行識別，同時可基于本地或者網(wǎng)絡(luò)的服務(wù)器數(shù)據(jù)來進(jìn)行識別，提高了識別的準(zhǔn)確性，并且能夠達(dá)到提供實(shí)時服務(wù)的速度。
【專利說明】
一種影像識別系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及安全領(lǐng)域，具體涉及一種機(jī)器人系統(tǒng)的影像識別系統(tǒng)及方法。
【背景技術(shù)】
[0002]目前，隨著人們對安全指數(shù)的重視，越來越多的安防系統(tǒng)采用了密碼驗(yàn)證、口令驗(yàn)證進(jìn)行識別，但是這種識別方式安全性仍然較差，很容易被他人獲悉解密方式，無法滿足更高層次的安全要求。因此，依據(jù)指紋、虹膜、人臉進(jìn)行識別的驗(yàn)證模式越來越受到高安全性安保系統(tǒng)的青睞。人臉與人體的其它生物特征(指紋、虹膜等)一樣與生倶來，它的唯一性和不易被復(fù)制的良好特性為身份鑒別提供了必要的前提，與其它類型的生物識別比較，人臉識別具有如下特點(diǎn):
[0003]非強(qiáng)制性:用戶不需要專門配合人臉采集設(shè)備，幾乎可以在無意識的狀態(tài)下就可獲取人臉圖像，這樣的取樣方式?jīng)]有“強(qiáng)制性”；
[0004]非接觸性:用戶不需要和設(shè)備直接接觸就能獲取人臉圖像；
[0005]并發(fā)性:在實(shí)際應(yīng)用場景下可以進(jìn)行多個人臉的分揀、判斷及識別；
[0006]除此之外，還符合視覺特性:“以貌識人”的特性，以及操作簡單、結(jié)果直觀、隱蔽性好等特點(diǎn)。
[0007]目前，人臉識別系統(tǒng)通常包括一個用于采集人臉圖像的攝像頭，進(jìn)行光線補(bǔ)償?shù)墓庠?，提示人臉采集位置的輔助定位裝置或標(biāo)記，運(yùn)行人臉識別軟件的計(jì)算機(jī)(可以是嵌入式計(jì)算機(jī))，處理或顯示識別結(jié)果的裝置，比如提示燈、開門繼電器和紀(jì)錄識別結(jié)果的數(shù)據(jù)庫表。
[0008]安防系統(tǒng)使用的人臉識別系統(tǒng)通常有以下難以使用在我們場景中的問題:1、對人臉采集的姿勢要求很固定；2、需要通過補(bǔ)償光源來固定光線條件，對光線非常敏感；3、由于計(jì)算需求是一次性的，所以對計(jì)算速度要求不高。

【發(fā)明內(nèi)容】

[0009]根據(jù)現(xiàn)有技術(shù)中的不足，本發(fā)明提供了一種影像識別系統(tǒng)，其中，包括:
[0010]機(jī)器人，具有一圖像采集模塊，通過一影像采集驅(qū)動模塊驅(qū)動該圖像采集模塊來采集機(jī)器人視野范圍內(nèi)的圖像；
[0011]光源，在所述圖像采集模塊采集圖像時進(jìn)行補(bǔ)光；
[0012]人臉檢測模塊，根據(jù)所述圖像采集模塊采集得到的圖像，對圖像中出現(xiàn)的人臉影像進(jìn)行定位；
[0013]人臉識別模塊，對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。
[0014]上述的影像識別系統(tǒng)，其中，所述圖像采集模塊為高清攝像頭，所述高清攝像頭具備靜態(tài)圖像和每秒至少30幀的視頻采集能力；
[0015]所述高清攝像頭通過MIPI或USB接口與所述機(jī)器人連接。
[0016]上述的影像識別系統(tǒng)，其中，所述光源包括氛圍光光源以及紅外光光源；
[0017]當(dāng)在氛圍光光源進(jìn)行補(bǔ)光，依據(jù)圖像采集模塊采集圖像時，若采集的圖像無法滿足識別需求，通過所述紅外光光源進(jìn)行補(bǔ)光。
[0018]上述的影像識別系統(tǒng)，其中，所述預(yù)處理包括:
[0019]對圖像中出現(xiàn)的人臉影像進(jìn)行角度矯正處理和光線處理(包括亮度歸一化和偏光修正)。
[0020]上述的影像識別系統(tǒng)，其中，所述數(shù)據(jù)庫包括本地?cái)?shù)據(jù)存儲模塊和和網(wǎng)絡(luò)服務(wù)器數(shù)據(jù)存儲模塊。
[0021]上述的影像識別系統(tǒng)，其中，所述機(jī)器人還具有一發(fā)聲裝置，連接所述數(shù)據(jù)庫，所述發(fā)聲裝置根據(jù)所述人臉識別模塊的比對結(jié)果來發(fā)出不同類型的提示音。
[0022]上述的影像識別系統(tǒng)，其中，所述系統(tǒng)還包括一記錄反饋裝置，用于記錄和/或反饋所述人臉識別模塊的比對結(jié)果。
[0023]上述的影像識別系統(tǒng)，其中，所述人臉識別模塊利用SVM算法來進(jìn)行比對。
[0024]—種使用上述系統(tǒng)的影像識別方法，其中，包括如下步驟:
[0025]步驟S1:利用所述機(jī)器人的圖像采集模塊來采集視野范圍內(nèi)的圖像，并在采集圖像的同時，利用一光源進(jìn)行補(bǔ)光；
[0026]步驟S2:利用所述人臉檢測模塊對所述圖像采集模塊采集得到的圖像中出現(xiàn)的人臉影像進(jìn)行定位處理；
[0027]步驟S3:利用所述人臉識別模塊對對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。
[0028]上述的影像識別方法，其中，若當(dāng)前人臉影像的身份信息不符合數(shù)據(jù)庫中已知身份的影像特征信息，繼續(xù)進(jìn)行所述步驟SI?步驟S3。
【附圖說明】
[0029]通過閱讀參照以下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明及其特征、夕卜形和優(yōu)點(diǎn)將會變得更明顯。在全部附圖中相同的標(biāo)記指示相同的部分。并未刻意按照比例繪制附圖，重點(diǎn)在于示出本發(fā)明的主旨。
[0030]圖1為本發(fā)明提供的身份識別系統(tǒng)結(jié)構(gòu)和運(yùn)行案例。
【具體實(shí)施方式】
[0031]在下文的描述中，給出了大量具體的細(xì)節(jié)以便提供對本發(fā)明更為徹底的理解。然而，對于本領(lǐng)域技術(shù)人員而言顯而易見的是，本發(fā)明可以無需一個或多個這些細(xì)節(jié)而得以實(shí)施。在其他的例子中，為了避免與本發(fā)明發(fā)生混淆，對于本領(lǐng)域公知的一些技術(shù)特征未進(jìn)行描述。
[0032]為了徹底理解本發(fā)明，將在下列的描述中提出詳細(xì)的步驟以及詳細(xì)的結(jié)構(gòu)，以便闡釋本發(fā)明的技術(shù)方案。本發(fā)明的較佳實(shí)施例詳細(xì)描述如下，然而除了這些詳細(xì)描述外，本發(fā)明還可以具有其他實(shí)施方式。
[0033]由于本發(fā)明是作為機(jī)器人視覺系統(tǒng)的一部分，實(shí)現(xiàn)人臉識別的功能，所以需要解決機(jī)器人在應(yīng)用中遇到的問題。包括:1、在機(jī)器人視野中任意位置出現(xiàn)的各種姿勢的人臉；2、各種光照條件，包括偏光或者無補(bǔ)償光源的情況；3、實(shí)時識別出現(xiàn)在機(jī)器人視野中的人臉，對響應(yīng)速度要求較高，而且在人臉身份變化時需要通過連續(xù)識別實(shí)現(xiàn)實(shí)時反饋。
[0034]為了解決上述問題，本實(shí)施例提供了一種影像識別系統(tǒng)，包括:
[0035]機(jī)器人，具有一圖像采集模塊，通過一影像采集驅(qū)動模塊驅(qū)動該圖像采集模塊來采集機(jī)器人視野范圍內(nèi)的圖像；
[0036]光源，在圖像采集模塊采集圖像時進(jìn)行補(bǔ)光；
[0037]人臉檢測模塊，根據(jù)圖像采集模塊采集得到的圖像，對圖像中出現(xiàn)的人臉影像進(jìn)行定位;
[0038]人臉識別模塊，對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。
[0039]在本發(fā)明的該實(shí)施例中，可選但非限制，機(jī)器人的圖像采集模塊為高清攝像頭，進(jìn)一步優(yōu)選的，該高清攝像頭應(yīng)當(dāng)具備靜態(tài)圖像和每秒至少30幀的視頻采集能力，進(jìn)而滿足高速影像采集的需求。例如機(jī)器人的視野范圍內(nèi)對象移動速度過快，本發(fā)明亦可采集到清晰的圖像?？蛇x但非限制，高清攝像頭通過MIPI或USB接口與機(jī)器人連接。在一些可選的實(shí)施例中，該機(jī)器人還可通過一馬達(dá)對圖像采集模塊的取景范圍及角度進(jìn)行實(shí)時調(diào)整，例如當(dāng)檢測到可視范圍內(nèi)有人經(jīng)過時，可通過該馬達(dá)驅(qū)動圖像采集模塊對移動的對象進(jìn)行實(shí)時跟蹤拍攝，例如與移動對象同步進(jìn)行移動并進(jìn)行放大拍攝，以提高采集圖像的清晰度。
[0040]在本發(fā)明的該實(shí)施例中，可選但非限制，上述的光源包括氛圍光光源以及紅外光光源。其中，氛圍光光源為機(jī)器人自帶的光源，優(yōu)點(diǎn)是亮度均勻，缺點(diǎn)是亮度不太高，沒有定向性，另外亮度可能被其他高優(yōu)先級應(yīng)用控制，有時甚至被關(guān)閉，所以不能滿足完全的補(bǔ)光需求。本發(fā)明添加的一套紅外發(fā)光裝置由于主要用于影像補(bǔ)光，所以發(fā)光功率由影像識別系統(tǒng)有限控制，能夠?qū)崿F(xiàn)各種場景下的較穩(wěn)定的補(bǔ)光。例如當(dāng)在氛圍光光源進(jìn)行補(bǔ)光，依據(jù)圖像采集模塊采集圖像時，若采集的圖像無法滿足識別需求，則通過紅外光光源進(jìn)行補(bǔ)光，進(jìn)而獲得較為清晰的圖像。
[0041]在本發(fā)明的該實(shí)施例中，可選但非限制，利用人臉檢測模塊進(jìn)行定位，即在機(jī)器人采集的全視野影像中定位人臉位置，在現(xiàn)有的安防系統(tǒng)中由于位置固定，通常不需要這一步驟。之后利用人臉識別模塊對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。其中，人臉識別模塊可對圖像中出現(xiàn)的人臉影像進(jìn)行角度矯正處理和光線處理包括亮度歸一化和偏光修正)，由于人臉采集的環(huán)境和角度變化很大，為提高識別率，本發(fā)明通過人臉識別模塊對人臉檢測模塊采集并定位的人臉影像進(jìn)行角度矯正處理，同時嵌入式的識別技術(shù)還會做影像光線的處理，進(jìn)而便于比對并提高正確率。
[0042]在本發(fā)明的該實(shí)施例中，可選但非限制，上述數(shù)據(jù)庫包括本地?cái)?shù)據(jù)存儲模塊和和網(wǎng)絡(luò)服務(wù)器數(shù)據(jù)存儲模塊。其中，本地?cái)?shù)據(jù)存儲模塊是基于機(jī)器人的嵌入式系統(tǒng)中，采用基于特征匹配的人臉識別技術(shù)，首先構(gòu)造已知身份人臉圖像的特征數(shù)據(jù)庫，然后對實(shí)時采集到的人臉圖像提取同種類型的特征，用一種數(shù)學(xué)距離函數(shù)比較當(dāng)前人臉與數(shù)據(jù)庫人臉的特征距離，然后判斷最可能的身份，并給出置信率。而基于網(wǎng)絡(luò)服務(wù)器數(shù)據(jù)存儲模塊，由于有更多的計(jì)算資源和更靈活的應(yīng)用架構(gòu)，我們采用基于深度學(xué)習(xí)模型的人臉識別技術(shù)，通過深度學(xué)習(xí)技術(shù)訓(xùn)練用于人臉識別的多層神經(jīng)網(wǎng)絡(luò)模型，該模型會用于生成數(shù)據(jù)庫中的人臉特征，用SVM算法(Support Vector Machine，支持向量機(jī)，是一種可訓(xùn)練的機(jī)器學(xué)習(xí)方法)或其他的標(biāo)準(zhǔn)分類器構(gòu)造數(shù)據(jù)庫的人臉類別，然后對實(shí)時采集的人臉影像計(jì)算模型特征，并通過分類器判斷人臉影像的身份和置信率。嵌入式特征匹配的識別技術(shù)支持20?50個人的識別，在一定的光線和角度變化范圍內(nèi)，20人識別準(zhǔn)確率90%以上，50人準(zhǔn)確率80%以上；服務(wù)器上基于深度學(xué)習(xí)的識別技術(shù)支持50人以上到至少幾百人的識別，識別準(zhǔn)確率在97%以上。
[0043]在本發(fā)明的該實(shí)施例中，可選但非限制，機(jī)器人還具有一發(fā)聲裝置，連接上述數(shù)據(jù)庫，該發(fā)聲裝置根據(jù)人臉識別模塊的比對結(jié)果來發(fā)出不同類型的提示音。例如，如果經(jīng)人臉識別模塊比對正確的話，那么發(fā)聲裝置會調(diào)取數(shù)據(jù)庫中對應(yīng)當(dāng)前人臉影像的提示音，比如“你好，陳先生”。而如果經(jīng)過反復(fù)核對后仍然認(rèn)為識別失敗，這時打招呼應(yīng)用仍然可以做一個不帶身份信息的通用打招呼，比如通過發(fā)聲裝置發(fā)出簡單的“你好”。在一些可選的實(shí)施例中，可將本發(fā)明與門禁系統(tǒng)相連接，若識別通過則允許當(dāng)前人通過，若無法通過識別，則禁止當(dāng)前人通過。
[0044]在本發(fā)明的該實(shí)施例中，可選但非限制，本發(fā)明所提供的影像識別系統(tǒng)還包括一記錄反饋裝置，用于記錄和/或反饋人臉識別模塊的比對結(jié)果。這個是可選部件，兩者不一定都要有或同時工作。在某些場景下，只需要記錄或只需要反饋。
[0045]同時本發(fā)明還提供了一種利用上述影像識別系統(tǒng)進(jìn)行識別的方法，具體包括如下步驟:
[0046]步驟S1:利用機(jī)器人的圖像采集模塊來采集視野范圍內(nèi)的圖像，并在采集圖像的同時，利用一光源進(jìn)行補(bǔ)光；
[0047]步驟S2:利用人臉檢測模塊對圖像采集模塊采集得到的圖像中出現(xiàn)的人臉影像進(jìn)行定位處理；
[0048]步驟S3:利用人臉識別模塊對對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。
[0049]其中，若當(dāng)前人臉影像的身份信息不符合數(shù)據(jù)庫中已知身份的影像特征信息，繼續(xù)進(jìn)行步驟SI?步驟S3。
[0050]身份識別系統(tǒng)整體的運(yùn)行流程如圖1所示:首先可借助一機(jī)器人的打招呼應(yīng)用發(fā)起一個識別請求到影像采集驅(qū)動模塊，影像采集驅(qū)動模塊接受請求，將攝像頭傳送過來的影像傳送給人臉檢測模塊，檢測軟件將定位到的人臉影像截取并作預(yù)處理，之后發(fā)送給人臉識別模塊，人臉識別模塊將識別結(jié)果傳送到結(jié)果確認(rèn)模塊，依據(jù)判斷結(jié)果的不同，系統(tǒng)執(zhí)行對應(yīng)的操作。如果正確，結(jié)果傳送到打招呼的應(yīng)用，該應(yīng)用根據(jù)識別到的身份使用發(fā)聲裝置向攝像頭影像中的用戶問好，如果錯誤，則重新向影像采集驅(qū)動發(fā)送識別請求，重新進(jìn)入識別流程。識別結(jié)果確認(rèn)模塊判斷的主要依據(jù)是人臉識別軟件傳送結(jié)果中的置信率。而在最壞情況下識別錯誤時重新發(fā)送請求的次數(shù)由打招呼應(yīng)用根據(jù)一個請求超時時間來控制確認(rèn)模塊是否繼續(xù)重發(fā)請求，如果識別超時仍未得到正確結(jié)果，則認(rèn)為識別失敗，這時打招呼應(yīng)用仍然可以做一個不帶身份信息的通用打招呼，比如簡單的“你好”。
[0051]綜上所述，由于本發(fā)明采用了如上技術(shù)方案，本發(fā)明在進(jìn)行人臉識別時，不需要固定的人臉姿勢即可進(jìn)行識別，同時可基于本地或者網(wǎng)絡(luò)的服務(wù)器數(shù)據(jù)來進(jìn)行識別，提高了識別的準(zhǔn)確性，另外，通過采用合適的攝像頭、運(yùn)算硬件模塊和運(yùn)算框架，可以使人臉識別過程滿足實(shí)時性需要。
[0052]以上對本發(fā)明的較佳實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，其中未盡詳細(xì)描述的設(shè)備和結(jié)構(gòu)應(yīng)該理解為用本領(lǐng)域中的普通方式予以實(shí)施；任何熟悉本領(lǐng)域的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍情況下，都可利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出許多可能的變動和修飾，或修改為等同變化的等效實(shí)施例，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所做的任何簡單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種影像識別系統(tǒng)，其特征在于，包括: 機(jī)器人，具有一圖像采集模塊，通過一影像采集驅(qū)動模塊驅(qū)動該圖像采集模塊來采集機(jī)器人視野范圍內(nèi)的圖像； 光源，在所述圖像采集模塊采集圖像時進(jìn)行補(bǔ)光； 人臉檢測模塊，根據(jù)所述圖像采集模塊采集得到的圖像，對圖像中出現(xiàn)的人臉影像進(jìn)行定位; 人臉識別模塊，對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。2.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述圖像采集模塊為高清攝像頭，所述高清攝像頭具備靜態(tài)圖像和每秒至少30幀的視頻采集能力； 所述高清攝像頭通過MIPI或USB接口與所述機(jī)器人連接。3.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述光源包括氛圍光光源以及紅外光光源； 當(dāng)在氛圍光光源進(jìn)行補(bǔ)光，依據(jù)圖像采集模塊采集圖像時，若采集的圖像無法滿足識別需求，通過所述紅外光光源進(jìn)行補(bǔ)光。4.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述預(yù)處理包括: 對圖像中出現(xiàn)的人臉影像進(jìn)行角度矯正處理和光線處理。5.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述數(shù)據(jù)庫包括本地?cái)?shù)據(jù)存儲模塊和和網(wǎng)絡(luò)服務(wù)器數(shù)據(jù)存儲模塊。6.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述機(jī)器人還具有一發(fā)聲裝置，連接所述數(shù)據(jù)庫，所述發(fā)聲裝置根據(jù)所述人臉識別模塊的比對結(jié)果來發(fā)出不同類型的提示■~>V.曰O7.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述系統(tǒng)還包括一記錄反饋裝置，用于記錄和/或反饋所述人臉識別模塊的比對結(jié)果。8.如權(quán)利要求1所述的影像識別系統(tǒng)，其特征在于，所述人臉識別模塊利用SVM算法來進(jìn)行比對。9.一種使用權(quán)利要求1-8任意一項(xiàng)所述系統(tǒng)的影像識別方法，其特征在于，包括如下步驟: 步驟S1:利用所述機(jī)器人的圖像采集模塊來采集視野范圍內(nèi)的圖像，并在采集圖像的同時，利用一光源進(jìn)行補(bǔ)光； 步驟S2:利用所述人臉檢測模塊對所述圖像采集模塊采集得到的圖像中出現(xiàn)的人臉影像進(jìn)行定位處理； 步驟S3:利用所述人臉識別模塊對對定位后的人臉影像進(jìn)行預(yù)處理，之后和一數(shù)據(jù)庫中已知身份的影像特征信息進(jìn)行比對，以判斷出當(dāng)前人臉影像的身份信息和置信率。10.如權(quán)利要求9所述的影像識別方法，其特征在于，在步驟S3中，若當(dāng)前人臉影像的身份信息不符合數(shù)據(jù)庫中已知身份的影像特征信息，繼續(xù)進(jìn)行所述步驟SI?步驟S3。
【文檔編號】G06K9/00GK105844202SQ201510014262
【公開日】2016年8月10日
【申請日】2015年1月12日
【發(fā)明人】梁寧清, 陳明修, 張宏鑫
【申請人】芋頭科技（杭州）有限公司