一種基于深度學(xué)習(xí)的人證核驗(yàn)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人證核驗(yàn)系統(tǒng)及方法，尤其是一種基于深度學(xué)習(xí)的人證核驗(yàn)系統(tǒng)及方法，屬于安防領(lǐng)域。
【背景技術(shù)】
[0002]在火車站、汽車站、公安檢查站、大型會(huì)展等場(chǎng)所，由于安全保衛(wèi)或其它業(yè)務(wù)需要，往往需要現(xiàn)場(chǎng)對(duì)通行人員的證件進(jìn)行核查。目前，此類核查工作還主要通過(guò)工作人員人工完成，無(wú)法杜絕犯罪分子利用他人身份證件蒙混過(guò)關(guān)的行為，存在安全隱患。
[0003]在這種形勢(shì)下，出現(xiàn)了基于人臉識(shí)別技術(shù)的核查方法，如申請(qǐng)?zhí)枮?01310099064.7的專利文件公開(kāi)了一種基于人臉識(shí)別第二代居民身份證的認(rèn)證系統(tǒng)和認(rèn)證方法，包括用于讀出身份證內(nèi)的信息的第二代身份證讀卡器，用于采集真實(shí)人臉圖像的攝像設(shè)備，身份資料信息庫(kù)，人臉識(shí)別器，根據(jù)第二代身份證讀卡器讀出的身份證內(nèi)的信息導(dǎo)出身份資料信息庫(kù)中存儲(chǔ)提供的相應(yīng)信息，并與第二代身份證讀卡器讀出的身份證內(nèi)的信息進(jìn)行比對(duì)。通過(guò)比較持有人身份證的信息和資料信息庫(kù)是否相符合來(lái)辨別身份證的真?zhèn)危绻Y料相符合，則再通過(guò)現(xiàn)場(chǎng)采集真實(shí)的人臉照片與資料信息中照片用人臉識(shí)別技術(shù)自動(dòng)比對(duì)，可以自動(dòng)識(shí)別身份證的真?zhèn)?。這類方法和系統(tǒng)存在以下缺點(diǎn):它通常只對(duì)采集的一張照片與證件照進(jìn)行比對(duì)，不能有效利用人員通行時(shí)采集的多張不同角度的人臉照片信息，有時(shí)還需要人員停下來(lái)配合拍照，降低了通行速度；并且這種系統(tǒng)對(duì)環(huán)境光照、人臉角度等因素適應(yīng)能力低，在實(shí)際應(yīng)用中準(zhǔn)確率不高；此外，這種方法不能針對(duì)證件照數(shù)據(jù)庫(kù)進(jìn)行專門優(yōu)化，在使用過(guò)程中將現(xiàn)場(chǎng)監(jiān)控照片與證件照比對(duì)相似度較低；現(xiàn)有的人臉識(shí)別系統(tǒng)往往依賴對(duì)人臉輪廓特征點(diǎn)進(jìn)行精確定位，而在實(shí)際應(yīng)用中面部遮擋、光照變化等原因會(huì)導(dǎo)致特征點(diǎn)定位不準(zhǔn)，或生成的面部網(wǎng)絡(luò)不精確，導(dǎo)致后續(xù)識(shí)別準(zhǔn)確率下降。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中的不足，提供一種能有效將證件照片與現(xiàn)場(chǎng)視頻監(jiān)控設(shè)備采集的多張人臉照片進(jìn)行比對(duì)，具有高準(zhǔn)確率和強(qiáng)適應(yīng)性的基于深度學(xué)習(xí)的人證核驗(yàn)系統(tǒng)及方法。
[0005]本發(fā)明解決問(wèn)題的技術(shù)方案是:提供一種基于深度學(xué)習(xí)的人證核驗(yàn)系統(tǒng)，包括訓(xùn)練子系統(tǒng)和人證核驗(yàn)子系統(tǒng)，所述訓(xùn)練子系統(tǒng)和人證核驗(yàn)子系統(tǒng)均包括:
[0006]第一多層卷積模塊，用于對(duì)不同姿態(tài)的現(xiàn)場(chǎng)人臉圖像序列進(jìn)行特征分析，輸出多個(gè)不同姿態(tài)的現(xiàn)場(chǎng)人臉特征；
[0007]第二多層卷積模塊，用于對(duì)證件照片進(jìn)行特征分析，輸出證件人臉特征；
[0008]聯(lián)合貝葉斯分解模塊，用于對(duì)第一多層卷積模塊輸出的現(xiàn)場(chǎng)人臉特征與第二多層卷積模塊輸出的證件人臉特征進(jìn)行聯(lián)合建模，將每個(gè)現(xiàn)場(chǎng)人臉特征分解成一個(gè)證件人臉相關(guān)特征和一個(gè)證件人臉不相關(guān)特征；
[0009]非線性激勵(lì)模塊，用于將聯(lián)合貝葉斯分解模塊輸出的屬于同一身份的多個(gè)證件人臉相關(guān)特征融合成單一特征。
[0010]所述訓(xùn)練子系統(tǒng)還包括:
[0011]身份辨認(rèn)模塊，用于對(duì)非線性激勵(lì)模塊輸出的融合后的單一特征和人員身份信息進(jìn)行比較，輸出身份辨認(rèn)誤差；
[0012]身份驗(yàn)證模塊，用于將非線性激勵(lì)模塊輸出的融合后的單一特征、第二多層卷積模塊輸出的證件人臉特征和人員身份信息進(jìn)行比較，輸出身份驗(yàn)證誤差；
[0013]誤差加權(quán)模塊，用于對(duì)身份辨認(rèn)模塊輸出的身份辨認(rèn)誤差、身份驗(yàn)證模塊輸出的身份驗(yàn)證誤差進(jìn)行加權(quán)求和，得到加權(quán)誤差，并將所述加權(quán)誤差在訓(xùn)練子系統(tǒng)中反向傳播，以調(diào)整訓(xùn)練子系統(tǒng)中各模塊的參數(shù)。
[0014]所述人證核驗(yàn)子系統(tǒng)還包括:
[0015]人臉跟蹤模塊，用于對(duì)現(xiàn)場(chǎng)圖像序列進(jìn)行檢測(cè)和跟蹤，輸出通行人員的多張不同姿態(tài)的現(xiàn)場(chǎng)人臉圖像；
[0016]證件閱讀模塊，用于自動(dòng)讀取通行人員的證件信息，從證件信息中直接提取證件照片，或從證件照片庫(kù)中調(diào)出對(duì)應(yīng)的證件照片；
[0017]人證一致性判定模塊，用于對(duì)非線性激勵(lì)模塊輸出的融合后的單一特征、第二多層卷積模塊輸出的證件人臉特征進(jìn)行比較和判斷，輸出人證一致性判定結(jié)果。
[0018]進(jìn)一步地，所述訓(xùn)練子系統(tǒng)中，所述第一多層卷積模塊、聯(lián)合貝葉斯分解模塊、非線性激勵(lì)模塊、身份辨認(rèn)模塊、誤差加權(quán)模塊依次連接，所述第二多層卷積模塊、身份驗(yàn)證模塊、誤差加權(quán)模塊依次連接，所述第二多層卷積模塊還與聯(lián)合貝葉斯分解模塊相連，所述非線性激勵(lì)模塊還與身份驗(yàn)證模塊相連。
[0019]進(jìn)一步地，所述人證核驗(yàn)子系統(tǒng)中，所述人臉跟蹤模塊、第一多層卷積模塊、聯(lián)合貝葉斯分解模塊、非線性激勵(lì)模塊、人證一致性判定模塊依次相連，所述證件閱讀模塊與第二多層卷積模塊相連，所述第二多層卷積模塊分別與聯(lián)合貝葉斯分解模塊、人證一致性判定模塊相連。
[0020]進(jìn)一步地，所述身份辨認(rèn)模塊根據(jù)輸入的人臉特征確定對(duì)應(yīng)的未知人身份。
[0021]進(jìn)一步地，所述身份驗(yàn)證模塊檢測(cè)來(lái)自不同輸入的人臉特征屬于同一身份的驗(yàn)證誤差。
[0022]進(jìn)一步地，所述證件閱讀模塊包括二代身份證閱讀器、RFID (Rad1 FrequencyIdentificat1n，射頻識(shí)別)閱讀器。
[0023]進(jìn)一步地，所述證件照片為正面人臉照片，包括二代身份證照片、護(hù)照照片。
[0024]一種基于深度學(xué)習(xí)的人證核驗(yàn)方法，包括訓(xùn)練過(guò)程和人證核驗(yàn)過(guò)程，所述訓(xùn)練過(guò)程利用若干已知身份的現(xiàn)場(chǎng)人臉圖像和證件照片對(duì)訓(xùn)練子系統(tǒng)進(jìn)行訓(xùn)練，所述人證核驗(yàn)過(guò)程利用訓(xùn)練過(guò)程最終獲得的模塊參數(shù)，對(duì)通行人員的多張現(xiàn)場(chǎng)采集照片與證件閱讀模塊采集的信息對(duì)應(yīng)的證件照片進(jìn)行比對(duì)，自動(dòng)輸出人員和證件是否相符的驗(yàn)證結(jié)果。
[0025]進(jìn)一步地，所述訓(xùn)練過(guò)程包括:
[0026]步驟1:使用第一多層卷積模塊對(duì)不同姿態(tài)的現(xiàn)場(chǎng)人臉圖像序列進(jìn)行特征分析，輸出多個(gè)不同姿態(tài)的現(xiàn)場(chǎng)人臉特征；
[0027]步驟2:使用第二多層卷積模塊對(duì)證件照片進(jìn)行特征分析，輸出證件人臉特征；
[0028]步驟3:通過(guò)聯(lián)合貝葉斯分解模塊對(duì)步驟I輸出的現(xiàn)場(chǎng)人臉特征與步驟2輸出的證件人臉特征進(jìn)行聯(lián)合建模，將每個(gè)現(xiàn)場(chǎng)人臉特征分解成一個(gè)證件人臉相關(guān)特征和一個(gè)證件人臉不相關(guān)特征；
[0029]步驟4:通過(guò)非線性激勵(lì)模塊將步驟3輸出的屬于同一身份的多個(gè)證件人臉相關(guān)特征融合成單一特征；
[0030]步驟5:通過(guò)身份辨認(rèn)模塊，利用Softmax回歸從步驟4輸出的融合后的單一特征中獲得身份分布概率，將所述身份分布概率和人員身份信息進(jìn)行比較，判定人員身份正確的概率，輸出身份辨認(rèn)誤差；
[0031]步驟6:通過(guò)身份驗(yàn)證模塊將步驟4輸出的融合后的單一特征、步驟2輸出的證件人臉特征和人員身份信息進(jìn)行比較，輸出身份驗(yàn)證誤差；
[0032]步驟7:通過(guò)誤差加權(quán)模塊對(duì)步驟5輸出的身份辨認(rèn)誤差、步驟6輸出的身份驗(yàn)證誤差進(jìn)行加權(quán)求和，得到加權(quán)誤差，并將所述加權(quán)誤差在訓(xùn)練子系統(tǒng)中反向傳播，以調(diào)整訓(xùn)練子系統(tǒng)中各模塊的參數(shù)。
[0033]進(jìn)一步地，所述訓(xùn)練過(guò)程采用不同人的現(xiàn)場(chǎng)人臉圖像序列和證件照片，不斷重復(fù)步驟1- 7，直至驟7得到的加權(quán)誤差小于設(shè)定的加權(quán)誤差閾值。
[0034]進(jìn)一步地，所述加權(quán)誤差