系統(tǒng)和人證核驗子系統(tǒng)，所述訓(xùn)練子系統(tǒng)和人證核驗子系統(tǒng)均包括: 第一多層卷積模塊，用于對不同姿態(tài)的現(xiàn)場人臉圖像序列進行特征分析，輸出多個不同姿態(tài)的現(xiàn)場人臉特征； 第二多層卷積模塊，用于對證件照片進行特征分析，輸出證件人臉特征； 聯(lián)合貝葉斯分解模塊，用于對第一多層卷積模塊輸出的現(xiàn)場人臉特征與第二多層卷積模塊輸出的證件人臉特征進行聯(lián)合建模，將每個現(xiàn)場人臉特征分解成一個證件人臉相關(guān)特征和一個證件人臉不相關(guān)特征； 非線性激勵模塊，用于將聯(lián)合貝葉斯分解模塊輸出的屬于同一身份的多個證件人臉相關(guān)特征融合成單一特征； 所述訓(xùn)練子系統(tǒng)還包括: 身份辨認(rèn)模塊，用于對非線性激勵模塊輸出的融合后的單一特征和人員身份信息進行比較，輸出身份辨認(rèn)誤差； 身份驗證模塊，用于將非線性激勵模塊輸出的融合后的單一特征、第二多層卷積模塊輸出的證件人臉特征和人員身份信息進行比較，輸出身份驗證誤差； 誤差加權(quán)模塊，用于對身份辨認(rèn)模塊輸出的身份辨認(rèn)誤差、身份驗證模塊輸出的身份驗證誤差進行加權(quán)求和，得到加權(quán)誤差，并將所述加權(quán)誤差在訓(xùn)練子系統(tǒng)中反向傳播，以調(diào)整訓(xùn)練子系統(tǒng)中各模塊的參數(shù)； 所述人證核驗子系統(tǒng)還包括: 人臉跟蹤模塊，用于對現(xiàn)場圖像序列進行檢測和跟蹤，輸出通行人員的多張不同姿態(tài)的現(xiàn)場人臉圖像； 證件閱讀模塊，用于自動讀取通行人員的證件信息，從證件信息中直接提取證件照片，或從證件照片庫中調(diào)出對應(yīng)的證件照片； 人證一致性判定模塊，用于對非線性激勵模塊輸出的融合后的單一特征、第二多層卷積模塊輸出的證件人臉特征進行比較和判斷，輸出人證一致性判定結(jié)果； 所述訓(xùn)練子系統(tǒng)中，所述第一多層卷積模塊、聯(lián)合貝葉斯分解模塊、非線性激勵模塊、身份辨認(rèn)模塊、誤差加權(quán)模塊依次連接，所述第二多層卷積模塊、身份驗證模塊、誤差加權(quán)模塊依次連接，所述第二多層卷積模塊還與聯(lián)合貝葉斯分解模塊相連，所述非線性激勵模塊還與身份驗證模塊相連； 所述人證核驗子系統(tǒng)中，所述人臉跟蹤模塊、第一多層卷積模塊、聯(lián)合貝葉斯分解模塊、非線性激勵模塊、人證一致性判定模塊依次相連，所述證件閱讀模塊與第二多層卷積模塊相連，所述第二多層卷積模塊分別與聯(lián)合貝葉斯分解模塊、人證一致性判定模塊相連。
2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的人證核驗系統(tǒng)，其特征在于，所述證件閱讀模塊包括二代身份證閱讀器、RFID閱讀器。
3.一種基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述人證核驗方法包括訓(xùn)練過程和人證核驗過程，所述訓(xùn)練過程利用若干已知身份的現(xiàn)場人臉圖像和證件照片對訓(xùn)練子系統(tǒng)進行訓(xùn)練，所述人證核驗過程利用訓(xùn)練過程最終獲得的模塊參數(shù)，對通行人員的多張現(xiàn)場采集照片與證件閱讀模塊采集的信息對應(yīng)的證件照片進行比對，自動輸出人員和證件是否相符的驗證結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述訓(xùn)練過程包括: 步驟1:使用第一多層卷積模塊對不同姿態(tài)的現(xiàn)場人臉圖像序列進行特征分析，輸出多個不同姿態(tài)的現(xiàn)場人臉特征； 步驟2:使用第二多層卷積模塊對證件照片進行特征分析，輸出證件人臉特征； 步驟3:通過聯(lián)合貝葉斯分解模塊對步驟I輸出的現(xiàn)場人臉特征與步驟2輸出的證件人臉特征進行聯(lián)合建模，將每個現(xiàn)場人臉特征分解成一個證件人臉相關(guān)特征和一個證件人臉不相關(guān)特征； 步驟4:通過非線性激勵模塊將步驟3輸出的屬于同一身份的多個證件人臉相關(guān)特征融合成單一特征； 步驟5:通過身份辨認(rèn)模塊，利用Softmax回歸從步驟4輸出的融合后的單一特征中獲得身份分布概率，將所述身份分布概率和人員身份信息進行比較，判定人員身份正確的概率，輸出身份辨認(rèn)誤差； 步驟6:通過身份驗證模塊將步驟4輸出的融合后的單一特征、步驟2輸出的證件人臉特征和人員身份信息進行比較，輸出身份驗證誤差； 步驟7:通過誤差加權(quán)模塊對步驟5輸出的身份辨認(rèn)誤差、步驟6輸出的身份驗證誤差進行加權(quán)求和，得到加權(quán)誤差，并將所述加權(quán)誤差在訓(xùn)練子系統(tǒng)中反向傳播，以調(diào)整訓(xùn)練子系統(tǒng)中各模塊的參數(shù)； 所述訓(xùn)練過程采用不同人的現(xiàn)場人臉圖像序列和證件照片，不斷重復(fù)步驟1- 7，直至步驟7得到的加權(quán)誤差小于設(shè)定的加權(quán)誤差閾值。
5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述加權(quán)誤差閾值<初始值的1/10000，所述初始值為第一次執(zhí)行完訓(xùn)練過程步驟1-7時步驟7得到的加權(quán)誤差。
6.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述人證核驗過程包括: 步驟1:使用人臉跟蹤模塊對現(xiàn)場圖像序列進行檢測和跟蹤，輸出通行人員的多張不同姿態(tài)的現(xiàn)場人臉圖像； 步驟2:使用第一多層卷積模塊對步驟I輸出的不同姿態(tài)的現(xiàn)場人臉圖像進行特征分析，輸出多個不同姿態(tài)的現(xiàn)場人臉特征； 步驟3:通過證件閱讀模塊自動讀取通行人員的證件信息，從證件信息中直接提取證件照片，或從證件照片庫中調(diào)出對應(yīng)的證件照片； 步驟4:通過第二多層卷積模塊對步驟3輸出的證件照片進行特征分析，輸出證件人臉特征； 步驟5:通過聯(lián)合貝葉斯分解模塊對步驟2輸出的現(xiàn)場人臉特征與步驟4輸出的證件人臉特征進行聯(lián)合建模，將每個現(xiàn)場人臉特征分解成一個證件人臉相關(guān)特征和一個證件人臉不相關(guān)特征； 步驟6:通過非線性激勵模塊將步驟5輸出的屬于同一身份的多個證件人臉相關(guān)特征融合成單一特征； 步驟7:通過人證一致性判定模塊對步驟6輸出的融合后的單一特征、步驟4輸出的證件人臉特征進行比較和判斷，輸出人證一致性判定結(jié)果。
7.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述人證核驗過程中的第一多層卷積模塊、第二多層卷積模塊、聯(lián)合貝葉斯分解模塊和非線性激勵模塊，分別采用訓(xùn)練過程中最終獲得的同名模塊的參數(shù)。
8.根據(jù)權(quán)利要求4或6任一項所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述非線性激勵模塊將輸出的屬于同一身份的多個證件人臉相關(guān)特征經(jīng)過激勵函數(shù)處理，再進行非線性融合，形成包含不同角度人臉信息的單一特征。
9.根據(jù)權(quán)利要求8所述的基于深度學(xué)習(xí)的人證核驗方法，其特征在于，所述激勵函數(shù)為Sigmoid函數(shù)和RELU函數(shù)中的任一種。
【專利摘要】本發(fā)明涉及一種人證核驗系統(tǒng)及方法，尤其是一種基于深度學(xué)習(xí)的人證核驗系統(tǒng)及方法，屬于安防領(lǐng)域，所述基于深度學(xué)習(xí)的人證核驗系統(tǒng)包括訓(xùn)練子系統(tǒng)和人證核驗子系統(tǒng)，所述基于深度學(xué)習(xí)的人證核驗方法包括訓(xùn)練過程和人證核驗過程，所述訓(xùn)練過程利用若干已知身份的現(xiàn)場人臉圖像和證件照片對訓(xùn)練子系統(tǒng)進行訓(xùn)練，所述人證核驗過程利用訓(xùn)練過程最終獲得的模塊參數(shù)，對通行人員的多張現(xiàn)場采集照片與證件閱讀模塊采集的信息對應(yīng)的證件照片進行比對，自動輸出人員和證件是否相符的驗證結(jié)果，本發(fā)明能有效將證件照片與現(xiàn)場視頻監(jiān)控設(shè)備采集的多張人臉照片進行比對，對人臉角度、現(xiàn)場環(huán)境、光照等因素適應(yīng)能力強，人證核驗準(zhǔn)確率高、通行速度快。
【IPC分類】G06K9-00
【公開號】CN104751143
【申請?zhí)枴緾N201510154396
【發(fā)明人】趙炫, 高磊, 張旭, 郝久月, 孫苗苗
【申請人】北京中盾安全技術(shù)開發(fā)公司
【公開日】2015年7月1日
【申請日】2015年4月2日