檢索 與該人臉信息及其屬性值對應(yīng)的關(guān)聯(lián)信息； 外部資源檢索單元，還用于：基于所述歷史關(guān)聯(lián)信息，搜索來自外部資源的與該人臉信 息及其屬性值對應(yīng)的關(guān)聯(lián)信息。6. 根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述設(shè)備還進(jìn)一步包括數(shù)據(jù)傳輸裝置，所 述數(shù)據(jù)傳輸裝置用于通過無線和有線兩種方式與外接設(shè)備通信，其中外接設(shè)備包括鍵盤， 鼠標(biāo)，顯示器，打印機(jī)，USB裝置，移動通信設(shè)備。7. 根據(jù)權(quán)利要求1-6任一所述的設(shè)備，其特征在于，所述人臉識別單元包括： 收集標(biāo)注單元，用于收集人臉圖片并標(biāo)注對應(yīng)的多個屬性的類別，形成一個訓(xùn)練數(shù)據(jù) 集合； 檢測對齊單元，用于檢測人臉，以及人臉關(guān)鍵點，通過多個關(guān)鍵點對齊人臉； 編碼單元，用于對類別中具有順序的屬性進(jìn)行編碼； 神經(jīng)網(wǎng)絡(luò)構(gòu)造單元，用于構(gòu)造一個深度神經(jīng)網(wǎng)絡(luò)； 神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元，用于利用收集標(biāo)注單元中形成的訓(xùn)練數(shù)據(jù)集合，訓(xùn)練神經(jīng)網(wǎng)絡(luò)構(gòu) 造單元中的深度神經(jīng)網(wǎng)絡(luò)，并部署訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型； 人臉屬性識別單元，用于利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元中的神經(jīng)網(wǎng)絡(luò)模型，預(yù)測圖片中的人 臉信息及屬性值。8. 根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，神經(jīng)網(wǎng)絡(luò)構(gòu)造單元的深度神經(jīng)網(wǎng)絡(luò)依次 包括： 輸入層，卷積層，非線性層，池化層，全連接層，非線性層，損耗層。9. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于， 所述輸入層用于讀入人臉圖片，屬性類別及屬性類別的編碼，對人臉圖片進(jìn)行預(yù)處理， 輸出對齊的人臉圖片，屬性類別或者其編碼，將經(jīng)過預(yù)處理的人臉圖片輸出到第一個卷積 層，并將經(jīng)過預(yù)處理的屬性類別和/或其編碼輸入到第一個損耗層； 所述卷積層，非線性層和池化層的組合對預(yù)處理過的圖片進(jìn)行特征提?。? 所述全連接層E和非線性層F將提取的圖片特征映射到屬性類別和/或其編碼； 所述損耗層負(fù)責(zé)計算預(yù)測誤差。10. 根據(jù)權(quán)利要求8或9所述的設(shè)備，其特征在于， 卷積層、非線性層和池化層可以重復(fù)一次或者多次，在多次情況下，池化層的輸出連接 下一個卷積層的輸入。11. 根據(jù)權(quán)利要求8或9所述的設(shè)備，其特征在于， 全連接層和非線性層可以重復(fù)一次或者多次，多次情況下，非線性層輸出連接下一個 全連接層的輸入。12. 根據(jù)權(quán)利要求8或9所述的設(shè)備，其特征在于，損耗層可以為一個或者多個。13. 根據(jù)權(quán)利要求1-6任一所述的設(shè)備，其特征在于，所述人臉識別單元包括： 計算單元，用于計算金字塔特征層數(shù)和縮放比例，根據(jù)欲識別圖像尺寸以及基于人臉 模型訓(xùn)練得到的縮放最小寬高參數(shù)，計算金字塔特征層數(shù)11_8(^1^以及縮放比例S，所述 縮放比例需確保縮放區(qū)域的面積最大化； 提取單元，用于提取金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，將金字塔特征層劃 分為完全提取層和近似提取層，分別進(jìn)行完全提取和近似提取，得到每一層人臉分類所依 據(jù)的特征數(shù)據(jù)； 所述完全提取是基于當(dāng)前得到的縮放比例，從欲識別圖像中獲取縮放后的圖像，并以 獲取的縮放圖像為輸入，根據(jù)人臉模型計算人臉分類所依據(jù)的特征數(shù)據(jù)； 所述近似提取是縮放從完全提取層得到的人臉分類所依據(jù)的特征數(shù)據(jù)； 分類單元，分類金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，對每一層的金字塔特征 數(shù)據(jù)應(yīng)用分類算法進(jìn)行分類，所述金字塔特征數(shù)據(jù)包括完全提取層數(shù)據(jù)和近似提取層數(shù) 據(jù)； 人臉識別結(jié)果單元：合并分類提取數(shù)據(jù)單元中每層的分類結(jié)果，得到最終的人臉信息 及其屬性值。14. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于： 所述人臉識別單元還包括圖像預(yù)處理單元，所述圖像預(yù)處理單元用于進(jìn)行欲識別圖像 的顏色空間、行列格式轉(zhuǎn)換到人臉模型要求的顏色空間、行列格式的轉(zhuǎn)換。15. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于，所述金字塔特征層數(shù)n_scales的計算 公式為： n_scales = numX (log(ratio)/log(2. 0)+1) 式中：num指基于人臉模型訓(xùn)練得到的金字塔特征層數(shù)； ratio = min (w/min_w，h/min_h)，式中： min_w指：所述人臉模型里最小圖像寬度； min_h指：所述人臉模型中最小圖像高度； w指：欲識別圖像的寬度； h指：欲識別圖像的高度。16. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于： 所述近似提取在完全提取層的基礎(chǔ)上，計算λ層的近似提取數(shù)據(jù)，若完全提取層在第 N層，則近似提取是計算Ν+1~Ν+λ層上的近似提取數(shù)據(jù)；其中，λ為人臉模型的加速比參 數(shù)，是將金字塔層數(shù)分為完全提取層和近似提取層兩大類的劃分標(biāo)準(zhǔn)。17. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于： 所述縮放比例S的計算公式為：式中：Sa、S1^分別為近似提取層、從完全提取層得到的相對于原始圖像尺寸的縮放比 例；I為第j種用于人臉分類所依據(jù)的特征類型參數(shù)。18. 根據(jù)權(quán)利要求13至17任一所述的設(shè)備，其特征在于： 所述人臉分類所依據(jù)的特征數(shù)據(jù)包括顏色通道、梯度幅值以及梯度直方圖中的一種或 多種組合。19. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于，所述分類算法是基于決策樹的 AdaBoost分類算法，通過五層的滿二叉樹結(jié)構(gòu)實現(xiàn)滑動窗的人臉模型匹配，得到滿足閾值 條件的匹配結(jié)果。20. 根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于，所述人臉識別單元還包括： 人臉標(biāo)識單元：將得到的人臉信息及其屬性值與對應(yīng)的圖像區(qū)域建立對應(yīng)關(guān)系。21. -種基于人臉識別的關(guān)聯(lián)信息推送方法，該方法包括以下步驟； 步驟Sl :獲取圖像信息； 步驟S2 :檢測所述圖像信息，判斷是否存在人臉信息，如果存在，則進(jìn)一步識別至少一 個人臉信息以及屬性值，如果不存在，則等待下一次輸入； 步驟S3 :檢索并獲取人臉信息及其屬性值對應(yīng)的關(guān)聯(lián)信息。22. 根據(jù)權(quán)利要求21所述的方法，其特征在于，該方法進(jìn)一步包括： 步驟S4 :顯示步驟S3中獲得的關(guān)聯(lián)信息。23. 根據(jù)權(quán)利要求21所述的方法，其特征在于，所述圖像信息包括單張圖像，或者圖像 序列或者視頻流；所述屬性值包括用戶性別、年齡、是否戴眼鏡、是否戴帽子、是否戴口罩， 表情。24. 根據(jù)權(quán)利要求21所述的方法，其特征在于，所述方法進(jìn)一步包括： 步驟S5 :建立歷史關(guān)聯(lián)信息，所述歷史關(guān)聯(lián)信息是所述步驟S3檢索并獲取到的、與所 述人臉信息及其屬性值對應(yīng)的關(guān)聯(lián)信息； 步驟S6 :基于所述歷史關(guān)聯(lián)信息，檢索并獲取人臉信息及其屬性值對應(yīng)的關(guān)聯(lián)信息。25. 根據(jù)權(quán)利要求21所述的方法，其特征在于，所述識別人臉信息以及屬性值進(jìn)一步 包括： 521 :收集人臉圖片并標(biāo)注對應(yīng)的多個屬性的類別，形成一個訓(xùn)練數(shù)據(jù)集合； 522 :檢測人臉，以及人臉關(guān)鍵點，通過多個關(guān)鍵點對齊人臉； 523 :對類別中具有順序的屬性進(jìn)行編碼； 524 :構(gòu)造一個深度神經(jīng)網(wǎng)絡(luò)； 525 :利用步驟S21形成的訓(xùn)練數(shù)據(jù)集合，訓(xùn)練步驟S24中設(shè)計的深度神經(jīng)網(wǎng)絡(luò)，并部署 訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型； 526 :利用步驟S25中的神經(jīng)網(wǎng)絡(luò)模型，預(yù)測圖片中的人臉信息及其屬性值。26. 根據(jù)權(quán)利要求25所述的方法，其特征在于，步驟S24的深度神經(jīng)網(wǎng)絡(luò)依次包括： 輸入層，卷積層，非線性層，池化層，全連接層，非線性層，損耗層。27. 根據(jù)權(quán)利要求26所述的方法，其特征在于， 所述輸入層讀入人臉圖片，屬性類別及屬性類別的編碼，對人臉圖片進(jìn)行預(yù)處理，輸出 對齊的人臉圖片，屬性類別或者其編碼，將經(jīng)過預(yù)處理的人臉圖片輸出到第一個卷積層，并 將經(jīng)過預(yù)處理的屬性類別和/或其編碼輸入到第一個損耗層； 所述卷積層，非線性層和池化層的組合對預(yù)處理過的圖片進(jìn)行特征提取； 所述全連接層E和非線性層F將提取的圖片特征映射到屬性類別和/或其編碼； 所述損耗層負(fù)責(zé)計算預(yù)測誤差。28. 根據(jù)權(quán)利要求25至27任一所述的方法，其特征在于，卷積層、非線性層和池化層可 以重復(fù)一次或者多次，在多次情況下，池化層的輸出連接下一個卷積層的輸入。29. 根據(jù)權(quán)利要求25至27任一所述的方法，其特征在于，全連接層和非線性層可以重 復(fù)一次或者多次，多次情況下，非線性層輸出連接下一個全連接層的輸入。30. 根據(jù)權(quán)利要求25至27任一所述的方法，其特征在于，損耗層可以為一個或者多個。31. 根據(jù)權(quán)利要求21所述的方法，其特征在于，所述識別人臉信息以及屬性值進(jìn)一步 包括： 521、 計算金字塔特征層數(shù)和縮放比例，根據(jù)欲識別圖像尺寸以及基于人臉模型訓(xùn)練得 到的縮放最小寬高參數(shù)，計算金字塔特征層數(shù)11_ 8(^1^以及縮放比例S，所述縮放比例需 確?？s放區(qū)域的面積最大化； 522、 提取金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，將所述金字塔特征層劃分為完 全提取層和近似提取層，分別進(jìn)行完全提取和近似提取，得到每一層人臉分類所依據(jù)的特 征數(shù)據(jù)； 所述完全提取是基于當(dāng)前得到的縮放比例，從欲識別圖像中獲取縮放后的圖像，并以 獲取的縮放圖像為輸入，根據(jù)人臉模型計算人臉分類所依據(jù)的特征數(shù)據(jù)； 所述近似提取是縮放從完全提取層得到的人臉分類所依據(jù)的特征數(shù)據(jù)； 523、 分類金字塔特征層的人臉分類所依據(jù)的特征數(shù)據(jù)，對每一層的金字塔特征數(shù)據(jù)應(yīng) 用分類算法進(jìn)行分類，所述金字塔特征數(shù)據(jù)包括完全提取層數(shù)據(jù)和近似提取層數(shù)據(jù)； 524、 得到人臉信息及其屬性值，合并每層的分類結(jié)果，得到人臉信息及其屬性值。32. 根據(jù)權(quán)利要求31所述的方法，其特征在于：在所述步驟S21之前，還包括： S20、圖像預(yù)處理，將欲識別圖像的顏色空間、行列格式轉(zhuǎn)換到人臉模型要求的顏色空 間、行列格式。33. 根據(jù)權(quán)利要求31所述的方法，其特征在于，所述金字塔特征層數(shù)n_scales的計算 公式為： n_scales = numX (log(ratio)/log(2. 0)+1) 式中：num指基于人臉模型訓(xùn)練得到的金字塔特征層數(shù)； ratio = min (w/min_w，h/min_h)，式中： min_w指：所述人臉模型里最小圖像寬度； min_h指：所述人臉模型中最小圖像高度； w指：欲識別圖像的寬度； h指：欲識別圖像的高度。34. 根據(jù)權(quán)利要求31所述的方法，其特征在于： 所述近似提取在完全提取層的基礎(chǔ)上，計算λ層的近似提取數(shù)據(jù)，若完全提取層在第 N層，則近似提取是計算Ν+1~Ν+λ層上的近似提取數(shù)據(jù)；其中，λ為人臉模型的加速比參 數(shù)，是將金字塔層數(shù)分為完全提取層和近似提取層兩大類的劃分標(biāo)準(zhǔn)。35. 根據(jù)權(quán)利要求31所述的方法，其特征在于： 所述縮放比例S的計算公式為：式中：Sa、S1^分別為近似提取層、從完全提取層得到的相對于原始圖像尺寸的縮放比 例；I為第j種人臉分類所依據(jù)的特征類型參數(shù)。36. 根據(jù)權(quán)利要求31至35任一所述的方法，其特征在于： 所述人臉分類所依據(jù)的特征數(shù)據(jù)包括顏色通道、梯度幅值以及梯度直方圖中的一種或 多種組合。37. 根據(jù)權(quán)利要求31所述的方法，其特征在于，所述S23步驟中分類算法利用基于決策 樹的AdaBoost分類算法，通過五層的滿二叉樹實現(xiàn)滑動窗的人臉模型匹配，得到滿足閾值 條件的匹配結(jié)果。38. 根據(jù)權(quán)利要求22所述的方法，其特征在于：顯示所述關(guān)聯(lián)信息時，也同時顯示所述 圖像信息中的原始人臉或美化處理后的人臉，并將人臉顯示區(qū)域設(shè)置于關(guān)聯(lián)信息顯示區(qū)域 中。39. 根據(jù)權(quán)利要求31所述的方法，其特征在于，所述方法還包括： S25、將得到的人臉信息及其屬性值，在對應(yīng)的圖像區(qū)域建立對應(yīng)關(guān)系。
【專利摘要】本申請涉及一種基于人臉識別的關(guān)聯(lián)信息推送設(shè)備及方法，該設(shè)備包括外殼，攝像裝置，顯示屏，處理器，存儲器，數(shù)據(jù)傳輸裝置和電源等。處理器進(jìn)一步包括人臉識別單元和關(guān)聯(lián)信息檢索單元，存儲器包括人臉數(shù)據(jù)庫和關(guān)聯(lián)信息存儲單元。該設(shè)備的攝像裝置將實時檢測出的圖像信息，發(fā)送至人臉識別單元，該單元通過人臉識別算法，識別出人臉信息及其屬性值，并將上述結(jié)果發(fā)送至關(guān)聯(lián)信息檢索單元，該單元通過檢索內(nèi)部和外部資源，獲取與人臉信息及屬性值的關(guān)聯(lián)信息，并最終將該關(guān)聯(lián)信息發(fā)送到顯示屏上顯示。該設(shè)備能夠針對不同的用戶，提供更精準(zhǔn)和更具有個人特色的產(chǎn)品或服務(wù)推送。
【IPC分類】G06K9/00, G06F17/30
【公開號】CN105426850
【申請?zhí)枴緾N201510819092
【發(fā)明人】張廣程, 羅予晨, 曹強(qiáng), 劉祖希, 于志興, 周璐璐, 向許波, 張果琲, 馬堃
【申請人】深圳市商湯科技有限公司
【公開日】2016年3月23日
【申請日】2015年11月23日