U的參數(shù)。在運里，W...U表示第i神經(jīng)元的第j分段線性函數(shù)的訓(xùn)練權(quán)重，bij 表示偏置項。
[0093] 根據(jù)至少一些示例實施例的隨機(jī)PWL激活模型1320可由等式3表達(dá)。在隨機(jī)PWL激 活模型1320中，X軸表示輸入值，y軸表示輸出值。
[0094] [等式引
[0095] hi(x)=maxjE[l，k]Zij
[0096] 其中，Zu = xTw'...ij+bij
[0097] W''''u=W'.'u+N(0,〇(x))
[0098] 在等式3中，則0,〇(^))表示概率噪聲，〇(^)表示^的標(biāo)準(zhǔn)方差。胖...^表示第;[神經(jīng)元 的第j分段線性函數(shù)的訓(xùn)練權(quán)重，bu表示偏置項。
[0099] 與確定性PWL激活模型1310不同，隨機(jī)PWL激活模型1320可向PWL函數(shù)加入隨機(jī)噪 聲N。由于隨機(jī)噪聲N，當(dāng)與確定性PWL激活模型1310被使用的情況相比較時，在隨機(jī)PWL激活 模型1320被使用的情況下識別器130可在更多樣化的環(huán)境中被訓(xùn)練。因此，在W后的識別操 作中，識別器130識別新數(shù)據(jù)的性能可提升。
[0100] 圖14是示出根據(jù)至少一些示例實施例的識別設(shè)備的框圖。參照圖14,根據(jù)至少一 些示例實施例的識別設(shè)備1400可包括接收器1410和識別器1420。接收器1410可接收輸入圖 像。與訓(xùn)練圖像不同，輸入圖像可不包括標(biāo)記的信息。識別器1420可使用預(yù)訓(xùn)練的識別器識 別與接收的輸入圖像相關(guān)聯(lián)的多個元素。預(yù)訓(xùn)練的識別器可對應(yīng)于由圖1的訓(xùn)練設(shè)備100訓(xùn) 練的識別器。
[0101] 識別設(shè)備1400可W是用于識別臉部的設(shè)備。例如，識別設(shè)備1400可接收包括臉部 的輸入圖像，并使用預(yù)訓(xùn)練的識別器從接收的輸入圖像識別臉部ID和臉部屬性。
[0102] 與訓(xùn)練設(shè)備100類似，運里描述的識別設(shè)備(或它的元件)可由例如硬件、執(zhí)行計算 機(jī)可讀代碼的處理器、或者W上提到的硬件和執(zhí)行計算機(jī)可讀代碼的處理器的組合實現(xiàn)。 例如，接收器1410和識別器1420可被實施為軟件模塊、硬件模塊、或它們的組合?？筛?種計算機(jī)裝置和/或系統(tǒng)（例如，智能電話、平板計算機(jī)、膝上型計算機(jī)、臺式計算機(jī)、電視、 可穿戴裝置、安全系統(tǒng)W及智能家居系統(tǒng))提供識別設(shè)備1400。
[010引圖15A至圖1加示出根據(jù)至少一些示例實施例的識別器的操作。參照圖15A，識別器 1420可從臉部圖像識別ID和屬性。臉部圖像可W是從輸入圖像提取的臉部區(qū)域的圖像。識 別器1420可W是通過參考圖2描述的多任務(wù)訓(xùn)練而訓(xùn)練的識別器。
[0104] 參照圖15B，識別器1420可從臉部圖像產(chǎn)生多個特征圖像。例如，識別器1420可從 臉部圖像產(chǎn)生RGB圖像、皮膚圖像和邊緣圖像。識別器1420可從多個特征圖像識別ID和屬 性。識別器1420可W是通過參考圖6描述的多通道訓(xùn)練而訓(xùn)練的識別器。
[0105] 參照圖15C，識別器1420可從臉部圖像提取多個部件圖像。例如，識別器1420可從 臉部圖像提取眼部圖像、鼻部圖像和嘴部圖像。識別器1420可從臉部圖像和多個部件圖像 識別ID和屬性。在一些情況下，識別器1420還可識別部件圖像的ID和屬性。識別器1420可W 是通過參考圖10描述的多部件訓(xùn)練而訓(xùn)練的識別器。
[0106] 參照圖15D，識別器1420可從臉部圖像提取多個部件圖像。識別器1420可從每個部 件圖像和臉部圖像產(chǎn)生特征圖像。識別器1420可從由每個部件圖像和臉部圖像產(chǎn)生的特征 圖像識別ID和屬性。在一些情況下，識別器1420還可識別部件圖像的ID和屬性。識別器1420 可W是通過參考圖12描述的多部件訓(xùn)練和多通道訓(xùn)練的組合而訓(xùn)練的識別器。
[0107] 圖16示出根據(jù)至少一些示例實施例的用戶界面(UI)。參照圖16,識別設(shè)備1400可 從輸入圖像1610提取臉部區(qū)域1620。識別設(shè)備1400可使用預(yù)訓(xùn)練的識別器從臉部區(qū)域1620 識別多個元素 。UI 1630可顯示識別的多個元素。例如，多個元素可包括年齡、性別、種族、吸 引力、面部表情和情感。UI 1630可針對每個元素顯示候選值和候選值的各個識別信度。UI 1630可針對每個元素顯示具有最高識別信度的候選值加 W強(qiáng)調(diào)。圖16的UI 1630僅作為示 例被提供，可對UI 1630做出各種修改。
[0108] 圖17至圖24示出根據(jù)至少一些示例實施例的臉部識別設(shè)備。參照圖17,根據(jù)至少 一些示例實施例的臉部識別設(shè)備可執(zhí)行ID和相貌屬性1770的多任務(wù)識別。臉部識別設(shè)備可 包括臉部提取器1720、臉部部件分割器1730、多通道產(chǎn)生器1740和多任務(wù)識別器1760。臉部 提取器1720可從輸入圖像1710提取臉部圖像。臉部部件分割器1730可將臉部圖像分割為多 個部件圖像。多通道產(chǎn)生器1740可將每個部件圖像增強(qiáng)為多通道圖像。多任務(wù)識別器1760 可使用多訓(xùn)練的識別器從多通道圖像執(zhí)行ID和相貌屬性1770的多任務(wù)識別。
[0109] 臉部識別設(shè)備還可包括用于針對ID和相貌屬性1770進(jìn)行多任務(wù)訓(xùn)練的多任務(wù)訓(xùn) 練器1750。多任務(wù)訓(xùn)練器1750可訓(xùn)練識別器執(zhí)行從多通道圖像的ID和相貌屬性1770的多任 務(wù)識別。
[0110] 參照圖18,臉部提取器1720可包括臉部檢測器1721、突出標(biāo)志（landmark)檢測器 1722和姿勢歸一化器1723。臉部檢測器1721可在輸入圖像1710中檢測臉部區(qū)域。突出標(biāo)志 檢測器1722可在檢測的臉部區(qū)域中檢測突出標(biāo)志。突出標(biāo)志可W是呈現(xiàn)在顯著的輪廓上的 特征點（例如，眉毛、眼睛、鼻子和嘴）。姿勢歸一化器1723可使用突出標(biāo)志沿預(yù)定的或期望 的方向（例如，沿朝向前的方向）對圖像的姿勢進(jìn)行歸一化。
[0111] 參照圖19，臉部部件分割器1730可包括內(nèi)臉部區(qū)域分割器1731、臉部成分分割器 1732和外臉部區(qū)域分割器1733。內(nèi)臉部區(qū)域分割器1731可從臉部圖像劃分出包括主要部件 (例如，眼睛、鼻子和嘴）的內(nèi)部區(qū)域。例如，參照圖25,內(nèi)臉部區(qū)域分割器1731可從臉部圖像 劃分并提取與整個臉部相應(yīng)的區(qū)域。臉部成分分割器1732可將內(nèi)部區(qū)域分割為主要部件。 例如，參照圖25,臉部成分分割器1732可從與整個臉部相應(yīng)的區(qū)域分割并提取與主要部件 (例如，眼睛、鼻子、嘴、下己/下頌、觀骨、人中）相應(yīng)的區(qū)域。外臉部區(qū)域分割器1733可從臉 部圖像分割出外部區(qū)域(例如，頭發(fā)）。例如，參照圖25,外臉部區(qū)域分割器1733可從臉部圖 像分割并提取與頭發(fā)相應(yīng)的區(qū)域。
[0112] 參照圖20,多通道產(chǎn)生器1740可包括光照增加顏色通道單元1741、方向梯度大小 通道單元1742、皮膚概率通道單元1743和局部二元模式通道單元1744。光照增強(qiáng)顏色通道 單元1741可通過從臉部圖像或部件圖像去除光照噪聲來產(chǎn)生顏色通道。方向梯度大小通道 單元1742可通過計算臉部圖像或部件圖像中的方向梯度大小來產(chǎn)生邊緣通道。皮膚概率通 道單元1743可通過計算臉部圖像或部件圖像中的皮膚概率來產(chǎn)生皮膚通道。局部二元模式 通道單元1744可通過從臉部圖像或部件圖像提取紋理模式或形狀模式來產(chǎn)生模式通道。
[0113] 參照圖21，多任務(wù)訓(xùn)練器1750可包括模型參數(shù)初始化器1751、訓(xùn)練批次選擇器 1752、傳播器1753、損失計算器1754和反向傳播器1755。模型參數(shù)初始化器1751可將模型參 數(shù)(例如，初始連接權(quán)重、偏置)進(jìn)行初始化W訓(xùn)練DCNN。偏置可W是將用于確定包括在DCNN 中的節(jié)點是否將被激活的闊值信息。訓(xùn)練批次選擇器1752可選擇用于訓(xùn)練的訓(xùn)練數(shù)據(jù)。訓(xùn) 練數(shù)據(jù)可包括標(biāo)記的信息（例如，ID和屬性)和由多通道產(chǎn)生器1740產(chǎn)生的多通道數(shù)據(jù)。傳 播器1753可將訓(xùn)練數(shù)據(jù)輸入到DC順，DC順可輸出基于當(dāng)前設(shè)置的模型參數(shù)計算的結(jié)果值。 損失計算器1754可通過使用等式4來計算損失。
[0114] [等式 4]
[01 15] L(時CNN(X)，lat付，llD) =Lat付（foCNN(X)，?3?;1；Γ)+λΧΙ?0(&ΕΝΝ(Χ)，llD)
[0116] 在等式4中，X表示輸入，foCNN(X)表示DC順的輸出，lattr表示實際屬性，llD表示實際 ID，Lattr()表示用于獲取屬性損失的函數(shù)，LidO表示用于獲取ID損失的函數(shù)，λ表示用于控 制ID損失對屬性損失的貢獻(xiàn)率的系數(shù)，LO表示用于計算總損失的函數(shù)。
[0117] 等式4的Lattr()，LlD()和L()是損失函數(shù)的示例。根據(jù)至少一些示例實施例，例如， 可根據(jù)等式5使用交叉賭作為損失函數(shù)，。
[011引[等式5]
[0119]
[0120] 參照等式5，N表示小批次中的輸入的數(shù)量(例如，在每次訓(xùn)練迭代使用的訓(xùn)練數(shù)據(jù) 的數(shù)量），In表示第η輸入的標(biāo)記，4表示第η輸入的預(yù)測概率。例如，ln( lattr，llD)可W是針 對每個訓(xùn)練圖像的真實(ground truth)標(biāo)記，并且A可W是響應(yīng)于將訓(xùn)練圖像輸入到網(wǎng)絡(luò) 的估計概率。E是被輸出為結(jié)果的損失值。
[0121] 計算損失的方法并不限于等式4。只要保持使用相貌屬性和ID運二者計算損失的 技術(shù)想法，可對計算損失的方法做出各種修改。例如，根據(jù)目標(biāo)，可使用較鏈損失、平方損 失、柔性最大損失、交叉賭損失、絕對損失和不敏感損失。
[0122] 反向傳播器1755可通過損失的反向傳播更新DCNN的模型參數(shù)。在DCNN的模型參數(shù) 被更新后，可迭代地執(zhí)行訓(xùn)練批次選擇器1752、傳播器1753、損失計算器1754和反向傳播器 1755的操作，直至完成訓(xùn)練。
[0123] 參照圖22，DC順可包括卷積濾波層2210、池化層2220、全連接層2230和隨機(jī)PWL激 活層2240。每層可根據(jù)目標(biāo)被重復(fù)配置。在一個示例中，卷積濾波層2210的輸出可被發(fā)送到 池化層2220,池化層2220的輸出可被發(fā)送到全連接層2230。在另一不例中，卷積濾波層2210 的輸出可經(jīng)由隨機(jī)PWL激活層2240被發(fā)送到池化層2220,池化層2220的輸出可經(jīng)由隨機(jī)PWL 激活層2240被發(fā)送到全連接層2230。層的前述配置僅作為示例被提供，可對層的配置做出 各種修改。
[0124] 參照圖23,多任務(wù)識別器1760可包括傳播器1761、ID分類器1762和屬性分類器 1763。傳播器1761可將多通道數(shù)據(jù)正向傳播到訓(xùn)練的識別器。ID分類器1762和屬性分類器 1763可使用從識別器輸出的特征值將ID和屬性分別分類。
[0125]參照圖24,多任務(wù)識別器1760可包括傳播器2410、ID分類器2420、屬性分類器 2430、特征產(chǎn)生器2440和驗證器2450。多任務(wù)識別器1760可使用訓(xùn)練的識別器驗證兩個輸 入圖像是否匹配。傳播器2410可將運兩個輸入圖像的多通道數(shù)據(jù)正向傳播到訓(xùn)練的識別 器。ID分類器2420和屬性分類器2430可使用從識別器輸出的特征值將運兩個輸入圖像中的 每個的ID和屬性分別分類。
[01%] 特征產(chǎn)生器2440可通過將ID分類器2420和屬性分類器2430的輸出進(jìn)行組合來產(chǎn) 生針對運兩個輸入圖像中的每個的特征向量。驗證器2450可計算產(chǎn)生的特征向量之間的相 似距離。當(dāng)計算的相似距離相對較短時，可確定真實性為真。相反地，當(dāng)計算的相似距離相 對較長時，可確定真實性為假。
[0127]在一些情況下，可使用特征產(chǎn)生器2440的輸出訓(xùn)練單獨的識別器(例如，支持向量 機(jī)（SVM)、隨機(jī)森林和聯(lián)合貝葉斯網(wǎng)絡(luò)）。在運個示例中，驗證器2450可通過將特征產(chǎn)生器 2440的輸出應(yīng)用于單獨的預(yù)訓(xùn)練的識別器來執(zhí)行驗證。
[01%]圖25至圖30示出根據(jù)至少一些示例實施例的屬性。參照圖25,可針對臉部的每個 部件設(shè)置不同的屬性。參照圖26至圖30,每個屬性可至少一維來表示，并可用于訓(xùn)練上