實(shí)施例的目的。然而，本發(fā)明構(gòu)思的示例實(shí)施例 可W許多替代形式被實(shí)施，并且不應(yīng)被解釋為僅限于運(yùn)里闡述的實(shí)施例。
[0036] 因此，雖然本發(fā)明構(gòu)思的示例實(shí)施例能夠做出各種修改和替代形式，但是本發(fā)明 構(gòu)思的實(shí)施例W在附圖中的示例的方式被示出，并將會(huì)在運(yùn)里被詳細(xì)描述。然而，應(yīng)該理 解，不意圖將本發(fā)明構(gòu)思的示例實(shí)施例限制于所公開的特定形式，而正相反，本發(fā)明構(gòu)思的 示例實(shí)施例將覆蓋落入本發(fā)明構(gòu)思的示例實(shí)施例范圍內(nèi)的所有修改、等同物和替代物。貫 穿附圖的描述，相同的標(biāo)號(hào)指示相同的元件。
[0037] 將理解的是，雖然術(shù)語第一、第二等可在運(yùn)里使用W描述各種元件，但是運(yùn)些元件 不應(yīng)被運(yùn)些術(shù)語限制。運(yùn)些術(shù)語僅用于將一個(gè)元件與另一元件區(qū)分。例如，在不脫離本發(fā)明 構(gòu)思的示例實(shí)施例的范圍的情況下，第一元件可被稱為第二元件，類似地，第二元件可被稱 為第一元件。如在運(yùn)里使用的，術(shù)語"和/或"包括一個(gè)或多個(gè)關(guān)聯(lián)的所列項(xiàng)的任何和所有組 厶 1=1 〇
[0038] 將理解的是，當(dāng)元件被表示為"連接"或者"禪合"到另一元件時(shí)，該元件可能直接 連接到或者禪合到所述另一元件，或者可能存在中間元件。與此相反，當(dāng)元件被表示為"直 接連接"或者"直接禪合"到另一元件時(shí)，不存在中間元件。用來描述元件之間的關(guān)系的其它 詞語應(yīng)W同樣的方式被解釋(例如，"在……之阿'與"直接在……之間"、"相鄰"與"直接相 鄰"等）。
[0039] 在運(yùn)里使用的技術(shù)僅為描述特定實(shí)施例的目的，而并非意圖限制本發(fā)明構(gòu)思的示 例實(shí)施例。如在運(yùn)里使用的，除非上下文明確地另有指示，否則單數(shù)形式也意圖包括復(fù)數(shù)形 式。還將理解，當(dāng)在運(yùn)里使用術(shù)語"包括"和/或"包含"時(shí)，指定所述的特征、整數(shù)、步驟、操 作、元件和/或組件的存在，但不排除一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元件、組件和/ 或其群組的存在或添加。
[0040] 還應(yīng)注意，在一些可選實(shí)現(xiàn)中，提及的功能/作用可不W圖中提到的順序發(fā)生。例 如，根據(jù)設(shè)及的功能/作用，相繼示出的兩幅圖實(shí)際可W實(shí)質(zhì)上同時(shí)被執(zhí)行或有時(shí)可相 反的順序被執(zhí)行。
[0041] 在運(yùn)里參照作為本發(fā)明構(gòu)思的理想化的實(shí)施例的示意圖（和中間結(jié)構(gòu)）來描述本 發(fā)發(fā)明構(gòu)思的示例實(shí)施例。因此，由于例如制造技術(shù)和/或偏差的來自于示意圖的形狀的改 變是可預(yù)期的。因此，本發(fā)明構(gòu)思的示例實(shí)施例不應(yīng)被解釋為限制于運(yùn)里示出的區(qū)域的具 體形狀，而應(yīng)包括由于例如制造所產(chǎn)生的形狀上的偏差。
[0042] 雖然可能未示出某些剖視圖的相應(yīng)的俯視圖和/或透視圖，但是運(yùn)里示出的裝置 結(jié)構(gòu)的剖視圖向多個(gè)裝置結(jié)構(gòu)提供支持，所述多個(gè)裝置結(jié)構(gòu)如同會(huì)在俯視圖中示出的一樣 沿著兩個(gè)不同的方向擴(kuò)展，和/或如同會(huì)像在透視圖中示出的一樣沿著Ξ個(gè)不同的方向擴(kuò) 展。所述兩個(gè)不同的方向可能是或可能不是相互正交的。所述Ξ個(gè)不同的方向可包括可能 與所述兩個(gè)不同的方向正交的第Ξ方向。所述多個(gè)裝置結(jié)構(gòu)可被集成在同一個(gè)電子裝置 中。例如，當(dāng)在剖視圖中示出裝置結(jié)構(gòu)(例如，存儲(chǔ)器單元結(jié)構(gòu)或晶體管結(jié)構(gòu))時(shí)，如同會(huì)由 電子裝置的俯視圖示出的一樣，該電子裝置可包括多個(gè)裝置結(jié)構(gòu)(例如，存儲(chǔ)器單元結(jié)構(gòu)或 晶體管結(jié)構(gòu)）。所述多個(gè)裝置結(jié)構(gòu)可陣列和/或二維圖案被布置。
[0043] 在下文中，將對(duì)實(shí)施例做出詳細(xì)參考，運(yùn)些實(shí)施例的示例被示出在附圖中，其中， 相同的標(biāo)號(hào)始終指示相同的元件。W下的至少一些示例實(shí)施例可被應(yīng)用于識(shí)別對(duì)象(例如， 臉部)的技術(shù)。例如，至少一些示例實(shí)施例可被應(yīng)用于用戶識(shí)別、多媒體的（例如，照片)捜索 和管理。
[0044] 圖1是示出根據(jù)至少一些示例實(shí)施例的訓(xùn)練設(shè)備的框圖。參照?qǐng)D1，根據(jù)至少一些 示例實(shí)施例的訓(xùn)練設(shè)備100可包括接收器110和訓(xùn)練器120。接收器110可接收訓(xùn)練圖像。訓(xùn) 練器120可使用接收的訓(xùn)練圖像訓(xùn)練識(shí)別器。例如，訓(xùn)練設(shè)備100可訓(xùn)練被配置為識(shí)別臉部 的識(shí)別器。訓(xùn)練設(shè)備100可接收包括臉部的訓(xùn)練圖像，并基于接收到的訓(xùn)練圖像訓(xùn)練被配置 為識(shí)別臉部的識(shí)別器。接收器110和訓(xùn)練器120可被實(shí)施為軟件模塊、硬件模塊、或它們的組 合。可各種計(jì)算裝置和/或系統(tǒng)(例如，智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算 機(jī)、電視、可穿戴裝置、安全系統(tǒng)W及智能家居系統(tǒng))提供訓(xùn)練設(shè)備100。例如，根據(jù)本發(fā)明構(gòu) 思的至少一個(gè)示例實(shí)施例，訓(xùn)練設(shè)備100可包括一個(gè)或多個(gè)電路或電路裝置(例如，硬件)或 者可由一個(gè)或多個(gè)電路或電路裝置實(shí)現(xiàn)，其中，所述一個(gè)或多個(gè)電路或電路裝置被?？跇?gòu) 造為：當(dāng)運(yùn)里描述的一些或全部操作被訓(xùn)練設(shè)備1〇〇(或它的元件)執(zhí)行時(shí)，實(shí)現(xiàn)運(yùn)里描述的 一些或全部操作。根據(jù)本發(fā)明構(gòu)思的至少一個(gè)示例實(shí)施例，訓(xùn)練設(shè)備100可包括存儲(chǔ)器和一 個(gè)或多個(gè)處理器或者可由存儲(chǔ)器和一個(gè)或多個(gè)處理器實(shí)現(xiàn)，其中，當(dāng)運(yùn)里描述的一些或全 部操作被訓(xùn)練設(shè)備1〇〇(或它的元件)執(zhí)行時(shí)，所述一個(gè)或多個(gè)處理器可執(zhí)行存儲(chǔ)在存儲(chǔ)器 中的包括與運(yùn)里描述的一些或所有操作相應(yīng)的指令的計(jì)算機(jī)可讀代碼(例如，軟件）。根據(jù) 本發(fā)明構(gòu)思的至少一個(gè)示例實(shí)施例，訓(xùn)練設(shè)備100可被例如W上提到的硬件和執(zhí)行計(jì)算機(jī) 可讀代碼的處理器的組合實(shí)現(xiàn)。
[0045] 如在運(yùn)里使用的，術(shù)語"處理器"可表示例如具有被物理構(gòu)造為執(zhí)行期望的操作的 電路的硬件實(shí)現(xiàn)的數(shù)據(jù)處理裝置，其中，所述期望的操作包括例如被表示為包括在程序中 的代碼和/或指令的操作。W上提到的硬件實(shí)現(xiàn)的數(shù)據(jù)處理裝置的示例包括(但不限于)微 處理器、中央處理單元(CPU)、處理器核、多核處理器、多處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng) 可編程口陣列(FPGA)。執(zhí)行程序代碼的處理器是已編程處理器，因此也是專用計(jì)算機(jī)。
[0046] 多個(gè)元素可在訓(xùn)練圖像中被標(biāo)記。多個(gè)元素可包括:標(biāo)識(shí)(ID)，被配置為確定訓(xùn)練 圖像;屬性，與訓(xùn)練圖像相關(guān)聯(lián)。ID可W是將用來標(biāo)識(shí)包括在訓(xùn)練圖像中的對(duì)象的信息，例 如，將用來標(biāo)識(shí)包括在訓(xùn)練圖像中的用戶的信息。屬性可W是被配置為表達(dá)包括在訓(xùn)練圖 像中的對(duì)象的信息，可包括例如性別、年齡、種族、吸引力、面部表情、W及與包括在訓(xùn)練圖 像中的用戶的臉部區(qū)域相應(yīng)的情感。
[0047] 訓(xùn)練器120可基于在訓(xùn)練圖像中標(biāo)記的多個(gè)元素訓(xùn)練識(shí)別器從訓(xùn)練圖像中識(shí)別多 個(gè)元素。與由一般的臉部識(shí)別方案訓(xùn)練的識(shí)別器不同，由訓(xùn)練器120訓(xùn)練的識(shí)別器可從輸入 圖像識(shí)別多個(gè)元素。例如，由一般的臉部識(shí)別方案訓(xùn)練的識(shí)別器可能僅從輸入圖像中識(shí)別 ID，而由訓(xùn)練器120訓(xùn)練的識(shí)別器可從輸入圖像中同時(shí)識(shí)別ID、性別、年齡、種族、吸引力、面 部表情和情感。由訓(xùn)練器120訓(xùn)練的識(shí)別器可W是被配置為執(zhí)行多個(gè)元素的多任務(wù)識(shí)別的 單個(gè)識(shí)別器。
[004引圖2示出根據(jù)至少一些示例實(shí)施例的多任務(wù)訓(xùn)練。參照?qǐng)D2,訓(xùn)練器120可訓(xùn)練識(shí)別 器130從臉部圖像識(shí)別ID和屬性。臉部圖像可W是從訓(xùn)練圖像提取的臉部區(qū)域的圖像。訓(xùn)練 器120可訓(xùn)練識(shí)別器130同時(shí)識(shí)別多個(gè)元素。因此，圖2的訓(xùn)練器120的操作可被稱為多任務(wù) 訓(xùn)練。與訓(xùn)練設(shè)備100類似，運(yùn)里描述的識(shí)別器和訓(xùn)練器可被實(shí)現(xiàn)為例如硬件、執(zhí)行計(jì)算機(jī) 可讀代碼的處理器、或W上提到的硬件和執(zhí)行計(jì)算機(jī)可讀代碼的處理器的組合。在基于例 如不同的光照、姿勢(shì)、面部表情和各種視角之間的遮擋的特定情況下，同一用戶的臉部(例 如，同一用戶臉部的兩個(gè)不同的視角或照片）可能看起來不同。在運(yùn)個(gè)示例中，即使不同視 角均為同一用戶的臉部的視角，從不同視角提取的特征之間也可形成不同的屬性。相反地， 在基于例如相似的光照、姿勢(shì)、面部表情和各種視角之間的遮擋的特定情況下，不同用戶的 臉部(例如，兩個(gè)不同用戶的臉部的各自的兩個(gè)視角或照片)可能看起來相似。在運(yùn)個(gè)示例 中，即使不同視角為不同用戶的臉部的視角，從不同視角提取的特征之間也可形成相似的 屬性。
[0049] 由訓(xùn)練器120訓(xùn)練的識(shí)別器可同時(shí)識(shí)別多個(gè)元素，因此提高識(shí)別準(zhǔn)確度。例如，多 個(gè)元素可包括中級(jí)屬性(例如，眼睛顏色和鼻子形狀）。中級(jí)屬性可W對(duì)光照、姿勢(shì)、面部表 情和遮擋的改變具有魯棒性。因此，識(shí)別器可通過共同學(xué)習(xí) ID和中級(jí)屬性提高識(shí)別準(zhǔn)確度。 識(shí)別器還可通過共同學(xué)習(xí) ID和準(zhǔn)確地區(qū)分不同用戶的屬性(例如，性別和發(fā)型)來提高識(shí)別 準(zhǔn)確度。
[0050] 圖3示出根據(jù)至少一些示例實(shí)施例的通過共同學(xué)習(xí)元素提高識(shí)別準(zhǔn)確度的識(shí)別器 的原理。參照?qǐng)D3,存在有各種臉部的分布可由多個(gè)高斯模型的混合310表示。多個(gè)高斯模型 的混合310可按中級(jí)屬性進(jìn)行分類。與每個(gè)中級(jí)屬性相應(yīng)的臉部的分布可由多個(gè)高斯模型 320表示。例如，多個(gè)高斯模型的混合310可被分類為h=l(其中，性別對(duì)應(yīng)為男性)的情況的 高斯模型、h = 2(其中，性別對(duì)應(yīng)為女性）的情況的高斯模型、h = 3(其中，種族對(duì)應(yīng)為非洲 人）的情況的高斯模型、h = 4(其中，種族對(duì)應(yīng)為亞洲人）的情況的高斯模型、W及h = 5(其 中，種族對(duì)應(yīng)為白種人)的情況的高斯模型。
[0051] 中級(jí)屬性可比低級(jí)屬性(例如，像素值)更穩(wěn)定。因此，通過針對(duì)每個(gè)中級(jí)屬性執(zhí)行 強(qiáng)化學(xué)習(xí) （intensive learning)，可提高識(shí)別準(zhǔn)確度。
[0052] 圖4示出根據(jù)至少一些示例實(shí)施例的多任務(wù)訓(xùn)練的原理。參照?qǐng)D4,訓(xùn)練器120可將 臉部圖像410輸入至到目前為止訓(xùn)練的識(shí)別器420。例如，訓(xùn)練器120可從臉部圖像410提取 特征向量，并將提取的特征向量輸入到識(shí)別器420中。
[0053] 識(shí)別器420可基于輸入值產(chǎn)生與多個(gè)元素相應(yīng)的輸出值。識(shí)別器420可包括人工神 經(jīng)網(wǎng)絡(luò)(例如，深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN))。稍后將參考圖5詳細(xì)描述DC順。
[0054] 人工神經(jīng)網(wǎng)絡(luò)可包括輸入層、隱藏層和輸出層。每個(gè)層可包括多個(gè)節(jié)點(diǎn)，相鄰層之 間的節(jié)點(diǎn)可基于連接權(quán)重彼此連接。每個(gè)節(jié)點(diǎn)可基于激活模型進(jìn)行操作。與輸入值相應(yīng)的 輸出值可基于激活模型被確定。預(yù)定的或者期望的節(jié)點(diǎn)的輸出值可被輸入到與相應(yīng)節(jié)點(diǎn)連 接的下一層的節(jié)點(diǎn)中。下一層的節(jié)點(diǎn)可接收從多個(gè)節(jié)點(diǎn)輸出的值。在將預(yù)定的或者期望的 節(jié)點(diǎn)的輸出值輸入到下一層的節(jié)點(diǎn)的過程中，可應(yīng)用連接權(quán)重。下一層的節(jié)點(diǎn)可基于激活 模型將與輸入值相應(yīng)的輸出值輸出到與相應(yīng)節(jié)點(diǎn)連接的下一層之下的層的節(jié)點(diǎn)。
[0055] 輸出層可包括與多個(gè)元素相應(yīng)的節(jié)點(diǎn)。輸出層的節(jié)點(diǎn)可輸出與多個(gè)元素相應(yīng)的特 征值。如將在W下描述的，從人工神經(jīng)網(wǎng)絡(luò)輸出的特征值可通過用于所述多個(gè)元素的線性 分類器被轉(zhuǎn)換為元素。訓(xùn)練器120可知道在臉部圖像410中標(biāo)記的實(shí)際元素。因此，訓(xùn)練器 120可計(jì)算實(shí)際元素與通過識(shí)別器420預(yù)測(cè)的元素之間的損失（loss)430。
[0056] 訓(xùn)練器120可通過使用反向傳播更新識(shí)別器420W減少損失430。例如，訓(xùn)練器120 可W沿反方向從識(shí)別器420中的人工神經(jīng)網(wǎng)絡(luò)的輸出層經(jīng)由隱藏層向輸入層傳播損失430。 當(dāng)損失430沿反方向被傳播時(shí)，節(jié)點(diǎn)之間的連接權(quán)重可被更新W減少損失430。如上所述，訓(xùn) 練器120可基于與多個(gè)元素相應(yīng)的損失430來訓(xùn)練識(shí)別器420。更新后的識(shí)別器440可用于下 一訓(xùn)練期（邱och)，并且W上描述的多任務(wù)訓(xùn)練操作可被迭代地執(zhí)行，直至損失430少于預(yù) 定的或者期望的闊值。
[0化7] 圖5示出根據(jù)至少一些示例實(shí)施例的DC順的示例。參照?qǐng)D5,根據(jù)至少一些示例實(shí) 施例的DO^N可包括卷積層510、全連接層520、損失層530。卷積層510可對(duì)應(yīng)于識(shí)別器的濾波 模塊，濾波模塊被配置為對(duì)輸入圖像進(jìn)行濾波。卷積層510可包括卷積濾波層、池化(pool ing)層，或者它們的組合。例如，卷積層510可包括第一卷積濾波層、第一池化層、第二卷積 濾波層、第二池化層、第Ξ卷積濾波層、W及第Ξ池化層。
[0058] 在第一卷積濾波層中，卷積濾波可通過使用8X8大小的64個(gè)濾波器來執(zhí)行。運(yùn)64 個(gè)濾波器中的每個(gè)可對(duì)預(yù)定的或者期望的邊緣進(jìn)行濾波。作為卷積濾波的結(jié)果，可產(chǎn)生與 所述濾波器相應(yīng)的64個(gè)濾波圖像。第一卷積濾波層可包括包括在64個(gè)濾波圖像中的節(jié)