圖像處理裝置和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及圖像處理、計(jì)算機(jī)視覺(jué)和模式識(shí)別的領(lǐng)域，特別涉及用于群體的圖像序列和視頻序列的圖像處理裝置、以及用于群體的圖像序列和視頻序列的圖像處理方法。
【背景技術(shù)】
[0002]在拍攝群體(包括至少兩個(gè)個(gè)體，例如，包括至少兩個(gè)人)的圖像序列的情況下，通常希望能夠方便地從其獲得令人滿(mǎn)意的圖像，在所述令人滿(mǎn)意的圖像中，每個(gè)人的屬性(例如，諸如“微笑”、“悲傷”和“中性”的表情屬性，或者諸如“眨眼”、“皺鼻”和“張嘴”的運(yùn)動(dòng)單元屬性)都是令人滿(mǎn)意的。
[0003]為了應(yīng)對(duì)這一情形，已經(jīng)提出各種圖像處理方法，其中一種被示于圖1 (參見(jiàn)US2011/0109770A1)中。在圖1的流程圖中，首先，在步驟10處，圖像中的每個(gè)面部被檢測(cè)。接下來(lái)，在步驟20處，通過(guò)將每個(gè)面部的評(píng)估出的預(yù)定表情轉(zhuǎn)換成數(shù)值，計(jì)算每個(gè)面部的預(yù)定表情值。然后，在步驟30處，基于對(duì)于所有面部的多個(gè)預(yù)定表情值，計(jì)算群體的決定表情值。在步驟40處，判斷決定表情值是否等于或大于預(yù)定閾值。如果是，那么在步驟50處所述圖像被存儲(chǔ)，并且然后處理前進(jìn)至步驟60 ;否則，處理直接前進(jìn)至步驟60。在步驟60處，判斷是否還有其它圖像。如果是，那么處理前進(jìn)至移動(dòng)至下一圖像的步驟70，并且然后處理回到步驟10 ;否則，處理結(jié)束。
[0004]然而，以上圖像處理方法具有許多限制。
[0005]首先，這樣的方法利用群體的決定表情值來(lái)選擇圖像，這使得由此選擇的圖像可能未示出每個(gè)人的令人滿(mǎn)意的表情。例如，對(duì)于一個(gè)圖像，如果群體的大多數(shù)具有同一“微笑”表情而僅僅少數(shù)人具有諸如“悲傷”或“中性”的不同表情，那么所述圖像仍可能被這樣的方法選擇。然而，群體的情緒基調(diào)(emot1nal tone)(或氛圍(atmosphere))應(yīng)該是大多數(shù)的表情(即，“微笑”)，并且所述圖像中的少數(shù)人的“悲傷”或“中性”表情不與其一致。由此，所述圖像并不能被視為令人滿(mǎn)意的圖像，因?yàn)椴⒉皇撬械谋砬槎寂c群體的情緒基調(diào)最一致。
[0006]其次，這樣的方法是基于預(yù)定表情(例如，“微笑”)并計(jì)算每個(gè)面部的預(yù)定表情值。如果一個(gè)圖像中的群體不具有預(yù)定表情(例如，每個(gè)人都具有“悲傷”表情)，那么所述圖像根本就不將被選擇。然而，不包含預(yù)定表情的圖像可能仍具有其它顯著的效果(例如，“悲傷”或“震驚”效果)。由此，包含除預(yù)定表情之外的各種其它表情的極好圖像可能被錯(cuò)過(guò)。
[0007]因此，希望能夠提供能夠應(yīng)對(duì)以上問(wèn)題中的至少一個(gè)問(wèn)題的新圖像處理裝置和新圖像處理方法。

【發(fā)明內(nèi)容】

[0008]鑒于以上問(wèn)題中的至少一個(gè)問(wèn)題提出本發(fā)明。
[0009]本發(fā)明的一個(gè)目的是提供用于群體的圖像序列和/或視頻序列的新圖像處理裝置、以及用于群體的圖像序列和/或視頻序列的新圖像處理方法。
[0010]本發(fā)明的另一目的是提供能夠從群體的圖像序列和/或視頻序列獲得令人滿(mǎn)意的圖像的圖像處理裝置和圖像處理方法，在所述令人滿(mǎn)意的圖像中，每個(gè)個(gè)體的屬性都盡可能地與群體屬性一致。
[0011]本發(fā)明的又一目的是提供能夠應(yīng)對(duì)除預(yù)定屬性之外的各種其它屬性的圖像處理裝置和圖像處理方法。
[0012]根據(jù)本發(fā)明的第一方面，提供一種用于群體的圖像序列的圖像處理裝置，包括:被配置為獲取所述群體的圖像序列的單元，其中所述群體包括至少兩個(gè)人；被配置為檢測(cè)所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的單元；被配置為識(shí)別所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性的單元；以及被配置為基于所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性來(lái)確定群體屬性的單元。
[0013]根據(jù)本發(fā)明的第二方面，提供一種用于群體的視頻序列的圖像處理裝置，包括:被配置為獲取所述群體的視頻序列的單元，其中，所述群體包括至少兩個(gè)人；以及被配置為從所述視頻序列的開(kāi)始順序地選擇N個(gè)圖像作為當(dāng)前圖像序列，并通過(guò)根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置對(duì)所述當(dāng)前圖像序列進(jìn)行處理，直至到達(dá)所述視頻序列的結(jié)尾的單元，其中，N是預(yù)定圖像序列長(zhǎng)度。
[0014]根據(jù)本發(fā)明的第三方面，提供一種用于群體的視頻序列的圖像處理裝置，包括:被配置為獲取所述群體的視頻序列的單元，其中，所述群體包括至少兩個(gè)人；被配置為從所述視頻序列的開(kāi)始順序地選擇N個(gè)圖像作為當(dāng)前圖像序列，并通過(guò)根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置確定所述當(dāng)前圖像序列的群體屬性，直至到達(dá)所述視頻序列的結(jié)尾的單元，其中，N是預(yù)定圖像序列長(zhǎng)度；被配置為檢測(cè)所述當(dāng)前圖像序列的群體屬性是否從緊接在之前的圖像序列的群體屬性變化的單元；以及被配置為將具有檢測(cè)到的群體屬性變化的圖像序列通知給用戶(hù)的單元。
[0015]根據(jù)本發(fā)明的第四方面，提供一種用于群體的圖像序列的圖像處理方法，包括以下步驟:獲取所述群體的圖像序列，其中所述群體包括至少兩個(gè)人；檢測(cè)所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域；識(shí)別所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性；以及基于所述圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性來(lái)確定群體屬性。
[0016]根據(jù)本發(fā)明的第五方面，提供一種用于群體的視頻序列的圖像處理方法，包括以下步驟:獲取所述群體的視頻序列，其中，所述群體包括至少兩個(gè)人；以及從所述視頻序列的開(kāi)始順序地選擇N個(gè)圖像作為當(dāng)前圖像序列，并通過(guò)根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法對(duì)所述當(dāng)前圖像序列進(jìn)行處理，直至到達(dá)所述視頻序列的結(jié)尾，其中，N是預(yù)定圖像序列長(zhǎng)度。
[0017]根據(jù)本發(fā)明的第六方面，提供一種用于群體的視頻序列的圖像處理方法，包括以下步驟:獲取所述群體的視頻序列，其中，所述群體包括至少兩個(gè)人；從所述視頻序列的開(kāi)始順序地選擇N個(gè)圖像作為當(dāng)前圖像序列，并通過(guò)根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法確定所述當(dāng)前圖像序列的群體屬性，直至到達(dá)所述視頻序列的結(jié)尾，其中，N是預(yù)定圖像序列長(zhǎng)度；檢測(cè)所述當(dāng)前圖像序列的群體屬性是否從緊接在之前的圖像序列的群體屬性變化；以及將具有檢測(cè)到的群體屬性變化的圖像序列通知給用戶(hù)。
[0018]由于以上特征，本發(fā)明的圖像處理裝置和圖像處理方法能夠從群體的圖像序列和/或視頻序列獲得令人滿(mǎn)意的圖像，在所述令人滿(mǎn)意的圖像中，每個(gè)個(gè)體的屬性都盡可能地與群體屬性一致。
[0019]此外，由于以上特征，本發(fā)明的圖像處理裝置和圖像處理方法能夠應(yīng)對(duì)除預(yù)定屬性之外的各種其它屬性。
[0020]從參照附圖對(duì)示例性實(shí)施例的以下詳細(xì)描述，本發(fā)明的進(jìn)一步的目的、特征和優(yōu)點(diǎn)將變得明顯。
【附圖說(shuō)明】
[0021]被包含于說(shuō)明書(shū)中并構(gòu)成其一部分的附圖示出本發(fā)明的實(shí)施例，并與描述一起用于解釋本發(fā)明的原理。
[0022]圖1示意性地示出現(xiàn)有技術(shù)的圖像處理方法的流程圖；
[0023]圖2是能夠?qū)嵤└鶕?jù)本發(fā)明的圖像處理方法的計(jì)算設(shè)備的硬件配置的示意性框圖；
[0024]圖3示意性地示出根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理方法的一般流程圖；
[0025]圖4示意性地示出根據(jù)本發(fā)明的用于識(shí)別圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性的步驟的流程圖；
[0026]圖5示意性地示出根據(jù)本發(fā)明的用于對(duì)應(yīng)于每個(gè)預(yù)定屬性類(lèi)別對(duì)于圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域進(jìn)行分類(lèi)的步驟的流程圖；
[0027]圖6示意性地示出根據(jù)本發(fā)明的用于對(duì)應(yīng)于每個(gè)預(yù)定屬性類(lèi)別對(duì)于圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域進(jìn)行分類(lèi)的步驟的另一流程圖；
[0028]圖7示意性地示出根據(jù)本發(fā)明的用于確定群體屬性的步驟的流程圖；
[0029]圖8示意性地示出根據(jù)本發(fā)明的用于確定每個(gè)人的屬性的步驟的流程圖；
[0030]圖9示意性地示出根據(jù)本發(fā)明的用于確定每個(gè)人的屬性的步驟的另一流程圖；
[0031]圖10示意性地示出根據(jù)本發(fā)明的用于確定群體屬性的步驟的另一流程圖；
[0032]圖11示意性地示出根據(jù)本發(fā)明的用于確定每個(gè)圖像的屬性的步驟的流程圖；
[0033]圖12示意性地示出根據(jù)本發(fā)明的用于確定每個(gè)圖像的屬性的步驟的另一流程圖；
[0034]圖13示意性地示出根據(jù)本發(fā)明的用于選擇每個(gè)人的最佳面部區(qū)域并將群體中的所有人的最佳面部區(qū)域合成為目標(biāo)圖像的步驟；
[0035]圖14示意性地示出根據(jù)本發(fā)明的用于選擇每個(gè)人的最佳面部區(qū)域的步驟的流程圖；
[0036]圖15示意性地示出根據(jù)本發(fā)明的用于選擇與確定的群體屬性對(duì)應(yīng)的圖像的步驟的流程圖；
[0037]圖16示意性地示出根據(jù)本發(fā)明的用于選擇與確定的群體屬性對(duì)應(yīng)的圖像的步驟的另一流程圖；
[0038]圖17示意性地示出根據(jù)本發(fā)明的用于選擇最佳圖像的步驟的流程圖；
[0039]圖18示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理方法的一般流程圖；
[0040]圖19示意性地示出根據(jù)本發(fā)明的用于從視頻序列的開(kāi)始順序地選擇N個(gè)圖像作為當(dāng)前圖像序列的步驟的流程圖；
[0041]圖20示意性地示出根據(jù)本發(fā)明的用于獲得下一當(dāng)前圖像序列的步驟的流程圖；
[0042]圖21示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理方法的示例性流程圖；
[0043]圖22示意性地示出根據(jù)本發(fā)明的用于檢測(cè)視頻序列的群體屬性變化的方法的流程圖；
[0044]圖23示意性地示出根據(jù)本發(fā)明的用于檢測(cè)視頻序列的群體屬性變化的方法的示例性流程圖；
[0045]圖24示意性地示出根據(jù)本發(fā)明的用于群體的圖像序列的圖像處理裝置的一般框圖；
[0046]圖25示意性地示出根據(jù)本發(fā)明的用于群體的視頻序列的圖像處理裝置的一般框圖；
[0047]圖26示意性地示出根據(jù)本發(fā)明的用于檢測(cè)視頻序列的群體屬性變化的圖像處理裝置的框圖；
[0048]圖27示意性地示出群體的輸入圖像序列；
[0049]圖28示意性地示出圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域檢測(cè)；
[0050]圖29包括圖29a?29e，其示意性地示出5個(gè)預(yù)定屬性類(lèi)別；
[0051]圖30示意性地示出面部區(qū)域的子區(qū)域定位；
[0052]圖31示意性地示出識(shí)別圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域的屬性的結(jié)果;
[0053]圖32示意性地示出用于確定每個(gè)人的屬性的一種方式；
[0054]圖33示意性地示出用于確定每個(gè)圖像的屬性的一種方式；
[0055]圖34對(duì)于圖像序列的每個(gè)圖像中的每個(gè)人的面部區(qū)域示意性地示出對(duì)于確定的群體屬性的置信分?jǐn)?shù)；
[0056]圖35示意性地示出對(duì)于群體中的每個(gè)人選擇的最佳面部區(qū)域；
[0057]圖36示意性地示出基于對(duì)于每個(gè)人的最佳面部區(qū)域的合成目標(biāo)圖像；
[0058]圖37對(duì)于圖像序列的每個(gè)圖像中的所有面部區(qū)域示意性地示出對(duì)于確定的群體屬性的平均置信分?jǐn)?shù)；
[0059]圖38示意性地示出選擇的最佳圖像；
[0060]圖39比較性地示出通過(guò)根據(jù)本發(fā)明的方法選擇的每個(gè)人的最佳面部區(qū)域和通過(guò)一種現(xiàn)有技術(shù)方法選擇的每個(gè)人的最佳面部區(qū)域；
[0061]圖40示意性地示出用于從視頻序列獲得新圖像序列的一種方式；以及
[0062]圖41示意性地示出根據(jù)本發(fā)明的檢測(cè)視頻序列的群體屬性變化的結(jié)果。
【具體實(shí)施方式】
[0063]下面將參照附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。應(yīng)注意，以下的描述在本質(zhì)上僅是解釋性和示例性的，決不意在限制本發(fā)明及其應(yīng)用或使用。除非另外特別說(shuō)明，否則，在實(shí)施例中闡述的組件和步驟的相對(duì)布置、數(shù)字表達(dá)式以及數(shù)值并不限制本發(fā)明的范圍。另外，本領(lǐng)域技術(shù)人員已知的技術(shù)、方法和裝置可能不被詳細(xì)討論，但在合適的情況下意在成為說(shuō)明書(shū)的一部分。
[0064]如前所述，現(xiàn)有技術(shù)的圖像處理方法是基于群體的決定屬性值，而群體的決定屬性值又是基于對(duì)于所有面部的多個(gè)預(yù)定屬性值，由此現(xiàn)有技術(shù)的圖像處理方法具有許多限制。在廣泛且深入的研究之后，本發(fā)明的發(fā)明人已