分階段元素分類的制作方法
【專利摘要】在此公開了涉及分階段元素分類的各個(gè)示例。例如，一個(gè)公開的示例提供了通過以下方式對(duì)各元素進(jìn)行分類的方法：在第一階段，使要分類的元素形成多個(gè)第一級(jí)集合，基于元素相似性在第一級(jí)集合中生成主要分組，在第二階段從第一級(jí)集合形成多個(gè)第二級(jí)集合，基于元素相似性在第二級(jí)集合中生成次要分組，以及基于元素相似性合并多個(gè)主要分組和/或次要分組。
【專利說(shuō)明】分階段元素分類
【背景技術(shù)】
[0001]對(duì)流媒體中的圖像元素進(jìn)行分類可以改進(jìn)交互式媒體體驗(yàn)。然而，執(zhí)行這種分類可能是困難的。作為一個(gè)示例，數(shù)字視頻中描繪的每一張臉都可以用這張臉?biāo)鶎儆诘慕巧?或扮演該角色的演員的名稱來(lái)標(biāo)記。然而，在典型的數(shù)字視頻中可存在非常大數(shù)量的臉要進(jìn)行標(biāo)記。例如，具有每秒鐘三十幀回放速度的九十分鐘電影包括162，000幀；且每一幀可包括若干張臉。因此，電影可包括成千上萬(wàn)張臉需要進(jìn)行標(biāo)記。
[0002]概述
[0003]在兩個(gè)階段中將相似元素分組在一起。在第一階段中，所有元素被形成在第一級(jí)集合中，并且來(lái)自每一第一級(jí)集合的相似元素被一起分組在主要分組中。在第二階段中，所有元素被形成在第二級(jí)集合中，該第二級(jí)集合與第一級(jí)集合不同。來(lái)自每一第二級(jí)集合的相似元素被一起分組在次要分組。相似的主要分組和次要分組被合并在一起。
[0004]提供本概述以便以簡(jiǎn)化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
【專利附圖】

【附圖說(shuō)明】
[0005]圖1示出了根據(jù)本公開的一實(shí)施例的將元素分類在各分組中的方法。
[0006]圖2示意性示出根據(jù)本公開的一實(shí)施例的迭代地形成多個(gè)第一級(jí)集合。
[0007]圖3示意性示出根據(jù)本公開的一實(shí)施例的為多個(gè)第一級(jí)集合生成一個(gè)或多個(gè)主要分組。
[0008]圖4示意性示出根據(jù)本公開的一實(shí)施例的迭代地形成多個(gè)第二級(jí)集合。
[0009]圖5示意性地示出用于迭代地形成多個(gè)第二級(jí)集合的示例選擇次序。
[0010]圖6示意性地示出為圖4和圖5中形成的第二級(jí)集合生成一個(gè)或多個(gè)次要分組。
[0011]圖7示意性地示出根據(jù)本公開的一實(shí)施例的生成一個(gè)或多個(gè)經(jīng)合并的分組。
[0012]圖8示意性地示出根據(jù)本公開的一實(shí)施例的生成圖7中的經(jīng)合并的分組I。
[0013]圖9示意性地示出了根據(jù)本公開的一實(shí)施例的分類計(jì)算設(shè)備的一實(shí)施例。
[0014]詳細(xì)描述
[0015]日常情況下遇到的標(biāo)識(shí)信息元素并對(duì)其進(jìn)行分類可以改善日常生活，從而提供在原本瞬時(shí)對(duì)象和概念間形成連接的能力。作為示例，交互式娛樂體驗(yàn)可以通過以下方式來(lái)增強(qiáng):標(biāo)識(shí)娛樂內(nèi)容中的各個(gè)元素并對(duì)其進(jìn)行分類，從而潛在地向用戶提供基于分類后的元素來(lái)發(fā)現(xiàn)新內(nèi)容的機(jī)會(huì)。在一個(gè)場(chǎng)景中，來(lái)自視頻內(nèi)容(例如，電視節(jié)目或電影)的數(shù)字圖像可被分析以標(biāo)識(shí)在該整個(gè)內(nèi)容中的各個(gè)點(diǎn)處的演員的臉。用戶可被呈現(xiàn)跳到包括最喜歡的演員(或演員的組合)的場(chǎng)景以通過因特網(wǎng)訪問與該演員和/或該演員正扮演的角色有關(guān)的信息，并標(biāo)識(shí)其中出現(xiàn)該演員或角色的相關(guān)電影的機(jī)會(huì)，以及其他機(jī)會(huì)。
[0016]盡管分類的某一部分可被自動(dòng)地執(zhí)行，但其他部分可以采用直接人類參與。例如，臉部標(biāo)識(shí)例程可以將電影劃分成各片段，分析每一片段的數(shù)字圖像，找出那些數(shù)字圖像中的臉，并提示人類標(biāo)記每一張臉。
[0017]如以下所描述的，分階段分類方法可以提供所需級(jí)別的分類準(zhǔn)確性和精度，同時(shí)減少供人類進(jìn)行標(biāo)記的臉的總數(shù)。
[0018]圖1示出了分段地基于元素相似性將各元素分類在各分組中的方法100。將明白，方法100可用于對(duì)任何合適的元素集合進(jìn)行分類，而不背離本公開的范圍。出于說(shuō)明的目的，以下將參考對(duì)數(shù)字圖像中描繪的人臉進(jìn)行分類來(lái)描述方法100。例如，包括在電影的每一幀中的每一張臉可被分類在一個(gè)分組中，使得該分組僅包括來(lái)自相同演員的臉。
[0019]在102處，方法100包括接收元素以用于分類。在一個(gè)非限制性場(chǎng)景中，可接收從電影中取得的臉部的數(shù)字圖像以用于分類。然而，將明白，這些元素可以從任何合適的數(shù)據(jù)流和/或數(shù)據(jù)存儲(chǔ)處被接收，而不背離本公開的范圍。一旦被接收，這些元素被處理和分類，如以下更詳細(xì)描述的。
[0020]在某些實(shí)施例中，被接收的元素可直接包括或通過引用分開的數(shù)據(jù)存儲(chǔ)中的信息而包括與該元素有關(guān)的信息(例如，元數(shù)據(jù))。作為一個(gè)非限制性示例，描繪人臉的原始數(shù)字圖像可以包括該臉嵌入在數(shù)字圖像中的時(shí)戳以及屏幕位置數(shù)據(jù)。
[0021]在104處，方法100包括迭代地形成多個(gè)第一級(jí)集合，每一第一級(jí)集合包括至多(up to)基本數(shù)量的元素。該基本數(shù)量表示第一級(jí)集合的容量值。一旦一特定第一級(jí)集合被填充了基本數(shù)量的元素，則新的第一級(jí)集合被形成并被填充。
[0022]在某些實(shí)施例中，基本數(shù)量可根據(jù)計(jì)算資源(例如，邏輯子系統(tǒng)和/或數(shù)據(jù)保持子系統(tǒng)的能力)、網(wǎng)絡(luò)流量資源、或其他合適的分類子系統(tǒng)特征來(lái)選擇。作為示例，形成電影的數(shù)字圖像可包括30，000張人臉。在不將電影劃分成多個(gè)第一級(jí)集合的情況下，將這些臉與身份進(jìn)行匹配將需要對(duì)30，000x30, 000的相似性矩陣中的每一元素執(zhí)行臉部比較。相對(duì)于在由多個(gè)具有基本數(shù)量1，500的第一級(jí)集合產(chǎn)生的二十個(gè)1，500x1, 500的相似性矩陣內(nèi)執(zhí)行比較而言，執(zhí)行這樣的任務(wù)可以是在計(jì)算上昂貴的。將明白，基本數(shù)量可以是任何合適的大小，并且在某些實(shí)施例中，基本數(shù)量可以響應(yīng)于計(jì)算資源和/或被分類的元素的各個(gè)特征(諸如，元素大小)而隨時(shí)間改變。
[0023]在某些實(shí)施例中，除這些第一級(jí)集合中的最后一個(gè)第一級(jí)集合以外，所有第一級(jí)集合都可包括基本數(shù)量的元素，而這些第一級(jí)集合中的最后一個(gè)第一級(jí)集合包括剩余的元素。例如，如果元素的總數(shù)為30，843，且第一級(jí)集合大小的上限被設(shè)為1，500個(gè)元素，則前面二十個(gè)第一級(jí)集合各自將包括1，500個(gè)元素，而最后一個(gè)第一級(jí)集合將包括剩余的843個(gè)元素。將明白，這些元素可以以任何合適的方式被填充在各第一級(jí)集合中，而不背離本發(fā)明的范圍。
[0024]圖2示意性地示出形成在內(nèi)容流202的數(shù)字圖像中描繪的人臉的多個(gè)第一級(jí)集合。圖2示出用于對(duì)包括在內(nèi)容流202中的M張人臉進(jìn)行分類的N個(gè)第一級(jí)集合。如圖2所示，第一級(jí)集合I到第一級(jí)集合(N — I)中的每一個(gè)都被填充了從內(nèi)容流202的數(shù)字圖像中選出的基本數(shù)量的人臉。在圖2所示的示例中，基本數(shù)量被任意地設(shè)為5。因此，第一級(jí)集合I包括前5個(gè)元素(臉F1到臉F5),第一級(jí)集合2包括接著的五個(gè)元素(臉F6到臉Fltl)并以此類推，直到所有第一級(jí)集合被形成并被填充。在圖2所示的示例中，最后一個(gè)第一級(jí)集合(被標(biāo)記為第一級(jí)集合N)包括剩余的兩個(gè)元素(臉Fsh和Fm)。[0025]如圖2所示，元素中的每一個(gè)都可以用第一級(jí)源地址204來(lái)標(biāo)記，該第一級(jí)源地址特別地指示內(nèi)容流202中該特定元素所位于的相對(duì)位置。
[0026]轉(zhuǎn)回圖1，方法100包括在106處，對(duì)于多個(gè)第一級(jí)集合中的每一個(gè)，生成該第一級(jí)集合的一個(gè)或多個(gè)主要分組。每一主要分組包括根據(jù)一個(gè)或多個(gè)預(yù)先確定的特征而被判斷為彼此相似的各元素。換言之，每一主要分組包括來(lái)自該第一級(jí)集合的、被判斷為處于彼此的第一分組容差中的各元素。將理解，主要分組的數(shù)量可以在各第一級(jí)集合之間變化。主要分組可以包括一第一級(jí)集合中的所有元素，如果所有元素都被判斷為處于彼此的第一分組容差中的話；主要分組可以包括被判斷為處于彼此的第一分組容差中的多個(gè)元素；或者，主要分組可以包括單個(gè)元素。
[0027]繼續(xù)參考圖2的示例，圖3示意性地示出為第一級(jí)集合I和第一級(jí)集合2生成一個(gè)或多個(gè)主要分組。盡管未在圖3中被示出，將明白，可以對(duì)圖2中引入的其他第一級(jí)集合執(zhí)行圖3中示出的實(shí)施例，使得可以為由內(nèi)容流202形成的每一個(gè)第一級(jí)集合生成主要分組。
[0028]在以上介紹的臉部分類示例的上下文中，每一主要分組包括來(lái)自該第一級(jí)集合的、被判斷為處于彼此的第一分組容差中的各數(shù)字圖像。如圖3所示，分類器302比較第一級(jí)集合I中的臉，從而形成主要分組I (包括臉F1A3和F4)和主要分組2 (包括臉F2和F5)。分類器302同樣通過比較第一級(jí)集合2中的臉來(lái)形成主要分組3 (包括臉F6和F8)、主要分組4 (包括臉F7和Fltl)和主要分組5 (包括臉^)。
[0029]關(guān)于元素相似性的判斷可以以任何合適的方式來(lái)作出，并且這樣的判斷可以取決于被分類的元素的種類和類型而變化。例如，與對(duì)圖像中的人臉的身份進(jìn)行分類有關(guān)的判斷參數(shù)可以不同于與對(duì)單詞的含義進(jìn)行分類有關(guān)的判斷參數(shù)。繼續(xù)以上描述的臉部標(biāo)識(shí)示例，圖3示出了利用臉部識(shí)別 算法304的分類器302，該分類器被配置為識(shí)別包括在數(shù)字圖像中的人臉并對(duì)其進(jìn)行分類。因此，臉部識(shí)別算法304判斷在一數(shù)字圖像中描繪的人臉是否處于相對(duì)于在另一數(shù)字圖像中描繪的人臉的第一分組容差內(nèi)。可以配置第一分組容差，使得一對(duì)臉將根據(jù)在一對(duì)元素中的一個(gè)元素內(nèi)描繪的人臉和在這對(duì)元素的另一個(gè)元素內(nèi)描繪的人臉之間的臉部特征相似性參數(shù)(諸如，眼睛間隔、眉毛深度等)而被判斷為屬于共同的主要分組。
[0030]轉(zhuǎn)回圖1，方法100包括在108處，通過以下方式來(lái)迭代地形成多個(gè)第二級(jí)集合:對(duì)于每一個(gè)第二級(jí)集合，從下一可用主要分組中順序地選擇下一可用元素，直到該第二級(jí)集合包括基本數(shù)量的元素或直到?jīng)]有下一可用元素留下。換言之，第二級(jí)集合的形成通過以下方式繼續(xù):跨越各個(gè)主要分組選擇元素，使得新形成的第二級(jí)集合可包括來(lái)自多個(gè)主要分組的代表元素。因此，相對(duì)于對(duì)順次選出的元素執(zhí)行第二分類階段而言，后續(xù)元素分類階段(以下更詳細(xì)地描述)可以潛在地對(duì)更多種類的元素執(zhí)行，使得所得的分組在不同和類似元素之間進(jìn)行分辨方面相對(duì)更高效。
[0031]圖4示意地示出從圖3中示出的各第一級(jí)集合形成多個(gè)第二級(jí)集合的方法的一實(shí)施例的概覽。具體地，圖4示出了在其中主要分組1-5以減少人口的次序從上到下地排列的二維矩陣402。因此，主要分組I被示出在矩陣402的第一行中，因?yàn)橹饕纸MI包括最多的元素；且主要分組5被示出在矩陣402的第五行中，因?yàn)橹饕纸M5包括最少的元素。將明白，這種排列是為了便于顯示和描述而示出的，形成第二級(jí)集合的其他合適的排列和方法可被使用，而不背離本公開的范圍。
[0032]如圖4所示，每一主要分組可以用與任何其他主要分組的分組索引不同的分組索引被順序地索引。類似地，每一主要分組中的元素可以被順序地排列和/或索引。這種索引可以是概念上的和/或?qū)嶋H的(例如，矩陣數(shù)據(jù)結(jié)構(gòu)的索引)。作為非限制性示例，圖4示出了被順序地排列在二維矩陣402中的各分組和各元素。在矩陣402中，每一主要分組的每一元素可以用與該主要分組中的任何其他元素的元素索引不同的元素索引來(lái)被順序地索引。因此，每一元素可以使用第二級(jí)源地址404而被獨(dú)特地標(biāo)識(shí)。例如，圖4示出了具有第二級(jí)源地址(3，2)的臉F8。第二級(jí)源地址的格式取決于用于分組和/或安排這些元素的數(shù)據(jù)結(jié)構(gòu)和/或索引技術(shù)。圖4的示例矩陣標(biāo)記不是限制性的。
[0033]在順序地選擇每一個(gè)下一可用元素、向下行進(jìn)到每一列(例如，從下一可用主要分組中選擇)直到該第二級(jí)集合包括基本數(shù)量的元素或直到?jīng)]有下一可用元素留下時(shí)可以使用第二級(jí)源地址404。如此處所使用的，下一可用主要分組中的下一可用元素是尚未被分配給該第二級(jí)集合的、具有最低元素索引和最低分組索引的元素。
[0034]圖5示意性地示出這樣的方法的一示例。路徑502跟蹤在填充第二級(jí)集合I和第二級(jí)集合2時(shí)對(duì)來(lái)自矩陣402的元素的順序選擇。具體地，路徑502描繪了從下一可用主要分組中順序地選擇下一可用數(shù)字圖像，直到每一個(gè)第二級(jí)集合都包括基本數(shù)量的數(shù)字圖像或直到?jīng)]有下一可用數(shù)字圖像留下的過程。因此，除這些第二級(jí)集合中的最后一個(gè)第二級(jí)集合之外，所有第二級(jí)集合將包括基本數(shù)量的元素，而這些第二級(jí)集合中的最后一個(gè)第二級(jí)集合將包括剩余的元素。
[0035]在圖5所示的示例中，第二級(jí)集合I被配置為與第一級(jí)集合具有相同的基本數(shù)量大小(例如，為5個(gè)元素)，但是將明白，這在不同實(shí)施例中可以改變。因此，第二級(jí)集合I的形成(根據(jù)圖5所示的實(shí)施例)通過從矩陣402中順序地選擇臉Fp F2, F6, F7和F9來(lái)繼續(xù)，在該點(diǎn)處第二級(jí)集合I具有等于基本數(shù)量的人口。之后，第二級(jí)集合2被形成，即通過順序選擇臉F3、F4、F5、F8、和Fltl被填充。
[0036]轉(zhuǎn)回圖1，方法100包括在110處，對(duì)于多個(gè)第二級(jí)集合中的每一個(gè)，為該第二級(jí)集合生成一個(gè)或多個(gè)次要分組，每一次要分組包括來(lái)自該第二級(jí)集合的、被判斷為處于彼此的第二分組容差內(nèi)的各元素。每一次要分組包括根據(jù)一個(gè)或多個(gè)預(yù)先確定的特征被判斷為彼此相似的元素。在某些實(shí)施例中，用于判斷相似性的預(yù)先確定的特征可以與用于形成主要分組的預(yù)先確定的特征相似或相同。在某些實(shí)施例中，次要分組可以參考與用于形成主要分組的那些特征不同的特征集合來(lái)形成。
[0037]盡管任何合適的預(yù)先確定的特征可用于形成次要分組，但每一次要分組包括來(lái)自該第二級(jí)集合的、被判斷為處于彼此的第二分組容差內(nèi)的各元素。將理解，次要分組的數(shù)量可以在各第二級(jí)集合之間變化。次要分組可以包括一第二級(jí)集合中的所有元素，如果所有元素都被判斷為處于彼此的第二分組容差中的話；次要分組可以包括被判斷為處于彼此的第二分組容差中的多個(gè)元素；或者，次要分組可以包括單個(gè)元素。
[0038]將理解，在某些實(shí)施例，第二分組容差和第一分組容差可以相同，但在某些其他實(shí)施例中，第一分組容差和第二分組容差可以不同，而不背離本公開的范圍。
[0039]繼續(xù)圖5的示例，圖6示意性地示出了為第二級(jí)集合I和第二級(jí)集合2生成一個(gè)或多個(gè)次要分組。關(guān)于元素相似性的判斷可以以任何合適的方式來(lái)作出，并且這樣的判斷可以取決于被分類的元素的種類和類型而變化。在該臉部分類示例的上下文中，每一次要分組包括來(lái)自該第二級(jí)集合的、被判斷為處于彼此的第二分組容差中的各數(shù)字圖像。因此，在對(duì)人臉進(jìn)行分類時(shí)，生成次要分組可以包括對(duì)于第二級(jí)集合中的每一個(gè)，將臉部識(shí)別算法應(yīng)用于各數(shù)字圖像中描繪的人臉，以判斷一個(gè)元素中的人臉是否處于相對(duì)于另一個(gè)元素中描繪的人臉的第二分組容差中。在這樣的一些實(shí)施例中，可以配置第二分組容差，使得如果臉部識(shí)別算法(諸如，圖6中示出的臉部識(shí)別算法304’)判斷在一對(duì)元素中的一個(gè)元素內(nèi)描繪的人臉和在這對(duì)元素的另一個(gè)元素內(nèi)描繪的人臉之間存在臉部特征相似性(諸如，目艮睛間隔、眉毛深度等)，則一對(duì)臉將被判斷為屬于共同的次要分組。
[0040]如圖6所示，分類器302’判斷在第二級(jí)集合的數(shù)字圖像內(nèi)(例如，在一個(gè)元素內(nèi))描繪的人臉是否處于相對(duì)于在同一第二級(jí)集合的另一數(shù)字圖像內(nèi)描繪的人臉的第二分組容差內(nèi)，使得每一次要分組包括來(lái)自該第二級(jí)集合的、被判斷為處于彼此的第二分組容差內(nèi)的各數(shù)字圖像。因此，圖6描繪了在第二級(jí)集合I中形成次要分組1(包括臉F1A7和F9)和次要分組2 (包括臉F2和F6),以及在第二級(jí)集合2中形成次要分組3 (包括臉&、匕和Fltl)和次要分組4 (包括臉FjPF8X
[0041]轉(zhuǎn)回圖1，方法100包括在112處，生成一個(gè)或多個(gè)經(jīng)合并的分組，每一個(gè)經(jīng)合并的分組包括來(lái)自各主要分組或各次要分組中的一個(gè)分組的所有元素，以及來(lái)自各主要分組或各次要分組中的另一個(gè)分組的所有元素。例如，每一個(gè)經(jīng)合并的臉部分組將包括來(lái)自各主要分組或各次要分組中的一個(gè)分組的所有數(shù)字圖像，以及來(lái)自各主要分組或各次要分組中的另一個(gè)分組的所有數(shù)字圖像。如上所介紹的，相對(duì)于未經(jīng)合并的分組而言，合并這些分組可以減少需要直接用戶交互的分組的總數(shù)。因此，合并臉部分組可以減少需要對(duì)臉部身份進(jìn)行直接人類驗(yàn)證的分組數(shù)。
[0042]圖7示意性地示出生成經(jīng)合并的分組。在圖7中所描繪的示例中，分類器302’’(使用臉部識(shí)別算法304’ ’)在確定是否要將主要分組和/或次要分組中的每一個(gè)分組中正被比較的所有臉包括在經(jīng)合并的分組中時(shí)，判斷那些臉之間的一個(gè)或多個(gè)臉部特征參數(shù)的相似性和/重疊程度。因此，如圖7所示，來(lái)自主要分組1、主要分組4、主要分組5、次要分組I和次要分組3的臉全部被判斷為足夠相似，以被包括在經(jīng)合并的分組I中。經(jīng)合并的分組2由包括在主要分組2、主要分組3、次要分組2和次要分組4中的臉以相同的方式形成。
[0043]將明白，用于判斷是否要合并分組的一個(gè)或多個(gè)因素可取決于正被分類的元素而改變，并且它/它們不限于以上描述的示例臉部特征參數(shù)。此外，盡管這樣的因素可涉及以上描述的與生成主要分組和次要分組有關(guān)的判斷參數(shù)，但將明白，這些因素可以相對(duì)地更為或更不嚴(yán)格。這可提供用于調(diào)整潛在合并錯(cuò)誤的容差和/或直接人類交互的量的方法。例如，經(jīng)合并的分組可以在要進(jìn)行合并的主要分組和次要分組中的各臉中的至少百分之五十(或，另一所選的閾值)相同的情況下被生成，同時(shí)經(jīng)合并的分組可以在要被合并的第一級(jí)集合(或第二級(jí)集合)內(nèi)的各分組中的各臉中的至少百分之二十五(或另一所選的閾值)相同的情況下由這些分組形成。
[0044]作為根據(jù)如上所述的實(shí)施例的示例，圖8示意性地跟蹤圖7中經(jīng)合并的分組I的形成。最初，經(jīng)合并的分組I包括來(lái)自主要分組I (臉F1J3、和F4)和次要分組3 (臉F3、F4、和Fltl)的臉Fp F3> F4和Fltl,因?yàn)檫@兩個(gè)分組包括多于50%的臉部重疊(例如，臉F3和F4)。經(jīng)合并的分組I與主要分組4 (臉匕和匕。具有至少25%的臉部重疊。在合并了這些分組后，經(jīng)合并的分組I包括臉K、F3、F4、FdPFltlt5同樣，經(jīng)合并的分組I與次要分組I (臉F1^ F7和F9)具有至少25%的臉部重疊，使得在與次要分組I合并后，經(jīng)合并的分組I包括
在這點(diǎn)上，經(jīng)合并的分組I與主要分組或次要分組中的任何一個(gè)分組具有低于25%的重疊，使得不存在對(duì)經(jīng)合并的分組I的進(jìn)一步合并。然而，圖7的經(jīng)合并的分組2可以用類似的方式被形成。
[0045]將理解，在經(jīng)合并的分組、主要分組和/或次要分組之間合并分組的過程可以進(jìn)行任何合適的次數(shù)。在以上所述的示例中，每當(dāng)預(yù)先確定的合并準(zhǔn)則被滿足(例如，基于該準(zhǔn)則，直到?jīng)]有進(jìn)一步的合并被準(zhǔn)許)時(shí)，分組被合并。
[0046]在某些實(shí)施例中，一旦合并被完成，得到的經(jīng)合并分組可被比較或以其他方式被檢查，以消除各經(jīng)合并的分組間的冗余。此外，在某些實(shí)施例中，所有分組(包括得到的經(jīng)合并分組和未經(jīng)合并的主要和次要分組)可被檢查以獲得具有不同臉部表示比例(例如，成員百分比)的那些臉。例如，如果對(duì)于不同的分組，特定臉的特定表示比例是不同的，則生成經(jīng)合并的分組的過程可包括將該臉選擇性地保留在具有較大數(shù)目的臉的分組中，并將該臉從其他分組中消除，使得在處理后僅該特定臉的單個(gè)實(shí)例與經(jīng)合并的分組一起輸出。例如，如果在合并后F9保留在主要分組5中，則F9將從主要分組5中被移除(并且主要分組5將被消除)，因?yàn)榻?jīng)合并的分組I具有較大數(shù)量的臉。在一個(gè)分組中的所有臉都被消除的情況下，該(主要、次要或經(jīng)合并的)分組可被消除，從而減少分組的總數(shù)。
[0047]轉(zhuǎn)回圖1，方法100包括在114處，接收針對(duì)這一個(gè)或多個(gè)經(jīng)合并的分組中的每一個(gè)分組的分類。分類的接收可來(lái)自于響應(yīng)于標(biāo)記設(shè)備(諸如，被配置為準(zhǔn)備供分發(fā)的數(shù)字視頻的計(jì)算設(shè)備)處的提示的人類輸入、對(duì)服務(wù)器和/或云計(jì)算環(huán)境的標(biāo)識(shí)的請(qǐng)求、或任何其他合適的源。在在此描述的臉部標(biāo)識(shí)示例的上下文中，被接收的分類可以包括個(gè)人身份標(biāo)記，諸如演員的名字。這樣的分類可以經(jīng)由元數(shù)據(jù)或另一合適的機(jī)制而與元素相關(guān)聯(lián)。
[0048]繼續(xù)，在116處，方法 100包括輸出這一個(gè)或多個(gè)經(jīng)合并的分組。輸出可以用可具有任何合適組織的分類庫(kù)的形式。非限制性輸出組織方案包括按時(shí)間的、按字母順序的和分層的方案。在某些實(shí)施例中，輸出可以是可由用戶搜索的，或可被配置為允許用戶導(dǎo)航經(jīng)分類的元素。例如，一旦被分類，包括在內(nèi)容流202中的演員的臉可以被組織為使得用戶可選擇性地觀看最喜歡的表演者的場(chǎng)景。因此，用戶可以將多季電視節(jié)目的過程中發(fā)生的、由最喜歡的演員扮演的特定角色的發(fā)展作為該節(jié)目的選擇性濃縮版本來(lái)觀看。
[0049]在一些實(shí)施例中，可將以上所描述的方法和過程捆綁到包括一個(gè)或多個(gè)計(jì)算機(jī)的計(jì)算系統(tǒng)。具體而言，此處所述的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)服務(wù)、計(jì)算機(jī)AP1、計(jì)算機(jī)庫(kù)、和/或其他計(jì)算機(jī)程序產(chǎn)品。
[0050]圖9示意性示出了可以執(zhí)行上述方法和過程之中的一個(gè)或多個(gè)的非限制性計(jì)算系統(tǒng)800。例如，計(jì)算系統(tǒng)800可以是臉部標(biāo)記計(jì)算設(shè)備、分類計(jì)算設(shè)備或任何其他合適的計(jì)算設(shè)備。
[0051]以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)800。應(yīng)當(dāng)理解，可使用基本上任何計(jì)算機(jī)架構(gòu)而不背離本公開的范圍。在不同的實(shí)施例中，計(jì)算系統(tǒng)800可以采取大型計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、家用娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備、游戲設(shè)備、服務(wù)器計(jì)算設(shè)備、云計(jì)算環(huán)境等等的形式。[0052]計(jì)算系統(tǒng)800包括邏輯子系統(tǒng)802和數(shù)據(jù)保持子系統(tǒng)804。計(jì)算系統(tǒng)800可以任選地包括顯示子系統(tǒng)806、通信子系統(tǒng)808和/或在圖8中未示出的其他組件。計(jì)算系統(tǒng)800還可以任選地包括諸如下列用戶輸入設(shè)備:例如鍵盤、鼠標(biāo)、游戲控制器、相機(jī)、話筒和
/或觸摸屏等等。
[0053]邏輯子系統(tǒng)802可包括被配置為執(zhí)行一個(gè)或多個(gè)指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯子系統(tǒng)802可以被配置為執(zhí)行一個(gè)或多個(gè)指令，該一個(gè)或更多個(gè)指令是一個(gè)或更多個(gè)應(yīng)用、服務(wù)、程序、例程、庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)或其他邏輯構(gòu)造的部分?？蓪?shí)現(xiàn)這樣的指令以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、變換一個(gè)或多個(gè)設(shè)備的狀態(tài)、或以其他方式得到所希望的結(jié)果。
[0054]邏輯子系統(tǒng)802可以包括被配置為執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。附加地或可替代地，邏輯子系統(tǒng)802可以包括被配置為執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)器。邏輯子系統(tǒng)802的處理器可以是單核或多核的，且在上面執(zhí)行的程序可以被配置為供并行或分布式地處理。邏輯子系統(tǒng)802可以任選地包括分布在兩個(gè)或更多個(gè)設(shè)備上的單獨(dú)組件，這些設(shè)備可位于遠(yuǎn)程和/或被配置為進(jìn)行協(xié)同處理。邏輯子系統(tǒng)802的一個(gè)或多個(gè)方面可被虛擬化并由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備執(zhí)行。
[0055]數(shù)據(jù)保持子系統(tǒng)804可包括一個(gè)或多個(gè)物理、非瞬時(shí)設(shè)備，這些設(shè)備被配置成保持?jǐn)?shù)據(jù)和/或可由該邏輯子系統(tǒng)802執(zhí)行的指令，以實(shí)現(xiàn)此處描述的方法和過程。在實(shí)現(xiàn)這樣的方法和過程時(shí)，可以變換數(shù)據(jù)保持子系統(tǒng)804的狀態(tài)(例如，以保持不同的數(shù)據(jù))。
[0056]數(shù)據(jù)保持子系統(tǒng)804可包括可移動(dòng)介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)804尤其可以包括光學(xué)存儲(chǔ)器設(shè)備(例如，⑶、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器設(shè)備(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)804可包括具有以下特性中的一個(gè)或多個(gè)特性的設(shè)備:易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實(shí)施例中，可以將邏輯子系統(tǒng)802和數(shù)據(jù)保持子系統(tǒng)804集成到一個(gè)或更多個(gè)常見設(shè)備中，如專用集成電路或片上系統(tǒng)。
[0057]圖9還示出以可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)810形式的數(shù)據(jù)保持子系統(tǒng)804的一方面，可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可用于存儲(chǔ)和/或傳輸可執(zhí)行以實(shí)現(xiàn)本文描述的方法和過程的數(shù)據(jù)和/或指令?？梢苿?dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)810尤其是可以采?、恰VD、HD-DVD、藍(lán)光盤、EEPROM和/或軟盤的形式。
[0058]可以明白，數(shù)據(jù)保持子系統(tǒng)804包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備。相反，在一些實(shí)施例中，本文描述的指令的各方面可以按暫態(tài)方式通過不由物理設(shè)備在至少有限持續(xù)時(shí)間期間保持的純信號(hào)(例如電磁信號(hào)、光信號(hào)等)傳播。此外，與本公開有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過單純信號(hào)來(lái)傳播。
[0059]以上描述的方法的實(shí)施例可以由使用各種模塊、程序和/或引擎的計(jì)算系統(tǒng)800來(lái)執(zhí)行。術(shù)語(yǔ)“模塊”、“程序”和“引擎”可用于描述被實(shí)現(xiàn)為執(zhí)行一個(gè)或多個(gè)具體功能的計(jì)算系統(tǒng)800的一方面。在某些情況下，可以通過執(zhí)行由數(shù)據(jù)保持子系統(tǒng)804所保持的指令的邏輯子系統(tǒng)802來(lái)實(shí)例化這樣的模塊、程序或引擎。應(yīng)當(dāng)理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫(kù)、例程、AP1、函數(shù)等來(lái)實(shí)例化不同的模塊、程序和/或引擎。類似地，相同的模塊、程序和/或引擎可由不同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、例程、AP1、功能等來(lái)實(shí)例化。術(shù)語(yǔ)“模塊”、“程序”和“引擎”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫(kù)記錄等。
[0060]當(dāng)被包括時(shí)，顯示子系統(tǒng)806可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)804所保持的數(shù)據(jù)的可視表示。由于本文所描述的方法和過程改變由數(shù)據(jù)保持子系統(tǒng)804保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)804的狀態(tài)，因此同樣可以變換顯示子系統(tǒng)806的狀態(tài)以在視覺上表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)806可以包括使用實(shí)際上任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備。可將此類顯示設(shè)備與邏輯子系統(tǒng)802和/或數(shù)據(jù)保存子系統(tǒng)804 —起組合在共享封裝中，或此類顯示設(shè)備可以是外圍顯示設(shè)備。
[0061]當(dāng)包括通信子系統(tǒng)808時(shí)，通信子系統(tǒng)808可以被配置成將計(jì)算系統(tǒng)800與一個(gè)或多個(gè)其他計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)808可包括與一個(gè)或多個(gè)不同的通信協(xié)議兼容的有線和/或無(wú)線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置為經(jīng)由無(wú)線電話網(wǎng)、無(wú)線局域網(wǎng)、有線局域網(wǎng)、無(wú)線廣域網(wǎng)、有線廣域網(wǎng)等進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算機(jī)系統(tǒng)800經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)發(fā)送消息至其他設(shè)備和/或從其他設(shè)備接收消息。
[0062]應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且這些具體實(shí)施例或示例不應(yīng)被認(rèn)為是局限性的，因?yàn)槎鄠€(gè)變體是可能的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示次序執(zhí)行、按其他次序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣，可以改變上述過程的次序。
[0063]本公開的主題包括各種過程、系統(tǒng)和配置、此處所公開的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物的所有新穎和非顯而易見的組合和子組合。
【權(quán)利要求】
1.一種數(shù)據(jù)保持子系統(tǒng)，所述數(shù)據(jù)保持子系統(tǒng)包含可由邏輯子系統(tǒng)執(zhí)行的指令以: 接收要分類的元素； 迭代地形成多個(gè)第一級(jí)集合，每一個(gè)第一級(jí)集合包括至多基本數(shù)量的元素； 對(duì)于所述多個(gè)第一級(jí)集合中的每一個(gè)第一級(jí)集合，為該第一級(jí)集合生成一個(gè)或多個(gè)主要分組，每一主要分組包括該第一級(jí)集合中被判斷為處于彼此的第一分組容差內(nèi)的元素； 通過以下方式迭代地形成多個(gè)第二級(jí)集合:對(duì)于每一個(gè)第二級(jí)集合，從下一可用主要分組中順序地選擇下一可用元素，直到該第二級(jí)集合包括基本數(shù)量的元素或直到?jīng)]有下一可用元素留下； 對(duì)于所述多個(gè)第二級(jí)集合中的每一個(gè)第二級(jí)集合，為該第二級(jí)集合生成一個(gè)或多個(gè)次要分組，每一個(gè)次要分組包括來(lái)自該第二級(jí)集合的、被判斷為處于彼此的第二分組容差內(nèi)的元素；以及 生成一個(gè)或多個(gè)經(jīng)合并的分組，每一個(gè)經(jīng)合并的分組包括來(lái)自所述主要分組或次要分組中的一個(gè)分組的所有元素以及來(lái)自所述主要分組或次要分組中的另一個(gè)分組的所有元素。
2.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，每一個(gè)主要分組用與任何其他主要分組的分組索引不同的分組索引被順序地索引，并且其中屬于主要分組的每一個(gè)元素用與該主要分組中的任何其他元素的元素索引不同的元素索引被順序地索引。
3.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，來(lái)自下一可用主要分組的下一可用元素是尚未被分配給該第二級(jí)集合的、具有最低元素索引和最低分組索引的元素。
4.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，除所述第一級(jí)集合中的最后一個(gè)第一級(jí)集合以外，所有第一級(jí)集合都包括基本數(shù)量的元素，且其中所述第一級(jí)集合中的最后一個(gè)第一級(jí)集合包括剩余的元素。
5.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，除所述第二級(jí)集合中的最后一個(gè)第二級(jí)集合以外，所有第二級(jí)集合都包括基本數(shù)量的元素，且其中所述第二級(jí)集合中的最后一個(gè)第二級(jí)集合包括剩余的元素。
6.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，為所述第一級(jí)集合中的每一個(gè)集合生成主要分組的指令包括將臉部識(shí)別算法應(yīng)用于描繪人臉的數(shù)字圖像的形式的各元素，以判斷一個(gè)元素中描繪的人臉是否處于相對(duì)于另一元素內(nèi)描繪的人臉的第一分組容差內(nèi)的指令。
7.如權(quán)利要求6所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，為所述第二級(jí)集合中的每一個(gè)集合生成次要分組的指令包括將臉部識(shí)別算法應(yīng)用于描繪有人臉的數(shù)字圖像的形式的各元素，以判斷一個(gè)元素內(nèi)的人臉是否處于相對(duì)于另一元素內(nèi)描繪的人臉的第二分組容差內(nèi)的指令。
8.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，生成一個(gè)或多個(gè)經(jīng)合并的分組的指令包括如果在主要分組中描繪的人臉中的至少百分之五十被包括在次要分組中，則將該主要分組與該次要分組合并的指令。
9.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，生成一個(gè)或多個(gè)經(jīng)合并的分組的指令包括如果在兩個(gè)主要分組中描繪的人臉中的至少百分之二十五相同，則將這兩個(gè)主要分組合并的指令。
10.如權(quán)利要求1所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，生成一個(gè)或多個(gè)經(jīng)合并的分組的指令包括如果在兩個(gè)次要分組中描繪的人臉中的至少百分之二十五相同，則將這兩個(gè)次要分組合并的指令。`
【文檔編號(hào)】H04N21/845GK103503469SQ201280021906
【公開日】2014年1月8日 申請(qǐng)日期:2012年5月2日 優(yōu)先權(quán)日:2011年5月6日
【發(fā)明者】Y·何, C·顧 申請(qǐng)人:微軟公司