專利名稱：基于面部表情生成音樂播放列表的制作方法
基于面部表情生成音樂播放列表
背景技術(shù)：
隨著獲取音樂的日益普及，各種各樣的消費(fèi)者設(shè)備可以包括數(shù)字媒體播放器 (DMP)或數(shù)字音頻播放器(DAP)，以播放并且管理數(shù)字音樂文件。在某些情況下，消費(fèi)者設(shè) 備可能是單功能設(shè)備。在另一些情況下，消費(fèi)者設(shè)備可能是多功能設(shè)備，如移動電話、個人 數(shù)字助理(PDA)或手提電腦。由于這些類型的消費(fèi)者設(shè)備不斷地變得越來越便攜和多用 途，因此我們對用于娛樂目的的這些設(shè)備的依賴已經(jīng)增加。在某些情況下，用戶可以創(chuàng)建播放列表。播放列表可以包括由用戶選擇的且可以例如順次或按隨機(jī)順序播放的一首或更多首歌曲。但是，創(chuàng)建播放列表的過程可能是耗時 間并且煩人的。

發(fā)明內(nèi)容
根據(jù)一個方面，一種方法可以包括在設(shè)備上播放第一歌曲，捕獲所述設(shè)備的用戶 的圖像，基于所述圖像執(zhí)行對所述用戶的面部表情識別，以及基于所述用戶的面部表情選
擇第二歌曲。此外，所述捕獲操作可以包括基于所述播放第一歌曲的操作而自動捕獲所述用戶 的所述圖像。此外，所述執(zhí)行操作可以包括確定所述用戶的心情。此外，所述方法可以包括識別所述第一歌曲的一個或更多個音樂特征。此外，所述方法可以包括確定所述第一歌曲的藝術(shù)家或所述第一歌曲的風(fēng)格中的 至少一個。此外，所述選擇操作可以包括基于所述第一歌曲的所述一個或更多個音樂特征選 擇所述第二歌曲。此外，所述方法可以包括在所述設(shè)備上播放所述第二歌曲。此外，所述選擇操作可以包括基于所述第一歌曲選擇所述第二歌曲。根據(jù)另一方面，一種設(shè)備可以包括存儲指令的存儲器和執(zhí)行所述指令的處理器。 所述處理器可以執(zhí)行捕獲用戶的圖像的指令、基于所述圖像執(zhí)行面部表情識別的指令、以 及基于所述用戶的心情選擇要在所述設(shè)備上播放的一首或更多首歌曲的指令。此外，可以基于所述用戶與所述設(shè)備的交互或周期定時機(jī)制中的至少一種捕獲所 述用戶的所述圖像。此外，所述處理器還可以執(zhí)行基于所述圖像中包含的所述用戶的面部表情的一個 或更多個特征識別所述用戶的心情的指令。此外，所述處理器還可以執(zhí)行基于所述圖像識別所述用戶的指令。此外，為了選擇所述一首或更多首歌曲，所述處理器還可以執(zhí)行訪問與所識別出 的用戶相關(guān)聯(lián)的音樂庫的指令。此外，所述處理器還可以執(zhí)行識別當(dāng)捕獲所述圖像時在所述設(shè)備上播放的歌曲的 音樂特征的指令。
此外，所述一首或更多首歌曲可以基于所述歌曲的音樂特征來選擇。根據(jù)另一方面，一種計算機(jī)可讀介質(zhì)可以包含可由至少一個處理器執(zhí)行的指令。 所述計算機(jī)可讀介質(zhì)可以包括用于捕獲用戶的圖像的一個或更多個指令、用于基于所述圖 像執(zhí)行面部表情識別的一個或更多個指令、以及用于基于所述用戶的面部表情的類別選擇 要播放的一首或更多首歌曲的一個或更多個指令。此外，所述計算機(jī)可讀介質(zhì)可以包括用于創(chuàng)建活躍播放列表的一個或更多個指 令，其中，所述活躍播放列表可以包括正在播放的第一歌曲。此外，用于選擇操作的所述一個或更多個指令可以包括用于基于所述一首或更多 首歌曲創(chuàng)建第一播放列表的一個或更多個指令。此外，所述計算機(jī)可讀介質(zhì)可以包括用于從所述第一播放列表中 選擇一首或更多 首歌曲的一個或更多個指令，以及用于播放從所述第一播放列表中選擇的所述一首或更多 首歌曲的一個或更多個指令。此外，所述計算機(jī)可讀介質(zhì)可以包括用于確定所述用戶是否停止播放所選擇的所 述一首或更多首歌曲而播放其它歌曲的一個或更多個指令。此外，所述計算機(jī)可讀介質(zhì)可以包括用于在所述用戶未停止播放所選擇的所述一 首或更多首歌曲的情況下，對所選擇的所述一首或更多首歌曲中的各首歌曲分配增強(qiáng)值的 一個或更多個指令。根據(jù)另一方面，一種設(shè)備可以包括用于播放歌曲的單元、用于捕獲用戶圖像的單 元、用于基于所述圖像確定所述用戶的心情的單元、以及用于基于所述心情選擇要播放的 另一首歌曲的單元。


附圖被包括在本說明書中，并且組成本說明書的一部分，附圖示出了本文描述的 示例性實(shí)施方式，且與文字說明一起用于解釋這些示例性實(shí)施方式。附圖中圖1是示出本文所描述的原理的圖；圖2是示出示例性設(shè)備的示例性外部組件的主視圖的圖；圖3是示出對應(yīng)于圖2中所示的設(shè)備的示例性內(nèi)部組件的圖；圖4是示出對應(yīng)于圖3中所示的DAP的示例性功能組件的圖；圖5是示出可由圖4中所示的面部表情識別來實(shí)現(xiàn)的示例性面部表情識別數(shù)據(jù)庫 的圖；圖6是示出可由圖4中所示的DAP來實(shí)現(xiàn)的示例性音樂數(shù)據(jù)庫的圖；圖7是示出用于執(zhí)行本文所描述的原理的示例性過程的流程圖；以及圖8是示出基于本文所描述的原理生成播放列表的示例的圖。
具體實(shí)施例方式下面參照附圖進(jìn)行詳細(xì)描述。不同附圖中相同的附圖標(biāo)記可以表示相同或類似的 要素。另外，下面的描述不限制本發(fā)明。術(shù)語“音樂”旨在被廣泛地解釋為包括任何類型的 音樂作品。根據(jù)上下文可以將術(shù)語“歌曲”與術(shù)語“音樂”互換使用。概述
圖1是示出如本文所描述的原理的圖。如所示出的，環(huán)境100可以包括操作消費(fèi) 者設(shè)備(如，移動電話)的用戶。移動電話可以包括數(shù)字音頻播放器(DAP)和圖像捕獲組 件，如攝像機(jī)。此外，移動電話可以包括面部表情識別組件。在一個實(shí)施例中，如果用戶與移動電話交互，則攝像機(jī)可以捕獲用戶面部的靜止 圖像和/或視頻圖像。面部表情識別組件可以利用用戶的面部圖像來確定用戶的面部特 征。可以將該面部特征與預(yù)先定義的面部特征類別進(jìn)行比較。如果該面部特征與一面部特 征類別匹配，則可在該面部特征類別和當(dāng)前播放的音樂和/或類似于當(dāng)前播放音樂的音樂 之間形成鏈接。如果該面部特征不與任一面部特征類別匹配，則可基于該面部特征創(chuàng)建新 的面部特征類別?？梢栽谛碌拿娌刻卣黝悇e和當(dāng)前播放的音樂和/或類似于當(dāng)前播放音樂 的音樂之間形成鏈接。鑒于這些規(guī)定，可以創(chuàng)建包含潛在歌曲列表的潛在播放列表。例如，當(dāng)當(dāng)前音樂結(jié) 束時，可以從潛在播放列表選擇歌曲。作為前述的結(jié)果，可以基于用戶的面部表情自動更新 活躍播放列表。以這種方式，用戶可以聽到更匹配用戶當(dāng)時心情的音樂。示例性設(shè)備圖2是示出示例性設(shè)備的示例性外部組件的主視圖的圖。如所示出的，設(shè)備200 可以包括殼體205、麥克風(fēng)210、揚(yáng)聲器220、小鍵盤230、功能鍵240、顯示器250和/或攝像 機(jī)260。術(shù)語“組件”，如本文所使用的，旨在被廣泛地解釋為包括硬件、軟件和/或硬件和 軟件的組合。殼體205可以包括用于容納設(shè)備200的組件的結(jié)構(gòu)。例如，殼體可以由塑料或金 屬制成，并且可以支承麥克風(fēng)210、揚(yáng)聲器220、小鍵盤230、功能鍵240、顯示器250和攝像 機(jī) 260。麥克風(fēng)210可以包括能夠?qū)⒖諝鈮毫ΣㄞD(zhuǎn)換成對應(yīng)電信號的任何組件。例如，用 戶可以在電話呼叫過程中對麥克風(fēng)210講話。揚(yáng)聲器220可以包括能夠?qū)㈦娦盘栟D(zhuǎn)換成對 應(yīng)聲波的任何組件。例如，用戶可以通過揚(yáng)聲器220聽音樂。小鍵盤230可以包括能夠向設(shè)備220提供輸入的任何組件。小鍵盤230可以包括 標(biāo)準(zhǔn)電話小鍵盤。小鍵盤230還可以包括一個或更多個專用鍵。在一個實(shí)施例中，小鍵盤 230的各鍵例如可以是按鈕、觸敏屏上的區(qū)域等。用戶可以使用小鍵盤230來輸入信息，如 文本或電話號碼，或者激活特殊功能。功能鍵240可以包括能夠向設(shè)備200提供輸入的任何組件。功能鍵240可以包括 允許用戶使設(shè)備200執(zhí)行一個或更多個操作的按鍵。與功能鍵240的按鍵關(guān)聯(lián)的功能可以 根據(jù)設(shè)備200的模式而變化。例如，功能鍵240可以執(zhí)行各種操作，如發(fā)出電話呼叫、播放 各種媒體(例如，音樂，視頻)、發(fā)送電子郵件、設(shè)定各種攝像機(jī)特征(如，焦距、變焦等)和 /或訪問應(yīng)用程序。功能鍵240可以包括提供光標(biāo)功能和選擇功能的按鍵。在一個實(shí)施例 中，功能鍵240的各個鍵可例如以是按鈕、觸敏屏上的區(qū)域等。顯示器250可以包括能夠提供可視信息的任何組件。例如，在一個實(shí)施例中，顯示 器250可以是液晶顯示器(LCD)。在另一個實(shí)施例中，顯示器250可以是任何一種其他顯示 技術(shù)，例如等離子體顯示板(PDP)、場發(fā)射顯示器(FED)、薄膜晶體管(TFT)顯示器等。顯示 器250例如可以顯示文本、圖像和/或視頻信息。攝像機(jī)260可以包括能夠捕獲靜止圖像和/或視頻圖像的任何組件。攝像機(jī)260可以是數(shù)字?jǐn)z像機(jī)。攝像機(jī)260可以提供對攝像機(jī)設(shè)置的自動和/或手動調(diào)節(jié)。在一個實(shí) 施例中，設(shè)備200可以包括攝像機(jī)軟件，該軟件提供可以在顯示器250上顯示的各種功能以 允許用戶例如調(diào)節(jié)攝像機(jī)設(shè)置。例如，用戶可以通過操作功能鍵240調(diào)節(jié)攝像機(jī)設(shè)置。設(shè)備200旨在被廣泛地解釋為包括用于播放音樂的任何數(shù)量的設(shè)備。例如，設(shè)備 200可以包括便攜式設(shè)備，如無線電話、個人數(shù)字助理(PDA)、音頻播放器和/或音頻/視頻 播放器(如MP3播放器)、游戲系統(tǒng)、計算機(jī)或另一種DMP或DAP設(shè)備。在其他情況下，設(shè)備 200可以包括固定式設(shè)備，如音頻系統(tǒng)、音頻/視頻系統(tǒng)、游戲系統(tǒng)、計算機(jī)或另一種DMP或 DAP設(shè)備。更進(jìn)一步，設(shè)備200可以包括汽車、飛機(jī)等中的DMP或DAP設(shè)備。因此，盡管圖2 示出了設(shè)備200的示例性外部組件，但是在其他實(shí)施例中，設(shè)備200可以包含比圖2中所示 的外部組件更少的、不同的或附加的外部組件。例如，盡管未示出，但是設(shè)備200可以包括 通信端口，如紅外端口和/或通用串行總線(USB)端口。附加地或可替換地，設(shè)備200的一 個或更多個外部組件可以執(zhí)行設(shè)備200的一個或更多個其他外部組件的功能。例如，顯示 器250可以是輸入組件(例如，觸摸屏)。附加地或可替換地，外部組件可以與圖2中所示 的外部組件不同地設(shè)置。圖3是示出圖2中所示的設(shè)備的示例性內(nèi)部組件的圖。如所示出的，設(shè)備200可 以包括麥克風(fēng)210、揚(yáng)聲器220、小鍵盤230、功能鍵240、顯示器250、攝像機(jī)260、存儲器 300 (具有DAP 310)、收發(fā)器320、控制單元330和總線340。麥克風(fēng)210、揚(yáng)聲器220、小鍵 盤230、功能鍵240、顯示器250和攝像機(jī)260可以包括上面參照圖2描述的特征和/或性能。存儲器300可以包括存儲與設(shè)備200的操作和使用相關(guān)的數(shù)據(jù)和指令的任何類型 的存儲組件。例如，存儲器300可以包括存儲器組件，如隨機(jī)存取存儲器(RAM)、動態(tài)隨機(jī)存 取存儲器(DRAM)、靜態(tài)隨機(jī)存取存儲器(SRAM)、同步動態(tài)隨機(jī)存取存儲器(SDRAM)、鐵電體 隨機(jī)存取存儲器(FRAM)、只讀存儲器(ROM)、可編程只讀存儲器(PR0M)、可擦除可編程只讀 存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)和/或閃速存儲器。此外，存儲器 300可以包括存儲組件，如磁存儲組件(例如，硬盤驅(qū)動器)、CD驅(qū)動器、DVD驅(qū)動器或另一 類型的計算機(jī)可讀介質(zhì)。存儲器300還可以包括外部存儲組件，如USB存儲棒、存儲卡和/ 或用戶識別模塊(SIM)卡。存儲器300還可以包括DAP 310。DAP 310可以包括用于使設(shè)備200基于用戶的面 部表情生成播放列表的組件。下面將參照圖4更詳細(xì)地描述DAP 310。另選的是，DAP 310 可以位于存儲器300之外。DAP 310可以訪問存儲器300以播放音樂。收發(fā)器320可以包括能夠發(fā)送和接收數(shù)據(jù)的任何組件。例如，收發(fā)器320可以包 括提供與網(wǎng)絡(luò)或另一個設(shè)備的無線通信的無線電路。收發(fā)器320可以支持無線通信?？刂茊卧?30可以包括解釋并且執(zhí)行用于控制設(shè)備200的整體操作的指令的任何 邏輯。本文中所使用的邏輯可以包括硬件、軟件和/或硬件和軟件的組合。控制單元330 可以包括，例如，通用處理器、微處理器、數(shù)據(jù)處理器、協(xié)處理器、網(wǎng)絡(luò)處理器、專用集成電路 (ASIC)、控制器、可編程邏輯設(shè)備、芯片集、現(xiàn)場可編程門陣列(FPGA)等。控制單元330可 以訪問來自存儲器300、來自設(shè)備200的其他組件和/或來自設(shè)備200外部的源(如，網(wǎng)絡(luò) 或另一個設(shè)備)的指令?？刂茊卧?30可以提供與設(shè)備200關(guān)聯(lián)的不同操作模式。此外， 控制單元330可以同時以多個操作模式進(jìn)行操作。例如，控制單元330可以以攝像機(jī)模式、音樂播放模式和/或電話模式來操作?？偩€340可以包括允許在設(shè)備200的組件間通信的通信路徑?？偩€340可以包括， 例如，系統(tǒng)總線、地址總線、數(shù)據(jù)總線和/或控制總線?？偩€340可以包括總線驅(qū)動器、總線 仲裁器、總線接口和/或時鐘。圖3中所示的設(shè)備200可以執(zhí)行與DAP 310相關(guān)的某些操作。設(shè)備200可以響應(yīng) 于控制單元330執(zhí)行在計算機(jī)可讀介質(zhì)(如，存儲器300)中包含的軟件指令而執(zhí)行這些操 作。計算機(jī)可讀介質(zhì)可以被限定為物理或邏輯存儲裝置。軟件指 令可以被讀入存儲器300 中，并且可以使控制單元330執(zhí)行與DAP 310關(guān)聯(lián)的過程。另選的是，固定電路可以用來代 替實(shí)施本文描述的過程的軟件指令或者與實(shí)施本文描述的過程的軟件指令一起使用。因 此，本文所描述的實(shí)施例不限于硬件電路和軟件的任何特定組合。盡管圖3示出了示例性內(nèi)部組件，但是在其他實(shí)施例中，可以采用比圖3中所示的 內(nèi)部組件更少的、附加的和/或不同的內(nèi)部組件。例如，設(shè)備200的一個或更多個內(nèi)部組件 可以包括設(shè)備200的一個或更多個其它組件的性能。例如，收發(fā)器320和/或控制單元310 可以包括它們自己的板載存儲器300。附加地或另選地，設(shè)備200可以不包括麥克風(fēng)210、 收發(fā)器320和/或功能鍵240。圖4示出了可對應(yīng)于圖3中所示的DAP的示例性功能組件的圖。如所示出的，DAP 310可以包括DAP 410和面部表情識別(FER)組件420。面部識別和面部表情識別結(jié)構(gòu)和處理技術(shù)可以重疊。即，雖然面部表情識別的重 點(diǎn)可能在于用戶的表情，但是面部表情信息還可以包括諸如用戶身份的信息。相反地，雖然 面部識別的重點(diǎn)可能在于用戶身份，但是面部識別信息還可以包括諸如用戶面部表情的信 息。考慮到這些因素，根據(jù)例如設(shè)備200的用戶個數(shù)，用戶的面部識別可能是有用的或無用 的。DAP 410可以包括能夠播放數(shù)字音樂文件的組件。DAP 410可以包括用戶界面 (UI)，該UI允許用戶選擇歌曲、創(chuàng)建播放列表、調(diào)節(jié)音頻設(shè)置(例如，音量、均衡)、調(diào)節(jié)皮膚 設(shè)置、和/或調(diào)節(jié)視頻設(shè)置。DAP 410可以支持多個不同的數(shù)字音樂文件格式，如運(yùn)動圖像 專家組(MPEG-I)音頻層3 (MP3)、音頻視頻交織(.avi)、波形音頻格式(.wav) ,Quicktime (. qt)、視窗媒體音頻(.wma)、音頻(.au)、真正音頻媒體(.ram)、真正音頻(.ra)、音樂設(shè)備數(shù) 字接口(.midi)等。FER組件420可以包括能夠識別用戶的面部表情的邏輯?？梢圆捎枚喾N識別技術(shù)。 例如，用于識別面部表情的兩種通用方法是分片方法和整體方法。用于面部表情識別的分 片方法可以涉及多個特征分類部和某種組合單元。另一方面，在整體方法中，可以提取整個 面部并且將其提供給表情識別系統(tǒng)。但是，在其他情況下，可以采用混合方法。通常，這些方法可以包括圖像獲取階段、預(yù)處理階段、特征提取階段、分類階段和 后處理階段。圖像獲取階段可以包括攝像機(jī)260捕獲用戶的靜止圖像和/或視頻圖像。攝像機(jī) 260可以基于例如觸發(fā)事件而捕獲用戶的靜止圖像和/或視頻圖像。觸發(fā)事件可以包括，例 如，用戶與設(shè)備200的交互。例如，用戶可以改變設(shè)備200的音量或使用設(shè)備200的其他組 件(如，打開應(yīng)用程序、按壓按鍵等)。在其他情況下，設(shè)備200可以包括自觸發(fā)事件。例 如，攝像機(jī)260可以基于定時機(jī)制(例如，時鐘)以周期模式捕獲用戶的靜止圖像和/或視頻圖像。附加地或另選地，設(shè)備200可以包括可以觸發(fā)攝像機(jī)260捕獲用戶圖像的運(yùn)動傳 感器(圖中未示出)。預(yù)處理階段可以包括靜止圖像和/或視頻圖像的信號調(diào)節(jié)。例如，信號調(diào)節(jié)可以 包括噪聲去除和/或標(biāo)準(zhǔn)化處理。附加地或另選地，信號調(diào)節(jié)可以包括分割和/或定位以 及跟蹤用戶面部和/或面部部分(例如，眼睛、嘴巴、鼻子等)。特征提取階段可以包括將像素數(shù)據(jù)轉(zhuǎn)換成形狀、運(yùn)動的表示、面部和/或面部組 成的空間結(jié)構(gòu)、紋理和/或顏色。在一個實(shí)施例中，可以從面部圖像提取能夠識別用戶面部 的特征矢量，以識別用戶的面部。例如，可以采用主成分分析(PCA)和/或線性判別分析 (LDA)方法。在其他情況下，特征提取可以基于例如特征臉?biāo)惴?。分類階段可以包括表情分類。表情分類可以包括，例如，模式分布和判定過程的模 板?？梢圆捎门c情緒狀態(tài)(高興、悲傷、驚訝、憤怒、害怕、厭惡、中立等)相關(guān)的典型表情。 在其他實(shí)施例中，可以使用更細(xì)化的分類。后處理階段可以包括最小化分類差錯的處理。FER組件420可以識別用戶的面部表情。與DAP 410相關(guān)地還可以執(zhí)行其它處理， 這將在下面更詳細(xì)地描述。盡管圖4示出了示例性功能組件，但是在其他實(shí)施例中，可以采用比參照圖4描述 的這些更少的、附加的和/或不同的功能組件。例如，代替設(shè)備200包括DAP 310，設(shè)備200 可以包括播放視頻和音頻的DMP。附加地或另選地，F(xiàn)ER組件420可以采用更少的、不同的 或附加的操作以識別用戶的面部表情。附加地或另選地，盡管DAP 410和FER組件420已 經(jīng)被示出并且描述為相區(qū)分的功能組件，但是在其他實(shí)施例中，DAP410可以包括FER組件 420的一個或更多個性能，而FER組件420也可以包括DAP 410的一個或更多個性能。圖5是示出可由圖4中所示的FER實(shí)現(xiàn)的示例性面部表情識別數(shù)據(jù)庫的圖。如所 示出的，面部表情識別(FER)數(shù)據(jù)庫500可以包括一個或更多個記錄，如記錄510-1和記錄 510-2。在一個實(shí)施例中，各記錄510可以包括多個字段。例如，各記錄510可以包括用戶字 段512 (例如，用戶字段512-1和用戶字段512-2)，類別字段514 (例如，類別字段514-1至 514-8)，和面部特征字段516 (如，面部特征字段516-1至516-8)。用戶字段512可以包括 可以用于識別用戶的面部表情信息和/或面部識別信息。類別字段514可以包括用于表示 例如用戶類別(例如，心情，如悲傷、憤怒、高興等)的信息。下面將更詳細(xì)地描述，類別字 段514還可以包括已與類別鏈接的歌曲信息。面部特征字段516可以包括與類別字段514 對應(yīng)的用戶面部表情相關(guān)的信息。例如，面部特征字段516可以包括與不同面部部分的相 對位置、眼睛運(yùn)動和/或總體面部運(yùn)動相關(guān)的信息。盡管圖5示出了示例性FER數(shù)據(jù)庫500，但是在其他實(shí)施例中，F(xiàn)ER數(shù)據(jù)庫500可 以包括比參照圖5描述的更少的、附加的和/或不同的信息。例如，在其他實(shí)施例中，F(xiàn)ER數(shù) 據(jù)庫500可以不包括用戶字段512。圖6是示出可由圖4中所示的DAP實(shí)現(xiàn)的示例性音樂數(shù)據(jù)庫的圖。如所示出的， 音樂數(shù)據(jù)庫600可以包括一個或更多個記錄610，如記錄610-1和記錄610-2。在一個實(shí)施 例中，各記錄610可以包括多個字段。例如，各記錄610可以包括用戶字段612 (例如，用戶 字段612-1和612-2)、音樂庫字段614(例如，音樂庫字段614-1和614-2)、播放列表字段 616 (例如，播放列表字段616-1至616-8)、活躍播放列表字段618 (例如，活躍播放列表字 段618-1和618-2)和潛在播放列表字段620 (例如，潛在播放列表字段620-1和620-2)。
9
用戶字段612可以包括用戶姓名。在僅一個用戶使用設(shè)備200的一些實(shí)施例中，可以省略用戶字段612。音樂庫字段614可以包括歌曲庫。例如，各歌曲可以包括例如歌曲 標(biāo)題、藝術(shù)家姓名、風(fēng)格信息(例如，搖滾、鄉(xiāng)村、非主流、經(jīng)典、爵士、新時代等)、唱片信息 (例如，標(biāo)題、年代)、排行榜等級、用戶評價和/或播放頻度。播放列表字段616可以包括一首或更多首歌曲的列表。用戶可以通過從音樂庫字 段614選擇一首或更多首歌曲創(chuàng)建播放列表。用戶可以保存一個或更多個播放列表，如由 字段616-1至616-4中用于用戶612-1的播放列表1_4所示?；钴S播放列表字段618可以 包括當(dāng)前正由用戶播放的一個特定播放列表616。潛在播放列表字段620可以包括可以基 于FER數(shù)據(jù)庫500創(chuàng)建的播放列表，這將在下面更詳細(xì)地描述。盡管圖6示出了示例性音樂數(shù)據(jù)庫600，但是在其他實(shí)施例中，音樂數(shù)據(jù)庫600可 以包括比參照圖6描述的更少的、附加的和/或不同的信息。圖7是示出用手執(zhí)行本文所描述的原理的示例性過程的流程圖。過程700可以開 始于在消費(fèi)者設(shè)備上播放音樂(框710)。例如，用戶可以使用設(shè)備200的DAP 410播放來 自音樂數(shù)據(jù)庫600(例如，音樂庫614)的歌曲。歌曲可以是來自播放列表616的一首歌，或 者歌曲也可以不來自播放列表616。在框712中，基于觸發(fā)事件可以獲得用戶的靜止圖像和/或視頻圖像。例如，攝像 機(jī)260可以基于觸發(fā)事件而捕獲用戶的靜止圖像和/或視頻圖像。例如，如果用戶例如通 過在設(shè)備200上播放音樂而與設(shè)備200交互，則可能發(fā)生外部觸發(fā)事件。附加地或另選地， 攝像機(jī)260可以基于設(shè)備200內(nèi)部的觸發(fā)事件捕獲靜止圖像和/或視頻圖像。內(nèi)部觸發(fā)事 件可以包括，例如，定時機(jī)制(例如，時鐘)，如果用戶在攝像機(jī)260的某個范圍和/或視野 內(nèi)，該定時機(jī)制可以啟動攝像機(jī)260捕獲用戶的靜止圖像和/或視頻圖像。附加地或另選 地，攝像機(jī)260可以基于外部觸發(fā)事件和內(nèi)部觸發(fā)事件的組合捕獲靜止圖像和/或視頻圖 像。例如，設(shè)備200可以包括使攝像機(jī)260基于用戶接近攝像機(jī)260和/或基于設(shè)備200 是否在播放音樂而捕獲靜止圖像和/或視頻圖像的運(yùn)動檢測器(圖2或圖3未示出)。在框714中，可以基于靜止圖像和/或視頻圖像和面部表情識別，識別用戶的面部 表情。例如，F(xiàn)ER組件420可以根據(jù)本文所描述的面部表情識別過程基于靜止圖像和/或 視頻靜止圖像來確定用戶的面部表情。此外，在一個實(shí)施例中，F(xiàn)ER組件420可以將面部表情信息與用戶字段512進(jìn)行比 較以確定和/或驗(yàn)證用戶的身份。在其他實(shí)施例中，F(xiàn)ER組件420可以不比較面部表情信 息與用戶字段512來確定和/或驗(yàn)證用戶的身份。例如，在例如設(shè)備200只有一個用戶的 情況下，F(xiàn)ER組件420可以不基于面部表情信息確定和/或驗(yàn)證用戶的身份。另選的是，如 果設(shè)備200具有多于一個潛在用戶，則可以由設(shè)備200的另一個組件執(zhí)行之前的識別操作。 例如，在登錄階段中，在對設(shè)備200的訪問被授權(quán)之前，用戶可以提供認(rèn)證信息。在框716中，確定識別出的面部表情是否與預(yù)先定義的類別匹配。例如，F(xiàn)ER組件 420可以將識別出的用戶的面部表情與FER數(shù)據(jù)庫500的面部特征字段516進(jìn)行比較，以確 定是否存在匹配。在一個實(shí)施例中，如果識別出的面部表情與面部特征字段516中的一個 所包含的信息足夠類似(例如，滿足類似性閾值)，則FER組件420可以確定存在匹配。因 此，例如，可以不需要信息的精確匹配。在一個實(shí)施例中，例如在不存在匹配，而信息滿足類似性閾值的情況下，F(xiàn)ER組件420可以基于識別出的面部表情信息更新對應(yīng)于所匹配的類別的面部特征字段516。例如， 根據(jù)采用的面部表情識別技術(shù)，在一個實(shí)施例中，例如，可以更新與面部特征字段516的信 息關(guān)聯(lián)的平均值。如果存在匹配(框716 是)，那么可以識別當(dāng)前播放的音樂的音樂特征(框718)。 例如，如果FER組件420確定存在匹配，則在匹配的類別514和當(dāng)前播放的音樂之間可以形 成鏈接。此外，在一個實(shí)施例中，DAP 410可以識別與當(dāng)前播放的歌曲關(guān)聯(lián)的一個或更多個 音樂特征。例如，DAP 410可以識別當(dāng)前播放歌曲來自例如活躍播放列表618，并且基于例 如音樂庫字段614和/或活躍播放列表618中包含的信息識別歌曲的音樂特征。音樂特征 可能涉及例如當(dāng)前播放歌曲的標(biāo)題、藝術(shù)家、卩昌片、用戶評價、風(fēng)格、拍子等。如下所述，可以 將音樂特征與其他歌曲進(jìn)行比較以生成潛在播放列表。在某些情況下，匹配的類別514可以包括先前與該特定類別鏈接的一首或更多首 歌曲。在這點(diǎn)上，當(dāng)前播放歌曲可以鏈接到與匹配的類別514關(guān)聯(lián)的先前鏈接歌曲。在框720中，可以基于識別出的音樂特征生成潛在播放列表。例如，DAP 410可以 根據(jù)音樂庫字段614選擇可以類似于當(dāng)前播放歌曲的音樂特征的一首或更多首歌曲。更一 般地，DAP 410可以根據(jù)音樂庫字段614選擇可以類似于匹配類別514中的各鏈接歌曲的 各種音樂特征的一首或更多首歌曲。DAP 410可以基于被確定為類似(例如，在拍子、風(fēng)格 等方面類似)的所選歌曲創(chuàng)建播放列表，如潛在播放列表620。在框722中，可以播放潛在播放列表中的歌曲。例如，當(dāng)當(dāng)前歌曲結(jié)束時，DAP 410 可以從潛在播放列表620中選擇歌曲來播放。DAP 410可以以例如隨機(jī)方式和/或基于其 他參數(shù)(例如，用戶評價)從潛在播放列表620中選擇歌曲。在一個實(shí)施例中，潛在播放列 表620中的歌曲可以包括時間信息和/或在潛在播放列表620中保持僅僅一段時間。如果不存在匹配(框716:否)，那么可以創(chuàng)建新類別(框724)。例如，如果識別 出的面部表情不與特性字段516中所包含的任何信息匹配和/或不與特性字段516中所包 含的任何信息足夠類似，則FER組件420可以基于新的面部特征516在FER數(shù)據(jù)庫500中 創(chuàng)建新類別514。然后，DAP 310可以執(zhí)行與框726、框728和框730關(guān)聯(lián)的操作，這可以分別與之前 參照框718、框720和框722描述的操作相似。即，在框726中，可以識別當(dāng)前播放的音樂的 音樂特征。在框728中，基于識別出的音樂特征，可以生成潛在播放列表，而在框730中，可 以播放潛在播放列表中的歌曲。以這種方式，可以將新的/不同的面部表情與特定歌曲關(guān) 聯(lián)，并且可以基于該新的/不同的面部表情創(chuàng)建潛在播放列表。盡管圖7示出了示例性過程，但是在其他實(shí)施例中，可以執(zhí)行比圖7中所示的這些 更少的、附加的或不同的過程。例如，如果歌曲不與潛在播放列表620中所包含的歌曲的特 征匹配，則DAP 410可以從活躍播放列表618去除該歌曲。相反，例如，如果播放列表620 中包含的歌曲不與基于用戶的當(dāng)前表情最新確定的類別514的特征匹配，則可以從潛在播 放列表620去除該歌曲。附加地或另選地，DAP 410和/或FER組件420可以包括與上述過程700相關(guān)的訓(xùn) 練和/或?qū)W習(xí)機(jī)制。例如，在當(dāng)播放潛在播放列表620中的歌曲時，用戶選擇不同的歌曲來 播放的情況下，DAP 410和/或FER組件420可以將該用戶操作解釋為否認(rèn)。即，DAP 410 和/或FER組件420可以再解釋，例如，為潛在播放列表620選擇的一首或更多首歌曲，和/或識別出的與先前播放歌曲關(guān)聯(lián)的音樂特征(即，參照框718)。進(jìn)一步，DAP 410和/或 FER組件420可以基于用戶所選歌曲創(chuàng)建新的潛在播放列表620。附加地或另選地，在當(dāng)播放潛在播放列表620中的歌曲時，用戶未選擇不同歌曲 來播放的情況下，DAP 410和/或FER組件420可以將用戶的未操作解釋為對潛在播放列 表620中的所選歌曲和/或識別出的類別514的增強(qiáng)。DAP 410和/或FER組件420可以 將增強(qiáng)值與已經(jīng)播放和/或正在播放的潛在播放列表620中的各歌曲關(guān)聯(lián)。增強(qiáng)值可以用 作所選歌曲和類別(S卩，用戶的心情)之間的關(guān)聯(lián)。以這種方式，如果播放潛在播放列表620中的歌曲，則用戶的操作和非操作可以 充當(dāng)來自用戶的贊成或不贊成的表示，接著可以被DAP 410和/或FER組件420解釋為對 用戶心情的類別的否認(rèn)或增強(qiáng)，和/或?qū)ο鄬τ谛那樗x歌曲的類別的否認(rèn)或增強(qiáng)。示例圖8是示出本文所描述的原理的圖。如所示出的，大衛(wèi)正在包括DMP的移動電話 上聽布魯斯·斯普林斯汀的歌曲。大衛(wèi)的心情很好，因?yàn)樗罱l(fā)現(xiàn)自己中彩票了。隨著 大衛(wèi)調(diào)節(jié)DMP的音量，攝像機(jī)260可以捕獲大衛(wèi)面部的圖像?；谠摬东@的圖像，F(xiàn)ER組件 420可以確定大衛(wèi)的面部表情與FER數(shù)據(jù)庫500的類別字段514中所包含的一種類別匹配 (例如，高興心情類型)。類別字段514可以包括與高興心情類型關(guān)聯(lián)的先前鏈接歌曲(例 如，金屬樂隊(duì)的歌曲)。DMP可以添加高興類別和布魯斯 斯普林斯汀歌曲之間的鏈接。此外，DMP可以添 加布魯斯 斯普林斯汀歌曲和金屬樂隊(duì)歌曲之間的鏈接。進(jìn)一步，DMP可以基于布魯斯 斯 普林斯汀歌曲和/或金屬樂隊(duì)歌曲的音樂特征在音樂庫614中搜索歌曲。DMP可以在音樂 庫614中找到多于兩首的布魯斯·斯普林斯汀歌曲，并且可以創(chuàng)建潛在播放列表620。結(jié)論以上對實(shí)施例的描述提供了例示，但是并不是窮盡的或者將實(shí)施例限于公開的精 確形式。可以按照上述教導(dǎo)或者從對所述教導(dǎo)的實(shí)踐中提出修改例和變化例。例如，設(shè)備 200可以提供用戶基于面部表情識別符(例如，高興、悲傷等)分類歌曲的方式。這樣，F(xiàn)ER 420和/或DAP 310可以基于該信息創(chuàng)建播放列表。可理解的是，本文所描述的原理可以應(yīng) 用于例如用于播放音樂的任何設(shè)備。應(yīng)當(dāng)強(qiáng)調(diào)的是，在本說明書中使用的術(shù)語“包括”用于表明所述特征、要件、步驟或 組件的存在，但是并不排除一個或更多個其它特征、要件、步驟、組件或它們的組合的存在 或添力口。此外，雖然參照圖7中所示的過程描述了一系列框，但是在其他實(shí)施例中可以修 改框的順序。而且，非從屬框可以并行執(zhí)行。而且，可以省略一個或更多個框。應(yīng)當(dāng)清楚，本文中所描述的方面可以以附圖中所示的實(shí)施例中的軟件、固件和硬 件的許多不同形式實(shí)施。用于實(shí)施各方面的實(shí)際軟件代碼或?qū)Ｓ每刂朴布幌拗票景l(fā)明。 因此，未參照特定軟件代碼來描述各方面的操作和行為，但應(yīng)當(dāng)理解的是，基于本文中的描 述可以設(shè)計軟件和控制硬件以實(shí)施各個方面。盡管在權(quán)利要求書中描述和/或在說明書中公開了特征的特定組合，但是這些組 合并不旨在限制本發(fā)明。實(shí)際上，這些特征中的許多可以以未在權(quán)利要求書中具體描述的 和/或在說明書中公開的方式組合。
本申請中使用的要素、行為或指令都不應(yīng)被解釋為對于本文所描述的實(shí)施例是關(guān)鍵或基本的，除非這樣清楚地描述過。另外，在本文中所使用的詞“一”旨在包括一個或更 多個項(xiàng)。當(dāng)旨在表示僅一個項(xiàng)時，使用詞語“一個”或類似語言。進(jìn)一步，短語“基于”旨在 表示“至少部分地基于”，除非以其他方式清楚描述。本文中所使用的詞語“和/或”包括一 個或更多個關(guān)聯(lián)列表項(xiàng)的任何和所有組合。
權(quán)利要求
一種方法，該方法包括在設(shè)備上播放第一歌曲；捕獲所述設(shè)備的用戶的圖像；基于所述圖像執(zhí)行對所述用戶的面部表情識別；以及基于所述用戶的面部表情選擇第二歌曲。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述捕獲操作包括 基于所述播放第一歌曲的操作自動捕獲所述用戶的所述圖像。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述執(zhí)行操作包括 確定所述用戶的心情類型。
4.根據(jù)權(quán)利要求1所述的方法，該方法還包括 識別所述第一歌曲的一個或更多個音樂特征。
5.根據(jù)權(quán)利要求4所述的方法，該方法還包括確定所述第一歌曲的藝術(shù)家或所述第一歌曲的風(fēng)格中的至少一個。
6.根據(jù)權(quán)利要求4所述的方法，其中，所述選擇操作包括基于所述第一歌曲的所述一個或更多個音樂特征選擇所述第二歌曲。
7.根據(jù)權(quán)利要求1所述的方法，該方法還包括 在所述設(shè)備上播放所述第二歌曲。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述選擇操作包括 基于所述第一歌曲選擇所述第二歌曲。
9.一種設(shè)備，該設(shè)備包括 存儲指令的存儲器；和執(zhí)行所述指令以執(zhí)行以下操作的處理器 捕獲用戶的圖像，基于所述圖像執(zhí)行面部表情識別，以及基于所述用戶的心情選擇要在所述設(shè)備上播放的一首或更多首歌曲。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，基于所述用戶與所述設(shè)備的交互或周期定時機(jī) 制中的至少一種來捕獲所述用戶的所述圖像。
11.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述處理器還執(zhí)行基于所述圖像中包含的所述 用戶的面部表情的一個或更多個特征識別所述用戶的所述心情的指令。
12.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述處理器還執(zhí)行基于所述圖像識別所述用戶 的指令。
13.根據(jù)權(quán)利要求12所述的設(shè)備，其中，為了選擇所述一首或更多首歌曲，所述處理器 還執(zhí)行訪問與所識別出的用戶相關(guān)聯(lián)的音樂庫的指令。
14.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述處理器還執(zhí)行識別當(dāng)捕獲所述圖像時在所 述設(shè)備上播放的歌曲的音樂特征的指令。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中，基于所述歌曲的所述音樂特征來選擇所述一 首或更多首歌曲。
16.一種計算機(jī)可讀介質(zhì)，其包含能由至少一個處理器執(zhí)行的指令，所述計算機(jī)可讀介 質(zhì)包括用于捕獲用戶的圖像的一個或更多個指令； 用于基于所述圖像執(zhí)行面部表情識別的一個或更多個指令；以及 用于基于所述用戶的面部表情的類別選擇要播放的一首或更多首歌曲的一個或更多 個指令。
17.根據(jù)權(quán)利要求16所述的計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)還包括用于創(chuàng)建活躍 播放列表的一個或更多個指令，其中，所述活躍播放列表包括正在播放的第一歌曲。
18.根據(jù)權(quán)利要求16所述的計算機(jī)可讀介質(zhì)，其中，用于選擇操作的所述一個或更多 個指令包括用于基于所述一首或更多首歌曲創(chuàng)建第一播放列表的一個或更多個指令。
19.根據(jù)權(quán)利要求18所述的計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)還包括用于從所述第一播放列表中選擇一首或更多首歌曲的一個或更多個指令；以及 用于播放從所述第一播放列表中選擇的所述一首或更多首歌曲的一個或更多個指令。
20.根據(jù)權(quán)利要求19所述的計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)還包括用于確定所述用戶是否停止播放所選擇的所述一首或更多首歌曲而播放其它歌曲的 一個或更多個指令。
21.根據(jù)權(quán)利要求20所述的計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)還包括用于在所述用戶未停止播放所選擇的所述一首或更多首歌曲的情況下，對所選擇的所 述一首或更多首歌曲中的各首歌曲分配增強(qiáng)值的一個或更多個指令。
22.—種設(shè)備，該設(shè)備包括 用于播放歌曲的單元；用于捕獲用戶的圖像的單元；用于基于所述圖像確定所述用戶的心情的單元；以及用于基于所述心情選擇要播放的另一首歌曲的單元。
全文摘要
一種方法可以包括在設(shè)備上播放第一歌曲，捕獲用戶的圖像，基于所述圖像執(zhí)行對所述用戶的面部表情識別，以及基于所述用戶的面部表情選擇第二歌曲。
文檔編號G06K9/00GK101836219SQ200880113197
公開日2010年9月15日 申請日期2008年4月29日 優(yōu)先權(quán)日2007年11月1日
發(fā)明者馬庫斯·曼斯·福爾克·安德烈亞松 申請人:索尼愛立信移動通訊有限公司