移動(dòng)手持機(jī)設(shè)備及其方法
【專利摘要】一種移動(dòng)手持機(jī)設(shè)備收集關(guān)于手持機(jī)的用戶的生理狀態(tài)的傳感器數(shù)據(jù)。移動(dòng)手持機(jī)設(shè)備接收在移動(dòng)手持上消費(fèi)的多媒體內(nèi)容。在部署階段，傳感器數(shù)據(jù)用于分類用戶對(duì)在移動(dòng)設(shè)備上消費(fèi)的各個(gè)多媒體內(nèi)容的情緒反應(yīng)。在訓(xùn)練階段建立的分類模型可以用于將傳感器數(shù)據(jù)映射到指示用戶對(duì)多媒體的情緒反應(yīng)的分類標(biāo)簽。
【專利說明】移動(dòng)手持機(jī)設(shè)備及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及評(píng)估提供給移動(dòng)手持機(jī)設(shè)備的多媒體內(nèi)容(例如，在移動(dòng)手持機(jī)設(shè)備上接收和消費(fèi)的文獻(xiàn)、視頻、音樂以及應(yīng)用)的有效性。更具體地，本發(fā)明針對(duì)確定用戶響應(yīng)于在移動(dòng)手持機(jī)設(shè)備上消費(fèi)的多媒體內(nèi)容的可能情緒狀態(tài)。
【背景技術(shù)】
[0002]移動(dòng)手持機(jī)設(shè)備(或“智能電話”)的用戶有機(jī)會(huì)在他們的智能電話上瀏覽多個(gè)不同文獻(xiàn)、照片、視頻、音樂、應(yīng)用以及其它類型多媒體。對(duì)多媒體內(nèi)容的創(chuàng)作者和發(fā)布者(例如，設(shè)計(jì)者、作者、藝術(shù)家以及編程者)而言，得到來自用戶關(guān)于內(nèi)容的反饋是非常重要的，這是因?yàn)榭梢粤顑?nèi)容創(chuàng)作者和發(fā)布者改善他們的產(chǎn)品，并引導(dǎo)他們向新的機(jī)會(huì)做出努力。
[0003]然而，從用戶得到關(guān)于在移動(dòng)手持機(jī)上使用的多媒體內(nèi)容的品質(zhì)的反饋是困難的。當(dāng)前【技術(shù)領(lǐng)域】方法包括但不限于:讓用戶通過定量度量系統(tǒng)瀏覽內(nèi)容，例如，通過一到五星的分級(jí)標(biāo)尺或者通過書寫文本，可以在線或在實(shí)體商店中提供這兩種方法中任意一個(gè)；通過測(cè)量相關(guān)產(chǎn)品的銷售，或者測(cè)量對(duì)創(chuàng)作者或發(fā)布者的商店或網(wǎng)頁的訪問量，來測(cè)量所述媒體的間接提升。由于用戶必須主動(dòng)提供多媒體的評(píng)價(jià)，而這樣的評(píng)價(jià)容易受到偏見或記憶的影響，所以所有這些傳統(tǒng)方法均存在問題。
[0004]另一種方法是對(duì)用戶使用多媒體(通過閱讀、觀看或聽)的次數(shù)進(jìn)行計(jì)數(shù)。然而，這種計(jì)數(shù)不準(zhǔn)確并且太粗糙。例如，由于多個(gè)多媒體文件僅消費(fèi)一次(例如，通過電子郵件接收的多媒體)，所以根據(jù)訪問計(jì)數(shù)的結(jié)論是不全面的。

【發(fā)明內(nèi)容】

[0005]描述了一種裝置、系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品，提供關(guān)于用戶對(duì)在移動(dòng)手持機(jī)設(shè)備上消費(fèi)的多媒體的情緒反應(yīng)的反饋。該反饋基于當(dāng)用戶瀏覽多媒體時(shí)由移動(dòng)設(shè)備(例如，智能電話)所收集的用戶的生理狀態(tài)的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以基于在移動(dòng)手持機(jī)內(nèi)的傳感器，以及靠近手持機(jī)的傳感器。傳感器數(shù)據(jù)指示了用戶對(duì)于多媒體的生理反應(yīng)，因此傳感器數(shù)據(jù)也與用戶對(duì)于多媒體的情緒反應(yīng)相關(guān)聯(lián)。在示例性實(shí)施例中，系統(tǒng)分成訓(xùn)練階段和部署(deployment)階段。在訓(xùn)練階段，對(duì)象提供他們對(duì)于測(cè)試多媒體的情緒反應(yīng)的自我評(píng)估，該信息與傳感器數(shù)據(jù)相結(jié)合來創(chuàng)建具有預(yù)選分類標(biāo)簽的分類模型。在部署階段，移動(dòng)設(shè)備可以使用分類模型來產(chǎn)生與移動(dòng)設(shè)備的用戶的情緒反應(yīng)相對(duì)應(yīng)的分類標(biāo)簽。之后將分類標(biāo)簽作為反饋發(fā)送給另一實(shí)體，例如中間件廠商。可以累積(aggregate)來自多個(gè)移動(dòng)手持機(jī)設(shè)備用戶的信息以便為多媒體內(nèi)容的創(chuàng)作者和發(fā)布者產(chǎn)生信息。
【專利附圖】

【附圖說明】
[0006]圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例通過移動(dòng)手持感官輸入來收集多媒體反饋的示例性系統(tǒng)。
[0007]圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例形成分類標(biāo)簽和感官數(shù)據(jù)之間的關(guān)聯(lián)的訓(xùn)練階段。
[0008]圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例將感官數(shù)據(jù)的范圍映射到兩個(gè)示例性分類標(biāo)簽的示例性判決樹。
[0009]圖4示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例產(chǎn)生多媒體內(nèi)容的實(shí)時(shí)反饋的部署階段?！揪唧w實(shí)施方式】
[0010]圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)的高級(jí)框圖，用于記錄、解釋及收集用戶對(duì)于再現(xiàn)在移動(dòng)通信設(shè)備(例如，智能電話)上的多媒體內(nèi)容的反應(yīng)。移動(dòng)手持機(jī)設(shè)備100包括無線收發(fā)器115以及處理器和存儲(chǔ)器130。移動(dòng)手持機(jī)設(shè)備100能夠無線接入因特網(wǎng)，其中這樣的手持機(jī)也通常被稱為智能電話。移動(dòng)手持機(jī)設(shè)備100從多媒體創(chuàng)作者或發(fā)布者180 (例如，Google?)接收內(nèi)容。例如，發(fā)布者180可以利用具有一個(gè)或多個(gè)處理器和存儲(chǔ)器的服務(wù)器系統(tǒng)182服務(wù)于消費(fèi)者下載到他們的移動(dòng)手持機(jī)的內(nèi)容。中間件廠商190還可以使用具有一個(gè)或多個(gè)處理器和存儲(chǔ)器的服務(wù)器系統(tǒng)192。中間件廠商190可以是提供軟件的任意組織，向移動(dòng)手持機(jī)設(shè)備100提供多媒體內(nèi)容，所述軟件作為多媒體創(chuàng)作者或發(fā)布者180之間的媒介。例如，提供移動(dòng)手持機(jī)設(shè)備100的軟件操作系統(tǒng)(OS)的公司同樣可以用作中間件廠商190。本領(lǐng)域技術(shù)人員應(yīng)理解,利用無線運(yùn)營商170的基礎(chǔ)設(shè)施，內(nèi)容可以用于移動(dòng)手持機(jī)設(shè)備100。
[0011]移動(dòng)手持機(jī)設(shè)備100包括具有能夠顯示多媒體和音頻輸出的顯示器的用戶界面110。多媒體情緒響應(yīng)模塊105通過本地有線連接接口 ISO或無線連接接口 140，從靠近移動(dòng)手持機(jī)設(shè)備100的傳感器收集本地可用傳感器數(shù)據(jù)，所述傳感器包括在移動(dòng)手持機(jī)設(shè)備100內(nèi)的傳感器120以及耦合到移動(dòng)手持機(jī)設(shè)備100上的任何傳感器122。
[0012]傳感器數(shù)據(jù)與用戶對(duì)于在移動(dòng)手持機(jī)設(shè)備100上接收并消費(fèi)的多媒體160的生理反應(yīng)102相對(duì)應(yīng)。移動(dòng)手持機(jī)設(shè)備100基于傳感器數(shù)據(jù)產(chǎn)生對(duì)所使用的多媒體的情緒反應(yīng)的指示符165。例如，如果用戶通過在移動(dòng)手持機(jī)設(shè)備100的用戶界面110上瀏覽視頻剪輯來消費(fèi)該視頻剪輯，則傳感器120和122可以捕獲生理改變，例如心率的改變，從中可推斷出用戶對(duì)該多媒體的情緒反應(yīng)的指示。
[0013]多媒體情緒響應(yīng)模塊105可以以軟件或固件實(shí)現(xiàn)，并且包括駐留在存儲(chǔ)器中的計(jì)算機(jī)代碼。多媒體情緒響應(yīng)模塊105產(chǎn)生指示了對(duì)多媒體的情緒反應(yīng)的反饋165。作為示例，反饋165可以包括相關(guān)傳感器數(shù)據(jù)的概要，或者基于模型的傳感器數(shù)據(jù)的解釋。應(yīng)理解，反饋165可以包括標(biāo)記、時(shí)間戳、或者將反饋與特定多媒體內(nèi)容相關(guān)聯(lián)的其他方式。
[0014]多媒體包括例如文件、圖片、視頻、音樂和例如音頻旁白的非音樂音頻(例如音頻書)的媒體。此外，多媒體可以包括在移動(dòng)手持機(jī)設(shè)備100上接收和消費(fèi)的多媒體應(yīng)用。在本應(yīng)用中使用的多媒體可以不包括廣告。
[0015]在實(shí)施例中，多媒體情緒響應(yīng)模塊105基于用戶的情緒狀態(tài)的模型，相對(duì)于與來自傳感器120和122的可用數(shù)據(jù)不同的觸覺和生物統(tǒng)計(jì)學(xué)傳感器測(cè)量，確定用戶的情緒反應(yīng)的類別。傳感器數(shù)據(jù)的示例包括用戶的心率、呼吸、搖晃、皮膚電反應(yīng)、面部潮紅反應(yīng)、眨眼反應(yīng)以及發(fā)音。情緒反應(yīng)的類別基于分類模型可以根據(jù)廣告商進(jìn)行分類，例如用戶的情緒狀態(tài)是否指示了對(duì)一個(gè)多媒體喜歡或不喜歡的情緒反應(yīng)。識(shí)別并收集用戶對(duì)于多媒體的情緒反應(yīng)，為發(fā)布者180提供信息的來源，以便評(píng)估多媒體160的有效性。此外，如果多媒體足夠長，可以得到關(guān)于用戶對(duì)多媒體的不同片段的反應(yīng)的反饋。
[0016]在移動(dòng)手持機(jī)中能夠用作移動(dòng)手持機(jī)設(shè)備100的用戶102的生理傳感器的傳感器120的示例包括高分辨率前置彩色視頻攝像機(jī)、麥克風(fēng)、全球定位系統(tǒng)(GPS)或者其它位置傳感器、以及用于感測(cè)運(yùn)動(dòng)的加速計(jì)(加速度、搖晃和移動(dòng))。分析前置攝像數(shù)據(jù)，以便確定臉紅反應(yīng)、視線軌跡(注視位置及時(shí)間和眨眼行為)、面部表達(dá)、或者其它用戶的情緒狀態(tài)的視覺指示符。在用戶環(huán)境與噪聲條件的大范圍內(nèi)，存在傳感器品質(zhì)和檢測(cè)有意義生理反應(yīng)的能力之間的折中。對(duì)于注視檢測(cè)，示例性最小攝像機(jī)要求400百萬像素和每秒20幀。示例性加速計(jì)實(shí)現(xiàn)方式具有對(duì)以米/秒2為單位的真實(shí)加速度至少95%的準(zhǔn)確性。運(yùn)動(dòng)傳感器數(shù)據(jù)的分析可以提供關(guān)于用戶是否搖晃和/或做出表示強(qiáng)烈情緒反應(yīng)的突然移動(dòng)。分析音頻數(shù)據(jù)以便提供情緒反應(yīng)的表示，例如可聽的喘息。
[0017]傳感器120的其它示例可以包括其它類型的能夠集成在移動(dòng)手持機(jī)設(shè)備100內(nèi)的緊湊型傳感器，以便改善安全性并支持健康和舒適應(yīng)用，例如心率監(jiān)控器、溫度傳感器、壓力傳感器和濕度(皮膚濕度)傳感器。
[0018]此外，本地傳感器122可以通過有線連接器150與移動(dòng)手持機(jī)設(shè)備100通信。然而，更為通用地，本地傳感器122可以與移動(dòng)手持機(jī)設(shè)備100進(jìn)行本地?zé)o線連接。例如，用戶可以具有通過無線連接(例如，藍(lán)牙⑧)與移動(dòng)手持機(jī)設(shè)備100連接的便攜式和/或佩帶式的身體傳感器。本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，其他無線通信標(biāo)準(zhǔn)可以代替藍(lán)牙?，例如Zigbee ?和Ant-"無線標(biāo)準(zhǔn)。在優(yōu)選的實(shí)現(xiàn)方案中，使用藍(lán)牙?蓋牙? 4.0標(biāo)準(zhǔn)支持佩帶式健康傳感器，例如心率簡(jiǎn)檔和溫度簡(jiǎn)檔。使用藍(lán)牙?通信的無線傳感器的其他示例包括藍(lán)牙?啟用傳感器，以便測(cè)量心率、溫度和皮膚電反應(yīng)。
[0019]多媒體情緒響應(yīng)模塊105在移動(dòng)手持機(jī)設(shè)備100上直接捕獲傳感器數(shù)據(jù)。然而，可以在移動(dòng)手持機(jī)設(shè)備100上執(zhí)行觸覺和生物統(tǒng)計(jì)學(xué)感官輸入的分析，或?qū)?shù)據(jù)的概要發(fā)送回發(fā)布者或廣告商以便分析。
[0020]多個(gè)方式可以保護(hù)用戶私密性。例如，可以對(duì)發(fā)布者或廣告商部分地或者完全地掩蓋用戶的身份方面，以便利用私密性保護(hù)協(xié)議保護(hù)私密性。甚至，信息累積技術(shù)可以用來累積來自多個(gè)用戶的反應(yīng)以便產(chǎn)生累積的數(shù)據(jù)，來保護(hù)各個(gè)用戶身份信息的私密性。此外，在優(yōu)選的實(shí)現(xiàn)方案中，賦予用戶參加或不參加所述系統(tǒng)的使用的權(quán)利。
[0021]因此，本發(fā)明的系統(tǒng)支持用于記錄、解釋、和收集用戶對(duì)傳送的媒體的反應(yīng)的方法。通過移動(dòng)手持機(jī)設(shè)備100的觸覺和生物統(tǒng)計(jì)學(xué)感官輸入捕獲特定用戶的反應(yīng)，例如通過加速計(jì)的讀數(shù)捕獲的手持機(jī)的搖晃，或者通過藍(lán)牙?連接的心率監(jiān)控器捕獲的用戶心率的改變。一旦收集到數(shù)據(jù)，通過首先從讀數(shù)中濾除噪聲、之后導(dǎo)出關(guān)于用戶如何響應(yīng)多媒體的結(jié)論，來分析數(shù)據(jù)。之后可以利用發(fā)布者所使用的結(jié)果來針對(duì)所有用戶累積結(jié)論。
[0022]在本發(fā)明的一個(gè)實(shí)施例中，在移動(dòng)手持機(jī)設(shè)備100處分析感官輸入信息，以便返回用戶的反應(yīng)的抽象表示，例如高興、厭煩或冷漠的表示。通過多個(gè)方法執(zhí)行該分析，包括但不局限于:通過利用感官輸入的閾值電平導(dǎo)出抽象反應(yīng)的基于規(guī)則的分析；或者通過監(jiān)督機(jī)器學(xué)習(xí)方法(例如，決策樹、隱馬爾科夫模型、或支持向量機(jī))的分類。
[0023]通過移動(dòng)手持機(jī)設(shè)備100的觸覺和生物學(xué)統(tǒng)計(jì)學(xué)感官輸入來捕獲特定用戶的反應(yīng)，例如通過加速計(jì)的讀數(shù)捕獲手持機(jī)的搖晃，通過藍(lán)牙⑧連接的心率監(jiān)控器捕獲用戶心率的改變，通過前向攝像機(jī)測(cè)量用戶面部特征的改變，或者通過皮膚電反應(yīng)傳感器測(cè)量用戶皮膚電傳導(dǎo)的改變。一旦收集到數(shù)據(jù)，通過首先從讀數(shù)中濾除噪聲、之后導(dǎo)出關(guān)于用戶如何反應(yīng)多媒體的結(jié)論，來分析數(shù)據(jù)。該分析可以在所述設(shè)備處或者中間件廠商190的服務(wù)器處執(zhí)行。然后，可以利用多媒體的發(fā)布者或創(chuàng)作者所使用的結(jié)果，針對(duì)所有用戶累積結(jié)論。
[0024]這個(gè)方法的優(yōu)點(diǎn)是可以在不需要用戶向發(fā)布者或創(chuàng)作者明確地提供建議反饋的情況下自動(dòng)地測(cè)量用戶的反應(yīng)。此外，由于人們很難有意識(shí)的控制他們的生理表現(xiàn)，由本發(fā)明捕獲的信息可能比用戶反應(yīng)更準(zhǔn)確。此外，由于本發(fā)明的自動(dòng)方法直接測(cè)量這些生理反應(yīng)，能夠最小化來自用戶的偏見或記憶消退的影響。
[0025]圖2示出了在訓(xùn)練階段由一個(gè)實(shí)體執(zhí)行的初始步驟，以便收集來自測(cè)試參與者的訓(xùn)練數(shù)據(jù)并創(chuàng)建統(tǒng)計(jì)模型來將感官輸入數(shù)據(jù)映射到標(biāo)記反應(yīng)。關(guān)聯(lián)模型可以用于將感官數(shù)據(jù)映射到情緒反應(yīng)的高級(jí)解釋，包括分類標(biāo)簽的集合，例如，非常喜歡、喜歡、一般(冷漠)、不喜歡、以及非常不喜歡。應(yīng)理解，可以改變分類標(biāo)簽的確切數(shù)目和類型。
[0026]在訓(xùn)練之如，在步驟201中，中間件廠商190在移動(dòng)手持機(jī)設(shè)備100上創(chuàng)建傳感器記錄軟件以便記錄傳感器輸入并允許訓(xùn)練參與者瀏覽多媒體。所記錄的傳感器輸入可以包括但不局限于:加速計(jì)、皮膚電反應(yīng)傳感器、麥克風(fēng)和心率監(jiān)控器。
[0027]當(dāng)訓(xùn)練參與者激活智能電話的軟件以便瀏覽顯示給他們的測(cè)試多媒體210時(shí)，訓(xùn)練開始。此外，訓(xùn)練參與者記錄他們對(duì)于內(nèi)容的標(biāo)記反應(yīng)。同時(shí)，傳感器記錄它們物理反應(yīng)。向中間件廠商190提供這種反饋210。也就是說，每個(gè)測(cè)試參與者瀏覽媒體，通過傳感器記錄他們的生理反應(yīng)，且每個(gè)測(cè)試參與者同樣注意到他們的情緒反應(yīng)(即，對(duì)參與者關(guān)于如何感知對(duì)于所測(cè)多媒體的情緒反應(yīng)進(jìn)行調(diào)查)。持續(xù)時(shí)間長的多媒體可以針對(duì)整個(gè)多媒體(或者其片斷，例如電影中的場(chǎng)景)使用累積統(tǒng)計(jì)數(shù)據(jù)(例如，均值、中值、或標(biāo)準(zhǔn)差)。此夕卜，可以收集在特定時(shí)間點(diǎn)的瞬時(shí)測(cè)量。
[0028]中間件廠商190檢索來自所有訓(xùn)練參與者的標(biāo)記訓(xùn)練數(shù)據(jù)，并提取特征來建立學(xué)習(xí)模型215。所提取的特征可以包括但并不局限于:皮膚電傳導(dǎo)(通過皮膚電反應(yīng)傳感器測(cè)得的，以歐姆為單位)、心率(通過心率監(jiān)控器測(cè)得的，以每分鐘心跳次數(shù)為單位)、面部反應(yīng)(通過電話上的前向視頻攝像機(jī)測(cè)得的，以面頰顏色或每秒鐘眨眼次數(shù)為單位)、以及手持機(jī)的搖晃(通過加速計(jì)測(cè)得的，以重力加速度為單位)。其它特征可以包括但不局限于:測(cè)量呼吸的胸腔膨脹，以及眼部跟蹤。此外，應(yīng)理解，除了平均信息，還可以分析反應(yīng)的時(shí)間率(time-rate)特性。這些特點(diǎn)和標(biāo)記活動(dòng)之后作為輸入給予機(jī)器學(xué)習(xí)算法，例如，決策樹、支持向量機(jī)、最大熵、或k近鄰。
[0029]然后建立統(tǒng)計(jì)學(xué)模型215，將傳感器數(shù)據(jù)映射到測(cè)試參與者的反應(yīng)。在優(yōu)選實(shí)施例中，公知的ID3算法用于創(chuàng)建執(zhí)行所述映射的決策樹。決策樹采用二進(jìn)制樹的形式，具有通過邊緣連接到內(nèi)部頂點(diǎn)的一個(gè)根，繼而內(nèi)部頂點(diǎn)通過邊緣連接到其它頂點(diǎn)。在該樹中的葉頂點(diǎn)是分類標(biāo)簽。根和內(nèi)部頂點(diǎn)包括必須要評(píng)估的決策聲明，根據(jù)在該頂點(diǎn)處決策的結(jié)果確定選擇哪個(gè)輸出邊緣。ID3算法的作用是創(chuàng)建大小合理且提供從特征到分類標(biāo)簽的準(zhǔn)確映射的樹。應(yīng)注意，ID3算法基于不同數(shù)據(jù)會(huì)產(chǎn)生不同的決策樹。圖3演示了基于一些輸入數(shù)據(jù)產(chǎn)生的決策樹的示例性部分。
[0030]在部署階段中，向各個(gè)智能電話部署決策樹(或其它學(xué)習(xí)模型)。中間件廠商190編寫并部署接收統(tǒng)計(jì)學(xué)模型(在訓(xùn)練階段部署的)的分類軟件，以及用戶的當(dāng)前傳感器數(shù)據(jù)。激活軟件并在智能電話的后臺(tái)運(yùn)行。軟件利用模型來分類用戶的傳感器數(shù)據(jù)并產(chǎn)生認(rèn)知反應(yīng)。
[0031]圖4示出了在部署階段如何使用決策樹來執(zhí)行用戶對(duì)于在移動(dòng)手持機(jī)設(shè)備100上消費(fèi)的多媒體的情緒反應(yīng)的分類。
[0032]在步驟402中，將多媒體媒體通過用戶的智能電話分布到各個(gè)用戶。當(dāng)暴露于多媒體時(shí)，用戶可以對(duì)多媒體進(jìn)行反應(yīng)。通過觸覺或生物統(tǒng)計(jì)學(xué)感官輸入來捕獲用戶的反應(yīng)，并提取特征。例如，用戶可以通過搖晃智能電話(通過加速計(jì)可以測(cè)得)或通過提高他的或她的心率(通過藍(lán)牙?連接心率監(jiān)控器可以測(cè)得)做出反應(yīng)。在本發(fā)明的實(shí)施例中，在智能電話處分析所述感官輸入信息以便返回用戶反應(yīng)的抽象表示，例如對(duì)于高興、厭惡或冷漠的表示。
[0033]在步驟404中，將用戶的反應(yīng)發(fā)送回到中間件廠商190。此外，將其他用戶的反應(yīng)也發(fā)送回中間件廠商190。例如，如果將數(shù)千份音樂文件的拷貝發(fā)送到數(shù)千個(gè)不同的智能電話，那么每個(gè)用戶的反應(yīng)可以通過他們各自的智能電話確定，并發(fā)送回中間件廠商190。
[0034]在步驟406中，中間件廠商190收集并累積來自不同智能電話的用戶對(duì)于多媒體的反應(yīng)。累積信息可以包括平均用戶反應(yīng)、喜歡多媒體的用戶的百分比、以及厭惡多媒體的用戶的百分比。
[0035]在步驟408中，中間件廠商190將所累積的信息發(fā)送回多媒體創(chuàng)作者或發(fā)布者180。
[0036]還可以設(shè)想修改和備選方案。在一個(gè)實(shí)施例中，在每個(gè)智能電話處收集感官輸入，但并不分析。相反，可以測(cè)量統(tǒng)計(jì)數(shù)據(jù)概要，例如，平均加速計(jì)讀數(shù)或平均心率。將這些統(tǒng)計(jì)數(shù)據(jù)概要發(fā)送回到中間件廠商190。然后，中間件廠商190收集并累積用戶對(duì)于多媒體的反應(yīng)，執(zhí)行并分析每個(gè)用戶的情緒反應(yīng)。
[0037]盡管已經(jīng)結(jié)合特定實(shí)施例描述了本發(fā)明，應(yīng)理解，并不是旨在將本發(fā)明限制在所述實(shí)施例中。相反，如所附權(quán)利要求所限定的，旨在涵蓋本發(fā)明的精神和范圍內(nèi)的備選方案、修改和等同物?？梢栽跊]有這些特定細(xì)節(jié)中的一些或全部的前提下執(zhí)行本發(fā)明。此外，并未詳細(xì)描述公知特征以避免不必要地混淆本發(fā)明。
[0038]根據(jù)本發(fā)明，可以利用多個(gè)類型的操作系統(tǒng)、編程語言、計(jì)算平臺(tái)、計(jì)算機(jī)程序和/或通用目的機(jī)器來實(shí)現(xiàn)組件、過程步驟、和/或數(shù)據(jù)結(jié)構(gòu)。此外，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，在不脫離本文公開的本發(fā)明概念的范圍和精神下，同樣可以使用較低通用性的設(shè)備，例如，硬連線設(shè)備、現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)或類似物。本發(fā)明可以同樣有形地體現(xiàn)為存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)(例如，存儲(chǔ)器設(shè)備)上的計(jì)算機(jī)指令集。
【權(quán)利要求】
1.一種移動(dòng)手持機(jī)設(shè)備，包括: 至少一個(gè)處理器和存儲(chǔ)器； 具有顯示器的用戶接口；以及 在移動(dòng)手持機(jī)設(shè)備中的多媒體響應(yīng)模塊，配置為收集來自傳感器集合的傳感器數(shù)據(jù)，所述傳感器數(shù)據(jù)對(duì)移動(dòng)手持機(jī)設(shè)備的用戶的生理反應(yīng)加以指示； 其中多媒體響應(yīng)模塊監(jiān)控與用戶對(duì)于在移動(dòng)手持機(jī)設(shè)備上消費(fèi)的多媒體的生理反應(yīng)有關(guān)的傳感器數(shù)據(jù)，并產(chǎn)生指示了用戶對(duì)所述媒體的情緒反應(yīng)的輸出。
2.根據(jù)權(quán)利要求1所述的移動(dòng)手持機(jī)設(shè)備，其中多媒體響應(yīng)模塊配置為通過將感官輸入與分類模型相關(guān)聯(lián)來確定用戶情緒狀態(tài)的分類標(biāo)簽，并報(bào)告分類確定。
3.根據(jù)權(quán)利要求2所述的移動(dòng)手持機(jī)設(shè)備，其中所述報(bào)告用于產(chǎn)生針對(duì)媒體創(chuàng)作者或發(fā)布者的累積數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的移動(dòng)手持機(jī)設(shè)備，其中多媒體響應(yīng)模塊包括訓(xùn)練階段，用于確定感官數(shù)據(jù)和用戶的情緒狀態(tài)之間的關(guān)聯(lián)。
5.根據(jù)權(quán)利要求4所述的移動(dòng)手持機(jī)設(shè)備，其中在所述訓(xùn)練階段中，調(diào)查用戶對(duì)于測(cè)試多媒體的情緒反應(yīng)，以提供用戶調(diào)查數(shù)據(jù)，并確定傳感器輸入和情緒反應(yīng)的分類標(biāo)簽之間的關(guān)聯(lián)。
6.根據(jù)權(quán)利要求1所述的移動(dòng)手持機(jī)設(shè)備，其中傳感器輸入包括直接或間接地表示心率、呼吸速率、皮膚電反應(yīng)、溫度、壓力、加速度、運(yùn)動(dòng)反應(yīng)、皮膚潮紅反應(yīng)、眨眼反應(yīng)和聲音反應(yīng)中的至少一個(gè)的傳感器輸入。
7.一種分析在移動(dòng)手持機(jī)設(shè)備上顯示的多媒體內(nèi)容的有效性的方法，所述方法包括: 向多個(gè)移動(dòng)手持機(jī)設(shè)備提供多媒體，其中每一個(gè)移動(dòng)手持機(jī)設(shè)備配置為記錄對(duì)移動(dòng)手持機(jī)設(shè)備的用戶的生理反應(yīng)加以指示的傳感器數(shù)據(jù)； 從多個(gè)移動(dòng)手持機(jī)設(shè)備中的每一個(gè)接收指示符數(shù)據(jù)，所述指示符數(shù)據(jù)表示對(duì)通過相應(yīng)移動(dòng)手持機(jī)設(shè)備播放的特定媒體的情緒反應(yīng)；以及 確定針對(duì)至少一個(gè)媒體的累積情緒反應(yīng)分類標(biāo)簽。
8.根據(jù)權(quán)利要求7所述方法，其中指示符數(shù)據(jù)包括基于傳感器數(shù)據(jù)的匯總的分類模型中的情緒分類標(biāo)簽。
9.根據(jù)權(quán)利要求7所述方法，還包括:在訓(xùn)練階段中，請(qǐng)求測(cè)試對(duì)象響應(yīng)于測(cè)試媒體提供情緒狀態(tài)的自我評(píng)估。
10.根據(jù)權(quán)利要求7·所述方法，還包括:產(chǎn)生分類模型，所述分類模型將分類標(biāo)簽集映射到傳感器輸入數(shù)據(jù)。
11.根據(jù)權(quán)利要求7所述方法，還包括:向所述至少一個(gè)媒體的每個(gè)提供者提供累積情緒反應(yīng)信息。
12.—種分析媒體內(nèi)容的有效性的方法，所述方法包括: 接收來自多個(gè)移動(dòng)手持機(jī)設(shè)備的指示符數(shù)據(jù)，所述指示符數(shù)據(jù)指示了對(duì)各個(gè)移動(dòng)手持機(jī)設(shè)備的用戶消費(fèi)的多媒體的情緒反應(yīng)；以及 累積指示符數(shù)據(jù)，并在分類模型中針對(duì)至少一個(gè)媒體內(nèi)容確定平均情緒反應(yīng)。
13.根據(jù)權(quán)利要求12所述的方法，其中指示符數(shù)據(jù)包括由各個(gè)移動(dòng)手持機(jī)設(shè)備提供的傳感器數(shù)據(jù)的匯總。
14.根據(jù)權(quán)利要求13所述的方法，其中指示符數(shù)據(jù)包括由各個(gè)移動(dòng)手持機(jī)設(shè)備根據(jù)分類模型產(chǎn)生的分類標(biāo)簽。
15.根據(jù)權(quán)利要求12所述的方法，還包括提供分類模型，所述分類模型將一組情緒反應(yīng)分類標(biāo)簽映射到針對(duì)所述移動(dòng)手持機(jī)設(shè)備的用戶的生理傳感器數(shù)據(jù)范圍樹。
【文檔編號(hào)】H04M1/725GK103595858SQ201310336681
【公開日】2014年2月19日 申請(qǐng)日期:2013年8月5日 優(yōu)先權(quán)日:2012年8月16日
【發(fā)明者】托馬斯·潘, 全元鐘 申請(qǐng)人:三星電子株式會(huì)社