移動(dòng)設(shè)備中的用戶存在檢測的制作方法
【專利說明】移動(dòng)設(shè)備中的用戶存在檢測
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于2012年10月22日提交的美國臨時(shí)專利申請61/717, 055以及于 2012年10月31日提交的美國臨時(shí)專利申請61/720, 717的權(quán)益，其全部內(nèi)容結(jié)合于此作為 參考。
【背景技術(shù)】
[0003] 移動(dòng)設(shè)備（例如平板電腦、智能電話、便攜式計(jì)算機(jī)等）可具有多個(gè)傳感器。由于 移動(dòng)設(shè)備很容易轉(zhuǎn)移位置，移動(dòng)設(shè)備中的用戶檢測和用戶面部的距離估計(jì)成為了極富挑戰(zhàn) 性的工作。由嵌入式傳感器（例如攝像頭）提供的數(shù)據(jù)可能并不精確。多數(shù)實(shí)際情況中， 現(xiàn)有的檢測算法（例如Viola-Jones(維奧拉-瓊斯）面部檢測器）在檢測用戶時(shí)可能會(huì) 造成誤檢或失敗。

【發(fā)明內(nèi)容】

[0004] 提供了用于在移動(dòng)設(shè)備中確定用戶存在（例如使用一個(gè)或多個(gè)傳感器）的系統(tǒng)、 方法和手段。移動(dòng)設(shè)備可對面部進(jìn)行檢測。移動(dòng)設(shè)備可確定與檢測到的面部關(guān)聯(lián)的面部距 離。所述面部距離可基于檢測到的面部的瞳孔間距、相機(jī)視角、兩眼間的角度、以及捕捉頭 寬角度中的一者或多者來計(jì)算。
[0005] 所述移動(dòng)設(shè)備可確定動(dòng)作狀態(tài)（例如當(dāng)所述移動(dòng)設(shè)備在動(dòng)作中或處于靜止時(shí)）。 可使用所述移動(dòng)設(shè)備中的一個(gè)或多個(gè)傳感器來確定所述動(dòng)作狀態(tài)。
[0006] 所述移動(dòng)設(shè)備可基于所述面部距離和所述動(dòng)作狀態(tài)來確認(rèn)用戶存在。舉例來說， 為了確認(rèn)用戶存在，所述移動(dòng)設(shè)備可確定距離閾值并將該距離閾值與所述面部距離進(jìn)行比 較。所述距離閾值可基于所述動(dòng)作狀態(tài)來確定。
【附圖說明】
[0007] 圖1是示出了校準(zhǔn)常數(shù)C的示例建模的圖表。
[0008] 圖2是示出了可用于計(jì)算環(huán)境光照度的邏輯示例的示意圖。
[0009] 圖3是示出了用戶活動(dòng)檢測（UAD)API和框架架構(gòu)示例的示意圖。
[0010] 圖4A是示出了使用瞳孔間距（IDP)對用戶距屏幕的距離進(jìn)行示例計(jì)算的示意圖。
[0011] 圖4B是示出了使用頭比/寬（headscale/breadth)(例如可由面部檢測器報(bào)告） 對用戶距屏幕的距離進(jìn)行示例計(jì)算的示意圖。
[0012] 圖5是示出了傳感器信號處理的數(shù)據(jù)結(jié)構(gòu)示例的示意圖。
[0013] 圖6是示出了用于提高面部檢測和面部近距離確定的準(zhǔn)確度的合成邏輯（fusion logic)示例的流程圖。
[0014] 圖7A是示出了可實(shí)施一個(gè)或多個(gè)所公開的實(shí)施方式的示例通信系統(tǒng)的系統(tǒng)圖。
[0015] 圖7B是示出了可在圖7A所示的通信系統(tǒng)中使用的示例無線發(fā)射/接收單元 (WTRU)的系統(tǒng)圖。
[0016] 圖7C是示出了可在圖7A所示的通信系統(tǒng)中使用的示例無線電接入網(wǎng)絡(luò)和示例核 心網(wǎng)的系統(tǒng)圖。
[0017] 圖7D是示出了可在圖7A所示的通信系統(tǒng)中使用的另一示例無線電接入網(wǎng)絡(luò)和另 一不例核心網(wǎng)的系統(tǒng)圖。
[0018] 圖7E是示出了可在圖7A所示的通信系統(tǒng)中使用的另一示例無線電接入網(wǎng)絡(luò)和另 一不例核心網(wǎng)的系統(tǒng)圖。
【具體實(shí)施方式】
[0019] 參照各個(gè)附圖對說明性實(shí)施方式進(jìn)行詳細(xì)描述。雖然該描述提供了可能實(shí)施的具 體示例，應(yīng)當(dāng)注意的是，所述細(xì)節(jié)是示例性的且不對本申請的范圍進(jìn)行限制。
[0020] 提供了使用設(shè)備（例如移動(dòng)設(shè)備）中的攝像頭（例如前置攝像頭或后置攝像頭） 來測量環(huán)境光以獲得提升的用戶體驗(yàn)（例如改進(jìn)的渲染和流視頻）的系統(tǒng)、方法和手段。攝 像頭（例如獨(dú)立攝像頭、智能電話、平板電腦、便攜式電腦中的內(nèi)置攝像頭等）可具有集成 的自動(dòng)曝光功能。在利用攝像頭拍攝照片時(shí)，攝像頭曝光時(shí)間、光圈以及ISO速度參數(shù)可被 調(diào)節(jié)（例如自動(dòng)調(diào)節(jié)）以實(shí)現(xiàn)照片中色彩（或灰階）的均勻分布。包括了例如曝光時(shí)間、 光圈和ISO速度的調(diào)節(jié)值（例如自動(dòng)調(diào)節(jié)值）可用于計(jì)算/測量/推斷拍攝照片時(shí)呈現(xiàn)的 環(huán)境光參數(shù)（例如景象光照度）。
[0021] 移動(dòng)設(shè)備（例如智能電話、平板電腦、便攜式電腦、攝像頭等）可利用計(jì)算出的景 象光照度的值來改進(jìn)多媒體應(yīng)用（例如視頻流、視頻會(huì)議、移動(dòng)游戲應(yīng)用等）。舉例來說，移 動(dòng)設(shè)備可利用（例如通過應(yīng)用）環(huán)境光參數(shù)（例如光照度）來改動(dòng)應(yīng)用的用戶界面（例如 文本大小、文本字體、文本顏色、文本信息等等）、應(yīng)用的視覺呈現(xiàn)（例如對比度、分辨率等 等）、和/或應(yīng)用的數(shù)據(jù)傳輸或傳遞參數(shù)（例如帶寬、編碼率、所要求的分辨率等等）。
[0022] 環(huán)境光照度的知識可以有助于設(shè)備顯示器上的視覺信息渲染。舉例來說，移動(dòng)設(shè) 備可裝配有專用環(huán)境光照度傳感器。所述傳感器提供的信息可能并不準(zhǔn)確。例如，所述傳 感器提供的讀數(shù)可能偏差一數(shù)量級。在某些設(shè)備中可能沒有這樣的傳感器。可提供有估計(jì) 或計(jì)算環(huán)境光照度的其他方式。此處描述的實(shí)施方式可在個(gè)人計(jì)算機(jī)（PC)或不具有環(huán)境 光傳感器的其他類型設(shè)備的視頻渲染方面得以應(yīng)用。
[0023] 可能與ISO速度和對象光照度（subjectilluminance)有關(guān)的攝像頭設(shè)定/參數(shù) 之間存在著聯(lián)系。這種聯(lián)系可通過入射光曝光等式得出，例如：
[0024]
等式 1
[0025] 其中E可以是光照度（例如以lux為單位），N可以是相對孔徑（例如f-數(shù)量）， t可以是以秒為單位的曝光時(shí)間（例如快門速度），S可以是ISO算數(shù)速度（arithmetic speed)，而C可以是入射光測試表校準(zhǔn)常數(shù)。
[0026] 等式1可針對光照度E進(jìn)行改寫。例如，等式1可被改寫成：
[0027]
等式 2
[0028] 等式2可用于提取移動(dòng)設(shè)備攝像頭的一個(gè)或多個(gè)攝像頭設(shè)定值/參數(shù)值。攝像頭 設(shè)定可包括例如光照度、相對孔徑、曝光時(shí)間、ISO算數(shù)感光度、入射光測光表校準(zhǔn)常數(shù)等。 攝像頭設(shè)定可針對獲取的圖像被記錄在JPEG的EXIF文件報(bào)頭中。攝像頭設(shè)定可經(jīng)由攝像 頭的應(yīng)用程序接口（API)來獲取。攝像頭設(shè)定可與等式2-起用于計(jì)算光照度?？蓪π?zhǔn) 常數(shù)C的本征值進(jìn)行確定以確保結(jié)果準(zhǔn)確。
[0029] 可使用入射光校準(zhǔn)常數(shù)的一個(gè)或多個(gè)值。舉例來說，ISO2720:1974可對攝影曝 光表的設(shè)計(jì)進(jìn)行討論并在使用了單調(diào)光接收器（flatlightreceptor)時(shí)可以建議將C 設(shè)定在240至400范圍內(nèi)。在使用半球接收器（hemisphericalreceptor)的情況下，ISO 2720:1974可以建議C的范圍為320至540。C的理想的合適值可基于特定設(shè)備來確定。
[0030] 此處將對與校準(zhǔn)常數(shù)C的選擇相關(guān)的實(shí)施方式進(jìn)行描述。例如，表1提供了 可使用移動(dòng)設(shè)備（例如智能電話）的前置攝像頭以及使用測光表（例如SpectraCine Candella-II環(huán)境測光表）來獲取的測量的實(shí)例。圖片可通過移動(dòng)設(shè)備上的應(yīng)用（例如本 地?cái)z像頭應(yīng)用）來拍攝并保存為JPEG圖像。攝像頭設(shè)定值可從所保存的JPEG圖像獲取。 例如，攝像頭參數(shù)可從JPEG文件中的EXIF報(bào)頭中恢復(fù)。攝像頭設(shè)定值可從攝像頭的API 中獲取，由此，圖片并不必須由位于移動(dòng)設(shè)備上的應(yīng)用來拍攝和/或保存。
[0031] 表1:使用示例電話執(zhí)行的示例測量&計(jì)算
[0032]
[0033] 在對校準(zhǔn)常數(shù)C的確定中，如果包含了與直接日光曝光對應(yīng)的測量，則獲得的校 準(zhǔn)常數(shù)C可等于354. 5。如果不包括與直接日光曝光對應(yīng)的第一測量，可使用數(shù)值為680的 校準(zhǔn)常數(shù)C來對其余的點(diǎn)進(jìn)行正確建模。圖1是示出了校準(zhǔn)常數(shù)C的示例建模的圖表。如 圖1所示，與直接日光曝光對應(yīng)的第一測量可能存在問題，例如，由于其達(dá)到了我們參考設(shè) 備（例如SpectraCineCandella-II)的動(dòng)態(tài)范圍極限。這種由第一測量捕捉的在直射日 光曝光下觀看（view)顯示器的情況可以代表這樣一情況：在不考慮顯示參數(shù)的情況下觀 看顯示會(huì)變得困難。提供了在不包括第一測量情況下獲取的利用示例建模的估計(jì)，如表1 中所示。
[0034] 圖2是示出了計(jì)算環(huán)境光照度的示例的示意圖。如圖2所示，在202,可以確定移動(dòng) 設(shè)備是否包括環(huán)境光傳感器。如果所述移動(dòng)設(shè)備包括了環(huán)境光傳感器，則在204,可以確定 所述傳感器和/或所述移動(dòng)設(shè)備是否是可信的或經(jīng)過驗(yàn)證的。如此處所述，某些環(huán)境光傳 感器在正確確定環(huán)境光參數(shù)（例如光照度）上可能并不準(zhǔn)確。能夠準(zhǔn)確確定環(huán)境光參數(shù)的 傳感器和/或移動(dòng)設(shè)備可以被認(rèn)為是可信的或經(jīng)過驗(yàn)證的。所述驗(yàn)證可由移動(dòng)設(shè)備或位于 移動(dòng)設(shè)備上的應(yīng)用預(yù)先配置，或者所述驗(yàn)證可根據(jù)需要由位于移動(dòng)設(shè)備上的應(yīng)用確定。如 果所述移動(dòng)設(shè)備不包括環(huán)境光傳感器、和/或所述傳感器和/或移動(dòng)設(shè)備并非可信的或經(jīng) 過驗(yàn)證的，在206和210,可使用攝像頭來確定所述移動(dòng)設(shè)備的環(huán)境光參數(shù)（例如光照度）。 如果所述傳感器或移動(dòng)設(shè)備是可信的或經(jīng)過驗(yàn)證的，在208和210,可使用環(huán)境光傳感器來 確定所述移動(dòng)設(shè)備的環(huán)境光參數(shù)（例如光照度）。
[0035] 所述環(huán)境光參數(shù)（例如光照度）可由移動(dòng)設(shè)備的應(yīng)用使用以提升用戶體驗(yàn)和/或 增強(qiáng)移動(dòng)設(shè)備的性能。例如，位于移動(dòng)設(shè)備上的應(yīng)用的用戶界面（UI)參數(shù)、傳遞參數(shù)、和/ 或視覺信息參數(shù)可響應(yīng)于環(huán)境光參數(shù)而改變。例如，所述UI參數(shù)可以是文本大小、文本字 體、文本顏色、文本信息、或者顯示給用戶的應(yīng)用的用戶輸入。通過使用環(huán)境光參數(shù)來更改 UI參數(shù)，用戶可以獲得更佳的觀看效果及與應(yīng)用的互動(dòng)，這是由于文本或用戶輸入可針對 移動(dòng)設(shè)備所經(jīng)歷的特定光照度來進(jìn)行更改。所述傳遞參數(shù)可以是例如所述應(yīng)用/移動(dòng)設(shè)備 以用于內(nèi)容接收（例如從網(wǎng)絡(luò)接收）所需的/被分配的帶寬、內(nèi)容的編碼率（例如可從網(wǎng)絡(luò) 接收）、或者所要求的內(nèi)容分辨率（例如可從網(wǎng)絡(luò)接收）。移動(dòng)設(shè)備可通過針對所經(jīng)歷的特 定光照條件來定制在移動(dòng)設(shè)備顯示器上顯示的內(nèi)容（例如通過使用環(huán)境光參數(shù)來更改應(yīng) 用的傳遞參數(shù)），從而來利用帶寬（例如更高效地利用帶寬）、節(jié)省電池電量、和/或降低處 理功率。所述視覺信息參數(shù)例如可以是應(yīng)用的靜態(tài)圖像或視頻的對比度或分辨率。用戶可 在所經(jīng)歷的特定光照條件下在所述移動(dòng)設(shè)備的顯示屏上觀看應(yīng)用的靜態(tài)圖像或視頻（例 如通過更改所述應(yīng)用的視覺信息參數(shù)）。
[0036] 可提供與使用一個(gè)或多個(gè)來自移動(dòng)設(shè)備中的前置攝像頭和/或傳感器的輸入來 檢測例如用戶的存在并估計(jì)其距屏幕的距離的應(yīng)用程序界面（API)和框架相關(guān)的實(shí)施方 式。此處描述的實(shí)施方式可針對庫/模塊提供框架和API(例如頂層API)，所述庫/模塊將 來自多個(gè)傳感器的輸入結(jié)合到移動(dòng)設(shè)備中并向應(yīng)用報(bào)告用戶的存在以及其距屏幕的距離。 所述多個(gè)傳感器可捕捉可用于推斷用戶存在以及其距移動(dòng)設(shè)備的大致距離的補(bǔ)充信息。
[0037] 可提供用戶檢測和對用戶距屏幕距離的估計(jì)。舉例來說，用戶檢測和用戶距屏幕 的距離可被提供在自適應(yīng)流應(yīng)用中使用以降低視頻速率和/或帶寬占用。用戶檢測和用戶 距屏幕的距離可被提供在視頻會(huì)議應(yīng)用中使用以例如優(yōu)化通信系統(tǒng)用戶界面（UI)和/或 行為。用戶檢測和用戶面部距屏幕的距離可在3D游戲或流應(yīng)用中使用以改進(jìn)3D實(shí)體和/ 或視頻的渲染（例如基于用戶的相對位置和/或觀看的方向）。用戶面部檢測和用戶距屏 幕的距離可在網(wǎng)絡(luò)瀏覽和文本編輯應(yīng)用中使用以調(diào)節(jié)（例如動(dòng)態(tài)調(diào)節(jié)）字體和頁面顯示的 比例，以更方便用戶閱讀。用戶檢測和用戶距屏幕的距離可在未來的顯示器硬件中使用，以 降低（例如動(dòng)態(tài)降低）分辨率或可實(shí)現(xiàn)能量節(jié)省和