互動(dòng)系統(tǒng)、遙控器及其運(yùn)作方法
【專(zhuān)利摘要】一種互動(dòng)系統(tǒng)，所述互動(dòng)系統(tǒng)包含遙控器。所述遙控器具有用來(lái)獲取包含人體圖像以及背景圖像的工作圖像的攝影機(jī)；分析所述工作圖像用來(lái)取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域的處理單元；其中所述處理單元根據(jù)所述人體圖像區(qū)域與所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動(dòng)信息。
【專(zhuān)利說(shuō)明】
互動(dòng)系統(tǒng)、遙控器及其運(yùn)作方法
技術(shù)領(lǐng)域
[0001]本發(fā)明有關(guān)一種互動(dòng)系統(tǒng)，更特別有關(guān)一種可藉由遙控器與人體相對(duì)位置關(guān)系產(chǎn)生互動(dòng)信息的互動(dòng)系統(tǒng)、遙控器及其運(yùn)作方法。
【背景技術(shù)】
[0002]傳統(tǒng)互動(dòng)系統(tǒng)中的指向裝置藉由檢測(cè)特定對(duì)象在圖像中的位置來(lái)實(shí)現(xiàn)，由于特定對(duì)象本身相對(duì)環(huán)境以及顯示器皆是不動(dòng)的，因此特定對(duì)象與顯示器之間具有固定的空間位置關(guān)系，因此根據(jù)特定位置在圖像中的位置即可計(jì)算出攝影機(jī)所指向的方向。
[0003]上述方法廣泛應(yīng)用于電視、游戲機(jī)等指向應(yīng)用，然而，此方法無(wú)法計(jì)算出攝影機(jī)本身所在位置，以游戲機(jī)為例，使用者可利用游戲機(jī)的遙控器的攝影機(jī)瞄準(zhǔn)屏幕上的對(duì)象，但游戲機(jī)僅能計(jì)算出用戶所瞄準(zhǔn)屏幕的坐標(biāo)位置，而無(wú)法藉由攝影機(jī)所獲取圖像得知用戶與手部運(yùn)動(dòng)軌跡間的關(guān)系，使游戲類(lèi)型受限。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明提供一種藉由檢測(cè)遙控器與用戶之間相互位置的變化來(lái)計(jì)算用戶的手部運(yùn)動(dòng)軌跡。
[0005]本發(fā)明提供一種互動(dòng)系統(tǒng)、遙控器及其運(yùn)作方法，其可搭配人臉識(shí)別以區(qū)別工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域，用在計(jì)算遙控器坐標(biāo)時(shí)僅根據(jù)工作圖像的部分圖像區(qū)域計(jì)算并忽略其他圖像區(qū)域。
[0006]本發(fā)明提供一種互動(dòng)系統(tǒng)，所述互動(dòng)系統(tǒng)包含遙控器。所述遙控器包含攝影機(jī)以及處理單元。所述攝影機(jī)用來(lái)獲取包含人體圖像及背景圖像的工作圖像。所述處理單元用來(lái)接收所述工作圖像，分析所述工作圖像以取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動(dòng)信息。
[0007]本發(fā)明還提供一種遙控器，包含攝影機(jī)、儲(chǔ)存單元以及處理單元。所述攝影機(jī)用來(lái)獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像。所述儲(chǔ)存單元用來(lái)儲(chǔ)存所述初始工作圖像、相對(duì)所述初始工作圖像的預(yù)設(shè)深度圖及預(yù)設(shè)位置信息。所述處理單元用來(lái)改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個(gè)估測(cè)圖像，比較所述多個(gè)估測(cè)圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對(duì)應(yīng)的最佳估測(cè)圖像的位置信息作為所述遙控器的目前位置信息。
[0008]本發(fā)明還提供一種遙控器的運(yùn)作方法，所述遙控器包含攝影機(jī)。所述運(yùn)作方法包含下列步驟:以所述攝影機(jī)獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像；改變相對(duì)所述初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度圖以產(chǎn)生多個(gè)估測(cè)圖像；比較所述多個(gè)估測(cè)圖像與所述目前工作圖像以求得最佳估測(cè)圖像；以及輸出所述最佳估測(cè)圖像相對(duì)應(yīng)的位置信息以作為所述遙控器的目前位置信息。
[0009]本發(fā)明還提供一種遙控器，所述互動(dòng)系統(tǒng)包含遙控器。所述遙控器包含攝影機(jī)以及處理單元。所述攝影機(jī)用來(lái)獲取包含至少一人體圖像的工作圖像。所述處理單元用來(lái)接收所述工作圖像，從所述工作圖像中抽取出臉部圖像，對(duì)比所述臉部圖像與臉部特征數(shù)據(jù)庫(kù)以產(chǎn)生臉部特征信息，對(duì)比所述臉部特征信息與臉部幾何數(shù)據(jù)庫(kù)以求出所述攝影機(jī)的攝影機(jī)姿勢(shì)。
[0010]為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能更明顯，下文將配合所附圖示，詳細(xì)說(shuō)明如下。此外，在本發(fā)明的說(shuō)明中，相同的構(gòu)件以相同的符號(hào)表示，在此先述明。
【附圖說(shuō)明】
[0011]圖1為本發(fā)明一實(shí)施例的系統(tǒng)架構(gòu)圖；
[0012]圖2為本發(fā)明一實(shí)施例中一遙控器的示意圖；
[0013]圖3為本發(fā)明一實(shí)施例中所獲取圖像的示意圖；
[0014]圖4為本發(fā)明一實(shí)施例中所獲取圖像的示意圖；
[0015]圖5為本發(fā)明一實(shí)施例中攝影機(jī)所建立三維坐標(biāo)空間的示意圖；
[0016]圖6為本發(fā)明一實(shí)施例中計(jì)算并更新攝影機(jī)坐標(biāo)及對(duì)象距離的流程圖；
[0017]圖7為本發(fā)明一實(shí)施例中計(jì)算并更新攝影機(jī)坐標(biāo)的示意圖；
[0018]圖8為本發(fā)明一實(shí)施例中根據(jù)臉部分析建立三維位置信息的流程圖；以及
[0019]圖9為本發(fā)明一實(shí)施例中計(jì)算并更新攝影機(jī)對(duì)象距離的示意圖。
[0020]附圖標(biāo)記說(shuō)明
[0021]1000 遙控器
[0022]3000 顯示器
【具體實(shí)施方式】
[0023]本發(fā)明采用全新架構(gòu)，將攝影機(jī)置于手持裝置，攝影機(jī)的安裝位置利于觀察用戶的頭部及/或肩膀等身體其他部位(以下簡(jiǎn)稱人體)等部位，當(dāng)使用者進(jìn)行游戲時(shí)，隨著使用者手部運(yùn)動(dòng)，攝影機(jī)可觀測(cè)到使用者人體以及其后的背景區(qū)域的變化，藉此計(jì)算使用者手部運(yùn)動(dòng)軌跡，提高游戲經(jīng)驗(yàn)。由于本發(fā)明的攝影機(jī)并非獲取顯示器方向的圖像，顯示器上或其附近無(wú)須另行設(shè)置參考光源。
[0024]請(qǐng)參照?qǐng)D1所示為本發(fā)明互動(dòng)系統(tǒng)的系統(tǒng)示意圖，所述互動(dòng)系統(tǒng)包含用來(lái)檢測(cè)用戶的圖像的遙控器1000，并從不同角度觀察所述人體以及背景區(qū)域的圖像，進(jìn)而計(jì)算所述遙控器1000與人體及/或背景區(qū)域的相對(duì)位置變化來(lái)產(chǎn)生運(yùn)動(dòng)信息，再根據(jù)所述運(yùn)動(dòng)信息控制顯示器3000的操作(例如控制所述顯示器3000的光標(biāo)的移動(dòng))。
[0025]參考圖2，所述遙控器1000具有本體1100、攝影機(jī)1200以及光源1300，其中所述本體1100較佳是具有用來(lái)提供所述使用者持握的長(zhǎng)軸，所述本體1100可設(shè)置多個(gè)按鈕(圖未顯示)作為控制信號(hào)的輸入單元，所述攝影機(jī)1200設(shè)置在所述本體1100的第一側(cè)，當(dāng)使用者持握所述遙控器1000進(jìn)行操作時(shí)，所述第一側(cè)較佳是面對(duì)著所述使用者，用來(lái)讓所述攝影機(jī)1200得以獲取人體及/或背景區(qū)域的部份圖像。所述光源1300設(shè)置于與所述第一側(cè)相對(duì)的第二側(cè)，用來(lái)提供所述用戶作為指向輸入的視覺(jué)標(biāo)示(可視系統(tǒng)需求設(shè)置或不設(shè)置)以作為指示燈，提供明顯的視覺(jué)標(biāo)示，所述光源1300較佳為一個(gè)雷射投影光源，用來(lái)投射光束至所述顯示器3000以提示目前操作坐標(biāo)。
[0026]例如，所述遙控器1000包含處理單元，例如微控制器(MCU)或中央處理單元(CPU)等，用來(lái)接收所述攝影機(jī)1200獲取的工作圖像，分析所述工作圖像以取得所述工作圖像中屬于人體圖像的人體圖像區(qū)域以及屬于背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域產(chǎn)生所述遙控器1000的移動(dòng)信息。所述遙控器1000還包含傳輸接口，利用有線或無(wú)線傳輸方式輸出所述移動(dòng)信息以相對(duì)控制所述顯示器3000的光標(biāo)動(dòng)作。某些實(shí)施例中，計(jì)算所述遙控器1000的坐標(biāo)時(shí)，可僅使用人體圖像區(qū)域或背景圖像區(qū)域其中的一者進(jìn)行計(jì)算。
[0027]如圖3所示，所述攝影機(jī)1200在獲取一個(gè)工作圖像1500時(shí)會(huì)同時(shí)獲取到包含所述用戶的人體圖像1510以及背景區(qū)域的一個(gè)或多個(gè)背景圖像1521/1522?？梢粤私獾氖牵瑘D3雖顯示兩背景圖像1521、1522，其僅用于說(shuō)明而并非用來(lái)限定本發(fā)明。當(dāng)使用者操作所述攝影機(jī)1200時(shí)，由于手部會(huì)持續(xù)的移動(dòng)，因此所述攝影機(jī)1200可以從相對(duì)所述人體及背景區(qū)域的不同視角取得多張工作圖像，利用前后時(shí)間獲取的不同視角的兩張工作圖像可仿真出與用戶人體及/或背景區(qū)域有關(guān)的立體視覺(jué)，藉此建立起所述攝影機(jī)1200、所述使用者人體以及所述背景區(qū)域之間的3D位置關(guān)系。
[0028]由于所述工作圖像1500同時(shí)包含了人體圖像1510以及背景圖像1521/1522，當(dāng)使用者移動(dòng)手部時(shí)，人體圖像1510以及背景圖像1521/1522在所述工作圖像1500的成像位置都會(huì)改變，因此所述遙控器1000即可根據(jù)人體圖像1510以及背景圖像1521/1522的成像位置變化來(lái)計(jì)算所述遙控器1000本身的移動(dòng)信息。更詳而言之，所述工作圖像1500中的成像位置變化會(huì)顯示在亮度分布中。若使用者持握所述遙控器1000的手部未移動(dòng)，但使用者上半身進(jìn)行旋轉(zhuǎn)動(dòng)作，例如在射擊游戲中的游戲角色持槍左右旋轉(zhuǎn)視察，雖然所述人體圖像1510在所述工作圖像1500中的成像位置不變，可是所述背景圖像1521/1522在所述工作圖像1500中還是會(huì)產(chǎn)生變化，因此所述遙控器1000仍然可以僅通過(guò)所述背景圖像1521/1522計(jì)算出用戶旋轉(zhuǎn)的運(yùn)動(dòng)信息。某些實(shí)施例中，當(dāng)背景區(qū)域所包含的對(duì)象發(fā)生變動(dòng)時(shí)，分辨出人體圖像區(qū)域及背景圖像區(qū)域后，所述遙控器1000仍然可以僅通過(guò)所述人體圖像1510計(jì)算出用戶的運(yùn)動(dòng)信息。換句話說(shuō)，本發(fā)明中，所述遙控器1000(例如其處理單元)可分辨所獲取的工作圖像1500中的人體圖像區(qū)域及背景圖像區(qū)域，并在不同條件下選擇至少其中的一者來(lái)計(jì)算所述遙控器1000的目前位置信息。
[0029]在一實(shí)施例中，所述遙控器1000在分析所述工作圖像1500時(shí)，可直接判斷整張圖像，不需另外識(shí)別出所述人體圖像1510及/或所述背景圖像1521/1522，而是直接判斷所述工作圖像1500的所有像素的亮度分布變化，并進(jìn)而判斷各像素與所述攝影機(jī)1200之間的距離及相對(duì)位置變化。
[0030]在另一實(shí)施例中，所述遙控器1000在分析所述工作圖像1500時(shí)，可先根據(jù)所述工作圖像1500的亮度分布或其他像素信息識(shí)別出人體圖像1510(例如通過(guò)人臉識(shí)別判斷出臉部并將與臉部具有相同深度的圖像區(qū)域識(shí)別為所述人體圖像1510)及/或所述背景圖像1521/1522(例如將所述人體圖像1510以外的圖像區(qū)域判斷為所述背景圖像1521/1522)，藉由人體圖像1510及/或背景圖像1521/1522的成像位置變化來(lái)判斷人體及/或背景區(qū)域與所述攝影機(jī)1200之間的距離、傾角及相對(duì)位置變化。
[0031]參考圖4顯示所述攝影機(jī)1200、所述人體及/或背景區(qū)域之間的3D位置關(guān)系的示意圖，在一實(shí)施例中，可將開(kāi)機(jī)(或開(kāi)始進(jìn)行操作)后的時(shí)間t。所獲取第一張圖像(例如稱為初始工作圖像)時(shí)所述攝影機(jī)1200的位置P40設(shè)為3D坐標(biāo)空間的原點(diǎn)O，而在下一時(shí)間h所述攝影機(jī)1200在位置P41獲取第二張圖像(例如稱為目前工作圖像)時(shí)的坐標(biāo)位置即以所述位置P40為原點(diǎn)O的3D坐標(biāo)空間表示。所述遙控器1000則根據(jù)兩張圖像間的亮度分布來(lái)計(jì)算所述位置P41的三維坐標(biāo)。當(dāng)所述兩張圖像為兩連續(xù)圖像時(shí)，時(shí)間t。與t!的時(shí)間差則為取樣周期，所述兩張圖像也可能為不連續(xù)的兩張圖像。
[0032]在計(jì)算所述3D位置關(guān)系時(shí)，由于所述人體及/或背景區(qū)域以及所述遙控器1000之間的相對(duì)關(guān)系及距離皆為未知，因此可先假設(shè)一組基本的參數(shù)(例如包含預(yù)設(shè)深度圖及預(yù)設(shè)位置信息)，再經(jīng)由多次獲取工作圖像來(lái)反復(fù)計(jì)算，藉此取得更精確的3D位置關(guān)系。例如參考圖5，其說(shuō)明用于反復(fù)計(jì)算并更新所述攝影機(jī)1200在3D坐標(biāo)空間的位置以及各像素所對(duì)應(yīng)的用戶人體及背景區(qū)域與攝影機(jī)之間的距離(以下簡(jiǎn)稱對(duì)象距離)。
[0033]在步驟5100，由所述攝影機(jī)1200獲取初始的第一張工作圖像(稱為初始工作圖像)，并假定所述攝影機(jī)1200的位置P40為3D坐標(biāo)空間的原點(diǎn)0，且將所獲取所述第一張工作圖像中每個(gè)像素的對(duì)象距離皆給定一個(gè)預(yù)設(shè)值(例如全部設(shè)為I)，其中每個(gè)像素所給定的對(duì)象距離的預(yù)設(shè)值可以是預(yù)存于所述遙控器1000或所述攝影機(jī)1200的儲(chǔ)存單元(例如內(nèi)存、緩沖器等)中。
[0034]換句話說(shuō)，獲取所述初始工作圖像時(shí)，所述儲(chǔ)存單元至少儲(chǔ)存有所述初始工作圖像的預(yù)設(shè)深度圖、亮度圖(即所述初始工作圖像)、所述攝影機(jī)1200的預(yù)設(shè)位置信息(例如，但不限于，三維坐標(biāo)及三維傾角)以及取像焦距等；其中，所述預(yù)設(shè)深度圖包含相對(duì)每個(gè)像素的對(duì)象距離(例如皆設(shè)為1，但并不以此為限)，所述亮度圖包含每個(gè)像素的灰階值，所述三維坐標(biāo)例如設(shè)為(0，O, O)，而所述三維傾角例如包含第一軸向傾角、第二軸向傾角及第三軸向傾角，其均設(shè)為0，但本發(fā)明中的預(yù)設(shè)值設(shè)定并不以此為限。
[0035]在步驟5300，由所述攝影機(jī)1200依據(jù)工作頻率獲取目前工作圖像(例如第二張工作圖像)；其中，所述工作頻率有時(shí)稱為幀率(frame rate)。也即，步驟5100及5300中，所述攝影機(jī)1200分別獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像。
[0036]在步驟5500，根據(jù)目前各像素所對(duì)應(yīng)的對(duì)象距離以及所述攝影機(jī)1200所獲取前一張工作圖像與目前工作圖像的間的圖像變化來(lái)計(jì)算并更新所述攝影機(jī)1200的目前坐標(biāo)。參考圖4，例如在第一時(shí)間t。所述攝影機(jī)1200的預(yù)設(shè)坐標(biāo)P40為原點(diǎn)O (0，O, O)，其根據(jù)步驟5100所獲取的初始工作圖像所決定；更詳言之，所述原點(diǎn)坐標(biāo)O可視為所述遙控器1000或所述攝影機(jī)1200相對(duì)人體的初始三維空間關(guān)系。在第二時(shí)間^獲取第二張圖像時(shí)，計(jì)算并更新所述攝影機(jī)1200的坐標(biāo)為ΡΓ (χΓ，yl’，zl’)，其根據(jù)步驟5200所獲取的目前工作圖像所決定；更詳言之，所述目前坐標(biāo)P1’可視為所述遙控器1000或所述攝影機(jī)1200相對(duì)人體的目前三維空間關(guān)系。例如一種實(shí)施例中，所述遙控器1000包含處理單元，用來(lái)利用圖像處理的方式改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個(gè)估測(cè)圖像(例如一組三維坐標(biāo)、三維傾角及深度可產(chǎn)生一張估測(cè)圖像)，比較所述多個(gè)估測(cè)圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對(duì)應(yīng)的最佳估測(cè)圖像的位置信息作為所述遙控器的目前位置信息，例如包含三維坐標(biāo)及三維傾角等。
[0037]更詳而言之，所述遙控器1000根據(jù)所述目前工作圖像求出所述遙控器1000或所述攝影機(jī)1200相對(duì)所述原點(diǎn)O的目前坐標(biāo)的方式為，所述處理單元依序產(chǎn)生不同坐標(biāo)(即改變位置信息及深度信息)下所述目前工作圖像可能的亮度分布情形以作為估測(cè)圖像，當(dāng)某一估測(cè)圖像與所述攝影機(jī)1200實(shí)際所獲取的目前工作圖像相似度最高時(shí)，則將所述估測(cè)圖像視作為最佳估測(cè)圖像?？梢粤私獾氖?，由于所述遙控器1000用圖像比較的方式來(lái)確認(rèn)所述最佳估測(cè)圖像，所述最佳估測(cè)圖像的亮度分布可能并非完全相同于所述目前工作圖像，或以閾值來(lái)確認(rèn)是否中止比較程序并將相似度大于所述閾值的估測(cè)圖像作為所述最佳估測(cè)圖像。
[0038]在步驟5700，根據(jù)所述攝影機(jī)1200所更新的坐標(biāo)(例如P1’ )重新計(jì)算并更新人體或背景區(qū)域與攝影機(jī)1200之間的對(duì)象距離(例如更新所述預(yù)設(shè)深度圖)，再回到步驟5300ο
[0039]可以理解的是由于在步驟5500中，所述攝影機(jī)1200的各像素的對(duì)象距離是直接讀取所儲(chǔ)存的對(duì)象距離的數(shù)值(例如在獲取第二張工作圖像時(shí)所獲取是預(yù)存所給定各像素的對(duì)象距離的預(yù)設(shè)值，在獲取第三張工作圖像或后續(xù)的工作圖像則是讀取更新過(guò)的對(duì)象距離)，并非實(shí)際上各像素所對(duì)應(yīng)的用戶人體或背景區(qū)域與所述攝影機(jī)1200之間的距離，因此所計(jì)算新的所述攝影機(jī)1200的坐標(biāo)ΡΓ (χΓ，yl’，zl’ )與實(shí)際上所述攝影機(jī)1200的坐標(biāo)Pl (xl，yl, zl)之間可能會(huì)存在一定差距。而在多次的進(jìn)行步驟5300/5500/5700之后可藉由多次的更新將所計(jì)算所述攝影機(jī)1200的坐標(biāo)Pn’與實(shí)際上所述攝影機(jī)1200的坐標(biāo)Pn之間的差距逐步減少。所述遙控器1000例如輸出坐標(biāo)ΡΓ (xl’，yl’，zl’ )至主機(jī)以進(jìn)行相對(duì)應(yīng)控制。
[0040]當(dāng)然在一實(shí)施例中所述遙控器1000可進(jìn)一步包含距離量測(cè)單元(圖中未顯示)，如此所述遙控器1000可取得所述攝影機(jī)1200所有像素的實(shí)際對(duì)象距離，則步驟5700即可忽略。
[0041]當(dāng)所述攝影機(jī)1200再次獲取工作圖像(例如第三張工作圖像)，則可以從步驟5500以及步驟5700中獲得并更新所述攝影機(jī)1200的坐標(biāo)以及各像素的對(duì)象距離。因此所述攝影機(jī)1200藉由多次的獲取工作圖像以及反復(fù)的進(jìn)行步驟5500以及5700即可使所述攝影機(jī)1200所計(jì)算的坐標(biāo)與實(shí)際的坐標(biāo)更為接近，也可使得所計(jì)算各像素的對(duì)象距離(例如預(yù)設(shè)深度圖)與實(shí)際的對(duì)象距離更為接近。因此，某些實(shí)施例中，所述攝影機(jī)1200可具有校正階段，其可為開(kāi)機(jī)時(shí)、結(jié)束休眠時(shí)或使用者自行選擇時(shí)執(zhí)行，藉以增加正式操作時(shí)精確度。
[0042]可以理解的是，為了增加操作的穩(wěn)定性，也可以設(shè)定在遙控器1000進(jìn)行操作之后每隔預(yù)定時(shí)間重新回到步驟5100，或者超過(guò)一定比例的像素在所計(jì)算出所述多個(gè)對(duì)象距離或與前一張圖像(或初始圖像幀)所取得對(duì)象距離的變化超過(guò)閾值或無(wú)法計(jì)算出有效對(duì)象距離時(shí)，重設(shè)所述攝影機(jī)1200的操作狀態(tài)而重新回到步驟5100。
[0043]參考圖6為步驟5500更新所述攝影機(jī)1200的坐標(biāo)的示意圖，在所述步驟5500之中，當(dāng)讀取所述攝影機(jī)1200各像素的對(duì)象距離(例如預(yù)設(shè)深度圖)之后，所述多個(gè)對(duì)象距離可視為所述攝影機(jī)1200在獲取前一張工作圖像(或初始圖像幀)時(shí)各像素的對(duì)象距離，再根據(jù)所述多個(gè)對(duì)象距離來(lái)計(jì)算所述攝影機(jī)1200新的坐標(biāo)。
[0044]在一實(shí)施例中，當(dāng)所述攝影機(jī)1200在前后時(shí)間(例如t。、ti)在C61以及C62這兩個(gè)位置分別獲取兩張工作圖像161/162時(shí)，所獲取工作圖像161/162都包含了人體6510及背景區(qū)域6521/6522 (利用處理單元識(shí)別人體圖像區(qū)域及背景圖像區(qū)域已說(shuō)明于前)，其中所述用戶人體6510的特征點(diǎn)P60在所述兩張工作圖像161/162的成像位置分別為P61/P62。所述處理單元例如通過(guò)算法改變相對(duì)所述初始工作圖像(例如161)的預(yù)設(shè)位置信息及預(yù)設(shè)深度信息(其儲(chǔ)存于儲(chǔ)存單元中)以產(chǎn)生多個(gè)估測(cè)工作圖像，以仿真所述工作圖像162在不同位置時(shí)的亮度分布。所述處理單元并比較所述多個(gè)估測(cè)工作圖像與所述工作圖像162的相似度，例如計(jì)算相關(guān)性(correlat1n)，并將具有最高相似度的最佳估測(cè)工作圖像所對(duì)應(yīng)的位置信息視為所述工作圖像162的目前位置信息。如前所述，所述處理單元可比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個(gè)估測(cè)圖像中相對(duì)應(yīng)區(qū)域(即人體圖像區(qū)域及背景圖像區(qū)域)的相似度，例如計(jì)算相對(duì)應(yīng)區(qū)域間的相關(guān)性。
[0045]可以理解的是，用于判斷成像位置變化的特征點(diǎn)P60通常是在所獲取工作圖像中容易分辨的點(diǎn)，例如是具有超過(guò)閾值的亮度值的像素所對(duì)應(yīng)的特征點(diǎn)；或者是一群特征點(diǎn)的組合，例如是具有相同或類(lèi)似亮度值的像素的集合所對(duì)應(yīng)特征點(diǎn)的集合。
[0046]當(dāng)所用來(lái)判斷的特征點(diǎn)越多，所計(jì)算出來(lái)所述攝影機(jī)1200的位置變化就可以越準(zhǔn)確，而若可以用于判斷的特征點(diǎn)所對(duì)應(yīng)的像素?cái)?shù)量少于一個(gè)閾值，所述遙控器1000即需要回到步驟5100重新獲取初始工作圖像，當(dāng)然此張初始工作圖像的各像素的對(duì)象距離可使用預(yù)存的預(yù)設(shè)值(例如I)或者是前一次有效用于計(jì)算攝影機(jī)1200位置變化的工作圖像所對(duì)應(yīng)的最后一次更新的對(duì)象距離的值。
[0047]在另一實(shí)施例中，可先從前后張工作圖像161/162識(shí)別出一個(gè)或多個(gè)特征點(diǎn)P60或特征點(diǎn)集合，再?gòu)倪@些特征點(diǎn)P60或其特征點(diǎn)集合的相似度來(lái)計(jì)算所述攝影機(jī)1200在獲取所述兩張工作圖像161/162時(shí)的位置C61/C62的坐標(biāo)變化。
[0048]參考圖7為步驟5700更新所述攝影機(jī)1200各像素的對(duì)象距離(即更新所儲(chǔ)存的深度信息)的示意圖，在所述步驟5700之中，由于已從前一個(gè)步驟5500取得所述攝影機(jī)1200獲取目前工作圖像的坐標(biāo)，因此可根據(jù)所述攝影機(jī)1200在獲取前后張工作圖像時(shí)的坐標(biāo)變化來(lái)計(jì)算并更新已儲(chǔ)存的所述攝影機(jī)1200每個(gè)像素的對(duì)象距離。
[0049]當(dāng)攝影機(jī)1200在坐標(biāo)C71 (例如對(duì)應(yīng)圖6的位置C61)獲取前一張工作圖像171時(shí)，特征點(diǎn)P70在所述工作圖像171的成像位置是P71，當(dāng)所述攝影機(jī)1200獲取目前工作圖像172 (例如對(duì)應(yīng)圖6的位置C62)時(shí)的坐標(biāo)已經(jīng)移至C72，根據(jù)前一次的步驟5500可以取得C71/C72的坐標(biāo)及其位置變化。
[0050]由于所述遙控器1000具有已儲(chǔ)存上一次更新的對(duì)象距離，故可根據(jù)所述特征點(diǎn)P70在所述工作圖像171所對(duì)應(yīng)像素目前所更新對(duì)象距離設(shè)定搜尋距離S71 (例如是目前所更新對(duì)象距離往前及往后預(yù)定距離)，且因所述攝影機(jī)1200的目前坐標(biāo)C72為已知，因此可從所述搜尋距離S71以及所述坐標(biāo)C72利用三角運(yùn)算定義出所述工作圖像172中對(duì)應(yīng)所述搜尋距離S71的一個(gè)搜尋范圍S72，并從所述搜尋范圍S72之中找出對(duì)應(yīng)所述特征點(diǎn)P70的成像的像素P72。因此可根據(jù)C71/C72的前后坐標(biāo)變化，前一張工作圖像171中所述特征點(diǎn)P70所對(duì)應(yīng)對(duì)象距離以及目前工作圖像172中所述特征點(diǎn)P70所對(duì)應(yīng)的像素位置P72計(jì)算出所述特征點(diǎn)P70與所述攝影機(jī)1200在所述坐標(biāo)C72之間的對(duì)象距離，藉此讓所述遙控器1000可更新已儲(chǔ)存的所述特征點(diǎn)P70所對(duì)應(yīng)的對(duì)象距離。所述遙控器1000持續(xù)根據(jù)新的目前工作圖像更新所述儲(chǔ)存單元內(nèi)所儲(chǔ)存的對(duì)象距離(即深度圖)。
[0051]在一實(shí)施例中，可先從前后兩張工作圖像171/172識(shí)別出一個(gè)或多個(gè)特征點(diǎn)P70或特征點(diǎn)集合，再?gòu)倪@些特征點(diǎn)P70或其特征點(diǎn)集合的成像位置變化來(lái)計(jì)算所述攝影機(jī)1200在獲取目前工作圖像172時(shí)對(duì)應(yīng)所述特征點(diǎn)P70或其特征點(diǎn)集合與攝影機(jī)1200之間的對(duì)象距離。
[0052]由上可知，當(dāng)使用者持握所述遙控器1000的本體1100并進(jìn)行連續(xù)移動(dòng)時(shí)，即可藉由所述攝影機(jī)1200所獲取連續(xù)的工作圖像來(lái)計(jì)算所述攝影機(jī)1200的相對(duì)移動(dòng)，也即可計(jì)算出所述遙控器1000的相對(duì)移動(dòng)。
[0053]在一實(shí)施例中，可進(jìn)行校正程序，也即由用戶將所述遙控器1000的雷射光源1300投射光束瞄準(zhǔn)顯示器3000的一個(gè)特定目標(biāo)點(diǎn)，藉此建立所述攝影機(jī)1200的3D坐標(biāo)空間跟所述使用者人體與所述顯示器3000之間一個(gè)坐標(biāo)空間的連結(jié)，提供使用者進(jìn)行直接指向控制。
[0054]在一實(shí)施例中，可進(jìn)一步將所獲取工作圖像中的用戶人體與背景區(qū)域進(jìn)行分離，例如使用工作圖像中各像素點(diǎn)的亮度值來(lái)進(jìn)行區(qū)隔，如此即可區(qū)分出前景(使用者人體)以及背景(背景區(qū)域)，并進(jìn)而將用戶人體從所獲取工作圖像中獨(dú)立出來(lái)，進(jìn)而提供后端應(yīng)用程序進(jìn)行判斷，例如用戶臉部分析，或者僅利用攝影機(jī)1200與人體之間的相對(duì)關(guān)系計(jì)算所述攝影機(jī)1200的位置。
[0055]參考圖8，其為本發(fā)明中根據(jù)臉部分析建立三維位置信息的流程圖，包含下列步驟:圖像獲取(步驟S81);臉部檢測(cè)(步驟S82);臉部特征檢測(cè)(步驟S83);攝影機(jī)姿勢(shì)估測(cè)(步驟S84);以及應(yīng)用控制(步驟S85);其中，所述多個(gè)步驟例如由所述攝影機(jī)1200內(nèi)的處理單元1210所執(zhí)行。如前所述，所述三維位置信息(即攝影機(jī)姿勢(shì))例如包含三維坐標(biāo)及三維傾角等。本實(shí)施例中，所述處理單元1210可根據(jù)一張工作圖像求出三維位置信息。所述處理單元1210包含臉部數(shù)據(jù)庫(kù)、臉部特征數(shù)據(jù)庫(kù)以及臉部幾何數(shù)據(jù)庫(kù)，預(yù)先儲(chǔ)存于所述處理單元1210中，例如內(nèi)存或緩沖器。如前所述，所述處理單元1210例如為微控制器或中央處理器。
[0056]步驟S81:所述遙控器100的攝影機(jī)1200獲取包含至少一個(gè)人體圖像的工作圖像(如圖3所示)，并將所述工作圖像傳送至處理單元1210進(jìn)行后處理。可以了解的是，所述工作圖像可包含人體圖像以外的對(duì)象圖像。
[0057]步驟S82:所述處理單元1210首先對(duì)比所述工作圖像與所述臉部數(shù)據(jù)庫(kù)，以從所述工作圖像中抽取出臉部圖像，并將所述臉部圖像范圍以外的圖像數(shù)據(jù)(即畫(huà)素?cái)?shù)據(jù))忽略，例如從緩存器中移除或計(jì)算時(shí)不予計(jì)算。所述處理單元1210例如包含臉部檢測(cè)引擎(其可由軟件及/或硬件實(shí)現(xiàn))利用人臉檢測(cè)算法與所述臉部數(shù)據(jù)庫(kù)進(jìn)行對(duì)比以產(chǎn)生所述臉部圖像；其中，所使用的人臉檢測(cè)算法并無(wú)特定限制，例如參照2013年11月I日公告的TW I414179B、2014年11月21日公告的TW I462029B以及2013年7月11日公告的TWI401963B1。另一實(shí)施例中，所述處理單元1210可不使用人臉檢測(cè)算法，而采用面積及/或形狀等參數(shù)從所述工作圖像中抽取出所述臉部圖像；例如，圖像區(qū)域的面積大于預(yù)設(shè)面積閾值及/或圖像區(qū)域的形狀符合預(yù)設(shè)形狀；其中，所述圖像區(qū)域例如為介于預(yù)設(shè)灰階范圍的畫(huà)素區(qū)域。
[0058]步驟S83:所述處理單元1210接著對(duì)比所述臉部圖像與所述臉部特征數(shù)據(jù)庫(kù)以產(chǎn)生臉部特征信息；其中，所述臉部特征例如包含五官、眉毛、下巴、輪廓等至少其中一部分的二維位置。所述處理單元1210例如包含臉部特征檢測(cè)引擎(其可由軟件及/或硬件實(shí)現(xiàn))，用來(lái)對(duì)比出所述臉部圖像中的多個(gè)臉部特征及求出相對(duì)應(yīng)的二維位置。換句話說(shuō)，所述臉部特征信息包含所述臉部圖像中多個(gè)臉部特征的二維位置；其中，所述多個(gè)臉部特征根據(jù)所述臉部特征檢測(cè)引擎所使用的算法或所述臉部特征數(shù)據(jù)庫(kù)所預(yù)存的臉部特征而定，并無(wú)特定限制。
[0059]步驟S84:所述處理單元1210接著對(duì)比所述臉部特征信息與所述臉部幾何數(shù)據(jù)庫(kù)以求出所述攝影機(jī)1200的攝影機(jī)姿勢(shì)，例如三維位置信息。換句話說(shuō)，所述臉部幾何數(shù)據(jù)庫(kù)包含所述多個(gè)臉部特征的三維位置。所述處理單元1210例如包含姿勢(shì)估測(cè)引擎(其可由軟件及/或硬件實(shí)現(xiàn))，其利用三維姿勢(shì)估測(cè)(3D pose estimat1n)算法來(lái)求出所述攝影機(jī)姿勢(shì)。三維姿勢(shì)估測(cè)算法例如可參照論文“Synthesizing stereo 3D views from focuscues in monoscopic 2D images”, Ramon M.Rodriguez-Dagnino、‘‘Globally Optimal 0(n)Solut1n to the PnP Problem for General Camera Models，，，Gerald Schweighofer、“Synthesizing stereo 3D views from focus cues in monoscopic2D images”，RamonM.Rodriguez-Dagnino，但并不以此為限。
[0060]步驟S85:所述處理單元1210最后根據(jù)單一工作圖像的位置信息或連續(xù)工作圖像的位置信息變化進(jìn)行后續(xù)的應(yīng)用控制，例如控制光標(biāo)移動(dòng)、游戲參數(shù)等，并無(wú)特定限制。
[0061]參考圖9，在一實(shí)施例中，使用者可同時(shí)持握兩支遙控器8100與8300，由于各遙控器8100與8300皆可根據(jù)上述方法(圖5或8)建立與所述用戶人體以及背景區(qū)域之間的一個(gè)3D坐標(biāo)空間，因此通過(guò)矩陣轉(zhuǎn)換即可讓兩支遙控器8100與8300的3D坐標(biāo)空間結(jié)合，讓兩支遙控器8100與8300知悉彼此的相對(duì)位置關(guān)系，并進(jìn)而讓使用者可進(jìn)行雙手互動(dòng)或手勢(shì)的操作。
[0062]必須說(shuō)明的是，上述說(shuō)明中，由于攝影機(jī)1200包含在遙控器1000內(nèi)，所述遙控器1000的位置信息即為所述攝影機(jī)1200的位置信息。
[0063]雖然本發(fā)明已通過(guò)前述實(shí)例披露，但是其并非用來(lái)限定本發(fā)明，任何本發(fā)明所屬技術(shù)領(lǐng)域中具有通常知識(shí)的技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動(dòng)與修改。因此本發(fā)明的保護(hù)范圍當(dāng)視后附的權(quán)利要求所界定的范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種互動(dòng)系統(tǒng)，該互動(dòng)系統(tǒng)包含: 遙控器，所述遙控器包含: 攝影機(jī)，用來(lái)獲取包含人體圖像及背景圖像的工作圖像；以及 處理單元，用來(lái)接收所述工作圖像，分析所述工作圖像以取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動(dòng)信息。2.根據(jù)權(quán)利要求1所述的互動(dòng)系統(tǒng)，其中所述互動(dòng)系統(tǒng)還包含顯示器，所述遙控器還包含用來(lái)投射光束至所述顯示器的指示燈，以提示目前操作坐標(biāo)。3.根據(jù)權(quán)利要求2所述的互動(dòng)系統(tǒng)，其中所述攝影機(jī)及所述指示燈設(shè)置于所述遙控器的兩相對(duì)側(cè)。4.根據(jù)權(quán)利要求1所述的互動(dòng)系統(tǒng)，其中所述處理單元用來(lái)比較所述工作圖像與多個(gè)估測(cè)工作圖像的相似度，以決定所述工作圖像的目前坐標(biāo)。5.根據(jù)權(quán)利要求4所述的互動(dòng)系統(tǒng)，其中通過(guò)改變初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度信息而獲得所述多個(gè)估測(cè)工作圖像。6.根據(jù)權(quán)利要求5所述的互動(dòng)系統(tǒng)，其中所述遙控器還包含用來(lái)儲(chǔ)存所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度信息的儲(chǔ)存單元，所述處理單元還用來(lái)根據(jù)所述目前坐標(biāo)更新所述預(yù)設(shè)深度信息。7.根據(jù)權(quán)利要求1所述的互動(dòng)系統(tǒng)，其中所述互動(dòng)系統(tǒng)還包含顯示器，所述遙控器還包含傳輸接口，該傳輸接口用來(lái)輸出所述移動(dòng)信息以相對(duì)控制所述顯示器的光標(biāo)動(dòng)作。8.一種遙控器，該遙控器包含: 攝影機(jī)，用來(lái)獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像； 儲(chǔ)存單元，用來(lái)儲(chǔ)存所述初始工作圖像、相對(duì)所述初始工作圖像的預(yù)設(shè)深度圖及預(yù)設(shè)位置信息；以及 處理單元，用來(lái)改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個(gè)估測(cè)圖像，比較所述多個(gè)估測(cè)圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對(duì)應(yīng)的最佳估測(cè)圖像的位置信息作為所述遙控器的目前位置信息。9.根據(jù)權(quán)利要求8所述的遙控器，其中所述預(yù)設(shè)位置信息及所述目前位置信息包含三維坐標(biāo)及三維傾角。10.根據(jù)權(quán)利要求8所述的遙控器，其中所述處理單元還根據(jù)所述目前位置信息更新所述預(yù)設(shè)深度圖。11.根據(jù)權(quán)利要求8所述的遙控器，其中所述處理單元還用來(lái)分辨所述初始工作圖像及所述目前工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域。12.根據(jù)權(quán)利要求11所述的遙控器，其中所述處理單元比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個(gè)估測(cè)圖像中相對(duì)應(yīng)區(qū)域的相似度。13.根據(jù)權(quán)利要求8所述的遙控器，其中所述遙控器包含彼此相對(duì)的第一側(cè)及第二側(cè)，所述攝影機(jī)設(shè)置于所述第一側(cè)而光源設(shè)置于所述第二側(cè)。14.一種遙控器的運(yùn)作方法，該遙控器包含攝影機(jī)，該運(yùn)作方法包含: 用所述攝影機(jī)獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像； 改變相對(duì)所述初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度圖以產(chǎn)生多個(gè)估測(cè)圖像； 比較所述多個(gè)估測(cè)圖像與所述目前工作圖像以求得最佳估測(cè)圖像；以及 輸出所述最佳估測(cè)圖像相對(duì)應(yīng)的位置信息以作為所述遙控器的目前位置信息。15.根據(jù)權(quán)利要求14所述的運(yùn)作方法，該運(yùn)作方法還包含: 根據(jù)所述目前位置信息更新所述預(yù)設(shè)深度圖。16.根據(jù)權(quán)利要求14所述的運(yùn)作方法，該運(yùn)作方法還包含: 分辨所述初始工作圖像及所述目前工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域。17.根據(jù)權(quán)利要求16所述的運(yùn)作方法，該運(yùn)作方法還包含: 比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個(gè)估測(cè)圖像中相對(duì)應(yīng)區(qū)域的相似度。18.根據(jù)權(quán)利要求17所述的運(yùn)作方法，其中所述相似度通過(guò)計(jì)算所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個(gè)估測(cè)圖像中相對(duì)應(yīng)區(qū)域的相關(guān)性而得到。19.根據(jù)權(quán)利要求14所述的運(yùn)作方法，其中所述最佳估測(cè)圖像為所述多個(gè)估測(cè)圖像中與所述目前工作圖像具有最高相似度的估測(cè)圖像。20.—種互動(dòng)系統(tǒng)，該互動(dòng)系統(tǒng)包含: 遙控器，所述遙控器包含: 攝影機(jī)，用來(lái)獲取包含至少一人體圖像的工作圖像；以及 處理單元，用來(lái)接收所述工作圖像，從所述工作圖像中抽取出臉部圖像，對(duì)比所述臉部圖像與臉部特征數(shù)據(jù)庫(kù)以產(chǎn)生臉部特征信息，對(duì)比所述臉部特征信息與臉部幾何數(shù)據(jù)庫(kù)以求出所述攝影機(jī)的攝影機(jī)姿勢(shì)。21.根據(jù)權(quán)利要求20所述的互動(dòng)系統(tǒng)，其中所述臉部特征信息包含多個(gè)臉部特征的二維位置，所述臉部幾何數(shù)據(jù)庫(kù)包含所述多個(gè)臉部特征的三維位置，所述攝影機(jī)姿勢(shì)包含三維坐標(biāo)及三維傾角。
【文檔編號(hào)】G06K9/00GK105843374SQ201510620811
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2015年9月25日
【發(fā)明人】楊恕先, 程瀚平
【申請(qǐng)人】原相科技股份有限公司