利用移動(dòng)裝置的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)控制的制作方法
【專利摘要】公開了一種用于將來(lái)自用戶的物理輸入轉(zhuǎn)換為虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)環(huán)境中的動(dòng)作的系統(tǒng)和方法。具體實(shí)施例包括：從圖像捕獲子系統(tǒng)中接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)包括至少一個(gè)參考圖像的至少一部分，該至少一個(gè)參考圖像表示一組參考數(shù)據(jù)的一部分；接收該圖像捕獲子系統(tǒng)的位置和方位數(shù)據(jù)，所述位置和方位數(shù)據(jù)表示該參考數(shù)據(jù)的另一部分；當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，通過(guò)數(shù)據(jù)處理器的使用，測(cè)量相對(duì)于該參考數(shù)據(jù)的空間關(guān)系的改變；以及生成虛擬世界中的動(dòng)作，該動(dòng)作對(duì)應(yīng)于所測(cè)量的空間關(guān)系的改變。
【專利說(shuō)明】利用移動(dòng)裝置的虛擬現(xiàn)實(shí)和増強(qiáng)現(xiàn)實(shí)控制
[0001] 優(yōu)先權(quán)專利申請(qǐng)
[0002] 這是要求于2015年2月10日提交的序列號(hào)為第62/114,417號(hào)的共同未決美國(guó)臨時(shí) 專利申請(qǐng)的優(yōu)先權(quán)的非臨時(shí)專利申請(qǐng)。本非臨時(shí)專利申請(qǐng)要求所引用的臨時(shí)專利申請(qǐng)的優(yōu) 先權(quán)。所引用專利申請(qǐng)的整個(gè)公開被當(dāng)作本申請(qǐng)的公開的一部分并因此通過(guò)引用整體結(jié)合 在此。
技術(shù)領(lǐng)域
[0003] 本公開一般地涉及虛擬現(xiàn)實(shí)系統(tǒng)和方法。更具體地，本公開涉及用于將來(lái)自用戶 的物理輸入轉(zhuǎn)換為虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)環(huán)境中的動(dòng)作的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 隨著消費(fèi)電子產(chǎn)品的激增，可穿戴技術(shù)被重新聚焦，其包括例如結(jié)合增強(qiáng)現(xiàn)實(shí) (AR)或虛擬現(xiàn)實(shí)(VR)技術(shù)的可穿戴計(jì)算機(jī)或裝置的創(chuàng)新。AR和VR技術(shù)兩者都涉及為消費(fèi)者 提供體驗(yàn)內(nèi)容的全新方式的計(jì)算機(jī)生成的環(huán)境。在增強(qiáng)現(xiàn)實(shí)中，計(jì)算機(jī)生成的環(huán)境疊加在 現(xiàn)實(shí)世界上(例如，在谷歌眼鏡(Google Glass)?中）。相反，在虛擬現(xiàn)實(shí)中，用戶沉浸在該計(jì) 算機(jī)生成的環(huán)境中（例如，通過(guò)虛擬現(xiàn)實(shí)耳機(jī)例如Oculus Rift?)。
[0005] 然而，現(xiàn)有的AR和VR裝置具有一些缺點(diǎn)。例如，AR裝置通常被限制于顯示信息，并 且可以不具備檢測(cè)真實(shí)世界物理輸入(例如用戶的手勢(shì)或運(yùn)動(dòng)）的能力。另一方面，VR裝置 通常是笨重的且需要連接至電源的電線。具體地，所述線會(huì)約束用戶的移動(dòng)性，并且給用戶 的虛擬現(xiàn)實(shí)體驗(yàn)帶來(lái)負(fù)面影響。

【發(fā)明內(nèi)容】

[0006] 示例實(shí)施例至少解決了在現(xiàn)有增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)裝置中的上述缺點(diǎn)。在各種示 例實(shí)施例中，公開了利用移動(dòng)裝置進(jìn)行虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)控制的系統(tǒng)和方法。具體地， 示例實(shí)施例公開了用于將來(lái)自用戶的物理輸入轉(zhuǎn)換為增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)環(huán)境中的動(dòng)作 的便攜式無(wú)繩光輸入系統(tǒng)和方法，其中該系統(tǒng)也能進(jìn)行現(xiàn)實(shí)生活化身(avatar)控制。
[0007] 根據(jù)示例實(shí)施例的示例系統(tǒng)包括跟蹤裝置、用戶裝置、圖像捕獲裝置和耦接至該 用戶裝置和該圖像捕獲裝置的數(shù)據(jù)轉(zhuǎn)換器。在一個(gè)具體實(shí)施例中，該圖像捕獲裝置獲得跟 蹤裝置上的第一標(biāo)記和第二標(biāo)記的圖像。該數(shù)據(jù)轉(zhuǎn)換器利用所獲得的圖像確定在時(shí)間to處 該第一標(biāo)記和該第二標(biāo)記的參考位置，且測(cè)量在時(shí)間tl處該第一標(biāo)記和該第二標(biāo)記兩者/ 之間的空間關(guān)系的改變，其中該改變由該跟蹤裝置上的用戶輸入生成。該時(shí)間tl是晚于時(shí) 間to的時(shí)間點(diǎn)。該數(shù)據(jù)轉(zhuǎn)換器還確定在時(shí)間tl處該第一標(biāo)記和該第二標(biāo)記兩者/之間的空 間關(guān)系的改變是否落入預(yù)定閾值范圍內(nèi)，并且如果空間關(guān)系的改變落入該預(yù)定閾值范圍 內(nèi)，則在用戶裝置上生成虛擬世界中的動(dòng)作。
[0008] 在一些實(shí)施例中，該圖像捕獲裝置可被配置為獲得跟蹤裝置上的多個(gè)標(biāo)記的參考 圖像，且基于所獲得的圖像跟蹤所述裝置。在這里描述的其他實(shí)施例中，我們將參考圖像或 多個(gè)參考圖像定義為可用于確定空間關(guān)系的改變的更廣參考數(shù)據(jù)集的一部分或一份。在示 例實(shí)施例中，該參考數(shù)據(jù)可包括:1)來(lái)自多個(gè)標(biāo)記的使用的數(shù)據(jù)，所述標(biāo)記的一個(gè)或多個(gè)是 參考圖像(例如，參考數(shù)據(jù)的一部分）；2)來(lái)自一個(gè)標(biāo)記的使用的數(shù)據(jù)，所述標(biāo)記的圖像在多 個(gè)時(shí)刻被采樣，所述圖像樣本的一個(gè)或多個(gè)是參考圖像(例如，該參考數(shù)據(jù)的另一部分）；3) 圖像捕獲裝置的位置/方位數(shù)據(jù)(例如，該參考數(shù)據(jù)的另一部分），空間關(guān)系的改變與該圖像 捕獲裝置的位置/方位數(shù)據(jù)相關(guān)；以及4)跟蹤裝置的位置/方位數(shù)據(jù)(例如，該參考數(shù)據(jù)的另 一部分），空間關(guān)系的改變與跟蹤裝置的位置/方位數(shù)據(jù)相關(guān)。鑒于這里的公開，對(duì)本領(lǐng)域技 術(shù)人員來(lái)說(shuō)將顯而易見的是，該參考數(shù)據(jù)可包括可用于確定空間關(guān)系的改變的其他數(shù)據(jù)分 量。
[0009] 在一些實(shí)施例中，基于該標(biāo)記的可觀察存在，可生成虛擬世界中的動(dòng)作。在那些實(shí) 施例中，在時(shí)間to和tl之間的個(gè)別標(biāo)記的消失和/或重現(xiàn)會(huì)導(dǎo)致在虛擬世界中生成的特定 動(dòng)作。
[0010] 根據(jù)示例實(shí)施例的方法的實(shí)施例包括在跟蹤裝置上獲得第一標(biāo)記和第二標(biāo)記的 圖像，利用所獲得的圖像確定在時(shí)間to處該第一標(biāo)記和該第二標(biāo)記的參考位置，測(cè)量在時(shí) 間tl處該第一標(biāo)記和該第二標(biāo)記兩者/之間的空間關(guān)系的改變，由此該改變由在該跟蹤裝 置上的用戶輸入生成，確定在時(shí)間tl處該第一標(biāo)記和該第二標(biāo)記兩者/之間的空間關(guān)系的 改變是否落入閾值范圍內(nèi)，并且如果該空間關(guān)系的改變落入預(yù)定的閾值范圍內(nèi)，則在該用 戶裝置上生成虛擬世界中的動(dòng)作。
[0011] 結(jié)合通過(guò)示例說(shuō)明示例實(shí)施例的原理的附圖，從下面的詳細(xì)描述中，示例實(shí)施例 的其他方面和優(yōu)點(diǎn)將是顯而易見的。
【附圖說(shuō)明】
[0012] 為了更好地理解這些示例實(shí)施例，應(yīng)當(dāng)結(jié)合附圖參考下面的詳細(xì)描述，其中：
[0013] 圖1圖示了與示例實(shí)施例一致的示例系統(tǒng)的框圖。
[0014] 圖2、3、4、5、6、7、8和9圖示了根據(jù)不同實(shí)施例的用戶裝置。
[0015]圖10、11和12描繪了根據(jù)實(shí)施例的跟蹤裝置的不同透視圖。
[0016]圖13圖示了其裝配前的示例索具(rig)的平面圖。
[0017] 圖14和15圖示了用于圖10、11和12的第一標(biāo)記和第二標(biāo)記的示例圖案。
[0018]圖16、17和18圖示了用戶對(duì)示例系統(tǒng)的操作。
[0019]圖19和20圖示了虛擬世界中生成的示例動(dòng)作，這些動(dòng)作對(duì)應(yīng)于來(lái)自用戶的不同物 理輸入。
[0020] 圖21、22、23、24和25圖示了在示例跟蹤裝置上可用的物理輸入的空間范圍。
[0021]圖26和27圖示了其中使用單個(gè)圖像捕獲裝置的示例系統(tǒng)。
[0022]圖28圖示了圖27的圖像捕獲裝置的視場(chǎng)。
[0023]圖29圖示了當(dāng)調(diào)節(jié)透鏡附接至圖27和28的圖像捕獲裝置時(shí)、視場(chǎng)的增加。
[0024]圖30、31和32圖示了其中多個(gè)用戶在相同虛擬世界中連接的示例系統(tǒng)。
[0025] 圖33、34、35、36、37、38和39圖示了根據(jù)不同實(shí)施例在虛擬世界中生成的示例動(dòng) 作。
[0026]圖40圖示了使用一個(gè)標(biāo)記在虛擬世界中跟蹤用戶的手的示例系統(tǒng)。
[0027]圖41描繪了在各種實(shí)施例中的標(biāo)記的多種配置。圖42圖示了具有利用加速度計(jì)或 計(jì)步器實(shí)現(xiàn)的角色導(dǎo)航的示例實(shí)施例。
[0028]圖43和44描繪了光學(xué)標(biāo)記附接至游戲控制器的實(shí)施例。
[0029]圖45描繪了其中方向控制按鈕和動(dòng)作按鈕集成至跟蹤裝置上的實(shí)施例。
[0030]圖46是圖示了用于將來(lái)自用戶的物理輸入轉(zhuǎn)換至虛擬世界中的動(dòng)作的示例方法 的流程圖。
[0031] 圖47是圖示了如這里描述的方法的示例實(shí)施例的處理流程圖；以及
[0032] 圖48示出了按照移動(dòng)計(jì)算和/或通信系統(tǒng)的示例形式的機(jī)器的圖解表示，其中指 令集被執(zhí)行時(shí)和/或處理邏輯被激活時(shí)可促使該機(jī)器執(zhí)行這里描述和/或要求保護(hù)的方法 的任意一個(gè)或多個(gè)。
【具體實(shí)施方式】
[0033]現(xiàn)在將對(duì)附圖中圖示的示例實(shí)施例進(jìn)行詳細(xì)參考。只要可能，將貫穿附圖使用相 同的附圖標(biāo)記來(lái)指示相同或相似的部分。
[0034] 這里公開的方法和系統(tǒng)解決了上述需求。例如，這里公開的方法和系統(tǒng)能將來(lái)自 用戶的物理輸入轉(zhuǎn)換為虛擬世界中的動(dòng)作。該方法和系統(tǒng)能在低功率移動(dòng)裝置和/或3D顯 示裝置上實(shí)現(xiàn)。該方法和系統(tǒng)也能使能現(xiàn)實(shí)生活化身控制。該虛擬世界可包括提供給該用 戶的視覺(jué)環(huán)境，且可以基于增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)。
[0035] 在一個(gè)實(shí)施例中，提供了用于移動(dòng)裝置的無(wú)繩便攜式輸入系統(tǒng)。用戶可使用該系 統(tǒng)來(lái)：（1)輸入精確和高分辨率的位置和方位數(shù)據(jù)；（2)用真實(shí)的一對(duì)一反饋調(diào)用（invoke) 模擬動(dòng)作(例如，腳踏或抓取）；（3)使用多個(gè)交互模式以執(zhí)行虛擬世界中的多個(gè)任務(wù)或控制 現(xiàn)實(shí)生活化身(例如，機(jī)器人）；和/或(4)基于虛擬世界中的動(dòng)作接收觸覺(jué)反饋。
[0036] 該系統(tǒng)是輕量級(jí)的且低成本的，且因此作為便攜式虛擬現(xiàn)實(shí)系統(tǒng)是理想的。該系 統(tǒng)也能用作多用戶環(huán)境例如劇場(chǎng)中的可再循環(huán)的用戶裝置。該系統(tǒng)采用具有多個(gè)圖像標(biāo)記 的跟蹤裝置作為輸入機(jī)構(gòu)。這些標(biāo)記能利用移動(dòng)裝置上的攝像頭跟蹤，以獲得虛擬現(xiàn)實(shí)世 界中的指針的位置和方位數(shù)據(jù)。該系統(tǒng)能用在各種領(lǐng)域包括游戲、醫(yī)療、建筑或軍事領(lǐng)域。
[0037] 圖1圖示了與示例實(shí)施例一致的示例系統(tǒng)100的框圖。如圖1所示，系統(tǒng)100可包括 媒體源10、用戶裝置12、輸出裝置14、數(shù)據(jù)轉(zhuǎn)換器16、圖像捕獲裝置18和跟蹤裝置20。每個(gè)組 件10、12、14、16和18可操作地經(jīng)由網(wǎng)絡(luò)或允許數(shù)據(jù)從一個(gè)組件到另一組件傳輸?shù)娜魏晤愋?的通信鏈路彼此連接。該網(wǎng)絡(luò)可包括局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)、藍(lán)牙、和/或近場(chǎng)通信 (NFC)技術(shù)，且可以是無(wú)線、有線或其組合。媒體源10可以是能夠存儲(chǔ)成像數(shù)據(jù)例如視頻或 靜態(tài)圖像的任何類型的存儲(chǔ)媒體。視頻或靜態(tài)圖像可在輸出裝置14上渲染的虛擬世界中顯 示。例如，媒體源10能被提供為⑶、DVD、藍(lán)光盤、硬盤、磁帶、閃存卡/驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器、易 失性或非易失性存儲(chǔ)器、全息數(shù)據(jù)存儲(chǔ)器、和任何其他類型的存儲(chǔ)媒體。媒體源10也可以是 能夠提供成像數(shù)據(jù)至用戶裝置12的計(jì)算機(jī)。
[0038] 作為另一示例，媒體源10能夠是網(wǎng)絡(luò)服務(wù)器、公司服務(wù)器或任何其他類型的計(jì)算 機(jī)服務(wù)器。媒體源10能夠是這樣的計(jì)算機(jī)，其被編程以從用戶裝置12接受請(qǐng)求(例如，HTTP、 或能啟動(dòng)數(shù)據(jù)傳輸?shù)钠渌麉f(xié)議)并用所請(qǐng)求的成像數(shù)據(jù)來(lái)服務(wù)用戶裝置12。此外，媒體源10 能夠是用于分發(fā)成像數(shù)據(jù)的廣播設(shè)施，例如免費(fèi)播送、線纜、衛(wèi)星和其他廣播設(shè)施。該媒體 源10也可以是數(shù)據(jù)網(wǎng)絡(luò)(例如，云計(jì)算網(wǎng)絡(luò)）中的服務(wù)器。
[0039] 用戶裝置12能夠是例如，虛擬現(xiàn)實(shí)耳機(jī)、頭戴式裝置(HMD)、蜂窩電話或智能電話、 個(gè)人數(shù)字助理(PDA)、計(jì)算機(jī)、膝上型電腦、平板PC、媒體內(nèi)容播放器、視頻游戲站/系統(tǒng)、或 能提供或渲染成像數(shù)據(jù)的任何電子裝置。用戶裝置12可包括允許用戶裝置12與網(wǎng)絡(luò)或本地 存儲(chǔ)媒體通信、并從網(wǎng)絡(luò)或本地存儲(chǔ)媒體接收成像數(shù)據(jù)的軟件應(yīng)用程序。如上提及的，用戶 裝置12能從媒體源10接收數(shù)據(jù)，上面提供了其示例。
[0040] 作為另一示例，用戶裝置12能夠是網(wǎng)絡(luò)服務(wù)器、公司服務(wù)器或任何其他類型的計(jì) 算機(jī)服務(wù)器。用戶裝置12能夠是這樣的計(jì)算機(jī)，其被編程以接受用于將來(lái)自用戶的物理輸 入轉(zhuǎn)換為虛擬世界中的動(dòng)作的請(qǐng)求(例如，HTTP、或能啟動(dòng)數(shù)據(jù)傳輸?shù)钠渌麉f(xié)議），并提供由 數(shù)據(jù)轉(zhuǎn)換器16生成的虛擬世界中的動(dòng)作。在一些實(shí)施例中，用戶裝置12能夠是用于分發(fā)成 像數(shù)據(jù)(包括虛擬世界中3D格式的成像數(shù)據(jù)）的廣播設(shè)施，例如免費(fèi)播送、線纜、衛(wèi)星、和其 他廣播設(shè)施。
[0041] 在圖1的示例中，數(shù)據(jù)轉(zhuǎn)換器16能被實(shí)現(xiàn)為由處理器和/或硬件執(zhí)行的軟件程序， 其基于來(lái)自用戶的物理輸入將模擬數(shù)據(jù)轉(zhuǎn)換為虛擬世界中的動(dòng)作。虛擬世界中的動(dòng)作能夠 被描繪在2D或3D格式的視頻幀或靜態(tài)圖像之一中，能夠是現(xiàn)實(shí)生活和/或動(dòng)畫的，能夠是彩 色的、黑/白、或灰度色標(biāo)，且能夠在任何顏色空間中。
[0042]輸出裝置14可以是顯示裝置例如顯示板、監(jiān)視器、電視、投影儀或任何其他顯示裝 置。在一些實(shí)施例中，輸出裝置14可以是例如蜂窩電話或智能電話、個(gè)人數(shù)字助理(PDA)、計(jì) 算機(jī)、膝上型電腦、桌面型電腦、平板PC、媒體內(nèi)容播放器、機(jī)頂盒、包括廣播調(diào)諧器的電視 機(jī)、視頻游戲站/系統(tǒng)、或能訪問(wèn)數(shù)據(jù)網(wǎng)絡(luò)和/或接收成像數(shù)據(jù)的任何電子裝置。
[0043]圖像捕獲裝置18可以是例如，物理成像裝置例如相機(jī)。在一個(gè)實(shí)施例中，該圖像捕 獲裝置18可以是移動(dòng)裝置上的相機(jī)。圖像捕獲裝置18可以配置為捕獲關(guān)聯(lián)于跟蹤裝置20的 成像數(shù)據(jù)。該成像數(shù)據(jù)可對(duì)應(yīng)于例如跟蹤裝置20上的標(biāo)記圖案的靜態(tài)圖像或視頻幀。圖像 捕獲裝置18可提供所捕獲的成像數(shù)據(jù)至數(shù)據(jù)轉(zhuǎn)換器16用于數(shù)據(jù)處理/轉(zhuǎn)換，從而在用戶裝 置12上生成虛擬世界中的動(dòng)作。
[0044] 在一些實(shí)施例中，圖像捕獲裝置18可以延伸超出物理成像裝置。例如，圖象捕獲裝 置18可以包括能捕獲和/或生成跟蹤裝置20上的標(biāo)記圖案的圖像的任何技術(shù)。在一些實(shí)施 例中，圖像捕獲裝置18可參考能處理從另一物理裝置獲得的圖像的算法。
[0045] 雖然在圖1中示出為可操作連接的單獨(dú)組件，但是媒體源10、用戶裝置12、輸出裝 置14、數(shù)據(jù)轉(zhuǎn)換器16和圖像捕獲裝置18中的任意一個(gè)或全部可以共同位于一個(gè)裝置中。例 如，媒體源10可以位于用戶裝置12或輸出裝置14內(nèi)、或者形成用戶裝置12或輸出裝置14的 部分，輸出裝置14可以位于用戶裝置12內(nèi)、或者形成用戶裝置12的部分，數(shù)據(jù)轉(zhuǎn)換器16可以 位于媒體源10、用戶裝置12、輸出裝置14或圖像捕獲裝置內(nèi)、或者形成媒體源10、用戶裝置 12、輸出裝置14或圖像捕獲裝置的部分，以及圖像捕獲裝置18可以位于用戶裝置12或輸出 裝置14內(nèi)、或者形成用戶裝置12或輸出裝置14的部分。可以理解圖1中示出的配置僅僅出于 說(shuō)明的目的。特定的組件或裝置可被移除或組合，且其他組件或裝置可被增加。
[0046] 在圖1的實(shí)施例中，跟蹤裝置20可以是被圖像捕獲裝置18實(shí)時(shí)光學(xué)跟蹤的任何物 理對(duì)象或結(jié)構(gòu)。該跟蹤裝置20可以包括例如可以在圖像捕獲裝置18捕獲的圖像中容易地檢 測(cè)到的唯一標(biāo)記圖案。通過(guò)使用可容易地檢測(cè)的標(biāo)記圖案，可以避免復(fù)雜且計(jì)算開銷很大 的圖像處理。光學(xué)跟蹤具有幾個(gè)優(yōu)點(diǎn)。例如，光學(xué)跟蹤考慮到無(wú)線"傳感器"，不易受噪聲影 響，且允許同時(shí)跟蹤很多對(duì)象(例如，各種標(biāo)記圖案）。
[0047]圖像捕獲裝置18和跟蹤裝置20之間的交互是通過(guò)視徑(在圖1中由虛線指示）。注 意到，跟蹤裝置20不可操作地連接至圖1中的任意其他組件。替代的，跟蹤裝置20是可由用 戶操作的獨(dú)立物理對(duì)象或結(jié)構(gòu)。例如，跟蹤裝置20可以以允許該跟蹤裝置20被圖像捕獲裝 置18光學(xué)跟蹤的方式由用戶的手/胳膊抓住或附接到用戶的手/胳膊。在一些實(shí)施例中，該 跟蹤裝置20可配置為提供觸覺(jué)反饋至用戶，其中該觸覺(jué)反饋基于接收自用戶的模擬輸入。 該模擬輸入可對(duì)應(yīng)于例如該跟蹤裝置20上的光學(xué)標(biāo)記的平移或旋轉(zhuǎn)。任何類型、范圍和幅 度的運(yùn)動(dòng)被預(yù)期。
[0048]接下來(lái)，根據(jù)實(shí)施例的該用戶裝置20將參考圖2、3、4、5和6被描述。參照?qǐng)D2,按照 虛擬現(xiàn)實(shí)頭戴式裝置(HMD)的形式提供該用戶裝置12。圖2圖示了用戶穿戴該用戶裝置12且 單手操作該跟蹤裝置20。圖3圖示了組裝狀態(tài)下用戶裝置12的不同透視圖。該用戶裝置12包 括HMD外殼12-1、透鏡組件12-2、輸出裝置14(未示出）、以及該圖像捕獲裝置18。如先前提及 的，該用戶裝置12、輸出裝置14和圖象捕獲裝置18可以共同位于一個(gè)裝置中（例如，圖2和3 的虛擬HMD)。圖3的用戶裝置12中的組件將參考圖4、5和6更詳細(xì)地描述。具體地，圖4和5圖 示了預(yù)組裝狀態(tài)下的用戶裝置12,而圖6圖示了用戶對(duì)用戶裝置12的操作。在圖2至6的實(shí)施 例中，該圖像捕獲裝置18位于該輸出裝置14上。
[0049] 參考圖4、5和6,該HMD外殼12-1包括用于將該用戶裝置12安裝到用戶頭部的頭帶 12-1S、用于附接該透鏡組件12-2的位置12-1A、用于暴露該圖像捕獲裝置18的透鏡的洞12-1C、用于用戶左眼的左眼洞12-1L、用于用戶右眼的右眼洞12-1R、以及用于放置用戶的鼻子 的洞12-1N。該HMD外殼12-1可以由各種材料制作，例如泡沫橡膠、氯丁橡膠(Neoprene)?、織 物等。該泡沫橡膠可包括例如，由乙稀乙酸乙稀酯(Ethylene Vinyl Acetate，EVA)制成的 泡沫片。
[0050] 該透鏡組件12-2配置為保持該輸出裝置14。在該輸出裝置14上顯示的圖像可以劃 分為左眼圖像14L和右眼圖像14R。在該輸出裝置14上顯示的圖像可以是虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn) 實(shí)世界的圖像。該透鏡組件12-2包括用于為用戶的左眼聚焦該左眼圖像14L的左眼透鏡12-2L、用于為用戶的右眼聚焦該右眼圖像14R的右眼透鏡12-2R、以及用于容納（seat)用戶的 鼻子的洞12-2N。該左和右眼透鏡12-2L和12-2R可包括任何類型的光學(xué)聚焦透鏡，例如凸 透鏡或凹透鏡。當(dāng)用戶透過(guò)該左和右眼孔洞12-1L和12-1R來(lái)看時(shí)，該用戶的左眼將看到該 左眼圖像14L(如由左眼透鏡12-2L所聚焦的），而該用戶的右眼將看到該右眼圖像14R(如由 右眼透鏡12-2R所聚焦的）。
[0051] 在一些實(shí)施例中，該用戶裝置12還可包括用于控制在該輸出裝置14上生成的圖像 的觸發(fā)(toggle)按鈕(未示出）。如先前提到的，該媒體源10和數(shù)據(jù)轉(zhuǎn)換器16可位于該用戶 裝置12中或遠(yuǎn)離該用戶裝置12。
[0052]為了組裝該用戶裝置12,該輸出裝置14(包括該圖像捕獲裝置18)和該透鏡組件 12-2被首先放置在該HMD外殼12-1上的他們的指定位置。隨后該HMD外殼12-1以圖4的右圖 所示的方式折疊。具體地，該HMD外殼12-1被折疊從而該左和右孔洞12-1L和12-1R分別與左 和右眼透鏡12-2L和12-2R對(duì)齊，洞12-1N與洞12-2N對(duì)齊，且該洞12-1C露出該圖像捕獲裝置 18的透鏡。一個(gè)頭帶12-1S也可附接至另一頭帶12-1S(例如使用Velcro?、按鈕、捆縛裝置 等)從而將該用戶裝置12安裝至該用戶的頭部。
[0053]在一些實(shí)施例中，該透鏡組件12-2可被提供作為可折疊的透鏡組件，例如如在圖5 中所示。在那些實(shí)施例中，當(dāng)該用戶裝置12不在使用時(shí)，用戶可從該HMD外殼12-1上拆卸該 透鏡組件12-2,且還可從該透鏡組件12-2上移除該輸出裝置14。因此，該用戶可舉起蓋子 12-2F且將該透鏡組件12-2折疊成扁平的二維形狀以易于存儲(chǔ)。同樣，該HMD外殼12-1也可 被折疊為扁平的二維形狀以易于存儲(chǔ)。相應(yīng)地，該HMD外殼12-1和該透鏡組件12-2可連同該 輸出裝置14和圖像捕獲裝置18(其可在智能電話中提供)一起被相對(duì)壓縮以適合口袋、錢包 或任何類型的個(gè)人提包。如此，該用戶裝置12是高度便攜的，且可容易地到處攜帶。此外，通 過(guò)使該HMD外殼12-1可拆卸，用戶可交換且使用具有不同個(gè)性化設(shè)計(jì)圖案的各種HMD外殼 12_1(類似于為移動(dòng)電話交換不同的保護(hù)殼）。此外，由于該HMD外殼12-1是可拆卸的，所以 其在使用后易于清洗或回收。
[0054] 在一些實(shí)施例中，該用戶裝置12可包括將該用戶裝置12耦接至該跟蹤裝置20的反 饋生成器12-1F。具體地，當(dāng)該用戶操作該用戶裝置12和跟蹤裝置20時(shí)，該反饋生成器12-1F 可與不同的觸覺(jué)反饋機(jī)制聯(lián)合使用，以提供觸覺(jué)反饋給用戶。
[0055] 還注意到，該HMD外殼12-1可被裝備不同數(shù)量的頭帶12-1S。在一些實(shí)施例中，該 HMD外殼12-1可包括兩個(gè)頭帶12-1S(例如參見圖7)。在另外的實(shí)施例中，該HMD外殼12-1可 包括三個(gè)頭帶12-1S(例如參見圖8)從而更安全地將該用戶裝置12安裝至該用戶頭部?？深A(yù) 期任意數(shù)目的頭帶。在一些替換實(shí)施例中，若該虛擬現(xiàn)實(shí)HMD已經(jīng)具有安裝機(jī)制（例如參見 圖9)，則該HMD外殼12-1不需要具有頭帶。在示例實(shí)施例中，為了確保用戶能用他們的全身 體驗(yàn)VR，頭部掛載索具可以用彈性材料片制作，以將該VR閱讀器舒適地掛載在用戶頭部上。 [0056]圖10、11和12描繪了根據(jù)實(shí)施例的跟蹤裝置的不同透視圖。參考圖10,跟蹤裝置20 包括索具22和光學(xué)標(biāo)記24。該跟蹤裝置20被設(shè)計(jì)為保持多個(gè)光學(xué)標(biāo)記24,且當(dāng)用戶提供物 理輸入至跟蹤裝置20時(shí)(例如通過(guò)推、拉、彎曲、旋轉(zhuǎn)等），改變它們的空間關(guān)系。該索具22包 括手柄22-1、扳機(jī)22-2和標(biāo)記固定器22-3。該手柄22-1可按照人體工程學(xué)設(shè)計(jì)以適合用戶 的手從而該用戶可舒服地抓住該索具22。該扳機(jī)22-2被放置于一位置從而當(dāng)抓住該手柄 22-1時(shí)用戶可滑動(dòng)手指(例如食指)至該扳機(jī)22-2的洞中。該標(biāo)記固定器22-3作為用于保持 該光學(xué)標(biāo)記24的基座。在一個(gè)實(shí)施例中，該索具22和該光學(xué)標(biāo)記24可分開形成，且隨后通過(guò) 附接該光學(xué)標(biāo)記24至該標(biāo)記固定器22-3而被組裝在一起。該光學(xué)標(biāo)記24可使用任何用于附 接的部件例如Velcro?、膠水、粘合帶、釘、螺釘、螺栓、彈性扣合(plastic snapf its)、銜接 機(jī)制等附接至該標(biāo)記固定器22-3。
[0057]該光學(xué)標(biāo)記24包括含有光學(xué)圖案"A"的第一標(biāo)記24-1和含有光學(xué)圖案"B"的第二 標(biāo)記24-2。光學(xué)圖案"A"和"B"可以是能由圖像捕獲裝置18容易地成像和跟蹤的獨(dú)特圖案。 具體地，當(dāng)用戶握住跟蹤裝置20時(shí)，該圖像捕獲裝置18可跟蹤至少一個(gè)光學(xué)標(biāo)記24以獲得 用戶的手在真實(shí)世界中的位置和方位。此外，光學(xué)標(biāo)記24之間的空間關(guān)系提供能被映射成 虛擬世界中不同動(dòng)作的模擬值。
[0058] 盡管在圖10、11和12的示例中圖示了兩個(gè)光學(xué)標(biāo)記24,但是應(yīng)當(dāng)注意到示例實(shí)施 例不限于僅僅兩個(gè)光學(xué)標(biāo)記。例如，在另外的實(shí)施例中，該跟蹤裝置20可包括三個(gè)或更多光 學(xué)標(biāo)記24。在可選實(shí)施例中，該跟蹤裝置20可僅包括一個(gè)光學(xué)標(biāo)記24。
[0059] 參考圖12,該跟蹤裝置20還包括用于操縱該光學(xué)標(biāo)記24的驅(qū)動(dòng)機(jī)制22-4。具體地， 該驅(qū)動(dòng)機(jī)制22-4可相對(duì)于彼此移動(dòng)光學(xué)標(biāo)記24(例如，通過(guò)平移、旋轉(zhuǎn)等），從而改變光學(xué)標(biāo) 記24之間的空間關(guān)系，如說(shuō)明書中詳細(xì)描述的那樣。
[0060] 在圖12的示例中，該驅(qū)動(dòng)機(jī)制22-4以附接至索具22上的各個(gè)點(diǎn)的橡皮帶的形式提 供。當(dāng)用戶用他的手指按下扳機(jī)22-2時(shí)，該驅(qū)動(dòng)機(jī)制22-4將該第二標(biāo)記24-2移動(dòng)至相對(duì)于 該第一標(biāo)記24-1的新位置。當(dāng)該用戶釋放該扳機(jī)22-2時(shí)，由于該橡皮帶的彈性，該第二標(biāo)記 24-2移回至其原始位置。特別地，可使用提供彈性范圍得橡皮帶，從而當(dāng)用戶按下和釋放該 扳機(jī)22-2時(shí)，在各種條件下提供足夠的張力(從而，觸覺(jué)反饋至用戶）。用于提供觸覺(jué)反饋的 不同實(shí)施例將參考圖43、44、45和17稍后在說(shuō)明書中更詳細(xì)地描述。
[0061] 盡管上面已經(jīng)描述了橡皮帶驅(qū)動(dòng)機(jī)制，但是應(yīng)當(dāng)注意到該驅(qū)動(dòng)機(jī)制22-4不限于橡 皮帶。該驅(qū)動(dòng)機(jī)制22-4可包括能夠在索具22上相對(duì)于彼此移動(dòng)該光學(xué)標(biāo)記24的任何機(jī)制。 在一些實(shí)施例中，該驅(qū)動(dòng)機(jī)制22-4可以例如是彈性加載機(jī)制、空氣活塞機(jī)制（由氣壓驅(qū)動(dòng)）、 電池操作馬達(dá)裝置等。
[0062] 圖13圖示了其裝配前的示例索具的二維視圖。在圖10、11和12的示例中，該索具22 可由卡板制作。首先，索具22的二維布局（圖13中所示)形成在一片卡板上，隨后沿著其虛線 折疊以形成三維索具22。隨后該驅(qū)動(dòng)機(jī)制22-4(橡皮帶)被附接至指示為"橡皮帶"的區(qū)域。 為了提高耐久性且承受大量使用，索具22可以由更強(qiáng)的材料例如木材、塑料、金屬等制成。 [00 63]圖14和15圖示了用于光學(xué)標(biāo)記的示例圖案。具體地，圖14圖示了用于第一標(biāo)記24-1的光學(xué)圖案"A"，而圖15圖示了用于第二標(biāo)記24-2的光學(xué)圖案"B"。如先前提到的，光學(xué)圖 案"A"和"B"是易于由圖像捕獲裝置18成像和跟蹤的獨(dú)特的圖案。該光學(xué)圖案"A"和"B"可以 是黑白圖案或彩色圖案。為了形成光學(xué)標(biāo)記24,該光學(xué)圖案"A"和"B"可使用例如噴墨或激 光打印機(jī)被打印在白紙卡上，且被附接至該標(biāo)記固定器22-3。在光學(xué)圖案"A"和"B"是彩色 圖案的那些實(shí)施例中，該彩色圖案可通過(guò)在白紙卡上打印反射/發(fā)射不同波長(zhǎng)光的材料而 形成，且該圖像捕獲裝置18可以配置為檢測(cè)不同波長(zhǎng)的光。圖14和15中的光學(xué)標(biāo)記已被發(fā) 現(xiàn)一般在明亮環(huán)境中能很好地工作。然而，該光學(xué)標(biāo)記24可通過(guò)使用其它材料例如在黑暗 中發(fā)光的材料(例如草酸二苯酯(diphenyl oxalate)-Cyalume?)、發(fā)光二極管(LED)、熱敏 材料(可由紅外相機(jī)檢測(cè)的）等被修改用于低光和黑暗的環(huán)境。因此，該光學(xué)標(biāo)記24可被用 于通過(guò)使用特殊的材料和技術(shù)(例如熱成像)來(lái)檢測(cè)在不可見范圍內(nèi)的光（例如，紅外線 和/或紫外線）。
[0064] 應(yīng)當(dāng)注意到該光學(xué)標(biāo)記24不僅僅限于二維卡。在一些其它實(shí)施例中，該光學(xué)標(biāo)記 24可以是三維對(duì)象。一般地，該光學(xué)標(biāo)記24可以包括具有一個(gè)或多個(gè)可識(shí)別結(jié)構(gòu)或圖案的 任何對(duì)象。同樣，預(yù)期任何形狀或尺寸的光學(xué)標(biāo)記24。
[0065]在圖14和15的實(shí)施例中，該光學(xué)標(biāo)記24無(wú)源地反射光。然而，示例實(shí)施例并不限于 此。在一些其它實(shí)施例中，該光學(xué)標(biāo)記24也可有源地發(fā)射光，例如通過(guò)使用用于該光學(xué)標(biāo)記 24的發(fā)光二極管(LED)板。
[0066] 在一些實(shí)施例中，當(dāng)該跟蹤裝置20沒(méi)有在使用時(shí)，用戶可從該標(biāo)記固定器22-3中 拆卸該光學(xué)標(biāo)記24,且將該索具22折疊回扁平的二維形狀以易于存儲(chǔ)。該折疊的索具22和 光學(xué)標(biāo)記24可被相對(duì)壓縮以適合口袋、錢包或任何類型的個(gè)人提包。如此，該跟蹤裝置20是 高度便攜的，且可容易地與用戶裝置12-起到處攜帶。在一些實(shí)施例中，跟蹤裝置20和用戶 裝置12可被一起折疊以最大化便攜性。
[0067]圖16、17和18圖示了用戶對(duì)示例系統(tǒng)的操作。參考圖16,用戶裝置12按照虛擬現(xiàn)實(shí) 頭載裝置(HMD)的形式提供，具有在該用戶裝置12中合并的輸出裝置14和圖像捕獲裝置18。 該用戶裝置12可對(duì)應(yīng)于圖2和3中描繪的實(shí)施例。如先前所提及的，媒體源10和數(shù)據(jù)轉(zhuǎn)換器 16可位于用戶裝置12中或遠(yuǎn)離用戶裝置12。如圖16中所示，該跟蹤裝置20可被握在用戶手 中。在系統(tǒng)操作期間，因?yàn)樵摳櫻b置20不需要通過(guò)線路物理地連接至該用戶裝置12，所以 用戶的移動(dòng)性不受限制。如此，該用戶獨(dú)立于用戶裝置12到處自由地移動(dòng)該跟蹤裝置20。 [00 68] 參考圖17,用戶的手指從該扳機(jī)22-2處釋放，且該第一標(biāo)記24-1和第二標(biāo)記24-2 被布置在相對(duì)于彼此的初始位置。該初始位置對(duì)應(yīng)于該光學(xué)標(biāo)記24的參考位置。該初始位 置也提供世界空間中用戶的手的近似位置。當(dāng)光學(xué)標(biāo)記24位于該圖像捕獲裝置18的視場(chǎng)中 時(shí)，光學(xué)標(biāo)記24的第一組圖像由圖像捕獲裝置18捕獲。光學(xué)標(biāo)記24的參考位置可利用第一 組圖像由數(shù)據(jù)轉(zhuǎn)換器16確定。在一個(gè)實(shí)施例中，真實(shí)世界空間中用戶的手的位置可通過(guò)跟 蹤第一標(biāo)記24-1而獲得。
[0069]參考圖18，用戶通過(guò)在扳機(jī)22-2上按下其手指來(lái)提供物理輸入至跟蹤裝置20，這 導(dǎo)致該驅(qū)動(dòng)機(jī)制22-4將該第二標(biāo)記24-2移動(dòng)至相對(duì)于第一標(biāo)記24-1的新位置。在一些實(shí) 施例中，該驅(qū)動(dòng)機(jī)制22-4可相對(duì)于彼此同時(shí)移動(dòng)第一標(biāo)記24-1和第二標(biāo)記24-2兩者。因此， 在那些實(shí)施例中，可獲得第一標(biāo)記24-1和第二標(biāo)記24-2之間的空間關(guān)系的更大改變。預(yù)期 運(yùn)動(dòng)的任何類型、范圍和幅度。
[0070]隨后光學(xué)標(biāo)記24的第二組圖像由圖像捕獲裝置18捕獲。該光學(xué)標(biāo)記24的新位置由 該數(shù)據(jù)轉(zhuǎn)換器16利用該第二組捕獲的圖像確定。隨后，由于來(lái)自用戶的物理輸入導(dǎo)致的第 一標(biāo)記24-1和第二標(biāo)記24-2之間的空間關(guān)系的改變由該數(shù)據(jù)轉(zhuǎn)換器16利用光學(xué)標(biāo)記24的 新和參考位置之間的差別和/或光學(xué)標(biāo)記24的兩個(gè)新位置之間的差別而被計(jì)算。接著該數(shù) 據(jù)轉(zhuǎn)換器16將光學(xué)標(biāo)記24之間空間關(guān)系的改變轉(zhuǎn)換成在用戶裝置12上渲染的虛擬世界中 的動(dòng)作。該動(dòng)作可以包括例如扳機(jī)動(dòng)作、抓取動(dòng)作、觸發(fā)動(dòng)作等。在一些實(shí)施例中，虛擬世界 中的動(dòng)作可基于標(biāo)記的可觀察表現(xiàn)而被生成。在那些實(shí)施例中，時(shí)間to和tl之間的個(gè)別標(biāo) 記的消失和/或重現(xiàn)會(huì)導(dǎo)致在虛擬世界中生成的特定動(dòng)作，其中時(shí)間tl是在時(shí)間to后面出 現(xiàn)的時(shí)間點(diǎn)。例如，在一個(gè)特定實(shí)施例中，可有包括第一標(biāo)記、第二標(biāo)記、第三標(biāo)記和第四標(biāo) 記的四個(gè)標(biāo)記。用戶可通過(guò)掩蓋第一標(biāo)記生成虛擬世界中的第一動(dòng)作，通過(guò)掩蓋第二標(biāo)記 生成虛擬世界中的第二動(dòng)作等等。這些標(biāo)記可使用各種方法從視圖中掩蓋。例如，可通過(guò)利 用由不透明材料制成的卡片阻擋標(biāo)記，或通過(guò)將標(biāo)記移出該圖像捕獲裝置的視場(chǎng)，來(lái)掩蓋 這些標(biāo)記。由于前述實(shí)施例是基于標(biāo)記的可觀察存在的（即存在或不存在），因此這些實(shí)施 例非常適合二進(jìn)制輸入從而生成例如觸發(fā)或開關(guān)動(dòng)作。
[0071 ]應(yīng)當(dāng)注意到標(biāo)記的空間關(guān)系或標(biāo)記之間的空間關(guān)系的改變包括每個(gè)標(biāo)記的空間 改變、以及兩個(gè)或更多標(biāo)記之間的空間差別。預(yù)期任何類型的空間關(guān)系的改變。例如，在這 里描述的各種實(shí)施例中，我們將參考圖像或多個(gè)參考圖像定義為可用于確定空間關(guān)系的改 變的參考數(shù)據(jù)的更廣集合的一部分或一份。在示例實(shí)施例中，該參考數(shù)據(jù)可包括:1)來(lái)自多 個(gè)標(biāo)記的使用的數(shù)據(jù)，所述標(biāo)記的一個(gè)或多個(gè)是參考圖像(例如，參考數(shù)據(jù)的一部分）；2)來(lái) 自一個(gè)標(biāo)記的使用的數(shù)據(jù)，所述標(biāo)記的圖像在多個(gè)時(shí)刻被采樣，所述圖像樣本的一個(gè)或多 個(gè)是參考圖像(例如，該參考數(shù)據(jù)的另一部分）；3)圖像捕獲裝置的位置/方位數(shù)據(jù)(例如，該 參考數(shù)據(jù)的另一部分），空間關(guān)系的改變與該圖像捕獲裝置的位置/方位數(shù)據(jù)相關(guān)；以及4) 跟蹤裝置的位置/方位數(shù)據(jù)(例如，該參考數(shù)據(jù)的另一部分），空間關(guān)系的改變與跟蹤裝置 的位置/方位數(shù)據(jù)相關(guān)。鑒于本公開，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)將顯而易見的是，該參考數(shù)據(jù) 可包括可用于確定空間關(guān)系的改變的其他數(shù)據(jù)分量。
[0072]圖19和20圖示了對(duì)應(yīng)于光學(xué)標(biāo)記的參考和新位置、在用戶裝置上的虛擬世界中的 視覺(jué)輸出。在圖19和20中，虛擬世界25被顯示在用戶裝置12的輸出裝置14上。虛擬對(duì)象26 (以虛擬的手的形狀)被提供在虛擬世界25中。參考圖19,當(dāng)光學(xué)標(biāo)記24在它們的參考位置 處時(shí)（由此該第二標(biāo)記24-2緊鄰該第一標(biāo)記24-1而在標(biāo)記之間沒(méi)有任何間隙），該虛擬對(duì)象 26處于"打開"的位置26-1。參考圖20,當(dāng)光學(xué)標(biāo)記24在它們的新位置處時(shí)（由此該第二標(biāo)記 24-2相對(duì)于該第一標(biāo)記24-1旋轉(zhuǎn)角度0)，該第一標(biāo)記24-1和第二標(biāo)記24-2之間的空間關(guān)系 的改變由數(shù)據(jù)轉(zhuǎn)換器16轉(zhuǎn)換成虛擬世界25中的動(dòng)作。為了視覺(jué)地指示已發(fā)生了該動(dòng)作，該 虛擬對(duì)象26從"打開"位置26-1改變至"關(guān)閉"位置26-2。在圖20的示例中，"關(guān)閉"位置26-2 對(duì)應(yīng)于抓取動(dòng)作，其中該虛擬的手呈緊握拳頭的形狀。在一些其他實(shí)施例中，該"關(guān)閉"位置 26-2可以對(duì)應(yīng)于扳機(jī)動(dòng)作、觸發(fā)動(dòng)作或虛擬世界25中的任何其他動(dòng)作或移動(dòng)。
[0073]圖21、22、23和24圖示了在示例跟蹤裝置上可用的物理輸入的空間范圍。
[0074] 參考圖21，光學(xué)標(biāo)記24在它們的參考位置。這些參考位置可對(duì)應(yīng)于光學(xué)標(biāo)記24的 默認(rèn)位置（即，當(dāng)沒(méi)有從用戶處接收物理輸入時(shí)的光學(xué)標(biāo)記24的位置）。當(dāng)光學(xué)標(biāo)記24在其 參考位置處時(shí)，該扳機(jī)22-2和驅(qū)動(dòng)機(jī)制22-4沒(méi)有被激活。如先前參考圖19所述的，當(dāng)光學(xué)標(biāo) 記24在其參考位置處時(shí)（即沒(méi)有動(dòng)作由對(duì)象26執(zhí)行或在對(duì)象26上執(zhí)行），虛擬世界25中的對(duì) 象26可以在"打開"位置26-1。如圖21中所示，當(dāng)光學(xué)標(biāo)記24在其參考位置處時(shí)，該第二標(biāo)記 24-2緊鄰該第一標(biāo)記24-1而在兩者中間沒(méi)有任何間隙。
[0075] 參考圖22,用戶可應(yīng)用一種類型的物理輸入至該跟蹤裝置20。具體地，用戶可在該 扳機(jī)22-2上按下其手指，這導(dǎo)致該驅(qū)動(dòng)機(jī)制22-4圍繞點(diǎn)0相對(duì)于該第一標(biāo)記24-1旋轉(zhuǎn)該第 二標(biāo)記24-2(參見，例如圖18和20)。該第一標(biāo)記24-1和第二標(biāo)記24-2之間的旋轉(zhuǎn)角由0給 出。在一些實(shí)施例中，用戶可通過(guò)應(yīng)用不同壓力至該扳機(jī)22-2、在恒定壓力下握住該扳機(jī) 22-2達(dá)到不同時(shí)間長(zhǎng)度、或上述方式的組合，來(lái)改變?cè)摻切D(zhuǎn)。例如，用戶可通過(guò)施加更大 壓力至該扳機(jī)22-2來(lái)增加角旋轉(zhuǎn)，或通過(guò)減少施加至該扳機(jī)22-2的壓力來(lái)減少角旋轉(zhuǎn)。類 似的，用戶可通過(guò)以恒定壓力握住扳機(jī)22-2達(dá)到一段更長(zhǎng)的時(shí)間來(lái)增加角旋轉(zhuǎn)，或通過(guò)減 少施加至該扳機(jī)22-2的壓力來(lái)減少角旋轉(zhuǎn)。為了改進(jìn)用戶體驗(yàn)，可以例如通過(guò)調(diào)整驅(qū)動(dòng)機(jī) 制22-4/扳機(jī)22-2中的物理抗力(例如彈簧拉力），來(lái)修改從跟蹤裝置20至用戶的觸覺(jué)反饋。 [0076]該光學(xué)標(biāo)記24的角度旋轉(zhuǎn)對(duì)應(yīng)于來(lái)自用戶的一種類型的模擬物理輸入。依賴于旋 轉(zhuǎn)角度，可在虛擬世界25中指定不同的動(dòng)作。例如，參考圖22,當(dāng)用戶應(yīng)用第一物理輸入從 而該旋轉(zhuǎn)角度9落入第一預(yù)定角度閾值范圍91中時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16將該第一物理輸入轉(zhuǎn) 換成虛擬世界25中的第一動(dòng)作R1。類似地，當(dāng)用戶應(yīng)用第二物理輸入從而旋轉(zhuǎn)角度0落入第 二預(yù)定角度閾值范圍92中時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16將該第二物理輸入轉(zhuǎn)換為虛擬世界25中的第 二動(dòng)作R2。同樣地，當(dāng)用戶應(yīng)用第三物理輸入從而旋轉(zhuǎn)角度0落入第三預(yù)定角度閾值范圍03 中時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16將該第三物理輸入轉(zhuǎn)換為虛擬世界25中的第三動(dòng)作R3。該第一預(yù)定 角度閾值范圍91由該第一標(biāo)記24-1的邊緣和從點(diǎn)0向外延伸的虛線L1之間的角度定義。該 第二預(yù)定角度閾值范圍92由該虛線L1和另一從點(diǎn)0向外延伸的虛線L2之間的角度定義。該 第三預(yù)定角度閾值范圍03由該虛線L2和第二標(biāo)記24-2的邊緣之間的角度定義。預(yù)期每個(gè)范 圍的任意幅度。
[0077]注意到，預(yù)定角度閾值范圍的數(shù)量無(wú)需限制為3。在一些實(shí)施例中，取決于該圖像 捕獲裝置18的敏感性和分辨率以及其他要求(例如，游戲功能等），預(yù)定角度閾值范圍的數(shù) 量可以多于3(或少于3)。
[0078] 還注意到，至跟蹤裝置20的物理輸入無(wú)需限制為光學(xué)標(biāo)記24的角度旋轉(zhuǎn)。在一些 實(shí)施例中，至跟蹤裝置20的物理輸入可對(duì)應(yīng)于光學(xué)標(biāo)記24的平移動(dòng)作。例如，參考圖23,用 戶可在扳機(jī)22-2上按下他的手指，這使得驅(qū)動(dòng)機(jī)制22-4平移該第二標(biāo)記24-2遠(yuǎn)離該第一標(biāo) 記24-1-段距離。圖23中的驅(qū)動(dòng)機(jī)制22-4不同于圖22中的。具體地，圖22中的驅(qū)動(dòng)機(jī)制22-4 旋轉(zhuǎn)該光學(xué)標(biāo)記24,然而圖23中的驅(qū)動(dòng)機(jī)制22-4平移該光學(xué)標(biāo)記24。參考圖23,第一標(biāo)記 24-1和第二標(biāo)記24-2的最近邊緣之間的平移距離由D給出。在一些實(shí)施例中，用戶可通過(guò)施 加不同壓力至扳機(jī)22-2、以固定壓力握住扳機(jī)22-2不同時(shí)長(zhǎng)或上述方式的組合，來(lái)改變?cè)?平移距離。例如，用戶可通過(guò)應(yīng)用更大壓力至扳機(jī)22-2來(lái)增加該平移距離，或通過(guò)減少應(yīng)用 至扳機(jī)22-2的壓力來(lái)減少該平移距離。同樣地，用戶可通過(guò)以恒定壓力握住該扳機(jī)22-2達(dá) 到更長(zhǎng)時(shí)間段來(lái)增加平移距離，或通過(guò)減少應(yīng)用至扳機(jī)22-2的壓力來(lái)減少平移距離。如先 前所提及的，例如，通過(guò)調(diào)整驅(qū)動(dòng)機(jī)制22-4/扳機(jī)22-2中的物理阻力（例如彈簧張力），從該 跟蹤裝置20至用戶的觸覺(jué)反饋可以被修改以改進(jìn)用戶體驗(yàn)。
[0079]光學(xué)標(biāo)記24的平移對(duì)應(yīng)于來(lái)自用戶的另一種類型的模擬物理輸入。取決于該平移 距離，可以在虛擬世界25中指定不同的動(dòng)作。例如，參考圖23,當(dāng)用戶應(yīng)用第四物理輸入從 而該平移距離D落入第一預(yù)定距離范圍D1中時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16將該第四物理輸入轉(zhuǎn)換為 虛擬世界25中的第四動(dòng)作T1。類似地，當(dāng)用戶應(yīng)用第五物理輸入從而該平移距離D落入第二 預(yù)定距離范圍D2中時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16將該第五物理輸入轉(zhuǎn)換為虛擬世界25中的第五動(dòng)作 T2。同樣地，當(dāng)用戶應(yīng)用第六物理輸入從而該平移距離D落入第三預(yù)定距離范圍D3中時(shí)，該 數(shù)據(jù)轉(zhuǎn)換器16將該第六物理輸入轉(zhuǎn)換為虛擬世界25中的第六動(dòng)作T3。該第一預(yù)定距離范圍 D1由該第一標(biāo)記24-1的邊緣和平行于第一標(biāo)記24-1的邊緣延伸的虛線L3之間的最短距離 定義。該第二預(yù)定距離范圍D2由該虛線L3和平行于該虛線L3延伸的另一虛線L4之間的最短 距離定義。該第三預(yù)定距離范圍D3由該虛線L4和平行于虛線L4的第二標(biāo)記24-2的邊緣之間 的最短距離定義。預(yù)期每個(gè)距離范圍的任何幅度。
[0080] 注意到，預(yù)定距離范圍的數(shù)量無(wú)需限制為3。在一些實(shí)施例中，取決于該圖像捕獲 裝置18的敏感性和分辨率以及其他要求(例如，游戲功能等），預(yù)定距離范圍的數(shù)量可以多 于3(或少于3)。
[0081] 虛擬世界25中的動(dòng)作可以包括離散動(dòng)作，例如扳機(jī)、抓取、觸發(fā)等。然而，由于光學(xué) 標(biāo)記24之間的空間關(guān)系的改變(旋轉(zhuǎn)/平移)是連續(xù)的，所以該改變可以被映射至虛擬世界 25中的模擬動(dòng)作，例如，以漸進(jìn)抓取動(dòng)作或連續(xù)蹬踏動(dòng)作的形式。示例實(shí)施例不限于由虛擬 對(duì)象26執(zhí)行或在虛擬對(duì)象26上執(zhí)行的動(dòng)作。例如，在其他實(shí)施例中，當(dāng)空間關(guān)系的改變超過(guò) 預(yù)定閾值或落入預(yù)定閾值范圍內(nèi)時(shí)，可在虛擬世界25中觸發(fā)事件（其不關(guān)聯(lián)于虛擬對(duì)象 26)〇
[0082]盡管圖22和23分別以兩維圖示了光學(xué)標(biāo)記24的旋轉(zhuǎn)和平移，但是注意的是每個(gè)光 學(xué)標(biāo)記24的運(yùn)動(dòng)可以被外推至具有六個(gè)自由度的三維。光學(xué)標(biāo)記24可被配置為在笛卡爾 坐標(biāo)系中以三個(gè)軸X、Y和Z中的任何一個(gè)或多個(gè)來(lái)旋轉(zhuǎn)或平移。例如，如圖24中所示，具有圖 案"A"的該第一標(biāo)記24-1可在X軸(Tx)、Y軸(Ty)或Z軸(Tz)上平移。同樣地，該第一標(biāo)記24-1 也可圍繞X軸(Rx)、Y軸(Ry)或Z軸(Rz)中的任何一個(gè)或多個(gè)旋轉(zhuǎn)。圖25圖示了用于不同數(shù)目 光學(xué)標(biāo)記24的跟蹤器配置的示例。預(yù)期光學(xué)標(biāo)記24的任何數(shù)量和配置。例如，在一個(gè)實(shí)施例 中，該跟蹤裝置20可包括具有圖案"A"的第一光學(xué)標(biāo)記24-1，由此該光學(xué)標(biāo)記24-1在六個(gè)自 由度中自由移動(dòng)。在另一實(shí)施例中，該跟蹤裝置20可包括具有圖案"A"的第一光學(xué)標(biāo)記24-1 和具有圖案"B"的第二光學(xué)標(biāo)記24-2,由此每個(gè)光學(xué)標(biāo)記24-1和24-2在六個(gè)自由度中自由 移動(dòng)。在又一實(shí)施例中，該跟蹤裝置20可包括具有圖案"A"的第一光學(xué)標(biāo)記24-1、具有圖案 "B"的第二光學(xué)標(biāo)記24-2和具有圖案"C"的第三光學(xué)標(biāo)記24-3，由此每個(gè)光學(xué)標(biāo)記24-1、24_ 2和24-3在六個(gè)自由度中自由移動(dòng)。
[0083]圖26圖示了示例系統(tǒng)，其中單個(gè)圖像捕獲裝置18被用于檢測(cè)光學(xué)標(biāo)記24之間的空 間關(guān)系的改變。如圖26中所示，該數(shù)據(jù)轉(zhuǎn)換器16被連接在圖像捕獲裝置18和用戶裝置12之 間。該數(shù)據(jù)轉(zhuǎn)換器16可被配置以控制該圖像捕獲裝置18,從圖像捕獲裝置18處接收成像數(shù) 據(jù)，處理該成像數(shù)據(jù)以確定光學(xué)標(biāo)記24的參考位置，當(dāng)用戶提供物理輸入至跟蹤裝置20時(shí) 測(cè)量光學(xué)標(biāo)記24之間空間關(guān)系的改變，確定空間關(guān)系中的該改變是否落入預(yù)定閾值范圍 內(nèi)，以及如果空間關(guān)系中的該改變落入該預(yù)定閾值范圍內(nèi)、則在用戶裝置12上生成虛擬世 界25中的動(dòng)作。
[0084]如上所提及，圖26中的系統(tǒng)具有單個(gè)圖像捕獲裝置18。圖26的系統(tǒng)中用于每個(gè)自 由度的可檢測(cè)距離/角度范圍在圖27中圖示，且由圖像捕獲裝置18的視場(chǎng)限制。例如，在一 個(gè)實(shí)施例中，光學(xué)標(biāo)記24之間可檢測(cè)的平移距離可升至X方向上的1英尺、Y方向上的1英尺 以及Z方向上的5英尺;且光學(xué)標(biāo)記24的可檢測(cè)的角旋轉(zhuǎn)可升至圍繞X軸的180°、圍繞Y軸的 180°以及圍繞Z軸的360°。
[0085]在一些實(shí)施例中，該系統(tǒng)可包括若該跟蹤裝置移出了自由度中的可檢測(cè)距離/角 度范圍、則允許該系統(tǒng)利用跟蹤裝置20的最近已知位置的失效保護(hù)機(jī)制。例如，若該圖像捕 獲裝置18失去了光學(xué)標(biāo)記24的蹤跡，或如果該跟蹤數(shù)據(jù)指示了過(guò)量運(yùn)動(dòng)（其可以指示跟蹤 錯(cuò)誤），則該系統(tǒng)代替使用最近已知的跟蹤值。
[0086]圖28圖示了圖27的圖像捕獲裝置18的視場(chǎng)。在一些實(shí)施例中，調(diào)節(jié)透鏡18-1可附 接至該圖像捕獲裝置18以增加其視場(chǎng)，如圖29中所示。例如，比較圖28和29中的實(shí)施例，在 調(diào)節(jié)透鏡18-1已附接至該圖像捕獲裝置18之后，光學(xué)標(biāo)記24之間的可檢測(cè)的平移距離可在 X方向上從1英尺增加至3英尺、以及在Y方向上從1英尺增加至3英尺。
[0087]在一些實(shí)施例中，為了進(jìn)一步增加每個(gè)自由度的可檢測(cè)的距離/角度范圍，多個(gè)圖 像捕獲裝置18可被放置在不同地點(diǎn)和方位，以捕獲更廣范圍自由度的光學(xué)標(biāo)記24。
[0088] 在一些實(shí)施例中，多個(gè)用戶可沉浸在多用戶虛擬世界25中，例如，在大型多玩家在 線角色扮演游戲中。圖30圖示了允許用戶在虛擬世界25中彼此交互的多用戶系統(tǒng)200。參考 圖30,該多用戶系統(tǒng)200包括中央服務(wù)器202和多個(gè)系統(tǒng)100。
[0089] 該中央服務(wù)器202可以包括網(wǎng)絡(luò)服務(wù)器、公司服務(wù)器或任何其他類型的計(jì)算機(jī)服 務(wù)器，且可以被計(jì)算機(jī)編程以從每個(gè)系統(tǒng)100接收請(qǐng)求(例如，HTTP或其他可啟動(dòng)數(shù)據(jù)傳輸 的協(xié)議），且以所請(qǐng)求的數(shù)據(jù)服務(wù)每個(gè)系統(tǒng)100。此外，該中央服務(wù)器202可以是廣播設(shè)施，例 如免費(fèi)播送、線纜、衛(wèi)星和其他用于分發(fā)數(shù)據(jù)的廣播設(shè)施。
[0090] 圖30中的每個(gè)系統(tǒng)100可對(duì)應(yīng)于圖1中描繪的系統(tǒng)100。每個(gè)系統(tǒng)100可具有參與 者。"參與者"可以是人。在一些具體實(shí)施例中，"參與者"可以是無(wú)生命實(shí)體例如機(jī)器人等。 參與者們沉浸在相同的虛擬世界25中，且可利用虛擬對(duì)象和/或動(dòng)作在虛擬世界25中彼此 交互。該系統(tǒng)100可以共存于例如房間或劇場(chǎng)里。當(dāng)系統(tǒng)100是共同定位時(shí)，多個(gè)圖像捕獲裝 置(例如，N個(gè)圖像捕獲裝置，其中N大于或等于2)可被安裝在該位置以提高參與者的光學(xué)覆 蓋且消除盲點(diǎn)。然而，注意到該系統(tǒng)100無(wú)需在相同位置。例如，在一些其他實(shí)施例中，系統(tǒng) 100可以在遠(yuǎn)程地理位置(例如，在世界上的不同城市）。
[0091]該多用戶系統(tǒng)200可以包括多個(gè)節(jié)點(diǎn)。具體地，每個(gè)系統(tǒng)100對(duì)應(yīng)于"節(jié)點(diǎn)"。"節(jié)點(diǎn)" 是系統(tǒng)200中邏輯獨(dú)立的實(shí)體。如果"系統(tǒng)100"后面跟著數(shù)字或字母，則這意味著"系統(tǒng)100" 對(duì)應(yīng)于共享該相同數(shù)字或字母的節(jié)點(diǎn)。例如，如圖30中所示，系統(tǒng)100-1對(duì)應(yīng)于節(jié)點(diǎn)1，其關(guān) 聯(lián)于參與者1，且系統(tǒng)l〇〇-k對(duì)應(yīng)于節(jié)點(diǎn)k，其關(guān)聯(lián)于參與者k。每個(gè)參與者在其光學(xué)標(biāo)記24 上可具有唯一的圖案，從而區(qū)分它們的身份。
[0092]參考圖30,每個(gè)系統(tǒng)100中的中央服務(wù)器202和數(shù)據(jù)轉(zhuǎn)換器16之間的雙向箭頭指示 該中央服務(wù)器202和每個(gè)系統(tǒng)100之間的雙向數(shù)據(jù)傳遞能力。系統(tǒng)100可經(jīng)由中央服務(wù)器202 彼此通信。例如，成像數(shù)據(jù)、以及處理數(shù)據(jù)和關(guān)于虛擬世界25的指令，可以在系統(tǒng)100之間、 傳送至/傳送來(lái)自該系統(tǒng)100和該中央服務(wù)器202。
[0093]該中央服務(wù)器202從每個(gè)系統(tǒng)100中收集數(shù)據(jù)，且生成合適的虛擬世界25的定制視 圖，以在每個(gè)系統(tǒng)100的輸出裝置14處呈現(xiàn)。注意到，該虛擬世界25的視圖可以為每個(gè)參與 者獨(dú)立地定制。
[0094]圖31是根據(jù)另一實(shí)施例的多用戶系統(tǒng)202,且圖示了數(shù)據(jù)轉(zhuǎn)換器16不需要駐留在 每個(gè)節(jié)點(diǎn)處的系統(tǒng)100內(nèi)。如圖31中所示，該數(shù)據(jù)轉(zhuǎn)換器16可被集成至中央服務(wù)器202中，且 因此遠(yuǎn)離系統(tǒng)100。在圖31的實(shí)施例中，每個(gè)系統(tǒng)100中的圖像捕獲裝置18或用戶裝置12將 成像數(shù)據(jù)傳送至中央服務(wù)器202中的數(shù)據(jù)轉(zhuǎn)換器16以進(jìn)行處理。具體地，每當(dāng)參與者提供物 理輸入至其跟蹤裝置20時(shí)，該數(shù)據(jù)轉(zhuǎn)換器16可檢測(cè)每個(gè)跟蹤裝置20處的光學(xué)標(biāo)記24之間的 空間關(guān)系的改變，且可生成對(duì)應(yīng)于空間關(guān)系改變的虛擬世界25中的動(dòng)作。此動(dòng)作可以被提 供物理輸入的參與者、以及虛擬世界25中的其他參與者觀察到。
[0095]圖32是根據(jù)另一實(shí)施例的多用戶系統(tǒng)204,且類似于圖30和31中描繪的多用戶系 統(tǒng)200和202,除了下面的區(qū)別。在圖32的實(shí)施例中，系統(tǒng)100不需要通過(guò)中央服務(wù)器202彼此 連接。如在圖32中所示，系統(tǒng)100可通過(guò)網(wǎng)絡(luò)直接彼此連接。該網(wǎng)絡(luò)可以是局域網(wǎng)（LAN)且可 以是無(wú)線的、有線的或者其組合。
[0096]圖33、34和35圖示了根據(jù)不同實(shí)施例在虛擬世界中生成的示例動(dòng)作。在圖33、34和 35的每個(gè)中，虛擬世界25被顯示在用戶裝置12的輸出裝置14上。用戶接口（UI)元件可以被 提供在虛擬世界25中以改進(jìn)用戶對(duì)該示例系統(tǒng)的體驗(yàn)。UI元件可包括虛擬臂、虛擬手、虛擬 裝置(例如虛擬槍或激光指針）、虛擬對(duì)象等。用戶可以利用UI元件在該虛擬世界25中導(dǎo)航 (navigate through)，且在虛擬世界25中執(zhí)行不同的動(dòng)作。
[0097]圖33是虛擬世界25中導(dǎo)航交互的示例。具體地，用戶可以通過(guò)移動(dòng)真實(shí)世界中的 跟蹤裝置20來(lái)在虛擬世界25進(jìn)行導(dǎo)航。在圖33中，在虛擬世界25中提供用手抓住虛擬槍30 的虛擬臂28。虛擬臂28和虛擬槍30創(chuàng)建強(qiáng)列的視覺(jué)暗示，幫助用戶沉浸在虛擬世界25中。如 圖33中所示，虛擬臂28的上部28-1(肘以上)在虛擬世界25中被綁至假想的肩膀位置，且虛 擬臂28的下部28-2(虛擬手)被綁至虛擬槍30。虛擬臂28的肘位置和方位可以利用本領(lǐng)域技 術(shù)人員已知的逆動(dòng)力學(xué)來(lái)內(nèi)插。
[0098] 該虛擬世界25的比例可被調(diào)節(jié)，從而虛擬世界25中的虛擬裝置(虛擬臂28和槍30) 的位置看上去對(duì)應(yīng)于真實(shí)世界中用戶的手的位置。該虛擬裝置也可定制為反映用戶的操 作。例如，當(dāng)用戶按下索具22上的扳機(jī)22-2時(shí)，虛擬槍30上的扳機(jī)將相應(yīng)地移動(dòng)。
[0099]在圖33的示例中，該用戶可將該跟蹤裝置20使用作為操縱桿以在虛擬世界25中導(dǎo) 航。如先前所提及的，該圖像捕獲裝置18具有有限的視場(chǎng)，其限制了跟蹤裝置20上的可檢測(cè) 的運(yùn)動(dòng)范圍。在一些實(shí)施例中，累積控制方案可被用在系統(tǒng)中，從而用戶可使用跟蹤裝置20 的小運(yùn)動(dòng)以控制虛擬世界25中的更大運(yùn)動(dòng)。該累積控制方案可如下述提供。
[0100] 首先，該用戶按下跟蹤裝置20上的扳機(jī)22-2以記錄參考變換。其次，用戶移動(dòng)該跟 蹤裝置20離開其參考/原始位置一距離D。接下來(lái)，該數(shù)據(jù)轉(zhuǎn)換器16計(jì)算當(dāng)前變換和參考變 換之間的位置和旋轉(zhuǎn)的差異。接下來(lái)，位置和旋轉(zhuǎn)的差異被用于計(jì)算該虛擬對(duì)象圍繞虛擬 世界25移動(dòng)的速度和角速度。注意到，若用戶保持與該參考變換相同的相對(duì)差異，則該虛擬 對(duì)象將不斷地移向那個(gè)方向。例如，虛擬槍30的速度Vg可利用下面的等式計(jì)算：
[0101] Vg = Cx(Tref-Tcurrent)
[0102]其中C是速度常量，Tref是參考轉(zhuǎn)換，而Tcurrent是當(dāng)前轉(zhuǎn)換。
[0103] 參考圖33,當(dāng)用戶在真實(shí)世界中以距離D和速度V移動(dòng)該跟蹤裝置20時(shí)，該虛擬臂 28在虛擬世界25中以距離D'和速度V'從第一位置30'移動(dòng)該虛擬槍30至第二位置30''。虛 擬世界25中的距離D'和速度V'可以相對(duì)于真實(shí)世界中的距離D和速度V按比例縮放。因此， 用戶可直觀感受虛擬槍30移動(dòng)了多少，以及該虛擬槍30在虛擬世界25中移動(dòng)得多快。
[0104]在圖33的示例中，該虛擬槍30沿著虛擬世界25的X軸從左移動(dòng)至右。然而，應(yīng)該理 解，用戶可通過(guò)平移和/或旋轉(zhuǎn)沿著或圍繞虛擬世界25的X、Y和Z軸在任何位置移動(dòng)該虛擬 臂28和槍30。
[0105] 在一些實(shí)施例中，用戶可步行或在虛擬交通工具中導(dǎo)航和探索該虛擬世界25。這 包括在虛擬世界25的地面、水或空氣中導(dǎo)航。當(dāng)步行導(dǎo)航時(shí)，用戶可前/后移動(dòng)該跟蹤裝置 20以前/后移動(dòng)對(duì)應(yīng)虛擬元件，或向左/右移動(dòng)該跟蹤裝置20以掃射(斜著移動(dòng)虛擬元件）。 用戶也可轉(zhuǎn)動(dòng)用戶裝置12以轉(zhuǎn)動(dòng)虛擬元件或改變虛擬世界25中的視圖。當(dāng)控制虛擬交通工 具時(shí)，用戶可使用跟蹤裝置20向前/后走，或向左或右轉(zhuǎn)動(dòng)/傾斜。例如，當(dāng)使該虛擬交通工 具飛行時(shí)，用戶可向上/向下移動(dòng)該跟蹤裝置20，且移動(dòng)扳機(jī)22-2以控制風(fēng)門（throttle)。 由于用戶應(yīng)當(dāng)能在虛擬世界25中環(huán)顧四周而無(wú)需該虛擬交通工具改變方向（如在真實(shí)世界 中那樣），所以轉(zhuǎn)動(dòng)該用戶裝置12應(yīng)當(dāng)不會(huì)對(duì)該虛擬交通工具的方向產(chǎn)生影響。
[0106]如前面所述，如果光學(xué)標(biāo)記24之間空間關(guān)系的改變落入預(yù)定閾值范圍內(nèi)，則虛擬 世界25中可生成動(dòng)作。圖34和35圖示了可在虛擬世界25中生成的不同類型的動(dòng)作。具體地， 圖34和35包括使用遙感(telekinesis)方案以在虛擬世界25中移動(dòng)對(duì)象，由此移動(dòng)范圍大 于跟蹤裝置20的感應(yīng)區(qū)域。使用遙感方案，用戶可抓取、舉起或轉(zhuǎn)動(dòng)虛擬世界25中的遠(yuǎn)程虛 擬對(duì)象。遙感提供了與虛擬世界25中的虛擬對(duì)象交互的方式，特別是當(dāng)物理反饋(例如，對(duì) 象硬度、重量等)不可用時(shí)。遙感可以與累積控制方案(之前圖33中描述的）或微型控制方案 聯(lián)合使用。
[0107]圖34是虛擬世界25中累積遙感交互的示例。具體地，圖34圖示了用戶可利用虛擬 臂28和虛擬槍30移動(dòng)另一虛擬對(duì)象32的動(dòng)作。在圖34中，該虛擬對(duì)象32位于離該虛擬槍30 一距離處，且與該虛擬槍30同步，從而該虛擬對(duì)象32與該虛擬槍30按比例移動(dòng)。為了移動(dòng)該 虛擬對(duì)象32,用戶可提供物理輸入至跟蹤裝置20導(dǎo)致光學(xué)標(biāo)記24中/之間的空間關(guān)系的改 變?？臻g關(guān)系的改變可以是，例如跟蹤裝置20沿著真實(shí)世界的X軸平移距離D。若空間關(guān)系中 的該改變(即距離D)落入預(yù)定距離范圍內(nèi)，則該數(shù)據(jù)轉(zhuǎn)換器16生成虛擬世界25中的動(dòng)作。具 體地，該動(dòng)作包括通過(guò)虛擬世界中X軸中的距離D'和圍繞Z軸的角度0'將該虛擬槍30從第一 位置30'移動(dòng)至第二位置30''。虛擬世界25中的距離D'和角度0'可與真實(shí)世界中的距離D和 角度9成比例。因此，用戶可直觀感受虛擬槍30移動(dòng)了多少，虛擬槍30移動(dòng)得多快，以及由虛 擬槍30在虛擬世界25中行進(jìn)的實(shí)際路徑。如前所提及，由于該虛擬對(duì)象32與該虛擬槍30同 步，且與虛擬槍30-起移動(dòng)，因此該虛擬對(duì)象32也在虛擬世界25中移動(dòng)了X軸的距離D'和 圍繞Z軸的角度0'。因此，用戶可使用該虛擬槍30控制虛擬世界25中一距離處的對(duì)象。該虛 擬對(duì)象32的速度Vo可利用下面的等式計(jì)算：
[0108] Vo = Cx(Tref-Tcurrent)
[0109] 其中C是速度常量，Tref是參考變換，而Tcurrent是當(dāng)前變換。
[0110]圖35是在虛擬世界25中微型遙感交互的示例。圖35也圖示了用戶可利用該虛擬臂 28和虛擬槍30移動(dòng)另一虛擬對(duì)象32的動(dòng)作。然而，與圖34的示例不同，圖35中的該虛擬對(duì)象 32與該虛擬槍30同步，從而該虛擬對(duì)象32以相對(duì)于該虛擬槍30的更大比例移動(dòng)。為了移動(dòng) 圖35中的該虛擬對(duì)象32,用戶可提供物理輸入至跟蹤裝置20導(dǎo)致光學(xué)標(biāo)記24之間的空間關(guān) 系的改變。空間關(guān)系的改變可以是，例如跟蹤裝置20沿著真實(shí)世界的X軸平移距離D。若空間 關(guān)系中的該改變（即距離D)落入預(yù)定距離范圍內(nèi)，則該數(shù)據(jù)轉(zhuǎn)換器16生成虛擬世界25中的 動(dòng)作。具體地，該動(dòng)作包括通過(guò)虛擬世界25中X軸中的距離D'和圍繞Z軸的角度0'將該虛擬 槍30從第一位置30'移動(dòng)至第二位置30''。虛擬世界25中的距離D'和角度0'可與真實(shí)世界 中的距離D和角度9成比例。因此，用戶可直觀感受虛擬槍30移動(dòng)了多少，虛擬槍30移動(dòng)得多 快，以及由虛擬槍30在虛擬世界25中行進(jìn)的實(shí)際路徑。如前面提及的，圖35中的虛擬對(duì)象32 與該虛擬槍30同步，且相對(duì)于虛擬槍30以更大比例移動(dòng)。因此，該動(dòng)作也包括通過(guò)虛擬世界 25中X軸中的距離D''和圍繞Z軸的角度0''將該虛擬對(duì)象32從第一位置32'移動(dòng)至第二位置 32''，其中D'' >D'而0'' = 0'。因此，用戶可使用該虛擬槍30控制虛擬世界25中一距離處的 虛擬對(duì)象，且操縱該虛擬對(duì)象以在虛擬世界25中具備更廣的運(yùn)動(dòng)范圍。
[0111] 如圖35中所示，虛擬對(duì)象32中的微型版本32-1被布置在虛擬槍30上。該微型遙感 控制方案可如下提供。首先，用戶按下跟蹤裝置20上的扳機(jī)22-2以記錄參考變換。然后，用 戶從該參考變換移動(dòng)跟蹤裝置20-特定距離至一新的變換。隨后，計(jì)算該當(dāng)前變換和該參 考變換之間的變換矩陣。隨后，該變換矩陣乘以縮放因子，其反映了對(duì)象32和微型版本32-1 之間的比例差。圖35中該虛擬對(duì)象32的新變換Tnew可用下面的等式計(jì)算：
[0112] Tnew = Torig+Sx(Tref-Tcurrent)
[0113] 其中Torig是該虛擬對(duì)象32的原始變換，S是對(duì)象32和微型版本32-1之間的比例 常量，Tref是參考變換，而Tcurrent是當(dāng)前變換。
[0114]可增加額外的UI(用戶接口）向?qū)б詭椭脩衾斫飧櫥騽?dòng)作的狀態(tài)。例如，可使 用直線箭頭表示該虛擬元件沿著直線移動(dòng)多遠(yuǎn)/多快，而使用曲線箭頭表示該虛擬元件旋 轉(zhuǎn)得多遠(yuǎn)/多快。這些箭頭可以是直線箭頭和曲線箭頭的結(jié)合，例如，如圖33、34和35中所 示。在一些實(shí)施例中，狀態(tài)條或圓形可被用于表示用戶輸入的模擬值（例如，用戶腳蹬多 快)。
[0115]在圖34和35的示例中，使用遙感方案控制該虛擬對(duì)象32,這在陰影(shadowing)上 提供了如下好處。在陰影中，虛擬角色精確地跟隨人的移動(dòng)。首先，如果該虛擬角色具有與 控制器不同的比例或縮放，則陰影不工作。不同于陰影，該示例系統(tǒng)在不同比例和縮放下很 好地工作。特別地，比例在示例系統(tǒng)中不是重要因素，因?yàn)槭褂孟鄬?duì)運(yùn)動(dòng)控制該虛擬臂28。
[0116]第二，用戶在陰影期間通常需要用繩子穿戴笨重的傳感器。相反，該示例系統(tǒng)是輕 量級(jí)的且無(wú)繩的。
[0117]第三，在陰影中，當(dāng)控制器的臂被物理障礙阻擋或當(dāng)負(fù)重時(shí)，虛擬臂的移動(dòng)可能被 阻礙。相反，示例系統(tǒng)中的遙感控制方案更直觀，因?yàn)槠洳唤?jīng)受物理阻礙且該控制是相對(duì) 的。
[0118] 圖36、37、38和39圖示了根據(jù)不同實(shí)施例在虛擬世界中生成的更多的示例動(dòng)作。圖 36、37、38和39中的實(shí)施例與圖33、34和35中描述的那些類似，但是至少具有下面的區(qū)別。在 圖36、37、38和39的實(shí)施例中，虛擬槍30包括生成激光束34的指針，且該虛擬世界25包括其 他類型的用戶接口和虛擬元件。該激光束34表示該虛擬槍30指向的方向，且為用戶提供了 可視線索（因此作為指針裝置）。此外，該激光束34可被用于聚焦在不同虛擬對(duì)象上，且對(duì)虛 擬世界25中的不同虛擬對(duì)象執(zhí)行各種動(dòng)作(例如，射擊、推、選擇等）。
[0119] 參考圖36,用戶可通過(guò)利用圖33中描述的方法移動(dòng)該虛擬槍30,而將激光束34聚 焦在虛擬對(duì)象32上。一旦激光束34被聚焦在虛擬對(duì)象32上，就可執(zhí)行不同的動(dòng)作(例如，射 擊、傾倒、移動(dòng)等）。例如，用戶可提供物理輸入至該跟蹤裝置20,導(dǎo)致光學(xué)標(biāo)記24之間的空 間關(guān)系的改變。若空間關(guān)系的改變落入預(yù)定閾值范圍內(nèi)，則該數(shù)據(jù)轉(zhuǎn)換器16生成虛擬世界 25中的動(dòng)作，由此該虛擬槍30朝虛擬對(duì)象32射擊，導(dǎo)致該虛擬對(duì)象32倒塌或消失。在一些實(shí) 施例中，在該激光束34被聚焦在虛擬對(duì)象32上之后，用戶可利用圖34或35中描述的一個(gè)或 多個(gè)方法四處移動(dòng)該虛擬對(duì)象32。例如，為了"鎖定"至虛擬對(duì)象32,用戶可按下且保持該跟 蹤裝置20上的扳機(jī)22-2。為了四處拖拽或移動(dòng)該虛擬對(duì)象32，用戶可按下該扳機(jī)22-2，且利 用該激光束34作為向?qū)Чぞ咭苿?dòng)該跟蹤裝置20。
[0120] 在一些實(shí)施例中，用戶可使用虛擬槍30以與虛擬世界25中的不同虛擬用戶接口 (UI)交互。與虛擬UI交互的模式可以和與傳統(tǒng)UI的真實(shí)世界交互類似(例如，按鈕、撥號(hào)盤、 檢查框、鍵盤等）。例如，參考圖37,虛擬用戶接口可包括一疊（tile)虛擬按鈕36,且用戶可 通過(guò)將激光束34聚焦在該虛擬按鈕上來(lái)選擇特定的按鈕36。如圖38中所示，另一類虛擬用 戶接口可以是虛擬鍵盤38,且用戶可通過(guò)將激光束34聚焦在該虛擬鍵上來(lái)選擇虛擬鍵盤38 上的具體按鍵。例如，為了選擇（"點(diǎn)擊"）虛擬按鈕或按鍵，用戶可在跟蹤裝置20上按壓一次 扳機(jī)22-2。
[0121] 在一些實(shí)施例中，可在虛擬世界25中提供多個(gè)虛擬用戶接口 40,如圖39中所示。在 那些實(shí)施例中，用戶可使用指針/激光束34,以與每個(gè)不同虛擬用戶接口40同時(shí)交互。由于 示例系統(tǒng)允許虛擬空間中六個(gè)自由度的廣范圍的運(yùn)動(dòng)，因此虛擬用戶接口40可被放置在虛 擬世界25中的任何位置。
[0122] 在示例實(shí)施例中，虛擬指針可利用唯一標(biāo)記和上述圖像識(shí)別技術(shù)實(shí)現(xiàn)。在最簡(jiǎn)單 的實(shí)施例中，我們使用一個(gè)標(biāo)記來(lái)跟蹤虛擬世界中用戶的手。圖40中示出了示例實(shí)施例。此 實(shí)施例可被實(shí)施如下：
[0123] ?我們可使用VR耳機(jī)以為我們提供虛擬現(xiàn)實(shí)中角色頭部的變換。由于我們的物理 頭部圍繞頸關(guān)節(jié)旋轉(zhuǎn)，我們可將表示這個(gè)運(yùn)動(dòng)的值存儲(chǔ)在:T_ k中。若裝置不提供絕對(duì)位置 跟蹤且僅具有方位跟蹤(例如，僅使用陀螺儀），則我們可使用平均的成人高度作為該位置 (例如（〇，AverageAdultHeight，0));
[0124] ?該相機(jī)透鏡具有與Tnec；k相反的相對(duì)變換;我們可將表示這個(gè)變換的值存儲(chǔ)在 Tneck-camera 中；
[0125] ?圖像識(shí)別軟件可分析由相機(jī)提供的圖像且獲取與該相機(jī)透鏡相反的標(biāo)記A的變 換;我們可將表示此變換的值存儲(chǔ)在中；
[0126] ?在真實(shí)世界中，標(biāo)記A具有與用戶的手腕或手相反的變換;我們可將表示此變換 的值存儲(chǔ)在Tmarker-hand中；
[01 27] ?該虛擬角色的變換可存儲(chǔ)在中；以及
[0128] ?用戶的手的絕對(duì)變換Thand可如下計(jì)算：
[01 29] Thand Tcharacter+Tneck+Tneck-camera+Tcamera-marker+Tmarker-hand
[0130] 在示例實(shí)施例中，我們可增加另一標(biāo)記且使用空間差異以執(zhí)行不同的動(dòng)作。同樣， 我們可包括更多的標(biāo)記至系統(tǒng)中用于更多的動(dòng)作。圖41中示出各種示例實(shí)施例。此外，標(biāo)記 不限于2D平面標(biāo)記;我們可以使用3D對(duì)象作為我們的標(biāo)記。
[0131] 在另一示例實(shí)施例中，角色導(dǎo)航可用加速計(jì)或步數(shù)計(jì)來(lái)實(shí)現(xiàn)。我們可使用此過(guò)程 從用戶裝置的加速計(jì)中獲取加速度數(shù)據(jù)，且將該加速度數(shù)據(jù)轉(zhuǎn)換為虛擬世界中的角色速 度。此實(shí)施例可實(shí)現(xiàn)如下：
[0132] ?我們記錄加速度數(shù)據(jù)；
[0133] ?用噪聲減小功能來(lái)處理原始加速度值;以及
[0134] ?當(dāng)所處理的值超過(guò)特定的預(yù)定限制時(shí)，步數(shù)加1，且隨后將特定速度加至虛擬角 色，從而其在虛擬世界中移動(dòng)。
[0135] 此實(shí)施例可以具體實(shí)現(xiàn)如下：
[0138] 使用上述的示例實(shí)施例，用戶可僅在該地點(diǎn)步行或在適當(dāng)?shù)奈恢貌叫校⑶宜鼈?的虛擬角色將在虛擬世界中按照對(duì)應(yīng)的方式步行。圖42中示出了這個(gè)示例實(shí)施例。
[0139] 圖43和44描繪了光學(xué)標(biāo)記適于游戲控制器的不同的實(shí)施例。參考圖43和44,該跟 蹤裝置20可由掛載了光學(xué)標(biāo)記24(例如，第一標(biāo)記24-1和第二標(biāo)記24-2)的游戲控制器42替 代。游戲控制器42可包括把手42-1和標(biāo)記握持器42-2。光學(xué)標(biāo)記24被配置為附接至標(biāo)記握 持器42-2。跟蹤裝置20上的"扳機(jī)"機(jī)制可由游戲控制器42上的方向控制按鈕42-3和動(dòng)作按 鈕42-4替代。具體地，方向控制按鈕42-3可被用于控制虛擬世界中導(dǎo)航的方向，且動(dòng)作按鈕 42-4可被用于執(zhí)行虛擬世界中的特定動(dòng)作(例如，射擊、切換等）。
[0140] 在一些實(shí)施例中，方向控制按鈕42-3和動(dòng)作按鈕42-4可以被集成至跟蹤裝置20 上，例如，如圖45中所示。
[0141] 在圖43、44和45的實(shí)施例中，方向控制按鈕42-3和動(dòng)作按鈕42-4可被配置以發(fā)送 電信號(hào)至圖1中描述的一個(gè)或多個(gè)元件，并從圖1中描述的一個(gè)或多個(gè)元件接收電信號(hào)。如 此，圖44中的游戲控制器42和圖45中的跟蹤裝置20同樣可經(jīng)由網(wǎng)絡(luò)或允許從一個(gè)組件至另 一組件的數(shù)據(jù)傳輸?shù)娜魏晤愋屯ㄐ沛溄?，?lái)可操作地連接至圖1中描繪的媒體源10、用戶裝 置12、輸出裝置14、數(shù)據(jù)轉(zhuǎn)換器16和圖像捕獲裝置18中的一個(gè)或多個(gè)。該網(wǎng)絡(luò)可包括局域網(wǎng) (LAN)、廣域網(wǎng)(WAN)、藍(lán)牙(Bluetooth?)和/或近場(chǎng)通信(NFC)技術(shù)，以及可以是無(wú)線的、有 線的或其組合。
[0142] 圖46是圖示了用于將來(lái)自用戶的物理輸入轉(zhuǎn)換至虛擬世界中的動(dòng)作的示例方法 的流程圖。參考圖46,方法300包括下面的步驟。首先，獲得跟蹤裝置(例如跟蹤裝置20)上 一個(gè)或多個(gè)標(biāo)記的圖像(步驟302)。這些圖像可使用圖像捕獲裝置(例如，圖像捕獲裝置18) 捕獲。其次，使用所獲得的圖像確定在時(shí)間to處相對(duì)于一個(gè)或多個(gè)標(biāo)記的參考數(shù)據(jù)(步驟 304)。參考數(shù)據(jù)可以使用數(shù)據(jù)轉(zhuǎn)換器(例如，數(shù)據(jù)轉(zhuǎn)換器16)確定。其次，測(cè)量在時(shí)間tl處相 對(duì)于一個(gè)或多個(gè)標(biāo)記的參考數(shù)據(jù)和位置的空間關(guān)系的改變，由此空間關(guān)系的改變由應(yīng)用至 跟蹤裝置上的物理輸入生成(步驟306)。時(shí)間tl是晚于時(shí)間t0的時(shí)間點(diǎn)?？臻g關(guān)系的改變可 由數(shù)據(jù)轉(zhuǎn)換器測(cè)量。用戶輸入可對(duì)應(yīng)于至跟蹤裝置20的物理輸入，使得一個(gè)或多個(gè)標(biāo)記相 對(duì)于彼此移動(dòng)。用戶輸入也可對(duì)應(yīng)于真實(shí)世界中跟蹤裝置20的移動(dòng)。其次，數(shù)據(jù)轉(zhuǎn)換器確定 時(shí)間tl處相對(duì)于一個(gè)或多個(gè)標(biāo)記的空間關(guān)系的改變是否落入預(yù)定閾值范圍內(nèi)（步驟308)。 若時(shí)間tl處相對(duì)于一個(gè)或多個(gè)標(biāo)記的空間關(guān)系的改變落入預(yù)定閾值范圍內(nèi)，則該數(shù)據(jù)轉(zhuǎn)換 器生成在用戶裝置(例如用戶裝置12)上渲染的虛擬世界中的動(dòng)作(步驟310)。在一些實(shí)施 例中，一個(gè)或多個(gè)標(biāo)記的任一個(gè)可被用于確定虛擬世界中對(duì)象的位置。具體地，該數(shù)據(jù)轉(zhuǎn)換 器可計(jì)算時(shí)間to和tl之間一個(gè)或多個(gè)標(biāo)記的任一個(gè)的空間差異，以確定虛擬世界中對(duì)象的 位置。在一些實(shí)施例中，虛擬世界中的動(dòng)作可基于標(biāo)記的可觀察的出現(xiàn)而被生成。在那些實(shí) 施例中，時(shí)間to和tl之間的個(gè)別標(biāo)記的消失和/或重現(xiàn)會(huì)導(dǎo)致虛擬世界中生成的特定動(dòng)作。
[0143] 這里公開的方法可以被實(shí)現(xiàn)為計(jì)算機(jī)程序產(chǎn)品，即在非易失性信息載體例如機(jī)器 可讀存儲(chǔ)裝置或有形非易失性計(jì)算機(jī)可讀介質(zhì)中有形實(shí)施的計(jì)算機(jī)程序，用于由數(shù)據(jù)處理 設(shè)備執(zhí)行或控制數(shù)據(jù)處理設(shè)備的操作，數(shù)據(jù)處理設(shè)備例如是可編程處理器、計(jì)算機(jī)或多個(gè) 計(jì)算機(jī)。計(jì)算機(jī)程序可以以任意形式的程序語(yǔ)言撰寫，包括編譯的或注釋的語(yǔ)言，且其可以 任何形式部署，包括作為單機(jī)程序或作為模塊、組件、子例程或其他適于在計(jì)算環(huán)境中使用 的單元。計(jì)算機(jī)程序可被部署以在一個(gè)地點(diǎn)的或者通過(guò)多個(gè)地點(diǎn)分布且經(jīng)由通信網(wǎng)絡(luò)互連 的一個(gè)計(jì)算機(jī)或多個(gè)計(jì)算機(jī)上執(zhí)行。這里公開的系統(tǒng)的部分或全部也可由專用集成電路 (ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、復(fù)雜可編程邏輯裝置(CPLD)、印刷電路板(PCB)、數(shù)字信 號(hào)處理器(DSP)、可編程邏輯組件和可編程互連的組合、單個(gè)中央處理單元(CPU)芯片、組合 在母板上的CHJ芯片、通用目的計(jì)算機(jī)、或基于這里公開的方法能夠處理光學(xué)圖像數(shù)據(jù)和生 成虛擬世界中動(dòng)作的裝置或模塊的任何其他組合來(lái)實(shí)施?？梢岳斫猓鲜鍪纠龑?shí)施例僅僅 是說(shuō)明性的目的，而不限于所要求保護(hù)的主題。系統(tǒng)的特定部分可被刪除、組合或重排，且 額外的部分可增加至系統(tǒng)。然而，明顯的是可作出各種修改和改變，而不脫離如隨后權(quán)利要 求中闡述的所要求保護(hù)的主題的較廣精神和范圍。說(shuō)明書和附圖因此被認(rèn)為是說(shuō)明性的而 不是限制性的。通過(guò)考慮說(shuō)明書以及這里公開的所要求保護(hù)的主題的實(shí)施，所要求保護(hù)的 主題的其他實(shí)施例對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)可以是顯而易見的。
[0144] 現(xiàn)在參考圖47,處理流程圖圖示了如這里描述的方法1100的示例實(shí)施例。示例實(shí) 施例的方法1100包括:從圖像捕獲子系統(tǒng)接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)包括至少一個(gè)參考圖 像的至少一部分，所述至少一個(gè)參考圖像表示一組參考數(shù)據(jù)的一部分(處理塊1110);接收 該圖像捕獲子系統(tǒng)的位置和方位數(shù)據(jù)，該位置和方位數(shù)據(jù)表示參考數(shù)據(jù)的另一部分(處理 塊1120);當(dāng)物理輸入被應(yīng)用到跟蹤子系統(tǒng)時(shí)，通過(guò)使用數(shù)據(jù)處理器來(lái)測(cè)量相對(duì)于參考數(shù)據(jù) 的空間關(guān)系的改變(處理塊1130);以及生成虛擬世界中的動(dòng)作，該動(dòng)作對(duì)應(yīng)于所測(cè)量的空 間關(guān)系的改變(處理塊1140)。
[0145] 圖48示出了電子裝置的示例形式的機(jī)器的圖解表示，電子裝置例如移動(dòng)計(jì)算和/ 或通信系統(tǒng)700，其中當(dāng)一組指令被執(zhí)行時(shí)和/或處理邏輯被激活時(shí)，可使得機(jī)器執(zhí)行這里 描述和/或要求保護(hù)的方法的任一個(gè)或多個(gè)。在可選實(shí)施例中，機(jī)器操作為單機(jī)裝置操作， 或可被連接(例如聯(lián)網(wǎng)）至其他機(jī)器。在聯(lián)網(wǎng)實(shí)現(xiàn)中，該機(jī)器可在服務(wù)器-客戶端網(wǎng)絡(luò)環(huán)境中 在服務(wù)器或客戶端機(jī)器的地位中操作，或作為對(duì)等(分布式）網(wǎng)絡(luò)環(huán)境中的對(duì)等機(jī)器。該機(jī) 器可以是個(gè)人電腦(PC)、膝上型電腦、平板計(jì)算系統(tǒng)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、智能 電話、網(wǎng)絡(luò)器具、機(jī)頂盒(STB)、網(wǎng)絡(luò)路由器、開關(guān)或橋接器、或能執(zhí)行一組指令(順序或按照 別的方式)或啟動(dòng)指定將由機(jī)器執(zhí)行的動(dòng)作的處理邏輯的任何機(jī)器。此外，盡管僅圖示了一 單個(gè)機(jī)器，但是術(shù)語(yǔ)"機(jī)器"也可被當(dāng)作包括個(gè)別地或聯(lián)合地執(zhí)行一組(或多組)指令或處理 邏輯以執(zhí)行這里所描述和/或要求保護(hù)的方法的任一個(gè)或多個(gè)的機(jī)器的任意集合。
[0146] 該示例移動(dòng)計(jì)算和/或通信系統(tǒng)700包括數(shù)據(jù)處理器702(例如，片上系統(tǒng)[SoC]、通 用處理內(nèi)核、圖形內(nèi)核、和可選的其他處理邏輯)和存儲(chǔ)器704,其能經(jīng)由總線或其他數(shù)據(jù)傳 輸系統(tǒng)706彼此通信。該移動(dòng)計(jì)算和/或通信系統(tǒng)700還可包括各種輸入/輸出（I/O)裝置和/ 或接口 710，例如觸摸屏顯示器、音頻插孔、和可選的網(wǎng)絡(luò)接口 712。在示例實(shí)施例中，該網(wǎng)絡(luò) 接口 712可包括配置為與任何一個(gè)或多個(gè)標(biāo)準(zhǔn)無(wú)線和/或移動(dòng)協(xié)議或接入技術(shù)(例如，2代 (26)、2.5代、3代(36)、4代(46)、以及未來(lái)一代用于蜂窩系統(tǒng)的無(wú)線電接入、全球移動(dòng)通信 系統(tǒng)(GSM)、通用分組無(wú)線電服務(wù)(GPRS)、增強(qiáng)數(shù)據(jù)GSM環(huán)境(EDGE)、寬帶碼分多址(WCDMA)、 1^￡工01^2000、11^^、無(wú)線路由器(11〇網(wǎng)格等)兼容的一個(gè)或多個(gè)無(wú)線電收發(fā)器。網(wǎng)絡(luò)接口 712也可被配置用于與各種其他有線和/或無(wú)線通信協(xié)議一起使用，協(xié)議包括TCP/IP、UDP、 51卩、5]\^、訂？、歡？、0)獻(xiàn)、10獻(xiàn)、1]￥^、1]冊(cè)、町？1、町]\&?、藍(lán)牙、此￡￡ 802.111等。本質(zhì)上，網(wǎng)絡(luò) 接口 712可包括或虛擬地支持任何有線和/或無(wú)線通信機(jī)制，通過(guò)其，信息可經(jīng)由網(wǎng)絡(luò)714在 移動(dòng)計(jì)算和/或通信系統(tǒng)700和另一計(jì)算或通信系統(tǒng)之間傳輸。
[0147] 存儲(chǔ)器704可表示機(jī)器可讀介質(zhì)，在其上存儲(chǔ)一組或多組指令、軟件、固件或其他 處理邏輯(例如邏輯708)，實(shí)現(xiàn)這里描述和/或要求保護(hù)的任意一個(gè)或多個(gè)方法或功能。在 由移動(dòng)計(jì)算和/或通信系統(tǒng)700執(zhí)行期間，邏輯708或其一部分也可完全或至少部分地駐留 在處理器702中。如此，存儲(chǔ)器704和處理器702也可構(gòu)建機(jī)器可讀介質(zhì)。邏輯708或其部分也 可被配置為處理邏輯或邏輯，其至少一部分以硬件部分地實(shí)現(xiàn)。邏輯708或其一部分還可經(jīng) 由網(wǎng)絡(luò)接口 712在網(wǎng)絡(luò)714上傳送或接收。盡管示例實(shí)施例的機(jī)器可讀介質(zhì)可以是單個(gè)介 質(zhì)，術(shù)語(yǔ)"機(jī)器可讀介質(zhì)"應(yīng)當(dāng)被認(rèn)為包括存儲(chǔ)了一組或多組指令的單個(gè)非瞬時(shí)介質(zhì)或多個(gè) 非瞬時(shí)介質(zhì)(例如，集中的或分布式的數(shù)據(jù)庫(kù)、和/或關(guān)聯(lián)高速緩存和計(jì)算系統(tǒng)）。術(shù)語(yǔ)"機(jī)器 可讀介質(zhì)"也可被認(rèn)為包括能存儲(chǔ)、編碼或攜帶指令集的任何非瞬時(shí)介質(zhì)，所述指令集用于 由機(jī)器執(zhí)行且促使機(jī)器執(zhí)行各種實(shí)施例中的任何一個(gè)或多個(gè)方法，或能夠存儲(chǔ)、編碼或攜 帶由這樣的指令集利用或與這樣的指令集關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)。術(shù)語(yǔ)"機(jī)器可讀介質(zhì)"可相應(yīng)地 被認(rèn)為包括但不限于，固態(tài)存儲(chǔ)器、光學(xué)介質(zhì)、和磁介質(zhì)。
[0148] -般性地參考這里使用的符號(hào)和術(shù)語(yǔ)，這里呈現(xiàn)的描述可根據(jù)在計(jì)算機(jī)或計(jì)算機(jī) 網(wǎng)絡(luò)上執(zhí)行的程序過(guò)程公開。這些過(guò)程性的描述和展示可由本領(lǐng)域技術(shù)人員使用，以將他 們的工作傳達(dá)給其他本領(lǐng)域技術(shù)人員。
[0149] 過(guò)程被一般地構(gòu)思為在能被存儲(chǔ)、傳遞、組合、比較、和按照別的方式操縱的電、 磁、或光信號(hào)上執(zhí)行的前后一致的操作序列。這些信號(hào)可以稱為位、值、元素、符號(hào)、字符、術(shù) 語(yǔ)、數(shù)字等。然而應(yīng)該注意，所有這些和類似術(shù)語(yǔ)都應(yīng)關(guān)聯(lián)于合適的物理量，且僅僅是應(yīng)用 于這些量的便捷的標(biāo)簽。進(jìn)而，所執(zhí)行的操縱通常在術(shù)語(yǔ)上被稱為例如增加或比較，其操 作可以由一個(gè)或多個(gè)機(jī)器執(zhí)行。用于執(zhí)行各種實(shí)施例的操作的有用機(jī)器可包括通用目的數(shù) 字計(jì)算機(jī)或類似的裝置。各種實(shí)施例也涉及用于執(zhí)行這些操作的設(shè)備或系統(tǒng)。這些設(shè)備可 以根據(jù)目的具體構(gòu)建，或其可包括如由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重新 配置的通用目的計(jì)算機(jī)。這里展示的過(guò)程不是本質(zhì)上與具體計(jì)算機(jī)或其他設(shè)備相關(guān)。各種 通用目的機(jī)器可與根據(jù)這里的教義撰寫的程序一起使用，或其可證實(shí)對(duì)于構(gòu)建更多專用設(shè) 備以執(zhí)行這里描述的方法是便利的。
[0150] 提供本公開的摘要以允許讀者快速明確本技術(shù)公開的本質(zhì)。應(yīng)當(dāng)理解其將不用來(lái) 解釋或限制權(quán)利要求的范圍或含義。此外，在前面的【具體實(shí)施方式】中，可以看到，為了使本 公開簡(jiǎn)化的目的，各種特征可以被一起分組在單個(gè)實(shí)施例中。本公開的方法不應(yīng)被解釋為 反映所要求保護(hù)的實(shí)施例需要比在每項(xiàng)權(quán)利要求中明確說(shuō)明的特征更多的特征的意圖。相 反地，如下面的權(quán)利要求所反映的，本發(fā)明的主題決不在于單個(gè)公開實(shí)施例的所有特征。因 此，下面的權(quán)利要求被合并至【具體實(shí)施方式】中，其中每個(gè)權(quán)利要求獨(dú)立地作為單獨(dú)的實(shí)施 例。
【主權(quán)項(xiàng)】
1. 一種設(shè)備，包括： 處理器； 圖像捕獲子系統(tǒng)； 跟蹤子系統(tǒng)，包括至少一個(gè)參考圖像；以及 數(shù)據(jù)轉(zhuǎn)換子系統(tǒng)，與該處理器和該圖像捕獲子系統(tǒng)進(jìn)行數(shù)據(jù)通信，該數(shù)據(jù)轉(zhuǎn)換子系統(tǒng) 用以： 從圖像捕獲子系統(tǒng)接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)包括至少一個(gè)參考圖像的至少一部分， 該至少一個(gè)參考圖像表示一組參考數(shù)據(jù)的一部分； 接收該圖像捕獲子系統(tǒng)的位置和方位數(shù)據(jù)，該位置和方位數(shù)據(jù)表示該參考數(shù)據(jù)的另一 部分； 當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，測(cè)量相對(duì)于該參考數(shù)據(jù)的空間關(guān)系的改變；以 及 生成虛擬世界中的動(dòng)作，該動(dòng)作對(duì)應(yīng)于所測(cè)量的空間關(guān)系的改變。2. 如權(quán)利要求1所述的設(shè)備，其中該數(shù)據(jù)轉(zhuǎn)換子系統(tǒng)被進(jìn)一步配置以確定空間關(guān)系的 改變是否落入預(yù)定閾值范圍內(nèi)，并且如果空間關(guān)系的改變落入該預(yù)定閾值范圍內(nèi)，則生成 虛擬世界中的動(dòng)作。3. 如權(quán)利要求1所述的設(shè)備，其中該跟蹤子系統(tǒng)包括一個(gè)或多個(gè)標(biāo)記，該數(shù)據(jù)轉(zhuǎn)換子系 統(tǒng)被進(jìn)一步配置以當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，測(cè)量相對(duì)于所述一個(gè)或多個(gè)標(biāo)記 的空間關(guān)系的改變。4. 如權(quán)利要求1所述的設(shè)備，其中被應(yīng)用至該跟蹤子系統(tǒng)的物理輸入是該跟蹤子系統(tǒng) 的一部分的旋轉(zhuǎn)或平移。5. 如權(quán)利要求1所述的設(shè)備，其中被應(yīng)用至該跟蹤子系統(tǒng)的物理輸入是該跟蹤子系統(tǒng) 自身的旋轉(zhuǎn)或平移。6. 如權(quán)利要求1所述的設(shè)備，其中所述空間關(guān)系的改變是在二維空間或三維空間中測(cè) 量的。7. 如權(quán)利要求1所述的設(shè)備，其中該圖像捕獲子系統(tǒng)包括多個(gè)圖像捕獲裝置，且該數(shù)據(jù) 轉(zhuǎn)換子系統(tǒng)被進(jìn)一步配置以從多個(gè)圖像捕獲裝置的每個(gè)中接收?qǐng)D像數(shù)據(jù)，并同步從所述多 個(gè)圖像捕獲裝置所接收的圖像數(shù)據(jù)。8. 如權(quán)利要求1所述的設(shè)備，其中該虛擬世界中的動(dòng)作是虛擬對(duì)象的移動(dòng)或操縱、或虛 擬用戶接口的操縱。9. 如權(quán)利要求1所述的設(shè)備，其中該虛擬世界中的動(dòng)作對(duì)應(yīng)于真實(shí)世界裝置的控制。10. 如權(quán)利要求1所述的設(shè)備，其中該參考數(shù)據(jù)包括來(lái)自用戶裝置的加速計(jì)數(shù)據(jù)。11. 一種方法，包括： 從圖像捕獲子系統(tǒng)接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)包括至少一個(gè)參考圖像的至少一部分， 該至少一個(gè)參考圖像表示一組參考數(shù)據(jù)的一部分； 接收該圖像捕獲子系統(tǒng)的位置和方位數(shù)據(jù)，所述位置和方位數(shù)據(jù)表示該參考數(shù)據(jù)的另 一部分； 當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，通過(guò)使用數(shù)據(jù)處理器，來(lái)測(cè)量相對(duì)于該參考數(shù) 據(jù)的空間關(guān)系的改變;以及 生成虛擬世界中的動(dòng)作，該動(dòng)作對(duì)應(yīng)于所測(cè)量的空間關(guān)系的改變。12. 如權(quán)利要求11所述的方法，包括確定空間關(guān)系的改變是否落入預(yù)定閾值范圍內(nèi)，并 且如果空間關(guān)系的改變落入該預(yù)定閾值范圍內(nèi)，則生成虛擬世界中的動(dòng)作。13. 如權(quán)利要求11所述的方法，包括當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，測(cè)量相對(duì)于 一個(gè)或多個(gè)標(biāo)記的空間關(guān)系的改變。14. 如權(quán)利要求11所述的方法，其中被應(yīng)用至該跟蹤子系統(tǒng)的物理輸入是跟蹤子系統(tǒng) 自身或跟蹤子系統(tǒng)的一部分的旋轉(zhuǎn)或平移。15. 如權(quán)利要求11所述的方法，其中該參考數(shù)據(jù)包括來(lái)自用戶裝置的加速計(jì)數(shù)據(jù)。16. 如權(quán)利要求11所述的方法，其中所述空間關(guān)系的改變是在二維空間或三維空間中 測(cè)量的。17. 如權(quán)利要求11所述的方法，包括從多個(gè)圖像捕獲裝置的每個(gè)中接收?qǐng)D像數(shù)據(jù)，且同 步從所述多個(gè)圖像捕獲裝置所接收的圖像數(shù)據(jù)。18. 如權(quán)利要求11所述的方法，其中虛擬世界中的動(dòng)作對(duì)應(yīng)于虛擬對(duì)象的移動(dòng)或操縱、 或虛擬用戶接口的操縱、或真實(shí)世界裝置的控制。19. 一種包含指令的非瞬時(shí)機(jī)器可用存儲(chǔ)介質(zhì)，當(dāng)所述指令由機(jī)器執(zhí)行時(shí)，促使該機(jī) 器： 從圖像捕獲子系統(tǒng)接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)包括至少一個(gè)參考圖像的至少一部分， 該至少一個(gè)參考圖像表示一組參考數(shù)據(jù)的一部分； 接收該圖像捕獲子系統(tǒng)的位置和方位數(shù)據(jù)，所述位置和方位數(shù)據(jù)表示該參考數(shù)據(jù)的另 一部分； 當(dāng)物理輸入被應(yīng)用至該跟蹤子系統(tǒng)時(shí)，測(cè)量相對(duì)于該參考數(shù)據(jù)的空間關(guān)系的改變；以 及 生成虛擬世界中的動(dòng)作，該動(dòng)作對(duì)應(yīng)于所測(cè)量的空間關(guān)系的改變。20. 如權(quán)利要求19所述的機(jī)器可用存儲(chǔ)介質(zhì)中包含的指令，被進(jìn)一步配置以確定空間 關(guān)系的改變是否落入預(yù)定閾值范圍內(nèi)，并且如果空間關(guān)系的改變落入該預(yù)定閾值范圍內(nèi)， 則生成虛擬世界中的動(dòng)作。
【文檔編號(hào)】G06F3/01GK106055090SQ201610301722
【公開日】2016年10月26日
【申請(qǐng)日】2016年2月14日
【發(fā)明人】李方煒
【申請(qǐng)人】李方煒