上下文知曉的增強(qiáng)交互的制作方法
【專利摘要】移動(dòng)平臺(tái)基于空間關(guān)系，諸如現(xiàn)實(shí)世界對(duì)象之間的接近度和／或相對(duì)位置，來(lái)呈現(xiàn)不同的增強(qiáng)現(xiàn)實(shí)對(duì)象。移動(dòng)平臺(tái)檢測(cè)并跟蹤一個(gè)或多個(gè)已捕捉的圖像中的第一對(duì)象和第二對(duì)象。該移動(dòng)平臺(tái)確定對(duì)象的空間關(guān)系，例如，對(duì)象間的接近度或距離和／或?qū)ο箝g的相對(duì)位置。接近度可基于對(duì)象是否顯現(xiàn)在同一圖像中或?qū)ο箝g的距離?；趯?duì)象的空間關(guān)系，例如通過(guò)搜索數(shù)據(jù)庫(kù)，確定要被呈現(xiàn)的增強(qiáng)對(duì)象。所選擇的增強(qiáng)對(duì)象被呈現(xiàn)和顯示。
【專利說(shuō)明】上下文知曉的增強(qiáng)交互
【背景技術(shù)】
[0001 ] 在增強(qiáng)現(xiàn)實(shí)(AR)應(yīng)用中，現(xiàn)實(shí)世界對(duì)象被成像并連同計(jì)算機(jī)生成的信息(諸如圖像或文本信息)一起顯示在屏幕上。AR可被用來(lái)提供關(guān)于現(xiàn)實(shí)世界對(duì)象(諸如建筑物或產(chǎn)品)的圖形信息或文本信息。通常，所呈現(xiàn)的AR對(duì)象依賴于被成像的現(xiàn)實(shí)世界對(duì)象。然而，該現(xiàn)實(shí)世界對(duì)象的上下文，例如位置或其它周圍對(duì)象，在呈現(xiàn)AR對(duì)象時(shí)未被考慮。然而，希望能夠顯示具有關(guān)于物理環(huán)境或至其它產(chǎn)品的接近度的上下文的AR內(nèi)容。

【發(fā)明內(nèi)容】

[0002]移動(dòng)平臺(tái)基于空間關(guān)系，諸如現(xiàn)實(shí)世界對(duì)象之間的接近度和/或相對(duì)位置，來(lái)呈現(xiàn)不同的增強(qiáng)現(xiàn)實(shí)對(duì)象?？臻g關(guān)系，其可以是對(duì)象的接近度或?qū)ο蟮南鄬?duì)位置，提供現(xiàn)實(shí)世界對(duì)象的上下文。移動(dòng)平臺(tái)檢測(cè)并跟蹤一個(gè)或多個(gè)已捕捉的圖像中的第一對(duì)象和第二對(duì)象。移動(dòng)平臺(tái)隨后確定對(duì)象的空間關(guān)系作為對(duì)象之間的接近度(或距離)和/或相對(duì)位置。接近度可以基于對(duì)象是顯現(xiàn)在同一圖像中還是顯現(xiàn)為相距例如基于姿態(tài)信息或通過(guò)圖像處理所確定的對(duì)象之間的定量距離?；趯?duì)象的空間關(guān)系，例如通過(guò)搜索數(shù)據(jù)庫(kù)來(lái)確定要被呈現(xiàn)的增強(qiáng)對(duì)象。所選擇的增強(qiáng)對(duì)象被呈現(xiàn)和顯示。
【專利附圖】

【附圖說(shuō)明】
[0003]圖1A和IB分別示出了移動(dòng)平臺(tái)的正面和背面，該移動(dòng)平臺(tái)能夠基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0004]圖2示出了移動(dòng)平臺(tái)的正面，該移動(dòng)平臺(tái)顯示了被捕捉的兩個(gè)現(xiàn)實(shí)世界對(duì)象的圖像，以及基于現(xiàn)實(shí)對(duì)象之間的空間關(guān)系所呈現(xiàn)的增強(qiáng)對(duì)象。
[0005]圖3是基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用的流程圖。
[0006]圖4示出了移動(dòng)平臺(tái)的正面，該移動(dòng)平臺(tái)顯示了被捕捉的三個(gè)現(xiàn)實(shí)世界對(duì)象的圖像，以及基于現(xiàn)實(shí)對(duì)象之間的空間關(guān)系所呈現(xiàn)的不同的增強(qiáng)對(duì)象。
[0007]圖5A和5B示出了分別成像現(xiàn)實(shí)世界對(duì)象的移動(dòng)平臺(tái)100的俯視圖。
[0008]圖6A和6B分別示出了在分別成像圖5A和5B的對(duì)象時(shí)由移動(dòng)平臺(tái)顯示的圖像。
[0009]圖7是能夠基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用的移動(dòng)平臺(tái)的框圖。
【具體實(shí)施方式】
[0010]圖1A和IB分別示出了移動(dòng)平臺(tái)100的正面和背面，該移動(dòng)平臺(tái)能夠基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用。圖1A和IB中的移動(dòng)平臺(tái)100被示為包括外殼101，可以是觸摸屏顯示器的顯示器102。移動(dòng)平臺(tái)100還可包括揚(yáng)聲器104和麥克風(fēng)106，例如，如果移動(dòng)平臺(tái)100是蜂窩電話。移動(dòng)平臺(tái)100還包括對(duì)環(huán)境進(jìn)行成像的面向前的相機(jī)108，該環(huán)境被顯示在顯示器102中。移動(dòng)平臺(tái)100還可包括運(yùn)動(dòng)傳感器110，諸如加速度計(jì)、陀螺儀等，它們可被用于輔助確定移動(dòng)平臺(tái)100的姿態(tài)或等同地相機(jī)108的姿態(tài)，相機(jī)108具有已知的/經(jīng)校準(zhǔn)的相對(duì)于運(yùn)動(dòng)傳感器110的位置關(guān)系。移動(dòng)平臺(tái)100的姿態(tài)還可以或可替換地使用基于視覺的跟蹤技術(shù)來(lái)確定?？梢岳斫猓苿?dòng)平臺(tái)100可以是任何便攜式電子設(shè)備，諸如蜂窩或其它無(wú)線通信設(shè)備、個(gè)人通信系統(tǒng)(PCS)設(shè)備、個(gè)人導(dǎo)航設(shè)備(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上電腦、相機(jī)，或其它合適的能夠增強(qiáng)現(xiàn)實(shí)(AR)的移動(dòng)設(shè)備。
[0011]圖2示出了按橫向模式持握的移動(dòng)平臺(tái)100的正面。顯示器102被示為顯示兩個(gè)現(xiàn)實(shí)世界對(duì)象(對(duì)象A120和對(duì)象B122)的被捕捉的圖像。作為示例，對(duì)象A120和對(duì)象B122可以是產(chǎn)品，諸如食品貨架124上相互靠近的谷類食品的盒子。顯示器102也被示為以箭頭的形式顯示計(jì)算機(jī)呈現(xiàn)的AR對(duì)象126?，F(xiàn)實(shí)世界對(duì)象120、122的被捕捉的對(duì)象由相機(jī)108產(chǎn)生，而AR對(duì)象126是計(jì)算機(jī)呈現(xiàn)的對(duì)象(或信息)。應(yīng)該可以理解，所捕捉的對(duì)象可以是單個(gè)圖像，例如，由相機(jī)108產(chǎn)生的照片或一個(gè)或多個(gè)視頻幀。
[0012]由移動(dòng)平臺(tái)100呈現(xiàn)并顯示的AR對(duì)象126不僅依賴于被成像的現(xiàn)實(shí)世界對(duì)象，也依賴于被成像對(duì)象的空間關(guān)系。作為示例，空間關(guān)系可以是其它被成像的對(duì)象的接近度。因此，當(dāng)現(xiàn)實(shí)世界對(duì)象接近另一個(gè)補(bǔ)充現(xiàn)實(shí)世界對(duì)象時(shí)，可呈現(xiàn)一種類型的AR對(duì)象，而當(dāng)對(duì)象不接近或當(dāng)不兼容的現(xiàn)實(shí)世界對(duì)象接近時(shí)，可呈現(xiàn)不同的AR對(duì)象或AR對(duì)象的不同行為。例如，當(dāng)早餐產(chǎn)品被彼此接近地放置時(shí)可呈現(xiàn)一種類型的AR對(duì)象，而當(dāng)早餐產(chǎn)品被放置于接近液體瓶子的時(shí)候，可呈現(xiàn)不同的AR對(duì)象或AR對(duì)象的不同行為?，F(xiàn)實(shí)世界對(duì)象的空間關(guān)系可包括其它因素，諸如對(duì)象的相對(duì)位置以及其它因素，諸如一天里的時(shí)間或地理位置。
[0013]圖3是基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用的流程圖。如所示，由移動(dòng)平臺(tái)的相機(jī)捕捉的圖像中的第一對(duì)象被檢測(cè)和跟蹤(202)。一旦對(duì)象被檢測(cè)，它可例如通過(guò)查閱板載數(shù)據(jù)庫(kù)或通過(guò)訪問(wèn)遠(yuǎn)程服務(wù)器來(lái)被標(biāo)識(shí)。跟蹤對(duì)象給出了移動(dòng)平臺(tái)相對(duì)于該對(duì)象的位置和朝向(姿態(tài))信息。對(duì)象可以是二維或三維對(duì)象。作為示例，圖2中由移動(dòng)平臺(tái)100成像的對(duì)象A120被檢測(cè)和跟蹤。
[0014]由相機(jī)捕捉的圖像中的第二對(duì)象也被檢測(cè)和跟蹤(204)。再次，一旦第二對(duì)象被檢測(cè)，第二對(duì)象也可例如通過(guò)查閱板載數(shù)據(jù)庫(kù)或通過(guò)訪問(wèn)遠(yuǎn)程服務(wù)器來(lái)被標(biāo)識(shí)。作為示例，圖2中由移動(dòng)平臺(tái)100成像的對(duì)象B122被檢測(cè)和跟蹤。第二對(duì)象可以是位于附近并在與第一對(duì)象相同的視野框架中(即，在被捕捉的同一圖像中)的項(xiàng)目。此外，第二對(duì)象可以是分開的視野框架中的項(xiàng)目，即，第二對(duì)象顯現(xiàn)在不同于第一對(duì)象的被捕捉的圖像中。因此，例如，第一對(duì)象可被成像、檢測(cè)和跟蹤。移動(dòng)平臺(tái)可隨后被移動(dòng)以捕捉被檢測(cè)和跟蹤的第二對(duì)象的圖像。
[0015]對(duì)象的空間關(guān)系隨后被確定(206)以提供對(duì)象的上下文。如果希望，則僅當(dāng)對(duì)象被標(biāo)識(shí)為具有相關(guān)聯(lián)的上下文依賴的增強(qiáng)現(xiàn)實(shí)對(duì)象的對(duì)象時(shí)，對(duì)象的空間關(guān)系才可被確定，例如，可通過(guò)訪問(wèn)板載或外部數(shù)據(jù)庫(kù)來(lái)確定?？臻g關(guān)系可以是被成像對(duì)象的接近度。如果第一對(duì)象和第二對(duì)象的至少諸部分在同一個(gè)時(shí)間都在相機(jī)的視野中，則第一對(duì)象和第二對(duì)象可被認(rèn)為接近。替換地，接近度可被確定為第一對(duì)象和第二對(duì)象之間的定量距離。例如，可以通過(guò)將對(duì)象之間的距離與對(duì)象的大小進(jìn)行比較，或使用來(lái)自跟蹤第一對(duì)象和第二對(duì)象的姿態(tài)信息來(lái)確定距離。該距離可與一個(gè)或多個(gè)閾值進(jìn)行比較以確定這些對(duì)象是否被認(rèn)為接近。此外，如果第一對(duì)象和第二對(duì)象沒(méi)有顯現(xiàn)在同一圖像中，則可基于對(duì)象之間的距離來(lái)確定對(duì)象的接近度，對(duì)象之間的距離是使用來(lái)自移動(dòng)平臺(tái)100中的運(yùn)動(dòng)傳感器100的跟蹤信息和數(shù)據(jù)來(lái)確定的。空間關(guān)系也可以，或者可替換地，是第一對(duì)象和第二對(duì)象的相對(duì)位置，例如，第一對(duì)象是在第二對(duì)象之前還是在第二對(duì)象之上。也可使用附加上下文信息，諸如一個(gè)或多個(gè)附加現(xiàn)實(shí)世界對(duì)象的存在(或不存在)、一天中的時(shí)間、環(huán)境光，移動(dòng)平臺(tái)的地理位置等。
[0016]使用所標(biāo)識(shí)的第一對(duì)象和所標(biāo)識(shí)的第二對(duì)象之間的所確定的空間關(guān)系，可確定要被呈現(xiàn)的AR對(duì)象(208)。例如，對(duì)于特定現(xiàn)實(shí)世界對(duì)象的不同空間關(guān)系，AR對(duì)象的數(shù)據(jù)庫(kù)可被維持。一旦現(xiàn)實(shí)世界對(duì)象的空間關(guān)系被確定，數(shù)據(jù)庫(kù)就可被訪問(wèn)以確定要被呈現(xiàn)的AR對(duì)象。AR對(duì)象可隨后被呈現(xiàn)并被移動(dòng)平臺(tái)100顯示(210)。
[0017]作為解說(shuō)，圖2示出基于所標(biāo)識(shí)的對(duì)象A120和所標(biāo)識(shí)的對(duì)象B122的空間關(guān)系來(lái)呈現(xiàn)和顯示的AR對(duì)象126。AR對(duì)象126是以箭頭的形式指示例如對(duì)象A120與對(duì)象B122兼容。另一方面，圖4示出了產(chǎn)生除了第三對(duì)象被標(biāo)識(shí)之外類似于圖2所示的圖像的移動(dòng)平臺(tái)100，對(duì)象C123被檢測(cè)和跟蹤并被確定為接近對(duì)象B122?；诳臻g關(guān)系(例如對(duì)象B122和不兼容的對(duì)象C123的接近度)，呈現(xiàn)包括具有貫穿它的線的箭頭的不同的AR對(duì)象128。如果希望,AR對(duì)象可被動(dòng)畫化，并且已被動(dòng)畫化的AR對(duì)象的行為可基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系而改變。此外，如果希望，附加的現(xiàn)實(shí)世界對(duì)象可被檢測(cè)和跟蹤，并被用于確定要呈現(xiàn)的AR對(duì)象。
[0018]圖5A和5B分別示出了分別對(duì)對(duì)象A120和對(duì)象B122成像的移動(dòng)平臺(tái)100的俯視圖。圖6A和6B分別示出了在如圖5A和5B所示的移動(dòng)平臺(tái)100分別對(duì)對(duì)象A120和對(duì)象B122成像時(shí)在移動(dòng)平臺(tái)100的顯示器102上顯示的圖像。如圖5A和6A所示，移動(dòng)平臺(tái)100成像并顯示現(xiàn)實(shí)世界對(duì)象A120。如以上在圖3的步驟202中討論的，對(duì)象A120被檢測(cè)和跟蹤。對(duì)象122沒(méi)有顯示在圖6A中，因?yàn)閷?duì)象122在圖5A中的相機(jī)視野109之外。在移動(dòng)移動(dòng)平臺(tái)100以將現(xiàn)實(shí)世界對(duì)象B122放入視野109中之后，如圖5B所示，對(duì)象B122被成像和顯示，如圖6B所示。如以上在圖3的步驟204中討論的，對(duì)象B122被檢測(cè)和跟蹤。如圖5B所示，通過(guò)確定對(duì)象的接近度來(lái)確定對(duì)象A120和對(duì)象B122的空間關(guān)系(圖3中的步驟206)。例如，接近度可被確定為如虛線箭頭130所示的對(duì)象A120和對(duì)象B122之間的距離和/或如虛線箭頭132所示的對(duì)象120和122之間的角位移。距離130和/或角位移132可使用跟蹤信息以及來(lái)自移動(dòng)平臺(tái)上的運(yùn)動(dòng)傳感器110的數(shù)據(jù)來(lái)確定。基于所確定的空間關(guān)系，即對(duì)象的接近度，所希望的AR對(duì)象被確定(圖3中的步驟208)，并且隨后被呈現(xiàn)和顯示(圖3中的步驟210)。例如，如圖6B所示，包括對(duì)象A120的已呈現(xiàn)圖像和指向?qū)ο驛120方向的箭頭的AR對(duì)象129被顯示。
[0019]圖7是能夠基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系來(lái)提供增強(qiáng)現(xiàn)實(shí)應(yīng)用的移動(dòng)平臺(tái)100的框圖。移動(dòng)平臺(tái)100包括諸如相機(jī)108之類的用于捕捉現(xiàn)實(shí)世界對(duì)象的裝置，和諸如加速度計(jì)、陀螺儀、電子羅盤，或其它類似的運(yùn)動(dòng)感測(cè)元件之類的運(yùn)動(dòng)傳感器110。移動(dòng)平臺(tái)100可包括其它位置確定方法，諸如使用“計(jì)算機(jī)視覺”技術(shù)的對(duì)象識(shí)別。移動(dòng)平臺(tái)進(jìn)一步包括用戶接口 150，該用戶接口包括用于顯示已捕捉圖像和已呈現(xiàn)AR對(duì)象的裝置，諸如顯示器102。用戶接口 150也可包括按鍵板152或其它輸入設(shè)備，用戶可以通過(guò)它們將信息輸入到移動(dòng)平臺(tái)100中。如果希望，通過(guò)將虛擬按鍵板整合到具有觸摸傳感器的顯示器102中，可以除去按鍵板152。用戶接口 150還可包括麥克風(fēng)106和揚(yáng)聲器104，例如，如果移動(dòng)平臺(tái)100是蜂窩電話。當(dāng)然，移動(dòng)平臺(tái)100可包括與本發(fā)明不相關(guān)的其它元件，諸如無(wú)線收發(fā)器。[0020]移動(dòng)平臺(tái)100還包括與相機(jī)108、運(yùn)動(dòng)傳感器110和用戶接口 150連接并與它們通信的控制單元160?？刂茊卧?60接受并處理來(lái)自相機(jī)108和運(yùn)動(dòng)傳感器110的數(shù)據(jù)，并且作為響應(yīng)，控制顯示器102?？刂茊卧?60可由處理器161和相關(guān)聯(lián)的存儲(chǔ)器164、硬件162、軟件165和固件163提供?？刂茊卧?60可包括圖像處理器166，用于處理來(lái)自相機(jī)108的圖像以檢測(cè)現(xiàn)實(shí)世界對(duì)象?？刂茊卧€可以包括位置處理器167以例如基于從運(yùn)動(dòng)傳感器110接收的數(shù)據(jù)和/或基于基于視覺的跟蹤技術(shù)使用由相機(jī)108捕捉的附加圖像來(lái)確定并跟蹤移動(dòng)平臺(tái)100相對(duì)于現(xiàn)實(shí)世界對(duì)象的姿態(tài)。位置處理器167也可確定現(xiàn)實(shí)世界對(duì)象的接近度以及對(duì)象的空間關(guān)系。控制單元160還可以包括圖形引擎168，其可以是例如游戲引擎，以相對(duì)于現(xiàn)實(shí)世界對(duì)象的位置和空間關(guān)系來(lái)呈現(xiàn)希望的AR對(duì)象。圖形引擎168可基于現(xiàn)實(shí)世界對(duì)象的空間關(guān)系和任何其它希望的因素，從可在存儲(chǔ)器164中的數(shù)據(jù)庫(kù)169中檢索AR對(duì)象，其中現(xiàn)實(shí)世界對(duì)象的空間關(guān)系諸如是對(duì)象的接近度和/或相對(duì)位置，而其它希望的因素諸如是一天中的時(shí)間(可基于時(shí)鐘170來(lái)確定)和地理位置(可基于來(lái)自可任選的衛(wèi)星定位系統(tǒng)(SPS)接收器172的數(shù)據(jù)來(lái)確定)。為清楚起見，圖像處理器166、位置處理器167和圖形引擎與處理器161分開示出，但是可以是處理器161的一部分或基于處理器161中運(yùn)行的軟件165中的指令在處理器中實(shí)現(xiàn)?？梢岳斫?，如本文使用的，處理器161可以但不必包括一個(gè)或多個(gè)微處理器、嵌入式處理器、控制器、專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)等。術(shù)語(yǔ)處理器旨在描述由系統(tǒng)實(shí)現(xiàn)的功能而非特定硬件。此外，如本文所使用的，術(shù)語(yǔ)“存儲(chǔ)器”是指任何類型的計(jì)算機(jī)存儲(chǔ)介質(zhì)，包括長(zhǎng)期、短期，或與移動(dòng)平臺(tái)相關(guān)聯(lián)的其他存儲(chǔ)器，且并不限于任何特定類型的存儲(chǔ)器或特定數(shù)目的存儲(chǔ)器、或記憶存儲(chǔ)在其上的介質(zhì)的類型。
[0021]設(shè)備包括用于檢測(cè)和跟蹤一個(gè)或多個(gè)圖像中的第一對(duì)象和第二對(duì)象的裝置，如果希望，其可包括圖像處理器166、位置處理器167，以及運(yùn)動(dòng)傳感器110。設(shè)備還包括用于確定第一對(duì)象和第二對(duì)象之間的空間關(guān)系的裝置，該裝置可包括位置處理器167。用于基于第一對(duì)象和第二對(duì)象之間的空間關(guān)系來(lái)確定要呈現(xiàn)的增強(qiáng)對(duì)象的裝置可包括訪問(wèn)數(shù)據(jù)庫(kù)169的圖形引擎168。此外，設(shè)備可包括用于確定與不同對(duì)象相關(guān)聯(lián)的姿態(tài)(移動(dòng)平臺(tái)的位置和朝向)的裝置，該裝置可包括位置處理器167以及運(yùn)動(dòng)傳感器110。設(shè)備可包括用于將對(duì)象的大小與對(duì)象之間的空間進(jìn)行比較以確定對(duì)象之間的距離的裝置，該裝置可以是圖像處理器 166。
[0022]本文中所描述的方法體系取決于應(yīng)用可藉由各種手段來(lái)實(shí)現(xiàn)。例如，這些方法體系可在硬件162、固件163、軟件165、或其任何組合中實(shí)現(xiàn)。對(duì)于硬件實(shí)現(xiàn)，這些處理單元可以在一個(gè)或更多個(gè)專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理器件(DSH))、可編程邏輯器件(PLD)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子器件、設(shè)計(jì)成執(zhí)行本文中所描述功能的其他電子單元、或其組合內(nèi)實(shí)現(xiàn)。
[0023]對(duì)于固件和/或軟件實(shí)現(xiàn)，這些方法體系可用執(zhí)行本文中描述的功能的模塊(例如，規(guī)程、函數(shù)等等)來(lái)實(shí)現(xiàn)。任何有形地體現(xiàn)指令的機(jī)器可讀介質(zhì)可被用來(lái)實(shí)現(xiàn)本文中所描述的方法體系。例如，軟件代碼可被存儲(chǔ)在存儲(chǔ)器164中并由處理器161執(zhí)行。存儲(chǔ)器可在處理器161的內(nèi)部或外部實(shí)現(xiàn)。
[0024]如果以固件和/或軟件實(shí)現(xiàn)，則各功能可作為一條或更多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上。各示例包括編碼成具有數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀介質(zhì)和編碼成具有計(jì)算機(jī)程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。例如，包括存儲(chǔ)于其上的程序代碼的計(jì)算機(jī)可讀介質(zhì)可包括在顯示器上顯示第一對(duì)象和第二對(duì)象的圖像的程序代碼、檢測(cè)和跟蹤第一對(duì)象并檢測(cè)和跟蹤第二對(duì)象的程序代碼、確定第一對(duì)象和第二對(duì)象之間的空間關(guān)系的程序代碼、基于第一對(duì)象和第二對(duì)象之間的空間關(guān)系來(lái)確定要呈現(xiàn)的增強(qiáng)對(duì)象的程序代碼，以及在顯示器上顯示增強(qiáng)對(duì)象的程序代碼。計(jì)算機(jī)可讀介質(zhì)還可包括確定相對(duì)于第一對(duì)象的第一姿態(tài)和相對(duì)于第二對(duì)象的第二姿態(tài)的程序代碼，其中確定第一對(duì)象和第二對(duì)象之間的距離的程序代碼使用第一姿態(tài)和第二姿態(tài)來(lái)確定距離。計(jì)算機(jī)可讀介質(zhì)還可包括將第一對(duì)象和第二對(duì)象中的至少一者的大小與第一對(duì)象和第二對(duì)象之間的空間進(jìn)行比較以確定第一對(duì)象和第二對(duì)象之間的距離的程序代碼。計(jì)算機(jī)可讀介質(zhì)包括物理計(jì)算機(jī)存儲(chǔ)介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何可用介質(zhì)。作為示例而非限定，此類計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲(chǔ)、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能被用來(lái)存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其他介質(zhì)；如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(⑶)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤和藍(lán)光碟，其中盤常常磁學(xué)地再現(xiàn)數(shù)據(jù)，而碟用激光光學(xué)地再現(xiàn)數(shù)據(jù)。上述設(shè)備的組合也應(yīng)當(dāng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0025]例如，包括存儲(chǔ)于其上的程序代碼的計(jì)算機(jī)可讀介質(zhì)可包括顯示由2D表面的相機(jī)捕捉的3D對(duì)象的圖像的程序代碼、檢測(cè)并跟蹤圖像中的2D表面的程序代碼、檢測(cè)對(duì)2D表面上的被指派為感興趣區(qū)域的區(qū)域的遮擋的程序代碼、確定3D對(duì)象的形狀的程序代碼，以及相對(duì)于2D表面上感興趣區(qū)域呈現(xiàn)和顯示圖形對(duì)象的程序代碼，其中圖形對(duì)象相對(duì)于3D對(duì)象的形狀來(lái)呈現(xiàn)。
[0026]盡管為了指導(dǎo)性目的結(jié)合特定實(shí)施例來(lái)解說(shuō)本發(fā)明，但是本發(fā)明不限于此。可作出各種調(diào)整和修改而不偏離本發(fā)明的范圍。因此，所附權(quán)利要求的精神和范圍不應(yīng)被限于前面的描述。
【權(quán)利要求】
1.一種方法，包括:捕捉并顯示第一對(duì)象和第二對(duì)象的圖像；檢測(cè)并跟蹤所述第一對(duì)象；檢測(cè)并跟蹤所述第二對(duì)象；確定所述第一對(duì)象和所述第二對(duì)象之間的空間關(guān)系；基于所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系確定要呈現(xiàn)的增強(qiáng)對(duì)象；以及顯示所述增強(qiáng)對(duì)象。
2.如權(quán)利要求1所述的方法，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的接近度。
3.如權(quán)利要求2所述的方法，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一 對(duì)象和所述第二對(duì)象一起在所述圖像中的至少諸部分。
4.如權(quán)利要求2所述的方法，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一對(duì)象和所述第二對(duì)象之間的距離。
5.如權(quán)利要求4所述的方法，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度通過(guò)將所述距離與閾值進(jìn)行比較來(lái)確定。
6.如權(quán)利要求4所述的方法，其特征在于，還包括確定相對(duì)于所述第一對(duì)象的第一姿態(tài)和相對(duì)于所述第二對(duì)象的第二姿態(tài)，并使用所述第一姿態(tài)和所述第二姿態(tài)來(lái)確定所述距離。
7.如權(quán)利要求4所述的方法，其特征在于，還包括將所述第一對(duì)象和所述第二對(duì)象中的至少一者的大小與所述第一對(duì)象和所述第二對(duì)象之間的空間進(jìn)行比較以確定所述距離。
8.如權(quán)利要求1所述的方法，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的相對(duì)位置。
9.如權(quán)利要求1所述的方法，其特征在于，捕捉并顯示所述第一對(duì)象和所述第二對(duì)象的圖像包括捕捉并顯示所述第一對(duì)象的第一圖像以及捕捉并顯示所述第二對(duì)象的第二圖像，其中所述第一對(duì)象和所述第二對(duì)象沒(méi)有一起顯現(xiàn)在相機(jī)視野中。
10.如權(quán)利要求1所述的方法，其特征在于，還包括:捕捉并顯示第三對(duì)象的圖像；檢測(cè)并跟蹤所述第三對(duì)象；確定所述第一對(duì)象和所述第三對(duì)象之間的空間關(guān)系；基于所述第一對(duì)象和所述第三對(duì)象的所述空間關(guān)系確定要呈現(xiàn)的一不同增強(qiáng)對(duì)象；以及顯示所述不同增強(qiáng)對(duì)象。
11.一種移動(dòng)平臺(tái)，包括:相機(jī)；連接到所述相機(jī)的處理器；連接到所述處理器的存儲(chǔ)器；連接到所述存儲(chǔ)器的顯示器；以及保存在所述存儲(chǔ)器中并在所述處理器中運(yùn)行的軟件，所述軟件使得所述處理器在所述顯示器上顯示由所述相機(jī)捕捉的第一對(duì)象和第二對(duì)象的圖像、檢測(cè)并跟蹤所述第一對(duì)象、檢測(cè)并跟蹤所述第二對(duì)象、確定所述第一對(duì)象和所述第二對(duì)象之間的空間關(guān)系、基于所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系確定要呈現(xiàn)的增強(qiáng)對(duì)象、并將所述增強(qiáng)對(duì)象顯示在所述顯示器上。
12.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的接近度。
13.如權(quán)利要求12所述的移動(dòng)平臺(tái)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一對(duì)象和所述第二對(duì)象一起在所述相機(jī)的視野中的至少諸部分。
14.如權(quán)利要求12所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器確定所述第一對(duì)象和所述第二對(duì)象之間的距離，以確定所述第一對(duì)象和所述第二對(duì)象之間的所述接近度。
15.如權(quán)利要求14所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器將所述距離與閾值進(jìn)行比較，以確定所述第一對(duì)象和所述第二對(duì)象之間的所述接近度。
16.如權(quán)利要求14所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器確定相對(duì)于所述第一對(duì)象的第一姿態(tài)和相對(duì)于所述第二對(duì)象的第二姿態(tài)，并使用所述第一姿態(tài)和所述第二姿態(tài)來(lái)確定所述第一對(duì)象和所述第二對(duì)象之間的所述距離。
17.如權(quán)利要求14所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器將所述第一對(duì)象和所述第二對(duì)象中的至少一者的大小與所述第一對(duì)象和所述第二對(duì)象之間的空間進(jìn)行比較，以確定所述第一對(duì)象和所述第二對(duì)象之間的所述距離。
18.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的相對(duì)位置。.
19.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器在所述顯示器上顯示所述第一對(duì)象的第一圖像并在所述顯示器上顯示所述第二對(duì)象的第二圖像，其中所述第一對(duì)象和所述第二對(duì)象沒(méi)有一起顯現(xiàn)在所述相機(jī)的視野中。
20.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器在所述顯示器上顯示第三對(duì)象的圖像、檢測(cè)并跟蹤所述第三對(duì)象、確定所述第一對(duì)象和所述第三對(duì)象之間的空間關(guān)系、基于所述第一對(duì)象和所述第三對(duì)象的所述空間關(guān)系確定要呈現(xiàn)的一不同增強(qiáng)對(duì)象，以及在所述顯示器上顯示所述不同增強(qiáng)對(duì)象。
21.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，還包括運(yùn)動(dòng)傳感器，其中在所述處理器中運(yùn)行的所述軟件使得所述處理器使用來(lái)自所述運(yùn)動(dòng)傳感器的數(shù)據(jù)來(lái)檢測(cè)并跟蹤所述第一對(duì)象以及檢測(cè)并跟蹤所述第二對(duì)象。
22.如權(quán)利要求11所述的移動(dòng)平臺(tái)，其特征在于，在所述處理器中運(yùn)行的所述軟件使得所述處理器使用由所述相機(jī)捕捉的圖像來(lái)檢測(cè)并跟蹤所述第一對(duì)象以及檢測(cè)并跟蹤所述第二對(duì)象。
23.—種設(shè)備,包括:用于捕捉第一對(duì)象和第二對(duì)象的圖像的裝置；用于檢測(cè)和跟蹤所述第一對(duì)象和所述第二對(duì)象的裝置；用于確定所述第一對(duì)象和所述第二對(duì)象之間的空間關(guān)系的裝置；用于基于所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系確定要呈現(xiàn)的增強(qiáng)對(duì)象的裝置；以及用于顯示所述增強(qiáng)對(duì)象以及所述第一對(duì)象和所述第二對(duì)象的圖像的裝置。
24.如權(quán)利要求23所述的設(shè)備，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的接近度。
25.如權(quán)利要求24所述的設(shè)備，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一對(duì)象和所述第二對(duì)象一起在所述圖像中的至少諸部分。
26.如權(quán)利要求24所述的設(shè)備，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一對(duì)象和所述第二對(duì)象之間的距離。
27.如權(quán)利要求26所述的設(shè)備，其特征在于，所述用于確定所述第一對(duì)象和所述第二對(duì)象之間的空間關(guān)系的裝置將所述距離與閾值進(jìn)行比較。
28.如權(quán)利要求26所述的設(shè)備，其特征在于，還包括用于確定相對(duì)于所述第一對(duì)象的第一姿態(tài)和相對(duì)于所述第二對(duì)象的第二姿態(tài)的裝置，其中所述第一姿態(tài)和所述第二姿態(tài)被用來(lái)確定所述距離。
29.如權(quán)利要求26所述的設(shè)備，其特征在于，還包括用于將所述第一對(duì)象和所述第二對(duì)象中的至少一者的大小與所述第一對(duì)象和所述第二對(duì)象之間的空間進(jìn)行比較以確定所述距離的裝置。
30.如權(quán)利要求23所述的設(shè)備，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的相對(duì)位置。
31.一種包括存儲(chǔ)于其上的程序代碼的計(jì)算機(jī)可讀介質(zhì)，包括: 用于在顯示器上顯示第一對(duì)象和第二對(duì)象的圖像的程序代碼；用于檢測(cè)和跟蹤所述第一對(duì)象并且檢測(cè)和跟蹤所述第二對(duì)象的程序代碼；用于確定所述第一對(duì)象和所述第二對(duì)象之間的空間關(guān)系的程序代碼；用于基于所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系確定要呈現(xiàn)的增強(qiáng)對(duì)象的程序代碼；以及用于在所述顯示器上顯示所述增強(qiáng)對(duì)象的程序代碼。
32.如權(quán)利要求31所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān)系基于所述第一對(duì)象和所述第二對(duì)象之間的接近度。
33.如權(quán)利要求32所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述接近度基于所述第一對(duì)象和所述第二對(duì)象一起在所述圖像中的至少諸部分。
34.如權(quán)利要求32所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述用于確定所述第一對(duì)象和所述第二對(duì)象的接近度的程序代碼包括用于確定所述第一對(duì)象和所述第二對(duì)象之間的距離的程序代碼。
35.如權(quán)利要求34所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述用于確定所述第一對(duì)象和所述第二對(duì)象的接近度的程序代碼將所述距離與閾值進(jìn)行比較以確定所述第一對(duì)象和所述第二對(duì)象之間的接近度。
36.如權(quán)利要求34所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，還包括用于確定相對(duì)于所述第一對(duì)象的第一姿態(tài)和相對(duì)于所述第二對(duì)象的第二姿態(tài)的程序代碼，其中所述用于確定所述第一對(duì)象和所述第二對(duì)象之間的所述距離的程序代碼使用所述第一姿態(tài)和所述第二姿態(tài)來(lái)確定所述距離。
37.如權(quán)利要求34所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述用于確定所述第一對(duì)象和所述第二對(duì)象之間的所述距離的程序代碼將所述第一對(duì)象和所述第二對(duì)象中的至少一者的大小與所述第一對(duì)象和所述第二對(duì)象之間的空間進(jìn)行比較以確定所述第一對(duì)象和所述第二對(duì)象之間的所述距離。
38.如權(quán)利要求31所述的計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述第一對(duì)象和所述第二對(duì)象之間的所述空間關(guān) 系基于所述第一對(duì)象和所述第二對(duì)象之間的相對(duì)位置。
【文檔編號(hào)】G06T7/00GK103443743SQ201280015474
【公開日】2013年12月11日 申請(qǐng)日期:2012年1月31日 優(yōu)先權(quán)日:2011年1月31日
【發(fā)明者】R·勞倫斯阿什克伊尼戈 申請(qǐng)人:高通股份有限公司