分離的計(jì)算機(jī)視覺(jué)位置及方向與慣性傳感器位置及方向的顯示的制作方法
【專(zhuān)利說(shuō)明】分離的計(jì)算機(jī)視覺(jué)位置及方向與慣性傳感器位置及方向的顯示
技術(shù)領(lǐng)域
[0001]本文中所描述的主題的實(shí)施例大體而言是關(guān)于將計(jì)算機(jī)視覺(jué)位置及方向及慣性傳感器位置及方向分離地用在可視化應(yīng)用程序中，且更特定言的，是關(guān)于顯示針對(duì)計(jì)算機(jī)視覺(jué)位置及方向及慣性傳感器位置及方向的分別的圖形以提示用戶(hù)運(yùn)動(dòng)器件的移動(dòng)。
【背景技術(shù)】
[0002]智能型手機(jī)、平板型計(jì)算機(jī)、攝影機(jī)等等的愈來(lái)愈多，運(yùn)動(dòng)器件除了攝影機(jī)以外也包括各種類(lèi)型的慣性傳感器。如加速計(jì)及回轉(zhuǎn)儀的慣性傳感器，因其在高采樣率下量測(cè)加速度及角速度的能力而被用在追蹤運(yùn)動(dòng)器件的移動(dòng)。如擴(kuò)增實(shí)境、室內(nèi)導(dǎo)航等等的許多應(yīng)用程序使用慣性傳感器與計(jì)算機(jī)視覺(jué)的組合以用在判定運(yùn)動(dòng)器件的位置及方向(位置及定向)及追蹤運(yùn)動(dòng)器件。
[0003]為了將慣性傳感器用在準(zhǔn)確位置判定，特別在將慣性傳感器與計(jì)算機(jī)視覺(jué)技術(shù)組合時(shí)，需要對(duì)慣性傳感器的準(zhǔn)確校準(zhǔn)。慣性傳感器的校準(zhǔn)包括將慣性傳感器相對(duì)在攝影機(jī)對(duì)準(zhǔn)，以及校準(zhǔn)慣性傳感器的尺度及非正交性參數(shù)。然而，慣性傳感器的校準(zhǔn)當(dāng)前為耗時(shí)的工廠制造，每一個(gè)別運(yùn)動(dòng)器件皆需要慣性傳感器的校準(zhǔn)。在慣性傳感器的工廠校準(zhǔn)期間，執(zhí)行運(yùn)動(dòng)器件的是列精確移動(dòng)且使該精確移動(dòng)與慣性傳感器的響應(yīng)相關(guān)。雖然用于使用者運(yùn)動(dòng)校準(zhǔn)傳感器的一些途徑，但此等途徑的效能?chē)?yán)重地取決在供應(yīng)與工廠運(yùn)動(dòng)質(zhì)量相似的用戶(hù)運(yùn)動(dòng)。指示使用者提供復(fù)雜且又高度準(zhǔn)確的運(yùn)動(dòng)是困難的。然而，在無(wú)此等充足運(yùn)動(dòng)的情況下，工廠校準(zhǔn)(其帶來(lái)成本增加)為用以可靠地獲得準(zhǔn)確校準(zhǔn)參數(shù)的唯一方式。

【發(fā)明內(nèi)容】

[0004]運(yùn)動(dòng)器件使用由攝影機(jī)采集的影像判定視覺(jué)位置及方向，且使用來(lái)自諸如加速計(jì)及回轉(zhuǎn)儀的慣性傳感器的數(shù)據(jù)判定感測(cè)器式位置及方向。該視覺(jué)位置及方向及該傳感器位置及方向是分離地用在可視化應(yīng)用程序中，該可視化應(yīng)用程序顯示針對(duì)該不同位置及方向的分別的圖形。舉例而言，該可視化應(yīng)用程序可用以校準(zhǔn)該慣性傳感器，其中該可視化應(yīng)用程序基于該視覺(jué)位置及方向顯示圖形且基于該傳感器位置及方向顯示圖形，且提示用戶(hù)隨該所顯示圖形在特定方向上移動(dòng)該運(yùn)動(dòng)器件以加速對(duì)該慣性傳感器的校準(zhǔn)的收斂?；蛘?，該可視化應(yīng)用程序可為使用該視覺(jué)位置及方向及該傳感器位置及方向顯示分別的圖形的基于運(yùn)動(dòng)的游戲或攝影應(yīng)用程序。
[0005]在實(shí)施中，一種方法包括:使用經(jīng)采集影像判定運(yùn)動(dòng)器件的視覺(jué)位置及方向；使用慣性傳感器判定該運(yùn)動(dòng)器件的傳感器位置及方向；及將該視覺(jué)位置及方向及該傳感器位置及方向分離地用在可視化應(yīng)用程序中。
[0006]在實(shí)施中，一種運(yùn)動(dòng)器件包括:攝影機(jī)，其采集環(huán)境的影像;慣性傳感器，其響應(yīng)在該運(yùn)動(dòng)器件的移動(dòng)而產(chǎn)生數(shù)據(jù)；顯示器;及處理器，其連接到該顯示器、連接到該攝影機(jī)以接收該環(huán)境的經(jīng)采集影像且連接到該慣性傳感器以接收響應(yīng)在該運(yùn)動(dòng)器件的該移動(dòng)的該數(shù)據(jù)，該處理器經(jīng)組態(tài)以使用該經(jīng)采集影像判定該運(yùn)動(dòng)器件的視覺(jué)位置及方向；使用來(lái)自該慣性傳感器的該數(shù)據(jù)判定該運(yùn)動(dòng)器件的傳感器位置及方向；且使該顯示器基于該視覺(jué)位置及方向展示第一圖形且基于該傳感器位置及方向展示第二圖形。
[0007]在實(shí)施中，一種運(yùn)動(dòng)器件包括:用在使用經(jīng)采集影像判定該運(yùn)動(dòng)器件的視覺(jué)位置及方向的構(gòu)件；用在使用慣性傳感器判定該運(yùn)動(dòng)器件的傳感器位置及方向的構(gòu)件;及用在將該視覺(jué)位置及方向及該傳感器位置及方向分離地用在可視化應(yīng)用程序中的構(gòu)件。
[0008]在實(shí)施中，一種儲(chǔ)存媒體(包括儲(chǔ)存在其上的程序代碼)包括:用以使用經(jīng)采集影像判定運(yùn)動(dòng)器件的視覺(jué)位置及方向的程序代碼;用以使用慣性傳感器判定該運(yùn)動(dòng)器件的傳感器位置及方向的程序碼;及用以將該視覺(jué)位置及方向及該傳感器位置及方向分離地用在可視化應(yīng)用程序中的程序代碼。
【附圖說(shuō)明】
[0009]圖1說(shuō)明能夠自經(jīng)采集影像判定視覺(jué)位置及方向及自慣性感測(cè)器判定傳感器位置及方向且將該視覺(jué)位置及方向及該傳感器位置及方向分離地用在可視化應(yīng)用程序中的運(yùn)動(dòng)器件。
[0010]圖2說(shuō)明可由運(yùn)動(dòng)器件用在可視化應(yīng)用程序中的圖形的一個(gè)可能實(shí)施。
[0011]圖3說(shuō)明可由運(yùn)動(dòng)器件用在可視化應(yīng)用程序中的圖形的另可能實(shí)施。
[0012]圖4說(shuō)明可由運(yùn)動(dòng)器件用在可視化應(yīng)用程序中的圖形的另可能實(shí)施。
[0013]圖5為說(shuō)明將視覺(jué)圖形及傳感器圖形分離地用在可視化應(yīng)用程序中的處理程序的流程圖。
[0014]圖6為說(shuō)明將視覺(jué)圖形、傳感器圖形及混合圖形用在可視化應(yīng)用程序中的處理程序的流程圖。
[0015]圖7為說(shuō)明用在校準(zhǔn)慣性傳感器的可視化應(yīng)用程序的特定實(shí)施例的流程圖。
[0016]圖8為能夠判定視覺(jué)位置及方向及傳感器位置及方向且將視覺(jué)圖形及傳感器圖形分離地用在可視化應(yīng)用程序中的運(yùn)動(dòng)器件的方塊圖。
【具體實(shí)施方式】
[0017]圖1說(shuō)明能夠自經(jīng)采集影像判定視覺(jué)位置及方向及自慣性感測(cè)器判定傳感器位置及方向，且將該視覺(jué)位置及方向及該傳感器位置及方向分離地用在可視化應(yīng)用程序中的運(yùn)動(dòng)器件100。可視化應(yīng)用程序針對(duì)視覺(jué)位置及方向及傳感器位置及方向顯示分別的圖形，該圖形有時(shí)在本文中分別被稱(chēng)作視覺(jué)圖形及傳感器圖形。由實(shí)例，可視化應(yīng)用程序可用以校準(zhǔn)慣性傳感器、游戲、攝影等等。舉例而言，可基于用戶(hù)響應(yīng)在所顯示圖形對(duì)運(yùn)動(dòng)器件的操控而校準(zhǔn)慣性傳感器。運(yùn)動(dòng)器件100被說(shuō)明為包括顯示器102，該顯示器102可為(但未必為)觸控屏幕顯示器。運(yùn)動(dòng)器件100包括用以使諸如目標(biāo)101的環(huán)境成像的前向攝影機(jī)108，該目標(biāo)101被說(shuō)明為展示在顯示器102上。運(yùn)動(dòng)器件100也包括慣性傳感器110，諸如，加速計(jì)、回轉(zhuǎn)儀或其類(lèi)似者。運(yùn)動(dòng)器件100也可包括與本發(fā)明不相關(guān)的其他特征，諸如揚(yáng)聲器104及麥克風(fēng)106(例如，在運(yùn)動(dòng)器件100為蜂巢式電話的情況下)。
[0018]如本文中所使用，運(yùn)動(dòng)器件是指能夠根據(jù)經(jīng)采集影像或視訊串流進(jìn)行視覺(jué)位置偵測(cè)及追蹤且包括慣性傳感器的任何攜帶型電子器件，且可包括(例如)蜂巢式或其他無(wú)線通信器件、個(gè)人通信系統(tǒng)(PCS)器件、個(gè)人導(dǎo)航器件(PND)、個(gè)人信息管理器(ΡΠΟ、個(gè)人數(shù)字助理(PDA)，或包括攝影機(jī)、無(wú)線通信器件、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板型計(jì)算機(jī)，等等的其他合適運(yùn)動(dòng)器件。運(yùn)動(dòng)器件可(但未必需要)能夠接收無(wú)線通信及/或?qū)Ш叫盘?hào)(諸如，導(dǎo)航定位信號(hào))。術(shù)語(yǔ)運(yùn)動(dòng)器件也意欲包括(諸如)由短程無(wú)線、紅外線、有線連接或其他連接而與個(gè)人導(dǎo)航器件(PND)通信的器件而不管在器件處或在PND處是否會(huì)發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或位置相關(guān)的處理。
[0019]運(yùn)動(dòng)器件100包括視覺(jué)位置及方向模塊112，視覺(jué)位置及方向模塊112使用由攝影機(jī)108采集的影像(例如，由攝影機(jī)108產(chǎn)生的是列視訊圖框)以產(chǎn)生視覺(jué)位置及方向。視覺(jué)位置及方向?yàn)槭褂糜?jì)算機(jī)視覺(jué)技術(shù)而判定的運(yùn)動(dòng)器件的位置及定向。應(yīng)理解，攝影機(jī)108可采集視訊影像及/或圖框，且術(shù)語(yǔ)影像及圖框在本文中可互換地使用。運(yùn)動(dòng)器件100進(jìn)一步包括慣性感測(cè)系統(tǒng)(INS)114，該慣性感測(cè)系統(tǒng)114使用慣性傳感器110的輸出以產(chǎn)生傳感器位置及方向。應(yīng)理解，視覺(jué)位置及方向及傳感器位置及方向中的者或兩者可基于另者而予以初始化，但在其他情況下(如本文中所使用)，視覺(jué)位置及方向獨(dú)立在傳感器位置及方向，且傳感器位置及方向獨(dú)立在視覺(jué)位置及方向。因此，在當(dāng)前時(shí)刻，當(dāng)呈現(xiàn)當(dāng)前擴(kuò)增集合時(shí)視覺(jué)位置及方向及傳感器位置及方向是獨(dú)立的;但其可能在過(guò)去時(shí)刻融合在起。
[0020]運(yùn)動(dòng)器件100使用可視化應(yīng)用程序，該可視化應(yīng)用程序基于自經(jīng)采集影像產(chǎn)生的視覺(jué)位置及方向及自慣性傳感器數(shù)據(jù)產(chǎn)生的傳感器位置及方向而在顯示器102上顯示分別的圖形。舉例而言，如圖1中所說(shuō)明，運(yùn)動(dòng)器件100可基于由視覺(jué)位置及方向模塊112產(chǎn)生的視覺(jué)位置及方向而呈現(xiàn)第一圖形120，且基于由INS114產(chǎn)生的傳感器位置及方向而呈現(xiàn)第二圖形122。視需要，視覺(jué)圖形120及傳感器圖形122可為同所呈現(xiàn)對(duì)象的不同色彩信道，或其可為不同物件。圖1將圖形120及122說(shuō)明為球狀，但應(yīng)理解，可使用任何類(lèi)型的圖形。此夕卜，視需要，可將多個(gè)圖形用在視覺(jué)位置及方向，且可將多個(gè)圖形用在傳感器