專利名稱：圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、顯示控制方法及程序。
背景技術(shù)：
近年來,被稱為增強(qiáng)現(xiàn)實(shí)(AR, Augmented Reality)的技術(shù)引起了注意,其中，增強(qiáng)現(xiàn)實(shí)的技術(shù)以疊加的方式在真實(shí)世界上向用戶呈現(xiàn)附加信息。在AR技術(shù)中，向用戶的信息呈現(xiàn)有時被稱為“注釋(annotation) ”，并且可以使用諸如文本、圖標(biāo)或動畫的各種形式的虛擬對象來可視化。在一般的AR應(yīng)用中，虛擬對象被布置成對齊到真實(shí)對象(例如，存在于真實(shí)世界中的對象，其例如可在真實(shí)世界的圖像中被識別)的位置。另外，存在如下應(yīng)用，該應(yīng)用能夠?qū)R空間中的虛擬對象布置成對齊到真實(shí)對象的姿勢以及真實(shí)對象的位置。例如，專利文獻(xiàn)1(“PTL I”)提出了如下技術(shù)，該技術(shù)能夠抑制虛擬對象的位置對齊的準(zhǔn)確度的退化。引用列表[PTL 1]JP2010-134649背景然而，難以一貫地準(zhǔn)確識別投影在圖像中的真實(shí)世界中的真實(shí)對象的位置或姿勢。即，當(dāng)試圖將虛擬對象的位置或姿勢與真實(shí)世界的真實(shí)對象進(jìn)行匹配時，虛擬對象由于識別準(zhǔn)確度的時間退化而可能不穩(wěn)定地顯示。特別地，當(dāng)進(jìn)行不穩(wěn)定的識別時，期望適當(dāng)?shù)乜刂铺摂M對象的顯示，以及由此防止用戶由于虛擬對象的不穩(wěn)定顯示而迷惑。
發(fā)明內(nèi)容如上所述，根據(jù)本公開，可防止用戶由于虛擬對象的不穩(wěn)定顯示而迷惑。公開的實(shí)施例包括一種圖像處理設(shè)備，該設(shè)備包括:識別單元，其被配置成在圖像中識別真實(shí)對象。該設(shè)備還可包括:確定單元，其被配置成確定指示識別的穩(wěn)定性的穩(wěn)定性指示，以及顯示控制單元，其被配置成根據(jù)穩(wěn)定性指示修改虛擬對象的顯示。根據(jù)上述圖像處理設(shè)備，其中，顯示控制單元還被配置成通過修改虛擬對象的至少一個屬性，來根據(jù)穩(wěn)定性指示修改虛擬對象的顯示。根據(jù)上述圖像處理設(shè)備，其中，顯示控制單元還被配置成根據(jù)真實(shí)對象的跟蹤位置或取向修改虛擬對象的顯示。根據(jù)上述圖像處理設(shè)備，其中，以跟蹤速率跟蹤跟蹤位置，以及顯示控制單元還被配置成根據(jù)穩(wěn)定性指示選擇跟蹤速率。根據(jù)上述圖像處理設(shè)備，還包括在顯示虛擬對象之前選擇跟蹤速率。根據(jù)上述圖像處理設(shè)備，還包括在穩(wěn)定性指示增大時選擇更高的跟蹤速率，以及在穩(wěn)定性指示減小時選擇更低的跟蹤速率。根據(jù)上述圖像處理設(shè)備，其中，選擇跟蹤速率包括選擇使得虛擬對象的經(jīng)修改的顯示與圖像協(xié)同地移動的跟蹤速率。[0015]根據(jù)上述圖像處理設(shè)備，其中，經(jīng)修改的圖像屬性為靜態(tài)屬性或動態(tài)屬性中的至少之一。根據(jù)上述圖像處理設(shè)備，其中，經(jīng)修改的屬性包括向用戶提供的關(guān)于穩(wěn)定性指示的變化的指示。根據(jù)上述圖像處理設(shè)備，其中，靜態(tài)屬性包括以下各項(xiàng)中的至少之一:虛擬對象的顯示的透明度,虛擬對象的顯示的銳度,虛擬對象的顯示的顏色,虛擬對象的顯示的比例，虛擬對象的顯示的形狀，或疊加在虛擬對象的顯示上的圖案。根據(jù)上述圖像處理設(shè)備，其中，動態(tài)屬性包括以下各項(xiàng)中的至少之一:與虛擬對象的顯示有關(guān)的動畫，顯示在虛擬對象的顯示上的圖案，或顯示在虛擬對象的顯示上的圖案的顯示定時。根據(jù)上述圖像處理設(shè)備，其中，確定穩(wěn)定性指示包括:將真實(shí)對象的狀態(tài)量的一個方面的當(dāng)前值與真實(shí)對象的狀態(tài)量的該方面的至少一個先前值進(jìn)行比較。根據(jù)上述圖像處理設(shè)備，包括傳感器；以及其中，確定單元被配置成通過將傳感器輸出的變化與真實(shí)對象的狀態(tài)量的該方面的變化進(jìn)行比較來確定穩(wěn)定性指示。根據(jù)上述圖像處理設(shè)備，其中，傳感器包括具有指示設(shè)備的移動的輸出的傳感器。根據(jù)上述圖像處理設(shè)備，其中，狀態(tài)量為以下各項(xiàng)中的至少之一:真實(shí)對象的位置、取向或比例。根據(jù)上述圖像處理設(shè)備，其中，狀態(tài)量的該方面為以下各項(xiàng)中的至少之一:狀態(tài)量的高頻分量，狀態(tài)量的絕對值，或狀態(tài)量的微分。根據(jù)上述圖像處理設(shè)備，其中，確定單元被配置成通過將狀態(tài)量的該方面與圖像中的真實(shí)對象的運(yùn)動方向進(jìn)行比較來確定穩(wěn)定性指示。根據(jù)上述圖像處理設(shè)備，其中，確定單元被配置成通過下述操作來確定穩(wěn)定性指示:將真實(shí)對象的狀態(tài)量的第一方面的當(dāng)前值與狀態(tài)量的第一方面的先前值進(jìn)行比較；以及將狀態(tài)量的第二方面的當(dāng)前值與狀態(tài)量的第二方面的先前值進(jìn)行比較。根據(jù)上述圖像處理設(shè)備，其中，狀態(tài)量的第一方面和第二方面包括真實(shí)對象的位置和真實(shí)對象的取向。根據(jù)上述圖像處理設(shè)備，其中，穩(wěn)定性指示的值為圖像中示出的真實(shí)對象的部分的反函數(shù)。根據(jù)上述圖像處理設(shè)備，還包括:控制單元，其被配置成在穩(wěn)定性指示降到閾值以下時警告用戶。根據(jù)上述圖像處理設(shè)備，其中，顯示控制單元包括輸入單元，該輸入單元用于接收用戶輸入以禁止虛擬對象屬性的顯示的修改。根據(jù)上述圖像處理設(shè)備，其中，顯示控制單元被配置成:修改虛擬對象的顯示以包括真實(shí)對象的識別的指示；以及將虛擬對象的信息顯示疊加到圖像、或虛擬對象的經(jīng)修改的顯示中的至少之一上。根據(jù)上述圖像處理設(shè)備，其中:至少一個屬性為虛擬對象的顯示的銳度；以及顯示控制單元被配置成在穩(wěn)定性指示指示增大的穩(wěn)定性時增大銳度，以及在穩(wěn)定性指示指示減小的穩(wěn)定性時減小銳度。根據(jù)上述圖像處理設(shè)備，其中:至少一個屬性為虛擬對象的顯示的透明度；以及顯示控制單元被配置成在穩(wěn)定性指示指示增大的穩(wěn)定性時減小透明度，以及在穩(wěn)定性指示指示減小的穩(wěn)定性時增大透明度。公開的實(shí)施例還包括一種方法，該方法包括:在圖像中識別真實(shí)對象。該方法還可包括:確定指示識別的穩(wěn)定性的穩(wěn)定性指示，以及根據(jù)穩(wěn)定性指示修改虛擬對象的顯示。公開的實(shí)施例還包括一種有形地體現(xiàn)的非暫時性的計(jì)算機(jī)可讀介質(zhì)，包括指令，指令當(dāng)被處理器執(zhí)行時執(zhí)行方法，該方法包括:在圖像中識別真實(shí)對象。該方法還可包括:確定指示識別的穩(wěn)定性的穩(wěn)定性指示，以及根據(jù)穩(wěn)定性指示修改虛擬對象的顯示。

圖1是用于說明根據(jù)實(shí)施例的圖像處理設(shè)備的概要的圖；圖2是用于說明虛擬對象的布置的圖；圖3是用于說明與虛擬對象的布置有關(guān)的問題的圖；圖4是圖示根據(jù)實(shí)施例的圖像處理設(shè)備的硬件配置的示例的框圖；圖5是圖示根據(jù)實(shí)施例的圖像處理設(shè)備的邏輯功能的配置的示例的框圖；圖6是用于說明實(shí)施例中的所識別的真實(shí)對象的狀態(tài)量的圖；圖7是用于說明用于確定識別的穩(wěn)定性的確定技術(shù)的第一示例的圖；圖8是用于說明用于確定識別的穩(wěn)定性的確定技術(shù)的第二示例的圖；圖9是用于說明用于確定識別的穩(wěn)定性的確定技術(shù)的第三示例的圖；圖10是用于說明用于確定識別的穩(wěn)定性的確定技術(shù)的第四示例的圖；圖11是用于說明用于確定識別的穩(wěn)定性的確定技術(shù)的第五示例的圖；圖12是用于說明控制用于跟蹤真實(shí)對象的虛擬對象的跟蹤速率的示例的圖；圖13是用于說明控制虛擬對象的銳度的圖；圖14是用于說明控制虛擬對象的透明度的圖；圖15是用于說明提示用戶采取用于增加穩(wěn)定性的動作的顯示的示例的圖；以及圖16是圖示根據(jù)實(shí)施例的顯示控制處理的流程的示例的流程圖。
具體實(shí)施方式
在下文中，將參考附圖詳細(xì)描述本公開的實(shí)施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)部件，并且省略這些結(jié)構(gòu)部件的重復(fù)說明。將按照下面的順序進(jìn)行說明。1.概要2.根據(jù)實(shí)施例的圖像處理設(shè)備的硬件配置示例3.根據(jù)實(shí)施例的圖像處理設(shè)備的功能配置示例3-1.圖像獲取單元3-2.圖像識別單元3-3.檢測單元3-4.確定單元3-5.數(shù)據(jù)獲取單元[0061]3-6.顯示控制單元4.根據(jù)實(shí)施例的顯示控制處理的流程5.總結(jié)1.概要圖1是用于說明本公開中公開的技術(shù)的實(shí)施例的概要的圖。參考圖1，示出了用戶在真實(shí)空間I中攜帶的圖像處理設(shè)備100。圖像處理設(shè)備100是向用戶提供AR應(yīng)用的設(shè)備。例如，圖像處理設(shè)備100例如可以是諸如智能手機(jī)、個人數(shù)字助理(PDA)、游戲機(jī)或便攜式音樂播放器的終端設(shè)備，或者可以是諸如個人計(jì)算機(jī)(PC)或工作站的信息處理設(shè)備。真實(shí)空間I是可使用AR應(yīng)用的空間的示例。真實(shí)對象12a、12b、12c、12d和12e存在于真實(shí)空間I中。應(yīng)當(dāng)理解，真實(shí)空間I和真實(shí)對象12a、12b、12c、12d和12e僅是示例性的。盡管為了圖示的目的，每個被賦予形式和特征，但是這樣的特征是任意的并且不是意在進(jìn)行限制。真實(shí)對象12a是車輛。真實(shí)對象12b是導(dǎo)向板。真實(shí)對象12c是廣告牌。真實(shí)對象12d和12e是建筑物。圖像處理設(shè)備100獲取通過對可存在各種真實(shí)對象的真實(shí)空間進(jìn)行成像而獲得的圖像作為輸入圖像。然后，圖像處理設(shè)備100根據(jù)投影在輸入圖像中的真實(shí)對象的識別結(jié)果，將用于AR的虛擬對象疊加在輸入圖像上。通過虛擬對象呈現(xiàn)給用戶的信息可以是任意的信息，例如導(dǎo)航信息、廣告信息、商店信息、新聞或天氣預(yù)報(bào)信息。在本實(shí)施例中，由圖像處理設(shè)備100提供的AR應(yīng)用根據(jù)真實(shí)對象的位置或姿勢，來布置與圖像中的真實(shí)空間中的真實(shí)對象有關(guān)的虛擬對象。圖2是用于說明虛擬對象的布置的圖。圖2的左側(cè)示出的圖像ImOl是由圖像處理設(shè)備100獲取的輸入圖像的示例。真實(shí)對象12a和12b投影在輸入圖像ImOl中。使得虛擬對象疊加在輸入圖像ImOl上而生成的輸出圖像Im02示出在圖2的右側(cè)。在輸出圖像Im02中，虛擬對象13a疊加在真實(shí)對象12a上，以及虛擬對象13b和14b疊加在真實(shí)對象12b上。虛擬對象13a和13b用作如下指示(指示)，該指示表示通過圖像處理設(shè)備100識別真實(shí)對象的結(jié)果。同時，虛擬對象14b用作如下信息內(nèi)容，該信息內(nèi)容表示與真實(shí)對象12b有關(guān)的信息(在圖12的示例中為產(chǎn)品的廣告信息)。在本公開中，虛擬對象可包括指示和信息內(nèi)容兩者。可替選地，虛擬對象可包括指示或信息內(nèi)容之一。在圖12的示例中，根據(jù)真實(shí)對象12a的狀態(tài)來布置虛擬對象13a。根據(jù)真實(shí)對象12b的狀態(tài)來布置虛擬對象13b和14b。布置虛擬對象的準(zhǔn)確度取決于對投影在圖像中的真實(shí)對象的狀態(tài)進(jìn)行識別的準(zhǔn)確度。圖3是用于說明與虛擬對象的布置有關(guān)的問題的圖。參考圖3，分別示出了在時間t = η、時間t = n+1和時間t = n+2的時間點(diǎn)處的AR應(yīng)用的輸出圖像Im02-l、Im02_2、Im02-3，其可通過現(xiàn)有技術(shù)來顯示。在時間t = η處的輸出圖像Im02_l中，虛擬對象13a的布置匹配真實(shí)對象12a的狀態(tài)。類似地，虛擬對象13b和14b的布置匹配真實(shí)對象12b的狀態(tài)。然而，在時間t = n+1處的輸出圖像Im02-2中，虛擬對象13a的布置偏離了真實(shí)對象12a的狀態(tài)。另外，在時間t = n+2處的輸出圖像Im02_3中，虛擬對象13b和14b的布置偏離了真實(shí)對象12b的狀態(tài)。這樣的偏離例如是由對真實(shí)對象的狀態(tài)進(jìn)行識別的準(zhǔn)確度的退化所導(dǎo)致的。例如，識別準(zhǔn)確度的退化可能突然是由各種事件導(dǎo)致的，例如輸入圖像中的真實(shí)對象的部分缺失，圖像的模糊，存在多個具有類似外形的對象，或者照明條件的變化。除非特別地布置環(huán)境，否則難以完全地排除導(dǎo)致識別準(zhǔn)確度的退化的原因。圖3中所示的虛擬對象的布置的突然偏離不僅會給用戶提供不舒服的感覺，而且也會帶來不期望的結(jié)果，例如由虛擬對象表示的信息的可見度的退化，或者對廣告目標(biāo)產(chǎn)品的不好印象。例如，存在如下技術(shù)，該技術(shù)通過施加低通濾波器或移動平均濾波器來抑制虛擬對象的位置或姿勢的突然變化。然而，當(dāng)施加濾波器時，跟蹤所識別的真實(shí)對象的虛擬對象的跟蹤會延遲。在這點(diǎn)上，將在下節(jié)詳細(xì)描述的根據(jù)本實(shí)施例的圖像處理設(shè)備100確定識別準(zhǔn)確度的穩(wěn)定性，以及根據(jù)確定結(jié)果控制虛擬對象的顯示。2.根據(jù)實(shí)施例的圖像處理設(shè)備的硬件配置示例2-1.硬件配置圖4是圖示根據(jù)本實(shí)施例的圖像處理設(shè)備100的硬件配置的示例的框圖。參考圖
4,圖像處理設(shè)備100包括成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元112、通信單元114、總線118和控制單元120。成像單元成像單元102可包括用于對圖像進(jìn)行成像的相機(jī)模塊。成像單元102可使用諸如電荷耦合器件(CCD)或金屬互補(bǔ)氧化物半導(dǎo)體(CMOS)的成像器件對真實(shí)空間進(jìn)行成像，以及生成所成像的圖像。由成像單元102生成的所成像的圖像可配置視頻輸入的各個幀。傳感器單元傳感器單元104可包括測量成像單元102的運(yùn)動的運(yùn)動傳感器組。運(yùn)動傳感器的示例包括測量成像單元102的加速度的加速傳感器、測量傾斜角的陀螺傳感器、測量成像單元102所指向的方向的地磁傳感器。另外，傳感器單元104可包括全球定位系統(tǒng)(GPS)傳感器，該GPS傳感器接收GPS信號并且測量設(shè)備的緯度、經(jīng)度和海拔高度。輸入單元輸入單元106是允許用戶操作圖像處理單元100或?qū)⑿畔⑤斎氲綀D像處理設(shè)備100的輸入裝置。輸入單元106通常包括觸摸傳感器，該觸摸傳感器檢測用戶在顯示單元112的屏幕上進(jìn)行的觸摸。取代(或附加到)觸摸傳感器，輸入單元106可包括諸如鼠標(biāo)或觸摸板的指點(diǎn)裝置、識別投影在圖像中的用戶手勢的手勢識別模塊、或視線檢測模塊，其中，該視線檢測模塊包括頭戴式顯示器(HMD)并且檢測用戶的視線的方向。另外，輸入單元106可包括任何其它類型的輸入裝置，例如鍵盤、小鍵盤(keypad)、按鈕或開關(guān)。存儲單元存儲單元108配置有諸如半導(dǎo)體存儲器或硬盤的存儲介質(zhì)，并且存儲用于執(zhí)行圖像處理設(shè)備100的處理的程序和數(shù)據(jù)。存儲在存儲單元108中的數(shù)據(jù)的示例包括由成像單元102生成的圖像數(shù)據(jù)和由傳感器單元104生成的傳感器數(shù)據(jù)。另外，例如，在圖像處理設(shè)備100識別真實(shí)對象時所使用的模型數(shù)據(jù)和用于定義虛擬對象的對象數(shù)據(jù)可被包括為存儲在存儲單元108中的數(shù)據(jù)。顯示單元顯示單元112可包括顯示模塊，該顯示模塊配置有液晶顯示器(IXD)、有機(jī)發(fā)光二極管(0LED)、陰極射線管(CRT)等。例如，顯示單元112在屏幕上顯示由成像單元102成像的圖像或由控制單元120實(shí)現(xiàn)的AR應(yīng)用的圖像。顯示單元112可以是用戶握持的圖像處理設(shè)備100的屏幕或用戶安裝的貫通型或非貫通型的HMD的屏幕。[0085]通信單元通信單元114可包括對圖像處理設(shè)備100與其它設(shè)備之間的通信進(jìn)行中介的通信接口。通信單元114可支持任意的無線通信協(xié)議或任意的有線通信協(xié)議，以及建立與其它設(shè)備的通信連接?？偩€總線118將成像單元102、傳感器單元104、輸入單元106、存儲單元108、顯示單元112、通信單元114和控制單元120彼此連接。控制單元控制單元120可包括處理器，例如中央處理單元(CPU)，或數(shù)字信號處理器(DSP)?？刂茊卧?20通過執(zhí)行存儲在存儲單元108或其它存儲介質(zhì)中的程序，來實(shí)現(xiàn)稍后將描述的圖像處理設(shè)備100的各種功能。特別地，控制單元120可包括或連接到用于對顯示單元112等進(jìn)行控制的顯示控制單元。3.根據(jù)實(shí)施例的圖像處理設(shè)備的功能配置示例圖5是圖示由圖4所示的圖像處理設(shè)備100的存儲單元108和控制單元120實(shí)現(xiàn)的邏輯功能的配置的示例的框圖。參考圖5，圖像處理設(shè)備100包括圖像獲取單元130、模型數(shù)據(jù)庫(DB) 138、圖像識別單元140、檢測單元150、確定單元160、數(shù)據(jù)獲取單元170、對象DB 172和顯示控制單元190。3-1.圖像獲取單元圖像獲取單元130獲取通過捕獲真實(shí)空間而獲得的圖像作為輸入圖像。例如，圖像獲取單元130可順序地獲取來自成像單元102的視頻輸入的每個幀作為輸入圖像。圖像獲取單元130可獲取過去已成像的、存儲在存儲單元108中的視頻輸入的每個幀作為輸入圖像。圖像獲取單元130將獲取的輸入圖像輸出到圖像識別單元140。3-2.圖像識別單元圖像識別單元140 (或“識別單元”)可使用存儲在模型DB 138中的數(shù)據(jù)來識別真實(shí)對象。在模型DB 138中，預(yù)先累積與被圖像處理設(shè)備100視為識別目標(biāo)的真實(shí)對象的形狀或外形有關(guān)的模型數(shù)據(jù)。在本實(shí)施例中，被圖像處理設(shè)備100識別的目標(biāo)可為存在于真實(shí)空間中的任意對象，例如圖1中所示的真實(shí)對象12a至12e。模型數(shù)據(jù)的示例包括定義各個真實(shí)對象的形狀的數(shù)據(jù)、諸如附連到各個真實(shí)對象的預(yù)定符號標(biāo)記或文本標(biāo)簽的圖像數(shù)據(jù)、和從各個真實(shí)對象的已知圖像中提取的特征量集合的數(shù)據(jù)。圖像識別單元140可識別投影在從圖像獲取單元130輸入的輸入圖像中的真實(shí)對象，以及識別投影在輸入圖像中的真實(shí)對象的狀態(tài)。由圖像識別單元140識別的真實(shí)對象的狀態(tài)可包括真實(shí)對象的位置和姿勢中的至少之一。在本實(shí)施例中，圖像識別單元140在圖像中識別真實(shí)對象的位置、姿勢和比例。例如，圖像識別單元140可將從輸入圖像中提取的特征點(diǎn)集合與可由模型數(shù)據(jù)定義的真實(shí)對象的形狀進(jìn)行比較。圖像識別單元140可將可由模型數(shù)據(jù)定義的諸如符號標(biāo)記或文本標(biāo)簽的圖像數(shù)據(jù)與輸入圖像進(jìn)行比較。另外，圖像識別單元140可將可由模型數(shù)據(jù)定義的真實(shí)對象的圖像的已知特征量與從輸入圖像中提取的特征量進(jìn)行比較。即使在以上情況中的任一個中，圖像識別單元140也可識別:將比較得分高于預(yù)定閾值的真實(shí)對象以對應(yīng)于該比較得分的位置、姿勢和比例投影在輸入圖像中。[0098]圖6是用于說明由本實(shí)施例中的圖像識別單元140識別的真實(shí)對象的狀態(tài)量的圖。參考圖6，示出了由X軸和y軸、和z軸形成的全局坐標(biāo)系統(tǒng)，其中，X軸和I軸在垂直于對輸入圖像進(jìn)行成像的成像設(shè)備的光軸方向的平面上，z軸平行于光軸方向。圖像識別單元140識別的真實(shí)對象12的位置P被作為真實(shí)對象在全局坐標(biāo)系中的參考點(diǎn)的位置坐標(biāo)。真實(shí)對象12的姿勢W被作為各個軸周邊的旋轉(zhuǎn)角。真實(shí)對象12的比例Sc被作為各個軸方向的放大率。在本公開中，為了簡化說明，各個真實(shí)對象的位置P、姿勢W和比例Sc被描述為離散變量(狀態(tài)量)。然而，例如可以通過一個表示全局坐標(biāo)系與各個真實(shí)對象的模型坐標(biāo)系之間的變換的4X4齊次變換矩陣，以綜合(integrated)的方式來表示各個真實(shí)對象的位置P、姿勢W和比例Sc。在這種情況下，根據(jù)需要從一個齊次變換矩陣中提取各個狀態(tài)量(即，位置P、姿勢W和比率Sc中的每個)，然后使用。全局坐標(biāo)系可以是將成像設(shè)備的位置用作原點(diǎn)來表示相對坐標(biāo)的坐標(biāo)系?？商孢x地，全局坐標(biāo)系可以是表示在真實(shí)空間中固定地定義的絕對值的坐標(biāo)系。圖像識別單元140將投影在輸入圖像中的各個真實(shí)對象的標(biāo)識符、位置P、姿勢W和比例Sc輸出到確定單元160、數(shù)據(jù)獲取單元170和顯示控制單元190。3-3.檢測單元檢測單元150檢測用戶輸入，并且將用戶輸入輸出到顯示控制單元190。由檢測單元150檢測到的用戶輸入的示例包括:輸入到輸入單元106的觸摸傳感器的觸摸，按鈕的按壓，由傳感器單元104的傳感器組測量到的設(shè)備的運(yùn)動(例如，傾斜、搖晃等)，用戶的姿勢，和用戶的語音。3-4.確定單元確定單元160可確定由圖像識別單元140對投影在輸入圖像中的真實(shí)對象的狀態(tài)進(jìn)行的識別的穩(wěn)定性。確定單元160確定的穩(wěn)定性可由連續(xù)值或離散值(例如，具有三個或更多個梯級的逐級值，或“高”和“低”的兩個值)來表示。下面將參考圖7至圖11來描述由確定單元160確定穩(wěn)定性的方法的五個示例。(I)第一示例例如，當(dāng)圖像識別單元140進(jìn)行的識別不穩(wěn)定時，真實(shí)對象的狀態(tài)量的變化可能劇烈。因此，確定單元160可根據(jù)圖像識別單元140識別的真實(shí)對象的狀態(tài)量的時間變化來確定穩(wěn)定性。例如，可通過將真實(shí)對象的狀態(tài)量的頻率特征、狀態(tài)量的微分(或二階微分)、或預(yù)定時間段內(nèi)的狀態(tài)量的歷史與狀態(tài)量的當(dāng)前值進(jìn)行比較，來檢測真實(shí)對象的狀態(tài)量的時間變化。圖7圖示真實(shí)對象的狀態(tài)量的時間變化的示例。在圖7中，水平軸表示時間t，而垂直軸表示狀態(tài)量X及其一階微分(dx/dt)。狀態(tài)量可為關(guān)于某個真實(shí)對象的位置P、姿勢W和比例Sc中的任一個，或其兩個或更多個的組合。在圖7的示例中，狀態(tài)量X在時間TO與時間Tl之間的時間段期間柔和地改變。在這種情況下，例如，當(dāng)通過傅立葉變換提取狀態(tài)量X的頻率分量時，狀態(tài)量X的高頻分量減少。狀態(tài)量X的一階微分的絕對值沒有超過某個水平(對應(yīng)于現(xiàn)實(shí)界限的水平，其中在現(xiàn)實(shí)界限處，真實(shí)對象相對于圖像設(shè)備而移動)。這類似地適用于狀態(tài)量X的二階微分。另夕卜，由于狀態(tài)量X的變化柔和，所以狀態(tài)量X的當(dāng)前值沒有顯著地不同于狀態(tài)量X的先前m個樣本的歷史。狀態(tài)量X的歷史可為先前m個樣本的簡單平均值、或先前m個樣本的加權(quán)平均值(例如，樣本越是新近的，所設(shè)定的權(quán)重越大)。另一方面，狀態(tài)量X在時間Tl與時間T2之間的時間段期間劇烈地改變。在這種情況下，當(dāng)提取狀態(tài)量X的頻率分量時，狀態(tài)量X的高頻分量進(jìn)一步增加。另外，狀態(tài)量X的一階微分在零附近振蕩。一階微分的絕對值高于預(yù)定水平。另外，狀態(tài)量X的當(dāng)前值可顯著地不同于狀態(tài)量X的先前m個樣本的歷史。因此，在第一確定技術(shù)中，確定單元160通過將真實(shí)對象的狀態(tài)量的高頻分量、狀態(tài)量的一階微分(或二階微分)的絕對值(積分值)、和狀態(tài)量的歷史之一與狀態(tài)量的當(dāng)前值進(jìn)行比較，來評估狀態(tài)量的時間變化。然后，確定單元160確定:所評估的時間變化越劇烈，識別的穩(wěn)定性越低。在圖7的示例中，確定在TO與Tl之間的時間段的穩(wěn)定性“高”，在Tl與T2之間的時間段的穩(wěn)定性“低”，在T2與T3之間的時間段的穩(wěn)定性“中等”，而在T3與T4之間的時間段的穩(wěn)定性“低”。(2)第二示例當(dāng)圖像識別單元140進(jìn)行的識別不穩(wěn)定時，在現(xiàn)實(shí)情形中很少會發(fā)生的真實(shí)對象的狀態(tài)變化可能示出在識別結(jié)果中。例如，當(dāng)對在真實(shí)空間中保持靜止的真實(shí)對象進(jìn)行成像時，圖像中的真實(shí)對象的位置或比例可根據(jù)視角的變化而改變。然而，在這種情況下，真實(shí)對象很少同時顯著地旋轉(zhuǎn)。在這點(diǎn)上，在第二確定技術(shù)中，確定單元160可根據(jù)圖像識別單元140識別的真實(shí)對象的多個狀態(tài)量之間的一致性來確定穩(wěn)定性。參考圖8，由圖像識別單元140在時間Tl與時間T2之間的時間段期間獲得的識別結(jié)果表示真實(shí)對象12正在移動并且真實(shí)對象12的姿勢正在旋轉(zhuǎn)。可以用位置P的微分dP來表示在時間Tl與時間T2之間的時間段期間的真實(shí)對象12的移動，以及可以用姿勢W的微分dW來表不旋轉(zhuǎn)。因此,例如，當(dāng)移動dP大于第一閾值并且旋轉(zhuǎn)dW大于第二閾值時，由于真實(shí)對象的狀態(tài)的變化不自然，所以確定單元160可確定由圖像識別單元140進(jìn)行的識別的穩(wěn)定性正在減小。⑶第三示例在第三確定技術(shù)中，確定單元160根據(jù)真實(shí)對象的狀態(tài)量的變化與運(yùn)動傳感器測量到的成像單元102的運(yùn)動之間的一致性來確定穩(wěn)定性。參考圖9，用戶正移動圖像處理設(shè)備100，使得成像單元102的視角可在時間Tl與時間T2之間的時間段期間改變。因此，投影在輸入圖像Imll-1的右下側(cè)上的真實(shí)對象12b正移動到輸入圖像Imll-2的左上側(cè)。可根據(jù)來自傳感器單元104的運(yùn)動傳感器(例如，力口速傳感器、陀螺傳感器、或地磁傳感器)的傳感器數(shù)據(jù)，來識別成像單元102的視角的變化。在這種情況下，當(dāng)真實(shí)對象12b的移動dP或旋轉(zhuǎn)dW與根據(jù)傳感器數(shù)據(jù)識別的圖像處理設(shè)備100的運(yùn)動不一致時，確定單元160可確定由圖像識別單元140進(jìn)行的識別的穩(wěn)定性正在減小。(4)第四示例在第四確定技術(shù)中，確定單元160根據(jù)圖像識別單元140識別的真實(shí)對象的狀態(tài)量的變化與多個輸入圖像中示出的真實(shí)空間的運(yùn)動方向之間的一致性來確定穩(wěn)定性。例如，可根據(jù)從多個輸入圖像獲得的光流來識別多個輸入圖像中示出的真實(shí)空間的運(yùn)動方向。參考圖10，示出了從時間Tl處成像的輸入圖像Iml2_l到時間T2處成像的輸入圖像Iml2-2的光流F。光流F表示向圖像的左上側(cè)移動的真實(shí)對象的運(yùn)動。另一方面，由圖像識別單元140獲得的識別結(jié)果表示真實(shí)對象12b在向上移動的同時正在旋轉(zhuǎn)。如上所述，當(dāng)真實(shí)對象12b的移動dP或旋轉(zhuǎn)dW與多個輸入圖像形成的光流不一致時,確定單元160可確定由圖像識別單元140進(jìn)行的識別的穩(wěn)定性正在減小。另外，可根據(jù)從真實(shí)對象12b附近的光流預(yù)測的真實(shí)對象的運(yùn)動向量與作為識別真實(shí)對象的結(jié)果所識別的真實(shí)對象的運(yùn)動向量之間的相關(guān)性(例如，數(shù)積(scalarproduct)),來將真實(shí)對象的穩(wěn)定性計(jì)算為連續(xù)值(例如，數(shù)積越大，識別越穩(wěn)定)。(5)第五示例例如，當(dāng)真實(shí)對象的一部分沒有投影在輸入圖像中時，識別的準(zhǔn)確度將減小的可能性高。在這點(diǎn)上，在第五確定技術(shù)中，當(dāng)所識別的真實(shí)對象的一部分沒有投影在輸入圖像中時，確定單元160確定識別的穩(wěn)定性低于當(dāng)整個真實(shí)對象投影在輸入圖像中時的。例如，當(dāng)真實(shí)對象的一部分位于視角以外時，或者當(dāng)真實(shí)對象的一部分被其它真實(shí)對象遮擋時(在所謂的閉塞(occlusion)的情況下)，所識別的真實(shí)對象的一部分可能沒有投影在輸入圖像中。參考圖11，真實(shí)對象12a和12b投影在輸入圖像Iml3中。真實(shí)對象12a的一部分被真實(shí)對象12b遮擋。真實(shí)對象12b的一部分在視角以外。圖11所示的多個三角形符號表示可在圖像識別單元140識別真實(shí)對象12a時使用的特征點(diǎn)的位置。例如，確定單元160計(jì)算由圖像識別單元140識別的真實(shí)對象12a的特征點(diǎn)的數(shù)目與真實(shí)對象12a的特征點(diǎn)的總數(shù)目之間的比率。當(dāng)所計(jì)算的比率低于預(yù)定閾值時，確定單元160可確定真實(shí)對象12a的一部分沒有投影在輸入圖像中。另外，例如，當(dāng)真實(shí)對象的中心在圖像的穩(wěn)定檢測區(qū)域以外時，確定單元160可容易地確定真實(shí)對象的一部分沒有投影在輸入圖像中具有高可能性。在圖11的示例中，真實(shí)對象12a的中心Pa位于穩(wěn)定檢測區(qū)域R的內(nèi)部，而真實(shí)對象12b的中心Pb位于穩(wěn)定檢測區(qū)域R以外。可將穩(wěn)定檢測區(qū)域R設(shè)定為輸入圖像的中心，使得穩(wěn)定檢測區(qū)域R的邊界距離輸入圖像的邊緣可具有預(yù)定的偏移。確定單元160使用上述技術(shù)來確定由圖像識別單元140進(jìn)行的識別的穩(wěn)定性，以及將各個真實(shí)對象的穩(wěn)定性輸出到顯示控制單元190。圖像處理設(shè)備100可允許確定單元160選擇上述技術(shù)中的兩個或更多個，以及可根據(jù)條件自適應(yīng)地改變要由確定單元160使用的技術(shù)。例如，當(dāng)對動態(tài)的真實(shí)對象確定穩(wěn)定性時，可選擇第一技術(shù)，而當(dāng)對靜態(tài)的真實(shí)對象確定穩(wěn)定性時，可選擇第二至第四技術(shù)中的任一個。另外，在期望小的處理成本的情形中可選擇第五技術(shù)。3-5.數(shù)據(jù)獲取單元數(shù)據(jù)獲取單元170獲取與要通過顯示控制單元190疊加在輸入圖像上的虛擬對象有關(guān)的數(shù)據(jù)。由數(shù)據(jù)獲取單元170獲取的數(shù)據(jù)包括定義虛擬對象的對象數(shù)據(jù)。對象數(shù)據(jù)的示例包括虛擬對象的類型、相關(guān)聯(lián)的真實(shí)對象的標(biāo)識符、距離真實(shí)對象的相對顯示位置、和定義信息內(nèi)容的內(nèi)容的數(shù)據(jù)。數(shù)據(jù)獲取單元170可獲取先前存儲在對象DB 172中的對象數(shù)據(jù)。可替選地，數(shù)據(jù)獲取單元170可經(jīng)由通信單元114從安裝在真實(shí)空間中的數(shù)據(jù)服務(wù)器獲取最新的對象數(shù)據(jù)。例如，從數(shù)據(jù)服務(wù)器提供的對象數(shù)據(jù)可為如下數(shù)據(jù)，該數(shù)據(jù)根據(jù)由傳感器單元104測量的圖像處理設(shè)備100的位置而不同。圖像獲取單元170將對象數(shù)據(jù)輸出到顯示控制單元190。[0124]3-6.顯示控制單元顯示控制單元190可控制由圖像處理設(shè)備100提供的AR應(yīng)用的虛擬對象的顯示。更具體地，例如，與被圖像識別單元140識別為投影在輸入圖像中的真實(shí)對象相關(guān)聯(lián)的虛擬對象的對象數(shù)據(jù)從數(shù)據(jù)獲取單元170輸入到顯示控制單元190。顯示控制單元190根據(jù)對象數(shù)據(jù)生成虛擬對象的對象圖像。由顯示控制單元190生成的對象圖像通常是通過將虛擬布置在三維真實(shí)空間中的虛擬對象投影在圖像處理設(shè)備100的成像表面上而獲得的圖像。然后，顯示控制單元190將生成的輸出圖像輸出到顯示單元112。因此，將AR應(yīng)用的圖像呈現(xiàn)給用戶。根據(jù)相關(guān)聯(lián)的真實(shí)對象的狀態(tài)來決定虛擬對象的布置。即，顯示控制單元190使虛擬對象顯示在顯示裝置上，使得虛擬對象可跟蹤各個真實(shí)對象的位置、姿勢、和比例。在本實(shí)施例中，顯示控制單元190根據(jù)圖像識別單元140進(jìn)行的識別的穩(wěn)定性，來改變與各個所識別的真實(shí)對象相關(guān)聯(lián)的虛擬對象的顯示。例如，顯示控制單元190根據(jù)穩(wěn)定性改變用于跟蹤各個真實(shí)對象的虛擬對象的跟蹤速率。通常，當(dāng)穩(wěn)定性高時，顯示控制單元190增大用于跟蹤各個真實(shí)對象的虛擬對象的跟蹤速率，但是，當(dāng)穩(wěn)定性低時，減小用于跟蹤各個真實(shí)對象的虛擬對象的跟蹤速率。例如，跟蹤速率可由公式(I)中的插值系數(shù)k來表示。Zn+1 = Zn+k(Xn+1-Zn) (I)在公式(I)中，Zn和Zn+1表示在時間t = η處的虛擬對象的狀態(tài)和在t = n+1處的虛擬對象的狀態(tài)，而Xn+1表示在時間t = n+1處的所識別的真實(shí)對象的狀態(tài)。顯示控制單元190控制在大于零但是等于或小于I的范圍內(nèi)的插值系數(shù)k的值。例如，當(dāng)k為I時，zn+1 = Xn+1并且在時間t = n+1處的虛擬對象的狀態(tài)照原來的樣子反映所識別的真實(shí)對象的狀態(tài)。然而，當(dāng)k為0.1時，Zn+1 = 0.1Χη+1+0.9Xn，在時間t = n+1處的虛擬對象的狀態(tài)部分地反映所識別的真實(shí)對象的狀態(tài)。圖12是用于說明控制用于跟蹤真實(shí)對象的虛擬對象的跟蹤速率的示例的圖。在圖12的上部示出了當(dāng)跟蹤速率恒定不變時(當(dāng)插值系數(shù)k恒定不變時)在時間t = n、t =n+1和t = n+2的三個時間點(diǎn)處的虛擬對象13a的狀態(tài)。虛擬對象13a是與真實(shí)對象12a有關(guān)的虛擬對象。在時間t = n+1和t = n+2的時間點(diǎn)處，由于識別的穩(wěn)定性低，所以虛擬對象13a的狀態(tài)顯著地偏離真實(shí)對象12a。同時,在圖12的下部示出了當(dāng)對跟蹤速率進(jìn)行動態(tài)控制時在時間t = n、t = n+1和t = n+2的三個時間點(diǎn)處的虛擬對象13a的狀態(tài)。在這種情況下，在時間t = η的時間點(diǎn)處，由于穩(wěn)定性高，所以跟蹤速率快，以及真實(shí)對象12a的狀態(tài)幾乎與虛擬對象13a的狀態(tài)一致。其后，在時間t = n+1和t = n+2的時間點(diǎn)處，當(dāng)穩(wěn)定性減小時，插值系數(shù)k的值減小，因此虛擬對象13a的狀態(tài)柔和地跟蹤真實(shí)對象12a的狀態(tài)。因此，外在地抑制以減少虛擬對象13a與真實(shí)對象12a的狀態(tài)的偏離。取代根據(jù)穩(wěn)定性改變用于跟蹤各個真實(shí)對象的虛擬對象的跟蹤速率，或者在根據(jù)穩(wěn)定性改變用于跟蹤各個真實(shí)對象的虛擬對象的跟蹤速率的同時，顯示控制單元190可根據(jù)穩(wěn)定性改變虛擬對象的顯示屬性。虛擬對象的顯示屬性可包括與虛擬對象的顯示模式有關(guān)的靜態(tài)屬性和動態(tài)屬性。與虛擬對象的顯示模式有關(guān)的靜態(tài)屬性的示例包括虛擬對象的透明度、銳度、顏色、比例、形狀、數(shù)目、和余像圖案(afterimage pattern)。與虛擬對象的顯示模式有關(guān)的動態(tài)屬性包括虛擬對象的閃爍圖案、閃爍循環(huán)、和動畫的類型。通過改變虛擬對象的顯示屬性，可以使用戶直觀地理解真實(shí)對象的識別穩(wěn)定性正在減小的事實(shí)。作為示例，參考圖13，在真實(shí)對象的識別穩(wěn)定性被確定為高的輸入圖像Im22_2a中,將虛擬對象13b的銳度設(shè)定為高。因此,清楚地顯示輸入圖像Im22-2a的虛擬對象13b的輪廓。然而，在真實(shí)對象的識別穩(wěn)定性被確定為低的輸入圖像Im22-2b中，將虛擬對象13b的銳度設(shè)定為低。因此，朦朧地顯示輸入圖像Im22-2b的虛擬對象13b的輪廓。作為另一示例，參考圖14，在真實(shí)對象的識別穩(wěn)定性被確定為高的輸入圖像Im23-2a中，將虛擬對象13b的透明度設(shè)定為低。因此，輸入圖像Im23_2a的虛擬對象13b的輪廓不透明。然而，在真實(shí)對象的識別穩(wěn)定性被確定為低的輸入圖像Im23-2b中，將虛擬對象13b的透明度設(shè)定為高。因此，輸入圖像Im23-2b的虛擬對象13b的輪廓透明。在圖14的示例中，用作用于表示真實(shí)對象的識別結(jié)果的指示的虛擬對象13b的透明度根據(jù)識別的穩(wěn)定性而改變，而用作信息內(nèi)容的虛擬對象14b的透明度保持恒定不變。如上所述，顯示控制單元190可僅改變指示和信息內(nèi)容之一的顯示。通過僅改變指示的顯示，當(dāng)真實(shí)對象的識別穩(wěn)定性減小時，可以使用戶理解穩(wěn)定性的退化而不會減小信息內(nèi)容的可見度。另一方面，通過僅改變信息內(nèi)容的顯示，當(dāng)真實(shí)對象的識別穩(wěn)定性減小時，可在通知用戶真實(shí)對象已被識別得如何的同時防止對信息內(nèi)容的印象變得更差。當(dāng)由圖像識別單元140進(jìn)行的識別的穩(wěn)定性低時，顯示控制單元190還可使提示用戶采取用于增加穩(wěn)定性的動作的信息顯示在顯示裝置上。在這種情況下，例如，要顯示的信息可為提示設(shè)備的移動的消息(參見圖15的圖像Im30的消息15)，使得在視角以外示出的真實(shí)對象可位于視角以內(nèi)。參考了信息的用戶采取用于增加穩(wěn)定性的動作，因此可避免虛擬對象的不穩(wěn)定顯示。另外，當(dāng)檢測單元150檢測到預(yù)定的用戶輸入時，顯示控制單元190可在穩(wěn)定性高的假設(shè)下使顯示裝置進(jìn)行虛擬對象的顯示，而不管由確定單元160確定的識別穩(wěn)定性。預(yù)定的用戶輸入的示例包括:到觸摸傳感器的輸入、由運(yùn)動傳感器感測到的輸入、設(shè)置在圖像處理設(shè)備100上的按鈕的按壓、和諸如用戶的手勢或語音的任意用戶輸入。因此，當(dāng)用戶允許虛擬對象的不穩(wěn)定顯示時，可臨時地停止根據(jù)穩(wěn)定性的顯示控制。4.根據(jù)實(shí)施例的顯示控制處理的流程圖16是圖示由根據(jù)本實(shí)施例的圖像處理設(shè)備100進(jìn)行的顯示控制處理的流程的示例的流程圖。參考圖16，首先，圖像獲取單元130獲取投影在真實(shí)空間中的圖像作為輸入圖像(步驟S102)。接著，圖像識別單元140可識別投影在從圖像獲取單元130輸入的各個輸入圖像中的真實(shí)對象，以及識別投影在輸入圖像中的各個真實(shí)對象的狀態(tài)(步驟S104)。例如，所識別的真實(shí)對象的狀態(tài)可包括真實(shí)對象的位置、姿勢和比例。接著，確定單元160確定是否存在被圖像識別單元140識別為投影在輸入圖像中的真實(shí)對象(步驟S106)。這里，當(dāng)不存在任何識別的真實(shí)對象時，處理返回到步驟S102。然而，當(dāng)存在識別的真實(shí)對象時，處理前進(jìn)到步驟S108。在步驟S108，確定單元160可確定由圖像識別單元140對投影在輸入圖像中的真實(shí)對象的狀態(tài)進(jìn)行的識別的穩(wěn)定性。接著，數(shù)據(jù)獲取單元170獲取與圖像識別單元140識別的各個真實(shí)對象有關(guān)的虛擬對象的對象數(shù)據(jù)(步驟S110)。另外，顯示控制單元190根據(jù)確定單元160確定的識別穩(wěn)定性來決定與各個識別的真實(shí)對象有關(guān)的虛擬對象的顯示屬性(步驟S112)。這里，顯示屬性可為插值系數(shù)k、或虛擬對象的透明度、銳度、閃爍圖案、閃爍循環(huán)、或余像的比例。接著，顯示控制單元190根據(jù)所決定的顯示屬性生成與各個真實(shí)對象有關(guān)的虛擬對象的圖像(步驟S114)。然后，顯示控制單元190將生成的虛擬對象的圖像疊加在輸入圖像上(步驟SI 16)。5.總結(jié)到目前為止，參考圖1至圖16詳細(xì)描述了根據(jù)實(shí)施例的圖像處理設(shè)備100。根據(jù)本實(shí)施例，與真實(shí)對象有關(guān)的虛擬對象的顯示根據(jù)對投影在圖像中的真實(shí)對象的狀態(tài)進(jìn)行的識別的穩(wěn)定性而動態(tài)地改變。因此，可以防止用戶由于由識別的準(zhǔn)確度的退化而導(dǎo)致的虛擬對象的不穩(wěn)定顯示而迷惑。另外，根據(jù)本實(shí)施例，例如，允許虛擬對象跟蹤真實(shí)對象的位置或姿勢的應(yīng)用可根據(jù)穩(wěn)定性來控制用于跟蹤真實(shí)對象的虛擬對象的跟蹤速率。因此，可在識別的準(zhǔn)確度高的同時將跟蹤延遲保持為小，以及可有效地減少當(dāng)識別的準(zhǔn)確度被降低時虛擬對象的布置中的突然偏離。另外，根據(jù)本實(shí)施例，可根據(jù)穩(wěn)定性來控制虛擬對象的顯示屬性，例如虛擬對象的透明度、銳度、閃爍圖案、閃爍循環(huán)、或余像的比例。因此，由于用戶可直觀地理解真實(shí)對象的識別穩(wěn)定性正在減小的事實(shí)，所以可以在虛擬對象的顯示不穩(wěn)定時防止用戶迷惑。另外，可根據(jù)真實(shí)對象的狀態(tài)量的時間變化來確定穩(wěn)定性。在這種情況下，可在不需要運(yùn)動傳感器等的輔助輸入的情況下準(zhǔn)確地確定穩(wěn)定性，而不管目標(biāo)真實(shí)對象是動態(tài)真實(shí)對象還是靜態(tài)真實(shí)對象。另外，可根據(jù)所識別的狀態(tài)量之間的一致性、狀態(tài)量與設(shè)備的運(yùn)動之間的一致性、或狀態(tài)量與輸入圖像中示出的真實(shí)空間的運(yùn)動方向之間的一致性來確定穩(wěn)定性。在這種情況下，可確定穩(wěn)定性而不需要計(jì)算，例如對真實(shí)對象的狀態(tài)量的頻率的分析或微分。另外，可根據(jù)真實(shí)對象是否具有未投影在輸入圖像中的部分來容易地確定穩(wěn)定性。本公開中描述的圖像處理設(shè)備100的處理可使用軟件、硬件、或軟件和硬件的組合來實(shí)現(xiàn)。例如，將配置軟件的程序預(yù)先存儲在設(shè)置在各個設(shè)備的內(nèi)部或外部的存儲介質(zhì)中。例如，各個程序在執(zhí)行時被讀取到隨機(jī)訪問存儲器(RAM)中，并且被諸如CPU的處理器執(zhí)行。結(jié)合將圖像主要顯示在圖像處理設(shè)備100的顯示單元112的屏幕上的示例描述了本實(shí)施例。然而，作為另一實(shí)施例，從用戶攜帶的終端設(shè)備接收輸入圖像的圖像處理設(shè)備可識別投影在輸入圖像中的真實(shí)對象的位置或姿勢，以及可根據(jù)識別的穩(wěn)定性來控制與真實(shí)對象有關(guān)的虛擬對象的顯示。在這種情況下，可將用于顯示虛擬對象的圖像從圖像處理設(shè)備傳送到終端設(shè)備，然后顯示在終端設(shè)備的屏幕上。在本公開中，使用術(shù)語“穩(wěn)定性”描述了用于標(biāo)識識別的準(zhǔn)確度的退化的指標(biāo)，然而，可以用諸如“不穩(wěn)定性”的其它術(shù)語來表示具有基本上相同技術(shù)含義的指標(biāo)。盡管以上參考附圖描述了本公開的優(yōu)選實(shí)施例，但是本公開不限于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需求和其它因素可進(jìn)行各種修改、組合、子組合和替換，只要其在所附權(quán)利要求或其等同替換的范圍之內(nèi)即可。注意，下面的配置在本公開的范圍之內(nèi)。[0152](I) 一種圖像處理設(shè)備，包括:識別單元，其被配置成識別投影在圖像中的真實(shí)對象的位置或姿勢；以及顯示控制單元，其被配置成根據(jù)由所述識別單元進(jìn)行的識別的穩(wěn)定性來改變與所述真實(shí)對象有關(guān)的虛擬對象的顯示。(2)根據(jù)(I)所述的圖像處理設(shè)備，其中，所述顯示控制單元將所述虛擬對象顯示在針對所述虛擬對象的顯示裝置上，以跟蹤所述真實(shí)對象的位置或姿勢。(3)根據(jù)(2)所述的圖像處理設(shè)備，其中，所述顯示控制單元根據(jù)所述穩(wěn)定性來改變針對所述真實(shí)對象的所述虛擬對象的跟蹤速率。(4)根據(jù)(3)所述的圖像處理設(shè)備，其中，所述顯示控制單元在所述穩(wěn)定性更高時將針對所述真實(shí)對象的所述虛擬對象的所述跟蹤速率設(shè)定為更快。(5)根據(jù)(I)至(4)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述顯示控制單元根據(jù)所述穩(wěn)定性來改變與所述虛擬對象的顯示模式有關(guān)的靜態(tài)屬性和動態(tài)屬性中的任一個或兩者。(6)根據(jù)⑴至(5)中任一項(xiàng)所述的圖像處理設(shè)備，還包括:確定單元，其被配置成確定所述穩(wěn)定性。(7)根據(jù)(6)所述的圖像處理設(shè)備，其中，所述確定單元根據(jù)所述識別單元識別的所述真實(shí)對象的狀態(tài)量的時間變化來確定所述穩(wěn)定性，以及所述真實(shí)對象的所述狀態(tài)量與所述真實(shí)對象的位置、姿勢和比例中的至少之一有關(guān)。(8)根據(jù)(6)所述的圖像處理設(shè)備，其中，所述確定單元根據(jù)所述識別單元識別的所述真實(shí)對象的第一狀態(tài)量與第二狀態(tài)量之間的一致性來確定所述穩(wěn)定性，以及所述真實(shí)對象的所述第一狀態(tài)量和所述第二狀態(tài)量中的每個與所述真實(shí)對象的位置、姿勢和比例中的至少之一有關(guān)。(9)根據(jù)(6)所述的圖像處理設(shè)備，其中，當(dāng)所述識別單元識別的所述真實(shí)對象包括未投影在所述圖像中的部分時，所述確定單元確定所述穩(wěn)定性低于當(dāng)整個真實(shí)對象投影在所述圖像中時的。(10)根據(jù)(6)所述的圖像處理設(shè)備，還包括:成像單元，其被配置成捕獲所述圖像；以及運(yùn)動傳感器，其被配置成測量所述成像單元的運(yùn)動，其中，所述確定單元根據(jù)所述識別單元識別的所述真實(shí)對象的狀態(tài)量的變化與所述運(yùn)動傳感器測量到的所述成像單元的運(yùn)動之間的一致性來確定所述穩(wěn)定性，以及所述真實(shí)對象的所述狀態(tài)量與所述真實(shí)對象的位置、姿勢和比率中的至少之一有關(guān)。(11)根據(jù)(6)所述的圖像處理設(shè)備，其中，所述確定單元根據(jù)所述識別單元識別的所述真實(shí)對象的狀態(tài)量的變化與多個輸入圖像中示出的真實(shí)空間的運(yùn)動方向之間的一致性來確定所述穩(wěn)定性，以及所述真實(shí)對象的所述狀態(tài)量與所述真實(shí)對象的位置、姿勢、和比例中的至少之一有關(guān)。(12)根據(jù)⑴至(11)中的任一項(xiàng)所述的圖像處理設(shè)備，其中，當(dāng)所述穩(wěn)定性低時，所述顯示控制單元顯示提示用戶采取用于增加所述穩(wěn)定性的動作的信息。(13)根據(jù)⑴至(12)中的任一項(xiàng)所述的圖像處理設(shè)備，其中，當(dāng)檢測到預(yù)定的用戶輸入時，所述顯示控制單元在所述穩(wěn)定性高的假設(shè)下使顯示裝置進(jìn)行所述虛擬對象的顯示，而不管由所述識別單元進(jìn)行的識別的所述穩(wěn)定性。(14)根據(jù)⑴至(13)中的任一項(xiàng)所述的圖像處理設(shè)備，其中，所述虛擬對象是表示所述真實(shí)對象已被識別的指示。(15)根據(jù)(I)至(13)中的任一項(xiàng)所述的圖像處理設(shè)備，其中，所述虛擬對象是與所識別的真實(shí)對象有關(guān)的信息內(nèi)容。(16)根據(jù)(I)至(13)中的任一項(xiàng)所述的圖像處理設(shè)備，其中，所述顯示控制單元使表示所述真實(shí)對象已被識別的指示、和與所識別的真實(shí)對象有關(guān)的信息內(nèi)容顯示在顯示裝置上作為所述虛擬對象，以及根據(jù)所述穩(wěn)定性來改變所述指示和所述信息內(nèi)容中的任一個的顯示。(17) —種顯示控制方法，包括:識別投影在圖像中的真實(shí)對象的位置或姿勢；以及根據(jù)所述識別的穩(wěn)定性來改變與所述真實(shí)對象有關(guān)的虛擬對象的顯示；(18) 一種程序，其使控制圖像處理設(shè)備的計(jì)算機(jī)用作:識別單元，其被配置成識別投影在圖像中的真實(shí)對象的位置或姿勢；以及顯示控制單元，其被配置成根據(jù)由所述識別單元進(jìn)行的識別的穩(wěn)定性來改變與所述真實(shí)對象有關(guān)的虛擬對象的顯示。(19) 一種設(shè)備，包括:識別單元，其被配置成在圖像中識別真實(shí)對象；確定單元，其被配置成確定指示所述識別的穩(wěn)定性的穩(wěn)定性指示；以及顯示控制單元，其被配置成根據(jù)所述穩(wěn)定性指示修改虛擬對象的顯示。(20)根據(jù)(19)所述的設(shè)備，其中，所述顯示控制單元還被配置成通過修改所述虛擬對象的至少一個屬性，來根據(jù)所述穩(wěn)定性指示修改所述虛擬對象的所述顯示。(21)根據(jù)(19)至(20)所述的設(shè)備，其中，所述顯示控制單元還被配置成根據(jù)所述真實(shí)對象的跟蹤位置或取向修改所述虛擬對象的所述顯示。(22)根據(jù)(19)至(21)所述的設(shè)備，其中，以跟蹤速率跟蹤所述跟蹤位置，以及所述顯示控制單元還被配置成根據(jù)所述穩(wěn)定性指示選擇所述跟蹤速率。(23)根據(jù)(19)至(22)所述的設(shè)備，還包括在顯示所述虛擬對象之前選擇所述跟
蹤速率。(24)根據(jù)(19)至(23)所述的設(shè)備，還包括在所述穩(wěn)定性指示增大時選擇更高的跟蹤速率，以及在所述穩(wěn)定性指示減小時選擇更低的跟蹤速率。(25)根據(jù)(19)至(24)所述的設(shè)備，其中，選擇跟蹤速率包括選擇使得所述虛擬對象的經(jīng)修改的顯示與所述圖像協(xié)同地移動的跟蹤速率。(26)根據(jù)(19)至(25)所述的設(shè)備，其中，經(jīng)修改的圖像屬性為靜態(tài)屬性或動態(tài)屬性中的至少之一。(27)根據(jù)(19)至(26)所述的設(shè)備，其中，經(jīng)修改的屬性包括向用戶提供的關(guān)于所述穩(wěn)定性指示的變化的指示。[0192](28)根據(jù)(19)至(27)所述的設(shè)備，其中，所述靜態(tài)屬性包括以下各項(xiàng)中的至少之一:所述虛擬對象的所述顯示的透明度，所述虛擬對象的所述顯示的銳度，所述虛擬對象的所述顯示的顏色，所述虛擬對象的所述顯示的比例，所述虛擬對象的所述顯示的形狀，或疊加在所述虛擬對象的所述顯示上的圖案。(29)根據(jù)(19)至(28)所述的設(shè)備，其中，所述動態(tài)屬性包括以下各項(xiàng)中的至少之一:與所述虛擬對象的所述顯示有關(guān)的動畫，顯示在所述虛擬對象的所述顯示上的圖案，或顯示在所述虛擬對象的所述顯示上的圖案的顯示定時。(30)根據(jù)(19)至(29)所述的設(shè)備，其中，確定穩(wěn)定性指示包括:將所述真實(shí)對象的狀態(tài)量的一個方面的當(dāng)前值與所述真實(shí)對象的所述狀態(tài)量的所述方面的至少一個先前值進(jìn)行比較。(31)根據(jù)(19)至(30)所述的設(shè)備，包括傳感器；以及其中，所述確定單元被配置成通過將傳感器輸出的變化與所述真實(shí)對象的狀態(tài)量的所述方面的變化進(jìn)行比較來確定穩(wěn)定性指示。(32)根據(jù)(19)至(31)所述的設(shè)備，其中，所述傳感器包括具有指示所述設(shè)備的移動的輸出的傳感器。(33)根據(jù)(19)至(32)所述的設(shè)備，其中，所述狀態(tài)量為以下各項(xiàng)中的至少之一:所述真實(shí)對象的位置、取向或比例。(34)根據(jù)(19)至(33)所述的設(shè)備，其中，所述狀態(tài)量的所述方面為以下各項(xiàng)中的至少之一:所述狀態(tài)量的高頻分量，所述狀態(tài)量的絕對值，或所述狀態(tài)量的微分。(35)根據(jù)(19)至(34)所述的設(shè)備，其中，所述確定單元被配置成通過將所述狀態(tài)量的所述方面與所述圖像中的所述真實(shí)對象的運(yùn)動方向進(jìn)行比較來確定穩(wěn)定性指示。(36)根據(jù)(19)至(35)所述的設(shè)備，其中，所述確定單元被配置成通過下述操作來確定穩(wěn)定性指不:將所述真實(shí)對象的狀態(tài)量的第一方面的當(dāng)前值與所述狀態(tài)量的所述第一方面的先前值進(jìn)行比較；以及將所述狀態(tài)量的第二方面的當(dāng)前值與所述狀態(tài)量的所述第二方面的先前值進(jìn)行比較。(37)根據(jù)(19)至(36)所述的設(shè)備，其中，所述狀態(tài)量的所述第一方面和所述第二方面包括所述真實(shí)對象的位置和所述真實(shí)對象的取向。(38)根據(jù)(19)至(37)所述的設(shè)備，其中，所述穩(wěn)定性指示的值為所述圖像中示出的所述真實(shí)對象的部分的反函數(shù)。(39)根據(jù)(19)至(38)所述的設(shè)備，還包括:控制單元，其被配置成在所述穩(wěn)定性指示降到閾值以下時警告用戶。(40)根據(jù)(19)至(39)所述的設(shè)備，其中，所述顯示控制單元包括輸入單元，所述輸入單元用于接收用戶輸入以禁止所述虛擬對象屬性的所述顯示的修改。(41)根據(jù)(19)至(40)所述的設(shè)備，其中，所述顯示控制單元被配置成:修改所述虛擬對象的所述顯示以包括所述真實(shí)對象的所述識別的指示；以及將所述虛擬對象的信息顯示疊加到所述圖像、或所述虛擬對象的經(jīng)修改的顯示中的至少之一上。[0210](42)根據(jù)(19)至(41)所述的設(shè)備，其中:所述至少一個屬性為所述虛擬對象的所述顯示的銳度；以及所述顯示控制單元被配置成在所述穩(wěn)定性指示指示增大的穩(wěn)定性時增大所述銳度，以及在所述穩(wěn)定性指示指示減小的穩(wěn)定性時減小所述銳度。(43)根據(jù)(19)至(42)所述的設(shè)備，其中:所述至少一個屬性為所述虛擬對象的所述顯示的透明度；以及所述顯示控制單元被配置成在所述穩(wěn)定性指示指示增大的穩(wěn)定性時減小所述透明度，以及在所述穩(wěn)定性指示指示減小的穩(wěn)定性時增大所述透明度。(44) 一種方法，包括:在圖像中識別真實(shí)對象；確定指示所述識別的穩(wěn)定性的穩(wěn)定性指示；以及根據(jù)所述穩(wěn)定性指示修改虛擬對象的顯示。(45) 一種有形地體現(xiàn)的非暫時性的計(jì)算機(jī)可讀介質(zhì)，其存儲指令，所述[0221 ]指令當(dāng)被處理器執(zhí)行時執(zhí)行方法，所述方法包括:在圖像中識別真實(shí)對象；確定指示所述識別的穩(wěn)定性的穩(wěn)定性指示；以及根據(jù)所述穩(wěn)定性指示修改虛擬對象的顯示。附圖標(biāo)記列表100圖像處理設(shè)備102成像單元104傳感器單元140圖像識別單元160確定單元190顯示控制單元
權(quán)利要求1.一種圖像處理設(shè)備，包括: 識別單元，其被配置成在圖像中識別真實(shí)對象； 確定單元，其被配置成確定指示所述識別的穩(wěn)定性的穩(wěn)定性指示；以及 顯示控制單元，其被配置成根據(jù)所述穩(wěn)定性指示修改虛擬對象的顯示。
2.如權(quán)利要求1所述的圖像處理設(shè)備，包括傳感器；以及其中，所述確定單元被配置成通過將傳感器輸出的變化與所述真實(shí)對象的狀態(tài)量的方面的變化進(jìn)行比較來確定穩(wěn)定性指示。
3.如權(quán)利要求2所述的圖像處理設(shè)備，其中，所述傳感器包括具有指示所述設(shè)備的移動的輸出的傳感器。
4.如權(quán)利要求1所述的圖像處理設(shè)備，還包括:控制單元，其被配置成在所述穩(wěn)定性指示降到閾值以下時警告用戶。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述顯示控制單元包括輸入單元，所述輸入單元用于接收用戶輸入以禁止所述虛擬對象屬性的所述顯示的修改。
專利摘要提供了一種圖像處理設(shè)備，該設(shè)備包括識別單元，該識別單元被配置成在圖像中識別真實(shí)對象。該設(shè)備還可包括確定單元和顯示控制單元，該確定單元被配置成確定指示識別的穩(wěn)定性的穩(wěn)定性指示，該顯示控制單元被配置成根據(jù)穩(wěn)定性指示修改虛擬對象的顯示。
文檔編號G06K9/32GK202976122SQ201220143819
公開日2013年6月5日 申請日期2012年4月6日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者笠原俊一 申請人:索尼公司