然在此示例中，說明了對虛擬圖像的顯示位置等進行校正(重新計算)的示例，但是CPU 83等也可基于顯示坐標系統(tǒng)的變化的計算結果重新獲得顯示在輸出圖像上的虛擬圖像的形狀并重新對其進行校正。
[0228]第三實施例
[0229](虛擬圖像的顯示位置調整)
[0230]另外，雖然在上文中通過一個示例說明了確定顯示裝置11側的虛擬圖像的顯示位置等的情況，但是可通過用戶來可選擇地調整虛擬圖像的顯示位置等。
[0231]在這種情況下，例如如圖17所示，用戶通過使用用戶的手掌來調整虛擬圖像的顯示位置和距離等。注意，在圖17中，與圖2中的部件相對應的部件使用相同的附圖標記表示，且將適當?shù)厥÷詫λ鼈兊恼f明。
[0232]在圖17的示例中，虛擬圖像Vll顯示在用戶Ull的左手掌的位置處。用戶Ull通過上下和前后移動左手掌來調整虛擬圖像Vll的顯示位置等。
[0233]當以此方式通過手掌來調整虛擬圖像的顯示位置時，圖3所示的顯示裝置11通過執(zhí)行圖18所示的處理來確定虛擬圖像的顯示位置、大小和距離。注意，在圖18中，與圖4中的部件相對應的部件使用相同的附圖標記表示，且將適當?shù)厥÷詫λ鼈兊恼f明。
[0234]在圖18所示的示例中，首先，識別單元271L、271R從左輸入圖像IPL和右輸入圖像IPR檢測手掌。例如，通過CPU 83來實現(xiàn)識別單元271L、27IR，且識別單元271L、27IR經(jīng)由總線88、圖像輸入單元82、圖像輸出單元70和總線72從相機處理單元65獲得輸入圖像。
[0235]在從輸入圖像檢測到用戶的手掌之后，識別單元271U271R將手掌的位置以及包括手掌區(qū)域的附近區(qū)域的大小提供到圖像裁剪單元66L、66R。注意，在下文中，當不需要特別地區(qū)分識別單元271L、271R時，也將它們簡稱為識別單元271。
[0236]圖像裁剪單元66L、66R基于來自識別單元271的手掌的位置和附近區(qū)域的大小從左輸入圖像IPL和右輸入圖像IPR中裁剪出手掌區(qū)域，以形成裁剪圖像HPL、HPR，并將這些圖像提供到距離計算單元67。
[0237]距離計算單元67基于從圖像裁剪單元66提供的左、右裁剪圖像來執(zhí)行立體匹配，并將計算結果提供到手掌距離計算單元272。手掌距離計算單元272根據(jù)從距離計算單元67提供的立體匹配的計算結果來獲得手掌的位置以及從成像單元22 (顯示裝置11)到手掌的距離。確定單元121基于以此方式獲得的手掌的位置和距離來確定虛擬圖像的顯示位置、大小和距離。
[0238]注意，例如通過CPU 61來實現(xiàn)手掌距離計算單元272。另外，在顯示圖像組合單元124中，左輸入圖像IPL和右輸入圖像IPR無變化地顯示在圖像顯示單元21上，以作為輸出圖像。
[0239]另外，雖然這里說明了用戶通過使用手掌來調整虛擬圖像的顯示位置等的示例，但是用于調整虛擬圖像的顯示位置等的識別目標不限于手掌，且可使用諸如用戶的身體的任選部分等任何事物。
[0240](障礙物檢測)
[0241]此外，如圖19所示，當用戶執(zhí)行虛擬圖像的觸摸操作且例如在虛擬圖像Vll與用戶Ull之間存在障礙物OBll時，用戶Ull的手有時會碰到障礙物0B11。注意，在圖19中，與圖2中的部件相對應的部件使用相同的附圖標記表示，且將適當?shù)厥÷詫λ鼈兊恼f明。
[0242]在此示例中，由于障礙物OBll也被顯示裝置11成像，所以用戶Ull可在輸出圖像上識別出障礙物OBll并可通過避免障礙物OBll來執(zhí)行觸摸操作。然而，從安全的角度出發(fā)，優(yōu)選地，在虛擬圖像Vll與用戶Ull之間不存在障礙物0B11。
[0243]因此，顯示裝置11可設置有用于檢測虛擬圖像Vll與顯示裝置11之間是否存在障礙物OBll并根據(jù)檢測結果控制虛擬圖像Vll的顯示的功能。在圖19的示例中，以疊加在虛擬圖像Vll上的方式顯示X標志的圖像，以作為吸引注意力的圖像。
[0244]以此方式，當設置有用于檢測障礙物的功能時，圖3所示的顯示裝置11執(zhí)行圖20所示的處理，以確定用戶與顯示裝置11之間是否存在障礙物。注意，在圖20中，與圖4中的部件相對應的部件使用相同的附圖標記表示，且將適當?shù)厥÷詫λ鼈兊恼f明。
[0245]在圖20所示的示例中，在短距離圖像分離單元69L與虛擬圖像組合單元123L之間設置有障礙物確定單元301L，且在短距離圖像分離單元69R與虛擬圖像組合單元123R之間設置有障礙物確定單元301R。例如，通過CPU 83來實現(xiàn)障礙物確定單元301L、301R。
[0246]例如，顯示裝置11的ROM 84等預先記錄諸如用于表示預先登記的操作物體(例如，用戶的手和腳以及筆)的特征的特征量等數(shù)據(jù)，以作為特征數(shù)據(jù)。這里，操作物體用于諸如觸摸操作等虛擬圖像的操作，且當用戶通過手在虛擬圖像上執(zhí)行操作時，用于表示手的一般特征的數(shù)據(jù)用作特征數(shù)據(jù)。顯示裝置11記錄一個或多個操作物體的特征數(shù)據(jù)。
[0247]障礙物確定單元301U301R通過使用預先記錄的特征數(shù)據(jù)在從短距離圖像分離單元69L、69R提供的短距離圖像NPL、NPR中檢測出障礙物。
[0248]具體地，例如在短距離圖像上的每個物體的區(qū)域中提取特征量，并將特征量與預先登記的操作物體的特征量進行比較，從而確定短距離圖像上的物體是否是登記的操作物體。然后，例如，當在短距離圖像上存在不是登記的物體的物體時，確定該物體為障礙物。
[0249]當確定在短距離圖像上不存在障礙物時，障礙物確定單元301U301R將短距離圖像無變化地提供到虛擬圖像組合單元123L、123R。
[0250]另外，當確定在短距離圖像上存在障礙物時，障礙物確定單元301U301R產(chǎn)生用于表明存在將要顯示在輸出圖像上的障礙物的字符訊息或圖像，或產(chǎn)生用于表明存在將要再現(xiàn)的障礙物的語音訊息。在此情況下，將用于表明例如存在障礙物的圖像與短距離圖像組合在一起，并提供到虛擬圖像組合單元123。
[0251]注意，在下文中，當不需要特別地區(qū)分障礙物確定單元301U301R時，也將它們簡稱為障礙物確定單元301。
[0252](顯示位置調整處理的說明)
[0253]接下來，將參考圖21的流程來說明顯示位置調整處理，在顯示位置調整處理中，圖3所示的顯示裝置11根據(jù)用戶的手掌的位置來調整虛擬圖像的顯示位置并還檢測障礙物。
[0254]在步驟S121中，CPU 83確定從處理開始經(jīng)過的時間是否處于預先設定的時間內。在步驟S121中，當確定經(jīng)過的時間不處于預先設定的時間內時，終止顯示位置調整處理。
[0255]另一方面，在步驟S121中，當確定經(jīng)過的時間處于預先設定的時間內時，在步驟S122中，CPU 83使圖像顯示單元21顯示作為輸出圖像的實時圖像。S卩，CPU 83經(jīng)由圖像輸入單元82和圖像輸出單元70從相機處理單元65獲得輸入圖像，并經(jīng)由圖像顯示處理單元86和圖像輸出單元87將輸入圖像提供到圖像顯示單元21，以將輸入圖像無變化地顯示為輸出圖像。
[0256]在步驟S123中，識別單元271在從相機處理單元65提供的輸入圖像中檢測用戶的手掌。例如，通過使用特征量等的手形識別等來執(zhí)行手掌檢測。
[0257]在步驟S124中，識別單元271確定是否檢測到手掌。當在步驟S124中確定沒有檢測到手掌時，過程返回至步驟S121，且重復上述處理。
[0258]另一方面，當在步驟S124中確定檢測到手掌時，識別單元271將從檢測結果中獲得的手掌的位置以及手掌的附近區(qū)域的大小提供到圖像裁剪單元66，且過程前進到步驟S125o
[0259]在步驟S125中，圖像裁剪單元66基于來自識別單元271的手掌位置和附近區(qū)域大小從輸入圖像中裁剪出手掌區(qū)域，以形成裁剪圖像，并將裁剪圖像提供到距離計算單元67ο
[0260]在步驟S126中，距離計算單元67基于從圖像裁剪單元66提供的左、右兩個裁剪圖像來執(zhí)行立體匹配，并將計算結果提供到手掌距離計算單元272。例如，通過立體匹配獲得裁剪圖像的每個區(qū)域的視差。此視差是用于表示從顯示裝置11到每個區(qū)域中存在的物體的距離的信息。
[0261]在步驟S127中，手掌距離計算單元272基于從距離計算單元67提供的立體匹配的計算結果來計算裁剪圖像上的手掌位置以及從成像單元22 (顯示裝置11)到三維空間中的手掌的距離。
[0262]當以此方式計算出手掌的位置和距離時，確定單元121將該手掌的位置和距離臨時地確定為虛擬圖像的臨時的位置和距離，即三維空間中的虛擬圖像的位置。因此，根據(jù)手掌的位置和距離確定了虛擬圖像的臨時的顯示位置、大小和距離。
[0263]在以此方式確定了虛擬圖像的顯示位置、大小和距離之后，執(zhí)行與圖7中的步驟S12至步驟S14的處理類似的處理，并生成短距離圖像。
[0264]然后，在步驟S128中，障礙物確定單元301確定是否在短距離上存在障礙物。
[0265]例如，障礙物確定單元301通過將預先記錄的特征數(shù)據(jù)與在從短距離圖像分離單元69提供的短距離圖像中提取出的數(shù)據(jù)進行比較來檢測短距離圖像中(即，在離用戶的短距離上)的障礙物。
[0266]當在步驟S128中確定存在障礙物時，在步驟S129中，障礙物確定單元301執(zhí)行障礙物處理。即，障礙物確定單元301產(chǎn)生用于表明存在將要顯示的障礙物的字符訊息或圖像，或產(chǎn)生用于表明存在將要再現(xiàn)的障礙物的語音訊息。
[0267]另一方面，當在步驟S128中確定不存在障礙物時，障礙物確定單元301將來自短距離圖像分離單元69的短距離圖像無變化地提供到虛擬圖像組合單元123，且過程前進到步驟S130。
[0268]在步驟S130中，顯示圖像組合單元124使虛擬圖像顯示在步驟S127中臨時確定的顯示位置處。
[0269]S卩，虛擬圖像組合單元123將來自確定單元121的虛擬圖像與從障礙物確定單元301提供的短距離圖像組合在一起，并將最終獲得的合成圖像提供到顯示圖像組合單元124。另外，顯示圖像組合單元124基于由手掌的位置和大小確定的虛擬圖像的顯示位置和大小將來自虛擬圖像組合單元123的合成圖像與來自相機處理單元65的輸入圖像組合在一起，以獲得輸出圖像，并將輸出圖像提供到圖像顯示單元21。
[0270]因此，圖像顯示單元21顯示輸出圖像，其中，輸出圖像在用戶的手掌的位置處顯示虛擬圖像。
[0271]在執(zhí)行了步驟S129或步驟S130的處理之后，在步驟S131中，CPU 83確定是否要終止虛擬圖像的顯示位置調整。當在步驟S131中確定仍不終止調整時，過程返回至步驟S121，且重復上述處理。
[0272]另一方面，當在在步驟S131中確定要終止調整時，終止顯示位置調整處理。在終止顯示位置調整之后，在假定此處理中確定的虛擬圖像的顯示位置、大小和距離為由確定單元121確定的顯示位置、大小和距離的情況下，執(zhí)行圖7的觸摸識別處理。
[0273]注意，在顯示位置調整處理中，用戶可舉起手以通過手掌來指定虛擬圖像的顯示位置，且然后可將虛擬圖像顯示在指定位置，或可先顯示虛擬圖像，然后用戶可通過手掌來指定顯示位置。在任一種情況下，在顯示裝置11中執(zhí)行圖21所示的顯示位置調整處理。
[0274]如上，顯示裝置11通過在輸入圖像中檢測手掌來調整虛擬圖像的顯示位置等，并還檢測虛擬圖像與用戶之間是否存在障礙物并根據(jù)需要執(zhí)行障礙物處理。
[0275]以此方式，通過使用手掌等來調整虛擬圖像的顯示位置，可以改善操作性。另外，通過檢測障礙物并執(zhí)行障礙物處理，可以在顯示裝置11的使用中實現(xiàn)更高的安全性。
[0276]注意，雖然在上文中說明了基于左、右兩個輸入圖像生成左、右兩個輸出圖像，但是可使用三個以上的輸入圖像來獲得距離計算單元67中的距離信息。
[0277]在此情況下，使用用于左眼的兩個輸入圖像和用于右眼的兩個輸入圖像，對兩個輸入圖像的特定組合執(zhí)行立體匹配等，且計算裁剪圖像的每個區(qū)域中的物體的距離。另外，例如，除用于計算裁剪圖像的每個區(qū)域中的物體的距離的左、右輸入圖像之外，還可使用中心輸入圖像。通過以此方式使用三個以上的輸入圖像，可以更精確地計算距離信息。
[0278]上述一系列過程可由硬件執(zhí)行，但也可以由軟件執(zhí)行。當通過軟件執(zhí)行這一系列過程時，將構成這種軟件的程序安裝到計算機中。這里，表述“計算機”包括含有專用硬件的計算機以及當安裝有各種程序時能夠執(zhí)行各種功能的通用計算機。
[0279]圖22是示出了根據(jù)程序執(zhí)行前述一系列過程的計算機的硬件的示例性構造的框圖。
[0280]在計算機中，CPU 501、ROM 502和RAM 503通過總線504互相連接。
[0281]輸入/輸出接口 505也被連接到總線504。輸入單元506、輸出單元507、記錄單元508、通信單元509和驅動器510連接到輸入/輸出接口