、右圖像SP21均執(zhí)行立體匹配，且另外，觸點(diǎn)坐標(biāo)計(jì)算單元154通過(guò)使用該計(jì)算結(jié)果來(lái)執(zhí)行計(jì)算，以獲得用戶的手的觸點(diǎn)位置POll的坐標(biāo)(X，Y)。這里，坐標(biāo)(X，Y)可以是裁剪圖像上的坐標(biāo)，或可以是輸入圖像上的坐標(biāo)。
[0116]雖然可通過(guò)以此方式縮小裁剪圖像CP21并執(zhí)行立體匹配來(lái)以小的處理量快速地獲得處理結(jié)果，但是由于縮小了原始裁剪圖像CP21，所以引起了與該縮小相對(duì)應(yīng)的量的誤差。
[0117]因此，從原始裁剪圖像CP21中裁剪出與觸點(diǎn)位置POll相對(duì)應(yīng)的觸點(diǎn)位置Ρ01Γ周?chē)膱D像作為附近圖像ΕΡ21，且校正立體匹配單元156對(duì)左、右附近圖像ΕΡ21執(zhí)行立體匹配。
[0118]這里，附近圖像EP21的區(qū)域包括例如具有坐標(biāo)(ηΧ,ηΥ)的觸點(diǎn)位置Ρ011’，并且是由圖6中的垂直方向上的(η+α)像素和水平方向上的(η+α)像素構(gòu)成的區(qū)域。這里，α是預(yù)先確定的可選值。
[0119]由于通過(guò)附近圖像ΕΡ21的立體匹配來(lái)獲得用于表示附近圖像ΕΡ21的每個(gè)區(qū)域中的視差d的信息，所以觸摸坐標(biāo)計(jì)算單元68執(zhí)行與觸點(diǎn)坐標(biāo)計(jì)算單元154中的處理類(lèi)似的處理，并計(jì)算最終的觸摸位置P012的坐標(biāo)。S卩，觸摸位置P012是附近圖像EP21中的視差d = D的位置。通過(guò)以此方式從縮小的圖像中獲得觸點(diǎn)位置的坐標(biāo)并從原始圖像中再次獲得觸點(diǎn)位置的坐標(biāo)，可以以小的操作量獲得精確的觸摸位置。
[0120]返回至圖5的說(shuō)明，短距離掩模生成單元157L基于從立體匹配單元153提供的立體匹配計(jì)算結(jié)果來(lái)生成用于表示裁剪圖像中的比虛擬圖像更靠近用戶側(cè)的物體區(qū)域的掩模圖像，并將掩模圖像提供到放大單元158L。
[0121]例如，短距離掩模生成單元157L提取縮小之后的裁剪圖像上的區(qū)域之中的通過(guò)立體匹配獲得的視差d不小于用于表示虛擬圖像的距離的視差D的區(qū)域，并生成用于表示該區(qū)域的圖像作為掩模圖像。例如，在d ^D的區(qū)域中將掩模圖像中的每個(gè)區(qū)域的值(像素值)確定成為1，并在d〈D的區(qū)域中確定成為O。由d多D給定視差d的區(qū)域是比三維空間中的虛擬圖像更近的位置(用戶側(cè)上)的物體的區(qū)域。
[0122]放大單元158L將從短距離掩模生成單元157L提供的掩模圖像放大成具有與裁剪圖像CPL相同的大小的圖像，并將放大的掩模圖像提供到短距離圖像分離單元69L。S卩，放大單元158L將掩模圖像放大η倍。
[0123]另外，短距離掩模生成單元157R基于從立體匹配單元153提供的立體匹配計(jì)算結(jié)果生成掩模圖像，并將掩模圖像提供到放大單元158R。放大單元158R將從短距離掩模生成單元157R提供的掩模圖像放大成具有與裁剪圖像CPR相同的大小的圖像，并將放大的掩模圖像提供到短距離圖像分離單元69R。
[0124]注意，在下文中，當(dāng)不需要特別地區(qū)分短距離掩模生成單元157U157R時(shí)，也將它們簡(jiǎn)稱為短距離掩模生成單元157，且當(dāng)不需要特別地區(qū)分放大單元158U158R時(shí)，也將它們簡(jiǎn)稱為放大單元158。
[0125]短距離圖像分離單元69基于從圖像裁剪單元66提供的裁剪圖像以及從放大單元158提供的掩模圖像來(lái)生成短距離圖像。
[0126]如上，通過(guò)由距離計(jì)算單元67實(shí)現(xiàn)的水平調(diào)整單元151至放大單元158來(lái)獲得用于表示裁剪圖像上的每個(gè)物體的距離的距離信息，且從距離信息中進(jìn)一步獲得觸摸坐標(biāo)信息和短距離圖像信息。
[0127](觸摸識(shí)別處理的說(shuō)明)
[0128]接下來(lái)，將參考圖7的流程圖來(lái)說(shuō)明觸摸識(shí)別處理，在該觸摸識(shí)別處理中，顯示裝置11顯示輸出圖像，并且還識(shí)別用戶對(duì)虛擬圖像的操作，從而根據(jù)該操作執(zhí)行處理。
[0129]在步驟Sll中，確定單元121確定虛擬圖像及虛擬圖像的大小、顯示位置和距離，并根據(jù)需要將確定的大小等的信息及虛擬圖像提供到圖像裁剪單元66、虛擬圖像組合單元123和顯示圖像組合單元124。注意，如上所述，虛擬圖像的顯示位置和大小是輸出圖像上的顯示位置和大小，且虛擬圖像的距離是從成像單元22至三維空間中的虛擬圖像的距離。
[0130]例如，當(dāng)將虛擬圖像的大小和顯示位置以及虛擬圖像的距離預(yù)先確定為初始值時(shí)，確定單元121通過(guò)經(jīng)由總線72從ROM 62讀取信息來(lái)確定大小、顯示位置和距離。
[0131]注意，虛擬圖像的大小和顯示位置等可由用戶指定，或可根據(jù)左、右輸入圖像之間的視差進(jìn)行校正。另外，可根據(jù)諸如用戶的左眼和右眼中的哪一者用作虛擬圖像的觸摸識(shí)別的參考等因素來(lái)確定虛擬圖像的大小等。另外，在從用于右眼和左眼的裁剪圖像中獲得的觸摸位置之外，當(dāng)虛擬圖像上的按鈕等不是在一個(gè)觸摸位置處被觸摸時(shí)，可根據(jù)另一觸摸位置來(lái)確定虛擬圖像的顯示位置等。
[0132]在步驟S12中，圖像裁剪單元66從由相機(jī)處理單元65提供的輸入圖像中裁剪出由從確定單元121提供的虛擬圖像的顯示位置和大小確定的區(qū)域，并將最終獲得的裁剪圖像提供到水平調(diào)整單元151和短距離圖像分離單元69。
[0133]在步驟S13中，距離計(jì)算單元67執(zhí)行距離測(cè)量處理，以測(cè)量出裁剪圖像上的每個(gè)物體的距離。注意，雖然下面將對(duì)距離測(cè)量處理的細(xì)節(jié)進(jìn)行說(shuō)明，但是在距離測(cè)量處理中，獲得了裁剪圖像上的每個(gè)區(qū)域中的視差并將其提供到觸摸坐標(biāo)計(jì)算單元68，而且生成了掩模圖像并將其提供到短距離圖像分離單元69。
[0134]在步驟S14中，短距離圖像分離單元69通過(guò)使用從距離計(jì)算單元67的放大單元158提供的掩模圖像經(jīng)由距離計(jì)算單元67從由圖像裁剪單元66提供的裁剪圖像中分離出短距離圖像。
[0135]S卩，提取裁剪圖像的區(qū)域之中的比三維空間中的虛擬圖像的布置位置更靠近用戶側(cè)的物體的區(qū)域，以形成短距離圖像。例如，通過(guò)獲得裁剪圖像和掩模圖像的乘積來(lái)生成短距離圖像。將以此方式獲得的短距離圖像從短距離圖像分離單元69提供到虛擬圖像組合單元123。
[0136]在執(zhí)行步驟S14的處理之后，過(guò)程前進(jìn)到步驟S18。
[0137]另外，在步驟S15中，觸摸坐標(biāo)計(jì)算單元68基于從距離計(jì)算單元67的校正立體匹配單元156提供的立體匹配結(jié)果來(lái)計(jì)算用戶在虛擬圖像上的觸摸位置的坐標(biāo)，并將觸摸位置坐標(biāo)提供到觸摸處理單元122。
[0138]在步驟S16中，觸摸處理單元122基于從觸摸坐標(biāo)計(jì)算單元68提供的觸摸位置坐標(biāo)來(lái)確定虛擬圖像上的按鈕等是否被觸摸，即用戶是否已通過(guò)觸摸按鈕等的顯示位置來(lái)指示執(zhí)行處理。
[0139]注意，用戶的觸摸位置可以是從觸摸坐標(biāo)計(jì)算單元68L提供的坐標(biāo)和從觸摸坐標(biāo)計(jì)算單元68R提供的坐標(biāo)的中心值等。另外，當(dāng)按鈕等沒(méi)有在從用于左眼的裁剪圖像獲得的觸摸位置處被觸摸，且按鈕等在從用于右眼的裁剪圖像獲得的觸摸位置處被觸摸時(shí)，可增加從用于右眼的裁剪圖像獲得的觸摸位置的權(quán)重，從而可獲得最終的觸摸位置。
[0140]當(dāng)步驟S16中確定按鈕等被觸摸時(shí)，在步驟S17中，觸摸處理單元122使顯示裝置11中的每個(gè)單元執(zhí)行與用戶的觸摸操作相對(duì)應(yīng)的處理。
[0141]例如，與用戶的觸摸操作相對(duì)應(yīng)的處理是圖像顯示和聲音再現(xiàn)等。具體地，觸摸處理單元122使顯示顏色發(fā)生改變(例如，使虛擬圖像的被用戶觸摸的區(qū)域變亮)或使由觸摸操作指定的聲音再現(xiàn)。另外，當(dāng)通過(guò)刷新來(lái)顯示輸出圖像或改變虛擬圖像的顏色時(shí)，可向后和向前移動(dòng)虛擬圖像的顯示位置。
[0142]在執(zhí)行了與觸摸操作相對(duì)應(yīng)的處理之后，過(guò)程前進(jìn)到步驟S18。另外，在步驟S16中，當(dāng)確定沒(méi)有觸摸按鈕等時(shí)，不執(zhí)行步驟S17的處理，且過(guò)程前進(jìn)到步驟S18。
[0143]以此方式，在顯示裝置11中，并行地執(zhí)行步驟S14的處理和S15至S17的處理。
[0144]在執(zhí)行了步驟S14的處理并且進(jìn)一步確定執(zhí)行了步驟S17的處理或步驟S16中確定沒(méi)有觸摸按鈕等之后，執(zhí)行步驟S18的處理。在步驟S18中，虛擬圖像組合單元123將來(lái)自短距離圖像分離單元69的短距離圖像組合到來(lái)自確定單元121的虛擬圖像上，并將組合圖像提供到顯示圖像組合單元124。
[0145]短距離圖像是通過(guò)對(duì)裁剪圖像中的顯示有虛擬圖像的區(qū)域的附近進(jìn)行裁剪而獲得比三維空間中的虛擬圖像更靠近用戶側(cè)的物體的圖像。因此，當(dāng)顯示疊加在輸入圖像上的虛擬圖像時(shí)，短距離圖像變成輸入圖像上的被虛擬圖像遮蔽的物體(其雖然比虛擬圖像更靠近前側(cè)，但仍無(wú)法被看到)的圖像。
[0146]通過(guò)使類(lèi)似這種短距離圖像以疊加在虛擬圖像上的方式進(jìn)行組合，即使當(dāng)將輸入圖像疊加在虛擬圖像時(shí)，也可防止初始可見(jiàn)的物體變得不可見(jiàn)，并可獲得更真實(shí)的增強(qiáng)現(xiàn)實(shí)圖像。
[0147]在步驟S19中，顯示圖像組合單元124將從虛擬圖像組合單元123提供的合成圖像組合到輸入圖像上的由從確定單元121提供的虛擬圖像的顯示位置和大小確定的區(qū)域上，以形成輸出圖像。
[0148]顯示圖像組合單元124經(jīng)由總線88、圖像顯示處理單元86和圖像輸出單元87將以此方式獲得的輸出圖像提供到圖像顯示單元21，并使圖像顯示單元21顯示輸出圖像。因此，用戶可立體地觀察不僅顯示實(shí)際存在的物體還顯示虛擬圖像的輸出圖像。
[0149]例如，電子書(shū)可通過(guò)輸出圖像上的虛擬圖像來(lái)顯示電子書(shū)，且用戶可通過(guò)在虛擬圖像上執(zhí)行操作來(lái)閱讀電子書(shū)。另外，可通過(guò)虛擬圖像來(lái)顯示多功能電話機(jī)的顯示屏，且用戶界面可被實(shí)現(xiàn)為仿佛用戶操作多功能電話機(jī)。
[0150]在步驟S20中，CPU 83確定是否要終止過(guò)程。當(dāng)在步驟S20中確定仍不終止過(guò)程時(shí)，過(guò)程返回至步驟Sll，且重復(fù)上述處理。
[0151]另一方面，當(dāng)在步驟S20中確定要終止過(guò)程時(shí)，終止觸摸識(shí)別處理。
[0152]如上，顯示裝置11對(duì)裁剪圖像執(zhí)行距離計(jì)算，識(shí)別用戶在虛擬圖像上的觸摸操作，根據(jù)識(shí)別結(jié)果執(zhí)行處理并還生成用于顯示的輸出圖像。
[0153]通過(guò)以此方式使虛擬圖像顯示在可選位置處并基于裁剪圖像的每個(gè)區(qū)域中的物體的距離來(lái)識(shí)別虛擬圖像的觸摸操作，可以改善顯示裝置11的操作性。
[0154]S卩，由于虛擬圖像的布置位置不受限制，所以可通過(guò)顯示裝置11來(lái)實(shí)現(xiàn)具有更高自由度的用戶界面。另外，通過(guò)提取具有與虛擬圖像的距離相同的距離的物體區(qū)域并識(shí)別觸摸操作，可使用手或腳中可選擇的一者而不限于手或腳在虛擬圖像上執(zhí)行操作以改善操作性。另外，在此情況下，由于不需要進(jìn)行手等的圖像識(shí)別處理且不需要預(yù)先登記手等，所以可以實(shí)現(xiàn)具有更高自由度的用戶界面。
[0155]另外，在顯示裝置11中，由于通過(guò)使用左、右圖像(即，通過(guò)使用兩只眼睛)來(lái)執(zhí)行處理，所以用戶容易感覺(jué)到顯示在增強(qiáng)現(xiàn)實(shí)空間中的虛擬圖像的距離并不容易感受到虛擬圖像的操作的壓力。
[0156](距離測(cè)量處理的說(shuō)明)
[0157]隨后，將參考圖8來(lái)說(shuō)明與圖7中的步驟S13的處理相對(duì)應(yīng)的距離測(cè)量處理。
[0158]在步驟S51中，水平調(diào)整單元151執(zhí)行從圖像裁剪單元66提供的裁剪圖像的水平調(diào)整，并將水平調(diào)整之后的裁剪圖像提供到縮小單元152和觸點(diǎn)附近提取單元155。
[0159]在步驟S52中，縮小單元152縮小從水平調(diào)整單元151提供的裁剪圖像，并將縮小的裁剪圖像提供到立體匹配單元153。
[0160]在步驟S53中，立體匹配單元153基于從縮小單元152提供的裁剪圖像執(zhí)行立體匹配，并將裁剪圖像中的每個(gè)區(qū)域的最終獲得的視差提供到觸點(diǎn)坐標(biāo)計(jì)算單元154和短距離掩模生成單元157。
[0161]在步驟S54中，短距離掩模生成單元157基于從立體匹配單元153提供的裁剪圖像中的每個(gè)區(qū)域的視差來(lái)生成掩模圖像，并將掩模圖像提供到放大單元158。
[0162]然后，在步驟S55中，放大單元158放大從短距離掩模生成單元157提供的掩模圖像，并將放大的掩模圖像提供到短距離圖像分離單元69。
[0163]另外，在執(zhí)行了步驟S53的處理之后，在步驟S56中，觸點(diǎn)坐標(biāo)計(jì)算單元154基于從立體匹配單元153提供的立體匹配的計(jì)算結(jié)果來(lái)計(jì)算用戶的用于執(zhí)行觸摸操作的手的觸點(diǎn)位置的坐標(biāo)，并將坐標(biāo)提供到觸點(diǎn)附近提取單元155。
[0164]在步驟S57中，觸點(diǎn)附近提取單元155在從水平調(diào)整單元151提供的裁剪圖像中裁剪出由從觸點(diǎn)坐標(biāo)計(jì)算單元154提供的坐標(biāo)表示的觸點(diǎn)位置附近的區(qū)域以形成附近圖像，并將附近圖像提供到校正立體匹配單元156。
[0165]在步驟S58中，校正立體匹配單元156通過(guò)使用來(lái)自觸點(diǎn)附近提取單元155的附近圖像來(lái)執(zhí)行立體匹配，并將結(jié)果提供到觸摸坐標(biāo)計(jì)算單元68。
[0166]在以此方式執(zhí)行步驟S55和步驟S58中的處理之后，終止距離測(cè)量處理，且然后過(guò)程前進(jìn)到圖7中的步驟S14和步驟S15。注意，在距離測(cè)量處理中，并行地執(zhí)行步驟S54和步驟S55的處理與步驟S56至步驟S58的處理。
[0167]如上，顯示裝置11通過(guò)使用左、右裁剪圖像來(lái)執(zhí)行立體匹配，基于計(jì)算結(jié)果生成掩模圖像并還獲得用于識(shí)別用戶的觸摸位置的距離信息(視差信息)。
[01