505。
[0282]輸入單元506由鍵盤、鼠標(biāo)、麥克風(fēng)和成像裝置等構(gòu)成。輸出單元507由顯示器和揚(yáng)聲器等構(gòu)成。記錄單元508由硬盤和非易失性存儲(chǔ)器構(gòu)成。通信單元509由網(wǎng)絡(luò)接口等構(gòu)成。驅(qū)動(dòng)器510驅(qū)動(dòng)諸如磁盤、光盤、磁光盤和半導(dǎo)體存儲(chǔ)器等可移動(dòng)介質(zhì)511。
[0283]在具有上述構(gòu)造的計(jì)算機(jī)中，作為一個(gè)示例，CPU 501經(jīng)由輸入/輸出接口 505和總線504將存儲(chǔ)在記錄單元508中的程序加載到RAM 503中，并執(zhí)行程序以進(jìn)行前述一系列過程。
[0284]作為一個(gè)示例，可通過記錄在作為封裝介質(zhì)的可移動(dòng)介質(zhì)511等上來提供由計(jì)算機(jī)(CPU 501)執(zhí)行的程序。還可經(jīng)由諸如局域網(wǎng)、英特網(wǎng)或數(shù)字衛(wèi)星廣播等有線或無線傳輸媒體來提供程序。
[0285]在計(jì)算機(jī)中，通過將可移動(dòng)介質(zhì)511加載到驅(qū)動(dòng)器510中，可經(jīng)由輸入/輸出接口505將程序安裝到記錄單元508中。還可以通過使用通信單元509從有線或無線傳輸媒體接收程序并該程序安裝到記錄單元508中。作為另一個(gè)替代選擇，可將程序提前安裝到ROM502或記錄單元508中。
[0286]注意，由計(jì)算機(jī)執(zhí)行的程序可以是按照本說明書說明的時(shí)間次序來執(zhí)行過程的程序，或可以是并行地或在必要時(shí)間處(諸如在調(diào)用過程時(shí)等)執(zhí)行過程的程序。
[0287]本發(fā)明的實(shí)施例不限于上述實(shí)施例，且可在不偏離本發(fā)明的范圍的情況下進(jìn)行各種改變和修改。
[0288]例如，本發(fā)明可采用云計(jì)算的構(gòu)造，其中，云計(jì)算通過在網(wǎng)絡(luò)中的多個(gè)裝置合作地執(zhí)行一個(gè)功能來進(jìn)行處理。
[0289]另外，可通過一個(gè)裝置或多個(gè)裝置合作地來執(zhí)行上述流程圖中說明的每個(gè)步驟。
[0290]此外，在一個(gè)步驟中包括多個(gè)過程的情況下，可通過一個(gè)裝置或通過多個(gè)裝置合作地來執(zhí)行此一個(gè)步驟中包括的多個(gè)過程。
[0291]此外，本發(fā)明還可配置如下。
[0292][I] 一種圖像處理裝置，其包括:
[0293]圖像裁剪單元，所述圖像剪裁單元從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像；
[0294]距離計(jì)算單元，所述距離計(jì)算單元基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息；
[0295]觸摸位置計(jì)算單元，所述觸摸位置計(jì)算單元基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置；
[0296]觸摸處理單元，所述觸摸處理單元使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行；
[0297]短距離圖像分離單元，針對(duì)每個(gè)所述裁剪圖像，所述短距離圖像分離單元基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像；
[0298]虛擬圖像組合單元，針對(duì)每個(gè)所述短距離圖像，所述虛擬圖像組合單元將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及
[0299]顯示圖像組合單元，針對(duì)每個(gè)所述合成圖像，所述顯示圖像組合單元將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。
[0300][2]如[I]所述的圖像處理裝置，
[0301 ] 其中，所述觸摸位置計(jì)算單元計(jì)算多個(gè)所述觸摸位置，且
[0302]其中，所述觸摸處理單元使由所述多個(gè)觸摸位置指定的處理被執(zhí)行。
[0303][3]如[I]或[2]所述的圖像處理裝置，
[0304]其中，所述虛擬圖像被顯示在三維空間中的非平坦平面上，且
[0305]其中，所述觸摸位置計(jì)算單元基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的位置來計(jì)算所述觸摸位置，且針對(duì)所述虛擬圖像的每個(gè)區(qū)域使用所述虛擬圖像的不同的距離。
[0306][4]如[I]至[3]中任一項(xiàng)所述的圖像處理裝置，
[0307]其中，所述觸摸位置計(jì)算單元基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的多個(gè)位置來計(jì)算所述觸摸位置。
[0308][5]如[I]至[4]中任一項(xiàng)所述的圖像處理裝置，
[0309]其中，所述輸入圖像與多個(gè)所述虛擬圖像被組合在一起，以形成所述輸出圖像，且
[0310]其中，所述觸摸位置計(jì)算單元針對(duì)每個(gè)所述虛擬圖像計(jì)算所述觸摸位置。
[0311][6]如[I]至[5]中任一項(xiàng)所述的圖像處理裝置，其還包括:
[0312]校正單元，所述校正單元基于所述圖像處理裝置的位置或方向的變化來校正所述虛擬圖像的顯示位置、顯示大小或形狀或校正所述虛擬圖像的距離。
[0313][7]如[I]至[6]中任一項(xiàng)所述的圖像處理裝置，其還包括:
[0314]識(shí)別單元，所述識(shí)別單元從所述輸入圖像中檢測(cè)預(yù)先確定的識(shí)別目標(biāo)；
[0315]識(shí)別目標(biāo)距離計(jì)算單元，所述識(shí)別目標(biāo)距離計(jì)算單元基于所述識(shí)別目標(biāo)的檢測(cè)結(jié)果來計(jì)算所述識(shí)別目標(biāo)的距離；以及
[0316]確定單元，所述確定單元基于所述識(shí)別目標(biāo)的位置和至所述識(shí)別目標(biāo)的距離來確定所述虛擬圖像的顯示位置和所述虛擬圖像的距離。
[0317][8]如[7]所述的圖像處理裝置，
[0318]其中，所述識(shí)別目標(biāo)是用戶的手掌。
[0319][9]如[I]至[8]中任一項(xiàng)所述的圖像處理裝置，其還包括:
[0320]障礙物確定單元，所述障礙物確定單元通過從所述短距離圖像中檢測(cè)預(yù)先確定的操作物體來確定所述虛擬圖像與所述圖像處理裝置之間是否存在障礙物。
[0321][10]如[I]至[9]中任一項(xiàng)所述的圖像處理裝置，
[0322]其中，所述距離計(jì)算單元通過對(duì)所述裁剪圖像執(zhí)行立體匹配來計(jì)算所述距離信息。
[0323][11]如[10]所述的圖像處理裝置，
[0324]其中，所述距離信息是所述裁剪圖像的每個(gè)區(qū)域中的視差。
[0325][12]如[I]至[11]中任一項(xiàng)所述的圖像處理裝置，
[0326]其中，所述觸摸處理單元根據(jù)所述觸摸位置使圖像顯示或語音再現(xiàn)被執(zhí)行。
[0327][13]如[I]至[12]中任一項(xiàng)所述的圖像處理裝置，其還包括:
[0328]成像單元，所述成像單元拍攝所述輸入圖像。
[0329]附圖標(biāo)記列表
[0330]11顯示裝置21L、21R、21圖像顯示單元
[0331]22L、22R、22 成像單元 61 CPU
[0332]66圖像裁剪單元67距離計(jì)算單元
[0333]68觸摸坐標(biāo)計(jì)算單元 69短距離圖像分離單元
[0334]83 CPU122觸摸處理單元
[0335]123L、123R、123虛擬圖像組合單元
[0336]124L、124R、124顯示圖像組合單元
[0337]231 傳感器271L、27IR、271 識(shí)別單元
[0338]272手掌距離計(jì)算單元 301L、30IR、301 障礙物確定單元
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，其包括: 圖像裁剪單元，所述圖像剪裁單元從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像； 距離計(jì)算單元，所述距離計(jì)算單元基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息； 觸摸位置計(jì)算單元，所述觸摸位置計(jì)算單元基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置； 觸摸處理單元，所述觸摸處理單元使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行； 短距離圖像分離單元，針對(duì)每個(gè)所述裁剪圖像，所述短距離圖像分離單元基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像； 虛擬圖像組合單元，針對(duì)每個(gè)所述短距離圖像，所述虛擬圖像組合單元將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及 顯示圖像組合單元，針對(duì)每個(gè)所述合成圖像，所述顯示圖像組合單元將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。2.如權(quán)利要求1所述的圖像處理裝置， 其中，所述觸摸位置計(jì)算單元計(jì)算多個(gè)所述觸摸位置，且 其中，所述觸摸處理單元使由所述多個(gè)觸摸位置指定的處理被執(zhí)行。3.如權(quán)利要求1所述的圖像處理裝置， 其中，所述虛擬圖像被顯示在三維空間中的非平坦平面上，且其中，所述觸摸位置計(jì)算單元基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的位置來計(jì)算所述觸摸位置，且針對(duì)所述虛擬圖像的每個(gè)區(qū)域使用所述虛擬圖像的不同距離。4.如權(quán)利要求1所述的圖像處理裝置， 其中，所述觸摸位置計(jì)算單元基于所述裁剪圖像上的具有由所述距離信息表示的與所述虛擬圖像的距離相等的距離的多個(gè)位置來計(jì)算所述觸摸位置。5.如權(quán)利要求1所述的圖像處理裝置， 其中，所述輸入圖像與多個(gè)所述虛擬圖像被組合在一起，以形成所述輸出圖像，且 其中，所述觸摸位置計(jì)算單元針對(duì)每個(gè)所述虛擬圖像計(jì)算所述觸摸位置。6.如權(quán)利要求1所述的圖像處理裝置，其還包括: 校正單元，所述校正單元基于所述圖像處理裝置的位置或方向的變化來校正所述虛擬圖像的顯示位置、顯示大小或形狀或校正所述虛擬圖像的距離。7.如權(quán)利要求1所述的圖像處理裝置，其還包括: 識(shí)別單元，所述識(shí)別單元從所述輸入圖像中檢測(cè)預(yù)先確定的識(shí)別目標(biāo)； 識(shí)別目標(biāo)距離計(jì)算單元，所述識(shí)別目標(biāo)距離計(jì)算單元基于所述識(shí)別目標(biāo)的檢測(cè)結(jié)果來計(jì)算所述識(shí)別目標(biāo)的距離；以及 確定單元，所述確定單元基于所述識(shí)別目標(biāo)的位置和所述識(shí)別目標(biāo)的距離來確定所述虛擬圖像的顯示位置和所述虛擬圖像的距離。8.如權(quán)利要求7所述的圖像處理裝置， 其中，所述識(shí)別目標(biāo)是用戶的手掌。9.如權(quán)利要求1所述的圖像處理裝置，其還包括: 障礙物確定單元，所述障礙物確定單元通過從所述短距離圖像中檢測(cè)預(yù)先確定的操作物體來確定所述虛擬圖像與所述圖像處理裝置之間是否存在障礙物。10.如權(quán)利要求1所述的圖像處理裝置， 其中，所述距離計(jì)算單元通過對(duì)所述裁剪圖像執(zhí)行立體匹配來計(jì)算所述距離信息。11.如權(quán)利要求10所述的圖像處理裝置， 其中，所述距離信息是所述裁剪圖像的每個(gè)區(qū)域中的視差。12.如權(quán)利要求1所述的圖像處理裝置， 其中，所述觸摸處理單元根據(jù)所述觸摸位置使圖像顯示或語音再現(xiàn)被執(zhí)行。13.如權(quán)利要求1所述的圖像處理裝置，其還包括: 成像單元，所述成像單元拍攝所述輸入圖像。14.一種圖像處理方法，其包括: 從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像； 基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息; 基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置； 使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行； 針對(duì)每個(gè)所述裁剪圖像，基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像； 針對(duì)每個(gè)所述短距離圖像，將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及 針對(duì)每個(gè)所述合成圖像，將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。15.一種使計(jì)算機(jī)執(zhí)行處理的程序，所述處理包括: 從具有各自的視差的兩個(gè)以上的輸入圖像中裁剪出顯示有待被操作的虛擬圖像的區(qū)域附近的預(yù)定區(qū)域，以生成裁剪圖像； 基于兩個(gè)以上的所述裁剪圖像來計(jì)算所述裁剪圖像的每個(gè)區(qū)域中的物體的距離信息; 基于所述距離信息來計(jì)算用戶在所述虛擬圖像上的觸摸位置； 使與所述觸摸位置相對(duì)應(yīng)的處理被執(zhí)行； 針對(duì)每個(gè)所述裁剪圖像，基于所述距離信息從該裁剪圖像中分離出比所述虛擬圖像更近的所述物體的區(qū)域，以生成短距離圖像； 針對(duì)每個(gè)所述短距離圖像，將該短距離圖像與所述虛擬圖像組合在一起，以生成合成圖像；以及 針對(duì)每個(gè)所述合成圖像，將該合成圖像與所述輸入圖像組合在一起，以生成具有各自的視差的兩個(gè)輸出圖像。
【專利摘要】圖像裁剪單元裁剪輸入圖像上的顯示有受到用戶的觸摸操作的虛擬圖像的區(qū)域，以獲得裁剪圖像，且距離計(jì)算單元對(duì)左、右裁剪圖像執(zhí)行立體匹配，以獲得裁剪圖像上的每個(gè)物體的距離。觸摸坐標(biāo)計(jì)算單元基于距離信息來獲得用戶的觸摸位置，且觸摸處理單元執(zhí)行與觸摸位置相對(duì)應(yīng)的處理。短距離圖像分離單元通過使用上述信息從裁剪圖像中分離出比虛擬圖像更靠近用戶側(cè)的物體，以獲得短距離圖像。將短距離圖像與虛擬圖像組合在一起，且將組合后的虛擬圖像與輸入圖像組合在一起以進(jìn)行顯示。
【IPC分類】H04N13/04, G06F3/0488, G06F3/01, G06T19/00
【公開號(hào)】CN105075254
【申請(qǐng)?zhí)枴緾N201480017154
【發(fā)明人】下田竜一
【申請(qǐng)人】索尼公司
【公開日】2015年11月18日
【申請(qǐng)日】2014年3月14日
【公告號(hào)】WO2014156706A1