三維環(huán)境共有系統(tǒng)及三維環(huán)境共有方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)上的三維環(huán)境實現(xiàn)技術(shù)。
【背景技術(shù)】
[0002]近年來，3DCG (三維計算機(jī)圖形學(xué))或擴(kuò)展現(xiàn)實(AR)等那樣的在計算機(jī)上實現(xiàn)三維環(huán)境的技術(shù)廣泛地實用化。AR技術(shù)在經(jīng)由智能手機(jī)等便攜設(shè)備的相機(jī)或頭戴式顯示器(HMD)而得到的現(xiàn)實世界上的對象物上重疊顯示虛擬對象、數(shù)據(jù)。通過這樣的顯示技術(shù)，用戶能夠視覺確認(rèn)三維影像。
[0003]在下述專利文獻(xiàn)I中提出了如下的方案:使用深度檢測相機(jī)進(jìn)行場景內(nèi)的用戶的識別及跟蹤，根據(jù)其結(jié)果，將模擬該用戶的移動的虛擬實境模擬動畫(avatar animat1n)顯示于該場景內(nèi)。而且，在下述專利文獻(xiàn)2中提出了如下的技術(shù):不需要臂罩或手套等附加裝備，而向用戶提供自然的三維環(huán)境下的計算機(jī)交互經(jīng)驗。在該提案中，在與用戶相對的位置設(shè)置深度相機(jī)，與利用該深度相機(jī)拍攝到的用戶一起將插入有虛擬對象的圖像顯示于顯示器，并檢測該用戶與虛擬對象之間的交互。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特表2011-515736號公報
[0007]專利文獻(xiàn)2:日本專利第4271236號公報

【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]然而，上述各專利文獻(xiàn)中提出的方法只不過使用由I臺的攝像裝置拍攝的攝像圖像來實現(xiàn)計算機(jī)上的三維環(huán)境，完全沒有想到使用由多個攝像裝置拍攝的多個攝像圖像的情況。
[0010]本發(fā)明鑒于上述那樣的情況而完成，提供一種在對從不同的位置及不同的方向拍攝到的各攝像圖像進(jìn)行處理的多個圖像處理裝置之間共有I個三維環(huán)境的技術(shù)。
[0011]用于解決課題的方案
[0012]在本發(fā)明的各方案中，為了解決上述課題而分別采用以下的結(jié)構(gòu)。
[0013]第一方案關(guān)于包括第一圖像處理裝置及第二圖像處理裝置的三維環(huán)境共有系統(tǒng)。第一圖像處理裝置具備:第一圖像取得部，從第一攝像部取得第一攝像圖像；第一對象檢測部，從由該第一圖像取得部取得的第一攝像圖像中檢測已知的通用實際對象；第一坐標(biāo)設(shè)定部，基于由該第一對象檢測部檢測的通用實際對象，設(shè)定三維坐標(biāo)空間；以及發(fā)送部，將該三維坐標(biāo)空間的三維位置信息向第二圖像處理裝置發(fā)送。第二圖像處理裝置具備:第二圖像取得部，從第二攝像部取得第二攝像圖像，所述第二攝像部配置在與第一攝像部不同的位置及不同的朝向，且攝像區(qū)域與第一攝像部至少局部重復(fù)；第二對象檢測部，從由該第二圖像取得部取得的第二攝像圖像中檢測已知的上述通用實際對象；第二坐標(biāo)設(shè)定部，基于由該第二對象檢測部檢測的上述通用實際對象，設(shè)定與在第一圖像處理裝置中設(shè)定的三維坐標(biāo)空間相同的三維坐標(biāo)空間；接收部，從第一圖像處理裝置接收所述三維位置信息；以及對象處理部，使用由該接收部接收的三維位置信息，對與第二攝像圖像合成的虛擬三維對象數(shù)據(jù)進(jìn)行處理。
[0014]本發(fā)明的第二方案關(guān)于通過第一圖像處理裝置及第二圖像處理裝置執(zhí)行的三維環(huán)境共有方法。三維環(huán)境共有方法包括:第一圖像處理裝置從第一攝像部取得第一攝像圖像，從取得的第一攝像圖像中檢測已知的通用實際對象，基于檢測的通用實際對象，設(shè)定三維坐標(biāo)空間，將該三維坐標(biāo)空間的三維位置信息向第二圖像處理裝置發(fā)送，第二圖像處理裝置從配置成與第一攝像部不同的位置及不同的朝向且攝像區(qū)域與第一攝像部至少局部重復(fù)的第二攝像部取得第二攝像圖像，從取得的第二攝像圖像中檢測已知的上述通用實際對象，基于檢測的通用實際對象，設(shè)定與在第一圖像處理裝置中設(shè)定的三維坐標(biāo)空間相同的三維坐標(biāo)空間，從第一圖像處理裝置接收三維位置信息，使用接收的三維位置信息，對與第二攝像圖像合成的虛擬三維對象數(shù)據(jù)進(jìn)行處理。
[0015]此外，作為本發(fā)明的其他方案，優(yōu)選使各計算機(jī)分別實現(xiàn)上述第一方案包含的各結(jié)構(gòu)的程序，或者優(yōu)選記錄有這樣的程序的計算機(jī)可讀取的記錄介質(zhì)。該記錄介質(zhì)包括非暫時性的有形的介質(zhì)。
[0016]發(fā)明效果
[0017]根據(jù)上述各方案，能夠提供一種在對從不同的位置及不同的方向拍攝到的各攝像圖像進(jìn)行處理的多個圖像處理裝置之間共有I個三維環(huán)境的技術(shù)。
【附圖說明】
[0018]上述目的及其他目的、特征及優(yōu)點通過以下敘述的優(yōu)選實施方式及附隨于其的以下的附圖而更為明確。
[0019]圖1是概念性地表示第一實施方式的三維環(huán)境共有系統(tǒng)的硬件結(jié)構(gòu)例的圖。
[0020]圖2是表示第一實施方式的三維環(huán)境共有系統(tǒng)的利用方式的例子的圖。
[0021]圖3是表示HMD的外觀結(jié)構(gòu)的例子的圖。
[0022]圖4是概念性地表示第一實施方式的傳感器側(cè)裝置的處理結(jié)構(gòu)例的圖。
[0023]圖5是概念性地表示第一實施方式的顯示側(cè)裝置的處理結(jié)構(gòu)例的圖。
[0024]圖6是表示顯示于HMD的合成圖像的例子的圖。
[0025]圖7是表示第一實施方式的三維環(huán)境共有系統(tǒng)的動作例的序列圖。
[0026]圖8是概念性地表示第二實施方式的三維環(huán)境共有系統(tǒng)的硬件結(jié)構(gòu)例的圖。
[0027]圖9是概念性地表示第二實施方式的第一圖像處理裝置的處理結(jié)構(gòu)例的圖。
[0028]圖10是概念性地表示第二實施方式的第二圖像處理裝置的處理結(jié)構(gòu)例的圖。
[0029]圖11是表示第二實施方式的三維環(huán)境共有系統(tǒng)的動作例的序列圖。
【具體實施方式】
[0030]以下，說明本發(fā)明的實施方式。此外，以下列舉的各實施方式分別是例示，本發(fā)明沒有限定為以下的各實施方式的結(jié)構(gòu)。
[0031]本實施方式的三維環(huán)境共有系統(tǒng)包括第一圖像處理裝置及第二圖像處理裝置。第一圖像處理裝置具有:第一圖像取得部，從第一攝像部取得第一攝像圖像；第一對象檢測部，從由該第一圖像取得部取得的第一攝像圖像中檢測已知的通用實際對象；第一坐標(biāo)設(shè)定部，基于由該第一對象檢測部檢測的通用實際對象，設(shè)定三維坐標(biāo)空間；以及發(fā)送部，將該三維坐標(biāo)空間的三維位置信息向第二圖像處理裝置發(fā)送。第二圖像處理裝置具備:第二圖像取得部，從第二攝像部取得第二攝像圖像，所述第二攝像部配置成與第一攝像部不同的位置及不同的朝向，且從攝像區(qū)域與第一攝像部至少局部重復(fù)；第二對象檢測部，從由該第二圖像取得部取得的第二攝像圖像中檢測已知的上述通用實際對象；第二坐標(biāo)設(shè)定部，基于由該第二對象檢測部檢測的上述通用實際對象，設(shè)定與在第一圖像處理裝置中設(shè)定的三維坐標(biāo)空間相同的三維坐標(biāo)空間；接收部，從第一圖像處理裝置接收上述三維位置信息；以及對象處理部，使用由該接收部接收的所述三維位置信息，對與第二攝像圖像合成的虛擬三維對象數(shù)據(jù)進(jìn)行處理。
[0032]本實施方式的三維環(huán)境共有方法通過第一圖像處理裝置及第二圖像處理裝置來執(zhí)行。本三維環(huán)境共有方法包括:第一圖像處理裝置從第一攝像部取得第一攝像圖像，從取得的第一攝像圖像中檢測已知的通用實際對象，基于檢測的通用實際對象，設(shè)定三維坐標(biāo)空間，將該三維坐標(biāo)空間的三維位置信息向第二圖像處理裝置發(fā)送，第二圖像處理裝置從配置成與第一攝像部不同的位置及不同的朝向且攝像區(qū)域與第一攝像部至少局部重復(fù)的第二攝像部取得第二攝像圖像，從取得的第二攝像圖像中檢測已知的所述通用實際對象，基于檢測的通用實際對象，設(shè)定與在第一圖像處理裝置中設(shè)定的三維坐標(biāo)空間相同的三維坐標(biāo)空間，從第一圖像處理裝置接收三維位置信息，使用接收的三維位置信息，對與第二攝像圖像合成的虛擬三維對象數(shù)據(jù)進(jìn)行處理。
[0033]在本實施方式中，在第一圖像處理裝置中從第一攝像部取得第一攝像圖像，在第二圖像處理裝置中從第二攝像部取得第二攝像圖像。在此，第二攝像部配置成與第一攝像部不同的位置及不同的朝向，且攝像區(qū)域與第一攝像部至少局部重復(fù)。由此，第一攝像圖像及第二攝像圖像是通過從不同的位置及不同的方向分別拍攝現(xiàn)實世界的某空間或某被攝體而得到的圖像。
[0034]在本實施方式中，在第一圖像處理裝置及第二圖像處理裝置中，從第一攝像圖像及第二攝像圖像，分別檢測已知的通用實際對象，基于分別檢測到的通用實際對象，分別設(shè)定通用的三維坐標(biāo)空間。通用實際對象是指配置于現(xiàn)實世界的圖像或物體，稱為AR (Augmented Reality)標(biāo)記等。本實施方式只要是從該通用實際對象無論參照方向如何都能夠恒定地得到某基準(zhǔn)點及來自該基準(zhǔn)點的相互正交的3個方向即可，沒有限制該通用實際對象的具體的形態(tài)。第一圖像處理裝置及第二圖像處理裝置預(yù)先保持關(guān)于該通用實際對象表示的形狀、尺寸、顏色等的信息，使用這樣的已知的信息，從各圖像中檢測通用實際對象。而且，三維坐標(biāo)空間表示由三維坐標(biāo)表示的三維空間。
[0035]這樣，根據(jù)本實施方式，通過使用通用實際對象，在第一圖像處理裝置及第二圖像處理裝置間能夠共有I個三維坐標(biāo)空間。在本實施方式中，這樣共有的三維坐標(biāo)空間的三維位置信息從第一圖像處理裝置向第二圖像處理裝置傳送，在第二圖像處理裝置中，使用該接收到的三維位置信息，對與第二攝像圖像合成的虛擬三維對象數(shù)據(jù)進(jìn)行處理。
[0036]從第一圖像處理裝置向第二圖像處理裝置發(fā)送的三維位置信息是例如第一攝像圖像及第二攝像圖像這雙方包含的現(xiàn)實世界的被攝體相關(guān)的位置信息。該三維位置信息使用第一圖像處理裝置及第二圖像處理裝置中共有的三維坐標(biāo)空間來表示，因此根據(jù)本實施方式，能夠生成與第二攝像圖像包含的該被攝體配置成任意的位置關(guān)系的虛擬三維對象。
[0037]另外，該三維位置信息也可以是關(guān)于與第一攝像圖像合成的虛擬三維對象的位置信息。這種情況下，由第二圖像處理裝置生成的數(shù)據(jù)所對應(yīng)的虛擬三維對象配置在第一圖像處理裝置及第二圖像處理裝置所共有的該三維坐標(biāo)空間的在第一圖像處理裝置中與第一攝像圖像合成的虛擬三維對象相同的位置。因此，若將各虛擬三維對象與