虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)及實(shí)現(xiàn)方法
【專利摘要】本發(fā)明公開了一種虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)及實(shí)現(xiàn)方法，該系統(tǒng)包括現(xiàn)場行為采集單元、行為學(xué)習(xí)單元、表演意圖分析單元和布景單元，現(xiàn)場行為采集單元采集用于生成表演者的表演行為的訓(xùn)練數(shù)據(jù)或現(xiàn)場數(shù)據(jù)，行為學(xué)習(xí)單元，利用支持向量機(jī)分類器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，得到表演者的預(yù)設(shè)行為；利用現(xiàn)場數(shù)據(jù)得到表演者的現(xiàn)場行為，表演意圖分析單元上根據(jù)表演者的當(dāng)前現(xiàn)場行為與相應(yīng)預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；布景單元上保存有與表演者的表演意圖相對(duì)應(yīng)的多個(gè)場景畫面，所述布景單元根據(jù)所述表演意圖，選擇相應(yīng)的場景畫面投影到舞臺(tái)上。本發(fā)明，可以實(shí)現(xiàn)表演者與舞臺(tái)場景的互動(dòng)，達(dá)到了虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)效果。
【專利說明】虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)及實(shí)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及舞臺(tái)展示系統(tǒng)，具體涉及虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)及實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002]眾所周知，藝術(shù)演出的舞臺(tái)展示對(duì)演出效果的作用越來越突出。但是，現(xiàn)有的舞臺(tái)展示系統(tǒng)通常采用的是人工或定時(shí)變換場景畫面的方式，實(shí)現(xiàn)虛擬影像與真實(shí)場景的結(jié)合。這種方式，無法實(shí)現(xiàn)表演者與舞臺(tái)場景的互動(dòng)，已經(jīng)不能滿足人們更高層次的需求，虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)效果越來越受到人們的關(guān)注。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問題是在舞臺(tái)展示系統(tǒng)無法實(shí)現(xiàn)表演者與舞臺(tái)場景的互動(dòng)的問題。
[0004]為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是提供一種虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)，包括:
[0005]行為采集単元，采集用于生成表演者的表演行為的訓(xùn)練數(shù)據(jù)或現(xiàn)場數(shù)據(jù)；
[0006]行為學(xué)習(xí)単元，利用支持向量機(jī)分類器學(xué)習(xí)所述訓(xùn)練數(shù)據(jù)，得到表演者的預(yù)設(shè)行為；利用所述現(xiàn)場數(shù)據(jù)得到表演者的現(xiàn)場行為；
[0007]表演意圖分析単元，根據(jù)表演者的當(dāng)前現(xiàn)場行為與相應(yīng)預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；
[0008]布景單元，其上保存有與表演者的表演意圖相對(duì)應(yīng)的多個(gè)場景，所述布景単元根據(jù)所述表演意圖，選擇相應(yīng)的場景加載到舞臺(tái)上；所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
[0009]在上述系統(tǒng)中，所述彳了為米集單兀包括:
[0010]多個(gè)輕型慣導(dǎo)傳感輸入設(shè)備，分別固定在表演者的頭部、軀干部以及上肢和下肢上，每個(gè)所述輕型慣導(dǎo)傳感輸入設(shè)備實(shí)時(shí)采集表演者各關(guān)節(jié)的運(yùn)動(dòng)學(xué)姿態(tài)訓(xùn)練數(shù)據(jù)或姿態(tài)現(xiàn)場數(shù)據(jù)；
[0011]3D重構(gòu)單元，根據(jù)所述姿態(tài)訓(xùn)練數(shù)據(jù)重構(gòu)表演者的三維預(yù)設(shè)模型，根據(jù)所述姿態(tài)現(xiàn)場數(shù)據(jù)重構(gòu)表演者的三維現(xiàn)場模型；
[0012]所述預(yù)設(shè)行為為預(yù)設(shè)姿態(tài)，所述現(xiàn)場行為為現(xiàn)場姿態(tài)，所述行為學(xué)習(xí)單元利用所述三維預(yù)設(shè)模型創(chuàng)建表演者的姿態(tài)訓(xùn)練集，并利用所述姿態(tài)訓(xùn)練集獲得表演者的預(yù)設(shè)姿態(tài)；利用所述姿態(tài)現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場姿態(tài)。
[0013]在上述系統(tǒng)中，所述彳丁為米集單兀包括:
[0014]3D體感攝影機(jī)，采集表演者的表情和語音訓(xùn)練數(shù)據(jù)或表情和語音現(xiàn)場數(shù)據(jù)；
[0015]所述預(yù)設(shè)行為為預(yù)設(shè)表情，所述現(xiàn)場行為為現(xiàn)場表情，所述行為學(xué)習(xí)單元利用所述表情和語音訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的表情訓(xùn)練集和語音訓(xùn)練集，并利用所述表情訓(xùn)練集獲得表演者的預(yù)設(shè)表情和預(yù)設(shè)語音；利用所述表情和語音現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場表情和現(xiàn)場語音。
[0016]在上述系統(tǒng)中，所述彳丁為米集單兀包括:
[0017]動(dòng)作捕捉単元,采集表演者的動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)，所述動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)包括表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)；
[0018]所述預(yù)設(shè)行為為預(yù)設(shè)動(dòng)作，所述現(xiàn)場行為為現(xiàn)場動(dòng)作，所述行為學(xué)習(xí)單元利用所述動(dòng)作訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的動(dòng)作訓(xùn)練集，并利用所述動(dòng)作訓(xùn)練集獲得表演者的預(yù)設(shè)動(dòng)作；利用所述動(dòng)作現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場動(dòng)作。
[0019]在上述系統(tǒng)中，所述行為采集單元上還設(shè)有校正模塊，利用某個(gè)已知的輕型慣導(dǎo)傳感輸入設(shè)備與相應(yīng)身體軀段間的空間關(guān)系以及人體生物機(jī)械模型對(duì)其他輕型慣導(dǎo)傳感輸入設(shè)備進(jìn)行校正。
[0020]在上述系統(tǒng)中，所述行為采集單元上還設(shè)有表情處理單元，所述表情處理單元包括:
[0021]標(biāo)定模塊，分別采集每ー個(gè)參考平面的散斑圖案數(shù)據(jù)，所述參考平面為沿所述3D體感攝影機(jī)的鏡頭方向由近及遠(yuǎn)依次間隔設(shè)置在舞臺(tái)上的虛擬垂直平面；
[0022]存儲(chǔ)模塊，存儲(chǔ)每ー個(gè)所述參考平面的所述散斑圖案數(shù)據(jù)；
[0023]插值計(jì)算模塊，根據(jù)所述表情訓(xùn)練數(shù)據(jù)與每一個(gè)所述散斑圖案數(shù)據(jù)的互相關(guān)運(yùn)算結(jié)果，得到表演者的訓(xùn)練表情；根據(jù)所述表情現(xiàn)場數(shù)據(jù)得到所述現(xiàn)場表情。
[0024]在上述系統(tǒng)中，所述行為采集單元上還設(shè)有圖像計(jì)算處理単元，所述圖像計(jì)算處理單元包括:
[0025]標(biāo)定模塊，通過對(duì)所述動(dòng)作捕捉識(shí)別單元的標(biāo)定得出其與投影影像之間的相對(duì)位置數(shù)據(jù)，
[0026]圖像處理模塊，根據(jù)對(duì)所述表演者運(yùn)動(dòng)過程的連續(xù)圖像數(shù)據(jù)進(jìn)行計(jì)算分析，得出在所述動(dòng)作捕捉識(shí)別單元中表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)，
[0027]坐標(biāo)轉(zhuǎn)換模塊，將動(dòng)作捕捉識(shí)別單元圖像坐標(biāo)系中的所述位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)轉(zhuǎn)換為在投影單元圖像坐標(biāo)系中的投影位置數(shù)據(jù)、投影方向數(shù)據(jù)和投影速度數(shù)據(jù)。
[0028]在上述系統(tǒng)中，所述布景単元包括若干個(gè)投影儀和亮帶消除模塊，所述投影儀根據(jù)所述影像調(diào)用輸出信號(hào)調(diào)用相應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像進(jìn)行投影，所述亮帶消除模塊消除若干個(gè)投影儀之間因?yàn)橥队胺秶诤隙a(chǎn)生的亮帶。
[0029]本發(fā)明還提供了一種虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互實(shí)現(xiàn)方法，包括以下步驟:
[0030]利用支持向量機(jī)分類器學(xué)習(xí)表演者的各種行為的訓(xùn)練數(shù)據(jù)得到表演者的預(yù)設(shè)行為；
[0031]實(shí)時(shí)采集表演者的現(xiàn)場行為數(shù)據(jù)，并獲得表演者的現(xiàn)場行為；
[0032]根據(jù)表演者的所述現(xiàn)場行為與所述預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；[0033]根據(jù)所述表演意圖，選擇相應(yīng)的場景畫面投影到舞臺(tái)上，所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
[0034]本發(fā)明，根據(jù)表演者的當(dāng)前現(xiàn)場行為與所述預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖，再根據(jù)表演意圖，選擇相應(yīng)的場景畫面投影到舞臺(tái)上，所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面，從而實(shí)現(xiàn)了虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)效果。
【專利附圖】

【附圖說明】
[0035]圖1為本發(fā)明的結(jié)構(gòu)示意圖；
[0036]圖2為本發(fā)明中行為采集単元的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0037]本發(fā)明提供了一種虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)及實(shí)現(xiàn)方法，實(shí)現(xiàn)了根據(jù)表演者的姿態(tài)、表情等現(xiàn)場行為，調(diào)動(dòng)相應(yīng)的聲、光、電及場景，實(shí)現(xiàn)表演者與舞臺(tái)場景的實(shí)時(shí)交互。下面結(jié)合說明書附圖和【具體實(shí)施方式】對(duì)本發(fā)明做出詳細(xì)的說明。
[0038]如圖1所示，本發(fā)明提供的擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)包括行為采集単元10、行為學(xué)習(xí)単元20、表演意圖分析単元30和布景單元40。
[0039]其中，行為采集単元10用于采集用于生成表演者的表演行為的訓(xùn)練數(shù)據(jù)或現(xiàn)場數(shù)據(jù)；
[0040]行為學(xué)習(xí)単元20利用支持向量機(jī)分類器學(xué)習(xí)所述訓(xùn)練數(shù)據(jù)，得到表演者的預(yù)設(shè)行為；利用所述現(xiàn)場數(shù)據(jù)得到表演者的現(xiàn)場行為；
[0041]表演意圖分析単元30根據(jù)表演者的當(dāng)前現(xiàn)場行為與相應(yīng)預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；
[0042]布景單元40上保存有與表演者的表演意圖相對(duì)應(yīng)的多個(gè)場景，所述布景単元根據(jù)所述表演意圖，選擇相應(yīng)的場景加載到舞臺(tái)上；所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
[0043]本發(fā)明中的行為采集単元可以采集表演者的姿態(tài)、表情以及動(dòng)作。下面分別加以介紹。
[0044]如圖2所示，行為采集単元包括多個(gè)輕型慣導(dǎo)傳感輸入設(shè)備101和3D重構(gòu)單元102。
[0045]每個(gè)輕型慣導(dǎo)傳感輸入設(shè)備均集成有ー個(gè)3維加速度傳感器、ー個(gè)3維陀螺儀和ー個(gè)3維磁力傳感器。多個(gè)慣導(dǎo)傳感輸入設(shè)備101分別固定在表演者的上肢、下肢、軀干和頭部，本實(shí)施例中，慣輕型慣導(dǎo)傳感輸入設(shè)備的數(shù)量為12 — 16個(gè)，其中，I個(gè)輕型慣導(dǎo)傳感輸入設(shè)備固定在表演者的頭部，I 一 5個(gè)輕型慣導(dǎo)傳感輸入設(shè)備分散地固定在表演者的軀干部，4個(gè)輕型慣導(dǎo)傳感輸入設(shè)備分別固定在表演者的兩個(gè)上肢的上臂上和下臂上，6個(gè)輕型慣導(dǎo)傳感輸入設(shè)備分別固定在表演者的兩個(gè)下肢的大腿、小腿和腳上。每個(gè)輕型慣導(dǎo)傳感輸入設(shè)備101實(shí)時(shí)采集表演者的各關(guān)節(jié)運(yùn)動(dòng)學(xué)姿態(tài)訓(xùn)練數(shù)據(jù)或姿態(tài)現(xiàn)場數(shù)據(jù)。
[0046]3D重構(gòu)單元102根據(jù)表演者的姿態(tài)訓(xùn)練數(shù)據(jù)重構(gòu)表演者的三維預(yù)設(shè)模型，根據(jù)表演者的姿態(tài)現(xiàn)場數(shù)據(jù)重構(gòu)表演者的三維現(xiàn)場模型。
[0047]行為學(xué)習(xí)単元利用三維預(yù)設(shè)模型創(chuàng)建表演者的姿態(tài)訓(xùn)練集，并利用姿態(tài)訓(xùn)練集獲得表演者的預(yù)設(shè)姿態(tài)；利用姿態(tài)現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場姿態(tài)。
[0048]由于輕型慣導(dǎo)傳感輸入設(shè)備附加到表演者身上時(shí)，與人體軀段間的初始位置未知，很難通過加速度數(shù)值積分的方法來估計(jì)人體軀段間的距離。因此，應(yīng)當(dāng)采取適當(dāng)?shù)男Ｕ齺泶_定傳感器與軀段間的空間關(guān)系和身體的維度信息。為此，本發(fā)明中還設(shè)有校正單元，利用某個(gè)已知的輕型慣導(dǎo)傳感輸入設(shè)備與相應(yīng)身體軀段間的空間關(guān)系以及人體生物機(jī)械模型對(duì)其他輕型慣導(dǎo)傳感輸入設(shè)備進(jìn)行校正。其中，已知的輕型慣導(dǎo)傳感輸入設(shè)備可以選擇設(shè)置在頭部的輕型慣導(dǎo)傳感輸入設(shè)備。具體作法是:將輕型慣導(dǎo)傳感輸入設(shè)備中各傳感器信號(hào)和人體三維模型描述為隨機(jī)事件，構(gòu)建含有預(yù)測和校正步驟的傳感器融合過程對(duì)其進(jìn)行聚合。在預(yù)測過程中，各個(gè)傳感器的信號(hào)都通過慣性導(dǎo)向系統(tǒng)(INS)算法進(jìn)行處理，其后利用某個(gè)已知的傳感器與相應(yīng)身體軀段間的空間關(guān)系以及人體生物機(jī)械模型來預(yù)測軀段的機(jī)械運(yùn)動(dòng)。在較長時(shí)間執(zhí)行上述處理過程后，由于存在傳感器噪聲、信號(hào)偏移和姿態(tài)錯(cuò)誤等因素，對(duì)慣性傳感器數(shù)據(jù)進(jìn)行積分會(huì)導(dǎo)致漂移誤差。為糾正諸如方向、速度、位移一類的估計(jì)量，傳感器融合過程會(huì)不斷更新這些估計(jì)量。校正過程會(huì)包含上述數(shù)據(jù)更新，這些更新基于人體生物運(yùn)動(dòng)學(xué)特征、主要關(guān)節(jié)、包含外界位置和速度限制因素的軀段連接點(diǎn)檢測，運(yùn)動(dòng)估計(jì)的結(jié)果反饋到下一幀的INS算法和軀段運(yùn)動(dòng)過程中。[0049]如圖2所示，行為采集單元10還包括3D體感攝影機(jī)111和表情處理單元112，3D體感攝影機(jī)111采集表演者的表情語音訓(xùn)練數(shù)據(jù)或表情語音現(xiàn)場數(shù)據(jù)。表情處理單元112包括標(biāo)定模塊、存儲(chǔ)模塊和插值計(jì)算模塊。標(biāo)定模塊分別采集每一個(gè)參考平面的散斑圖案數(shù)據(jù)，參考平面為沿3D體感攝影機(jī)的鏡頭方向由近及遠(yuǎn)依次間隔設(shè)置在舞臺(tái)上的虛擬垂直平面；存儲(chǔ)模塊存儲(chǔ)每一個(gè)參考平面的散斑圖案數(shù)據(jù)；插值計(jì)算模塊根據(jù)表演者的表情訓(xùn)練數(shù)據(jù)與每一個(gè)散斑圖案數(shù)據(jù)的互相關(guān)運(yùn)算結(jié)果，得到表演者的訓(xùn)練表情。插值計(jì)算模塊根據(jù)表演者的表情現(xiàn)場數(shù)據(jù)得到表演者的現(xiàn)場表情。
[0050]行為學(xué)習(xí)單元利用表演者的表情和語音訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的表情訓(xùn)練集和語音訓(xùn)練集，并利用表情訓(xùn)練集獲得表演者的預(yù)設(shè)表情，利用語音訓(xùn)練集獲得表演者的預(yù)設(shè)語音；行為學(xué)習(xí)單元利用表演者的表情和語音現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場表情和現(xiàn)場語
曰?
[0051]如圖2所示,行為采集單元還包括動(dòng)作捕捉單元121和圖像計(jì)算處理單元122,動(dòng)作捕捉單元121采集表演者的動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)，表演者的動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)包括表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)。
[0052]圖像計(jì)算處理單元122包括標(biāo)定模塊、圖像處理模塊和坐標(biāo)轉(zhuǎn)換模塊，標(biāo)定模塊通過對(duì)動(dòng)作捕捉識(shí)別單元的標(biāo)定得出其與投影影像之間的相對(duì)位置數(shù)據(jù)，圖像處理模塊根據(jù)對(duì)表演者運(yùn)動(dòng)過程的連續(xù)圖像數(shù)據(jù)進(jìn)行計(jì)算分析，得出表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)，坐標(biāo)轉(zhuǎn)換模塊將動(dòng)作捕捉識(shí)別單元圖像坐標(biāo)系中的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)轉(zhuǎn)換為在布景單元圖像坐標(biāo)系中的投影位置數(shù)據(jù)、投影方向數(shù)據(jù)和投影速度數(shù)據(jù)。
[0053]行為學(xué)習(xí)單元利用表演者的動(dòng)作訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的動(dòng)作訓(xùn)練集，并利用動(dòng)作訓(xùn)練集獲得表演者的預(yù)設(shè)動(dòng)作；行為學(xué)習(xí)單元利用表演者的動(dòng)作現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場動(dòng)作。
[0054]布景單元還包括若干個(gè)投影儀和亮帶消除模塊，布景單元上保存有與表演者的表演意圖相對(duì)應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，布景單元根據(jù)表演者的表演意圖調(diào)用相應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，并根據(jù)圖像計(jì)算處理單元得到的坐標(biāo)轉(zhuǎn)換結(jié)果，通過相應(yīng)的投影儀投影到舞臺(tái)上的相應(yīng)位置，亮帶消除模塊消除多個(gè)投影儀之間因?yàn)橥队胺秶诤隙a(chǎn)生的亮帶。
[0055]本發(fā)明還提供了 一種虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互實(shí)現(xiàn)方法，包括以下步驟:
[0056]利用支持向量機(jī)分類器學(xué)習(xí)表演者的各種行為的訓(xùn)練數(shù)據(jù)得到表演者的預(yù)設(shè)行為；
[0057]實(shí)時(shí)采集表演者的現(xiàn)場行為數(shù)據(jù)，并獲得表演者的現(xiàn)場行為；
[0058]根據(jù)表演者的當(dāng)前現(xiàn)場行為與所述預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖；
[0059]根據(jù)所述表演意圖，選擇相應(yīng)的場景畫面投影到舞臺(tái)上，所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
[0060]本發(fā)明不局限于上述最佳實(shí)施方式，任何人應(yīng)該得知在本發(fā)明的啟示下作出的結(jié)構(gòu)變化，凡是與本發(fā)明具有相同或相近的技術(shù)方案，均落入本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互集成系統(tǒng)，其特征在于，包括: 行為采集単元，采集用于生成表演者的表演行為的訓(xùn)練數(shù)據(jù)或現(xiàn)場數(shù)據(jù)； 行為學(xué)習(xí)単元，利用支持向量機(jī)分類器學(xué)習(xí)所述訓(xùn)練數(shù)據(jù)，得到表演者的預(yù)設(shè)行為；利用所述現(xiàn)場數(shù)據(jù)得到表演者的現(xiàn)場行為； 表演意圖分析単元，根據(jù)表演者的當(dāng)前現(xiàn)場行為與相應(yīng)預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖； 布景單元，其上保存有與表演者的表演意圖相對(duì)應(yīng)的多個(gè)場景，所述布景単元根據(jù)所述表演意圖，選擇相應(yīng)的場景加載到舞臺(tái)上；所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括: 多個(gè)輕型慣導(dǎo)傳感輸入設(shè)備，分別固定在表演者的頭部、軀干部以及上肢和下肢上，每個(gè)所述輕型慣導(dǎo)傳感輸入設(shè)備實(shí)時(shí)采集表演者各關(guān)節(jié)的運(yùn)動(dòng)學(xué)姿態(tài)訓(xùn)練數(shù)據(jù)或姿態(tài)現(xiàn)場數(shù)據(jù)； 3D重構(gòu)單元，根據(jù)所述姿態(tài)訓(xùn)練數(shù)據(jù)重構(gòu)表演者的三維預(yù)設(shè)模型，根據(jù)所述姿態(tài)現(xiàn)場數(shù)據(jù)重構(gòu)表演者的三維現(xiàn)場模型； 所述預(yù)設(shè)行為為預(yù)設(shè)姿態(tài)，所述現(xiàn)場行為為現(xiàn)場姿態(tài)，所述行為學(xué)習(xí)單元利用所述三維預(yù)設(shè)模型創(chuàng)建表演者的姿態(tài)訓(xùn)練集，并利用所述姿態(tài)訓(xùn)練集獲得表演者的預(yù)設(shè)姿態(tài)；利用所述姿態(tài)現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場姿態(tài)。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括: 3D體感攝影機(jī)，采集表演者的表情和語音訓(xùn)練數(shù)據(jù)或表情和語音現(xiàn)場數(shù)據(jù)；` 所述預(yù)設(shè)行為為預(yù)設(shè)表情和預(yù)設(shè)語音，所述現(xiàn)場行為為現(xiàn)場表情和現(xiàn)場語音，所述行為學(xué)習(xí)単元利用所述表情和語音訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的表情和語音訓(xùn)練集，并利用所述表情和語音訓(xùn)練集獲得表演者的預(yù)設(shè)表情和預(yù)設(shè)語音；利用所述表情和語音現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場表情和現(xiàn)場語音。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行為采集單元包括: 動(dòng)作捕捉単元，采集表演者的動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)，所述動(dòng)作訓(xùn)練數(shù)據(jù)或動(dòng)作現(xiàn)場數(shù)據(jù)包括表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)； 所述預(yù)設(shè)行為為預(yù)設(shè)動(dòng)作，所述現(xiàn)場行為為現(xiàn)場動(dòng)作，所述行為學(xué)習(xí)單元利用所述動(dòng)作訓(xùn)練數(shù)據(jù)創(chuàng)建表演者的動(dòng)作訓(xùn)練集，并利用所述動(dòng)作訓(xùn)練集獲得表演者的預(yù)設(shè)動(dòng)作；利用所述動(dòng)作現(xiàn)場數(shù)據(jù)獲得表演者的現(xiàn)場動(dòng)作。
5.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述行為采集單元上還設(shè)有校正模塊，利用某個(gè)已知的輕型慣導(dǎo)傳感輸入設(shè)備與相應(yīng)身體軀段間的空間關(guān)系以及人體生物機(jī)械模型對(duì)其他輕型慣導(dǎo)傳感輸入設(shè)備進(jìn)行校正。
6.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述行為采集單元上還設(shè)有表情處理單元，所述表情處理單元包括: 標(biāo)定模塊，分別采集每ー個(gè)參考平面的散斑圖案數(shù)據(jù)，所述參考平面為沿所述3D體感攝影機(jī)的鏡頭方向由近及遠(yuǎn)依次間隔設(shè)置在舞臺(tái)上的虛擬垂直平面； 存儲(chǔ)模塊，存儲(chǔ)每ー個(gè)所述參考平面的所述散斑圖案數(shù)據(jù)； 插值計(jì)算模塊，根據(jù)所述表情訓(xùn)練數(shù)據(jù)與每一個(gè)所述散斑圖案數(shù)據(jù)的互相關(guān)運(yùn)算結(jié)果，得到表演者的訓(xùn)練表情；根據(jù)所述表情現(xiàn)場數(shù)據(jù)得到所述現(xiàn)場表情。
7.如權(quán)利要求4所述的系統(tǒng)，其特征在干，所述行為采集單元上還設(shè)有圖像計(jì)算處理單元，所述圖像計(jì)算處理單元包括: 標(biāo)定模塊，通過對(duì)所述動(dòng)作捕捉識(shí)別單元的標(biāo)定得出其與投影影像之間的相對(duì)位置數(shù)據(jù)， 圖像處理模塊，根據(jù)對(duì)所述表演者運(yùn)動(dòng)過程的連續(xù)圖像數(shù)據(jù)進(jìn)行計(jì)算分析，得出在所述動(dòng)作捕捉識(shí)別單元中表演者運(yùn)動(dòng)過程中身體移動(dòng)的位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)，坐標(biāo)轉(zhuǎn)換模塊，將動(dòng)作捕捉識(shí)別單元圖像坐標(biāo)系中的所述位置數(shù)據(jù)、方向數(shù)據(jù)和速度數(shù)據(jù)轉(zhuǎn)換為在投影單元圖像坐標(biāo)系中的投影位置數(shù)據(jù)、投影方向數(shù)據(jù)和投影速度數(shù)據(jù)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在干， 布景單元還包括若干個(gè)投影儀和亮帶消除模塊，布景單元上保存有與表演者的表演意圖相對(duì)應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，布景單元根據(jù)表演者的表演意圖調(diào)用相應(yīng)的虛擬環(huán)境影像及虛擬環(huán)境中物體的運(yùn)動(dòng)影像，井根據(jù)圖像計(jì)算處理單元得到的坐標(biāo)轉(zhuǎn)換結(jié)果，通過相應(yīng)的投影儀投影到舞臺(tái)上的相應(yīng)位置，亮帶消除模塊消除多個(gè)投影儀之間因?yàn)橥队胺秶诤隙a(chǎn)生的亮帶。
9.虛擬影像與真實(shí)場景相結(jié)合的舞臺(tái)交互實(shí)現(xiàn)方法，其特征在于，包括以下步驟: 利用支持向量機(jī)分類器學(xué)習(xí)表演者的各種行為的訓(xùn)練數(shù)據(jù)得到表演者的預(yù)設(shè)行為； 實(shí)時(shí)采集表演者的現(xiàn)場行為數(shù)據(jù)，并獲得表演者的現(xiàn)場行為； 根據(jù)表演者的所述現(xiàn)場行為與所述預(yù)設(shè)行為的對(duì)應(yīng)關(guān)系，獲得表演者的表演意圖； 根據(jù)所述表演意圖，選擇相應(yīng)的場景畫面投影到舞臺(tái)上，所述場景包括相應(yīng)的聲音、燈光、靜態(tài)畫面和動(dòng)態(tài)畫面。
【文檔編號(hào)】G06F3/01GK103578135SQ201310603998
【公開日】2014年2月12日 申請(qǐng)日期:2013年11月25日 優(yōu)先權(quán)日:2013年11月25日
【發(fā)明者】趙松德, 郭樹濤, 孫濤, 趙煜, 張紅武, 崔德靖, 蘇宏程 申請(qǐng)人:恒德數(shù)字舞美科技有限公司