本發(fā)明屬于虛擬現(xiàn)實(shí)多位置追蹤領(lǐng)域，具體涉及一種定位系統(tǒng)及方法，特別是一種基于多攝像頭的多目標(biāo)位置捕獲定位系統(tǒng)及方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(Virtual Reality：VR)是近年來(lái)出現(xiàn)的高新技術(shù)：利用電腦模擬產(chǎn)生的一個(gè)三維空間的虛擬環(huán)境，通過(guò)提供給體驗(yàn)者視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官上的模擬體驗(yàn)，讓體驗(yàn)著身臨其境的感受這個(gè)虛擬環(huán)境，甚至同虛擬環(huán)境進(jìn)行交互。近年來(lái)，虛擬現(xiàn)實(shí)在某些專業(yè)領(lǐng)域，如軍事、醫(yī)療甚至房地產(chǎn)開(kāi)發(fā)等方面都有了較大應(yīng)用。但隨著美國(guó)公司Oculus開(kāi)發(fā)的一款沉浸式虛擬現(xiàn)實(shí)眼鏡Oculus Rift，拉近了虛擬現(xiàn)實(shí)和普通民用的距離。Oculus Rift內(nèi)置高分辨顯示屏可以給用戶提供1280X800分辨率的高清畫(huà)面，水平可視角度為90度，垂直可視角度為110度，9自由度的姿態(tài)與運(yùn)動(dòng)傳感器以1000HZ的頻率追蹤頭部運(yùn)動(dòng)軌跡，以全方位的視覺(jué)體驗(yàn)為使用者提供一種全新的虛擬感受。隨著Oculus Rift的推出，國(guó)外和國(guó)內(nèi)各大廠商以及一些初創(chuàng)公司都推出了各自的虛擬現(xiàn)實(shí)眼鏡。它們存在以下不足：對(duì)頭部位置捕捉的局限性使得體驗(yàn)者只能坐在椅子上通過(guò)鍵盤(pán)、鼠標(biāo)或者手柄進(jìn)行交互或者控制運(yùn)動(dòng)，無(wú)法讓體驗(yàn)者感受到身臨其境，真正融入到虛擬環(huán)境中，體驗(yàn)效果不佳。

VR眼鏡作為虛擬視覺(jué)的提供者只能作為虛擬現(xiàn)實(shí)整個(gè)框架下的一部分，如何將體驗(yàn)者投影到虛擬的環(huán)境中并通過(guò)體驗(yàn)者自身的運(yùn)動(dòng)來(lái)控制虛擬人物的運(yùn)動(dòng)將是虛擬現(xiàn)實(shí)下一步亟待解決的問(wèn)題。而這一問(wèn)題的解決最直接的方法便是利用室內(nèi)定位、位置捕獲技術(shù)；現(xiàn)有的室內(nèi)無(wú)線定位系統(tǒng)主要采用移動(dòng)基站、紅外、超聲波、藍(lán)牙、Wi-Fi、RFID等短距離無(wú)線技術(shù)，這些設(shè)備不僅價(jià)格高昂，安裝配置復(fù)雜，同時(shí)精度也無(wú)法滿足虛擬現(xiàn)實(shí)體驗(yàn)的要求。目前，采用計(jì)算機(jī)視覺(jué)技術(shù)通過(guò)攝像頭捕捉眼鏡的位置移動(dòng)被各大廠商廣泛使用，但由于單攝像頭的局限性，也只能對(duì)單目標(biāo)小范圍的頭部簡(jiǎn)單運(yùn)動(dòng)進(jìn)行捕捉，無(wú)法擴(kuò)展到整個(gè)房間或更大區(qū)域。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)以上現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于，提供一種基于多攝像頭的多目標(biāo)位置捕獲定位系統(tǒng)及方法。本發(fā)明的系統(tǒng)和方法能夠?qū)崿F(xiàn)捕獲多名體驗(yàn)者的全向立體運(yùn)動(dòng)，并準(zhǔn)確實(shí)時(shí)反饋到虛擬環(huán)境。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案予以解決：

一種基于多攝像頭的多目標(biāo)位置捕獲定位系統(tǒng)，包括服務(wù)端、客戶端和VR眼鏡，其特征在于，所述客戶端和VR眼鏡均有多個(gè)，還包括至少兩個(gè)攝像頭、服務(wù)端、多個(gè)LED光球；其中，客戶端、LED光球和VR眼鏡的個(gè)數(shù)均相同；每個(gè)攝像頭均與服務(wù)端連接；VR眼鏡與客戶端連接；服務(wù)端與客戶端通過(guò)無(wú)線網(wǎng)絡(luò)連接；多個(gè)攝像頭均勻分布在體驗(yàn)室頂部；服務(wù)端安裝在體驗(yàn)室內(nèi)。

以上各部件用于完成如下功能：

所述攝像頭用于采集體驗(yàn)者佩戴光球的圖像數(shù)據(jù)，并傳送給所述服務(wù)端；

所述LED光球用于發(fā)光為攝像頭提供體驗(yàn)者的位置；

所述服務(wù)端用于對(duì)VR眼鏡、LED光球、攝像頭進(jìn)行初始化；用于接收所有攝像頭發(fā)送的圖像數(shù)據(jù)并進(jìn)行處理，將處理得到的體驗(yàn)者位置數(shù)據(jù)分發(fā)給每個(gè)客戶端；

所述客戶端采用便攜式計(jì)算機(jī)，用于讀取VR眼鏡發(fā)送的數(shù)據(jù)并發(fā)給服務(wù)端；并用于接收和處理由服務(wù)端發(fā)來(lái)的體驗(yàn)者位置數(shù)據(jù)，將所有體驗(yàn)者的位置數(shù)據(jù)換算為虛擬環(huán)境的坐標(biāo)，并實(shí)時(shí)生成虛擬環(huán)境或模型，最終將虛擬畫(huà)面實(shí)時(shí)渲染給VR眼鏡；

所述VR眼鏡實(shí)時(shí)自動(dòng)獲取內(nèi)置的陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)、重力計(jì)數(shù)值，并用來(lái)顯示3D虛擬場(chǎng)景，顯示佩戴該VR眼鏡的體驗(yàn)者和其他體驗(yàn)者的位置。

進(jìn)一步的，所述服務(wù)端包括如下相連接的功能模塊：

去噪及二值化模塊，用于實(shí)現(xiàn)：對(duì)所有攝像頭傳來(lái)的圖像數(shù)據(jù)進(jìn)行高斯平滑去除噪聲；對(duì)去除噪聲后的圖像處理得到二值化圖像；

輪廓圖像提取模塊，用于實(shí)現(xiàn)：對(duì)二值化圖像處理得到輪廓圖像，并得到該二值化圖像中的輪廓個(gè)數(shù)；

輪廓坐標(biāo)圖像提取模塊，用于實(shí)現(xiàn)：對(duì)每個(gè)輪廓圖像提取坐標(biāo)序列；

光球提取模塊，用于實(shí)現(xiàn)：對(duì)每個(gè)坐標(biāo)序列利用最小二乘法擬合圓曲線，判斷每個(gè)坐標(biāo)序列是否符合圓曲線，是則將該坐標(biāo)序列的半徑作為L(zhǎng)ED光球半徑，并記錄光球中心點(diǎn)坐標(biāo)；否則，刪去坐標(biāo)序列；

光球坐標(biāo)計(jì)算模塊，用于實(shí)現(xiàn)：確定LED光球半徑，獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)：

光球真實(shí)三維坐標(biāo)計(jì)算模塊，用于實(shí)現(xiàn)：通過(guò)得到的坐標(biāo)及捕獲攝像頭的相對(duì)坐標(biāo)，實(shí)時(shí)計(jì)算得到每個(gè)LED光球?qū)?yīng)的體驗(yàn)者在房間內(nèi)的真實(shí)三維坐標(biāo)。

進(jìn)一步的，所述光球坐標(biāo)計(jì)算模塊用于實(shí)現(xiàn)：確定LED光球半徑，獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)，具體是指：

根據(jù)攝像頭投影原理、攝像頭廣角、廣角投影角度這三個(gè)預(yù)設(shè)參數(shù)及光球半徑，利用皮爾森型分布算法計(jì)算每個(gè)LED光球到攝像頭距離：最終獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)值(x,y,distance)：

其中，radius＝R；公式中其余參數(shù)為函數(shù)內(nèi)參。

一種基于多攝像頭的多目標(biāo)位置捕獲定位方法，包括以下步驟：

步驟1：服務(wù)端初始化VR眼鏡、LED光球、攝像頭，與客戶端建立tcp連接；同時(shí)為每個(gè)體驗(yàn)者分配不同顏色的LED光球；

步驟2：每個(gè)攝像頭實(shí)時(shí)拍攝，當(dāng)攝像頭視場(chǎng)范圍內(nèi)出現(xiàn)LED光球時(shí)，攝像頭將圖像數(shù)據(jù)發(fā)傳送到服務(wù)端；每個(gè)客戶端讀取與自身連接的VR眼鏡的姿態(tài)陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)、重力計(jì)數(shù)值，實(shí)時(shí)傳送到服務(wù)端；

步驟3：服務(wù)端根據(jù)接收到的圖像數(shù)據(jù)，實(shí)時(shí)計(jì)算每個(gè)LED光球在攝像機(jī)捕獲畫(huà)面上的平面坐標(biāo)和光球大?。辉偻ㄟ^(guò)LED光球的平面坐標(biāo)和光球大小計(jì)算得到每個(gè)LED光球的所處房間內(nèi)的真實(shí)三維坐標(biāo)。

步驟4：服務(wù)端將每個(gè)LED光球在房間的真實(shí)三維坐標(biāo)連同該VR眼鏡的陀螺儀姿態(tài)數(shù)據(jù)、磁力計(jì)數(shù)據(jù)和重力計(jì)數(shù)據(jù)打包，實(shí)時(shí)分發(fā)給每個(gè)VR眼鏡對(duì)應(yīng)的客戶端；

步驟5：客戶端將所有體驗(yàn)者的真實(shí)三維坐標(biāo)換算為虛擬環(huán)境的坐標(biāo)，并實(shí)時(shí)生成虛擬環(huán)境或模型，最終將虛擬畫(huà)面實(shí)時(shí)渲染給體驗(yàn)者的VR眼鏡。

進(jìn)一步的，所述步驟1中，服務(wù)端對(duì)攝像頭初始化設(shè)置包括攝像頭坐標(biāo)；所述攝像頭坐標(biāo)初始化包括：

設(shè)定其中一個(gè)攝像頭二維基坐標(biāo)為(0,0)，一個(gè)體驗(yàn)者佩戴LED光球環(huán)繞體驗(yàn)室內(nèi)一周，其他攝像頭通過(guò)與基準(zhǔn)攝像頭的相互關(guān)系以及獲取的重疊區(qū)域LED光球坐標(biāo)位置，生成自身的相對(duì)坐標(biāo)參數(shù)并保存。其中，第i個(gè)攝像頭的相對(duì)坐標(biāo)(x_i，y_i)由以下公式計(jì)算：

(x_i,y_i)＝(x_標(biāo)-x,y_標(biāo)-y)

式中，(x_標(biāo),y_標(biāo))為根據(jù)基準(zhǔn)攝像頭捕獲LED光球的標(biāo)準(zhǔn)室內(nèi)平面坐標(biāo)；(x,y)為第i個(gè)攝像頭所捕獲圖像中的LED光球坐標(biāo)；i＝2，…，p；p為體驗(yàn)室中攝像頭的數(shù)量。

進(jìn)一步的，步驟3的具體步驟如下：

步驟31：服務(wù)端對(duì)所有攝像頭傳來(lái)的圖像數(shù)據(jù)進(jìn)行高斯平滑去除噪聲；然后對(duì)去除噪聲后的圖像進(jìn)行處理得到二值化圖像；

步驟32：服務(wù)端利用對(duì)二值化圖像處理得到輪廓圖像，并得到該二值化圖像中的輪廓個(gè)數(shù)；

步驟33：對(duì)每個(gè)輪廓圖像提取坐標(biāo)序列；

步驟34：對(duì)每個(gè)坐標(biāo)序列利用最小二乘法擬合圓曲線，判斷每個(gè)坐標(biāo)序列是否符合圓曲線，是則將該坐標(biāo)序列的半徑作為L(zhǎng)ED光球半徑，并記錄光球中心點(diǎn)坐標(biāo)；否則，刪去坐標(biāo)序列；

步驟35：確定LED光球半徑，獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)：

步驟36：通過(guò)步驟35得到的坐標(biāo)值及捕獲攝像頭的相對(duì)坐標(biāo)，計(jì)算得到每個(gè)LED光球?qū)?yīng)的體驗(yàn)者在房間內(nèi)的真實(shí)三維坐標(biāo)；

進(jìn)一步的，所述步驟35，確定LED光球半徑，獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)具體包括：

根據(jù)攝像頭投影原理、攝像頭廣角、廣角投影角度這三個(gè)預(yù)設(shè)參數(shù)及LED光球半徑，利用皮爾森型分布算法計(jì)算每個(gè)LED光球到攝像頭距離：最終獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)值(x,y,distance)：

其中，radius＝R；其余參數(shù)為函數(shù)內(nèi)參。

本發(fā)明的有益效果如下：

1、克服了現(xiàn)有的VR眼鏡只支持小范圍頭部運(yùn)動(dòng)和通過(guò)手柄操作運(yùn)動(dòng)的局限性，通過(guò)多種設(shè)備和廣闊的場(chǎng)地結(jié)合，使得體驗(yàn)者完全脫離之前的限制自由移動(dòng)，提供跟接近真實(shí)環(huán)境的虛擬現(xiàn)實(shí)體驗(yàn)。

2、相比目前的單人單機(jī)的虛擬現(xiàn)實(shí)體驗(yàn)，本發(fā)明通過(guò)多個(gè)客戶端、多個(gè)VR眼鏡和多個(gè)光球的配合，能夠支持多人共同在同一虛擬環(huán)境中交互，通過(guò)捕獲多人位置信息從而實(shí)現(xiàn)相互可見(jiàn)并可進(jìn)行共同活動(dòng)，虛擬現(xiàn)實(shí)的體驗(yàn)更豐富多樣。

3、將真實(shí)環(huán)境坐標(biāo)和虛擬環(huán)境坐標(biāo)建立聯(lián)系，真正使虛擬和真實(shí)掛鉤，為虛擬現(xiàn)實(shí)體驗(yàn)提供更多的可能性。

4、本發(fā)明環(huán)境布置搭設(shè)簡(jiǎn)單，針對(duì)不同環(huán)境只需對(duì)攝像頭數(shù)量和參數(shù)進(jìn)行修改，整個(gè)系統(tǒng)具有較高的擴(kuò)展性和移植性。

附圖說(shuō)明

圖1為本發(fā)明的基于多攝像頭的多目標(biāo)位置捕獲定位方法的流程圖。

圖2為本發(fā)明的基于多攝像頭的多目標(biāo)位置捕獲定位系統(tǒng)的示意圖。

圖3為本發(fā)明虛擬現(xiàn)實(shí)多目標(biāo)追蹤定位系統(tǒng)室內(nèi)設(shè)備實(shí)施方式示意圖。

圖4為本發(fā)明攝像頭捕捉光球圖像并計(jì)算所處平面坐標(biāo)及半徑示意圖。其中，圖(a)和圖(b)分別是當(dāng)有光球同時(shí)出現(xiàn)在相鄰攝像頭的重疊拍攝范圍內(nèi)，兩個(gè)攝像頭分別捕獲的畫(huà)面；圖(c)是當(dāng)2個(gè)光球同時(shí)出現(xiàn)在一個(gè)攝像頭拍攝范圍內(nèi)時(shí)，捕獲的畫(huà)面；圖(d)和圖(e)分別是當(dāng)光球離開(kāi)相鄰攝像頭重疊拍攝區(qū)域時(shí)，兩個(gè)攝像頭分別捕獲的畫(huà)面。

圖5為本發(fā)明中服務(wù)端進(jìn)行光球追蹤的流程圖。

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的闡述。

具體實(shí)施方式

如圖1、圖2所示，本發(fā)明的基于多攝像頭的多目標(biāo)位置捕獲定位系統(tǒng)，包括至少兩個(gè)攝像頭31、服務(wù)端33、多個(gè)客戶端36、多個(gè)LED光球34和多個(gè)VR眼鏡35；其中，客戶端36、LED光球34和VR眼鏡35的個(gè)數(shù)均相同；每個(gè)攝像頭31均通過(guò)USB連接線與服務(wù)端33連接；VR眼鏡35與客戶端36通過(guò)HDMI和USB連接線連接；服務(wù)端33與客戶端36通過(guò)無(wú)線網(wǎng)絡(luò)連接；攝像頭31均勻分布在體驗(yàn)室頂部；服務(wù)端33安裝在體驗(yàn)室內(nèi)；LED光球34和VR眼鏡35分別佩戴在體驗(yàn)者頭部；客戶端36佩戴在體驗(yàn)者身上。

以上各部件用于完成如下功能：

攝像頭31用于采集體驗(yàn)者佩戴光球的圖像數(shù)據(jù)，并傳送給服務(wù)端33；

LED光球34用于發(fā)光從而為攝像頭提供體驗(yàn)者的位置，光球顏色與體驗(yàn)者一一對(duì)應(yīng)；

服務(wù)端33用于對(duì)VR眼鏡、LED光球、攝像頭進(jìn)行初始化；用于接收所有攝像頭31 發(fā)送的圖像數(shù)據(jù)并進(jìn)行處理，將處理得到的體驗(yàn)者位置數(shù)據(jù)通過(guò)Wi-Fi分發(fā)給每個(gè)客戶端36；

客戶端36采用便攜式計(jì)算機(jī)，用于讀取VR眼鏡35發(fā)送的姿態(tài)陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)、重力計(jì)數(shù)值，發(fā)給服務(wù)端；并用于接收并處理由服務(wù)端發(fā)來(lái)的體驗(yàn)者位置數(shù)據(jù)，將所有體驗(yàn)者的位置數(shù)據(jù)換算為虛擬環(huán)境的坐標(biāo)，并實(shí)時(shí)生成虛擬環(huán)境或模型，最終將虛擬畫(huà)面實(shí)時(shí)渲染給體驗(yàn)者的VR眼鏡；

VR眼鏡35實(shí)時(shí)自動(dòng)獲取內(nèi)置的陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)、重力計(jì)數(shù)值，并用來(lái)顯示3D虛擬場(chǎng)景，顯示佩戴該VR眼鏡的體驗(yàn)者和其他體驗(yàn)者的位置。

優(yōu)選的，服務(wù)端包括如下相連接的功能模塊：

去噪及二值化模塊，用于實(shí)現(xiàn)如下功能：對(duì)所有攝像頭傳來(lái)的圖像數(shù)據(jù)進(jìn)行高斯平滑去除噪聲；然后根據(jù)體驗(yàn)者佩戴LED光球初始化顏色RPG，對(duì)圖像中每個(gè)單通道數(shù)組應(yīng)用固定閾值操作，得到二值化圖像；

輪廓圖像提取模塊，用于實(shí)現(xiàn)如下功能：服務(wù)端利用二值圖像輪廓提取算法對(duì)二值化圖像處理得到輪廓圖像，并得到該二值化圖像中的輪廓個(gè)數(shù)；

輪廓坐標(biāo)圖像提取模塊，用于實(shí)現(xiàn)如下功能：對(duì)每個(gè)輪廓圖像提取坐標(biāo)序列：{x_i,y_i}_j，其中j為1,2,...,n，n表示輪廓圖像的坐標(biāo)序列的個(gè)數(shù)，i為1,2,...,m，m表示第j個(gè)輪廓坐標(biāo)序列中包含的點(diǎn)坐標(biāo)個(gè)數(shù)；

光球提取模塊，用于實(shí)現(xiàn)如下功能：對(duì)每個(gè)坐標(biāo)序列利用最小二乘法擬合圓曲線：R²＝(x-A)²+(y-B)²，判斷每個(gè)坐標(biāo)序列是否符合圓曲線，是則將該坐標(biāo)序列的半徑R作為L(zhǎng)ED光球半徑，并記錄光球中心點(diǎn)坐標(biāo)(A，B)；否則，刪去坐標(biāo)序列，從而過(guò)濾掉非圓形輪廓；

本模塊中使用最小二乘法，能夠?qū)崿F(xiàn)在某個(gè)LED光球被部分遮擋時(shí)的完整統(tǒng)計(jì)?？梢酝ㄟ^(guò)部分輪廓圖像估算整體輪廓面積，該輪廓面積由輪廓弧線和連接兩端點(diǎn)的弦圍成的區(qū)域面積進(jìn)行估算；然后通過(guò)估算的整體輪廓面積計(jì)算LED光球坐標(biāo)及光球半徑。綜上，使用最小二乘法對(duì)輪廓進(jìn)行判斷處理，能夠避免當(dāng)LID光球被部分遮擋時(shí)的遺漏統(tǒng)計(jì)，從而能夠完整準(zhǔn)確地得顯示每一個(gè)體驗(yàn)者，保證了體驗(yàn)者的體驗(yàn)效果準(zhǔn)確、完整。

光球坐標(biāo)計(jì)算模塊，用于實(shí)現(xiàn)如下功能：根據(jù)攝像頭投影原理、攝像頭廣角、廣角投影角度這三個(gè)預(yù)設(shè)參數(shù)及步驟33得到的光球半徑，利用皮爾森型分布算法計(jì)算每個(gè)LED光球到攝像頭距離：最終獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)值(x,y,distance)：

其中，radius＝R，其余為函數(shù)內(nèi)參；

光球真實(shí)三維坐標(biāo)計(jì)算模塊，用于實(shí)現(xiàn)如下功能：通過(guò)坐標(biāo)值(x,y,distance)及捕獲攝像頭的相對(duì)坐標(biāo)(x_i，y_i)，計(jì)算得到每個(gè)LED光球?qū)?yīng)的體驗(yàn)者在房間內(nèi)的真實(shí)三維坐標(biāo)(x+x_i，y+y_i，distance)。

如圖3所示，本發(fā)明提供的一種基于多攝像頭的多目標(biāo)位置捕獲定位方法，包括以下步驟：

步驟1：服務(wù)端初始化VR眼鏡、LED光球、攝像頭，與客戶端建立tcp連接；同時(shí)為每個(gè)體驗(yàn)者分配不同顏色的光球，光球顏色與體驗(yàn)者身份對(duì)應(yīng)匹配；

其中，服務(wù)端對(duì)攝像頭初始化設(shè)置包括攝像頭坐標(biāo)、頻率、亮度初始化；可選的，服務(wù)端對(duì)每個(gè)攝像頭進(jìn)行坐標(biāo)初始化的具體操作：設(shè)定其中一個(gè)攝像頭二維基坐標(biāo)為(0,0)，一個(gè)體驗(yàn)者佩戴LED光球環(huán)繞體驗(yàn)室內(nèi)一周，其他攝像頭通過(guò)與基準(zhǔn)攝像頭的相互關(guān)系以及獲取的重疊區(qū)域LED光球坐標(biāo)位置，生成自身的相對(duì)坐標(biāo)參數(shù)并保存。其中，第i個(gè)攝像頭的相對(duì)坐標(biāo)(x_i，y_i)由以下公式計(jì)算：

(x_i,y_i)＝(x_標(biāo)-x,y_標(biāo)-y)

式中，(x_標(biāo),y_標(biāo))為根據(jù)基準(zhǔn)攝像頭捕獲LED光球的標(biāo)準(zhǔn)室內(nèi)平面坐標(biāo)；(x,y)為第i個(gè)攝像頭所捕獲圖像中的LED光球坐標(biāo)；i＝2，…，p；p為體驗(yàn)室中攝像頭的數(shù)量。

本發(fā)明中，使用光球佩戴在體驗(yàn)者身上，能夠在體驗(yàn)者運(yùn)動(dòng)過(guò)程中被攝像頭迅速、準(zhǔn)確捕捉到動(dòng)作圖像以及體驗(yàn)者位置。

步驟2：每個(gè)攝像頭實(shí)時(shí)拍攝，當(dāng)攝像頭視場(chǎng)范圍內(nèi)出現(xiàn)LED光球時(shí)，攝像頭將圖像數(shù)據(jù)發(fā)傳送到服務(wù)端；每個(gè)客戶端讀取與自身連接的VR眼鏡的姿態(tài)陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)、重力計(jì)數(shù)值，實(shí)時(shí)傳送到服務(wù)端；

步驟3：服務(wù)端根據(jù)接收到的圖像數(shù)據(jù)，實(shí)時(shí)計(jì)算每個(gè)LED光球在攝像機(jī)捕獲畫(huà)面上的平面坐標(biāo)和光球大小；再通過(guò)LED光球的平面坐標(biāo)和光球大小計(jì)算得到每個(gè)LED光球的所處房間內(nèi)的真實(shí)三維坐標(biāo)。

可選的，服務(wù)端利用計(jì)算機(jī)視覺(jué)算法計(jì)算每個(gè)LED光球在攝像機(jī)捕獲畫(huà)面上的平面坐標(biāo)和光球大??；經(jīng)試驗(yàn)，OPENCV提供的開(kāi)源算法較為適用。

步驟3的具體步驟如下：

步驟31：服務(wù)端對(duì)所有攝像頭傳來(lái)的圖像數(shù)據(jù)進(jìn)行高斯平滑去除噪聲；然后根據(jù)體驗(yàn)者佩戴LED光球初始化顏色RPG，對(duì)圖像單通道數(shù)組應(yīng)用固定閾值操作，得到二值化圖像；

步驟32：服務(wù)端利用二值圖像輪廓提取算法對(duì)二值化圖像處理得到輪廓圖像，并得到該二值化圖像中的輪廓個(gè)數(shù)；

二值圖像輪廓提取算法的原理是通過(guò)挖空內(nèi)部像素點(diǎn)產(chǎn)生輪廓，亮點(diǎn)的8個(gè)相鄰像素點(diǎn)全部為亮點(diǎn)，則該點(diǎn)為內(nèi)部像素點(diǎn)，反之為輪廓點(diǎn)。將所有內(nèi)部像素點(diǎn)設(shè)置為背景色，完成輪廓提取。并因?yàn)楸景l(fā)明所適用的LED光球均為圓形，判斷輪廓形狀對(duì)非圓形輪廓進(jìn)行過(guò)濾。

步驟33：對(duì)步驟32得到的每個(gè)輪廓圖像提取坐標(biāo)序列：{x_i,y_i}_j，其中j為1,2,...,n，n表示輪廓圖像的坐標(biāo)序列的個(gè)數(shù)，i為1,2,...,m，m表示第j個(gè)輪廓坐標(biāo)序列中包含的點(diǎn)坐標(biāo)的個(gè)數(shù)；

步驟34：對(duì)步驟33得到的每個(gè)坐標(biāo)序列利用最小二乘法擬合圓曲線：R²＝(x-A)²+(y-B)²，判斷每個(gè)坐標(biāo)序列是否符合圓曲線，是則將該坐標(biāo)序列的半徑R作為L(zhǎng)ED光球半徑，并記錄光球中心點(diǎn)坐標(biāo)(A，B)；否則，刪去坐標(biāo)序列，從而過(guò)濾掉非圓形輪廓；

本步驟中使用最小二乘法，能夠?qū)崿F(xiàn)在某個(gè)LED光球被部分遮擋時(shí)的完整統(tǒng)計(jì)?？梢酝ㄟ^(guò)部分輪廓圖像估算整體輪廓面積，該輪廓面積由輪廓弧線和連接兩端點(diǎn)的弦圍成的區(qū)域面積進(jìn)行估算；然后通過(guò)估算的整體輪廓面積計(jì)算LED光球坐標(biāo)及光球半徑。綜上，使用最小二乘法對(duì)輪廓進(jìn)行判斷處理，能夠避免當(dāng)LID光球被部分遮擋時(shí)的遺漏統(tǒng)計(jì)，從而能夠完整準(zhǔn)確地得顯示每一個(gè)體驗(yàn)者，保證了體驗(yàn)者的體驗(yàn)效果準(zhǔn)確、完整。

步驟35：根據(jù)攝像頭投影原理、攝像頭廣角、廣角投影角度這三個(gè)預(yù)設(shè)參數(shù)及步驟33得到的光球半徑，利用皮爾森型分布算法計(jì)算每個(gè)LED光球到攝像頭距離：最終獲得每個(gè)LED光球相對(duì)于捕獲攝像頭坐標(biāo)系的坐標(biāo)值(x,y,distance)：

其中，radius＝R；其余參數(shù)為函數(shù)內(nèi)參。

步驟36：通過(guò)步驟35得到的坐標(biāo)值(x,y,distance)及捕獲攝像頭的相對(duì)坐標(biāo)(x_i，y_i)，計(jì)算得到每個(gè)LED光球?qū)?yīng)的體驗(yàn)者在房間內(nèi)的真實(shí)三維坐標(biāo)(x+x_i，y+y_i，distance)。

在系統(tǒng)運(yùn)行過(guò)程中該算法對(duì)攝像頭坐標(biāo)進(jìn)行動(dòng)態(tài)調(diào)整，保證不會(huì)因?yàn)閿z像頭的移動(dòng)或其他原因?qū)е麦w驗(yàn)者的位置錯(cuò)誤，大大提高了系統(tǒng)的穩(wěn)定性和魯棒性。

步驟4：服務(wù)端將每個(gè)LED光球在房間的真實(shí)三維坐標(biāo)連同該VR眼鏡的陀螺儀姿態(tài)數(shù)據(jù)、磁力計(jì)數(shù)據(jù)和重力計(jì)數(shù)據(jù)打包，實(shí)時(shí)分發(fā)給每個(gè)VR眼鏡對(duì)應(yīng)的客戶端。

步驟5：客戶端針對(duì)不同應(yīng)用(如：VR游戲、虛擬商城、仿真體驗(yàn)等)，將所有體驗(yàn)者的真實(shí)三維坐標(biāo)換算為虛擬環(huán)境的坐標(biāo)，并實(shí)時(shí)生成虛擬環(huán)境或模型，最終將虛擬畫(huà)面實(shí)時(shí)渲染給體驗(yàn)者的VR眼鏡(渲染是指計(jì)算機(jī)圖像引擎將三維畫(huà)面實(shí)時(shí)呈現(xiàn)到VR眼鏡的屏幕)，使得體驗(yàn)者通過(guò)VR眼鏡看到自己和其他體驗(yàn)者在虛擬世界的動(dòng)作。

服務(wù)端實(shí)時(shí)判斷客戶端是否終止運(yùn)行，是則返回步驟2。

實(shí)施例1：

發(fā)明人在真實(shí)房間內(nèi)對(duì)該發(fā)明進(jìn)行了實(shí)際場(chǎng)景實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)中使用PSEYE作為實(shí)驗(yàn)攝像頭，其中參數(shù)為：

pseye_distance_parameters＝{

/*height＝*/517.281,

/*center＝*/1.297338,

/*hwhm＝*/3.752844,

/*shape＝*/0.4762335,

}。

具體場(chǎng)景如下：

步驟一，部署試驗(yàn)場(chǎng)地：

該實(shí)例在一塊20m²的室內(nèi)空間內(nèi)配置4個(gè)pseye 120°廣角攝像頭并連接到服務(wù)端計(jì)算機(jī)，單攝像頭離地高度3m，覆蓋區(qū)域10.392m²。共2名體驗(yàn)者佩戴Oculus DK2、psmove光球設(shè)備及便捷電腦客戶端。服務(wù)端計(jì)算機(jī)及客戶端便捷計(jì)算機(jī)共同接入同一無(wú)線局域網(wǎng)內(nèi)。

步驟二，設(shè)備，環(huán)境初始化：

本發(fā)明只需為一個(gè)攝像頭設(shè)置初始化基坐標(biāo)(0,0)，啟動(dòng)程序后，其中一名體驗(yàn)者在室內(nèi)行走一圈即可完成所有攝像頭的坐標(biāo)初始化工作，并且初始化的坐標(biāo)將會(huì)自動(dòng)保存在服務(wù)端，所以本系統(tǒng)在某一房間只需初始化一次，無(wú)需重復(fù)操作。在客戶端初始化時(shí)，服務(wù)器會(huì)與客戶端建立穩(wěn)定TCP連接，并為客戶端分配光球顏色以區(qū)別不同體驗(yàn)者的身份。

步驟三，服務(wù)端實(shí)時(shí)檢測(cè)并定位：

服務(wù)端計(jì)算機(jī)匯集4個(gè)pseye攝像頭采集到的畫(huà)面按照上述步驟31-36算法描述方式對(duì)2名體驗(yàn)者進(jìn)行檢測(cè)和定位，同時(shí)服務(wù)端收集客戶端發(fā)來(lái)的頭部陀螺儀數(shù)據(jù)并將位置信息進(jìn)行整合打包分發(fā)給2個(gè)體驗(yàn)者。其中對(duì)圖像單通道數(shù)組應(yīng)用固定閾值操作固定閾值為128。

在實(shí)驗(yàn)中我們?nèi)藶榈妮p微移動(dòng)某一個(gè)攝像頭位置，但由于我們的系統(tǒng)可以動(dòng)態(tài)調(diào)整更新攝像頭坐標(biāo)，所以體驗(yàn)者并為發(fā)現(xiàn)這一情況，證明我們的系統(tǒng)具有一定的魯棒性和抗干擾能力。

步驟四，客戶端VR畫(huà)面渲染：

2名體驗(yàn)者客戶段不斷地收到自身的位置坐標(biāo)及對(duì)方的位置及頭部轉(zhuǎn)動(dòng)數(shù)據(jù)，從而可以映射到虛擬環(huán)境的位置，使得自己可以在虛擬環(huán)境自由移動(dòng)并且兩名體驗(yàn)者可以相互看見(jiàn)。由于我們的真實(shí)房間坐標(biāo)與虛擬環(huán)境坐標(biāo)具有相互映射關(guān)系，所以我們?cè)谔摂M環(huán)境中也設(shè)置了墻及桌子等，與真實(shí)房間相互對(duì)應(yīng)。使得體驗(yàn)者具有更真實(shí)的感受同時(shí)也不會(huì)出現(xiàn)撞墻或者2個(gè)體驗(yàn)者相互碰撞的情況。

最終，通過(guò)體驗(yàn)者的親身體驗(yàn)，證明該系統(tǒng)可以準(zhǔn)確實(shí)時(shí)地捕獲體驗(yàn)者位置并反饋到虛擬環(huán)境，體驗(yàn)者在多組攝像頭間過(guò)渡平滑，無(wú)任何頓挫感。同時(shí)，本發(fā)明的系統(tǒng)配置便捷，無(wú)需手工設(shè)置每個(gè)攝像頭的坐標(biāo)值并可在運(yùn)行過(guò)程中自適應(yīng)調(diào)節(jié)坐標(biāo)參數(shù)，不會(huì)因攝像頭位置、角度的輕微變動(dòng)影響體驗(yàn)效果，具有較高的穩(wěn)定性及魯棒性。

實(shí)施例2：

本實(shí)施例與實(shí)施例1的步驟相同，區(qū)別在于擴(kuò)大了室內(nèi)空間面積到40m²，同時(shí)增加到8個(gè)攝像頭。實(shí)驗(yàn)結(jié)果與實(shí)施例1相同。

通過(guò)實(shí)施例1及實(shí)施例2的實(shí)際測(cè)試，證明本系統(tǒng)具有一定的擴(kuò)展性，可以勝任更廣闊區(qū)域的虛擬現(xiàn)實(shí)任務(wù)。