本發(fā)明涉及虛擬現(xiàn)實(shí)(Virtual Reality，簡稱VR)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡稱AR)、機(jī)器視覺等技術(shù)領(lǐng)域，尤其涉及一種基于姿態(tài)追蹤的顯示方法、裝置和虛擬現(xiàn)實(shí)設(shè)備。

背景技術(shù)：

VR技術(shù)是主要通過綜合利用計(jì)算機(jī)圖形系統(tǒng)和各種現(xiàn)實(shí)及控制等接口設(shè)備，在計(jì)算機(jī)上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。

VR設(shè)備需要根據(jù)用戶的姿態(tài)來判斷顯示的內(nèi)容是否符合人類的視覺習(xí)慣，根據(jù)用戶的姿態(tài)來改變顯示內(nèi)容，來帶給用戶沉浸感。目前，簡易的VR設(shè)備通常只能利用姿態(tài)傳感器(陀螺儀、地磁計(jì)、加速計(jì)等)提供旋轉(zhuǎn)運(yùn)動(dòng)信息，更精密的VR/AR設(shè)備通過外設(shè)來輔助提供精確的姿態(tài)跟蹤信息，比如：1、通過外置攝像頭追蹤頭盔表面的紅外傳感器；2、采用激光追蹤定位技術(shù)，通過激光傳感器識(shí)別頭盔上的光敏傳感器。

以上兩種技術(shù)各有優(yōu)缺點(diǎn)，其中方法1實(shí)現(xiàn)簡單、計(jì)算量小，但是受限于外置攝像頭的視場角，容易出現(xiàn)跟蹤丟失。而方法2可實(shí)現(xiàn)大范圍的追蹤，精度高，但是外設(shè)復(fù)雜成本高，不便于普及。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的旨在提供一種基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，易于實(shí)施且可實(shí)現(xiàn)大范圍、高精度的姿態(tài)追蹤，提升VR設(shè)備的顯示效果，有效增進(jìn)佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗(yàn)。

第一方面，本發(fā)明實(shí)施例提供了一種基于姿態(tài)追蹤的顯示方法，應(yīng)用于VR設(shè)備，所述VR設(shè)備上裝配有雙攝像頭，所述雙攝像頭能夠采集設(shè)備佩戴者正面的真實(shí)場景影像，所述方法包括：

獲取所述雙攝像頭采集的真實(shí)場景影像信息，所述真實(shí)場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

結(jié)合第一方面，在第一方面的第一種實(shí)施方式中：

所述VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息；

所述根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息包括：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第一方面的第一種實(shí)施方式，在第一方面的第二種實(shí)施方式中：

所述根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息包括：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息；

根據(jù)所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第一方面的第二種實(shí)施方式，在第一方面的第三種實(shí)施方式中：

所述根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息包括：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)；

標(biāo)記所述當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)并確定所述同名點(diǎn)的深度信息；

根據(jù)所述當(dāng)前幀的真實(shí)場景影像和所述當(dāng)前幀的前一幀的真實(shí)場景影像，確定所述同名點(diǎn)在真實(shí)場景影像中發(fā)生的相對(duì)平移距離；

根據(jù)所述同名點(diǎn)的深度信息和所述同名點(diǎn)的相對(duì)平移距離，確定出所述同名點(diǎn)的實(shí)際平移距離；

根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離。

結(jié)合第一方面的第三種實(shí)施方式，在第一方面的第四種實(shí)施方式中：

所述根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離包括：

對(duì)所有所述同名點(diǎn)的實(shí)際平移距離進(jìn)行平均值計(jì)算，將計(jì)算后得到的結(jié)果確定為所述設(shè)備佩戴者的實(shí)際平移距離。

結(jié)合第一方面或第一方面的第一種至第四種實(shí)施方式中的任意一種實(shí)施方式，在第一方面的第五種實(shí)施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述獲取所述雙攝像頭采集的真實(shí)場景影像信息，具體包括：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息；

在所述獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面后，所述將所述顯示畫面提供給所述設(shè)備佩戴者前，所述方法還包括：根據(jù)所述真實(shí)場景影像信息和所述VR場景畫面，生成融合場景畫面；

所述將所述顯示畫面提供給所述設(shè)備佩戴者包括：

將所述融合場景畫面提供給所述設(shè)備佩戴者。

結(jié)合第一方面的第五種實(shí)施方式，在第一方面的第六種實(shí)施方式中：

根據(jù)所述模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面；

接收?qǐng)鼍俺尸F(xiàn)切換指令；

根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景或VR場景畫面。

結(jié)合第一方面的第六種實(shí)施方式，在第一方面的第七種實(shí)施方式中：

所述場景呈現(xiàn)切換指令包括：

按鍵切換指令、手勢切換指令或距離感應(yīng)切換指令。

結(jié)合第一方面的第五種實(shí)施方式，在第一方面的第八種實(shí)施方式中：

所述真實(shí)場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述VR場景畫面包括虛擬場景的左視圖及右視圖；

所述根據(jù)所述真實(shí)場景影像信息和所述VR場景畫面，生成融合場景畫面包括：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

結(jié)合第一方面的第一種實(shí)施方式，在第一方面的第九種實(shí)施方式中：

所述姿態(tài)傳感器包括陀螺儀、地磁計(jì)、加速計(jì)中的至少一種。

第二方面，本發(fā)明實(shí)施例提供了一種基于姿態(tài)追蹤的顯示裝置，應(yīng)用于VR設(shè)備，所述VR設(shè)備上裝配有雙攝像頭，所述雙攝像頭能夠采集設(shè)備佩戴者正面的真實(shí)場景影像，所述裝置包括：

真實(shí)場景影像獲取單元，用于獲取所述雙攝像頭采集的真實(shí)場景影像信息，所述真實(shí)場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

姿態(tài)確定單元，用于根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

顯示單元，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

結(jié)合第二方面，在第二方面的第一種實(shí)施方式中：

所述VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息；

所述姿態(tài)確定單元具體用于：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第二方面的第一種實(shí)施方式，在第二方面的第二種實(shí)施方式中：

所述姿態(tài)確定單元包括：

運(yùn)動(dòng)信息確定模塊，用于根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息；

姿態(tài)信息確定模塊，用于根據(jù)所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第二方面的第二種實(shí)施方式，在第二方面的第三種實(shí)施方式中：

所述運(yùn)動(dòng)信息確定模塊用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)；

標(biāo)記所述當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)并確定所述同名點(diǎn)的深度信息；

根據(jù)所述當(dāng)前幀的真實(shí)場景影像和所述當(dāng)前幀的前一幀的真實(shí)場景影像，確定所述同名點(diǎn)在真實(shí)場景影像中發(fā)生的相對(duì)平移距離；

根據(jù)所述同名點(diǎn)的深度信息和所述同名點(diǎn)的相對(duì)平移距離，確定出所述同名點(diǎn)的實(shí)際平移距離；

根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離。

結(jié)合第二方面或第二方面的第一種到第三種實(shí)施方式中的任意一種實(shí)施方式，在第二方面的第四種實(shí)施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述真實(shí)場景影像獲取單元，具體用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息；

所述顯示單元包括：

顯示畫面獲取模塊，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的VR場景畫面；

融合模塊，用于根據(jù)所述真實(shí)場景影像信息和所述VR場景畫面，生成融合場景畫面；

顯示模塊，用于將所述融合場景畫面提供給所述設(shè)備佩戴者。

結(jié)合第二方面的第四種實(shí)施方式，在第二方面的第五種實(shí)施方式中：

所述顯示單元還包括：

增強(qiáng)現(xiàn)實(shí)畫面獲取模塊，用于根據(jù)所述模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面；

切換模塊，用于接收?qǐng)鼍俺尸F(xiàn)切換指令，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景或VR場景畫面。

結(jié)合第二方面的第四種實(shí)施方式，在第二方面的第六種實(shí)施方式中：

所述真實(shí)場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述VR場景畫面包括虛擬場景的左視圖及右視圖；

所述融合模塊用于：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

第三方面，本發(fā)明實(shí)施例提供了一種VR設(shè)備，包括：

雙攝像頭，用于采集設(shè)備佩戴者正面的真實(shí)場景影像；

中央處理器，與雙攝像頭相連接，獲取所述雙攝像頭采集的真實(shí)場景影像信息，所述真實(shí)場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化，根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息，根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面；

顯示器，與所述中央處理器相連接，用于將所述顯示畫面呈現(xiàn)給所述設(shè)備佩戴者。

結(jié)合第三方面，在第三方面的第一種實(shí)施方式中：

所述VR設(shè)備還包括姿態(tài)傳感器，與所述中央處理器相連接，用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息；

所述中央處理器用于：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

結(jié)合第三方面的第一種實(shí)施方式，在第三方面的第二種實(shí)施方式中：

所述中央處理器用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)；

標(biāo)記所述當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)并確定所述同名點(diǎn)的深度信息；

根據(jù)所述當(dāng)前幀的真實(shí)場景影像和所述當(dāng)前幀的前一幀的真實(shí)場景影像，確定所述同名點(diǎn)在真實(shí)場景影像中發(fā)生的相對(duì)平移距離；

根據(jù)所述同名點(diǎn)的深度信息和所述同名點(diǎn)的相對(duì)平移距離，確定出所述同名點(diǎn)的實(shí)際平移距離；

根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離。

結(jié)合第三方面，在第三方面的第三種實(shí)施方式中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括VR場景畫面；

所述設(shè)備還包括眼球跟蹤設(shè)備，與所述中央處理器相連接，用于進(jìn)行眼球跟蹤，追蹤人眼的視線變化；

所述中央處理器還用于根據(jù)眼球跟蹤設(shè)備追蹤的人眼的視線變化，調(diào)整所述雙攝像頭方向，以便所述雙攝像頭按照人眼視線方向?qū)崟r(shí)采集真實(shí)場景影像信息；

所述中央處理器用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息；根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的VR場景畫面，根據(jù)所述真實(shí)場景影像信息和所述VR場景畫面，生成融合場景畫面；

所述顯示器，用于將所述融合場景畫面呈現(xiàn)給所述設(shè)備佩戴者。

結(jié)合第三方面的第三種實(shí)施方式，在第三方面的第四種實(shí)施方式中：

所述設(shè)備還包括切換指令接收裝置，與所述中央處理器相連接，用于接收?qǐng)鼍俺尸F(xiàn)切換指令；

所述中央處理器用于，根據(jù)所述模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景或VR場景畫面。

結(jié)合第三方面的第四種實(shí)施方式，在第三方面的第五種實(shí)施方式中：

所述切換指令接收裝置包括切換按鍵或者傳感器。

結(jié)合第三方面或第三方面的第一種到第五種實(shí)施方式中的任意一種實(shí)施方式，在第三方面的第六種實(shí)施方式中：

所述VR設(shè)備包括：智能眼鏡或頭盔。

本發(fā)明實(shí)施例提供的基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，在VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實(shí)場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實(shí)場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實(shí)施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時(shí)對(duì)設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實(shí)現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進(jìn)佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗(yàn)。

附圖說明

圖1是本發(fā)明實(shí)施例提供的一種基于姿態(tài)追蹤的顯示方法的流程圖；

圖2是本發(fā)明實(shí)施例中具有雙攝像頭的VR設(shè)備示意圖；

圖3是本發(fā)明實(shí)施例中姿態(tài)拆解為旋轉(zhuǎn)運(yùn)動(dòng)與平移運(yùn)動(dòng)的示意圖；

圖4是本發(fā)明實(shí)施例提供的一種VR設(shè)備的結(jié)構(gòu)示意圖；

圖5是本發(fā)明實(shí)施例提供的一種智能眼鏡的結(jié)構(gòu)示意圖；

圖6是雙目立體視覺成像示意圖；

圖7是本發(fā)明實(shí)施例中虛擬現(xiàn)實(shí)設(shè)備中裝配的姿態(tài)傳感器頭部位置的跟蹤數(shù)據(jù)的示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

本領(lǐng)域技術(shù)人員所公知的，前文背景技術(shù)中也已提及，VR設(shè)備需要根據(jù)設(shè)備佩戴者的姿態(tài)來判斷顯示的內(nèi)容是否符合人類的視覺習(xí)慣，根據(jù)設(shè)備佩戴者的姿態(tài)來改變顯示內(nèi)容，本發(fā)明實(shí)施例中，這里的“姿態(tài)”是指設(shè)備佩戴者的頭部的姿態(tài)，VR顯示設(shè)備會(huì)通過對(duì)頭部姿態(tài)的追蹤，即佩戴者視角的追蹤，適應(yīng)性的轉(zhuǎn)換顯示內(nèi)容，從而給佩戴者一種身臨其境的感覺，即沉浸感。若姿態(tài)追蹤不夠準(zhǔn)確，會(huì)導(dǎo)致顯示畫面與用戶的視覺習(xí)慣并不匹配，會(huì)給用戶帶來頭暈等不適感。

本發(fā)明實(shí)施例旨在提供一種基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，易于實(shí)施且可實(shí)現(xiàn)大范圍、高精度的姿態(tài)追蹤，提升VR設(shè)備的顯示效果，有效增進(jìn)佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗(yàn)。

圖1為本發(fā)明實(shí)施例提供的基于姿態(tài)追蹤的顯示方法的一種流程圖，該顯示方法應(yīng)用于VR設(shè)備，該VR設(shè)備可以是VR眼鏡，也可以是VR頭盔等。該VR設(shè)備上需要裝配有雙攝像頭，該雙攝像頭能夠采集設(shè)備佩戴者正面的真實(shí)場景影像。所謂真實(shí)場景，是指設(shè)備佩戴者所處的真實(shí)空間。

該VR設(shè)備可參見圖2的示意性示意圖，可以理解的是，圖2所示的VR設(shè)備僅為例示，不對(duì)本發(fā)明產(chǎn)生任何限制。如圖2所示，VR設(shè)備上裝配有雙攝像頭01，該雙攝像頭01設(shè)置在設(shè)備正面殼體02上，從而可以采集設(shè)備佩戴者正面的真實(shí)場景影像。圖2所示示例中，雙攝像頭為模擬雙眼設(shè)置，雙攝像頭分別對(duì)應(yīng)佩戴者的左右眼設(shè)置，即雙攝像頭鏡頭中心連線與左右眼雙眼連線平行。當(dāng)然本發(fā)明不限于此，雙攝像頭的設(shè)置方位不限，例如傾斜設(shè)置，即，其鏡頭中心連線與左右眼雙眼連線成一定角度。無論與雙眼對(duì)應(yīng)設(shè)置還是傾斜設(shè)置，雙攝像頭鏡頭中心間距d可以等于人眼瞳距的距離，也可以是其他合理距離，例如根據(jù)攝像頭鏡頭參數(shù)所確定的中心間距，本發(fā)明對(duì)此不做限定。而且，雙攝像頭可設(shè)置為可自動(dòng)或者手動(dòng)調(diào)節(jié)的，例如，中心間距可調(diào)，視場角可調(diào)等等。

如圖1所示，本發(fā)明實(shí)施例提供的基于姿態(tài)追蹤的顯示方法，包括：

步驟101，獲取裝配在VR設(shè)備上的雙攝像頭采集的真實(shí)場景影像信息。

本發(fā)明實(shí)施例中，用戶(即設(shè)備佩戴者)在使用VR設(shè)備時(shí)，雙攝像頭將實(shí)時(shí)采集設(shè)備佩戴者正面的真實(shí)場景的影像。

顯然，在設(shè)備佩戴者的頭部姿態(tài)發(fā)生變化時(shí)，雙攝像頭采集的真實(shí)場景影像信息會(huì)隨之改變?；诖?，本發(fā)明實(shí)施例中，利用雙攝像頭所采集到的真實(shí)場景影像信息，基于真實(shí)場景影像信息的變化確定出設(shè)備佩戴者頭部姿態(tài)的變化，進(jìn)而調(diào)整顯示畫面。

步驟102，根據(jù)雙攝像頭采集的真實(shí)場景影像信息，確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

可以理解的是，針對(duì)真實(shí)場景空間中的一點(diǎn)，前后不同時(shí)刻，若設(shè)備佩戴者的頭部姿態(tài)發(fā)生了改變，那么該點(diǎn)在攝像頭前后不同時(shí)刻所采集到的真實(shí)場景影像中，會(huì)處于不同的位置。本步驟中，即可根據(jù)前后不同時(shí)刻所采集的真實(shí)場景影像中，確定真實(shí)場景空間中的同一點(diǎn)所發(fā)生的相對(duì)平移距離，進(jìn)而根據(jù)該相對(duì)平移距離，得到設(shè)備佩戴者頭部的實(shí)際平移距離，進(jìn)而根據(jù)設(shè)備佩戴者的實(shí)際平移距離，確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

優(yōu)選的，在本發(fā)明的一個(gè)實(shí)施例中，除雙攝像頭之外，VR設(shè)備上還裝配有姿態(tài)傳感器，例如，陀螺儀、地磁計(jì)、加速計(jì)中的至少一種，用于感測設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息。本步驟中，將根據(jù)雙攝像頭采集的真實(shí)場景影像信息和姿態(tài)傳感器感測的設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，來確定設(shè)備佩戴者的當(dāng)前姿態(tài)信息，亦即，利用雙攝像頭采集的真實(shí)場景影像，來確定佩戴者的平移運(yùn)動(dòng)信息，利用姿態(tài)傳感器感測，來獲取設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，進(jìn)而，根據(jù)平移運(yùn)動(dòng)信息和旋轉(zhuǎn)運(yùn)動(dòng)信息，來確定設(shè)備佩戴者當(dāng)前的姿態(tài)。由于既能得到平移運(yùn)動(dòng)信息又能得到旋轉(zhuǎn)運(yùn)動(dòng)信息，因此，對(duì)設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實(shí)現(xiàn)大范圍的姿態(tài)追蹤。

具體的，可以首先提取雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)，將當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)標(biāo)記出來。接下來，確定同名點(diǎn)的深度信息，并且確定同名點(diǎn)前后兩幀真實(shí)場景影像中即當(dāng)前幀與當(dāng)前幀的前一幀中所發(fā)生的相對(duì)平移距離。然后，根據(jù)同名點(diǎn)的相對(duì)平移距離，確定出同名點(diǎn)的實(shí)際平移距離；根據(jù)同名點(diǎn)的實(shí)際平移距離，確定設(shè)備佩戴者頭部的實(shí)際平移距離，具體可對(duì)所有同名點(diǎn)的實(shí)際平移距離進(jìn)行平均值計(jì)算，將計(jì)算后得到的結(jié)果確定為設(shè)備佩戴者頭部的實(shí)際平移距離。

其中，同名點(diǎn)是指空間中一個(gè)點(diǎn)經(jīng)過多個(gè)攝像頭camera采集時(shí)，投影在camera成像傳感器上不同的位置形成的像點(diǎn)，表現(xiàn)形式為同一個(gè)點(diǎn)在多個(gè)視角的采集畫面上有不同的坐標(biāo)。由于本發(fā)明實(shí)施例中使用雙攝像頭采集當(dāng)前真實(shí)場景影像，因此，可利用現(xiàn)有技術(shù)中公知的雙目視覺系統(tǒng)的理論，例如使用SIFT算法，提取出雙攝像頭拍攝的兩幅影像中的特征點(diǎn)，利用最小均方差ZSSD算法，標(biāo)記出特征點(diǎn)中的同名點(diǎn)，即標(biāo)記出雙攝像頭拍攝的兩幅影像中的匹配點(diǎn)集對(duì)(兩幅影像中的同名點(diǎn))，進(jìn)而可利用攝像頭的已知鏡頭參數(shù)，例如焦距等，可得到同名點(diǎn)的深度信息，最后根據(jù)深度和相對(duì)平移距離這兩個(gè)信息得到設(shè)備佩戴者實(shí)際平移距離。

需要說明的是，本發(fā)明實(shí)施例中，所得到的相對(duì)平移距離和實(shí)際平移距離，可包括X、Y、Z三個(gè)方向中至少一個(gè)方向上的平移距離。

舉例說明，參見圖6的雙目立體視覺成像示意圖，左攝像頭C_l和右攝像頭C_r之間的距離為T,焦距為f，空間中一點(diǎn)P，點(diǎn)P在左攝像頭C_l拍攝的圖像中，水平坐標(biāo)為X_l，右攝像頭拍攝的圖像中，水平坐標(biāo)為X_r，則X_l和X_r，則利用雙目立體視覺成像理論，P點(diǎn)的深度Z可通過如下公式進(jìn)行運(yùn)算：

上述方式僅為示例，可以理解的是，雙目視覺系統(tǒng)理論為本領(lǐng)域的公知常識(shí)，因此，本發(fā)明實(shí)施例中對(duì)于如何得到深度不做進(jìn)一步詳細(xì)描述。

步驟103，根據(jù)當(dāng)前姿態(tài)信息，獲取與設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面，并將顯示畫面提供給設(shè)備佩戴者。

其中，顯示畫面通常為VR場景畫面。針對(duì)于VR場景畫面的顯示，均是根據(jù)當(dāng)前姿態(tài)信息，即變換左右虛擬攝像機(jī)的相關(guān)顯示參數(shù)，變換左右虛擬攝像機(jī)的拍攝方位，從而在進(jìn)行畫面顯示時(shí)，使得所顯示的畫面與設(shè)備佩戴者的姿態(tài)相對(duì)應(yīng)，增加沉浸感?？梢岳斫獾氖?，根據(jù)設(shè)備佩戴者當(dāng)前姿態(tài)來進(jìn)行顯示，是現(xiàn)有技術(shù)中較為成熟的技術(shù)方案，這里不再進(jìn)行贅述。

舉例說明，可以預(yù)先將雙攝像頭的拍攝空間范圍與顯示畫面的空間范圍進(jìn)行對(duì)應(yīng)，則利用雙攝像頭拍攝的畫面所確定的實(shí)際平移距離，即可獲得在顯示畫面空間所對(duì)應(yīng)的平移距離，進(jìn)而根據(jù)顯示畫面空間的平移距離來調(diào)節(jié)虛擬攝像機(jī)的位置，從而改變顯示畫面。

本發(fā)明實(shí)施例提供的基于姿態(tài)追蹤的顯示方法、裝置和VR設(shè)備，在VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實(shí)場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實(shí)場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實(shí)施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時(shí)對(duì)設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實(shí)現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進(jìn)佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗(yàn)。

增強(qiáng)現(xiàn)實(shí)AR技術(shù)是一種將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。增強(qiáng)現(xiàn)實(shí)技術(shù)，不僅展現(xiàn)了真實(shí)世界的信息,而且將虛擬的信息同時(shí)顯示出來，兩種信息相互補(bǔ)充、疊加。在視覺化的增強(qiáng)現(xiàn)實(shí)中，用戶利用頭盔顯示器，把真實(shí)世界與電腦圖形多重合成在一起，便可以看到真實(shí)的世界圍繞著它。

現(xiàn)有技術(shù)中的一些頭盔顯示器，比如，類似Oculus的產(chǎn)品，能夠讓用戶體驗(yàn)VR效果，像google眼鏡類似的產(chǎn)品能夠讓用戶體驗(yàn)AR效果。但是，現(xiàn)有的VR設(shè)備能夠觀看虛擬的場景、人物等，但這些虛擬的場景人物都是預(yù)先設(shè)計(jì)好的，或者是按照特定算法渲染而成的，并沒有結(jié)合用戶使用VR頭盔時(shí)的場景，缺少與現(xiàn)實(shí)環(huán)境的互動(dòng)。而現(xiàn)有的AR眼鏡能夠看到用戶眼前的真實(shí)環(huán)境，并能夠分析圖像，給出一些提示信息，但不能體驗(yàn)逼真的虛擬場景帶來的愉悅，也即AR很難做好虛擬真實(shí)的結(jié)合。

因此，作為一種改進(jìn)，在本發(fā)明的一個(gè)實(shí)施例中，VR設(shè)備所配置的雙攝像頭以模擬人眼的方式設(shè)置，即雙攝像頭包括模擬人眼的左攝像頭和右攝像頭，該雙攝像頭可以追蹤人眼的視線變化，按照人眼的視線方向采集真實(shí)場景影像，即復(fù)現(xiàn)人眼的觀看效果，達(dá)到左右攝像頭所采集到真實(shí)場景影像即是設(shè)備佩戴者當(dāng)前若未佩戴VR設(shè)備所看到的真實(shí)場景畫面的效果。這種情況下，在步驟101中，獲取的是模擬人眼的雙攝像頭按照設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息。在步驟103中，獲取了與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的VR場景畫面后，根據(jù)雙攝像頭采集的真實(shí)場景影像信息和獲取的VR場景畫面，生成融合場景畫面，并將融合場景畫面提供給所述設(shè)備佩戴者，從而實(shí)現(xiàn)了在VR過程中能夠結(jié)合真實(shí)場景，實(shí)現(xiàn)VR與增強(qiáng)現(xiàn)實(shí)融合的效果，并能夠增進(jìn)人機(jī)交互、提升用戶體驗(yàn)。而且，由于真實(shí)場景和虛擬內(nèi)容的良好融合，用戶能夠體驗(yàn)更加逼真的虛擬與現(xiàn)實(shí)的結(jié)合，很好的解決了AR很難做好虛擬真實(shí)的結(jié)合問題，以及VR設(shè)備不兼容AR應(yīng)用的問題。

具體的，為了獲取人眼的視線變化，可以在VR設(shè)備內(nèi)部安裝眼部視線追蹤模塊，以追蹤視線變化。具體的，可以利用現(xiàn)有技術(shù)中的眼球跟蹤技術(shù)，例如根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤、根據(jù)虹膜角度變化進(jìn)行跟蹤、主動(dòng)投射紅外線等光束到虹膜來提取特征進(jìn)行跟蹤來確定人眼的視線變化等。當(dāng)然，本發(fā)明實(shí)施例不限于此，在本發(fā)明的技術(shù)構(gòu)思下，本領(lǐng)域技術(shù)人員可以利用任意可行的技術(shù)追蹤人眼的視線變化進(jìn)而調(diào)整模擬人眼的左右眼攝像頭的采集方向，實(shí)時(shí)采集真實(shí)場景信息。

具體的，真實(shí)場景影像信息包括雙攝像頭中左攝像頭拍攝的左圖及右攝像頭拍攝的右圖，而VR場景畫面包括虛擬場景的左視圖及右視圖。則可將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖，將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖，根據(jù)所述融合場景左圖及右圖，生成融合場景。

進(jìn)一步的，在本實(shí)施例中，除了實(shí)現(xiàn)真實(shí)場景信息與虛擬場景信息融合，生成融合場景外，還可以根據(jù)模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面。VR設(shè)備可通過場景呈現(xiàn)切換指令實(shí)現(xiàn)融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景畫面或虛擬現(xiàn)實(shí)場景畫面三者之間的切換，從而使得VR設(shè)備兼具AR功能、VR功能以及融合AR及VR功能。具體的切換指令可以包括：按鍵切換指令、手勢切換指令或距離感應(yīng)切換指令。這里需要說明的是，本發(fā)明實(shí)施例中，增強(qiáng)現(xiàn)實(shí)場景是指利用增強(qiáng)現(xiàn)實(shí)技術(shù)將真實(shí)場景信息進(jìn)行呈現(xiàn)的場景，虛擬現(xiàn)實(shí)場景是指利用虛擬現(xiàn)實(shí)技術(shù)將虛擬現(xiàn)實(shí)場景信息進(jìn)行呈現(xiàn)的場景。

在本發(fā)明實(shí)施例中，VR、AR、VR和AR兼容三種模式可以根據(jù)需求進(jìn)行切換。切換時(shí)最直接的方法是通過VR設(shè)備外部的按鈕進(jìn)行切換，即在頭盔的某個(gè)位置設(shè)置按鈕，在設(shè)備佩戴者點(diǎn)擊按鈕時(shí)，進(jìn)行模式的切換?？梢岳枚鄠€(gè)按鈕，也可以利用一個(gè)按鈕。利用一個(gè)按鈕進(jìn)行模式切換時(shí)，例如，如果當(dāng)前是VR模式，按一下按鈕則切換到AR模式；如果當(dāng)前是AR模式，按一下按鈕則切換到VR和AR兼容模式；如果當(dāng)前是VR和AR兼容模式，按一下按鈕則切換到VR模式。

此外，也可以使用手勢識(shí)別的方法進(jìn)行模式切換。而在配置了相應(yīng)的功能模塊后，語言、肢體動(dòng)作都可以進(jìn)行模式之間的切換。

此外，可以在某種條件下觸發(fā)模式切換，例如根據(jù)距離感應(yīng)進(jìn)行模式切換，假設(shè)用戶在VR模式下佩戴VR設(shè)備行走時(shí)，前方一定距離內(nèi)存在障礙物時(shí)，即感應(yīng)到與障礙物之間的距離小于預(yù)設(shè)閾值，亦即相當(dāng)于接收到距離感應(yīng)切換指令，可以進(jìn)行模式轉(zhuǎn)換，將VR模式切換到VR和AR兼容模式，或者AR模式。

在本發(fā)明實(shí)施例中，還可以通過切換指令分別實(shí)現(xiàn)AR及VR應(yīng)用，當(dāng)該設(shè)備開啟VR模式后，該設(shè)備就像普通VR設(shè)備一樣，可以觀看虛擬的場景及模型，并可以通過頭部運(yùn)動(dòng)和雙攝像頭進(jìn)行交互控制，即隨姿態(tài)改變虛擬現(xiàn)實(shí)場景畫面。當(dāng)該設(shè)備開啟AR模式后，該設(shè)備則利用模擬雙眼的雙攝像頭，實(shí)時(shí)顯示圖像給用戶，同時(shí)對(duì)攝像頭提供的圖像進(jìn)行目標(biāo)檢測，檢測得到目標(biāo)的相關(guān)信息，例如類別、介紹等等，之后將該目標(biāo)對(duì)應(yīng)的相關(guān)信息顯示出來。

為進(jìn)一步理解本發(fā)明方法實(shí)施例，下面結(jié)合具體的實(shí)施例，對(duì)本發(fā)明方法作進(jìn)一步闡述。

本實(shí)施例中，VR設(shè)備配置有雙目攝像頭Camera和姿態(tài)傳感器，姿態(tài)傳感器可以為陀螺儀、地磁計(jì)、加速計(jì)中的至少一種。

特別指出，可以理解的是，基于設(shè)備佩戴者實(shí)際使用中的狀況可知，不僅僅包括佩戴者頭部繞頸部旋轉(zhuǎn)的運(yùn)動(dòng)，還包括全身姿態(tài)的變化形成的頭部平移運(yùn)動(dòng)，設(shè)備佩戴者頭部的姿態(tài)的變化是平移運(yùn)動(dòng)與旋轉(zhuǎn)運(yùn)動(dòng)的結(jié)合。參見圖3所示的姿態(tài)變化示意圖，從圖中可以看出，任意一個(gè)姿態(tài)可以拆解為一個(gè)旋轉(zhuǎn)運(yùn)動(dòng)和一個(gè)平移運(yùn)動(dòng)。向量v1表示的姿態(tài)變?yōu)関2表示的姿態(tài)過程中，既有旋轉(zhuǎn)運(yùn)動(dòng)也有平移運(yùn)動(dòng)，可以理解為先向v1’做旋轉(zhuǎn)運(yùn)動(dòng)，再由v1’做平移運(yùn)動(dòng)到v2。

因此，本實(shí)施例的關(guān)鍵點(diǎn)在于通過雙目攝像頭camera獲得平移運(yùn)動(dòng)信息，然后與姿態(tài)傳感器記錄的旋轉(zhuǎn)運(yùn)動(dòng)結(jié)合進(jìn)行姿態(tài)追蹤，計(jì)算出姿態(tài)信息。

具體的，本實(shí)施例基于姿態(tài)追蹤的顯示方法，過程如下：

根據(jù)圖2，首先從雙目camera獲取當(dāng)前真實(shí)場景信息，對(duì)每個(gè)camera的畫面進(jìn)行特征點(diǎn)提取，然后兩個(gè)camera的畫面進(jìn)行特征點(diǎn)匹配，將兩個(gè)camera畫面特征點(diǎn)集合中的同名點(diǎn)標(biāo)記出來。由于已知camera的鏡頭參數(shù)比如：FOV，因此可以計(jì)算出這些同名點(diǎn)到camera的實(shí)際距離，即這些同名點(diǎn)的深度。

具體的，如果此時(shí)是起始時(shí)刻，假設(shè)此時(shí)獲取的雙目camera畫面是F0，此時(shí)規(guī)定此刻的平移運(yùn)動(dòng)不存在，只根據(jù)姿態(tài)傳感器輸出的方位角判斷應(yīng)該生成的圖像內(nèi)容呈現(xiàn)給VR設(shè)備佩戴者。

如果此時(shí)不是起始時(shí)刻，那么假設(shè)此時(shí)獲取的雙目camera畫面是Fn。同樣的，先對(duì)Fn的雙目camera畫面進(jìn)行特征點(diǎn)提取，然后進(jìn)行特征點(diǎn)的雙目匹配，將兩個(gè)camera畫面特征點(diǎn)集合中的同名點(diǎn)標(biāo)記出來。由于已知camera的鏡頭參數(shù)比如：FOV，因此可以計(jì)算出這些同名點(diǎn)到camera的實(shí)際距離，即同名點(diǎn)的深度。然后再將Fn中雙目camera的畫面分別與Fn-1幀的雙目camera畫面進(jìn)行匹配，即Fn中左camera的畫面與Fn-1中左camera的畫面進(jìn)行匹配，F(xiàn)n中右camera的畫面與Fn-1中右camera的畫面進(jìn)行匹配，計(jì)算出兩幀畫面采集時(shí)間段內(nèi)同名點(diǎn)發(fā)生的相對(duì)平移距離，利用相對(duì)平移距離再結(jié)合已經(jīng)獲取的同名點(diǎn)到camera的實(shí)際距離(即深度)，可以計(jì)算出同名點(diǎn)實(shí)際的平移距離，即，佩戴者頭部的實(shí)際平移距離。接下來把同名點(diǎn)集合中的所有同名點(diǎn)均進(jìn)行以上操作，得到每個(gè)點(diǎn)的平移距離后取均值作為最終的實(shí)際平移距離。利用實(shí)際平移距離與姿態(tài)傳感器提供的方位角描述的旋轉(zhuǎn)運(yùn)動(dòng)進(jìn)行運(yùn)動(dòng)合成得到姿態(tài)的當(dāng)前狀態(tài)。最后根據(jù)姿態(tài)的當(dāng)前狀態(tài)計(jì)算應(yīng)該生成的顯示圖像輸出給VR設(shè)備佩戴者。

其中，針對(duì)于相對(duì)平移距離和實(shí)際平移距離的運(yùn)算，舉例說明如下：

以水平方向?yàn)閄方向，豎直方向?yàn)閅方向，垂直于X和Y方向的攝像頭朝向方向?yàn)閆方向建立坐標(biāo)系，攝像頭初始位置為坐標(biāo)原點(diǎn)(0，0，0)，空間上一點(diǎn)A的坐標(biāo)為(x，y，z)，可以理解的是，A點(diǎn)到攝像頭的距離為z，即A點(diǎn)的深度為z。

假設(shè)攝像頭的焦距為f，則投影平面為z＝f，則攝像頭在初始位置時(shí)，A點(diǎn)在投影平面上的投影點(diǎn)A1的坐標(biāo)，即攝像頭所拍攝到的真實(shí)影像上A點(diǎn)的坐標(biāo)為：

當(dāng)設(shè)備佩戴者的頭部發(fā)生移動(dòng)，相應(yīng)地?cái)z像頭發(fā)生移動(dòng)，為說明且理解目的，假設(shè)攝像頭僅在水平方向移動(dòng)，且移動(dòng)的距離、即實(shí)際移動(dòng)距離為D，此時(shí)，攝像頭的坐標(biāo)改變?yōu)?D，0，0)。此時(shí)，A點(diǎn)在投影平面上的投影點(diǎn)A2的坐標(biāo)，即設(shè)備佩戴者的頭部發(fā)生移動(dòng)后，攝像頭所拍攝到的真實(shí)影像上A點(diǎn)的坐標(biāo)為：

兩張圖像上，A點(diǎn)所發(fā)生的相對(duì)平移距離d為：

根據(jù)雙攝像頭拍攝的左右圖像，利用雙目視覺理論，能夠獲取到A點(diǎn)的深度z，而根據(jù)同一攝像頭所拍攝的前后兩幀圖像，經(jīng)過圖像掃描匹配，能夠查找到前后兩幀圖像的A點(diǎn)，進(jìn)而可以得到A點(diǎn)的相對(duì)平移距離d，而攝像頭的焦距已知，則根據(jù)上述公式(1)，即可得到攝像頭的實(shí)際平移距離。

此外，目前市面上已面世深度攝像頭，深度攝像頭可以直接給出A點(diǎn)的深度，因此，若雙攝像頭采用深度攝像頭，則可直接獲取到該深度，無需進(jìn)一步的運(yùn)算。

顯然，可以理解的是，上述實(shí)際平移距離的確定方式僅為示例，起到說明和加強(qiáng)理解作用，但本發(fā)明不限于此，在本發(fā)明所公開的設(shè)計(jì)構(gòu)思下，本領(lǐng)域技術(shù)人員可以選擇任意合理可行的確定方式。而且，上述示例中，為便于理解和說明，假設(shè)攝像頭僅在水平方向平移移動(dòng)。但本發(fā)明不限于此，攝像頭平移運(yùn)動(dòng)方向不限，可將攝像頭平移運(yùn)動(dòng)分解為X、Y、Z三個(gè)方向上的運(yùn)動(dòng)，并按照現(xiàn)有技術(shù)中的合理可行的方式，分別得到三個(gè)方向上的平移距離。

在得到攝像頭的實(shí)際平移距離后，本實(shí)施例中，將利用實(shí)際平移距離與姿態(tài)傳感器提供的方位角描述的旋轉(zhuǎn)運(yùn)動(dòng)進(jìn)行運(yùn)動(dòng)合成得到姿態(tài)的當(dāng)前狀態(tài)，最后根據(jù)姿態(tài)的當(dāng)前狀態(tài)計(jì)算應(yīng)該生成的顯示圖像輸出給VR設(shè)備佩戴者。從原理上來講，該過程實(shí)際上可以理解為根據(jù)姿態(tài)的當(dāng)前狀態(tài)改變用于進(jìn)行畫面顯示的虛擬攝像機(jī)的拍攝位置和角度，從而使得顯示的畫面與設(shè)備佩戴者當(dāng)前的姿態(tài)即當(dāng)前的觀察視角相對(duì)應(yīng)。

具體的，參見圖7，用戶頭部佩戴有虛擬現(xiàn)實(shí)設(shè)備，虛擬現(xiàn)實(shí)設(shè)備所裝配的姿態(tài)傳感器所獲取到的實(shí)時(shí)跟蹤數(shù)據(jù)，即旋轉(zhuǎn)運(yùn)動(dòng)信息可包括：設(shè)備佩戴者頭部在三維空間中的實(shí)時(shí)轉(zhuǎn)動(dòng)角度(Pitch,Yaw,Roll)，其中，Pitch：用戶頭部相對(duì)于x軸的轉(zhuǎn)動(dòng)角度；Yaw：用戶頭部相對(duì)于y軸的轉(zhuǎn)動(dòng)角度；Roll：用戶頭部相對(duì)于z軸的轉(zhuǎn)動(dòng)角度。

在根據(jù)姿態(tài)進(jìn)行顯示時(shí)，可根據(jù)頭部旋轉(zhuǎn)運(yùn)動(dòng)的跟蹤數(shù)據(jù)Pitch,Yaw,Roll，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,y,z軸的旋轉(zhuǎn)矩陣：

進(jìn)而，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,軸y軸和z軸的旋轉(zhuǎn)矩陣

V_Rotation＝Rotation_Pitch*Rotation_Yaw*Rotation_Roll

在很多場景(例如第一人稱射擊游戲)中，可僅關(guān)注頭部關(guān)于x軸和y軸的旋轉(zhuǎn)變換，只需要令關(guān)于z軸旋轉(zhuǎn)矩陣為單位矩陣：

Rotation_Roll＝E

根據(jù)利用雙攝像頭拍攝的真實(shí)場景圖像所確定的實(shí)際平移距離，假設(shè)該實(shí)際平移距離包括X、Y、Z軸三個(gè)方向上的平移距離，分別為：X_offset、Y_offset、Z_offset，則可以得到設(shè)備佩戴者頭部分別關(guān)于x,y,z軸的平移矩陣：

根據(jù)旋轉(zhuǎn)矩陣和平移矩陣，對(duì)原觀察矩陣V進(jìn)行變換，則變換后的觀察矩陣V′:

V′＝V_Rotation*V_position*V

進(jìn)而，即可利用根據(jù)新的觀察矩陣V′，構(gòu)建并顯示虛擬現(xiàn)實(shí)場景或者融合場景的圖像，從而使該圖像與設(shè)備佩戴者頭部位置變化后的觀察視角同步。

與前述方法相對(duì)應(yīng)，本發(fā)明實(shí)施例還提供一種基于姿態(tài)追蹤的顯示裝置，應(yīng)用于VR設(shè)備，該VR設(shè)備上設(shè)置有能夠采集設(shè)備佩戴者正面的真實(shí)場景影像的雙攝像頭，該裝置包括：

真實(shí)場景影像獲取單元，用于獲取所述雙攝像頭采集的真實(shí)場景影像信息，所述真實(shí)場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化；

姿態(tài)確定單元，用于根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息；

顯示單元，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面，并將所述顯示畫面提供給所述設(shè)備佩戴者。

本發(fā)明實(shí)施例提供的基于姿態(tài)追蹤的裝置，VR設(shè)備上裝配能夠采集設(shè)備佩戴者正面的真實(shí)場景影像的雙攝像頭，并利用雙攝像頭所采集到的真實(shí)場景影像，來確定出設(shè)備佩戴者的當(dāng)前姿態(tài)信息，從而根據(jù)設(shè)備佩戴者的姿態(tài)改變顯示內(nèi)容，方案易于實(shí)施，能夠較為準(zhǔn)確的預(yù)測設(shè)備佩戴者的姿態(tài)變化狀況，而且，同時(shí)對(duì)設(shè)備佩戴者使用VR設(shè)備的場地的要求限制較少，可實(shí)現(xiàn)大范圍的姿態(tài)追蹤，也不需要更多外部輔助設(shè)備，可以有效提升VR設(shè)備的顯示效果，增進(jìn)佩戴使用VR設(shè)備的用戶的沉浸感，提升用戶體驗(yàn)。

可選的，在本發(fā)明的一個(gè)實(shí)施例中：

VR設(shè)備上還裝配有姿態(tài)傳感器，所述姿態(tài)傳感器用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息；

姿態(tài)確定單元具體用于：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

進(jìn)一步具體的，在本發(fā)明的一個(gè)實(shí)施例中：

姿態(tài)確定單元包括：

運(yùn)動(dòng)信息確定模塊，用于根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息；

姿態(tài)信息確定模塊，用于根據(jù)所述設(shè)備佩戴者的平移運(yùn)動(dòng)信息和所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

其中，可選的，運(yùn)動(dòng)信息確定模塊用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)；

標(biāo)記所述當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)并確定所述同名點(diǎn)的深度信息；

根據(jù)所述當(dāng)前幀的真實(shí)場景影像和所述當(dāng)前幀的前一幀的真實(shí)場景影像，確定所述同名點(diǎn)在真實(shí)場景影像中發(fā)生的相對(duì)平移距離；

根據(jù)所述同名點(diǎn)的深度信息和所述同名點(diǎn)的相對(duì)平移距離，確定出所述同名點(diǎn)的實(shí)際平移距離；

根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離。

具體的，在本發(fā)明的一個(gè)實(shí)施例中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括虛擬現(xiàn)實(shí)場景畫面；

真實(shí)場景影像獲取，具體用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息；

顯示單元包括：

顯示畫面獲取模塊，用于根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的虛擬現(xiàn)實(shí)場景畫面；

融合模塊，用于根據(jù)所述真實(shí)場景影像信息和所述虛擬現(xiàn)實(shí)場景畫面，生成融合場景畫面；

顯示模塊，用于將所述融合場景畫面提供給所述設(shè)備佩戴者。

所述顯示單元還包括：

增強(qiáng)現(xiàn)實(shí)畫面獲取模塊，用于根據(jù)所述模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面；

切換模塊，用于接收?qǐng)鼍俺尸F(xiàn)切換指令，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景或虛擬現(xiàn)實(shí)場景畫面。

進(jìn)一步具體的，在本發(fā)明的一個(gè)實(shí)施例中：

所述真實(shí)場景影像信息包括左攝像頭拍攝的左圖及右攝像頭拍攝的右圖；

所述虛擬現(xiàn)實(shí)場景畫面包括虛擬場景的左視圖及右視圖；

所述融合模塊用于：

將所述左攝像頭拍攝的左圖與虛擬場景的左視圖疊加，合成融合場景左圖；

將所述右攝像頭拍攝的右圖與虛擬場景的右視圖疊加，合成融合場景右圖；

根據(jù)所述融合場景左圖及右圖，生成融合場景。

結(jié)合圖4和圖5所示，本發(fā)明實(shí)施例還提供一種VR設(shè)備，其包括：

雙攝像頭51，用于采集設(shè)備佩戴者正面的真實(shí)場景影像；

中央處理器52，與雙攝像頭51相連接，獲取雙攝像頭51采集的真實(shí)場景影像信息，所述真實(shí)場景影像信息隨所述設(shè)備佩戴者的姿態(tài)變化而變化，根據(jù)雙攝像頭51采集的真實(shí)場景影像信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息，根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的顯示畫面；

顯示器53，與中央處理器52相連接，用于將所述顯示畫面呈現(xiàn)給所述設(shè)備佩戴者。

進(jìn)一步的，在本發(fā)明的一個(gè)實(shí)施例中，VR設(shè)備還包括姿態(tài)傳感器(圖5未示出)，與中央處理器52相連接，用于感測所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息；

中央處理器52用于：

根據(jù)所述雙攝像頭采集的真實(shí)場景影像信息和所述姿態(tài)傳感器感測的所述設(shè)備佩戴者的旋轉(zhuǎn)運(yùn)動(dòng)信息，確定所述設(shè)備佩戴者的當(dāng)前姿態(tài)信息。

具體的，中央處理器52用于：

提取所述雙攝像頭采集當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)；

標(biāo)記所述當(dāng)前幀的兩幅真實(shí)場景影像中的特征點(diǎn)中的同名點(diǎn)并確定所述同名點(diǎn)的深度信息；

根據(jù)所述當(dāng)前幀的真實(shí)場景影像和所述當(dāng)前幀的前一幀的真實(shí)場景影像，確定所述同名點(diǎn)在真實(shí)場景影像中發(fā)生的相對(duì)平移距離；

根據(jù)所述同名點(diǎn)的深度信息和所述同名點(diǎn)的相對(duì)平移距離，確定出所述同名點(diǎn)的實(shí)際平移距離；

根據(jù)所述同名點(diǎn)的實(shí)際平移距離，確定所述設(shè)備佩戴者的實(shí)際平移距離。

可選的，在本發(fā)明的一個(gè)實(shí)施例中：

所述雙攝像頭包括模擬人眼的左攝像頭和右攝像頭；

所述顯示畫面包括虛擬現(xiàn)實(shí)場景畫面；

所述設(shè)備還包括眼球跟蹤設(shè)備(圖4中未示出)，與所述中央處理器52相連接，用于進(jìn)行眼球跟蹤，追蹤人眼的視線變化；

中央處理器52還用于根據(jù)眼球跟蹤設(shè)備追蹤的人眼的視線變化，調(diào)整所述雙攝像頭方向，以便所述雙攝像頭按照人眼視線方向?qū)崟r(shí)采集真實(shí)場景影像信息；

中央處理器52用于：獲取所述模擬人眼的雙攝像頭按照所述設(shè)備佩戴者的視線方向采集的真實(shí)場景影像信息；根據(jù)所述當(dāng)前姿態(tài)信息，獲取與所述設(shè)備佩戴者的當(dāng)前姿態(tài)對(duì)應(yīng)的虛擬現(xiàn)實(shí)場景畫面，根據(jù)所述真實(shí)場景影像信息和所述虛擬現(xiàn)實(shí)場景畫面，生成融合場景畫面；

顯示器53，用于將所述融合場景畫面呈現(xiàn)給所述設(shè)備佩戴者。

可選的，在本發(fā)明的一個(gè)實(shí)施例中：

所述VR設(shè)備還包括切換指令接收裝置(圖4中未示出)，與所述中央處理器相連接，用于接收?qǐng)鼍俺尸F(xiàn)切換指令；

中央處理器52用于，根據(jù)所述模擬人眼的雙攝像頭采集的真實(shí)場景影像信息，獲取增強(qiáng)現(xiàn)實(shí)場景畫面，根據(jù)所述場景呈現(xiàn)切換指令，切換所述融合場景畫面、增強(qiáng)現(xiàn)實(shí)場景或虛擬現(xiàn)實(shí)場景畫面。

舉例而言，所述切換指令接收裝置包括切換按鍵或者傳感器。

所述VR設(shè)備可包括：智能眼鏡或頭盔等具有VR功能的電子設(shè)備

圖5為本發(fā)明實(shí)施例提供的一種VR設(shè)備----智能眼鏡的外觀示意圖，可以理解的是，該智能眼鏡僅為例示，不對(duì)本發(fā)明產(chǎn)生任何限制。如圖5所示，該眼鏡包括眼鏡本體60，眼鏡本體的前表面設(shè)置有用于模擬人眼的右眼攝像頭61和左眼攝像頭62，用于模擬用戶雙眼采集真實(shí)場景信息，中央處理器(未示出)和顯示器(未示出)設(shè)置在眼鏡本體60的內(nèi)部，該眼鏡還設(shè)置有物理按鍵63，用于開關(guān)眼鏡，還可用于用戶下發(fā)各種指令，例如用戶可以通過操作物理按鍵63下發(fā)場景呈現(xiàn)切換指令，使得智能眼鏡在VR顯示模式、融合顯示模式和AR顯示模式等模式中切換。該眼鏡還包括綁帶64，在用戶佩戴眼鏡時(shí)套設(shè)在用戶頭部，起到固定眼鏡的作用。

在本發(fā)明實(shí)施例中，中央處理器為該用戶終端的控制中心，利用各種接口和線路連接整個(gè)電子設(shè)備的各個(gè)部分，通過運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)單元內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲(chǔ)在存儲(chǔ)單元內(nèi)的數(shù)據(jù)，以執(zhí)行電子設(shè)備的各種功能和/或處理數(shù)據(jù)。所述中央處理器可以由集成電路組成，也可以由連接多顆相同功能或不同功能的封表集成芯片而組成。即處理器可以是GPU、數(shù)字信號(hào)處理器、及通信單元中的控制芯片的組合。

本領(lǐng)域技術(shù)人員應(yīng)該還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。所述的計(jì)算機(jī)軟件可存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體或隨機(jī)存儲(chǔ)記憶體等。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。