一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3d視頻生成方法
【專利摘要】本發(fā)明公開(kāi)了一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3D視頻生成方法，包括：用廣角相機(jī)陣列拍攝場(chǎng)景視頻并經(jīng)過(guò)拼接算法生成全景視頻；用深度相機(jī)陣列拍攝場(chǎng)景的深度圖并經(jīng)過(guò)拼接算法生成全景深度圖視頻。通過(guò)實(shí)時(shí)檢測(cè)人的頭部位置，在全景視頻幀中切割相應(yīng)位置的圖像作為左視點(diǎn)的視頻；根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度圖基于虛擬視點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像，這兩幅圖像拼接為左右3D視頻，在虛擬現(xiàn)實(shí)設(shè)備中顯示。本發(fā)明通過(guò)在虛擬現(xiàn)實(shí)設(shè)備顯示的全景視頻中，加入視點(diǎn)合成技術(shù)，使觀看者能看到全景視頻的3D效果，增加了場(chǎng)景的逼真性，進(jìn)而提升了觀者的體驗(yàn)感。
【專利說(shuō)明】
一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3D視頻生成方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別涉及一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備 的全景3D視頻生成方法。
【背景技術(shù)】
[0002] 虛擬現(xiàn)實(shí)技術(shù)通過(guò)實(shí)體與三維實(shí)時(shí)視景的交互，營(yíng)造出一種逼近真實(shí)的虛擬世 界，被認(rèn)為是一種改變?nèi)藗兩罘绞降男录夹g(shù)，因而具有廣闊的發(fā)展前景。人在真實(shí)的世界 中，因其左右眼的視差讓人對(duì)眼前的場(chǎng)景具有立體感。但是，一般的VR顯示內(nèi)容都是一個(gè)視 點(diǎn)下的全景視頻，此內(nèi)容在VR設(shè)備顯示時(shí)，因左右眼視頻看到的是相同的圖像故不能給觀 者以立體感。如果能基于一個(gè)視點(diǎn)下的全景視頻，自動(dòng)渲染出人眼在另一個(gè)視點(diǎn)下的相應(yīng) 視頻，就能大大增加虛擬世界的真實(shí)性，進(jìn)而推動(dòng)虛擬現(xiàn)實(shí)技術(shù)的普及應(yīng)用。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于提出一種全景3D視頻生成方法，提高人們體驗(yàn)虛擬現(xiàn)實(shí)技術(shù)時(shí) 的真實(shí)感。
[0004] 為此，本發(fā)明提出的
[0005] 本發(fā)明通過(guò)在虛擬現(xiàn)實(shí)設(shè)備顯示的全景視頻中，加入視點(diǎn)合成技術(shù)，使觀看者能 看到全景視頻的3D效果，增加了場(chǎng)景的逼真性，進(jìn)而提升了觀者的體驗(yàn)感。
【附圖說(shuō)明】
[0006] 圖1為本發(fā)明實(shí)施例一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3D視頻生成方法流程圖；
[0007] 圖2為本發(fā)明實(shí)施例根據(jù)人的頭部姿態(tài)對(duì)全景視頻相應(yīng)位置進(jìn)行切割的說(shuō)明圖；
[0008] 圖3為本發(fā)明實(shí)施例Madgwick互補(bǔ)濾波融合算法框架示意圖。
【具體實(shí)施方式】
[0009] 如圖1所示，本實(shí)施例提出的一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3D視頻生成方法，包 括：用廣角相機(jī)和深度相機(jī)拍攝場(chǎng)景生成一個(gè)視點(diǎn)下的全景視頻和全景深度圖視頻。佩戴 的虛擬現(xiàn)實(shí)設(shè)備如Oculus，通過(guò)自身的傳感器實(shí)時(shí)檢測(cè)人的頭部姿態(tài)，可以調(diào)用開(kāi)發(fā)包中 的相應(yīng)函數(shù)，獲得頭部坐標(biāo)系相對(duì)于地面坐標(biāo)系的俯仰角、偏航角和滾轉(zhuǎn)角，在全景視頻幀 中切割相應(yīng)位置的圖像作為左視點(diǎn)的視頻;根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度圖基于虛擬視 點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像，這兩幅圖像拼接為左右3D視頻，在虛擬現(xiàn)實(shí)設(shè)備中顯示。
[0010] 圖1中，相機(jī)陣列和深度相機(jī)陣列采用環(huán)形排列，各個(gè)相機(jī)采集到的視頻經(jīng)過(guò)全景 視頻拍攝軟件PTGui進(jìn)行全景視頻的拼接。拼接成的全景視頻作為左視點(diǎn)視頻的切割來(lái)源， 通過(guò)調(diào)用虛擬現(xiàn)實(shí)頭盔的編程接口獲得頭部相對(duì)于地球坐標(biāo)系的姿態(tài)，切割全景視頻得到 顯示屏上的左視點(diǎn)視頻，然后通過(guò)視點(diǎn)合成算法得到右視點(diǎn)視頻，最后在虛擬現(xiàn)實(shí)設(shè)備上 進(jìn)行3D播放。
[0011] 各個(gè)步驟的詳細(xì)說(shuō)明如下：
[0012] 廣角相機(jī)陣列拍攝場(chǎng)景視頻并經(jīng)過(guò)拼接生成全景視頻，視頻拼接的工作采用 Helmut Dersch公司推出的PTGui可視化的全景視頻制作工具，其能給出高質(zhì)量的全景視 頻。
[0013] 用深度相機(jī)陣列拍攝場(chǎng)景的深度圖并經(jīng)過(guò)拼接算法生成全景深度圖視頻，其過(guò)程 與生成全景視頻的步驟相同。
[0014]通過(guò)實(shí)時(shí)檢測(cè)人的頭部位置，在全景視頻幀中切割相應(yīng)位置的圖像作為左視點(diǎn)的 視頻。虛擬現(xiàn)實(shí)設(shè)備的自身可以利用其內(nèi)置的陀螺儀、加速度計(jì)和磁力計(jì)經(jīng)過(guò)數(shù)據(jù)融合算 法可以得到頭部的三維姿態(tài)，具體的融合算法采用Madgwick互補(bǔ)濾波融合算法，其算法框 架如圖3所示，算法的具體細(xì)節(jié)如下面文檔所述：http : //www . x_io . co . uk/res/doc/ madgwick-internal-report.pdf〇
[0015]然后根據(jù)計(jì)算出來(lái)的姿態(tài)，從全景視頻幀中切割出相應(yīng)位置的視頻作為左視點(diǎn)的 視頻。具體過(guò)程如附圖2所示，圖2中，圓柱是由PTGui軟件拼接成的全景視頻，r是相機(jī)的剪 切平面，〇是人眼的位置，s是虛擬現(xiàn)實(shí)設(shè)備顯示屏的中心點(diǎn)，T是當(dāng)前頭部姿態(tài)下顯示屏中 心應(yīng)顯示的全景視頻的像素點(diǎn)。根據(jù)人眼的位置和相機(jī)成像平面的距離我們可以算出顯示 屏〇處應(yīng)顯示全景視頻的T像素點(diǎn)。假設(shè)人眼坐標(biāo)系與相機(jī)坐標(biāo)系初始重合，os距離是人眼 到屏幕的垂直距離，顯示屏的高度是d。現(xiàn)在人抬頭上看，上一步中算出的俯仰角是a，則T的 位置如下面公式計(jì)算得出，
[0017]以此類推，可以算出顯示屏上的每個(gè)點(diǎn)在全景視頻上對(duì)應(yīng)的應(yīng)顯示像素點(diǎn)。
[0018] 根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度圖基于虛擬視點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像， 具體包括左參考視點(diǎn)向右參考視點(diǎn)的映射和映射后圖像的空洞填補(bǔ)。映射的過(guò)程如何如 下：
[0019] 首先根據(jù)下述公式，把左視點(diǎn)圖像映射到原始標(biāo)定攝像機(jī)和物體位置的三維坐標(biāo) 系(此三維坐標(biāo)系由參數(shù)R，T，K唯一標(biāo)示），
[0020] Yir =i?；1-(z,.K；1 vr -I ) k'J lu
[0021] 其中，R，T，K分別是左視點(diǎn)圖像坐標(biāo)系相對(duì)于三維坐標(biāo)系的旋轉(zhuǎn)矩陣，平移矩陣和 相機(jī)內(nèi)部參數(shù)矩陣，r代表左視點(diǎn)，W代表三維坐標(biāo)系，Z為深度值，1!和￥分別為左視點(diǎn)圖像中 像素點(diǎn)的橫縱坐標(biāo)，X，Y和Z分別為左視點(diǎn)圖像中相應(yīng)像素點(diǎn)映射在三維坐標(biāo)系中的三個(gè)坐 標(biāo)。
[0022]然后通過(guò)下面公式，把三維坐標(biāo)系的圖像投影到右視點(diǎn)坐標(biāo)系上：
[0023] 2r vv = Kv Rx Ya +7； lu l UJ J
[0024] 上述公式中的r，v分別代表左視點(diǎn)和右視點(diǎn)。映射后圖像中的空洞像素點(diǎn)用最鄰 近的背景像素點(diǎn)進(jìn)行填補(bǔ)。這兩幅圖像分別作為左右視點(diǎn)送到虛擬現(xiàn)實(shí)設(shè)備的現(xiàn)實(shí)端進(jìn)行 3D顯示。其中，深度圖用在了公式中的深度值z(mì)。
[0025] 上述實(shí)施例只是為了對(duì)本發(fā)明進(jìn)行舉例說(shuō)明，并非限制本發(fā)明的權(quán)利范圍。
【主權(quán)項(xiàng)】
1. 一種針對(duì)于虛擬現(xiàn)實(shí)設(shè)備的全景3D視頻生成方法，其特征在于，包括如下步驟： 51、 拍攝場(chǎng)景視頻并經(jīng)過(guò)拼接算法生成全景視頻； 52、 拍攝場(chǎng)景的深度圖并經(jīng)過(guò)拼接算法生成全景深度圖視頻； 53、 通過(guò)實(shí)時(shí)檢測(cè)人的頭部位置和姿態(tài)，在全景視頻幀中切割相應(yīng)位置的圖像，各幀的 切割圖像連起來(lái)形成左視點(diǎn)的視頻； 54、 根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度圖，基于虛擬視點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像； 55、 左視點(diǎn)視頻和右視點(diǎn)視頻拼接為左右3D視頻，在虛擬現(xiàn)實(shí)設(shè)備中顯示。2. 如權(quán)利要求1所述的方法，其特征在于，步驟S1中，用廣角相機(jī)陣列拍攝場(chǎng)景視頻;步 驟S2中，用深度相機(jī)陣列拍攝場(chǎng)景深度視頻，并經(jīng)過(guò)視頻拼接軟件拼接成全景視頻。3. 如權(quán)利要求1所述的方法，其特征在于，步驟S3中，實(shí)時(shí)檢測(cè)人的頭部位置和姿態(tài)的 方法是:虛擬現(xiàn)實(shí)設(shè)備的自身利用其內(nèi)置的陀螺儀、加速度計(jì)和磁力計(jì)經(jīng)過(guò)數(shù)據(jù)融合算法 可以得到頭部的位置和三維姿態(tài)。4. 如權(quán)利要求1所述的方法，其特征在于，步驟S3中，切割方法為:根據(jù)人眼的位置和相 機(jī)成像平面的距離我們可以算出顯示屏〇處應(yīng)顯示全景視頻的T像素點(diǎn)：其中r是相機(jī)的剪切平面，〇是人眼的位置，s是虛擬現(xiàn)實(shí)設(shè)備顯示屏的中心點(diǎn)，T是當(dāng)前 頭部姿態(tài)下顯示屏中心應(yīng)顯示的全景視頻的像素點(diǎn)，假設(shè)人眼坐標(biāo)系與相機(jī)坐標(biāo)系初始重 合，os距離是人眼到屏幕的垂直距離，顯示屏的高度是d，上一步中算出的俯仰角是α; 以此類推，算出顯示屏上的每個(gè)點(diǎn)在全景視頻上對(duì)應(yīng)的應(yīng)顯示像素點(diǎn)。5. 如權(quán)利要求1所述的方法，其特征在于，步驟S4中，根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度 圖基于虛擬視點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像的方法包括左參考視點(diǎn)向右參考視點(diǎn)的映 射和映射后圖像的空洞填補(bǔ)。6. 如權(quán)利要求5所述的方法，其特征在于，映射的過(guò)程如何如下： 首先根據(jù)下述公式，把左視點(diǎn)圖像映射到原始標(biāo)定攝像機(jī)和物體位置的三維坐標(biāo)系， 此三維坐標(biāo)系由參數(shù)R，Τ，Κ唯一標(biāo)示，其中，R，T，K分別是左視點(diǎn)圖像坐標(biāo)系相對(duì)于三維坐標(biāo)系的旋轉(zhuǎn)矩陣，平移矩陣和相機(jī) 內(nèi)部參數(shù)矩陣，r代表左視點(diǎn)，W代表三維坐標(biāo)系，Z為深度值，1!和￥分別為左視點(diǎn)圖像中像素 點(diǎn)的橫縱坐標(biāo)，X，Y和Z分別為左視點(diǎn)圖像中相應(yīng)像素點(diǎn)映射在三維坐標(biāo)系中的三個(gè)坐標(biāo)。7. 如權(quán)利要求5所述的方法，其特征在于，映射的過(guò)程還包括如下步驟:通過(guò)下面公式， 把三維坐標(biāo)系的圖像投影到右視點(diǎn)坐標(biāo)系上：上述公式中的r，v分別代表左視點(diǎn)和右視點(diǎn)。8. 如權(quán)利要求5所述的方法，其特征在于，映射后圖像中的空洞像素點(diǎn)用最鄰近的背景 像素點(diǎn)進(jìn)行填補(bǔ)。9. 如權(quán)利要求2所述的方法，其特征在于：相機(jī)陣列和深度相機(jī)陣列采用環(huán)形排列，各 個(gè)相機(jī)采集到的視頻經(jīng)過(guò)全景視頻拍攝軟件PTGui進(jìn)行全景視頻的拼接。10. 如權(quán)利要求3所述的方法，其特征在于:所述融合算法采用Madgwick互補(bǔ)濾波融合 算法。
【文檔編號(hào)】H04N13/00GK105959665SQ201610296758
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年5月5日
【發(fā)明人】金欣, 劉站奇, 張新, 戴瓊海
【申請(qǐng)人】清華大學(xué)深圳研究生院, 深圳市未來(lái)媒體技術(shù)研究院