全景視頻瀏覽播放方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種全景視頻瀏覽播放器，尤其是針對具有水平360°視角、垂直360° 視角全景的720°全景視頻的瀏覽播放，特別涉及一種720°全景視頻的分屏瀏覽播放器。
【背景技術(shù)】
[0002] 目前，在安防行業(yè)中為了實現(xiàn)對監(jiān)控點周圍的720°全景畫面進行全面直接監(jiān)控， 廣泛地采用了多路攝像機采集不同方位角的圖像畫面，進而通過觀看多路攝像機采集的多 路畫面同時顯示完成全景監(jiān)控，但是除了多路攝像機安裝造成監(jiān)控成本的上升之外，多路 攝像機安裝位置固定，對于相鄰相機之間的共同監(jiān)控的畫面區(qū)域往往不能有效(不完整或 不清晰)地顯示；另外，可以采用安裝球機的方式，通過控制云臺移動攝像頭來針對感興趣 的方位區(qū)域進行有效監(jiān)控，但無法記錄未對準(zhǔn)方位上視頻信息，不能實現(xiàn)真正意義的實時 全景監(jiān)控。針對這些問題一種解決方法是引入全景相機到安防視頻監(jiān)控中，產(chǎn)生的720°全 景畫面一般為長寬比為2:1(360° X 180°)的畫面，實時記錄720°全視角畫面實現(xiàn)全景監(jiān)控 的目的，但是對于長寬比為2:1的全景畫面把720°畫面信息集中到二維平面畫面中，必然造 成了畫面中圖像的扭曲而且對瀏覽觀看而言，很難在畫面中對方位有清晰的概念。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明根據(jù)現(xiàn)有技術(shù)的不足公開了一種全景視頻瀏覽播放方法。本發(fā)明為了克服 720°全景圖像瀏覽時有扭曲及瀏覽方位不明確的弊端，并且更好的實現(xiàn)全景監(jiān)控，提出了 一種特殊的全景瀏覽模式，通過三維投影及圖像畸變矯正技術(shù)實現(xiàn)全景圖像立體瀏覽及實 時分視窗瀏覽。
[0004] 本發(fā)明解決技術(shù)問題所采用的技術(shù)方案是：
[0005] 全景視頻瀏覽播放方法包括：
[0006] 獲得720°全景圖像；
[0007] 構(gòu)建虛擬立體球形場景，通過設(shè)定720°全景圖像到球形場景的映射關(guān)系，從而通 過圖像映射及圖像插值得到全景立體球形圖像；
[0008] 將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像。
[0009 ]所述720°全景圖像還通過內(nèi)置陀螺儀進行姿態(tài)調(diào)整。
[0010] 所述構(gòu)建虛擬立體球形場景是：將720°全景圖像中點ΡΚχυυΟ通過以下計算 式(1)映射到全景立體球形圖像球體坐標(biāo)系中P'KlonJat)實現(xiàn)：
[0011]
式⑴。 1 所述將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像是通過投影矩 陣進行的；投影矩陣的定義為:把視錐體投影為設(shè)定立方體，對于從任一視錐體點P(x，y，z) 投影到觀察體中一點？'（1'，7'，2'）通過以下計算式(2)得到：
[0013] P'=MP 式（2);
[0014]其中，Μ通過以下計算式(3)得到：
[0015]
[0016] F、N為遠近視截面的距離；L、R為投影面左右邊界坐標(biāo)；Τ、Β為投影面上下邊界坐 標(biāo)。
[0017]上述獲得720°全景圖像是通過單一圖像傳感器的全景圖像采集系統(tǒng)得到。所述單 一圖像傳感器的全景圖像采集系統(tǒng)是一種單傳感器的全景圖像采集系統(tǒng)，該圖像采集系統(tǒng) 只需要一片傳感器芯片就可使實現(xiàn)對全景圖像的采集，有效地克服了不同傳感器成像差異 的缺陷；由于沒有成像差異的缺陷，在本發(fā)明構(gòu)建虛擬立體球形場景獲得全景立體球形圖 像，進一步經(jīng)過透視投影變換得到屏幕顯示的圖像時，本發(fā)明更能展現(xiàn)均勻、連貫、一體式 的立體全景場景畫面，在觀看時不會出現(xiàn)監(jiān)控視角缺失及畫面斷裂現(xiàn)象，并且模擬觀測視 角更能接近人眼，觀察者在觀測場景中有直觀方位的體驗。本發(fā)明所采用的單一圖像傳感 器全景圖像采集系統(tǒng)已于中國專利2015106005041公開。
[0018]所述將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像包括一窗口瀏 覽方式和多窗口瀏覽方式。
[0019] 一窗口瀏覽方式是經(jīng)過透視投影變換得到屏幕顯示的圖像為單一視窗口，該單一 視窗口通過人工交互來對圖像進行指定位置的圖像顯示，在啟動自動瀏覽模式時，單一視 窗口顯示的圖像以水平方向轉(zhuǎn)動，依次顯示四周畫面。
[0020]多窗口瀏覽方式包括四窗口瀏覽方式，在該模式下，屏幕顯不為四個均分的視窗 部分，四個視窗均勻在水平方向截取畫面，每個單獨畫面，均可以對其所對準(zhǔn)的視角進行調(diào) 整。
[0021 ]多窗口瀏覽方式還包括六窗口瀏覽方式，在該模式下，屏幕顯不為六個均分的視 窗部分，六個視窗均勻在水平方向和上下方向截取畫面，每個單獨畫面，均可以對其所對準(zhǔn) 的視角進行調(diào)整。
[0022]本發(fā)明通過構(gòu)建虛擬立體球形場景，設(shè)定720°全景圖像到球形的映射關(guān)系，從而 通過圖像映射及圖像插值得到立體全景圖像。針對得到的立體全景圖像，本發(fā)明方案還設(shè) 計了三種瀏覽模式。
[0023]本發(fā)明的有益效果是，本發(fā)明實現(xiàn)模擬機械云臺全景監(jiān)控;實現(xiàn)全景視頻監(jiān)控的 全景視頻立體交互觀看效果;適應(yīng)傳統(tǒng)安防中多視角多畫面的模式，并且實現(xiàn)任意指定方 位的監(jiān)控;通過本發(fā)明可以使得全景相機在安防監(jiān)控領(lǐng)域有更強的適用性;通過與單一圖 像傳感器全景圖像采集系統(tǒng)的結(jié)合，本發(fā)明處理更能展現(xiàn)均勻、連貫、一體式的立體全景場 景畫面，并且模擬觀測視角更能接近人眼。
【附圖說明】
[0024] 圖1是構(gòu)建虛擬立體球形場景示意圖；
[0025] 圖2是全景立體球形圖像經(jīng)過透視投影變換得到屏幕圖像示意圖；
[0026] 圖3是視錐體三視圖及其中參數(shù)說明；
[0027] 圖4是視錐體觀測示意圖；
[0028]圖5是本發(fā)明全景視頻瀏覽播放的三種方法；
[0029]圖6是本發(fā)明方法流程圖。
【具體實施方式】
[0030] 下面結(jié)合【具體實施方式】對本發(fā)明進一步說明，【具體實施方式】是對本發(fā)明原理的進 一步說明，不以任何方式限制本發(fā)明，與本發(fā)明相同或類似技術(shù)均沒有超出本發(fā)明保護的 范圍。
[0031] 結(jié)合附圖。
[0032]全景視頻瀏覽播放方法包括：
[0033]獲得7 20。全景圖像；
[0034] 構(gòu)建虛擬立體球形場景，通過設(shè)定720°全景圖像到球形場景的映射關(guān)系，從而通 過圖像映射及圖像插值得到全景立體球形圖像；
[0035]將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像。
[0036]上述720°全景圖像還通過內(nèi)置陀螺儀進行姿態(tài)調(diào)整。
[0037]構(gòu)建虛擬立體球形場景是:將720°全景圖像中點PKxum)通過以下計算式（1) 映射到全景立體球形圖像球體坐標(biāo)系中P ' 1 (Ion，lat)實現(xiàn)：
[0038]
[0039] 將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像是通過投影矩陣進 行的;投影矩陣的定義為:把視錐體投影為設(shè)定立方體，對于從任一視錐體點P(x，y，z)投影 到觀察體中一點？'（1'，7'，2'）通過以下計算式(2)得到：
[0040] P'=MP 式（2);
[0041 ]其中，Μ通過以下計算式(3)得到：
[0042]
[0043] F、N為遠近視截面的距離；L、R為投影面左右邊界坐標(biāo)；Τ、Β為投影面上下邊界坐 標(biāo)。
[0044] 上述獲得720°全景圖像是通過單一圖像傳感器的全景圖像采集系統(tǒng)得到。單一圖 像傳感器全景圖像采集系統(tǒng)在中國專利2015106005041中公開。
[0045] 本發(fā)明將全景立體球形圖像經(jīng)過透視投影變換得到屏幕顯示的圖像包括一窗口 瀏覽方式和多窗口瀏覽方式。
[0046] 下面結(jié)合附圖進行具體說明：
[0047] 圖1是構(gòu)建虛擬立體球形場景示意圖，把圖像數(shù)據(jù)繪制到球體上，繪制圖像的方式 為:對于圖1中點Pi Ui，yi，Z1)映射到球體坐標(biāo)系中P ' 1 (Ion，lat)通過以下公式得到
[0048]
[0049] 圖2是全景立體球形圖像經(jīng)過透視投影變換得到屏幕圖像示意圖，全景立體球形 圖像經(jīng)過透視投影變換得到屏幕顯示的圖像，投影計算是通過投影矩陣來進行的。投影矩 陣的定義為:把視錐體投影為設(shè)定立方體，如圖2中對于從任一視錐體點P(x，y，z)投影到觀 察體中一點P'（X'，y'，z'）
[0050] P，=MP [0051 ] 其中
[0052: 'V.
[0053] 各個符號定義如圖3所示:F、N為遠近視截面的距離，L、R(L = R)為投影面左右邊界 坐標(biāo)，T、B(T = B)為投影面上下邊界坐標(biāo)，fov為視場角，通過N、L、R、T、B計算獲得。
[0054] 投影過程中首先設(shè)定觀察所在視點的位置及觀察的水平、垂直視場角以及遠近端 切面F、N，如圖3所示。當(dāng)對立體球形全景圖像進行立體瀏覽時，是通過改變立體全景球的