一種柱面立體全景視頻快速反變換方法
【專利摘要】本發(fā)明公開了一種柱面立體全景視頻快速反變換方法，首先由柱面圖像與平面實景圖像的幾何關(guān)系得到簡化的柱面投影公式，通過該公式計算出平面視圖與柱面圖之間的坐標(biāo)對應(yīng)關(guān)系，然后用數(shù)組矩陣存儲其坐標(biāo)對應(yīng)關(guān)系，實現(xiàn)柱面圖像到平面實景視圖的快速變換，最后將該快速反變化方法用于雙目立體柱面全景視頻生成雙目立體平面視頻。本發(fā)明能提高計算速率，并大大減少計算量，可實現(xiàn)雙目立體柱面全景圖像的實時瀏覽。
【專利說明】
-種柱面立體全景視頻快速反變換方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計算機視覺領(lǐng)域，特指一種柱面立體全景視頻快速反變換方法。
【背景技術(shù)】
[0002] 柱面立體全景視頻快速反變換方法是計算機視覺領(lǐng)域的重要問題之一，是虛擬現(xiàn) 實應(yīng)用中的關(guān)鍵性技術(shù)，在虛擬校園、虛擬旅游、網(wǎng)上商業(yè)產(chǎn)品展示、軍事仿真、等多個領(lǐng)域 均有廣泛應(yīng)用。
[0003] 柱面正投影方法是將多張實景圖像投影到一個圓柱面上，W柱面圖像的形式存 儲。瀏覽時，由于柱面圖不符合人的視覺習(xí)慣，故需要把柱面視圖還原成符合人眼視覺習(xí)慣 的平面視圖。通常，從柱面圖像重新構(gòu)造出柱面視點空間每一個視線方向所對應(yīng)視圖的方 法稱為柱面圖像反變換方法。本發(fā)明中的柱面立體全景視頻是由水平面360度的連續(xù)雙目 立體柱面圖像序列構(gòu)成。柱面立體全景視頻快速反變換方法即把立體全景視頻每一帖對應(yīng) 視角的雙目立體柱面圖像快速還原成雙目立體平面視圖。
[0004] 目前，柱面全景圖的獲取多采用圖像拼接的方法得到，即通過相機不同拍攝角度， 獲取場景各個方向上的實景圖像，并將實景圖像上的點通過柱面正投影投影到柱面上，然 后把投影到柱面上的圖像通過圖像拼接和圖像融合得到柱面圖像。雙目立體全景圖像則是 由雙目立體攝像機拍攝的有視差的圖像對通過柱面圖像拼接和圖像融合得到的兩幅柱面 全景圖。雙目立體全景視頻就是由連續(xù)的雙目立體全景圖像對構(gòu)成。立體全景視頻與全景 視頻的平面視圖恢復(fù)原理是一致的。圖1為柱面正投影和柱面圖像反投影示意圖。現(xiàn)有的由 柱面圖像生成平面實景圖像的方法是利用柱面圖像反投影方法實現(xiàn)的，反投影方法對應(yīng)坐 標(biāo)計算公式為：
[0005]
[0006] 通過該公式可計算柱面圖像上任意像素點，/)與視線方向0處反投影圖像上 的對應(yīng)點P(X，y )，其中，f為焦距，W為平面視圖的寬度，H為平面視圖的高度?？蒞看出，運種 傳統(tǒng)的柱面投影方法公式復(fù)雜，計算環(huán)節(jié)多，在柱面圖像觀看時，反投影方法的連續(xù)計算復(fù) 雜度增加，對柱面立體全景視頻要求實時觀看的結(jié)果難W滿足。同時，由實景圖像生成柱面 圖像時，是一個大圖像生成小圖像的過程，實景圖像上的部分像素點會丟失，而由柱面圖像 生成平面實景圖像時，是一個由小圖像生成大圖像的過程，像素點并不能一一對應(yīng)被賦值。 用傳統(tǒng)的柱面反投影方法來將柱面圖像還原成平面視圖，還原圖像中會有像素點因沒有對 應(yīng)的值而填充為黑色像素，造成圖像質(zhì)量下降。常用的提高視圖質(zhì)量的方法是利用插值方 法來提高圖像畫質(zhì)，而運種方法增加了計算機處理的難度。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明針對雙目立體柱面全景視頻傳統(tǒng)反變換方法計算復(fù)雜，生成平面視圖速度 慢的缺點，提出了一種柱面立體全景視頻快速反變換方法。該方法通過對雙目立體全景視 頻每一帖對應(yīng)視角的雙目立體柱面全景圖進行快速雙目立體平面視圖的還原而實現(xiàn)立體 視頻的快速變換，旨在提高生成雙目立體平面視圖的速率，加強觀看時的視覺一致性，提高 瀏覽質(zhì)量，實現(xiàn)全景立體視頻的即時觀看。
[0008] 本發(fā)明的技術(shù)方案是：
[0009] -種柱面立體全景視頻快速反變換方法，該方法輸入是360度的雙目立體柱面全 景視頻，輸出是對應(yīng)視角的雙目立體平面視頻，包括W下步驟：
[0010] (1)建立圓柱面投影模型的幾何關(guān)系，根據(jù)平面實景圖像與柱面圖像的平面幾何 關(guān)系，得到柱面圖像正投影計算公J
，其中（x，y)為平面實景圖像中的像素 點，，/)為平面實景圖像上的像素點(x，y)投影到柱面圖像上的像素點，f為圓柱面半徑 即焦距；
[0011] (2)用步驟(1)中的柱面圖像正投影計算公式計算平面實景圖像各像素點(x，y)與 柱面圖像上像素點(x%，/o)的對應(yīng)關(guān)系，此時，視角為0;
[0012] (3)把步驟(2)中計算得到的平面實景圖像與柱面圖像的像素點對應(yīng)關(guān)系存入一 個數(shù)組m中，并將該數(shù)組m作為一個模板數(shù)組；
[0013] (4)設(shè)視角為0，焦距為f，求得柱面圖像上任意像素點的坐標(biāo)，/ )為^/〇+'- 白，y'0);
[0014] (5)利用步驟(3)中的模板數(shù)組m找到(x，y)對應(yīng)的相對坐標(biāo)(x%，/o)，并通過步驟 (4)求取到平面實景圖像(x，y)在柱面圖像中的實際對應(yīng)點UVf ? 0，/〇)，并將UVf ? 9,7'〇)的像素值賦給^，7);
[0015] (6)根據(jù)立體全景視頻場景的焦距f，通過步驟(2)、（3)得到模板數(shù)組m，對立體全 景視頻每一帖對應(yīng)視角0的影像，通過步驟(4)、（5) W及求取的數(shù)組模板m求得對應(yīng)平面實 景視圖；
[0016] (7)當(dāng)立體全景視頻場景焦距f變化時，重復(fù)步驟(6)。
[0017] 本發(fā)明提出的一種柱面立體全景視頻快速反變換方法主要有運些優(yōu)點：
[0018] 基于平面幾何的柱面投影公式計算與像素點對應(yīng)關(guān)系的模板建立大大簡化了計 算過程，降低了計算量，提高了雙目立體平面視圖的生成效率；
[0019] 將柱面正投影方法用到柱面圖像生成平面視圖的環(huán)節(jié)，提高了雙目立體平面視圖 的圖像畫質(zhì)，節(jié)省了常規(guī)方法由于平面視圖畫質(zhì)下降而使用插值方法提高圖像質(zhì)量的復(fù)雜 計算。
【附圖說明】
[0020] 圖I是柱面正投影和柱面圖像反投影示意圖；
[0021] (a)是柱面正投影示意圖；
[0022] (b)是柱面圖像反投影示意圖；
[0023] 圖2是柱面圖像與平面實景圖像投影關(guān)系示意圖；
[0024] (a)是俯視圖示意圖；
[0025] (b)是投影關(guān)系示意圖；
[00%]圖3是柱面投影切面示意圖；
[0027] (a)是P與P/投影到水平面上的幾何關(guān)系示意圖；
[0028] (b)是沿觀察點0至化與P/與柱面長度方向切面上的幾何關(guān)系示意圖。
【具體實施方式】
[0029] 下面結(jié)合附圖對本發(fā)明做進一步詳細說明。
[0030] 本發(fā)明提供一種柱面立體全景視頻快速反變換方法，包括W下步驟：
[0031] (1)建立圓柱面投影模型的幾何關(guān)系，根據(jù)平面實景圖像與柱面圖像的平面幾何 關(guān)系，得到柱面圖像正投影計算公^!
其中（x，y)為平面實景圖像中的像素 點，，/)為平面實景圖像上的像素點(x，y)投影到柱面圖像上的像素點，f為圓柱面半徑 即焦距。
[0032] (2)用步驟(1)中的柱面圖像正投影計算公式計算平面實景圖像各像素點(x，y)與 柱面圖像上像素點(x%，/o)的對應(yīng)關(guān)系，此時，視角為0;
[0033] (3)把步驟(2)中計算得到的平面實景圖像與柱面圖像的像素點對應(yīng)關(guān)系存入一 個數(shù)組m中，并將該數(shù)組m作為一個模板數(shù)組；
[0034] (4)設(shè)視角為0，焦距為f，求得柱面圖像上任意像素點的坐標(biāo)，/ )為^/〇+'- 白，y'0);
[0035] (5)利用步驟(3)中的模板數(shù)組m找到(x，y)對應(yīng)的相對坐標(biāo)(x%，/o)，并通過步驟 (4)求取到平面實景圖像(x，y)在柱面圖像中的實際對應(yīng)點UVf ? 0，/〇)，并將UVf ? 9,7'〇)的像素值賦給^，7);
[0036] (6)根據(jù)立體全景視頻場景的焦距f，通過步驟(2) W及步驟(3)得到模板數(shù)組m，對 立體全景視頻每一帖對應(yīng)視角e的影像，通過步驟(4)、（5) W及求取的數(shù)組模板m求得對應(yīng) 平面實景視圖；
[0037] (7)當(dāng)立體全景視頻場景焦距f變化時，重復(fù)步驟(6)。
[0038] 在上述技術(shù)方案中，本發(fā)明首先得到簡化的柱面投影公式。由于柱面圖像的生成 是在W視點0為圓屯、環(huán)繞拍攝的一系列平面實景圖像，相鄰圖像之間有較多的重疊，通過柱 面正投影公式將運些平面實景圖像投影到柱面上，相鄰的兩張平面實景圖像相交的地方融 合。所有平面實景圖像都投影到圓柱面后會得到一圈圓柱形的360度無縫視圖。將柱面圖像 沿一個角度剖開，并沿柱面長度方向?qū)⒅鎴D像展開，可W得到一幅矩形的可W保存的平 面圖。
[0039] 根據(jù)柱面圖像與展開的柱面圖像的平面實景圖像幾何關(guān)系，可W建立圖2、圖3所 示的幾何模型。圖2(a)為圓柱面投影模型的俯視平面表示圖，其中圓為投影柱面的水平截 面，圓外的每一條直線代表一幅實景圖像，相機位于圓屯、0處。圖2(b)為一幅實景圖ABCD與 其在圓柱面上投影的關(guān)系。由圖2(a)與圖2(b)易知平面實景圖像上任意一點PU, y)在柱面圖像上的投影點P/ ，/)的幾何關(guān)系，如圖3所示。圖3(a)是P與P/投影到水平面 上的幾何關(guān)系，圖3(b)是沿觀察點0至化與P/與柱面長度方向切面上的幾何關(guān)系。其中圓柱 面的半徑為焦距f。
[0040] 由圖3(a)，可W求得圖中3為
。根據(jù)弧長的計算公式，可W求得
。由圖3(b)，根據(jù)S角形幾何關(guān)系可知OPPi與OP/ P/相似，又 .可求得
。于是可求得平面實景圖像 像素點(x，^到柱面圖像像素點，/)的正投影公式為：
[0041]
[0042] I出柱面圖像生成平面實景圖像的反投影公式為：
[0043]
[0044] W上柱面投影計算公式簡單，與傳統(tǒng)的柱面投影公式相比，計算參數(shù)減少了，計算 復(fù)雜度降低，計算速度更快。
[0045] 其次，采用逆向思維，用柱面正投影方法計算柱面圖像坐標(biāo)與平面視圖坐標(biāo)的對 應(yīng)關(guān)系。
[0046] 由柱面圖像生成平面實景圖像是一個小圖像生成大圖像的過程，直接用傳統(tǒng)的柱 面反投影方法計算平面視圖，平面視圖中會有某些像素點因沒有對應(yīng)像素點而用黑色像素 填充，視圖中形成一些"黑桐"，造成圖像畫質(zhì)下降，影響瀏覽者的視覺體驗。傳統(tǒng)方法中為 解決運一問題通常采用插值方法來填補黑桐，該方法雖然圖像畫質(zhì)有所提高，同時也增加 了計算機的計算量。
[0047] 本發(fā)明中，采用逆向思維，用柱面正投影方法計算得到相應(yīng)的平面視圖。具體實現(xiàn) 過程是：
[004引（1)先確定要得到平面視圖的大小，當(dāng)視角為0,依次計算平面視圖每個像素坐標(biāo) (x，y)在柱面圖像上對應(yīng)的坐標(biāo)點(x%，/o)。
[0049] (2)當(dāng)視角為0時，計算每一個像素點(x，y)對應(yīng)的實際坐標(biāo)(x%+f ? 0，/〇)。
[0050] (3)把柱面像素點(x%+f ? 0，/0)的像素值賦給平面視圖像素點(x，y)。
[0051] 通過上述方法得到的平面視圖，其任意一個像素點都有對應(yīng)的柱面像素點，解決 了傳統(tǒng)方法中由柱面像素點向平面像素點對應(yīng)造成的平面視圖"黑桐"問題，免去了利用插 值恢復(fù)視圖質(zhì)量的復(fù)雜計算，提高了視圖生成速度。
[0052] 最后，結(jié)合模板數(shù)組共享，減少平面視圖生成的計算量。
[0053] 當(dāng)柱面圖像焦距一定時，柱面圖像與平面視圖之間的投影關(guān)系不會發(fā)生變化。基 于運一特性，本發(fā)明提出使用模板數(shù)組保存平面視圖坐標(biāo)點與柱面視圖坐標(biāo)點之間的相對 關(guān)系，并通過計算柱面圖像中任意像素點的相對位置坐標(biāo)得到其與平面視圖的對應(yīng)像素 點。
[0054] 模板數(shù)組保存的相對位置關(guān)系是視角為0時的對應(yīng)關(guān)系。當(dāng)視角為0時，柱面圖像 沿X軸移動了f ? 0的距離，那么柱面圖像上點，/ )的坐標(biāo)位置為(x%+f ? 0，/〇)。通過模 板數(shù)組，在焦距相同的柱面圖像生成對應(yīng)視角平面視圖時，程序只需要計算x%+f ? 0，省去 了大量計算。
[0055] 對于雙目立體柱面全景視頻，本發(fā)明只需要分別對兩幅柱面全景視頻同步計算其 每帖對應(yīng)視角的平面實景視圖，獲得對應(yīng)的雙目立體平面視圖。
【主權(quán)項】
1. 一種柱面立體全景視頻快速反變換方法，其特征在于，包括W下步驟： (1) 建立圓柱面投影模型的幾何關(guān)系，根據(jù)平面實景圖像與柱面圖像的平面幾何關(guān)系， 得到柱面圖像正投影計算公式其中（X，y)為平面實景圖像中的像素點， (χ/，/)為平面實景圖像上的像素點（x，y)投影到柱面圖像上的像素點，f為圓柱面半徑即 焦距； (2) 用步驟（1)中的柱面圖像正投影計算公式計算平面實景圖像各像素點(x，y)與柱面 圖像上像素點(X% y 0)的對應(yīng)關(guān)系，此時，視角為0; (3) 把步驟(2)中計算得到的平面實景圖像與柱面圖像的像素點對應(yīng)關(guān)系存入一個數(shù) 組m中，并將該數(shù)組m作為一個模板數(shù)組； (4) 設(shè)視角為Θ，焦距為f，求得柱面圖像上任意像素點的坐標(biāo)(χ/，/ )為（χ/〇+?· . 0，y '0); (5) 利用步驟(3)中的模板數(shù)組m找到(x，y)對應(yīng)的相對坐標(biāo)(χ/〇，/ο)，并通過步驟(4) 求取到平面實景圖像(x，y)在柱面圖像中的實際對應(yīng)點（χ/〇+?· · θ，/〇)，并將(χ/〇+?· . Θ， 7'〇)的像素值賦給^，7); (6) 根據(jù)立體全景視頻場景的焦距f，通過步驟(2) W及步驟(3)得到模板數(shù)組m，對立體 全景視頻每一帖對應(yīng)視角Θ的影像，通過步驟(4)、（5)W及求取的數(shù)組模板m求得對應(yīng)平面 實景視圖； (7) 當(dāng)立體全景視頻場景焦距f變化時，重復(fù)步驟(6)。
【文檔編號】H04N13/00GK105979241SQ201610488449
【公開日】2016年9月28日
【申請日】2016年6月29日
【發(fā)明人】羅文峰
【申請人】深圳市優(yōu)象計算技術(shù)有限公司