超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)的制作方法
【專利摘要】一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)，涉及全景攝像【技術(shù)領(lǐng)域】，本發(fā)明基于對攝像機(jī)陣列成像采集并使用GPU高速并行處理特性，實(shí)現(xiàn)了高清圖像實(shí)時的拼接、校正、調(diào)光、壓碼、傳輸功能，設(shè)計開發(fā)出多通道全景多攝像機(jī)及其應(yīng)用系統(tǒng)，針對柱面和球面等不同拍攝模式自適應(yīng)選擇恰當(dāng)?shù)闹赝队澳Ｐ停晒鉀Q了國內(nèi)現(xiàn)有的全景攝像設(shè)備普遍存在的穩(wěn)定性不高、分辨率低、擴(kuò)展性差、缺乏實(shí)時性等問題，產(chǎn)品分辨率最高可達(dá)：4320p～12960p，幀率：30fps。
【專利說明】超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及全景攝像【技術(shù)領(lǐng)域】，具體涉及一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)。
【背景技術(shù)】
[0002]在全景攝像領(lǐng)域，以Sony, CarlZeiss等發(fā)明了單鏡頭光學(xué)折射全景成像技術(shù)，但是分辨率有限，并且只能生成環(huán)形圖像；通過軟件實(shí)現(xiàn)全景圖片的拍攝和旋轉(zhuǎn)掃描式拍攝方式，都只能單張拍攝，不能拍攝視頻，并且拍攝單張圖片都需要較長耗時。目前國內(nèi)制作的全景拼接設(shè)備，都存在拼接區(qū)域模糊、不清晰的問題，在處理拼接時，還通常使用AfterEffects，PS等后期軟件手工完成，耗費(fèi)大量時間。在還原超高清視頻時，需要4?16臺投影機(jī)拼接融合成環(huán)幕、球幕、BOX幕等形式，投影機(jī)數(shù)量多。國內(nèi)在大屏幕融合技術(shù)已經(jīng)發(fā)展了有十年，不過一直存在著融合區(qū)域模糊，黑場時存在暗度灰光無法融合，同幀亮暗度差較大時融合區(qū)域有亮帶的問題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問題在于提供一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)。
[0004]本發(fā)明所要解決的技術(shù)問題采用以下技術(shù)方案來實(shí)現(xiàn):
[0005]一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)，整個系統(tǒng)由超高清全景視頻實(shí)時生成系統(tǒng)與應(yīng)用播放系統(tǒng)兩個部分組成，生成系統(tǒng)負(fù)責(zé)圖像的采集與拼接；應(yīng)用播放系統(tǒng)負(fù)責(zé)將全景視頻應(yīng)用于球幕或環(huán)幕影院等并進(jìn)行播放；
[0006]所述生成系統(tǒng)由圖像采集部分與智能拼接部分兩部分組成，所述圖像采集部分包括HCI交互模塊、嵌入式攝像陣列電控系統(tǒng)和多路圖像并行采集模塊；
[0007]所述多路圖像并行采集模塊采用高清攝像機(jī)作為圖像采集為輸入，所采集到的圖像信號交給嵌入式攝像陣列電控系統(tǒng)，以嵌入式系統(tǒng)為控制平臺，經(jīng)過程序控制，會讓圖像處理系統(tǒng)對采集的信號進(jìn)行粗調(diào)、匹配、拼接、平滑處理；
[0008]所述嵌入式攝像陣列電控系統(tǒng)用于控制快門同步控制模塊、曝光度反饋與控制條件系統(tǒng)和云臺兩自由度馬達(dá)電動控制器；
[0009]所述HCI交互模塊控制姿態(tài)、曝光、快門，使用基于硬件的多路采集設(shè)備以30fps速度傳輸?shù)斤@示卡圖像緩存中；
[0010]所述智能拼接部分包括基于GPU/OpenCLl.1的數(shù)據(jù)流控制模塊和基于GPU的實(shí)時生成模塊，所述基于GPU的實(shí)時生成模塊包括智能拼接模塊和基于GPU的H.265格式并行壓縮模塊；
[0011]所述GPU/OpenCLl.1的數(shù)據(jù)流控制模塊實(shí)時的采集來自圖像采集部分的多路高清圖像，通過并行運(yùn)算，經(jīng)實(shí)現(xiàn)基于遺傳算法的全景圖像畸變校正、圖片全方向切割、多遍次配準(zhǔn)拼接、圖像融合生成，經(jīng)H.265格式并行壓縮模塊進(jìn)行壓縮，經(jīng)圖像傳輸、同步控制進(jìn)行H.265格式并行解碼，再經(jīng)延遲渲染后對圖像實(shí)現(xiàn)融合拼接，進(jìn)行多幕拼接顯示，通過移動設(shè)備播放控制，并將拼接得到相應(yīng)的全景圖像并壓縮添加到視頻數(shù)據(jù)中；
[0012]所述應(yīng)用播放系統(tǒng)包括與多路圖像并行采集模塊通過網(wǎng)絡(luò)連接的數(shù)據(jù)融合服務(wù)器，采集設(shè)備將采集的圖像信息編碼壓縮以后，通過局域網(wǎng)(以太網(wǎng))傳給數(shù)據(jù)融合服務(wù)器，數(shù)據(jù)融合服務(wù)器對對臺采集設(shè)備的圖像進(jìn)行融合，并將結(jié)果傳輸給多臺顯示終端顯示；
[0013]所述多臺顯示終端顯示均包括全景播放同步服務(wù)器，所述全景播放同步服務(wù)器經(jīng)局域網(wǎng)連接有解碼拼接整合器，經(jīng)解碼拼接整合器連接至全景式拼接投影陣列；
[0014]本發(fā)明基于對攝像機(jī)陣列成像采集并使用GPU高速并行處理特性，實(shí)現(xiàn)了高清圖像實(shí)時的拼接、校正、調(diào)光、壓碼、傳輸功能，設(shè)計開發(fā)出多通道全景多攝像機(jī)及其應(yīng)用系統(tǒng)，針對柱面和球面等不同拍攝模式自適應(yīng)選擇恰當(dāng)?shù)闹赝队澳Ｐ?，成功解決了國內(nèi)現(xiàn)有的全景攝像設(shè)備普遍存在的穩(wěn)定性不高、分辨率低、擴(kuò)展性差、缺乏實(shí)時性等問題，產(chǎn)品分辨率最高可達(dá):4320p?12960p，幀率:30fps。
[0015]本發(fā)明的有益效果是:
[0016]I)采用GPU/OpenCLl.1并行處理技術(shù)，通過對GPU的擴(kuò)展，實(shí)現(xiàn)多GPU架構(gòu)并發(fā)運(yùn)算，解決了運(yùn)算不即時的問題，基本可以達(dá)到在30ms內(nèi)完成一次拼接融合與編碼。
[0017]2)采取的基于遺傳算法的全景圖像畸變校正技術(shù)，滿足了實(shí)時性要求，全景圖像拍攝模式采用的是柱面和球面兩種拍攝模式，將全景視頻的單一柱面拍攝模式擴(kuò)展到柱面和球面兩種不同模式；利用多臺攝像機(jī)來同步拍攝真實(shí)場景畫面，多通道視頻畫面進(jìn)行實(shí)時無縫拼接，獲得超高分辨率全景視頻。
[0018]3)采用分布式網(wǎng)絡(luò)，使用多臺電腦分割顯示來解決。多臺電腦協(xié)同播放時視頻的精準(zhǔn)同步就成了最大的問題，我們獨(dú)創(chuàng)的引入了自適應(yīng)同步算法，讓每臺投影機(jī)上顯示的畫面相差不超過兩幀，達(dá)到人眼視覺上的同步。
[0019]4)基于GPU的逐像素亮度融合算法，并發(fā)的檢索每個像素的亮度，動態(tài)的實(shí)現(xiàn)了快速融合，實(shí)現(xiàn)拼接區(qū)域的高質(zhì)量清晰呈現(xiàn)。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明生成系統(tǒng)模塊構(gòu)成圖；
[0021]圖2為本發(fā)明生成系統(tǒng)的異構(gòu)運(yùn)算的協(xié)作流程；
[0022]圖3為本發(fā)明多臺顯示終端顯示模塊構(gòu)成圖；
[0023]圖4為本發(fā)明應(yīng)用播放系統(tǒng)模塊構(gòu)成圖；
[0024]圖5為本發(fā)明柱面模式切割示意圖；
[0025]圖6為本發(fā)明球面模式切割示意圖；
【具體實(shí)施方式】
[0026]為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本發(fā)明。
[0027]如圖1所示，一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)，整個系統(tǒng)由超高清全景視頻實(shí)時生成系統(tǒng)與應(yīng)用播放系統(tǒng)兩個部分組成，生成系統(tǒng)負(fù)責(zé)圖像的采集與拼接；應(yīng)用播放系統(tǒng)負(fù)責(zé)將全景視頻應(yīng)用于球幕或環(huán)幕影院等并進(jìn)行播放；[0028]如圖2所示，生成系統(tǒng)由圖像采集部分與智能拼接部分兩部分組成，圖像采集部分包括HCI交互模塊、嵌入式攝像陣列電控系統(tǒng)和多路圖像并行采集模塊；多路圖像并行采集模塊采用高清攝像機(jī)作為圖像采集為輸入，所采集到的圖像信號交給嵌入式攝像陣列電控系統(tǒng)，以嵌入式系統(tǒng)為控制平臺，經(jīng)過程序控制，會讓圖像處理系統(tǒng)對采集的信號進(jìn)行粗調(diào)、匹配、拼接、平滑處理；嵌入式攝像陣列電控系統(tǒng)用于控制快門同步控制模塊、曝光度反饋與控制條件系統(tǒng)和云臺兩自由度馬達(dá)電動控制器；HCI交互模塊控制姿態(tài)、曝光、快門，使用基于硬件的多路采集設(shè)備以30fps速度傳輸?shù)斤@示卡圖像緩存中；
[0029]智能拼接部分包括基于GPU/OpenCLl.1的數(shù)據(jù)流控制模塊和基于GPU的實(shí)時生成模塊，基于GPU的實(shí)時生成模塊包括智能拼接模塊和基于GPU的H.265格式并行壓縮模塊；GPU/OpenCLl.1的數(shù)據(jù)流控制模塊實(shí)時的采集來自圖像采集部分的多路高清圖像，通過并行運(yùn)算，經(jīng)實(shí)現(xiàn)基于遺傳算法的全景圖像畸變校正、圖片全方向切割、多遍次配準(zhǔn)拼接、圖像融合生成，經(jīng)H.265格式并行壓縮模塊進(jìn)行壓縮，經(jīng)圖像傳輸、同步控制進(jìn)行H.265格式并行解碼，再經(jīng)延遲渲染后對圖像實(shí)現(xiàn)融合拼接，進(jìn)行多幕拼接顯示，通過移動設(shè)備播放控制，并將拼接得到相應(yīng)的全景圖像并壓縮添加到視頻數(shù)據(jù)中；
[0030]如圖3、4所示，應(yīng)用播放系統(tǒng)包括與多路圖像并行采集模塊通過網(wǎng)絡(luò)連接的數(shù)據(jù)融合服務(wù)器，采集設(shè)備將采集的圖像信息編碼壓縮以后，通過局域網(wǎng)(以太網(wǎng))傳給數(shù)據(jù)融合服務(wù)器，數(shù)據(jù)融合服務(wù)器對對臺采集設(shè)備的圖像進(jìn)行融合，并將結(jié)果傳輸給多臺顯示終端顯示；多臺顯示終端顯示均包括全景播放同步服務(wù)器，所述全景播放同步服務(wù)器經(jīng)局域網(wǎng)連接有解碼拼接整合器，經(jīng)解碼拼接整合器連接至全景式拼接投影陣列。
[0031]全方位圖像切割:
[0032]是將多幅圖像的感興趣區(qū)域進(jìn)行規(guī)則化的切割，通過每臺攝像機(jī)之間的固定位置，可以算出每個攝像機(jī)的重疊區(qū)域大小，以切割線為邊界，可以對柱面模式和球面模式進(jìn)行切割，在柱面和球面兩種不同的拍攝模式下，其切割的位置不同(如圖5、圖6)。
[0033]并行運(yùn)算分析:
[0034]若在hX I尺寸的圖像上均勻進(jìn)行網(wǎng)格劃分，設(shè)每個格子的基本尺寸aXb，那么圖像被劃分成[h/a] X [1/b]個矩形子塊，在固定的切割區(qū)域B內(nèi)，對各個子塊進(jìn)行并行切割運(yùn)算。將存儲在GPU紋理存儲器中的圖像進(jìn)行分割，使用OpenCL指令在GPU中做并行運(yùn)算，提聞運(yùn)算速度。
[0035]多遍次配準(zhǔn)拼接:
[0036]圖像配準(zhǔn)是確定圖片之間的幾何關(guān)系，以便將多幅圖像變換到同一坐標(biāo)系生成全景圖像。本項(xiàng)目采用基于SIFT的圖像對齊方法，可分為如下五個步驟:
[0037]I)從輸入圖片中檢測SIFT特征點(diǎn)；
[0038]2)用k_d樹查找每個特征點(diǎn)的k個最近相鄰特征點(diǎn)，獲得粗匹配點(diǎn)對；
[0039]3)根據(jù)兩兩圖片之間的SIFT匹配點(diǎn)集用RANSAC算法計算出圖片之間的單應(yīng)矩陣(Homograph),同時去除幾何不一致和誤差較大的匹配點(diǎn)對；
[0040]4)根據(jù)單應(yīng)矩陣(Homography)進(jìn)行圖像對齊，根據(jù)對齊結(jié)果決定是否進(jìn)行再次計算單位應(yīng)矩陣，獲取精確匹配點(diǎn)集；
[0041]5)在獲得精確匹配點(diǎn)集后，采用集束調(diào)整(BundleAdjustment)估算出每個相機(jī)三個旋轉(zhuǎn)參數(shù)和焦距。[0042]圖像拼接過程的基本流程:首先獲取待拼接的圖像，然后經(jīng)過預(yù)處理(濾波等)，再進(jìn)行統(tǒng)一坐標(biāo)變換，將所有圖像序列變換到統(tǒng)一的坐標(biāo)系中，接著進(jìn)行圖像配準(zhǔn)和圖像融合，最終得到全景圖像拼接。
[0043]圖像融合生成:
[0044]為了實(shí)現(xiàn)兩幅圖像之間的平滑過渡，需要對重疊區(qū)域象素的灰度值進(jìn)行局部線性插值。
【權(quán)利要求】
1.一種超高清全景視頻實(shí)時生成與多通道同步播放系統(tǒng)，其特征在于:整個系統(tǒng)由超高清全景視頻實(shí)時生成系統(tǒng)與應(yīng)用播放系統(tǒng)兩個部分組成，生成系統(tǒng)負(fù)責(zé)圖像的采集與拼接；應(yīng)用播放系統(tǒng)負(fù)責(zé)將全景視頻應(yīng)用于球幕或環(huán)幕影院等并進(jìn)行播放； 所述生成系統(tǒng)由圖像采集部分與智能拼接部分兩部分組成，所述圖像采集部分包括HCI交互模塊、嵌入式攝像陣列電控系統(tǒng)和多路圖像并行采集模塊； 所述多路圖像并行采集模塊采用高清攝像機(jī)作為圖像采集為輸入，所采集到的圖像信號交給嵌入式攝像陣列電控系統(tǒng)，以嵌入式系統(tǒng)為控制平臺，經(jīng)過程序控制，會讓圖像處理系統(tǒng)對采集的信號進(jìn)行粗調(diào)、匹配、拼接、平滑處理； 所述嵌入式攝像陣列電控系統(tǒng)用于控制快門同步控制模塊、曝光度反饋與控制條件系統(tǒng)和云臺兩自由度馬達(dá)電動控制器； 所述HCI交互模塊控制姿態(tài)、曝光、快門，使用基于硬件的多路采集設(shè)備以30fps速度傳輸?shù)斤@示卡圖像緩存中； 所述智能拼接部分包括基于GPU/OpenCLl.1的數(shù)據(jù)流控制模塊和基于GPU的實(shí)時生成模塊，所述基于GPU的實(shí)時生成模塊包括智能拼接模塊和基于GPU的H.265格式并行壓縮模塊； 所述GPU/OpenCLl.1的數(shù)據(jù)流控制模塊實(shí)時的采集來自圖像采集部分的多路高清圖像，通過并行運(yùn)算，經(jīng)實(shí)現(xiàn)基于遺傳算法的全景圖像畸變校正、圖片全方向切割、多遍次配準(zhǔn)拼接、圖像融合生成，經(jīng)H.265格式并行壓縮模塊進(jìn)行壓縮，經(jīng)圖像傳輸、同步控制進(jìn)行H.265格式并行解碼，再經(jīng)延遲渲染后對圖 像實(shí)現(xiàn)融合拼接，進(jìn)行多幕拼接顯示，通過移動設(shè)備播放控制，并將拼接得到相應(yīng)的全景圖像并壓縮添加到視頻數(shù)據(jù)中； 所述應(yīng)用播放系統(tǒng)包括與多路圖像并行采集模塊通過網(wǎng)絡(luò)連接的數(shù)據(jù)融合服務(wù)器，采集設(shè)備將采集的圖像信息編碼壓縮以后，通過局域網(wǎng)或以太網(wǎng)傳給數(shù)據(jù)融合服務(wù)器，數(shù)據(jù)融合服務(wù)器對對臺采集設(shè)備的圖像進(jìn)行融合，并將結(jié)果傳輸給多臺顯示終端顯示； 所述多臺顯示終端顯示均包括全景播放同步服務(wù)器，所述全景播放同步服務(wù)器經(jīng)局域網(wǎng)連接有解碼拼接整合器，經(jīng)解碼拼接整合器連接至全景式拼接投影陣列。
【文檔編號】H04N5/04GK103905741SQ201410102802
【公開日】2014年7月2日 申請日期:2014年3月19日 優(yōu)先權(quán)日:2014年3月19日
【發(fā)明者】王正前, 穆志昕, 陳星球, 汪攀 申請人:合肥安達(dá)電子有限責(zé)任公司