一種局部配準(zhǔn)并行視頻拼接方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻拼接方法及系統(tǒng)，尤其涉及一種局部配準(zhǔn)并行視頻拼接方法 及系統(tǒng)，屬于計(jì)算機(jī)圖像信息處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視頻拼接技術(shù)，是對(duì)有重疊區(qū)域的多路視頻數(shù)據(jù)，利用視頻拼接算法進(jìn)行拼接，消 除重疊區(qū)域，形成廣角度的大型視頻圖像處理技術(shù)。由于圖像采集設(shè)備的物理因素的局限 性，當(dāng)前的攝像設(shè)備無(wú)法獲取的廣視野范圍內(nèi)的場(chǎng)景。而在日常生活中：在機(jī)場(chǎng)，碼頭，廣 場(chǎng)，交通路口等視野開(kāi)闊的大型場(chǎng)景中，通常需要同時(shí)顯示全景的圖像信息。通?？梢酝ㄟ^(guò) 布設(shè)多臺(tái)攝像設(shè)備來(lái)擴(kuò)大監(jiān)控范圍，但是場(chǎng)景的顯示被分割為多個(gè)子窗口，不能夠自然直 接地反映真實(shí)場(chǎng)景。利用計(jì)算機(jī)圖像拼接算法，對(duì)多路視頻數(shù)據(jù)的視頻拼接可以很好的解 決這一問(wèn)題。
[0003] 視頻拼接過(guò)程主要包括圖像配準(zhǔn)和圖像融合兩個(gè)步驟。同時(shí)視頻拼接主要面對(duì) 的挑戰(zhàn)是視頻流的實(shí)時(shí)性需求。為了保證視頻處理的實(shí)時(shí)性，需要對(duì)每幀圖像的配準(zhǔn)和融 合都進(jìn)行優(yōu)化處理。傳統(tǒng)的圖像配準(zhǔn)算法，尺度不變的特征變換SIFT(Scale Invariant Feature Transform)以及快速魯棒特征 SURF (Speeded Up Robust Features)方法，因?yàn)?較為復(fù)雜造成計(jì)算量大，難以滿足實(shí)時(shí)性的需求。加速分割檢測(cè)特征FAST (Features from Accelerated Segment Test)，由于設(shè)計(jì)簡(jiǎn)單所以特征檢測(cè)速度較快?；贔AST算法，利用 具有方向性的 BRIEFF(Binary Robust Independent Elementary Features)特征算子，提 出了 oFAST (FAST Keypoint Orientation)檢測(cè)算法，最終設(shè)計(jì)了 ORB (Oriented FAST and Rotated BRIEF)算法。由于視頻采集設(shè)備空間重疊關(guān)聯(lián)關(guān)系，圖像配準(zhǔn)檢測(cè)可以只限定于 局部區(qū)域，基于圖像興趣區(qū)ROI (Region of Interest)的局部處理方法可以進(jìn)一步提高視 頻拼接的實(shí)時(shí)性。
[0004] 現(xiàn)在圖像拼接技術(shù)已經(jīng)成為計(jì)算機(jī)圖形學(xué)的研究焦點(diǎn)，被廣泛應(yīng)用于空間探測(cè)、 遙感圖像處理、醫(yī)學(xué)圖像分析、視頻壓縮和傳輸、虛擬現(xiàn)實(shí)技術(shù)、超分辨率重構(gòu)等領(lǐng)域。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對(duì)現(xiàn)有技術(shù)中全畫幅配準(zhǔn)檢測(cè)的視頻拼接實(shí)時(shí)性不足的問(wèn)題，提出 一種基于oFAST特征點(diǎn)的能高效準(zhǔn)確的將多路視頻進(jìn)行拼接處理的局部配準(zhǔn)并行視 頻拼接方法及系統(tǒng)，該方案具有采取分區(qū)域局部配準(zhǔn)的計(jì)算方法，復(fù)雜度低、計(jì)算快 速、并行度高且擴(kuò)展性好；同時(shí)將視頻幀配準(zhǔn)算法運(yùn)行于CPU中，融合算法并行運(yùn)行于 FPGA(Field-Programmat)Ie Gate Array)可編程邏輯模板中，將程序進(jìn)行并行化，進(jìn)一步提 高系統(tǒng)處理速度。
[0006] 本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種局部配準(zhǔn)并行視頻拼接方法，具 體包括以下步驟：
[0007] 步驟1 :對(duì)多路米集模塊進(jìn)行二維坐標(biāo)視角標(biāo)定，多路米集模塊對(duì)同一物體同時(shí) 采集視頻圖像得到多路視頻圖像，多路視頻圖像分別分解為視頻數(shù)據(jù)；
[0008] 步驟2 :將接收到的多個(gè)第N幀數(shù)據(jù)作為當(dāng)前數(shù)據(jù)，N為自然數(shù)；
[0009] 步驟3 :對(duì)當(dāng)前數(shù)據(jù)進(jìn)行預(yù)處理，得到多個(gè)剪裁后的視頻幀；
[0010] 步驟4 :判斷剪裁后的視頻幀的相鄰關(guān)系，根據(jù)相鄰關(guān)系建立相鄰幀空間關(guān)系豐旲 型；執(zhí)行步驟5,并同時(shí)接收第N+1幀數(shù)據(jù)作為當(dāng)前數(shù)據(jù)，執(zhí)行步驟3 ;
[0011] 步驟5 :對(duì)具有相鄰關(guān)系的多個(gè)視頻幀進(jìn)行配準(zhǔn)，得到相鄰視頻幀間的單應(yīng)性矩 陣；
[0012] 步驟6 :根據(jù)單應(yīng)性矩陣，進(jìn)行視頻幀場(chǎng)景拼接，完成并行視頻拼接。
[0013] 本發(fā)明的有益效果是：本發(fā)明能高效準(zhǔn)確的將多路視頻進(jìn)行拼接處理，復(fù)雜度低、 計(jì)算快速、并行度高且擴(kuò)展性好；將程序進(jìn)行并行化，進(jìn)一步提高系統(tǒng)處理速度。
[0014] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0015] 進(jìn)一步，所述步驟3具體包括以下步驟：
[0016] 步驟3. 1 :對(duì)當(dāng)前數(shù)據(jù)進(jìn)行視頻解碼處理得到處理后的視頻幀，根據(jù)設(shè)定的三維 坐標(biāo)視角標(biāo)定，對(duì)處理后的視頻幀進(jìn)行坐標(biāo)變換；
[0017] 步驟3. 2 :對(duì)坐標(biāo)變換后的視頻幀依次進(jìn)行灰度變換和去噪處理；
[0018] 步驟3. 3 :對(duì)去噪后的每幀視頻幀進(jìn)行剪裁，每幀視頻幀剪裁后得到大小相等的 左右兩個(gè)視頻幀。
[0019] 進(jìn)一步，所述步驟3. 2中灰度變換采用的是256級(jí)灰度變換得到灰度圖像，采用高 斯濾波器對(duì)灰度圖像進(jìn)行去噪處理。
[0020] 進(jìn)一步，所述步驟4中根據(jù)步驟1中標(biāo)定的三維坐標(biāo)視角進(jìn)行判斷視頻幀是否相 鄰。
[0021] 步驟4中每一路采集模塊間空間左右相鄰關(guān)系，此處匹配結(jié)果為一組合，即空間 上左右相鄰的兩個(gè)視頻幀。這里匹配只是一個(gè)相鄰關(guān)系，并沒(méi)有把相鄰的兩個(gè)幀圖像拼接 起來(lái)。下面在此基礎(chǔ)上繼續(xù)判斷兩個(gè)相鄰幀圖像拼接重合的區(qū)域范圍。
[0022] 進(jìn)一步，所述步驟5具體包括以下步驟：
[0023] 步驟5. 1 :根據(jù)相鄰幀空間關(guān)系模型選取任意兩個(gè)具有相鄰關(guān)系的視頻幀，對(duì)每 幀視頻幀計(jì)算生成對(duì)應(yīng)的特征點(diǎn)區(qū)域，構(gòu)成特征點(diǎn)集合；
[0024] 步驟5. 2 :針對(duì)每個(gè)特征點(diǎn)區(qū)域選取patch塊，對(duì)patch塊計(jì)算得到描述算子，對(duì) 應(yīng)特征點(diǎn)集合得到描述算子集合；
[0025] 步驟5. 3 :對(duì)描述算子集合進(jìn)行計(jì)算，得到相鄰視頻幀間的單應(yīng)性矩陣。
[0026] 進(jìn)一步，所述步驟5. 1中采用oFAST檢測(cè)算法，對(duì)每幀視頻幀生成對(duì)應(yīng)的oFAST特 征點(diǎn)區(qū)域。
[0027] 進(jìn)一步，所述步驟6中使用加權(quán)平滑法進(jìn)行視頻幀場(chǎng)景拼接。
[0028] 本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種局部配準(zhǔn)并行視頻拼接系統(tǒng)，包 括多路經(jīng)三維坐標(biāo)標(biāo)定的采集模塊、圖像融合模塊、中心處理模塊和圖像拼接模塊；
[0029] 多路所述采集模塊對(duì)同一物體同時(shí)采集視頻圖像得到多路視頻圖像，多路視頻圖 像分別分解為視頻數(shù)據(jù)；
[0030] 所述圖像融合模塊依次將接收到的多路視頻數(shù)據(jù)對(duì)進(jìn)行預(yù)處理，得到多個(gè)剪裁后 的視頻幀；判斷剪裁后的視頻幀的相鄰關(guān)系，根據(jù)相鄰關(guān)系建立相鄰幀空間關(guān)系t旲型；
[0031] 所述中心處理模炔基于相鄰幀空間關(guān)系模型對(duì)具有相鄰關(guān)系的多個(gè)視頻幀進(jìn)行 配準(zhǔn)，得到相鄰視頻幀間的單應(yīng)性矩陣；
[0032] 所說(shuō)圖像拼接模塊根據(jù)單應(yīng)性矩陣，進(jìn)行視頻幀場(chǎng)景拼接，完成并行視頻拼接。
[0033] 本發(fā)明的有益效果是：本發(fā)明能高效準(zhǔn)確的將多路視頻進(jìn)行拼接處理，復(fù)雜度低、 計(jì)算快速、并行度高且擴(kuò)展性好；將程序進(jìn)行并行化，進(jìn)一步提高系統(tǒng)處理速度。
[0034] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0035] 進(jìn)一步，所述圖像融合模塊與中心處理模塊同時(shí)獨(dú)立運(yùn)行，當(dāng)中心處理模塊對(duì)第N 幀視頻幀進(jìn)行配準(zhǔn)時(shí)，所述圖像融合模塊對(duì)第N+1幀視頻幀進(jìn)行處理。
[0036] 進(jìn)一步，還包括存儲(chǔ)模塊，所述存儲(chǔ)模塊用于存儲(chǔ)融合后結(jié)果和存儲(chǔ)算法運(yùn)行時(shí) 的圖像。
[0037] 復(fù)雜度低計(jì)算快速：
[0038] 本發(fā)明采用oFAST算法提取特征點(diǎn)來(lái)進(jìn)行圖像配準(zhǔn)，相比以往的SIFT和SURF特 征點(diǎn)，它利用中心點(diǎn)和周圍像素點(diǎn)的灰度值進(jìn)行直接比較來(lái)檢測(cè)特征點(diǎn)，特征點(diǎn)的提取速 度有很大的提升；而且streered BRIEF特征向量是由比特位串組成，相比浮點(diǎn)數(shù)組成的特 征向量所需的內(nèi)存更??；另外該算法只對(duì)1/2畫幅圖像數(shù)據(jù)進(jìn)行處理，進(jìn)一步降低計(jì)算量； 從而使得圖像拼接過(guò)程中的特征提取速度和匹配效果得到很大的提高，可以實(shí)時(shí)地對(duì)視頻 圖像進(jìn)行全景拼接處理及高清顯示。
[0039] 并行度高：
[0040] 采用FPGA和CPU兩獨(dú)立計(jì)算模塊。當(dāng)CPU進(jìn)行第N個(gè)視頻幀的融合工作時(shí)，F(xiàn)PGA 模塊進(jìn)行第N+1個(gè)視頻幀的配準(zhǔn)工作，流水化操作，提供計(jì)算的并行度，進(jìn)而提高系統(tǒng)處理 量與處理速度。
[0041] 擴(kuò)展性好：
[0042] 系統(tǒng)采用模塊化設(shè)計(jì)，本發(fā)明中涉及的算法都可以替換為其他算法（如：Moravec 算子、Susan算子、Harris算子或Sift算子），處理過(guò)程互不影響。
【附圖說(shuō)明】
[0043] 圖1為本發(fā)明所述的一種局部配準(zhǔn)并行視頻拼接方法流程圖；
[0044] 圖2為本發(fā)明所述的一種局部配準(zhǔn)并行視頻拼接系統(tǒng)結(jié)構(gòu)框圖；
[0045] 圖3為本發(fā)明具體實(shí)施例所述的一種局部配準(zhǔn)并行視頻拼接方法流程圖；
[0046] 圖4為本發(fā)明具體實(shí)施例所述的局部配準(zhǔn)實(shí)時(shí)視頻拼接方法在時(shí)刻T時(shí)各模塊數(shù) 據(jù)流并行工作示意圖；
[0047] 圖5為本發(fā)明具體實(shí)施例所述的局部配準(zhǔn)實(shí)時(shí)視頻拼接裝置相機(jī)空間關(guān)系示意 圖。
[0048] 附圖中，各標(biāo)號(hào)所代表的部件列表如下：
[0049] i、采集模塊，2、圖像融合模塊，3、中心處理模塊，4、圖像拼接模塊，5、存儲(chǔ)模塊。
【具體實(shí)