一種大場景視頻圖像拼接方法
【專利摘要】本發(fā)明公開了一種大場景視頻圖像拼接方法，該方法包括：采集兩路拍攝場景有重疊的兩路視頻數(shù)據(jù)；對兩路視頻數(shù)據(jù)提取兩幅背景圖像，計算兩幅背景圖像間的單應(yīng)性變換矩陣，通過單應(yīng)性變換矩陣確定兩幅背景圖像的重疊背景區(qū)域；利用背景變換矩陣對兩幅背景圖像進行變換、拼接、融合得到當前幀的背景拼接圖像；逐幀對兩路視頻數(shù)據(jù)提取兩幅前景圖像；對在重疊背景區(qū)域的前景圖像提取特征點并匹配，利用匹配的特征點位置關(guān)系對背景變換矩陣中的圖像平移參數(shù)進行調(diào)整，得到前景圖像的變換矩陣，通過前景變換矩陣對兩幅前景圖像進行變換、拼接、融合；將前景拼接圖像與背景拼接圖像合成當前幀的拼接圖像。本發(fā)明實施例可以滿足拼接實時性的要求。
【專利說明】一種大場景視頻圖像拼接方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實施例涉及圖像【技術(shù)領(lǐng)域】，尤其涉及一種大場景視頻圖像拼接方法。

【背景技術(shù)】
[0002] 視頻拼接技術(shù)利用多路有重合區(qū)域的視角的視頻經(jīng)過變換、拼接、融合成為一個 大視場的視頻，相對于使用魚眼鏡頭或者廣角鏡頭獲取大視場視頻，有著畸變小，寬動態(tài)， 更高分辨率等優(yōu)點,視頻拼接技術(shù)是靜態(tài)圖像拼接技術(shù)的拓展，但是對實時性有很高要求， 如果對視頻逐幀應(yīng)用靜態(tài)圖像拼接方法進行拼接，因為目前已有圖像拼接方法非常耗時， 這樣將無法滿足視頻拼接實時性的要求，現(xiàn)有技術(shù)通過對最初的視頻幀圖像運用靜態(tài)圖像 拼接算法計算視頻幀之間的單應(yīng)性變換矩陣，之后的所有視頻幀都使用最初得到的單應(yīng)性 變換矩陣進行變換、拼接、融合，因為少去了對每次對幀圖像間變換矩陣的計算，大大提高 拼接的速度，來滿足實時性的要求。但是因為前景的運動，之后的幀圖像間單應(yīng)性變換矩陣 發(fā)生變換，拼接得到的視頻幀圖像拼接效果不好，將會出現(xiàn)"鬼影"。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一大場景視頻圖像拼接方法，用以滿足拼接實時性的要求。
[0004] 本發(fā)明實施例提供一種大場景視頻圖像拼接方法，該方法包括：
[0005] 步驟A、采集兩路拍攝場景有重疊的兩路視頻數(shù)據(jù)；
[0006] 步驟B、對所述兩路視頻數(shù)據(jù)提取兩幅背景圖像，計算所述兩幅背景圖像間的單應(yīng) 性變換矩陣，通過所述單應(yīng)性變換矩陣確定所述兩幅背景圖像的重疊背景區(qū)域；利用背景 變換矩陣對所述兩幅背景圖像進行變換、拼接、融合得到所述當前幀的背景拼接圖像；
[0007] 步驟C、逐幀對所述兩路視頻數(shù)據(jù)提取兩幅前景圖像；對在所述步驟B中的重疊背 景區(qū)域的前景圖像提取特征點并匹配，利用匹配的特征點位置關(guān)系對所述步驟B中的所述 背景變換矩陣中的圖像平移參數(shù)進行調(diào)整，得到前景圖像的變換矩陣，通過所述前景變換 矩陣對所述兩幅前景圖像進行變換、拼接、融合，得到當前幀的前景拼接圖像；
[0008] 步驟D、將所述前景拼接圖像與所述背景拼接圖像合成所述當前幀的拼接圖像，輸 出所述拼接圖像。
[0009] 本發(fā)明實施例提供的大場景視頻圖像拼接方法，通過對前景、背景圖像分別進行 拼接，計算前景變換矩陣時，特征點的提取與匹配僅僅是對重疊區(qū)域內(nèi)前景區(qū)域的小區(qū)域 圖像進行，同時前景變換矩陣僅僅需要對背景變換矩陣的平移參數(shù)調(diào)整獲得，因此非常迅 速，可以滿足拼接實時性的要求；由于每一幀時刻拼接圖像都是對前景區(qū)域的圖像進行拼 接后補回原背景拼接圖像中得到，而不是對整幅圖進行拼接，因此充分利用了視頻流中幀 與幀之間的時間、空間信息；此外，視頻中前景背景的圖像景深差別較大，各自視差相差較 大，避免了現(xiàn)有技術(shù)中使用同一個單應(yīng)性變換矩陣進行變換、拼接會出現(xiàn)視差失真的問題。

【專利附圖】

【附圖說明】
[0010] 圖1為本發(fā)明實施例中所適用的攝像頭的位置關(guān)系示意圖。
[0011] 圖2為本發(fā)明一個實施例提供的大場景視頻圖像拼接方法的流程示意圖。

【具體實施方式】
[0012] 為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是 本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0013] 圖1為本發(fā)明實施例中所適用的攝像頭的位置關(guān)系示意圖，如圖1所示，本發(fā)明實 施例中視頻的采集由兩路擁有相同焦距，鏡頭的同款攝像機完成，兩路攝像機左右水平排 列且成一定夾角放置，水平方向視角重疊區(qū)域大約為25%，采集得到的視頻數(shù)據(jù)由若干由 原始YUV的格式轉(zhuǎn)換為圖像處理所需的RGB格式的視頻幀圖像。
[0014] 圖2為本發(fā)明一個實施例提供的大場景視頻圖像拼接方法的流程示意圖，如圖2 所示，本發(fā)明實施例包括如下步驟：
[0015] 步驟201、采集兩路拍攝場景有重疊的兩路視頻數(shù)據(jù)；
[0016] 步驟202、對兩路視頻數(shù)據(jù)提取兩幅背景圖像，計算兩幅背景圖像間的單應(yīng)性變換 矩陣，通過單應(yīng)性變換矩陣確定兩幅背景圖像的重疊背景區(qū)域；利用背景變換矩陣對兩幅 背景圖像進行變換、拼接、融合得到當前幀的背景拼接圖像；
[0017] 步驟203、逐幀對兩路視頻數(shù)據(jù)提取兩幅前景圖像；對在步驟202中的重疊背景區(qū) 域的前景圖像提取特征點并匹配，并利用匹配的特征點位置關(guān)系對步驟202中的背景變換 矩陣中的圖像平移參數(shù)進行調(diào)整，得到前景圖像的變換矩陣，通過前景變換矩陣對兩幅前 景圖像進行變換、拼接、融合，得到當前幀的前景拼接圖像；
[0018] 步驟204、將前景拼接圖像與背景拼接圖像合成當前幀的拼接圖像，輸出拼接視 頻。
[0019] 進一步地，步驟102中的對兩路視頻數(shù)據(jù)提取兩幅背景圖像，計算兩幅背景圖像 間的單應(yīng)性變換矩陣，通過單應(yīng)性變換矩陣確定兩幅背景圖像的重疊背景區(qū)域，具體包括 以下步驟：
[0020] 步驟B1、對兩幅背景圖像進行特征提取；
[0021] 步驟B2、提取兩幅背景圖像中各自背景圖像的特征點，并進行匹配，應(yīng)用隨機采樣 一致算法剔除誤匹配的特征點對，得到左圖特征點X匹配的右圖特征點X';根據(jù)匹配點位 置關(guān)系，計算初步的單應(yīng)性變換矩陣M;
[0022] 步驟B3、對步驟B2中得到的變換矩陣進行迭代求精，得到精確的背景變換矩陣 Hb：

【權(quán)利要求】
1. 一種大場景視頻圖像拼接方法，其特征在于，包括以下步驟： 步驟A、采集兩路拍攝場景有重疊的兩路視頻數(shù)據(jù)； 步驟B、對所述兩路視頻數(shù)據(jù)提取兩幅背景圖像，計算所述兩幅背景圖像間的單應(yīng)性變 換矩陣，通過所述單應(yīng)性變換矩陣確定所述兩幅背景圖像的重疊背景區(qū)域；利用背景變換 矩陣對所述兩幅背景圖像進行變換、拼接、融合得到所述當前幀的背景拼接圖像； 步驟C、逐幀對所述兩路視頻數(shù)據(jù)提取兩幅前景圖像；對在所述步驟B中的重疊背景區(qū) 域的前景圖像提取特征點并匹配，利用匹配的特征點位置關(guān)系對所述步驟B中的所述背景 變換矩陣中的圖像平移參數(shù)進行調(diào)整，得到前景圖像的變換矩陣，通過所述前景變換矩陣 對所述兩幅前景圖像進行變換、拼接、融合，得到當前幀的前景拼接圖像； 步驟D、將所述前景拼接圖像與所述背景拼接圖像合成所述當前幀的拼接圖像，輸出所 述拼接圖像。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B中的所述對所述兩路視頻數(shù)據(jù) 提取兩幅背景圖像，計算所述兩幅背景圖像間的單應(yīng)性變換矩陣，通過所述單應(yīng)性變換矩 陣確定所述兩幅背景圖像的重疊背景區(qū)域，具體包括以下步驟： 步驟B1、對所述兩幅背景圖像進行特征提??； 步驟B2、提取所述兩幅背景圖像中各自背景圖像的特征點，并進行匹配，應(yīng)用隨機采樣 一致算法剔除誤匹配的特征點對，得到左圖特征點X匹配的右圖特征點X';根據(jù)匹配點位 置關(guān)系，計算初步的單應(yīng)性變換矩陣M; 步驟B3、對所述步驟B2中得到的所述變換矩陣進行迭代求精，得到精確的背景變換矩
步驟B4、利用所述背景變換矩陣將所述兩幅背景圖像中的右路背景圖像變換投影到所 述兩幅背景圖像中的左路背景圖像中，得到：
步驟B5、采用加權(quán)平均法融合得到所述兩路視頻數(shù)據(jù)的背景拼接圖像； 步驟B6、利用所述背景變換矩陣，將所述右路背景圖像的左上角、左下角變換投影到所 述左路背景圖像所形成的位置點，與所述左路背景圖像的右上角、右下角位置點，該四個位 置點構(gòu)成的四邊形內(nèi)區(qū)域為所述左路背景圖像中與所述右路背景圖像的重疊區(qū)域；同理， 所述左路背景圖像的右上角、右下角投影變換到所述左路背景圖像所形成的位置點，與所 述右路背景圖像的左上角、左下角位置點，該四個位置點構(gòu)成的四邊形內(nèi)區(qū)域為所述右路 背景圖像中與所述左路背景圖像的重疊區(qū)域；從而確定所述右路背景圖像中的重疊區(qū)域與 所述左路背景圖像中的重疊區(qū)域。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟C具體包括如下步驟： 步驟C1、使用3幀差法得到前景圖像；該前景圖像中，在前景區(qū)域的圖像點亮度值不為 0,在背景區(qū)域的圖像點亮度值被置為0 ; 步驟C2、對于落在所述步驟B中得到的背景重疊區(qū)域的左右兩路路前景圖像部分進行 特征點提取，匹配，左圖特征點L與其匹配的右圖特征點R，R投影到左圖點R'，坐標位置 分別為yto)、（Xsn，yKn)、（X' Kn)，對背景變換矩陣Hb中圖像平移參數(shù)進行調(diào)整，得 到前景變換矩陣Hf ;如果得不到足夠數(shù)量的匹配點，前景變換矩陣用背景變換矩陣替代； 步驟C3、根據(jù)得到的前景變換矩陣對前景圖像進行拼接、融合。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟D具體包括如下步驟： 步驟D1、遍歷背景拼接圖像中每一個圖像點； 步驟D2、判斷每個圖像點在前景拼接圖像中對應(yīng)位置的圖像點的亮度值是否為0 ;若 不為〇,則該圖像點位置屬于前景區(qū)域，將該圖像點的RGB值替換為前景拼接圖像中對應(yīng)位 置的圖像點的RGB值；若為0,則該圖像點位置屬于背景區(qū)域，該圖像點的RGB值保持不改 變； 步驟D3、對前景拼接圖像和背景拼接圖像合成當前幀的拼接圖像，輸出拼接視頻。
5. 根據(jù)權(quán)利要求2所述的方法，其特征在于，對前景變換矩陣的計算間隔N幀進行，N 幀共用同一個前景變換矩陣。
6. 根據(jù)權(quán)利要求1 一 5任一所述的方法，其特征在于，所述方法還包括：通過設(shè)定間隔 時間對所述背景變換矩陣和背景拼接圖像進行更新。
【文檔編號】G06T5/50GK104408701SQ201410727895
【公開日】2015年3月11日 申請日期:2014年12月3日 優(yōu)先權(quán)日:2014年12月3日
【發(fā)明者】程德強, 鄭珍, 劉洋, 王仕琛, 張劍英, 張媛媛, 張佳琳, 鄧杰 申請人:中國礦業(yè)大學