專利名稱：帶有時間域同步校準技術(shù)的多源視頻拼接方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，針對多視頻源的視頻拼接不同攝像頭時間同步的校準方法，校準了不同攝像頭之間存在的時間誤差，從空間與時間兩個維度完成針對多視頻源的視頻同步拼接，具體講，涉及帶有時間域同步校準技術(shù)的多源視頻拼接方法。
背景技術(shù)：
如今，基于視頻圖像的拼接技術(shù)研究是ー個日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學(xué)、計算機視覺、圖像處理和計算機圖形學(xué)研究中的熱點。而多攝像頭的視頻圖像拼接技術(shù)在攝影測量學(xué)、計算機視覺、遙感圖像處理、醫(yī)學(xué)圖像分析、計算機圖形學(xué)等領(lǐng)域有著廣泛的應(yīng)用價值。由于普通的圖像只有兩個維度的概念，即空間上的水平和垂直方向；而對于視頻圖像信息，則有時間上的概念，還包含了時間上的維度，因此視頻圖像的處理不能等同于傳統(tǒng)的靜態(tài)圖像處理。對于靜態(tài)圖像拼接技術(shù)，一般來說，對于圖像拼接 的過程由圖像獲取，圖像配準，圖像合成三步驟組成，其中圖像配準是整個圖像拼接的基礎(chǔ)。圖像拼接作為這些年來圖像研究方面的重點之一，國內(nèi)外研究人員也提出了很多拼接算法。圖像拼接的質(zhì)量，主要依賴圖像的配準程度，因此圖像的配準是拼接算法的核心和關(guān)鍵。而對于圖像的配準研究的前提是圖像信息必須經(jīng)過精確的校準，這樣才能保證配準的準確性，以滿足要求。對于視頻拼接技術(shù)，其拼接原理是在靜態(tài)圖像拼接技術(shù)的基礎(chǔ)上實現(xiàn)的，但是擴展了圖像的時間維度信息，因此時間上的校準同步顯得尤為重要。目前多視頻源的圖像拼接及其他處理技術(shù)都存在較大的不足之處，其配準流程如

圖1-1所示。對于不同視頻源的幀圖像，由于不同攝像頭無法完成時間上的同步，導(dǎo)致了不同視頻源的圖像幀存在時間誤差，在后續(xù)的拼接過程中難以找到不同視頻源的最佳匹配幀進行配準及拼接。并且由于這個時間誤差使得不同視頻源拍攝的物體存在時間誤差的積累，這樣在視頻攝錄過程中出現(xiàn)的運動物體就不可避免的會出現(xiàn)鬼影以及物體形變現(xiàn)象，使得在此之后的處理過程中累計誤差更加難以得到準確的圖像信息。在時間域上兩個攝像頭的的不同步注定了不同攝像頭攝錄的幀圖像存在時間維度的錯位情況，這樣的視頻幀，尤其是在高清視頻領(lǐng)域里會出現(xiàn)明顯的物體錯位及運動物體黑影現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明g在克服現(xiàn)有技術(shù)的不足，避免有運動物體的視頻拼接過程中出現(xiàn)的鬼影以及物體形變現(xiàn)象，在時間軸上完成不同視頻源信息的同步，使得在接下來的拼接過程中能夠很好的用于基于靜止圖像配準拼接的各種處理，得到較好的效果，為達到上述目的，本發(fā)明采取的技術(shù)方案是，帶有時間域同步校準技術(shù)的多源視頻拼接方法，包括如下步驟把不同視頻源的輸入視頻序列存入到幀緩沖中進行預(yù)處理，將視頻幀圖像從RGB的色彩空間投射到Y(jié)UV色彩空間；利用圖像灰度值檢測各個視頻幀圖像的Harris角點，對角點的分布進行優(yōu)化，在指定窗ロ的范圍內(nèi)將角點按相應(yīng)函數(shù)進行從大到小排序，并且只保留前幾個角點作為最終的角點，將其余的角點舍去；在得到不同視頻源檢測到的角點后，采用歸一化互相關(guān)方法(NCC)進行角點匹配運算用ー個MXN個像素點大小的模板窗ロ在指定搜索窗ロ范圍內(nèi)滑動，計算模板窗中心點與待配準角點的相似性度量函數(shù)值，在指定范圍內(nèi)取得的極大值點認為是與待匹配點相似性最大的角點；利用仿射變換矩陣，將兩幅待拼接的圖像在空間上統(tǒng)ー坐標，完成空間匹配；以多個視頻源中的一個視頻源I為基準，連續(xù)取得在當(dāng)前幀T2前后的連續(xù)幾幀圖像信息，即包括TO、Tl、T3、T4幀，進行運動物體識別與估計，計算得到當(dāng)前幀圖像中運動物體的運動矢量V，把視頻源2中的T2幀中的運動物體映射到視頻源I的T2幀中，根據(jù)運動矢量V及運動物體映射后位移差△ S，利用公式(4)估計到兩個視頻源I與2的T2幀在時間上的誤差A(yù)T:
權(quán)利要求
1.一種帶有時間域同步校準技術(shù)的多源視頻拼接方法，其特征是，包括如下步驟把不同視頻源的輸入視頻序列存入到幀緩沖中進行預(yù)處理，將視頻幀圖像從RGB的色彩空間投射到Y(jié)UV色彩空間；利用圖像灰度值檢測各個視頻幀圖像的Harris角點，對角點的分布進行優(yōu)化，在指定窗ロ的范圍內(nèi)將角點按相應(yīng)函數(shù)進行從大到小排序，并且只保留前幾個角點作為最終的角點，將其余的角點舍去；在得到不同視頻源檢測到的角點后，采用歸一化互相關(guān)方法(NCC)進行角點匹配運算用ー個MXN個像素點大小的模板窗ロ在指定搜索窗ロ范圍內(nèi)滑動，計算模板窗中心點與待配準角點的相似性度量函數(shù)值，在指定范圍內(nèi)取得的極大值點認為是與待匹配點相似性最大的角點； 利用仿射變換矩陣，將兩幅待拼接的圖像在空間上統(tǒng)ー坐標，完成空間匹配； 以多個視頻源中的一個視頻源I為基準，連續(xù)取得在當(dāng)前幀T2前后的連續(xù)幾幀圖像信息，即包括T0、T1、T3、T4幀，進行運動物體識別與估計，計算得到當(dāng)前幀圖像中運動物體的運動矢量V，把視頻源2中的Τ2幀中的運動物體映射到視頻源I的Τ2幀中，根據(jù)運動矢量V及運動物體映射后位移差Λ S，利用公式(4)估計到兩個視頻源I與2的Τ2幀在時間上的誤差Λ T
2.如權(quán)利要求I所述的帶有時間域同步校準技術(shù)的多源視頻拼接方法，其特征是，Harris角點檢測原理如下 在圖像中平移ー個檢測窗ロ，計算模板內(nèi)的灰度變化特征，對于圖像上的像素點(X，y)，定義能量函數(shù)E如下
3.如權(quán)利要求I所述的帶有時間域同步校準技術(shù)的多源視頻拼接方法，其特征是，NCC度量函數(shù)的表達式為
全文摘要
本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，為避免有運動物體的視頻拼接過程中出現(xiàn)的鬼影以及物體形變現(xiàn)象，在時間軸上完成不同視頻源信息的同步，使得在接下來的拼接過程中能夠很好的用于基于靜止圖像配準拼接的各種處理，得到較好的效果，本發(fā)明采取的技術(shù)方案是，帶有時間域同步校準技術(shù)的多源視頻拼接方法，包括如下步驟把不同視頻源的輸入視頻序列存入到幀緩沖中進行預(yù)處理；利用圖像灰度值檢測各個視頻幀圖像的Harris角點，對角點的分布進行優(yōu)化；利用仿射變換矩陣，將兩幅待拼接的圖像在空間上統(tǒng)一坐標，完成空間匹配；校準后的融合圖像。本發(fā)明主要應(yīng)用于視頻圖像處理。
文檔編號H04N5/04GK102857704SQ20121033733
公開日2013年1月2日 申請日期2012年9月12日 優(yōu)先權(quán)日2012年9月12日
發(fā)明者史再峰, 劉金濤, 徐江濤, 高靜, 姚素英 申請人:天津大學(xué)