本發(fā)明通常涉及視頻處理，尤其涉及時(shí)空局部變形及接縫查找的容差視頻拼接的系統(tǒng)及方法。

背景技術(shù)：

由于計(jì)算能力的日益增強(qiáng)，存儲(chǔ)容量的不斷擴(kuò)大，以及傳輸帶寬的不斷擴(kuò)展，市場(chǎng)上出現(xiàn)了多種多樣的應(yīng)用，這為現(xiàn)代用戶提供了各種視覺體驗(yàn)。例如，隨著諸如超大屏幕以及超清電視等高分辨率顯示設(shè)備的出現(xiàn)，人們?cè)絹碓狡谕删哂谐笠晥?chǎng)(field-of-view，簡稱fov)的高質(zhì)量視頻，這可以給用戶提供浸入式的媒體體驗(yàn)。已經(jīng)提出了多種構(gòu)建大fov圖像的設(shè)備及方法。為了實(shí)現(xiàn)這一目的，專業(yè)代理機(jī)構(gòu)采用極其昂貴的高端攝像頭系統(tǒng)，例如，國防工業(yè)采用的aware-2攝像頭，這是一種單核心多尺度的攝像頭，包括一組輔助微型攝像頭所環(huán)繞的球形對(duì)稱物鏡。而對(duì)于具有更小預(yù)算的群體(例如，獨(dú)立攝影師或者業(yè)余消費(fèi)者)，則渴望一種能夠獲得良好質(zhì)量但是成本低得多的攝像頭系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)一實(shí)施例，提供了一種容差視頻拼接方法。所述方法包括：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

根據(jù)另一實(shí)施例，提供了一種容差視頻拼接裝置。所述裝置包括：至少一個(gè)存儲(chǔ)器以及耦合于所述至少一個(gè)存儲(chǔ)器的至少一個(gè)處理器。所述至少一個(gè)處理器用于：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多的目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

根據(jù)又一實(shí)施例，提供了一種包含計(jì)算機(jī)程序的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)。所述計(jì)算機(jī)程序包括計(jì)算機(jī)可讀程序代碼，用于：確定多個(gè)待拼接的視頻序列；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接。

在一個(gè)示例性實(shí)施例中，采用容差視頻拼接裝置將所述視頻序列進(jìn)行拼接。所述容差視頻拼接裝置包括：確定多個(gè)待拼接的視頻序列的確定元件；對(duì)所述視頻序列執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射的執(zhí)行元件；采用所述目標(biāo)變形映射，將所述視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀的變形元件；對(duì)所述目標(biāo)虛擬幀進(jìn)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射的執(zhí)行元件；采用所述目標(biāo)接縫映射將所述視頻序列進(jìn)行拼接的拼接元件。

附圖說明

為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在參考下文結(jié)合附圖進(jìn)行的描述，相同的數(shù)字表示相同的對(duì)象，其中：

圖1a示出了采用單一全局單應(yīng)性引起的視差問題的示例。

圖1b示出了采用單應(yīng)性網(wǎng)格校正的視差問題。

圖2a和圖2b示出了在視頻中直接運(yùn)用二維(twodimensional，簡稱2d)拼接技術(shù)而引起的視差問題的示例。

圖3示出了本發(fā)明提供的視頻拼接的總體工作流程。

圖4示出了本發(fā)明提供的實(shí)現(xiàn)圖3所述時(shí)空局部變形計(jì)算塊功能的時(shí)空局部變形框架的詳圖。

圖5示出了本發(fā)明提供的實(shí)現(xiàn)圖3所述基于內(nèi)容的時(shí)空接縫查找塊功能的基于內(nèi)容的時(shí)空接縫查找框架的詳圖。

圖6示出了本發(fā)明提供的采用時(shí)空?qǐng)D形構(gòu)造處理所構(gòu)造的圖形的示例。

圖7示出了本發(fā)明提供的視頻拼接的示例方法。

圖8示出了本發(fā)明提供的用于進(jìn)行視頻拼接工作流程的計(jì)算設(shè)備的示例。

具體實(shí)施方式

下面所述的圖1a至圖8以及用于描述本專利文檔中的本發(fā)明原則的各實(shí)施例都僅用于示意性說明，而非對(duì)本發(fā)明的范圍造成限制。本領(lǐng)域技術(shù)人員應(yīng)該知道，本發(fā)明原則可以在任一合理設(shè)置的設(shè)備或系統(tǒng)中得以實(shí)現(xiàn)。

以下文檔的內(nèi)容被引入到本發(fā)明。(1)brady等人編寫的《多尺度十億像素?cái)z影》，nature：486:386-389，2012(以下稱為“參考1”)；(2)f.zhang和f.liu編寫的《容差圖像拼接》，ieeecvpr，2014(以下稱為“參考2”)；(3)szeliski編寫的《圖像對(duì)齊及拼接：教程》，計(jì)算機(jī)圖形及計(jì)算機(jī)視覺基礎(chǔ)及趨勢(shì)2006(以下稱為“參考3”)。

采用諸如正常單反相機(jī)dslr(digitalsingle-lensreflex，簡稱dslr)或移動(dòng)攝像頭等成本適中的攝像頭，已經(jīng)提出了很多用于生成大視場(chǎng)(field-of-view，簡稱fov)2d照片全景的方法。這些方法不需要使用恢復(fù)幾何及測(cè)光場(chǎng)景模塊，但是他們要求所采集的場(chǎng)景必須是平面或遠(yuǎn)景的，或者攝像頭視點(diǎn)必須是緊密分布的，使得采用單一全局單應(yīng)性可以將每個(gè)圖像拼接到參考圖像。當(dāng)這些要求不能完全滿足時(shí)，即當(dāng)單一全局單應(yīng)性不足以將圖像拼接到參考圖像時(shí)(這在實(shí)際應(yīng)用中經(jīng)常遇到)，生成的拼接的全景通常呈現(xiàn)不同程度的視差問題，例如，圖1a所示的重影及失真。

為了解決視差問題，已經(jīng)提出了一個(gè)或多個(gè)保留局部內(nèi)容的變形算法。采用單應(yīng)網(wǎng)格而非單一全局單應(yīng)性，可以將每個(gè)圖像拼接到具有局部單應(yīng)性的參考圖像，從而極大地減少圖1b所示的視差問題。然而，如果視頻包含不可忽視的中大型移動(dòng)物體，那么很難普及之前的構(gòu)造視頻全景的2d全景方法。如果直接運(yùn)用之前的2d全景方法對(duì)個(gè)別視頻幀進(jìn)行拼接，將會(huì)引起嚴(yán)重的問題，不僅僅是針對(duì)由于物體移動(dòng)而造成的物體區(qū)域周圍，而且也針對(duì)由于2d變形和/或拼接接縫中的不一致而造成的全部拼接的視頻，正如圖2b所示(比較而言，圖2a中示出的幀具有更少的問題或沒有問題)。

為了解決這些問題，本發(fā)明實(shí)施例提供了視頻拼接的系統(tǒng)及方法，其包括時(shí)空局部變形框架以及基于內(nèi)容的時(shí)空接縫查找框架。時(shí)空局部變形框架解決的是視頻拼接中由移動(dòng)物體所引起的問題，該框架包括確定最佳局部變形映射的時(shí)空成本函數(shù)，從而通過保留時(shí)空局部對(duì)齊、保留時(shí)空全局對(duì)齊以及保持時(shí)空平滑，將視頻拼接到參考視頻。

基于內(nèi)容的時(shí)空接縫查找框架解決的是由不一致的拼接接縫以及不想要的剪輯顯著前景物體的接縫所引起的問題。該框架包括基于內(nèi)容的時(shí)空?qǐng)D割接縫查找機(jī)制。構(gòu)造時(shí)空?qǐng)D形，該圖形包含空間及時(shí)間邊緣，并將像素的似物性考慮在內(nèi)?；谠搱D形得到的最佳流接縫可以將視頻更一致地進(jìn)行拼接，同時(shí)也能避免對(duì)顯著的前景物體進(jìn)行剪輯。

圖3示出了本發(fā)明提供的視頻拼接的總體工作流程。圖3所示的該工作流程300僅用于示意性說明?？梢圆捎迷摴ぷ髁鞒?00的其他實(shí)施例，其并不脫離本發(fā)明的范圍。

為了更好地闡述視頻拼接工作流程300，假設(shè)有n個(gè)待拼接的視頻序列301a-301n。對(duì)參考視頻序列進(jìn)行定義，其可以是n個(gè)視頻序列301a至301n中的任意一個(gè)。視頻拼接的主要目的是通過將n個(gè)視頻序列301a-301n的對(duì)應(yīng)幀拼接到參考視頻序列，生成更大的視頻序列。假定ii,t表示時(shí)間t下的參考視頻序列中的幀，假定ii,t表示時(shí)間t下的第i個(gè)視頻序列中的幀。采用視頻拼接，通過在不同的時(shí)間t＝1,...,m下將ii,t,i＝1,...,n拼接到生成虛擬幀ι′t。

視頻拼接工作流程300包括啟用容差視頻拼接的兩個(gè)功能塊：時(shí)空局部變形計(jì)算塊310和基于內(nèi)容的時(shí)空接縫查找塊320。該時(shí)空局部變形計(jì)算塊310采用視頻序列301a-301n確定一組目標(biāo)變形映射μi,t302。采用對(duì)應(yīng)的目標(biāo)變形映射μi,t302將每個(gè)幀ii,t變形為目標(biāo)虛擬幀該基于內(nèi)容的時(shí)空接縫查找塊320采用目標(biāo)虛擬幀303確定一組目標(biāo)接縫映射304。現(xiàn)對(duì)功能塊310、320進(jìn)行更詳細(xì)的描述。

圖4示出了本發(fā)明提供的實(shí)現(xiàn)時(shí)空局部變形計(jì)算塊310功能的時(shí)空局部變形架構(gòu)的詳圖?？站植孔冃渭軜?gòu)400可與圖3中的視頻拼接工作流300結(jié)合使用。圖4所示的時(shí)空局部變形架構(gòu)400僅用于示意性說明?？梢圆捎闷渌麑?shí)施例的架構(gòu)400，其并不脫離本發(fā)明的范圍。

如圖4所示，時(shí)空局部變形架構(gòu)400采用一組視頻序列ii,t,i＝1,...,n,t＝1,...,m(在圖4中，用視頻序列301a-301n表示)，并確定一組目標(biāo)變形映射μi,t,i＝1,...,n,t＝1,...,m(在圖4中，用目標(biāo)變形映射302表示)。每個(gè)目標(biāo)變形映射μi,t包括用于將原始幀ii,t變換(或變形)為目標(biāo)虛擬幀的信息，其中，與參考幀是對(duì)齊的。

該時(shí)空局部變形架構(gòu)400的第一步驟是采用一組視頻序列ii,t,i＝1,...,n,t＝1,...,m(視頻序列301a-301n)，并從每個(gè)視頻序列中提取一組視覺關(guān)鍵點(diǎn)(pi,t,k,di,t,k),k＝1,...,ki(關(guān)鍵點(diǎn)401a-401n)，其中，di,t,k為視覺描述符。每個(gè)視覺關(guān)鍵點(diǎn)(pi,t,k,di,t,k)i記錄對(duì)應(yīng)視頻序列中的關(guān)鍵點(diǎn)的時(shí)空位置。

參數(shù)pi,t,k＝(xi,t,k,yi,t,k)和視覺描述符di,t,k共同對(duì)關(guān)于對(duì)應(yīng)視頻序列中的視覺關(guān)鍵點(diǎn)的局部視覺特征進(jìn)行描述?？梢圆捎酶鞣N關(guān)鍵點(diǎn)提取技術(shù)提取視覺關(guān)鍵點(diǎn)，例如，2d或3dharris角點(diǎn)檢測(cè)器。存在各種用于di,t,k的描述符，例如，尺度不變量特征轉(zhuǎn)換(scaleinvariantfeaturetransform，簡稱sift)、加速穩(wěn)健特征(speededuprobustfeatures，簡稱surf)或者加速段測(cè)試特征(featuresfromacceleratedsegmenttest，簡稱fast)描述符。

采用一組視覺關(guān)鍵點(diǎn)(pi,t,k,di,t,k),k＝1,...,ki(關(guān)鍵點(diǎn)401a-401n)，該時(shí)空局部變形架構(gòu)400確定一組空間全局單應(yīng)性(空間全局單應(yīng)性402)和一組時(shí)間全局單應(yīng)性ti,t,i＝1,...,n,t＝1,...,m(時(shí)間全局單應(yīng)性403)。每個(gè)空間全局單應(yīng)性為3x3轉(zhuǎn)換矩陣，用于對(duì)每個(gè)幀ii,t進(jìn)行轉(zhuǎn)換，從而與參考幀對(duì)齊。類似地，每個(gè)時(shí)間全局單應(yīng)性ti,t為3x3轉(zhuǎn)換矩陣，用于對(duì)每個(gè)幀ii,t進(jìn)行轉(zhuǎn)換，從而與第i個(gè)視頻序列中的時(shí)間參考幀對(duì)齊。

在一優(yōu)選實(shí)施例中，可以通過兩個(gè)步驟確定時(shí)間參考幀首先，根據(jù)公式ai＝avg∑tai(t,t+1)計(jì)算平均的時(shí)間全局單應(yīng)性ai，其中，ai(t,t+1)為3x3轉(zhuǎn)換矩陣，用于對(duì)幀ii,t+1進(jìn)行轉(zhuǎn)換。通過采用時(shí)間全局單應(yīng)性tit將每個(gè)幀ii,t進(jìn)行轉(zhuǎn)換，以便與時(shí)間參考幀對(duì)齊，從而可以采用ai定義的靜態(tài)全局?jǐn)z像頭路徑自動(dòng)實(shí)現(xiàn)穩(wěn)定原始視頻幀ii,t所帶來的益處。當(dāng)視頻采集期間存在少量攝像頭震動(dòng)時(shí)，這有利于最終的拼接結(jié)果。當(dāng)攝像頭系統(tǒng)在物理上不是完全穩(wěn)定時(shí)，例如，當(dāng)攝像頭系統(tǒng)在有強(qiáng)風(fēng)的室外使用時(shí)，可能會(huì)出現(xiàn)這種震動(dòng)。

在一優(yōu)選實(shí)施例中，可以基于關(guān)鍵點(diǎn)(pi,t,k,di,t,k)和(pi,t+1,k,di,t+1,k)之間的相似性確定時(shí)間匹配對(duì)(pi,t,l,pi,t+1,l),l＝1,...,li,t，可以基于時(shí)間匹配對(duì)(pi,t,l,pi,t+1,l),l＝1,...,li,t采用隨機(jī)抽樣一致性以及離群值拒絕確定ai(t,t+1)。采用平均的時(shí)間全局單應(yīng)性ai，可以將時(shí)間匹配對(duì)pi,t,l,l＝1,...,li,t中的第一項(xiàng)轉(zhuǎn)換為新的位置p'i,t,l,l＝1,...,li,t，并基于匹配對(duì)(p'i,t,l,pi,t+1,l),l＝1,...,li,t采用隨機(jī)抽樣一致性以及ransac離群值拒絕確定時(shí)間全局單應(yīng)性ti,t。同時(shí)，可以基于關(guān)鍵點(diǎn)(pi,t,k,di,t,k)和之間的相似性得到空間匹配對(duì)并可以采用不同時(shí)間(pi,t,l,pj,t,l),l＝1,...,li,j,t＝1,...,m下的所有空間匹配對(duì)以及采用隨機(jī)抽樣一致性以及離群值拒絕確定空間全局單應(yīng)性其中，為從參考視頻序列中提取的關(guān)鍵點(diǎn)，其可以為n個(gè)輸入視頻序列301a-301n中的任一個(gè)。

預(yù)變形處理404采用空間全局單應(yīng)性(空間全局單應(yīng)性402)以及時(shí)間全局單應(yīng)性tit,i＝1,...,n,t＝1,...,m(時(shí)間全局單應(yīng)性403)。在預(yù)變形處理404中，根據(jù)方程式將每個(gè)輸入視頻幀ii,t轉(zhuǎn)換為預(yù)變形的視頻幀

根據(jù)方程式將時(shí)間匹配對(duì)(pi,t,l,pi,t+1,l),l＝1,...,li,t轉(zhuǎn)換為一組預(yù)變形的時(shí)間匹配對(duì)(預(yù)變形的時(shí)間匹配對(duì)405)：

根據(jù)方程式將空間匹配對(duì)轉(zhuǎn)換為一組預(yù)變形的空間匹配對(duì)(預(yù)變形的空間匹配對(duì)406)：

定義一個(gè)統(tǒng)一網(wǎng)格xn×yn，用于將每個(gè)圖像劃分為xn×yn個(gè)統(tǒng)一的小區(qū)。假定vi,t,k,k＝1,...,(xn+1)(yn+1)和分別表示圖像ii,t和預(yù)變形的圖像中的網(wǎng)格頂點(diǎn)。在時(shí)空局部變形計(jì)算處理中，基于輸入頂點(diǎn)vi,t,k,k＝1,...,(xn+1)(yn+1)和輸入的預(yù)變形空間匹配對(duì)以及輸入的預(yù)變形時(shí)間配配對(duì)確定一組目標(biāo)頂點(diǎn)(目標(biāo)頂點(diǎn)407)。對(duì)于每個(gè)網(wǎng)狀小區(qū)cj，其四個(gè)頂點(diǎn)和vi,t,j(1),vi,t,j(2),vi,t,j(3),vi,t,j(4)確定了遠(yuǎn)景轉(zhuǎn)換hi,t,j，從而對(duì)網(wǎng)狀小區(qū)cj中的圖像ii,t的像素進(jìn)行轉(zhuǎn)換，從而與參考圖像中的對(duì)應(yīng)網(wǎng)狀小區(qū)cj對(duì)齊。在一優(yōu)選實(shí)施例中，通過將下面的成本函數(shù)最小化，確定

參數(shù)eds測(cè)量空間局部對(duì)齊，其中，為預(yù)變形的空間匹配對(duì)406，用四個(gè)頂點(diǎn)的線性組合表示，其包含具有系數(shù)λi,t,l(k),k＝1,...,4的可以通過多種不同方法中的任一種確定該系數(shù)，例如，參考2中所述的逆雙線性內(nèi)插方法。因此，將eds最小化有利于最終的目標(biāo)頂點(diǎn)通過匹配對(duì)應(yīng)的關(guān)鍵點(diǎn)將每個(gè)原始幀ii,t進(jìn)行轉(zhuǎn)換，從而與參考圖像對(duì)齊。

參數(shù)edt測(cè)量時(shí)間局部對(duì)齊，其中，為預(yù)變形的時(shí)間匹配對(duì)405，用四個(gè)頂點(diǎn)的線性組合表示，其包含具有系數(shù)λi,t,l(k),k＝1,...,4的可以采用上述段落中的同一方法確定該系數(shù)。因此，將edt最小化有利于最終的目標(biāo)頂點(diǎn)在保持時(shí)間對(duì)應(yīng)對(duì)齊的同時(shí)，對(duì)每個(gè)原始幀ii,t進(jìn)行轉(zhuǎn)換，從而與參考圖像對(duì)齊。

參數(shù)egs測(cè)量空間全局對(duì)齊。當(dāng)預(yù)變形頂點(diǎn)的空間鄰域中沒有預(yù)變形的空間匹配對(duì)時(shí)，有利于對(duì)應(yīng)的頂點(diǎn)與預(yù)變形的頂點(diǎn)相同。因此，τi,t,l＝1。否則，τi,t,l＝0。

參數(shù)egt測(cè)量時(shí)間全局對(duì)齊。假定r∈ωt表示時(shí)間幀t的時(shí)間鄰域。當(dāng)預(yù)變形的頂點(diǎn)的空間鄰域中沒有預(yù)變形的時(shí)間匹配對(duì)時(shí)，有利于對(duì)應(yīng)的頂點(diǎn)一直保持相同(即，在時(shí)間鄰域ωt內(nèi)保持不變)。因此，σi,t,l＝1。當(dāng)預(yù)變形得頂點(diǎn)的空間鄰域中存在預(yù)變形的時(shí)間匹配對(duì)時(shí)，權(quán)重值σi,t,l由預(yù)變形的頂點(diǎn)的空間鄰域中的像素移動(dòng)大小確定。即，如果該場(chǎng)景在預(yù)變形的頂點(diǎn)的空間鄰域中保持靜態(tài)，有利于對(duì)應(yīng)的頂點(diǎn)一直保持相同，即，σi,t,l應(yīng)該取接近1的較大值。當(dāng)預(yù)變形得頂點(diǎn)的空間鄰域中存在極大的場(chǎng)景移動(dòng)時(shí)，σi,t,l應(yīng)該取接近0的較小值。在一優(yōu)選實(shí)施例中，采用移動(dòng)的大小確定權(quán)重值σi,t,l，其中，該移動(dòng)的大小是通過預(yù)變形頂點(diǎn)的空間鄰域中的預(yù)變形的時(shí)間匹配對(duì)確定的。在其他實(shí)施例中，也可以采用其他基于光流的運(yùn)動(dòng)尺寸確定σi,t,l。

參數(shù)ess測(cè)量空間平滑度。假定δ表示一組三元組，其中，δ中的每個(gè)三元組包含確定三角形的三個(gè)頂點(diǎn)頂點(diǎn)可以按如下方式用其他頂點(diǎn)表示：

如果該三角形經(jīng)歷了相似性轉(zhuǎn)換，則其本地坐標(biāo)系中的坐標(biāo)保持相同。因此，將ess最小化有利于網(wǎng)狀小區(qū)經(jīng)歷空間上的相似性轉(zhuǎn)換，這有利于減少優(yōu)化處理中的局部失真。值為分配給每個(gè)三角形的權(quán)重，其由三角形中的空間邊緣顯著性確定，并有利于將更多的失真分配給更少的顯著區(qū)域。

參數(shù)est測(cè)量時(shí)間平滑度。再次假定δ表示一組三元組，其中，δ中的每個(gè)三元組包含確定三角形的三個(gè)頂點(diǎn)頂點(diǎn)可以用其他頂點(diǎn)表示為：

如果該三角形經(jīng)歷了相似性轉(zhuǎn)換，則其本地坐標(biāo)系中的坐標(biāo)保持相同。因此，將est最小化有利于網(wǎng)狀小區(qū)經(jīng)歷時(shí)間上的相似性轉(zhuǎn)換，這有利于減少優(yōu)化處理中的局部失真。值為分配給每個(gè)三角形的權(quán)重，其由三角形中的時(shí)間邊緣顯著性確定，并有利于將更多的失真分配給更少的顯著區(qū)域。

將權(quán)重分配給方程式(1)中的成本函數(shù)中的每個(gè)項(xiàng)，從而平衡優(yōu)化處理中不同項(xiàng)的重要性。當(dāng)時(shí)，將方程式(1)中的成本函數(shù)歸納為參考2中提出的用于靜態(tài)圖像拼接的保留內(nèi)容的變形方法。

得到目標(biāo)頂點(diǎn)之后，可以基于原始頂點(diǎn)vi,t,k,k＝1,...,(xn+1)(yn+1),i＝1,...,n,t＝1,...,m和目標(biāo)頂點(diǎn)確定一組目標(biāo)變形頂點(diǎn)μi,t,i＝1,...,n,t＝1,...,m?？梢酝ㄟ^多種方式確定目標(biāo)變形映射。在一優(yōu)選實(shí)施例中，對(duì)于每個(gè)網(wǎng)狀小區(qū)cj，其四個(gè)頂點(diǎn)和vi,t,j(1),vi,t,j(2),vi,t,j(3),vi,t,j(4)定義了遠(yuǎn)景轉(zhuǎn)換hi,t,j，從而對(duì)網(wǎng)狀小區(qū)cj中的圖像ii,t的像素進(jìn)行轉(zhuǎn)換，從而與參考圖像中的對(duì)應(yīng)網(wǎng)狀小區(qū)對(duì)齊。目標(biāo)變形映射μi,t簡單地成了一組hi,t,j,j＝1,...,xnyn，整個(gè)圖像ii,t可以由μi,t一個(gè)小區(qū)一個(gè)小區(qū)地變形為目標(biāo)虛擬幀(目標(biāo)虛擬幀303)。

圖5示出了本發(fā)明提供的實(shí)現(xiàn)基于內(nèi)容的時(shí)空接縫查找塊320功能的基于內(nèi)容的時(shí)空接縫查找架構(gòu)的詳圖?；趦?nèi)容的時(shí)空接縫查找架構(gòu)500可與圖3中的視頻拼接工作流程300結(jié)合使用。圖5所示的基于內(nèi)容的時(shí)空接縫查找架構(gòu)500僅用于示意性說明?？梢圆捎闷渌麑?shí)施例的架構(gòu)500，其并不脫離本發(fā)明范圍。

如圖5所示，基于內(nèi)容的時(shí)空接縫查找架構(gòu)500采用一組目標(biāo)虛擬幀(在圖5中，用目標(biāo)虛擬幀303表示)，并確定一組目標(biāo)接縫映射zt,t＝1,...,m(在圖5中，用目標(biāo)接縫映射304表示)。每個(gè)接縫映射zt包括與從變形的虛擬目標(biāo)幀構(gòu)建最終的拼接虛擬幀ι′t有關(guān)的信息。

基于內(nèi)容的時(shí)空接縫查找結(jié)構(gòu)500的第一步驟是時(shí)空似物性計(jì)算處理501?？紤]到一對(duì)目標(biāo)虛擬幀序列和在時(shí)空似物性計(jì)算處理501中，將似物性值oi,j,t,k∈[0,1]分配給與之間的每個(gè)重疊像素pi,j,t,k。似物性值oi,j,t,k測(cè)量像素pi,j,t,k的物體顯著性等級(jí)。像素pi,j,t,k越顯著，值oi,j,t,k越大，目標(biāo)接縫剪輯的像素pi,j,t,k越不受歡迎。可以通過很多不同的方法確定似物性值oi,j,t,k。例如，如果像素在人臉上，為了避免引起問題，不支持目標(biāo)接縫剪輯人臉。又例如，如果像素在快速移動(dòng)的物體上，并且靠近強(qiáng)結(jié)構(gòu)邊緣，為了避免引起問題，不支持目標(biāo)接縫剪輯過像素。在一優(yōu)選實(shí)施例中，計(jì)算處理501將上述用于計(jì)算似物性值的因素考慮在內(nèi)，其中，oi,j,t,k＝a*fi,j,t,k+b*ei,j,t,k。值fi,j,t,k為從像素pi,j,t,k到自動(dòng)檢測(cè)到的人臉之間的距離，ei,j,t,k為從像素pi,j,t,k到附近強(qiáng)移動(dòng)物體之間的距離。值a,b為平衡兩者的權(quán)重。

然后，可以采用時(shí)空?qǐng)D形構(gòu)建處理502構(gòu)建一個(gè)時(shí)空?qǐng)D形。圖6示出了本發(fā)明提供的圖形建構(gòu)的示例。如圖6所示，該圖形600包括多個(gè)圖形節(jié)點(diǎn)601，每個(gè)圖形節(jié)點(diǎn)601為重疊像素pi,j,t,k。每對(duì)圖形節(jié)點(diǎn)之間的邊緣有兩種類型：空間邊緣(用空間邊緣602表示)以及時(shí)間邊緣(用時(shí)間邊緣603表示)?？臻g邊緣為兩個(gè)圖形節(jié)點(diǎn)之間的邊緣，其對(duì)應(yīng)于同一時(shí)間索引不同空間位置的像素。時(shí)間邊緣為兩個(gè)圖形節(jié)點(diǎn)之間的邊緣，其對(duì)應(yīng)于同一空間位置不同時(shí)間索引的像素。具體地，根據(jù)下面方程式，將像素pi,j,t,k和pi,j,t,l之間的空間邊緣602確定為e^si,j,t(k,l)：

其中，為像素值與像素值之間的距離測(cè)量，為幀中的第k個(gè)像素的像素值?？梢圆捎酶鞣N距離測(cè)量確定例如，在一實(shí)施例中：

根據(jù)下面方程式，將像素pi,j,t,k和pi,j,t+1,k之間的時(shí)間邊緣603確定為e^ti,j,k(t,t+1)：

其中，為像素值與像素值之間的距離測(cè)量。可以采用各種距離測(cè)量確定例如，在一實(shí)施例中：

e^ti,j,k(t,t+1)＝(oi,j,t,k+oi,j,t+1,k)(||ii,t(k)-ii,t+1(k)||+||ij,t(k)-ij,t+1(k)||)/2。

通常，假設(shè)圖像為源端，圖像為宿端，與之間重疊區(qū)域的邊界上的重疊像素有一個(gè)最靠近圖像(原端或宿端)的邊緣，該邊緣具有無窮的邊緣權(quán)重。

然后，回到圖5，采用時(shí)空?qǐng)D形構(gòu)建處理502構(gòu)建該圖形之后，執(zhí)行最大流接縫計(jì)算處理503，從而得到每個(gè)重疊像素pi,j,t,k的最佳標(biāo)記ηi,j,t,k。該標(biāo)記ηi,j,t,k為源端或宿端，通過得到切割該圖形的最小邊緣成本路徑而確定。如果ηi,j,t,k為源端，最終拼接圖像中的對(duì)應(yīng)像素將從中得到像素值，如果ηi,j,t,k為宿端，最終拼接圖像中的對(duì)應(yīng)像素將從中得到像素值。

為了確定最終的目標(biāo)接縫映射zt，將幀一個(gè)一個(gè)地添加至拼接結(jié)果，并反復(fù)進(jìn)行上述處理。即，首先將幀和進(jìn)行拼接，然后添加幀并將其與幀和的拼接結(jié)果進(jìn)行拼接等等。

一旦得到一組目標(biāo)接縫映射zt,t＝1,...,m(目標(biāo)接縫映射304)，可以采用各種顏色校正、增益補(bǔ)償以及混合技術(shù)在視覺上增強(qiáng)拼接結(jié)果。

圖7示出了本實(shí)施例提供的視頻拼接的示例方法。為了便于說明，方法700在諸如圖8中的計(jì)算設(shè)備800(如下所述)等能夠用于視頻處理的計(jì)算設(shè)備中使用。然而，該方法700能夠由任一合適的設(shè)備在任一合適的系統(tǒng)中使用。

在步驟701中，確定多個(gè)待拼接的視頻序列。在一些實(shí)施例中，這可包括確定圖3中的視頻序列301a-301n的計(jì)算設(shè)備。在步驟703，在視頻序列上執(zhí)行時(shí)空局部變形計(jì)算處理，以確定多個(gè)目標(biāo)變形映射。在一些實(shí)施例中，這可包括執(zhí)行圖3中的時(shí)空局部變形計(jì)算塊310功能的時(shí)空局部變形框架400。

在步驟705中，采用步驟703中確定的目標(biāo)變形映射，將視頻序列中的多個(gè)幀變形為多個(gè)目標(biāo)虛擬幀。在步驟707中，在目標(biāo)虛擬幀上執(zhí)行基于內(nèi)容的時(shí)空接縫查找處理，以確定多個(gè)目標(biāo)接縫映射。在一些實(shí)施例中，這可包括執(zhí)行圖3中的基于內(nèi)容的時(shí)空接縫查找塊320功能的基于內(nèi)容的時(shí)空接縫查找結(jié)構(gòu)500。然后，在步驟709中，采用目標(biāo)接縫映射將視頻序列進(jìn)行拼接。

盡管圖7示出了視頻拼接方法700的一個(gè)示例，但是圖7可以有各種變化。例如，盡管示出了一系列步驟，但是圖7中的各步驟可以重疊，可以并行執(zhí)行，可以按照不同順序執(zhí)行，且可以執(zhí)行的次數(shù)是任意的。

圖8示出了執(zhí)行圖3中視頻拼接工作流程300或者圖7中視頻拼接方法700的計(jì)算設(shè)備800的示例。如圖8所示，該計(jì)算設(shè)備800包括計(jì)算塊803、處理塊805以及系統(tǒng)存儲(chǔ)器807。處理塊805可以為任一類型的執(zhí)行軟件指令的可編程電子設(shè)備，但通常為一個(gè)或多個(gè)微處理器。系統(tǒng)存儲(chǔ)器807可以包括只讀存儲(chǔ)器(read-onlymemory，簡稱rom)809以及隨機(jī)存取存儲(chǔ)器(randomaccessmemory，簡稱ram)811。本領(lǐng)域的技術(shù)人員應(yīng)理解，只讀存儲(chǔ)器809和隨機(jī)存取存儲(chǔ)器811都可以存儲(chǔ)處理塊805執(zhí)行的軟件指令。

處理塊805和系統(tǒng)存儲(chǔ)器807通過總線813或替代通信結(jié)構(gòu)直接或間接地與一個(gè)或多個(gè)周邊設(shè)備連接。例如，處理塊805和系統(tǒng)存儲(chǔ)器807可以直接或間接地與一個(gè)或多個(gè)額外存儲(chǔ)設(shè)備815連接。該存儲(chǔ)設(shè)備815例如可以包括“硬”磁盤驅(qū)動(dòng)、固態(tài)磁盤驅(qū)動(dòng)、光盤驅(qū)動(dòng)以及移動(dòng)硬盤。處理塊805和系統(tǒng)存儲(chǔ)器807也可以直接或間接地與一個(gè)或多個(gè)輸入設(shè)備817以及一個(gè)或多個(gè)輸出設(shè)備819連接。輸入設(shè)備817例如可以包括鍵盤、點(diǎn)擊設(shè)備(例如，鼠標(biāo)、觸控板、手寫筆、軌跡球或者控制桿)、觸摸屏、掃描儀、照相機(jī)以及麥克風(fēng)。輸出設(shè)備819例如可以包括顯示設(shè)備、打印機(jī)以及揚(yáng)聲器。這種顯示設(shè)備可以用于顯示視頻圖像。在計(jì)算設(shè)備800的各種示例中，一個(gè)或多個(gè)周圍設(shè)備815-819內(nèi)部可以封裝有計(jì)算塊803；或者，一個(gè)或多個(gè)周圍設(shè)備815-819可以與計(jì)算塊803的外殼不連接，并與總線813連接，例如，通過通用串行總線(universalserialbus，簡稱usb)連接或者通過數(shù)字視頻接口(digitalvisualinterface，簡稱dvi)連接。

在一些實(shí)施方式中，計(jì)算塊803也可以直接或間接地與一個(gè)或多個(gè)網(wǎng)絡(luò)接口卡(networkinterfacescard，簡稱nic)821連接，從而與組成網(wǎng)絡(luò)的其他設(shè)備進(jìn)行通信。網(wǎng)絡(luò)接口卡821根據(jù)一個(gè)或多個(gè)通信協(xié)議，如傳輸控制協(xié)議(transmissioncontrolprotocol，簡稱tcp)和互聯(lián)網(wǎng)協(xié)議(internetprotocol，簡稱ip)，將計(jì)算塊803的數(shù)據(jù)和控制信號(hào)轉(zhuǎn)變?yōu)榫W(wǎng)絡(luò)消息。另外，網(wǎng)絡(luò)接口卡821可以采用任一合適的連接代理(或者代理的結(jié)合)與網(wǎng)絡(luò)連接，例如包括無線收發(fā)器、調(diào)制解調(diào)器或以太網(wǎng)連接。

應(yīng)理解的是，計(jì)算設(shè)備800僅為一個(gè)示例，而不構(gòu)成限制。本發(fā)明的各實(shí)施例可以通過一個(gè)或多個(gè)計(jì)算設(shè)備實(shí)現(xiàn)，該一個(gè)或多個(gè)計(jì)算設(shè)備包括圖8所示計(jì)算設(shè)備800的組件，或者包括組件的可選組合，其包括圖8中未示出的組件。例如，本發(fā)明各實(shí)施例可以通過多處理器計(jì)算機(jī)、網(wǎng)絡(luò)中設(shè)置的多個(gè)單一和/或多處理器計(jì)算機(jī)或兩者的結(jié)合實(shí)現(xiàn)。

本文所述的實(shí)施例提供了容差視頻拼接的方案。通過共同將時(shí)空局部變形架構(gòu)中的時(shí)空成本函數(shù)最小化，計(jì)算的局部變形映射能夠通過最佳地保留空間和時(shí)間數(shù)據(jù)對(duì)齊以及空間和時(shí)間平滑度，將多個(gè)視頻中的幀對(duì)齊。因此，生成的變形幀在空間上很好地與局部變形對(duì)齊，并且在時(shí)間上一致的。

通過得到將基于內(nèi)容的時(shí)空接縫查找架構(gòu)中的像素似物性考慮在內(nèi)的最佳時(shí)空接縫，可以采用最終的接縫將來自多個(gè)視頻中的幀以良好的時(shí)間一致性進(jìn)行拼接，同時(shí)為了避免引起問題，避免剪輯顯著的前景物體。

在某些實(shí)施例中，一個(gè)或多個(gè)所述設(shè)備的部分或全部功能或流程由計(jì)算機(jī)可讀程序代碼構(gòu)成的且內(nèi)嵌于計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序來實(shí)現(xiàn)或提供支持。術(shù)語計(jì)算機(jī)可讀程序代碼摂包括任意類型的計(jì)算機(jī)代碼，包括源代碼、目標(biāo)代碼以及可執(zhí)行代碼。術(shù)語“計(jì)算機(jī)可讀介質(zhì)”包括任何類型的可以被計(jì)算機(jī)訪問的非易失性介質(zhì)，比如，只讀存儲(chǔ)器(rom)、隨機(jī)存取存儲(chǔ)器(ram)、硬盤驅(qū)動(dòng)器、光盤(cd)、數(shù)字化視頻光盤(dvd)或者任何其他類型的存儲(chǔ)器。

為本專利文檔中使用的特定術(shù)語和短語進(jìn)行定義是有幫助的。術(shù)語“包括”和“包含”以及它們的派生詞表示沒有限制的包括。術(shù)語“或者”是包容性的，意為和/或。短語“與…關(guān)聯(lián)”和“與其關(guān)聯(lián)”以及其派生的短語意味著包括，被包括在內(nèi)、與…互連、包含、被包含在內(nèi)、連接到或與…連接、耦合到或與…耦合、可與…通信、與…配合、交織、并列、接近、被綁定到或與…綁定、具有、具有…屬性，等等。

雖然本發(fā)明就某些實(shí)施例和一般相關(guān)方法方面進(jìn)行了描述，但是對(duì)本領(lǐng)域技術(shù)人員而言，對(duì)實(shí)施例和方法的各種更改和變更將是顯而易見的。因此，示例實(shí)施例的上述描述不限定或約束本發(fā)明。正如以下權(quán)利要求定義，其它修改、替代以及變更也是可能的，而不偏離本發(fā)明的精神和范圍。