專利名稱：多投影顯示系統(tǒng)中的圖像拼接與融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像的處理方法。
背景技術(shù)：
近年來快速發(fā)展的虛擬現(xiàn)實技術(shù)，將投影拼接與融合技術(shù)推到了科技的前沿，但是傳統(tǒng)的單臺普通投影儀雖然價格便宜，但是分辨率較低，不能滿足人們的需要，而高端的光學投影儀價格昂貴，不能得到普通的應用，所以基于多臺投影儀的拼接與融合技術(shù)應運而生，既解決了價格問題，也提高了分辨率。目前大屏幕投影普遍存在投影儀投影區(qū)域間的幾何邊緣不匹配不一致問題。這是因為大屏幕通常均是由多臺投影機投射的投影畫面拼接而成，由于在多通道投影顯示系統(tǒng)中，每臺投影機都是相互獨立的，兩個投影機所投出的畫面之間會有縫隙。雖然經(jīng)過調(diào)整這個縫隙會變得很小，但對專業(yè)用戶來說，這樣的縫隙也是不能接受的。而且很多通道大屏幕并不是平面的，而是柱狀環(huán)幕或者是球幕，這樣就會在曲
面上產(chǎn)生投影變形。所以對于這些大屏幕，不但需要經(jīng)過專業(yè)邊緣融合處理，而且還要經(jīng)過特殊的曲面幾何糾正處理。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種多投影顯示系統(tǒng)中的圖像拼接與融合方法。本發(fā)明解決技術(shù)問題的方案是通過攝像機采集數(shù)據(jù)，求得要投影圖像和屏幕上被攝像機拍攝的圖像的對應關(guān)系，預處理標定這些幾何關(guān)系，進行幾何校正，獲得重疊區(qū)域?；谛〔ㄗ兓腂PCA的幾何標定方法，包括以下幾步
(1)采用直方圖均衡化對圖像序列進行預處理；
(2)幾何標定，通過攝像頭采集數(shù)據(jù)，運用計算機視覺的方法，標定相關(guān)的幾何對應關(guān)系；通過純軟件的方法，獲取到多投影的重疊區(qū)域縫拼接；
(3)基于圖像空間拼接的標定技術(shù)，通過將多個攝像機的圖像空間映射到同一個圖像空間；
(4)利用小波變換進行預處理；
(5)用矩形分割圖像進行特征提?。?br> (6)利用步驟(5)的方法提取相鄰圖像的特征；
(7)圖像融合。本發(fā)明能夠獲取到投影儀投影的重疊部分，通過軟硬件的結(jié)合處理，消除重疊部分，增加圖像的尺寸，在很大程度上保證了畫面的完整性，每臺投影儀投射整幅圖像的一部分，這樣展現(xiàn)的圖像分辨率被提高了 ；縮短了投影距離，增加畫面的層次感。本發(fā)明提供一種能夠快速、穩(wěn)健的基于特征點匹配的配準算法進行投影的拼接與融合，適應各種屏幕類型，可以是很粗糙的墻面，也可以是特制的金屬屏幕，不但適用于大平面的屏幕，也適用于環(huán)幕，甚至也適用于一些稍微不規(guī)則的曲幕。


圖I為基于小波變化的BPCA多投影的拼接與融合硬件平臺示意 圖2為基于小波變化的BPCA多投影拼接與融合技術(shù)的功能模塊示意 圖3為獲取投影的重疊區(qū)域示意 圖4為小波分解示意 圖5為重疊區(qū)域圖像融合示意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明作進一步說明。圖I :基于小波變化的BPCA多投影的拼接與融合的硬件平臺，一臺PC機對應一臺攝像機，同時對應一臺投影儀，以及一投影屏幕。圖2 :通過攝像機獲取到圖像序列，對獲取到的圖像序列進行預處理，本發(fā)明對原圖像序列進行直方圖均衡化如圖3所示，會發(fā)現(xiàn)圖像的灰度范圍擴大了或者灰度分布均勻了，從而增大了反差，使圖像細節(jié)清楚，達到增強的目的。步驟100對圖像進行小波變換，隨著小波分解級數(shù)的增加，圖像向量的維數(shù)大大的降低了。提取小波分解后的低頻子帶進行分塊主元分析提取特征值和獲取特征向量，最后利用最近鄰分類器進行分類獲得相鄰圖像的重合區(qū)域?；谛〔ㄗ兓腂PCA的幾何標定算法，具體步驟如下
(I)對圖像序列進行預處理，預處理一般會考慮光照，尺度，位置變化等因素的干擾。常用的預處理方法有非線性平滑濾波，使像素的灰度值接近，從而消除孤立的噪聲點；圖像的歸一化分為幾何歸一化和灰度歸一化，本發(fā)明采用了直方圖均衡化，會發(fā)現(xiàn)圖像的灰度范圍擴大了或者灰度分布均勻了，從而增大了反差，使圖像細節(jié)清楚，達到增強的目的。(2)幾何標定。主要是通過攝像頭采集數(shù)據(jù)，運用計算機視覺的方法，標定相關(guān)的幾何對應關(guān)系；通過純軟件的方法，獲取到多投影的重疊區(qū)域縫拼接。包括得到標定圖像空間和投影空間將PC機與投影儀相連，PC機繪制的內(nèi)容和投到屏幕上的內(nèi)容是一致的，PC機繪制的內(nèi)容保存在緩存區(qū)，將這個區(qū)域成為投影空間。用攝像頭來捕捉投影儀投到屏幕上的內(nèi)容，投影的內(nèi)容在拍攝的圖片上有一個2D坐標，定義這個2D空間為圖像空間。圖像空間的2D坐標表示的是該點在攝像頭拍攝的圖片上的坐標。很明顯在不同位置捕捉得到的圖像空間是不同的。有時候在一個位置無法將整個系統(tǒng)拍全，因此需要從不同位置捕捉畫面進行校正，這種情況我們需要將幾個不同位置的圖像空間校正到一個統(tǒng)一的圖像空間，我們用虛擬圖像空間來表示。PC機屏幕上的點和投影屏幕上的點是對應的，攝像機拍攝屏幕上的圖像得到的圖像空間上的點和PC機屏幕上的點也是一一對應的。令叫為投影空間中的點Z的坐標，IB2為點I被投到.上被攝像頭拍攝后，
在圖像空間的坐標，A和 2間的關(guān)系可以用函數(shù)4表示為
2 =
由可逆變化得Bh = Bl^m2
(3)基于圖像空間拼接的標定技術(shù)通過將多個攝像機的圖像空間映射到同一個圖像空間。根據(jù)視點的成像模型得到Z=//y',其中表示攝像頭在兩個位置的圖像空間的映射關(guān)系，是一個透視矩陣。通過特征點提取算法求解上式中的^和^。(4)利用小波變換進行預處理小波分解算法降低了圖像的維數(shù)使后續(xù)算法的復雜度降低，同時能夠提取信息?？梢园褕D像看成是二元函數(shù)/(x，y)，其二維小波變換定義為
權(quán)利要求
1.一種多投影顯示系統(tǒng)中的圖像拼接與融合方法，其特征包括以下幾步完成 (1)采用直方圖均衡化對圖像序列進行預處理； (2)幾何標定，通過攝像頭采集數(shù)據(jù)，運用計算機視覺的方法，標定相關(guān)的幾何對應關(guān)系；通過純軟件的方法，獲取到多投影的重疊區(qū)域縫拼接； (3)基于圖像空間拼接的標定技術(shù)，通過將多個攝像機的圖像空間映射到同一個圖像空間； (4)利用小波變換進行預處理； (5)用矩形分割圖像進行特征提??； (6)利用步驟(5)的方法提取相鄰圖像的特征； (7)圖像融合。
2.根據(jù)權(quán)利要求I所述的多投影顯示系統(tǒng)中的圖像拼接與融合方法，其特征在于具體步驟為 (1)采用直方圖均衡化對圖像序列進行預處理； (2)幾何標定，通過攝像頭采集數(shù)據(jù)，標定相關(guān)的幾何對應關(guān)系，獲取到多投影的重疊區(qū)域縫拼接，包括得到標定圖像空間和投影空間將PC機與投影儀相連，PC機繪制的內(nèi)容和投到屏幕上的內(nèi)容是一致的，PC機繪制的內(nèi)容保存在緩存區(qū)，將這個區(qū)域成為投影空間，用攝像頭來捕捉投影儀投到屏幕上的內(nèi)容，投影的內(nèi)容在拍攝的圖片上有一個2D坐標，定義這個2D空間為圖像空間，圖像空間的2D坐標表示的是該點在攝像頭拍攝的圖片上的坐標，將幾個不同位置的圖像空間校正到一個統(tǒng)一的圖像空間，用虛擬圖像空間來表示； PC機屏幕上的點和投影屏幕上的點是對應的，攝像機拍攝屏幕上的圖像得到的圖像空間上的點和PC機屏幕上的點也是一一對應的，令A為投影空間中的點Z的坐標，巧為點Z被投到.上被攝像頭拍攝后， 在圖像空間的坐標，A和 2間的關(guān)系可以用函數(shù)4表示為 2 = 由可逆變化得Bh = Bl^m2 ； (3)基于圖像空間拼接的標定技術(shù)通過將多個攝像機的圖像空間映射到同一個圖像空間，根據(jù)視點的成像模型得到X-ZfiX,,其中Zf 表示攝像頭在兩個位置的圖像空間的映射關(guān)系，是一個透視矩陣，通過特征點提取算法求解上式中的&和‘; (4)利用小波變換進行預處理小波分解算法降低了圖像的維數(shù)使后續(xù)算法的復雜度降低，同時能夠提取信息， 可以把圖像看成是二元函數(shù)/(X，y)，其二維小波變換定義為
3.根據(jù)權(quán)利要求2所述的多投影顯示系統(tǒng)中的圖像拼接與融合方法，其特征在于圖像融合的具體實現(xiàn)過程如是 (1)對A和B分別構(gòu)建高斯金字塔，即依次進行2倍降采樣和高斯濾波， 金字塔第一層GA0、GB0為A、B本身，對第一層2倍降采樣、高斯濾波后得到第二層隊、GB1 ； (2)構(gòu)建Iaplacian金字塔，LA1UB1^GA1'叫，對叫、叫2倍升采樣后，在進行高斯濾波，得到Mo、Mq ； (3)利用金字塔LA和LB構(gòu)造金字塔LS,LS每一層的大小與LA和LB的對應相等；(4) 利用ZS重構(gòu)重疊區(qū)域圖像，將Z&2倍升采樣后，進行高斯濾波，然后將ZS和Z5·。疊力口，得到最終結(jié)果。
全文摘要
一種多投影顯示系統(tǒng)中的圖像拼接與融合方法，涉及一種圖像的處理方法，包括圖像序列預處理；幾何標定；圖像空間拼接；利用小波變換進行預處理；特征提?。惶崛∠噜張D像的特征及圖像融合。本發(fā)明能夠消除圖像重疊部分，增加圖像的尺寸，在很大程度上保證了畫面的完整性，展現(xiàn)的圖像分辨率被提高了；縮短了投影距離，增加畫面的層次感。本發(fā)明提供一種能夠快速、穩(wěn)健的基于特征點匹配的配準算法進行投影的拼接與融合，適應各種屏幕類型。
文檔編號G06T5/40GK102881006SQ201210274700
公開日2013年1月16日 申請日期2012年8月3日 優(yōu)先權(quán)日2012年8月3日
發(fā)明者鄭立國, 朱妹麗, 王青青 申請人:吉林禹碩動漫游戲科技股份有限公司