專利名稱：自動移除全景圖像中三腳架殘留影像的方法和裝置的制作方法
技術領域：
本發(fā)明涉及一種圖像處理方法和裝置，尤其涉及將全景圖像中出現的三腳架殘留 影像進行自動化移除的方法和裝置。
背景技術：
在全景圖像拍攝時，經常會在全景圖像中不可避免的出現不希望保存的三腳架殘 留影像，這就會對用戶的視覺感受帶來很大的損失。現有的處理方法是通過手動移除來完 成，具體方式是在需要去除的局部影像中，通過圖像編輯工具，手動摳圖的方式，對三腳架 殘留影像區(qū)域進行修復。這種操作方式極大耗費人力。增加了后期處理的負擔。傳統的修復圖像技術分為兩類。一類是基于幾何圖像模型的圖像修補 (inpainting)技術，該類技術利用偏微分方程和物理熱擴散原理，對圖像進行修復，代表的 有:M. Bertalmio、A. L Bertozzi 等.《Navier-stokes，fluid dynamics, and image and video inpainting》；C.Ballester、V. Caselles 等《Avariational model for filling-in gray level and color images》；T. F.Chanand J. Shen《Non-texture inpainting by curvature-driven diffusions (CDD)》。該類技術能夠保存圖像的線性結構，但只適用于修 補圖像中的小尺度缺損；對于稍大的區(qū)域效果非常糟糕，常常在修復區(qū)域出現明顯的模糊。 另一類是基于紋理合成的圖像補全(completion)技術，其中代表性的有L. Limg，C. Liu 等《Real-timetexture synthesis by patch-based sampling》;A. Efros and W. T. Freeman 《Image quilting for texture synthesis and transfer》；M.Ashikhmin《Synthesizing natural textures》；該類技術優(yōu)點是速度快，但缺點不能很好的保存圖像線性結構。之后 的作者在借鑒inpainting的思想，對此進行改進，比如A. Criminisi等《Object removal by exemplar-based inpainting)) ；D. Simakov 等((Summarizing visual data using bidirectional similarity)). CH0,T. S.等〈〈The patch transform and its appl ications to image editing》；K0M0DAKIS, N.等《Image completion using efficient belief propagation viapriority scheduling and dynamic pruning》；KUMAR, N.等《What is a goodnearest neighbors algorithm for finding similar patches in images ？))； RUBINSTEIN, Μ.等《Improved seam carving for video retargeting》；WEXLER, Y 等 ((Space-time completion of video》。該技術對于填充圖像中大的丟失塊有較好的效果， 也能保存圖像的結構，但速度非常慢，對于一張1200*1200大小的圖片，修復200*200區(qū)域 常常需要幾分鐘甚至半小時。因此上述技術對于局部影像去除或修復應用來說，都具有很 大的局限性。所以，如何在全景圖像中自動去除或修復三腳架殘留影像區(qū)域，是個急需解決的 問題。

發(fā)明內容
本發(fā)明的目的在于解決上述問題，提供了一種自動移除全景圖像中三腳架殘留影像的方法，具有修復速度快且修復效果好的優(yōu)點。本發(fā)明的另一目的在于提供了一種自動移除全景圖像中三腳架殘留影像的裝置。本發(fā)明的技術方案為本發(fā)明揭示了一種自動移除全景圖像中三腳架殘留影像的 方法，包括設置原始全景圖上的待替換邊界，以遮蓋三腳架殘留影像；設置以待替換邊界上的點為中心的邊界點所在塊；在所有的邊界點中找出塊置信度最高的點ρ'，點ρ'對應的邊界點所在塊是 Vp'；將待替換邊界進行外擴，形成外擴后邊界；在外擴后邊界的范圍內找出和點P'的邊界點所在塊UV相較特征相似度最大的 邊界點所在塊，Vi'對應的邊界點是q'，用UV來替換Ψρ,；將點q'的8鄰接像素與點P'比較的特征相似度最大值賦給點P'；返回查找置信度最高的點的步驟，在未處理過的邊界點所在塊中查找置信度最高 的點，直到所有的待替換邊界處理完畢。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的一實施例，在設置原 始圖上的待替換邊界之前還包括將原始全景圖進行縮小，以使后續(xù)的處理對象是縮小后的原始全景圖。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的一實施例，通過插值 算法將原始全景圖進行縮小。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的一實施例，在找到點 P'和點q'之后，根據原始全景圖縮小比例找到原始全景圖中對應的兩個點P和q以及這 兩個點P和q所對應的塊Ψρ* Ψ,，用Ψ,替換Ψρ，并將點q的8鄰接像素與點ρ比較的 特征相似度最大值賦給點P。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的一實施例，在設置原 始全景圖上的待替換邊界的步驟中，將待替換邊界標記為和背景色不同的顏色，以使與背 景色顏色不同的邊界成為待替換邊界。本發(fā)明還揭示了一種自動移除全景圖像中三腳架殘留影像的裝置，包括邊界設置模塊，設置原始全景圖上的待替換邊界，以遮蓋三腳架殘留影像；邊界點所在塊設置模塊，耦接邊界設置模塊，設置以待替換邊界上的點為中心的 邊界點所在塊；置信度處理模塊，耦接置信度處理模塊，在所有的邊界點中找出塊置信度最高的 點P'，點ρ'對應的邊界點所在塊為UV ；邊界外擴模塊，耦接置信度處理模塊，將待替換邊界進行外擴，形成外擴后邊界；替換處理模塊，耦接該邊界外擴模塊，在外擴后邊界的范圍內找出和點ρ'的邊界 點所在塊UV相較特征相似度最大的邊界點所在塊，V,'對應的邊界點是Y，用邊界 點所在塊11V替換邊界點所在塊Vp,；賦值模塊，耦接替換處理模塊和置信度處理模塊，將點q'的8鄰接像素與點ρ' 比較的特征相似度最大值賦給點P'，返回置信度處理模塊進行處理，由置信度處理模塊在 未處理過的邊界點所在塊中查找置信度最高的點，直到所有的待替換邊界處理完畢。
根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的一實施例，該裝置還 包括圖像縮小模塊，耦接在邊界設置模塊之前，該圖像縮小模塊將原始全景圖進行縮小，以 使后續(xù)的處理對象是縮小后的原始全景圖。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的一實施例，在圖像縮 小模塊中設有一插值處理單元，通過插值處理單元中的插值算法的運行將原始全景圖進行 縮小。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的一實施例，在替換處 理模塊中還包括原始全景圖映射單元，該替換處理模塊在找到點P'和點q'之后啟動原 始全景圖映射單元，原始全景圖映射單元根據原始全景圖縮小比例找到原始全景圖中對應 的兩個點P和q以及這兩個點P和q所對應的塊Ψρ和，以使替換Ψρ，并在賦值模 塊中將點q的8鄰接像素與點ρ比較的特征相似度最大值賦給點P。根據本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的一實施例，在邊界設 置模塊中，將待替換邊界標記為和背景色不同的顏色，以使與背景色顏色不同的邊界成為 待替換邊界。本發(fā)明對比現有技術有如下的有益效果本發(fā)明可自動移除全景圖像中的三腳架 殘留影像，使得全景影像的提供者更容易去除由于全景采集不可避免出現的三腳架或其他 全景拍攝設備支架殘留在全景影像中的問題，從而解決了全景圖像處理三腳架或其他全景 拍攝設備支架去除過于依賴人力，效率低下，成本過高的問題。


圖1是本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的第一實施例的流 程圖。圖2是本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的第二實施例的流 程圖。圖3是圖2實施例的細化流程圖。圖4是本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的第一實施例的原 理圖。圖5是本發(fā)明的自動移除全景圖像中三腳架殘留影像的裝置的第二實施例的原 理圖。
具體實施例方式下面結合附圖和實施例對本發(fā)明作進一步的描述。在介紹本發(fā)明的各個實施例之前，首先對全景或者全景圖像(影像)作一個說明 若將圖像放在一個球空間、或立方體空間、或柱形空間、或錐形空間、或橢球空間中，通過上 述空間中固定一點作為觀察點，通過該觀察點采用單點透視該圖像所獲得的影像的過程即 為全景播放，則該圖像被對應的稱為球形全景、或立方體全景、或柱形全景、或錐形全景、或 橢球全景，并且統稱該圖像為全景或全景圖像(影像)。自動移除全景圖像中三腳架殘留影像的方法的第一實施例圖1示出了本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的實施例。請參見圖1，下面是對本實施例的自動移除全景圖像中三腳架殘留影像的方法的各個步驟的詳 細描述。步驟SlO 設置原始全景圖上的待替換邊界，以遮蓋選定影像。待替換邊界可標記為統一的顏色，遮蓋住原始全景圖上的背景色。也就是說，將待 替換邊界標記為和背景色不同的顏色，這樣與背景色顏色不同的邊界就可被判定為待替換 邊界。步驟Sll 設置以待替換邊界上的點為中心的邊界點所在塊。在待替換邊界上的任意點的周圍一定像素范圍內，設置以該點為中心的塊，用來 進行后續(xù)的對比和替換，塊的大小可任意設定。步驟S12:在所有未處理過的邊界點中找出塊置信度最高的點ρ'，此時點ρ'對 應的邊界點所在塊為Ψρ,。步驟S13 將待替換邊界進行外擴，形成外擴后邊界。例如，原來的待替換邊界是(rXm)，則外擴后邊界是 (r+areasize) X (m+areasize)，其中areasize是一個參數，表示在待替換邊界范圍外擴大 多少個像素，將在這一范圍內查找可供替換的塊影像。值得注意的是，在步驟SlO中設定的用于標記待替換邊界范圍內的唯一像素RGB 值(也就是顏色)與在外擴后邊界范圍內原圖的各像素RGB值全不相同。步驟S14 在外擴后邊界的范圍內找出和當前置信度最高的點P'所在塊UV相 較特征相似度最大的邊界點所在塊，V,'對應的邊界點是Y，用來替換。在本步驟中，完成了點ρ'所在塊的影像替換，但這時為防止替換時的像素損失， 需要進行后續(xù)的步驟，將保證替換得到的影像與周圍的影像完全融合。步驟S15:將點q'的8鄰接像素與點ρ'比較的特征相似度最大值賦給點ρ‘。本步驟結束后跳轉到步驟S11，直至所有的待替換邊界全部查詢完畢。在本步驟中，還需要通過一種技術手段將已經處理的邊界點所在塊(例如UV ) 排除在下一次循環(huán)的查找范圍之外，以保證在跳轉到步驟Sll的時候不用再查找已經處理 過的邊界。這樣的技術手段例如是將點P'的置信度設為0(具體可參見圖3的實施例)。在本實施例中，在步驟Sll至S15之間進行循環(huán)，直到步驟SlO中所述的待替換邊 界處理完畢。自動移除全景圖像中三腳架殘留影像的方法的第二實施例圖2示出了本發(fā)明的自動移除全景圖像中三腳架殘留影像的方法的第二實施例。 請參見圖2，下面是對本實施例的方法中的各個步驟的詳細描述。步驟S20 將原始全景圖進行縮小，以使后續(xù)的處理對象是縮小后的原始全景圖?？梢灶A設一個尺寸范圍(ηΧη)，如果原始全景圖本身就在這個尺寸范圍內，則不 需要再進行縮放，而用原始全景圖代入后續(xù)的運算。如果原始全景圖本身不在這個尺寸范圍內，則采用插值算法，將其縮放到ηΧη的 尺寸范圍內，并單獨存儲該縮小的圖像。縮小尺寸的目的在于提高運算的速度，保證查找相 關匹配點及區(qū)域的時候，造成的遍歷次數大大減少。步驟S21 判斷原始全景圖縮小后的待替換邊界。待替換邊界可標記為統一的顏色，遮蓋住原始圖上的背景色。也就是說，將待替換邊界標記為和背景色不同的顏色，這樣與背景色顏色不同的邊界就可被判定為待替換邊界。步驟S22 設置以待替換邊界上的點為中心的邊界點所在塊。在待替換邊界上的任意點的周圍一定像素范圍內，設置以該點為中心的塊，用來 進行后續(xù)的對比和替換，塊的大小可任意設定。步驟S23:在所有未處理過的邊界點中找出塊置信度最高的點ρ'，此時點ρ'對 應的邊界點所在塊為Ψρ,。步驟S24 將待替換邊界進行外擴，形成外擴后邊界。例如，原來的待替換邊界是(rXm)，則外擴后邊界是 (r+areasize) X (m+areasize)，其中areasize是一個參數，表示在待替換邊界范圍外擴大 多少個像素，將在這一范圍內查找可供替換的塊影像。值得注意的是，在步驟S21中的用于標記待替換邊界范圍內的唯一像素RGB值 (也就是顏色)與在外擴后邊界范圍內原圖的各像素RGB值全不相同。步驟S25 在外擴后邊界的范圍內找出和當前置信度最高的點P'所在塊UV相 較特征相似度最大的邊界點所在塊，V,'對應的邊界點是Y，根據原始圖縮小比例找 到原始圖中對應的兩個點P和q以及這兩個點P和q所對應的塊Ψρ和Ψ,，用來替換Ψρ。在本步驟中，完成了點ρ所在塊的影像替換，但這時為防止替換時的像素損失，需 要進行后續(xù)的步驟，將保證替換得到的影像與周圍的影像完全融合。步驟S26 將點q的8鄰接像素與點ρ之間比較的特征相似度最大值賦給點P。本步驟結束后跳轉到步驟S22，直至所有的待替換邊界全部查詢完畢。在本步驟中，還需要通過一種技術手段將已經處理的邊界點所在塊(例如UV ) 排除在下一次循環(huán)的查找范圍之外，以保證在跳轉到步驟S22的時候不用再查找已經處理 過的邊界。這樣的技術手段例如是將點P'的置信度設為0(具體可參見圖3的實施例)。在本實施例中，在步驟S22至S26之間進行循環(huán)，直到步驟S21中所述的待替換邊 界處理完畢。自動移除全景圖像中三腳架殘留影像的方法的第二實施例的細化圖3示出了上述的圖2實施例的進一步細化流程。請參見圖3，以下是第二實施例 的方法的細化流程中各個步驟的詳細描述。步驟S30 從原始全景圖中選取待修復區(qū)域。例如原始全景圖為(WXH)，待修復的邊界可標記為統一的顏色，遮蓋住背景色，是 否是待替換邊界的判斷依據是其上的顏色與其他顏色不同的邊界。步驟S31 判斷W和H是否均大于η。η是一個預設值，例如為300像素值，這是一個比較適合的保證運算效率的值。若 W和H均大于η像素，則進行步驟S312，否則進行步驟S314。步驟S312 獲取W和H與η的最大比值為rate。本步驟采用的公式為rate = max (ff/n, Η/η)。步驟S314 將rate賦值為1。步驟S316 根據步驟S312所得比率，對原始全景圖像引入插值算法，將原始圖進行縮小，縮小率為rate。本步驟采用的插值算法可以為雙線性，從而減少像素的損失。步驟S32 采用公式^ =——,Hy =——進行縮小運算，獲得W，和H，。 在本步驟中，若依步驟S314，則rate值為1，W’值等于W，H’值等于H。步驟S33 設塊Ψρ,大小為t*t，max Ψρ,為置信度，max Ψρ,值為0。本步驟中塊UV為以點ρ'為中心，邊長為t的塊，t是自然數，例如取值為10。步驟S34 判斷點ρ'是否為步驟S30中所標定的待修復區(qū)域。本步驟中判斷的依據為點的RGB值是否為待修復區(qū)域的像素值，例如在步驟S30 中設定的待修復區(qū)域的像素是綠色，則在這里就是判斷點的RGB值是否為綠色。若為綠色， 則進行步驟S342，若不為綠色，則進行步驟S344。步驟S342 求點ρ'所在塊UV的置信度。塊UV的置信度的計算是一種公知技術，例如
權利要求
1.一種自動移除全景圖像中三腳架殘留影像的方法，包括 設置原始全景圖上的待替換邊界，以遮蓋三腳架殘留影像； 設置以待替換邊界上的點為中心的邊界點所在塊；在所有的邊界點中找出塊置信度最高的點P'，點ρ'對應的邊界點所在塊是UV ； 將待替換邊界進行外擴，形成外擴后邊界；在外擴后邊界的范圍內找出和點P'的邊界點所在塊UV相較特征相似度最大的邊界 點所在塊，V,'對應的邊界點是Y，用UV來替換；將點q'的8鄰接像素與點P'比較的特征相似度最大值賦給點ρ'； 返回查找置信度最高的點的步驟，在未處理過的邊界點所在塊中查找置信度最高的 點，直到所有的待替換邊界處理完畢。
2.根據權利要求1所述的自動移除全景圖像中三腳架殘留影像的方法，其特征在于， 在設置原始圖上的待替換邊界之前還包括將原始全景圖進行縮小，以使后續(xù)的處理對象是縮小后的原始全景圖。
3.根據權利要求2所述的自動移除全景圖像中三腳架殘留影像的方法，其特征在于， 通過插值算法將原始全景圖進行縮小。
4.根據權利要求2所述的自動移除全景圖像中三腳架殘留影像的方法，其特征在于， 在找到點P'和點q'之后，根據原始全景圖縮小比例找到原始全景圖中對應的兩個點P和 q以及這兩個點P和q所對應的塊11%和，用替換Ψρ，并將點q的8鄰接像素與點 P比較的特征相似度最大值賦給點P。
5.根據權利要求1所述的自動移除全景圖像中三腳架殘留影像的方法，其特征在于， 在設置原始全景圖上的待替換邊界的步驟中，將待替換邊界標記為和背景色不同的顏色， 以使與背景色顏色不同的邊界成為待替換邊界。
6.一種自動移除全景圖像中三腳架殘留影像的裝置，包括邊界設置模塊，設置原始全景圖上的待替換邊界，以遮蓋三腳架殘留影像； 邊界點所在塊設置模塊，耦接邊界設置模塊，設置以待替換邊界上的點為中心的邊界 點所在塊；置信度處理模塊，耦接置信度處理模塊，在所有的邊界點中找出塊置信度最高的點 P'，點ρ'對應的邊界點所在塊為UV ；邊界外擴模塊，耦接置信度處理模塊，將待替換邊界進行外擴，形成外擴后邊界； 替換處理模塊，耦接該邊界外擴模塊，在外擴后邊界的范圍內找出和點P'的邊界點所 在塊uv相較特征相似度最大的邊界點所在塊，V,'對應的邊界點是Y，用邊界點所 在塊替換邊界點所在塊；賦值模塊，耦接替換處理模塊和置信度處理模塊，將點q'的8鄰接像素與點P'比較 的特征相似度最大值賦給點P'，返回置信度處理模塊進行處理，由置信度處理模塊在未處 理過的邊界點所在塊中查找置信度最高的點，直到所有的待替換邊界處理完畢。
7.根據權利要求6所述的自動移除全景圖像中三腳架殘留影像的裝置，其特征在于， 該裝置還包括圖像縮小模塊，耦接在邊界設置模塊之前，該圖像縮小模塊將原始全景圖進 行縮小，以使后續(xù)的處理對象是縮小后的原始全景圖。
8.根據權利要求7所述的自動移除全景圖像中三腳架殘留影像的裝置，其特征在于，在圖像縮小模塊中設有一插值處理單元，通過插值處理單元中的插值算法的運行將原始全 景圖進行縮小。
9.根據權利要求7所述的自動移除全景圖像中三腳架殘留影像的裝置，其特征在于， 在替換處理模塊中還包括原始全景圖映射單元，該替換處理模塊在找到點P'和點q'之 后啟動原始全景圖映射單元，原始全景圖映射單元根據原始全景圖縮小比例找到原始全景 圖中對應的兩個點P和q以及這兩個點P和q所對應的塊Ψρ和，以使替換Ψρ，并 在賦值模塊中將點q的8鄰接像素與點ρ比較的特征相似度最大值賦給點P。
10.根據權利要求6所述的自動移除全景圖像中三腳架殘留影像的裝置，其特征在于， 在邊界設置模塊中，將待替換邊界標記為和背景色不同的顏色，以使與背景色顏色不同的 邊界成為待替換邊界。
全文摘要
本發(fā)明公開了自動移除全景圖像中三腳架殘留影像的方法和裝置，具有修復速度快且修復效果好的優(yōu)點。其技術方案為方法包括設置原始全景圖上的待替換邊界，以遮蓋三腳架殘留影像；設置以待替換邊界上的點為中心的邊界點所在塊；在所有的邊界點中找出塊置信度最高的點p′，點p′對應的邊界點所在塊是ψp′；將待替換邊界進行外擴，形成外擴后邊界；在外擴后邊界的范圍內找出和點p′的邊界點所在塊ψp′相較特征相似度最大的邊界點所在塊ψq′，ψq′對應的邊界點是q′，用ψq′來替換ψp′；將點q′的8鄰接像素與點p′比較的特征相似度最大值賦給點p′；返回查找置信度最高的點的步驟，在未處理過的邊界點所在塊中查找置信度最高的點，直到所有的待替換邊界處理完畢。
文檔編號G06T5/20GK102005036SQ20101057771
公開日2011年4月6日 申請日期2010年12月8日 優(yōu)先權日2010年12月8日
發(fā)明者徐小明, 殷銘, 韓海梅 申請人:上海杰圖軟件技術有限公司