在對象去除之后恢復圖像中的缺失結構的結構分析方法
【專利摘要】本發(fā)明涉及在對象去除之后恢復圖像中的缺失結構的結構分析方法。響應于對缺失對象區(qū)域的結構分析和恢復過程來控制圖像修復。檢測去除對象區(qū)域的外圍周圍的結構邊線,并且根據(jù)顏色和深度信息確定延伸。在結構框架中確定交叉點,其中結構框架的區(qū)域然后利用補片填充過程進行合成,在這之后類似地合成圖像的剩余區(qū)域。
【專利說明】在對象去除么后恢復圖像中的缺失結構的結構分析方法
[0001] 對受版權保護的素材的申明
[0002] 本專利文檔中的部分素材受美國和其它國家的版權法下的版權保護。版權所有者 不反對任何人對專利文檔或專利公開內容按照在美國專利商標局可W公開得到的文件或 記錄中出現(xiàn)得那樣進行傳真復制,但是除此之外在任何情況下都保留所有版權。版權所有 者并非W此方式放棄任何其秘密維護本專利文檔的權利,包括但不限于根據(jù)37C.F.R.§ 1.14的權利。
技術領域
[0003] 本技術一般設及對象去除(object removal)之后的圖像修復,并且更特別地,設 及在圖像的對象去除之后恢復缺失結構。
【背景技術】
[0004] 圖像修復過程包含重建圖像帖或視頻帖中的已去除或移動的缺失部分。如果圖像 內所捕獲的對象被刪除或移動,則在原始圖像中由該對象覆蓋(掩蓋)的區(qū)域必須要重建, 使得所得到的圖像仍然看起來"自然"。運就是說,所期望的是,如果觀看者沒有看過原始圖 像,則他們不能注意到該圖像已通過去除或移動其中的對象而被改變過。
[0005] 在文獻中描述了許多目前的修復技術。一般而言,運些方法可W歸類為W下種類: (1)基于擴散的方法,(2)圖像的稀疏表示,W及(3)基于樣例(exemplar-based)的方法。
[0006] 當修復過程設及沒有復雜結構的同質和/或小的區(qū)域時,運些方法一般可W產生 合適的輸出。但是,在設及具有多個封閉的區(qū)域和結構的較大缺失區(qū)域的場景中,運些技術 在所得到的圖像中留下可見的人工痕跡,尤其在邊線(edge) W及有結構的區(qū)域中。
[0007] 因此,存在即使對于包括結構的較大修復區(qū)域也能夠生成期望的結果的修復重建 技術的需求。
【發(fā)明內容】
[000引提出了用于分析關于缺失對象區(qū)域的結構W便恢復缺失對象區(qū)域內的結構并根 據(jù)所恢復的結構執(zhí)行缺失對象的修復的裝置和方法??傮w的過程包括:檢測結構的邊線、延 伸和交叉點,使用顏色和深度信息來決定哪些邊線要延伸到缺失對象區(qū)域中W及延伸的程 度。然后,將結構線合成到對象區(qū)域中,然后,合成剩余的區(qū)域W完成修復過程。
[0009] 本技術的其它方面將在說明書的W下部分中闡明,其中詳細的描述是為了充分地 公開本技術的優(yōu)選實施例,而非對其進行限制。
【附圖說明】
[0010] 通過參考W下附圖,本技術將得到更加充分的理解,其中W下附圖僅出于說明性 的目的:
[0011] 圖1是根據(jù)本技術的實施例的用于演示結構分析和恢復的圖像示例。
[0012] 圖2是來自圖1的圖像部分,其示出了根據(jù)本技術的實施例而利用的已去除的(瓶 子)對象示例并且描繪了許多結構元素。
[0013] 圖3是示出了在結構未被適當?shù)刂亟〞r產生的許多人工痕跡和不合適的填充的修 復圖像。
[0014] 圖4是根據(jù)本技術的實施例的利用結構分析和重建的一般修復過程的流程圖。
[0015] 圖5是示出了用于本技術的實施例的缺失瓶子對象的剪影內的期望的結構線的圖 像。
[0016] 圖6是只示出了根據(jù)本技術的實施例的缺失對象區(qū)域外部的結構邊線的線條抽象 圖像。
[0017] 圖7是缺失對象區(qū)域連同根據(jù)本技術的實施例而確定的邊界、蒙版(mask)和邊線 交叉點的的圖像。
[0018] 圖8是根據(jù)本技術的實施例的邊線檢測的流程圖。
[0019] 圖9是示出了根據(jù)本技術的實施例的邊線跟蹤的圖像。
[0020] 圖10是根據(jù)本技術的實施例的邊線跟蹤的流程圖。
[0021] 圖11A至圖11C是例示了根據(jù)本技術的實施例的在紋理和結構邊線之間進行區(qū)分 的圖像。
[0022] 圖12和圖13是描繪了根據(jù)本技術的實施例的用于測試候選邊線的平直度標準之 一的圖像。
[0023] 圖14是根據(jù)本技術的實施例的使結構邊線延伸穿過缺失對象區(qū)域內部的圖像。
[0024] 圖15A和圖15B是示出了根據(jù)本技術的實施例的找到可能的邊線交叉點的圖像,其 W結構線上的抽象示出(圖15A),并且疊加到原始瓶子對象圖像上(圖15B)。
[0025] 圖16是根據(jù)本技術的實施例的考慮本地區(qū)域內的邊線兩側的示圖。
[0026] 圖17是關于根據(jù)本技術的實施例利用的對象區(qū)域的邊界周圍的顏色值的圖像。
[0027] 圖18是根據(jù)本技術的實施例的確定邊線的平均深度并且示出了疊加在對象圖像 上的運些深度的圖像。
[0028] 圖19是根據(jù)本技術的實施例的確定邊線的顏色區(qū)域并且示出了疊加在對象圖像 上的運些顏色區(qū)域的圖像。
[0029] 圖20是根據(jù)本技術的實施例的確定有效交叉點的抽象圖像。
[0030] 圖21是根據(jù)本技術的實施例的遮擋與有效交叉點相關聯(lián)的結構區(qū)域的抽象圖像。
[0031] 圖22是根據(jù)本技術的實施例的找到交叉點至遮擋有效交叉點之間的區(qū)域的過程 的流程圖。
[0032] 圖23是示出了根據(jù)本技術的實施例的補片(patch)匹配捜索過程的圖像。
[0033] 圖24A至圖24C是示出了根據(jù)本技術的實施例的作為多分辨率捜索的補片匹配捜 索過程的圖像。
[0034] 圖25是示出了根據(jù)本技術的實施例的從邊線進行補片填充的另一個對象修復示 例的圖像。
[0035] 圖26是正基于根據(jù)本技術的實施例的補片捜索過程來修復圖25中的缺失對象的 圖像。
[0036] 圖27A至圖27D是示出了如根據(jù)本技術的實施例而執(zhí)行的結構線的延伸(圖27A)、 沿著第一方向上的邊線進行填充(圖27B)、沿著另一方向上的邊線進行填充(圖27C)、然后 填充所限定的結構內的區(qū)域(圖27D)的一系列圖像。
[0037] 圖28是示出了利用根據(jù)本技術的實施例的利用結構分析和重建來執(zhí)行的修復過 程的結果的圖像。
[0038] 圖29是另一個修復情形的圖像,其示出了桌面上的Ξ個填充玩具動物。
[0039] 圖30A至30D是示出了根據(jù)本技術的實施例的根據(jù)運種結構的遮擋去除對象、結構 分析和修復的步驟的一系列圖像。
[0040] 圖31是根據(jù)本技術的實施例的由圖30A至30D中所示的修復過程而得到的圖像。
【具體實施方式】
[0041] 所述裝置和方法呈現(xiàn)了用于在對象去除之后的圖像中恢復缺失結構的結構分析 方法。提供了用于確定包圍被去除的對象區(qū)域的結構"網(wǎng)"的細節(jié)。應當理解,修復過程的其 它步驟可W使用任何期望的修復技術來實現(xiàn),諸如文獻中所描述的那些修復技術,所述文 南犬包括Criminisi、P.Perez和K.Toyama的''Re邑ionFillin邑 and Object Removal by Exemplar-Based Image Inpainting'',該文章可從在2004年的IEEE Transaction On Image Processing中找到。
[0042] -般而言,在運些修復過程中,圖像孔桐用諸如來自同一圖像的其它部分的補片 進行填充。因此,目標區(qū)域(缺失對象)的邊界中的補片由來自源區(qū)域(缺失對象區(qū)域外部的 區(qū)域)的最匹配的補片來填充。在運種邊線驅動(edge-化ive)的填充順序中,已去除區(qū)域的 邊線被給予優(yōu)先權。應當理解,當填充可能導致不合適的填充、人工痕跡和不連續(xù)時,不給 予結構適當?shù)膬?yōu)先權。
[0043] 圖1描繪了示例圖像(或視頻帖)10,其示出了其中作為對象12的透明瓶子被去除 并使用修復方法進行填實的區(qū)域14。
[0044] 圖2描繪了圍繞透明瓶子對象的區(qū)域的特寫部分14',其中透明瓶子已被去除并留 下透明瓶子對象的黑色剪影(即,用黑色均勻填充的、作為剪樣(cutout)或構型圖 (configuration化awing)的對象輪廓的二維表示)。在該圖中可W看到:至Ij達對象邊界的 許多表面結構16。出現(xiàn)了關于修復過程如何能夠自動地確定運些表面中的哪些要蔓延到缺 失區(qū)域(例如,剪影)的內部、它們應該蔓延多遠W及如何處理結構之間的交互(例如,交叉 點)的問題。如果不知道與相關結構相關聯(lián)的填充順序,則在修復期間出現(xiàn)許多問題。響應 于運些問題,出現(xiàn)各種形式的人工痕跡。
[0045] 圖3描繪了在對象去除W及未正確考慮結構的修復過程之后圖1的圖像30。從該圖 像中可W看出,修復的結果呈現(xiàn)了相當大的人工痕跡區(qū)域,同時破壞了之前被水瓶對象遮 擋的結構。
[0046] 為了克服運些問題,本公開執(zhí)行分析來恢復修復過程接下來要針對的缺失結構。 基于結構邊線、延伸和交叉點來確定缺失結構。然后按合適的順序填充所恢復的結構邊線 之間的表面組合,W完成缺失對象區(qū)域的填充。
[0047] 圖4例示了用于本公開的結構分析的示例性實施例50。示出了用于在處理單元62 上執(zhí)行的程序設計52,其中處理單元62具有至少一個計算機處理器64和至少一個存儲器 66。示出了能夠在處理器64上執(zhí)行的程序設計,其執(zhí)行所公開的方法的W下步驟。檢測54結 構邊線W及它們的延伸和交叉點。利用關于顏色和深度(例如,深度圖)的信息確定56哪些 邊線需要延伸,W及它們應該延伸到什么程度。合成58結構區(qū)域,隨后合成60剩余的區(qū)域 (例如,同質區(qū)域)。
[0048] 應該理解,本公開的圖像處理可W由一個或多個計算機處理器執(zhí)行,該一個或多 個計算機處理器結合一個或多個外部或內部計算機電路或設備內的一個或多個存儲器一 起操作。應當理解,被存儲在包括各種固態(tài)存儲器和計算機可讀介質的存儲器上的程序能 夠在計算機處理器上執(zhí)行。關于存儲器和計算機可讀介質,本技術是非限制性的,只要它們 是非臨時性的,并因此不構成臨時的電子信號。
[0049] 圖5例示了使結構線延伸70穿過缺失對象區(qū)域72的發(fā)明性對象。首先確定哪些結 構邊線與去除的對象區(qū)域相鄰,W作為與對象邊界相交的邊線。運些邊線可W被分類為Ξ 種基本類別。(1)結構邊線是通常來自對象邊界的那些邊線、對象表面上的突出邊線等。(2) 紋理邊線是響應于紋理圖案而產生的、典型地短且彎曲的那些邊線。(3)短邊線是由于照明 的噪聲和變化而產生的那些邊線。在本公開中,在被缺失對象遮擋的可辨別結構中,所考慮 的是結構邊線,而不是其它形式的邊線。所公開的系統(tǒng)在運些邊線類型之間進行辨別。
[0050] 圖6繪出了圖1的部分90,其示出了環(huán)繞去除對象的區(qū)域,其中結構線在由它們自 身示出的區(qū)域外部。
[0051] 圖7繪出了針對已去除的對象確定邊界框110,并且諸如根據(jù)預定的闊值(例如,固 定數(shù)量的像素、平均圖像大小的百分比、基于圖像和/或應用的變量),在具有一些額外余地 (margin)的情況下繞著對象來裁剪圖像。然后開始用于檢測邊線及其起始點的過程??蒞 看到對象蒙版112直到缺失對象區(qū)域的邊線,而外部環(huán)繞區(qū)域114剛好超出蒙版(缺失對象 區(qū)域外部)。在結構到達去除的對象外部的蒙版112內確定邊線點116。
[0052] 圖8例示了檢測邊線130及其起始點的過程。應用邊線檢測132,然后生成對象蒙版 134,對象蒙版被看作該圖中的內輪廓。對紅色輪廓之間的邊線點進行檢測136。運樣的邊線 點被丟棄138:在相同邊線上,并且輸出具有進入對象蒙版的各個邊線的起始點的結果,如 蒙版區(qū)域中看到的點(星號)所示。
[0053] 圖9例示了從在圖8中的蒙版區(qū)域看到的點自對象區(qū)域向外開始跟蹤邊線的示例 150。
[0054] 圖10例示了邊線跟蹤的示例實施例170,該邊線跟蹤從起始點朝著對象蒙版的外 部跟蹤邊線172期望的長度。W舉例而非限制的方式,該跟蹤的長度可W被配置為針對給定 數(shù)量的像素、對象尺寸的百分比、或在不背離本技術教導的情況下使用任何期望的預定和/ 或可選擇的標準。如果邊線被檢測到比該期望的長度短,則在任何附加的分析中丟棄174 它。通過跟蹤點來確定對每條邊線的角度和方向的估計176。
[0055] 圖11A至圖11C是例示了確定結構邊線的重要特性的示例性圖像190。在圖11A中, 圖像中可W看到著裝人體模特對象。在圖11B中,該對象被去除,留下了對象剪影。在對象區(qū) 域的區(qū)域192中,可W看到與人體模特頭發(fā)的外圍對應的紋理邊線194的示例。在區(qū)域192的 下部,可W從背景看到結構邊線196。圖11C繪出了相關紋理194和結構196邊線的近照細節(jié)。 本公開丟棄了太短的或者不夠直而不被認為是結構邊線的邊線。
[0056] 利用兩個平直度標準來確定運些線條是否是結構或紋理。在第一標準中,線條角 度在被跟蹤的邊線上應該保持基本上相同。
[0化7]圖12和圖13繪出了第二直線標準的特征210,230。對于一些短的邊線,當跟蹤算法 到達末端時,它在同一邊線上返回并且向后跟蹤邊線。運意味著運些邊線通過了第一直線 標準。因此,我們添加另一個標準:
其中Pi是當前點,P0 是邊線起始點,并且C是常量,例如是在0和4之間的值。
[005引圖14例示了使結構邊線250延伸并且尋找有效的交叉點。對運些片段的角度和方 向進行估計并且在對象蒙版的內部延伸每條邊線。
[0059] 圖15A和圖15B例示了 270在對象蒙版內尋找邊線之間的所有可能的邊線交叉點。 運些交叉點在圖15A中與單獨示出的邊線有關地示出,并且在來自原始圖像的一部分的圖 15B中被疊加在對象本身上。
[0060] 圖16例示了290關于邊線292進入對象蒙版的面向方向,本公開考慮每條邊線的兩 側,舉例來說,運兩側被命名為左化)和右(R)。該方法在對象邊界周圍的小鄰域294中針對 邊線的每一側確定平均深度和顏色值。應當理解,雖然本技術是利用Lab(即,CIELab)顏色 空間進行測試的,但是在不背離本技術教導的情況下,也可W利用其它顏色空間(例如,
[0061] 圖17例示了 310在對象區(qū)域的邊界周圍確定顏色值(雖然W單色繪出)。
[0062] 圖18例示了 330確定相對邊線的平均深度,并且對于為邊線的每一側確定的深度, 在圖中可W看到成對出現(xiàn)的從6到16的值。在小窗口內每條邊線的每一側的平均深度是圍 繞該邊線的起始點確定的。深度信息被用來確定邊線的優(yōu)先級,更靠近照相機的邊線相比 于更遠的邊線具有更高的優(yōu)先級。在另一個關于修復的索尼申請中描述了運種深度確定。
[0063] 如圖中所見,圖19示出350 了在邊線的每一側覆蓋用從1至11的值例示的顏色類。
[0064] 圖20例示370了基于匹配顏色(或充分地匹配顏色)來確定有效交叉點。該方法認 為只有當兩條邊線的顏色在交叉點的同一側匹配時,運兩個邊線才具有有效的交叉點。在 該圖中,由于在區(qū)域兩側發(fā)現(xiàn)374了相同的顏色類(9),則該區(qū)域通過了一致性約束,因此一 個交叉點372有效。運種尋找有效交叉點的過程從離照相機最近的邊線開始。
[0065] 圖21例示390 了限定從有效交叉點延伸的結構區(qū)域,其它邊線(具有較低深度優(yōu)先 級)不能穿過該結構區(qū)域。該圖突出了該結構區(qū)域的拐角。
[0066] 圖22例示了該過程從尋找交叉點到掩蓋有效交叉點之間的區(qū)域的示例性實施例 410。找到412對象蒙版內的所有可能的交叉點,并且定義414每個邊線的兩側。找到416圍繞 對象邊界的平均深度和顏色,W及邊線的每一側的平均顏色418。然后響應于距離(例如,離 攝像機的焦距)和為每條邊線的每一側定義的顏色類422來確定420邊線的優(yōu)先級。找到424 有效交叉點,并且掩蓋426運些交叉邊線之間的區(qū)域,W防止其它邊線穿過該區(qū)域中。
[0067] 然后,該方法提供了邊線區(qū)域的合成。補片匹配方法被用于合成邊線,其中按照邊 線被處理的順序來對邊線進行填充(即,最近的邊線優(yōu)先)。在填充邊線之后,對剩余的區(qū)域 進行填充。利用多分辨率捜索來加速填充過程。為了優(yōu)化執(zhí)行并增強結果,對補片捜索區(qū)域 施加了限制。
[0068] 圖23例示430了示例性捜索過程。在該捜索中,保留關于之前的補片在哪里獲得的 信息,使得該區(qū)域可W用作當前補片的可能位置。在該圖中,可W看到上部位置432,從中獲 得用于進行中的補片匹配區(qū)域438內的位置434的補片。對于后續(xù)的補片436,由于該信息已 被保留,因此可W再次嘗試從上部位置432獲得補片。
[0069] 圖24A至圖24C例示了捜索過程的某些重要元素。首先要注意,捜索優(yōu)選地被執(zhí)行 為多分辨率捜索,圖24A示出了在最低分辨率的示例450,圖24B示出了在中等分辨率的示例 470,圖24C示出了在最高分辨率的示例490。通過在低分辨率開始捜索過程,然后當找到看 似合適的候選補片區(qū)域時上移至更高分辨率,來大幅地加快捜索。應當理解,在不受限制并 且不背離本公開的教導的情況下,運種捜索可W利用不同數(shù)量的分辨率和/或不同的分辨 率范圍。在每個階段,通過圍繞之前階段的解決方案捜索來進行修正結果。在圖24A中,圍繞 被填充的區(qū)域454定義捜索區(qū)域452。找到候選區(qū)域456W用于填充。在圖24B中,W中等分辨 率470,針對正被填充的區(qū)域474來約束472捜索區(qū)域。最后,在圖24C中,W最高(例如,原始) 分辨率,仍然維持捜索區(qū)域492,來自捜索區(qū)域492的補片被填充在當前填充位置494,并且 捜索還在該補片填充位置附近496執(zhí)行。
[0070] 圖25例示510 了本技術要求利用與邊線起始點的顏色相似的顏色填充整個邊線。 在該圖中示出了示例性邊線512, W及在缺失區(qū)域的邊界的方框514及其相鄰的補片填充 516。
[0071] 在該過程中,邊線點及其延伸被標記,使得邊線補片屬于哪條邊線是已知的。對于 每條邊線的低于期望闊值(例如,5)的開始幾個補片,如之前執(zhí)行的那樣執(zhí)行匹配過程。對 于邊線上的剩余補片,將缺省位置設置為起始點的匹配位置,除了目標補片周圍的小捜索 區(qū)域之外,還圍繞所述始點的匹配位置執(zhí)行捜索。
[0072] 圖26例示了被示為正在對圖25中所見的對象區(qū)域進行的填充邊線補片的示例性 圖像530。示出了正在對被填充532的目標補片進行的修復,圍繞該區(qū)域具有捜索窗口 534 (例如,到期望數(shù)量的像素、補片或其它尺寸約束)。為邊線起始補片找到匹配位置536,并且 為W后的捜索保留捜索窗口 538。
[0073] 圖27A至圖27D繪出了邊線填充550的進展。在圖27A中,可W看到缺失對象區(qū)域和 環(huán)繞結構線條的抽象,其中可W看到延伸的邊線552、554延伸越過對象邊界556進入對象區(qū) 域內部。在圖27B中,延伸的邊線552、554已經(jīng)用補片進行了填充。在圖27帥,可W看到結構 邊線填充558從右側延伸至與邊線552、554交叉。最后在圖27D中,由于在該下部分中的所有 有效結構線都被延伸,因此在運些結構線條內限定的區(qū)域被填充。
[0074] 圖28例示了在根據(jù)本技術對所有結構線W及其中限定的區(qū)域進行填充之后的運 些修復結果的示例性圖像570。在將該圖與圖1比較時,可W看到,已經(jīng)在適當?shù)慕Y構框架內 W適當?shù)捻樞蛐迯土吮黄孔诱谧〉慕Y構和區(qū)域。
[0075] 圖29例示了該修復過程在示例性圖像590上的另一個示例,其中示例圖像590示出 了桌子上的Ξ個填充玩具動物。最左邊的對象(熊填充玩具動物)是要去除和填充的。
[0076] 圖30A至圖30D例示了掩蓋掉并填充圖29的圖像中所見的熊對象的過程。圖30A是 在熊對象上限定的對象蒙版的示例610。在圖30B中,可W看到通過邊線檢測器生成邊線地 圖的示例615。在圖30C中,示例性圖像620示出了穿過熊對象內部的連續(xù)的結構邊線。然后 在圖30D中,可W看到填充穿過熊對象的邊線的補片的示例625,在運之后,對剩余結構進行 填充W提供在下一張圖中看到的結果。
[0077] 圖31例示了在去除熊對象并執(zhí)行本公開中概括的步驟之后從圖29中得到的經(jīng)修 復的圖像的示例630。
[0078] 本技術的實施例可W參考根據(jù)本技術實施例的方法和系統(tǒng)的流程圖示和/或算 法、公式或其它計算描寫來進行描述,也可W被實現(xiàn)為計算機程序產品。就運點而言,流程 圖的每個方框或步驟、W及流程圖中方框(和/或步驟)的組合、算法、公式或計算描寫可W 通過各種方式實現(xiàn),諸如包括被包含在計算機可讀程序代碼邏輯中的一條或多條計算機程 序指令的軟件和/或硬件、固件。應當理解,任何運種計算機程序指令可W被加載到計算機 上,所述計算機包括但不限于通用計算機或專用計算機或者用于制造機器的其它可編程處 理裝置,使得在計算機或其它可編程處理裝置上執(zhí)行的計算機程序指令創(chuàng)建用于實現(xiàn)在流 程圖的方框中指定的功能的單元。
[0079] 相應地,流程圖的方框、算法、公式或計算描述支持用于執(zhí)行指定功能的單元的組 合、用于執(zhí)行指定功能的步驟的組合、W及計算機程序指令,諸如包含在計算機可讀程序代 碼邏輯單元中用于執(zhí)行指定功能的計算機程序指令。還應當理解,本文描述的流程圖示中 的每個方框、算法、公式或計算描寫W及它們的組合可W由執(zhí)行指定功能或步驟的基于專 用硬件的計算機系統(tǒng)、或者專用硬件和計算機可讀程序代碼邏輯單元的組合來實現(xiàn)。
[0080] 此外,運些計算機程序指令,諸如包含在計算機可讀程序代碼邏輯中的計算機程 序指令,也可W存儲在計算機可讀存儲器中,所述計算機可讀存儲器可W指示計算機或其 它可編程處理裝置W特定的方式工作,使得存儲在計算機可讀存儲器中的指令產生運樣一 種產品:該產品包括實現(xiàn)在流程圖的方框中指定的功能的指令單元。該計算機程序指令還 可W加載到計算機或其它可編程處理裝置上,W使一系列操作步驟在計算機或其它可編程 處理裝置上執(zhí)行,從而產生由計算機實現(xiàn)的過程,使得在計算機或其它可編程處理裝置上 執(zhí)行的指令提供用于實現(xiàn)在流程圖的方框、算法、公式或計算描寫中指定的功能的步驟。
[0081] 還應當理解,本文使用的"程序"是指可W被處理器執(zhí)行W執(zhí)行如本文所述的功能 的一條或多條指令。程序可W包含在軟件、固件、或軟件和固件的組合中。程序可W存儲在 設備本地的非臨時性介質中,或者可W遠程地存儲在諸如服務器上,或者程序的全部或一 部分可W本地和遠程地存儲。遠程存儲的程序可W通過用戶初始化或基于一個或多個因素 而自動地下載(推送)到設備。還應當理解,如本文所使用的,術語處理器、中央處理單元 (CPU) W及計算機同義地用來表示能夠執(zhí)行程序并與輸入/輸出接口和/或外圍設備通信的 設備。
[0082] 根據(jù)本文的描述,應當理解,本公開包含多個實施例,包括但不限于W下:
[0083] 1.-種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的裝置,包 括:(a)計算機處理器;及(b)可W在計算機處理器上執(zhí)行的程序,用于分析關于所接收的圖 像內的缺失對象區(qū)域的結構,W便恢復缺失對象區(qū)域內部的結構并通過執(zhí)行W下步驟根據(jù) 所恢復的結構來進行缺失對象區(qū)域的修復,所述步驟包括:(b)(i)檢測圖像內要修復的缺 失對象區(qū)域的結構邊線、延伸和交叉點;(b)(ii)決定哪些結構邊線要延伸;(b)(iii)響應 于顏色和深度信息來將結構邊線延伸到缺失對象區(qū)域中;(b)(iv)將結構區(qū)域合成到缺失 對象區(qū)域中;及(b)(v)合成結構區(qū)域外部的剩余缺失對象區(qū)域W完成對去除對象區(qū)域的修 復。
[0084] 2.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為在針對缺失對象區(qū)域確定邊界框之后檢測缺失對象區(qū)域的結構邊線、延伸和交叉點。
[0085] 3.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為響應于在具有額外空間余地的情況下圍繞缺失對象區(qū)域進行裁剪來確定所述邊界框。
[0086] 4.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為響應于利用用于擴展邊界的預定闊值、固定數(shù)量的像素、平均圖像大小的百分比、基于 圖像和/或應用的變量、或者它們的組合來確定所述額外空間余地。
[0087] 5.如前面任何實施例所述的裝置,其中所述結構邊線是到達缺失對象區(qū)域的邊 線。
[0088] 6.如任何前面實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為決定哪些結構邊線要延伸,并且基于那些結構邊線的顏色和深度信息來確定所延伸的 結構邊線的交叉點。
[0089] 7.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為基于顏色和深度信息來決定要將結構邊線延伸到缺失對象區(qū)域中的程度。
[0090] 8.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被配 置為合成包括了在缺失對象區(qū)域內但在結構區(qū)域外的區(qū)域的剩余缺失對象區(qū)域。
[0091] 9.如前面任何實施例所述的裝置,其中所述剩余缺失對象區(qū)域包括圖像的同質區(qū) 域。
[0092] 10.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為響應于W下步驟來檢測圖像內要修復的去除對象區(qū)域的結構邊線、延伸和交叉點: (a) 確定哪些結構邊線與缺失對象區(qū)域相鄰,W作為與缺失對象區(qū)域的邊界相交的邊線; (b) 將運些結構邊線歸為Ξ種總的類別:(b)(i)由對象表面上的突出邊線和對象邊界引起 的結構邊線;(b)(ii)響應于紋理圖案而產生的紋理邊線,該紋理邊線由于短且彎曲而可W 辨別;(b)(iii)由照明中的噪聲和變化引起的短邊線;及(C)對于在缺失對象區(qū)域內的延伸 和相交,只考慮所述結構邊線,不考慮紋理邊線或噪聲邊線。
[0093] 11.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為恢復缺失對象區(qū)域的修復區(qū)域內的結構元素。
[0094] 12.-種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的裝置, 包括:(a)計算機處理器;及(b)可W在計算機處理器上執(zhí)行的程序,用于分析關于圖像的缺 失對象區(qū)域的結構,W便恢復缺失對象區(qū)域內的結構并通過執(zhí)行W下步驟根據(jù)所恢復的結 構來執(zhí)行缺失對象區(qū)域的修復,所述步驟包括:(b)(i)檢測圖像內要修復的缺失對象區(qū)域 的結構邊線、延伸和交叉點;(b)(ii)基于確定哪些結構邊線與缺失對象區(qū)域相鄰W作為與 缺失對象區(qū)域邊界相交的邊線,隨后將運些結構邊線歸類為Ξ種總的類別,即,由對象表面 上的突出邊線和對象邊界引起的結構邊線、響應于紋理圖案而產生的紋理邊線(由于短且 彎曲,從而可辨別)、W及由照明中的噪聲和變化引起的短邊線,對于缺失對象區(qū)域中延伸 和相交,只考慮所述的結構邊線,而不考慮紋理邊線或噪聲邊線,來決定哪些結構邊線要延 伸;(b)(iii)根據(jù)顏色和深度信息將結構邊線延伸到缺失對象區(qū)域中;(b)(iv)將結構區(qū)域 合成到缺失對象區(qū)域中;及(b)(v)合成結構區(qū)域外的剩余缺失對象區(qū)域W完成缺失對象區(qū) 域的修復。
[0095] 13.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為在針對缺失對象區(qū)域確定邊界框之后檢測去除對象區(qū)域的結構邊線、延伸和交叉 點。
[0096] 14.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為響應于在具有額外空間余地的情況下圍繞缺失對象區(qū)域進行裁剪來確定所述邊界 框。
[0097] 15.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為響應于預定的闊值、固定數(shù)量的像素、平均圖像大小的百分比、基于圖像和/或應用 的變量、或者它們的組合來確定所述額外空間余地。
[0098] 16.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為決定哪些結構邊線要延伸,并且基于那些結構邊線的顏色和深度信息來確定所延伸 的結構邊線的交叉點。
[0099] 17.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為基于顏色和深度信息來決定要將結構邊線延伸到缺失對象區(qū)域中的程度。
[0100] 18.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為合成包括了在缺失對象區(qū)域內但在結構區(qū)域之外的區(qū)域的剩余缺失對象區(qū)域。
[0101] 19.如前面任何實施例所述的裝置,其中所述可在計算機處理器上執(zhí)行的程序被 配置為恢復缺失對象區(qū)域的修復區(qū)域內的結構元素。
[0102] 20.-種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的方法, 包括:(a)通過電子圖像處理設備檢測圖像內要修復的缺失對象區(qū)域的結構邊線、延伸和交 叉點;(b)決定哪些結構邊線要延伸,同時忽略紋理邊線和噪聲邊線;(C)響應于利用顏色和 深度信息來將結構邊線延伸到缺失對象區(qū)域中;(d)將結構區(qū)域合成到缺失對象區(qū)域中;及 (e)合成結構區(qū)域之外的剩余缺失對象區(qū)域W完成去除對象區(qū)域的修復。
[0103] 雖然本文的描述包含許多細節(jié),但是運些不應當被理解為限制本公開內容的范 圍,而應被理解為僅僅提供一些當前優(yōu)選實施例的例示。因此,應當理解,本公開的范圍完 全涵蓋對本領域技術人員會變得顯然的其它實施例。
[0104] 在權利要求中,除非明確聲明,否則對單數(shù)的元素的引用并非意指"一個且只有一 個",而是"一個或多個"。所公開實施例中已為本領域普通技術人員所知的元素的所有結構 和功能的等效都通過引用被明確地并入于此,并且意圖被本權利要求涵蓋。此外,無論元 素、組件或方法步驟是否在權利要求中明確闡述,本公開中的元素、組件或方法步驟都非意 在奉獻給公眾。本文中的權利要求元素不能被理解為是"單元加功能"的元素,除非該元素 是利用短語"用于…的單元"明確地記載的。本文中的權利要求元素不能被理解為是"步驟 加功能"的元素,除非該元素是利用短語"用于…的步驟"明確地記載的。
【主權項】
1. 一種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的裝置,包括: (a) 計算機處理器;及 (b) 能夠在所述計算機處理器上執(zhí)行的程序,用于分析關于所接收的圖像內的缺失對 象區(qū)域的結構,以便恢復缺失對象區(qū)域內的結構并通過執(zhí)行以下步驟根據(jù)所恢復的結構來 執(zhí)行缺失對象區(qū)域的修復: (i) 針對圖像內正要修復的缺失對象區(qū)域檢測結構邊線、延伸和交叉點; (ii) 決定哪些結構邊線要延伸; (iii) 響應于顏色和深度信息來將結構邊線延伸到缺失對象區(qū)域中; (i v)將結構區(qū)域合成到缺失對象區(qū)域中;及 (v)合成結構區(qū)域外部的剩余缺失對象區(qū)域以完成去除對象區(qū)域的修復。2. -種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的裝置,包括: (a) 計算機處理器;及 (b) 能夠在計算機處理器上執(zhí)行的程序,用于分析關于圖像的缺失對象區(qū)域的結構,以 便恢復缺失對象區(qū)域內的結構并通過執(zhí)行以下步驟根據(jù)所恢復的結構來執(zhí)行缺失對象區(qū) 域的修復: (i) 針對圖像內正要修復的缺失對象區(qū)域檢測結構邊線、延伸和交叉點; (ii) 基于以下來決定哪些結構邊線要延伸:確定哪些結構邊線與缺失對象區(qū)域相鄰, 以作為與缺失對象區(qū)域的邊界相交的邊線;隨后將這些結構邊線分類為三種總的類別,即, 由對象表面上的突出邊線和對象邊界引起的結構邊線、響應于紋理圖案而引起的紋理邊 線、以及由照明中的噪聲和變化引起的短邊線,其中所述紋理邊線由于短且彎曲從而是能 夠辨別的,其中對于缺失對象區(qū)域內的延伸和交叉點,只考慮所述結構邊線,而不考慮紋理 邊線或噪聲邊線; (iii) 響應于顏色和深度信息來將結構邊線延伸到缺失對象區(qū)域中; (i v)將結構區(qū)域合成到缺失對象區(qū)域中;及 (v)合成結構區(qū)域外部的剩余缺失對象區(qū)域以完成缺失對象區(qū)域的修復。3. 如權利要求1或2所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為 在針對缺失對象區(qū)域確定邊界框之后檢測缺失對象區(qū)域的結構邊線、延伸和交叉點。4. 如權利要求3所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為響 應于在具有額外空間余地的情況下圍繞缺失對象區(qū)域進行裁剪來確定所述邊界框。5. 如權利要求4所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為響 應于利用用于擴展邊界的預定閾值、固定數(shù)量的像素、平均圖像大小的百分比、基于圖像或 應用的變量、或其組合來確定所述額外空間余地。6. 如權利要求1所述的裝置,其中所述結構邊線是到達缺失對象區(qū)域的邊線。7. 如權利要求1或2所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為 決定哪些結構邊線要延伸,并且基于這些結構邊線的顏色和深度信息來確定所延伸的結構 邊線的交叉點。8. 如權利要求1或2所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為 基于顏色和深度信息來決定要將結構邊線延伸到缺失對象區(qū)域中的程度。9. 如權利要求1或2所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為 合成包含了在缺失對象區(qū)域內但在結構區(qū)域外的區(qū)域的剩余缺失對象區(qū)域。10. 如權利要求9所述的裝置,其中所述剩余缺失對象區(qū)域包括所述圖像的同質區(qū)域。11. 如權利要求1所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置為響 應于以下操作來檢測圖像內正要修復的去除對象區(qū)域的結構邊線、延伸和交叉點: (a) 確定哪些結構邊線與缺失對象區(qū)域相鄰,以作為與缺失對象區(qū)域的邊界相交的邊 線; (b) 將這些結構邊線分類為三種總的類別: (i) 由對象表面上的突出邊線和對象邊界引起的結構邊線; (ii) 由紋理圖案引起的紋理邊線,所述紋理邊線由于短且彎曲從而是能夠辨別的;及 (iii) 由照明中的噪聲和變化引起的短邊線;及 (c) 對于缺失對象區(qū)域內的延伸和交叉點,只考慮所述結構邊線,而不考慮紋理邊線或 噪聲邊線。12. 如權利要求1或2所述的裝置,其中所述能夠在計算機處理器上執(zhí)行的程序被配置 為恢復缺失對象區(qū)域的修復區(qū)域內的結構元素。13. -種用于在對象去除之后在圖像修復過程中對結構進行分析和恢復的方法,包括: (a) 通過電子圖像處理設備檢測圖像內正要修復的缺失對象區(qū)域的結構邊線、延伸和 交叉點; (b) 決定哪些結構邊線要延伸,同時忽略紋理邊線和噪聲邊線; (c) 響應于利用顏色和深度信息,來將結構邊線延伸到缺失對象區(qū)域中; (d) 將結構區(qū)域合成到缺失對象區(qū)域中;及 (e) 合成結構區(qū)域外部的剩余缺失對象區(qū)域以完成去除對象區(qū)域的修復。14. 如權利要求13所述的方法,其中所述方法還包括在針對缺失對象區(qū)域確定邊界框 之后檢測缺失對象區(qū)域的結構邊線、延伸和交叉點。15. 如權利要求14所述的方法,其中所述方法還包括響應于在具有額外空間余地的情 況下圍繞缺失對象區(qū)域進行裁剪來確定所述邊界框。16. 如權利要求15所述的方法,其中所述方法還包括響應于利用用于擴展邊界的預定 閾值、固定數(shù)量的像素、平均圖像大小的百分比、基于圖像或應用的變量、或其組合來確定 所述額外空間余地。17. 如權利要求13所述的方法,其中所述結構邊線是到達缺失對象區(qū)域的邊線。18. 如權利要求13所述的方法,其中所述方法還包括決定哪些結構邊線要延伸,并且基 于這些結構邊線的顏色和深度信息來確定所延伸的結構邊線的交叉點。19. 如權利要求13所述的方法,其中所述方法還包括基于顏色和深度信息來決定要將 結構邊線延伸到缺失對象區(qū)域中的程度。20. 如權利要求13所述的方法,其中所述方法還包括合成包含了在缺失對象區(qū)域內但 在結構區(qū)域外的區(qū)域的剩余缺失對象區(qū)域。21. 如權利要求20所述的方法,其中所述剩余缺失對象區(qū)域包括所述圖像的同質區(qū)域。22. 如權利要求13所述的方法,其中所述方法還包括響應于以下操作來檢測圖像內正 要修復的去除對象區(qū)域的結構邊線、延伸和交叉點: (a)確定哪些結構邊線與缺失對象區(qū)域相鄰,以作為與缺失對象區(qū)域的邊界相交的邊 線; (b) 將這些結構邊線分類為三種總的類別: (i) 由對象表面上的突出邊線和對象邊界引起的結構邊線; (ii) 由紋理圖案引起的紋理邊線,所述紋理邊線由于短且彎曲從而是能夠辨別的;及 (iii) 由照明中的噪聲和變化引起的短邊線;及 (c) 對于缺失對象區(qū)域內的延伸和交叉點,只考慮所述結構邊線,而不考慮紋理邊線或 噪聲邊線。23.如權利要求13所述的方法,其中所述方法還包括恢復缺失對象區(qū)域的修復區(qū)域內 的結構元素。
【文檔編號】G06T5/00GK105825478SQ201610011410
【公開日】2016年8月3日
【申請日】2016年1月8日
【發(fā)明人】G·阿布杜拉希安, M·格哈拉維-阿爾克漢薩利
【申請人】索尼公司