一種圖像編輯傳播方法
【專利摘要】本發(fā)明公開了一種圖像編輯傳播方法，包括以下步驟：1)輸入待處理的原始圖像，并獲取所述原始圖像的深度圖；2)接收用戶對原始圖像期望的傳播顏色；3)對原始圖像和所述深度圖分別進行域變換，并結合原始圖像域變換結果和深度圖域變換結果，得到混合域變換結果；4)利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖片中各像素點編輯后的色度參考值；5)根據步驟4)得到的各像素點的色度參考值確定得到各像素點的色度值，結合所述色度值和原始圖像的灰度值，確定得到編輯傳播后的結果圖像。本發(fā)明的圖像編輯傳播方法，編輯傳播效果較好，沒有顏色傳播錯誤和混亂的現(xiàn)象，且邊緣處的顏色傳播也較正確。
【專利說明】一種圖像編輯傳播方法 【【技術領域】】
[0001] 本發(fā)明涉及計算機視覺技術和圖像處理領域，特別是涉及一種基于混合域變換的 圖像編輯傳播方法。 【【背景技術】】
[0002] 圖像編輯傳播方法是當前計算機圖像處理、視頻處理等學科領域的研究熱點，被 廣泛應用于影視制作、動畫制作，交互式視頻和圖像處理等領域。圖像編輯傳播是依據原圖 像的信息將用戶期望的編輯效果傳播到整個圖像中去。例如，用戶期望將圖片中人臉區(qū)域 編輯成紅色，圖像編輯傳播技術即是根據用戶的這一期望，對圖片進行處理，獲得處理后的 結果，處理后圖片中人臉所在區(qū)域變成紅色的。
[0003] 傳統(tǒng)的圖像編輯傳播方法是使用原圖像的顏色或紋理的邊界信息，然后基于相似 度的度量來將用戶期望的編輯效果傳播到整個圖片中相似的目標區(qū)域，最后再優(yōu)化傳播 結果。圖像編輯傳播的方法有兩大類：基于窗口的局部方法和利用能量函數的全局方法。 基于窗口的局部方法的特點是計算復雜度低，執(zhí)行效率高，但得到的編輯傳播效果不夠理 想?；谀芰康娜址椒ㄖ械哪芰亢瘮狄话闶且韵聝刹糠帜芰恐停菏紫仁菙祿?，用來 測量期望的結果和目標結果的相似程度；其次是平滑項，用來約束相鄰像素之間的變換大 小，即連續(xù)性。構造完能量函數后，即可再利用優(yōu)化算法來最小化或最大化能量函數和求 得圖像編輯傳播的結果。目前用于圖像編輯傳播的常用方法有流形保持算法（Manifold Preserving)和稀疏控制模型（A Sparse Control Model)。傳統(tǒng)的圖像編輯傳播方法編輯 傳播效果不理想，表現(xiàn)在傳播后整個圖片顏色較混亂，或者傳播后圖像邊緣處出現(xiàn)顏色傳 播錯誤。 【
【發(fā)明內容】
】
[0004] 本發(fā)明所要解決的技術問題是：彌補上述現(xiàn)有技術的不足，提出一種圖像編輯傳 播方法，編輯傳播效果較好，沒有顏色傳播錯誤和混亂的現(xiàn)象，且邊緣處的顏色傳播也較正 確。
[0005] 本發(fā)明的技術問題通過以下的技術方案予以解決：
[0006] -種圖像編輯傳播方法，包括以下步驟：1)輸入待處理的原始圖像，并獲取所述 原始圖像的深度圖；2)接收用戶對原始圖像期望的傳播顏色；3)對原始圖像和所述深度圖 分別進行域變換，并結合原始圖像域變換結果和深度圖域變換結果，得到混合域變換結果； 4)利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖片中 各像素點編輯后的色度參考值；5)根據步驟4)得到的各像素點的色度參考值確定得到各 像素點的色度值，結合所述色度值和原始圖像的灰度值，確定得到編輯傳播后的結果圖像。
[0007] 本發(fā)明與現(xiàn)有技術對比的有益效果是：
[0008] 本發(fā)明的圖像編輯傳播方法，除了基于原始圖像的顏色紋理信息進行編輯傳播， 還引入了深度信息，對原始圖像和深度圖均進行域變換，結合兩者域變換結果將用戶期望 的顏色編輯傳播到目標區(qū)域。編輯傳播過程中基于顏色、紋理、深度信息進行相似性度量， 這樣，在顏色和紋理相似度很大的區(qū)域，而用戶期望的編輯不一樣時，可依據深度信息很好 地區(qū)分不同的物體和區(qū)域，從而獲得比現(xiàn)有只利用圖像顏色紋理信息的方法更加好的編輯 傳播效果。特別是邊緣區(qū)域的編輯傳播，確保邊緣處的顏色傳播較正確。 【【專利附圖】

【附圖說明】】
[0009] 圖1是本發(fā)明【具體實施方式】的圖像編輯傳播方法的流程圖。 【【具體實施方式】】
[0010] 下面結合【具體實施方式】并對照附圖對本發(fā)明做進一步詳細說明。
[0011] 本發(fā)明的圖像編輯傳播方法是一種基于能量的局部方法。真實的場景往往包含 多種信息，例如顏色，紋理，形狀，深度等等，通過仔細研究場景的深度信息和紋理顏色信 息以及場景中相似區(qū)域的關系，發(fā)現(xiàn)通過顏色的差異能夠很好地區(qū)分場景中顏色不同的物 體，通過紋理的差異也能很好地區(qū)別不同紋理的物體和區(qū)域。這樣，基于顏色和紋理，使用 原圖像區(qū)域的相似做編輯傳播，利用域變換模型（Domain Transform)對原圖像做域變換， 通過預設的參數確定像素之間的相似性，根據相似性將用戶期望的編輯傳播到目標區(qū)域中 去。除此之外，在上述模型的基礎上引入場景的深度信息，除了可以保證上述模型能夠做到 的基于顏色和紋理差異的編輯傳播效果，還能克服顏色和紋理相似或一樣時編輯傳播的缺 陷。這是因為：如果場景中的物體顏色和紋理相似度很大，甚至完全一樣，而用戶期望的編 輯卻不一樣，則基于顏色和紋理相似度的編輯傳播往往會失效。而結合深度信息后，不同的 物體和區(qū)域的深度信息不一樣，則深度信息能很好地區(qū)分不同的物體和區(qū)域，從而確保此 時編輯傳播效果較好。而真實的場景中，物體總是有深度差異的，因此，深度信息的使用也 具有普適性，使得整張圖片的編輯傳播效果均較好。
[0012] 如圖1所示，為本【具體實施方式】中圖像編輯傳播方法的流程圖，包括以下步驟：
[0013] A1)輸入待處理的原始圖像，并獲取所述原始圖像的深度圖。
[0014] 輸入的原始圖像可為彩色圖片或者灰度圖片，可以是相機所拍攝或者從視頻序列 中抽取出來的任意一幀圖像。
[0015] 獲取圖像的深度圖時，可以通過相應的深度相機拍攝原始圖像對應的場景直接獲 取深度圖，也可以用當前比較成熟的計算深度圖的方法計算得到的深度圖。
[0016] A2)接收用戶對原始圖像期望的傳播顏色。
[0017] 用戶輸入期望被傳播的顏色時，可通過計算機輸入接口輸入可視的筆畫和顏色， 從而為圖像中某些對象或者區(qū)域指定新的顏色。通過筆畫和顏色即可識別出用戶期望為哪 些像素編輯賦予新顏色。
[0018] A3)對原始圖像和所述深度圖分別進行域變換，并結合原始圖像域變換結果和深 度圖域變換結果，得到混合域變換結果。
[0019] 優(yōu)選地，域變換時循環(huán)3?5次重復進行，且當前次域變換時基于前一次域變換的 結果，這樣可提高相似度度量的準確性。根據經驗，一般3次即可，再重復多次，雖然效果又 一定提升，但計算量也相應增加了。
[0020] 優(yōu)選地，進行域變換時按行、列交錯進行，且當前按列進行域變換時基于前一次行 域變換的結果；將一次行、列變換作為一個循環(huán)，循環(huán)3?5次得到最終域變換結果。將域 變換直接按照行或者列進行，不涉及像素鄰域之間的相關性，使得整個處理過程極其高效 快速，而且還能獲得十分令人滿意的編輯傳播效果。
[0021] 其中，原圖像域變換為：
[0022] 原始圖像是單通道的灰度圖時，域變換時按行或者列進行，具體表達式為：
【權利要求】
1. 一種圖像編輯傳播方法，其特征在于：包括以下步驟： 1) 輸入待處理的原始圖像，并獲取所述原始圖像的深度圖； 2) 接收用戶對原始圖像期望的傳播顏色； 3) 對原始圖像和所述深度圖分別進行域變換，并結合原始圖像域變換結果和深度圖域 變換結果，得到混合域變換結果； 4) 利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖 片中各像素點編輯后的色度參考值； 5) 根據步驟4)得到的各像素點的色度參考值確定得到各像素點的色度值，結合所述 色度值和原始圖像的灰度值，確定得到編輯傳播后的結果圖像。
2. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3)中進行域變換 時循環(huán)3?5次重復進行，且當前次域變換時基于前一次域變換的結果。
3. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3)中進行域變換 時按行、列交錯進行，且當前按列進行域變換時基于前一次行域變換的結果；將一次行、列 變換作為一個循環(huán)，循環(huán)3?5次得到最終域變換結果。
4. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3) 中原始圖像是單通道的灰度圖，域變換時按行或者列進行，具體表達式為：
，其中，u表示像素點X的行坐標或者列坐標；〇H， 〇s，（^分 別是用戶設定的參數，由用戶根據圖像域變換后的平滑程度以及編輯傳播后結果圖像的視 覺效果調整設定得到，〇s的取值范圍為20?200, 的取值范圍為0.1?2;I(x)， 在首次域變換時，為原始圖像中像素點X的灰度值；在非首次域變換時，為像素點X原始圖 像前一次域變換的結果；I'（X)表示I(x)的導數。
5. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3)中 原始圖像是三通道的彩色圖，域變換時分通道、按行或者列進行，具體表達式為：
，其中，k = 1，2, 3,分別表示3個通道；u表示像 素點X的行坐標或者列坐標；σ H，〇 s，σ A分別是用戶設定的參數，由用戶根據圖像域變換 后的平滑程度以及編輯傳播后結果圖像的視覺效果調整設定得到，〇s的取值范圍為 20?200, σΑ的取值范圍為〇· 1?2 ;Ik(x)，在首次域變換時，為原始圖像中像素點X相應 通道的灰度值；在非首次域變換時，為像素點X原始圖像相應通道的前一次域變換的結果； V (X)表示Ik(x)的導數。
6. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3)中深度圖域變 換時按行或者列進行，具體表達式進行
其中，u表示像素點X的行 坐標或者列坐標；σ d由用戶根據原始圖像的顏色和紋理差異情況而設定的參數，表示深度 圖對域變換結果的影響程度，取值范圍為〇. 5?50 ;D(x)，在首次域變換時，為深度圖中像 素點X的灰度值；在非首次域變換時，為像素點X深度圖前一次域變換的結果；D'（X)表示 D(x)的導數。
7. 根據權利要求6所述的圖像編輯傳播方法，其特征在于：當原始圖像的顏色和紋理 差異較大時，設定〇(1在0.5< 的范圍內；當原始圖像的顏色和紋理差異較小時，設 定〇(1在5 < 50的范圍內。
8. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟3)中混合域變換 結果為ct(u) = ctl (u)+ct2(u)，其中，ctl (u)表示原始圖像的域變換結果；ct2(u)表示深 度圖的域變換結果。
9. 根據權利要求1或4或5所述的圖像編輯傳播方法，其特征在于：所述步驟4)中進 行濾波處理時，按照如下步驟進行，得到當前像素點P的色度參考值： 首先，根據H(t (p), t (q)) = δ {11 (p)_t (q) | < r}，確定得到當前像素點p對應的像素 點q的集合D(Q)，像素點q帶入函數中后使Η函數的值為1 ;其中，t(p)、t(q)分別表示像 素點P、q處的混合域變換結果；r為根據原始圖像域變換時設定的濾波器核的標準差參數 〇11而確定的參數，
當滿足設定的條件時，S函數取值為1 ;當不滿足設定的條 件時，δ函數取值為〇 ; 其次，根據確定的像素點q的集合D ( Ω )，計算得到當前像素點ρ對應的歸一化系數Κρ，
最后，計算像素點Ρ對應的色度參考值J(P)，
，其中， I(q)表示用戶在像素點q處期望傳播的顏色的像素值。
10. 根據權利要求1所述的圖像編輯傳播方法，其特征在于：所述步驟5)中：當步驟4) 中得到的像素點的色度參考值為〇時，像素點的色度值取原始圖像中像素點的色度值；當 步驟4)中得到的像素點的色度參考值不為0時，像素點的色度值取步驟4)中得到的色度 參考值。
【文檔編號】G06T11/40GK104143203SQ201410368212
【公開日】2014年11月12日 申請日期:2014年7月29日 優(yōu)先權日:2014年7月29日
【發(fā)明者】張永兵, 敖紅波, 王好謙, 戴瓊海 申請人:清華大學深圳研究生院