專利名稱：一種平面圖像的立體轉換方法及裝置的制作方法
技術領域：
本發(fā)明涉及計算機視覺技術領域，特別涉及一種平面圖像的立體轉換方法及裝置。
背景技術：
平面轉立體技術，又稱2D轉3D技術。平面轉立體技術，指將現(xiàn)有的平面視頻通過 必要的技術手段，提取視頻對應場景中的深度信息，再模擬出左右兩眼觀察的虛擬場景，從 而達到立體感知的效果。在立體視頻技術中，通過雙目立體視覺實現(xiàn)立體感知效果。具體而言，雙目立體視 覺利用雙目成像的原理，通過模擬雙目感知成像，將左右兩路圖像或者視頻作為左右眼的 輸入，然后通過大腦的融合，重構出輸入兩路圖像和視頻的立體場景，達到立體感知效果。立體圖像一種新型的描述三維世界的方式，它不僅包含傳統(tǒng)平面圖像的關于場景 的表面信息，而且還包含與場景具體位置相關的三維立體信息，即深度信息。與傳統(tǒng)的平面 圖像相比，立體視頻是一種更有效、更真實的表達方式，它能更精確更真實地反映客觀世界 的具體場景。深度圖反映平面圖像對應場景前后或遠近關系的一種圖像數(shù)據(jù)，一般在應用 中，以0 255范圍內(nèi)的灰度圖像來表示。深度圖上某點的深度值為0，表示對應相同位置 點上的平面圖像位于相對深度范圍內(nèi)的最遠處，深度圖上某點的深度值為255，表示對應相 同位置點上的平面圖像位于相對深度范圍內(nèi)的最近處，其它深度值則表示在0 255范圍 內(nèi)的某一個相對深度范圍內(nèi)深度。隨著現(xiàn)有數(shù)碼攝影技術飛速發(fā)展，普通的消費者都可以很方便地對自然景物和室 內(nèi)生活場景以及其它各種靜止類或運動類場景進行攝像、存儲和傳輸。3D技術的發(fā)展已經(jīng) 有較長的歷史，隨著立體拍攝、立體制作以及立體顯示技術的發(fā)展，3D已經(jīng)逐漸普及并走進 千家萬戶，但是立體內(nèi)容的匱乏卻嚴重制約著整個立體視頻產(chǎn)業(yè)的發(fā)展。但是目前平面轉立體技術發(fā)展還不成熟，針對普通消費者的基于圖像顏色特征的 2D轉3D的制作軟件還非常少，目前市場上還沒有完整實用的平面圖像或視頻轉立體視圖 像或立體視頻的解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術缺陷之一，特別提出一種平面圖像的立體轉 換方法及裝置。為達到上述目的，本發(fā)明的第一方面實施例提出一種平面圖像的立體轉換方法， 包括如下步驟輸入平面圖像，并對所述平面圖像進行預處理；計算所述預處理后的平面 圖像的初始深度圖；對所述初始深度圖進行濾波后處理，得到所述平面圖像的深度圖；以 及根據(jù)所述平面圖像的深度圖對所述平面圖像進行像素移位，得到虛擬視圖，并對所述平 面圖像和虛擬視圖進行立體合成，生成并輸出立體視頻。根據(jù)本發(fā)明實施例的平面圖像的立體轉換方法，使用方便，處理效率高，并具有良好的立體顯示效果。具體而言，本發(fā)明實施例的立體轉換方法包括以下優(yōu)點(1)計算速度快對于當前任意分辨率的平面圖像均能實現(xiàn)實時地對其進行2D轉 3D的轉換。(2)立體效果佳充分挖掘單目圖像的深度線索，引入合理的深度假設，從而使得 合成的立體視圖具有較好的立體效果。(3)合成立體圖像操作便捷輸入圖像可以為任意常用格式，并可輸入圖像實時 地合成的立體圖像。(4)良好的拓展性和移植性本發(fā)明實施例的立體轉換方法可以與其它2D轉3D 的方法結合起來，以提高其本身的立體效果。并且發(fā)明實施例的立體轉換方法還可以應用 于其它多媒體領域，應用范圍廣。本發(fā)明第二方面的實施例提供了一種平面圖像的立體轉換裝置，包括輸入及預處理模塊，所述輸入及預處理模塊用于輸入平面圖像，并對所述平面圖 像進行預處理；初始深度計算模塊，所述初始深度計算模塊用于計算所述預處理后的平面圖像的 初始深度圖；深度圖濾波模塊，所述深度圖濾波模塊用于對所述初始深度圖進行高斯濾波，得 到所述平面圖像的深度圖；以及立體圖像合成與輸出模塊，所述立體圖像合成與輸出模塊用于對所述平面圖像和 所述平面圖像的深度圖進行像素移位，得到虛擬視圖，并對所述平面圖像和虛擬視圖進行 立體合成，生成并輸出立體視頻。根據(jù)本發(fā)明實施例的平面圖像的立體轉換裝置，使用方便，處理效率高，并具有良 好的立體顯示效果。具體而言，本發(fā)明實施例的立體轉換裝置包括以下優(yōu)點(1)計算速度快對于當前任意分辨率的平面圖像均能實現(xiàn)實時地對其進行2D轉 3D的轉換。(2)立體效果佳充分挖掘單目圖像的深度線索，引入合理的深度假設，從而使得 合成的立體視圖具有較好的立體效果。(3)合成立體圖像操作便捷輸入圖像可以為任意常用格式，并可輸入圖像實時 地合成的立體圖像。(4)良好的拓展性和移植性本發(fā)明實施例的立體轉換裝置可以與其它2D轉3D 的裝置結合起來，以提高其本身的立體效果。并且發(fā)明實施例的立體轉換裝置還可以應用 于其它多媒體領域，應用范圍廣。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實施例的平面圖像的立體轉換方法的流程框圖；圖2(a)為根據(jù)本發(fā)明實施例的初始最遠邊界為左邊界的示意圖2(b)為根據(jù)本發(fā)明實施例的初始最遠邊界為上邊界的示意圖；圖2(c)為根據(jù)本發(fā)明實施例的初始最遠邊界為右邊界的示意圖；圖2(d)為根據(jù)本發(fā)明實施例的初始最遠邊界為上、左、右邊界的組合的示意圖；圖2(e)為根據(jù)本發(fā)明實施例的初始最遠邊界為上、左邊界的組合的示意圖；圖2(f)為根據(jù)本發(fā)明實施例的初始最遠邊界為上、右邊界的組合的示意圖；圖2(g)為根據(jù)本發(fā)明實施例的初始最遠邊界為左、右邊界的組合的示意圖；圖3為根據(jù)本發(fā)明實施例的初始深度邊界的示意圖；圖4為根據(jù)本發(fā)明實施例的第一搜索方向的示意圖；圖5為根據(jù)本發(fā)明實施例的第二搜索方向的示意圖；圖6為根據(jù)本發(fā)明實施例的第三搜索方向的示意圖；圖7為根據(jù)本發(fā)明實施例的第四搜索方向的示意圖；圖8為根據(jù)本發(fā)明實施例的第五搜索方向的示意圖；圖9為根據(jù)本發(fā)明實施例的計算搜索方向上的8個點與當前的像素差值的示意 圖；圖10為根據(jù)本發(fā)明實施例的平面圖像的立體轉換裝置的結構框圖；圖11為根據(jù)本發(fā)明實施例的輸入及預處理模塊的結構示意圖；以及圖12為根據(jù)本發(fā)明實施例的初始深度計算模塊的結構示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。下面參考圖1至圖9描述根據(jù)本發(fā)明實施例的平面圖像的立體轉換方法。如圖1所示，根據(jù)本發(fā)明實施例的平面圖像的立體轉換方法包括如下步驟SlOl 輸入平面圖像，并對平面圖像進行預處理；輸入平面圖像，然后對輸入的平面圖像進行預處理。具體而言，對輸入的平面圖像 進行預處理包括如下步驟1)對平面圖像的顏色空間進行變換并提取像素值；在本發(fā)明的實施例中，可以采用以下三種方式之一對平面圖像的顏色空間進行變換。A)將輸入的平面圖像的顏色空間變換為RGB顏色空間，根據(jù)變換后的RGB顏色空 間提取像素值。對于RGB顏色空間，提取的像素值可以為以下三個值之一第一個，R、G、B三個通道像素值構成的三元數(shù)組。如果以R、G、B三個通道像素值R、G、B作為像素值輸出，則最終的輸出的像素值 為V = (R, G, B)。第二個，R、G、B三個通道像素值的平均值。如果以R、G、B三個通道像素值的平均值作為像素值輸出，則最終的輸出的像素值為V = (R+G+B)/3。第三個，R、G、B三個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值。如果以R、G、B三個通道像素值進行加權計算得到像素值，則最終的輸出的像素值 為V = R*0. 3+G*0. 59+B*0. 11，其中(0· 3,0. 59，0· 11)為預定比例系數(shù)。B)將平面圖像的顏色空間變換為CIELab空間，根據(jù)CIELab顏色空間提取像素值 為以下三個值之一L、a、b三個通道像素值構成的三元數(shù)組，L、a、b三個通道像素值的平均值或L、a、 b三個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值。C)將平面圖像的顏色空間變換為YUV顏色空間，根據(jù)YUV顏色空間提取像素值為 以下三個值之一Y通道的像素值，Y、U、V三個通道像素值的平均值或Y、U、V三個通道以預定比例 系數(shù)進行疊加求和得到的加權值。2)對變換后的平面圖像進行圖像濾波在本發(fā)明的一個實施例中，對顏色空間變換后的平面圖像通過濾波處理以實現(xiàn)圖 像濾波，從而濾除變換后圖像的噪聲，改善圖像的亮度分布情況。在本發(fā)明的一個實施例中，對顏色空間變換后的平面圖像通過濾波處理可以采用 高斯濾波。當然本領域技術人員可以理解的是，對顏色空間變換后的平面圖像通過濾波處 理還可以采用其他具有噪聲濾除功能的濾波函數(shù)。具體而言，對于平面圖像的任一個像素p，以該像素ρ為中心像素的窗寬為N的窗 口內(nèi)的所有像素為q。計算窗口內(nèi)所有像素q與中心像素P的空間距離高斯權重因子， Sq)，并將該權重因子與像素q的像素值V (q)相乘，進行歸一化處理最終得到濾波后像素P 點的新像素值R尸)。
權利要求
1.一種平面圖像的立體轉換方法，包括如下步驟輸入平面圖像，并對所述平面圖像進行預處理；計算所述預處理后的平面圖像的初始深度圖；對所述初始深度圖進行濾波后處理，得到所述平面圖像的深度圖；以及根據(jù)所述平面圖像的深度圖對所述平面圖像進行像素移位，得到虛擬視圖，并對所述 平面圖像和虛擬視圖進行立體合成，生成并輸出立體視頻。
2.如權利要求1所述的立體轉換方法，其特征在于，所述對平面圖像進行預處理，包括 如下步驟對所述平面圖像的顏色空間進行變換并提取像素值；對變換后的平面圖像進行圖像濾波。
3.如權利要求2所述的立體轉換方法，其特征在于，所述對平面圖像的顏色空間進行 變換包括以下三種方式之一A)將所述平面圖像的顏色空間變換為RGB顏色空間，根據(jù)所述RGB顏色空間提取像素 值為以下三個值之一R、G、B三個通道像素值構成的三元數(shù)組，R、G、B三個通道像素值的平均值或R、G、B三 個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值；B)將所述平面圖像的顏色空間變換為CIELab空間，根據(jù)所述CIELab顏色空間提取像 素值為以下三個值之一L、a、b三個通道像素值構成的三元數(shù)組，L、a、b三個通道像素值的平均值或L、a、b三 個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值；C)將所述平面圖像的顏色空間變換為YUV顏色空間，根據(jù)所述YUV顏色空間提取像素 值為以下三個之一Y通道的像素值，Y、U、V三個通道像素值的平均值或Y、U、V三個通道以預定比例系數(shù) 進行疊加求和得到的加權值。
4.如權利要求2所述的立體轉換方法，其特征在于，所述對變換后的平面圖像進行圖 像濾波包括如下步驟對所述變換后的平面圖像進行濾波處理，濾除變換后圖像的噪聲，得到濾波后的新像 素值。
5.如權利要求1所述的立體轉換方法，其特征在于，所述計算預處理后的平面圖像的 初始深度圖，包括如下步驟對所述預處理后的平面圖像指定圖像的初始最遠邊界；修正所述初始最遠邊界，得到至少一條初始深度邊界；根據(jù)所述初始深度邊界計算所述平面圖像的初始深度圖。
6.如權利要求5所述的立體轉換方法，其特征在于，所述初始最遠邊界為以下七種之所述預處理后的平面圖像的上邊界；所述預處理后的平面圖像的左邊界；所述預處理 后的平面圖像的右邊界；所述預處理后的平面圖像的上邊界、左邊界和右邊界的組合；所 述預處理后的平面圖像的上邊界和左邊界的組合；所述預處理后的平面圖像的上邊界和右 邊界的組合；所述預處理后的平面圖像的左邊界和右邊界的組合。
7.如權利要求6所述的立體轉換方法，其特征在于，所述修正初始最遠邊界，包括如下 步驟獲取最遠點；以所述最遠點為起點，分別對所述預處理后的平面圖像的上邊界、下邊界、左邊界和右 邊界的垂線的各個像素點計算初始深度值，得到至少一條初始深度邊界。
8.如權利要求7所述的立體轉換方法，其特征在于，所述最遠點通過以下方式之一獲取通過消失點或消失線檢測算法計算所述最遠點； 通過模糊度檢測方法計算所述最遠點； 通過人工標注的方法設置所述最遠點。
9.如權利要求7所述的立體轉換方法，其特征在于，所述根據(jù)初始深度邊界計算所述 平面圖像的初始深度圖，包括如下步驟設置深度計算的搜索方向； 設置所述平面圖像的初始深度值；計算所述搜索方向上的各個點的深度值，得到所述平面圖像的初始深度圖。
10.如權利要求9所述的立體轉換方法，其特征在于，所述計算搜索方向上的各個點的 深度值，包括如下步驟對于搜索方向上的每個當前點，分別求其周圍η個點與所述當前點的像素值差的絕對值，對所述當前點的周圍η個點，將所述η個點的深度值與上述計算得到的像素值差的絕 對值分別相加，得到η個新的深度值，在所述η個新的深度值與所述當前點的初始深度值中選取最小值作為所述當前點的 深度值，得到所述搜索方向上的每個點的深度值；對所述搜索方向上的每個點的深度值進行求和運算并取平均值，得到平均深度值； 根據(jù)所述平均深度值控制所述搜索方向上的每個點的深度值在預定區(qū)間內(nèi)。
11.如權利要求10所述的立體轉換方法，其特征在于，通過以下三種方式之一對所述 初始深度圖進行濾波后處理高斯濾波、非對稱高斯濾波或雙邊濾波。
12.—種平面圖像的立體轉換裝置，其特征在于，包括輸入及預處理模塊，所述輸入及預處理模塊用于輸入平面圖像，并對所述平面圖像進 行預處理；初始深度計算模塊，所述初始深度計算模塊用于計算所述預處理后的平面圖像的初始 深度圖；深度圖濾波模塊，所述深度圖濾波模塊用于對所述初始深度圖進行濾波后處理，得到 所述平面圖像的深度圖；以及立體圖像合成與輸出模塊，所述立體圖像合成與輸出模塊用于對所述平面圖像和所述 平面圖像的深度圖進行像素移位，得到虛擬視圖，并對所述平面圖像和虛擬視圖進行立體 合成，生成并輸出立體視頻。
13.如權利要求12所述的立體轉換裝置，其特征在于，所述輸入及預處理模塊包括輸入單元、變換單元和圖像濾波單元， 所述輸入單元，用于輸入平面圖像；所述變換單元，用于對所述平面圖像的顏色空間進行變換并提取像素值； 所述圖像濾波單元，用于對變換后的平面圖像進行圖像濾波。
14.如權利要求13所述的立體轉換裝置，其特征在于，所述變換單元通過以下三種方 式之一對平面圖像的顏色空間進行變換A)將所述平面圖像的顏色空間變換為RGB顏色空間，根據(jù)所述RGB顏色空間提取像素 值為以下三個值之一R、G、B三個通道像素值構成的三元數(shù)組，R、G、B三個通道像素值的平均值或R、G、B三 個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值。B)將所述平面圖像的顏色空間變換為CIELab空間，根據(jù)所述CIELab顏色空間提取像 素值為以下三個值之一L、a、b三個通道像素值構成的三元數(shù)組，L、a、b三個通道像素值的平均值或L、a、b三 個通道像素值以預定比例系數(shù)進行疊加求和得到的加權值。C)將所述平面圖像的顏色空間變換為YUV顏色空間，根據(jù)所述YUV顏色空間提取像素 值為以下三個之一Y通道的像素值，Y、U、V三個通道像素值的平均值或Y、U、V三個通道以預定比例系數(shù) 進行疊加求和得到的加權值。
15.如權利要求13所述的立體轉換裝置，其特征在于，所述圖像濾波單元對所述變換 后的平面圖像進行濾波處理，濾除變換后圖像的噪聲，得到濾波后的新像素值。
16.如權利要求12所述的立體轉換裝置，其特征在于，所述初始深度計算模塊包括初 始最遠邊界設置單元、修正單元和初始深度圖計算單元，所述初始最遠邊界設置單元，用于對所述預處理后的平面圖像指定圖像的初始最遠邊界；所述修正單元，用于修正所述初始最遠邊界，得到至少一條初始深度邊界； 所述初始深度圖計算單元，用于根據(jù)所述初始深度邊界計算所述平面圖像的初始深度圖。
17.如權利要求16所述的立體轉換裝置，其特征在于，所述初始最遠邊界設置單元設 置所述初始最遠邊界為以下七種之一所述預處理后的平面圖像的上邊界；所述預處理后的平面圖像的左邊界；所述預處理 后的平面圖像的右邊界；所述預處理后的平面圖像的上邊界、左邊界和右邊界的組合；所 述預處理后的平面圖像的上邊界和左邊界的組合；所述預處理后的平面圖像的上邊界和右 邊界的組合；所述預處理后的平面圖像的左邊界和右邊界的組合。
18.如權利要求17所述的立體轉換裝置，其特征在于，所述修正單元獲取最遠點，并以 所述最遠點為起點，分別對所述預處理后的平面圖像的上邊界、下邊界、左邊界和右邊界的 垂線的各個像素點計算初始深度值，得到至少一條初始深度邊界。
19.如權利要求18所述的立體轉換裝置，其特征在于，所述修正單元通過以下方式之 一獲取最遠點通過消失點或消失線檢測算法計算所述最遠點；通過模糊度檢測方法計算所述最遠點；通過人工標注的方法設置所述最遠點。
20.如權利要求19所述的立體轉換裝置，其特征在于，所述初始深度圖計算單元設置 深度計算的搜索方向和所述平面圖像的初始深度值，并計算所述搜索方向上的各個點的深 度值，得到所述平面圖像的初始深度圖。
21.如權利要求20所述的立體轉換裝置，其特征在于，所述初始深度圖計算單元對于 搜索方向上的每個當前點，分別求其周圍η個點與所述當前點的像素值差的絕對值，對所述當前點的周圍η個點，將所述η個點的深度值與上述計算得到的像素值差的絕 對值分別相加，得到η個新的深度值，在所述η個新的深度值與所述當前點的初始深度值中選取最小值作為所述當前點的 深度值，得到所述搜索方向上的每個點的深度值；對所述搜索方向上的每個點的深度值進行求和運算并取平均值，得到平均深度值，根 據(jù)所述平均深度值控制所述搜索方向上的每個點的深度值在預定區(qū)間內(nèi)。
22.如權利要求21所述的立體轉換裝置，其特征在于，所述深度圖濾波模塊通過以下 三種方式之一對所述初始深度圖進行濾波后處理高斯濾波、非對稱高斯濾波或雙邊濾波。
全文摘要
本發(fā)明公開了一種平面圖像的立體轉換方法，包括如下步驟輸入平面圖像，并對所述平面圖像進行預處理；計算所述預處理后的平面圖像的初始深度圖；對所述初始深度圖進行濾波后處理，得到所述平面圖像的深度圖；以及根據(jù)所述平面圖像的深度圖對所述平面圖像進行像素移位，得到虛擬視圖，并對所述平面圖像和虛擬視圖進行立體合成，生成并輸出立體視頻。本發(fā)明的平面圖像的立體轉換方法，使用方便，處理效率高，并具有良好的立體顯示效果。本發(fā)明還公開了一種平面圖像的立體轉換裝置。
文檔編號H04N13/00GK102098528SQ201110032208
公開日2011年6月15日 申請日期2011年1月28日 優(yōu)先權日2011年1月28日
發(fā)明者季向陽, 張佳宏, 戴瓊海, 曹汛, 楊鈾 申請人:清華大學