顯著性目標周 圍的深度層。顯著性因子S1S義如下：
[0041] CN 105118084 A 說明書 4/6 頁
[0042] 其中，λ是比1大的一個常量，本發(fā)明實施例取值為50(具體實現(xiàn)時，根據(jù)實際應(yīng) 用中的需要進行設(shè)定，本發(fā)明實施例對此不做限制）。基于顯著性的感知增強的能量函數(shù)Es定義如下：
[0044] 其中，x°表示原始深度圖的每一層的平均深度像素值的集合；X表示感知增強后深 度圖的每一層的平均深度像素值的集合;Wl是常量因子本發(fā)明實施例取值為100 (具體實 現(xiàn)時，根據(jù)實際應(yīng)用中的需要進行設(shè)定，本發(fā)明實施例對此不做限制）；M表示分割圖的分 割層數(shù)，也就是場景中對象的數(shù)量；^表示與第i分割層相鄰的分割層的集合； <表示原 始深度圖中位于第i層的物體深度平均值；Xl表示感知增強后深度圖中位于第i層的物體 深度平均值；X]表示感知增強后深度圖中位于第j層的物體深度平均值（X i，X]通過最優(yōu)化 求解上述能量函數(shù)Es獲得）；D 表示恰可察覺深度差異模型。
[0045] 104 :通過顯著性感知增強的能量函數(shù)獲取深度感知增強后的深度圖；根據(jù)深度 感知增強后的深度圖進行虛擬視點繪制。
[0046] 其中，本發(fā)明實施例采用深度感知增強后的深度圖進行虛擬視點繪制。本發(fā)明實 施例采用基于深度的虛擬視點繪制（DIBR，Depth Image Based Rendering)技術(shù)，繪制中間 虛擬視點。獲得繪制的虛擬視點后，采用合成算法合成適合雙視點立體顯示屏顯示的立體 圖像，并在雙視點立體顯示器上顯示。
[0047] 具體實現(xiàn)時，本發(fā)明實施例對該步驟中的合成算法、繪制技術(shù)不作限制。
[0048] 綜上所述，本發(fā)明實施例通過上述的步驟101-步驟104實現(xiàn)了對圖像場景的顯著 性提取，有選擇性的基于顯著性的深度感知增強，改善了立體顯示效果。
[0049] 實施例2
[0050] 下面結(jié)合具體的計算公式，對實施例1中的方案進行詳細的描述，詳見下文描述：
[0051] 201 :采用非局部隨機游走算法進行半自動圖像分割；
[0052] 202 :場景復(fù)雜度分析，獲取復(fù)雜場景；
[0053] 其中，D_d模型是分段線性函數(shù)，該模型定義如下：
[0055] 203 :基于顯著性的深度感知增強；
[0056] 對上述復(fù)雜場景進行顯著性提取，采用基于區(qū)域?qū)Ρ蕊@著性模型，并結(jié)合深度信 息來計算顯著性。假設(shè)對于輸入每一幅RGB圖像，都有其對應(yīng)的深度圖。對于區(qū)域Rk，其深 度級4設(shè)置為；
[0058] 其中，b和Nb是深度圖中區(qū)域Rk的像素值及其對應(yīng)的頻值。考慮到深度級相近區(qū) CN 105118084 A 說明書 5/6 頁 域?qū)δ繕藚^(qū)域的色彩對比貢獻更大，因此將結(jié)合深度的區(qū)域?qū)Ρ蕊@著性模型定義為：
[0060] 其中，Ds(R1^R1)是區(qū)域R k和區(qū)域R#心點的歐氏距離；W(R1)是區(qū)域民的像素個 數(shù)；Dd(Rk，R1)是區(qū)域Rk和區(qū)域R i間的深圖距離，其定義如下：
[0061] Dd(RklRi) = Idk-Cli
[0062] Dr(RkJ1)為區(qū)域間的色彩距離，對于R1和區(qū)域1? 2兩個區(qū)域，其色彩距離定義如 下：
[0064] 其中，f(ctl)是第k個區(qū)域中第i種顏色的出現(xiàn)頻率，其用來反應(yīng)區(qū)域間主要色 彩的對比值（即，f (C1J表示第1個區(qū)域（Rl)中第i種顏色的出現(xiàn)頻率，以此類推）；〇 s控制空間加權(quán)的強度，σ s的大小與空間權(quán)值的影響成反比關(guān)系；σ 制深度加權(quán)的強度， σ d的大小與深度權(quán)值的影響成反比關(guān)系；D (Clil，(? ,)為區(qū)域R1和區(qū)域R 2中第i種顏色之 間的歐式距離叫為區(qū)域R i中不同顏色的總個數(shù)；n 2為區(qū)域R 2中不同顏色的總個數(shù)；d 1是 區(qū)域R1的深度級。
[0065] 依據(jù)顯著性模型計算出顯著性后，對顯著性值最高的對象設(shè)計顯著性因子，優(yōu)先 保證拉伸顯著性目標周圍的深度層。顯著性因子S1S義如下：
[0067] 其中，λ是比1大的一個常量，本發(fā)明實施例取值為50。基于顯著性的感知增強 算法&定義如下：
[0069] 204 :虛擬視點繪制及立體顯示。
[0070] 綜上所述，本發(fā)明實施例通過上述的步驟201-步驟204實現(xiàn)了對圖像場景的顯著 性提取，有選擇性的基于顯著性的深度感知增強，改善了立體顯示效果。
[0071] 實施例3
[0072] 下面結(jié)合具體的試驗、圖2和圖3對實施例1和2中的方案進行可行性驗證，詳見 下文描述：
[0073] 采用實施例1和2中的上述深度感知增強后的深度圖進行虛擬視點繪制。本發(fā)明 實施例采用DIBR技術(shù)，以原始彩色圖和感知增強后的深度圖作為輸入，繪制2個中間虛擬 視點，分別是1/3和2/3視點。采用上述繪制的虛擬視點合成適合雙視點立體顯示屏顯示 的立體圖像。并在雙視點立體顯示器上顯示。
[0074] 本發(fā)明實施例由于采用的是基于單視點的繪制，也就是僅以一幅彩色圖和深度圖 作為輸入繪制中間虛擬視點。采用單視點繪制，繪制的虛擬視點會出現(xiàn)較大的空洞，可以采 用深度圖預(yù)處理算法，對深度圖進行局部非對稱高斯濾波，然后再繪制虛擬視點空洞數(shù)量 會大幅度減少，空洞面積也會變小，之后再對繪制出的虛擬視點圖像修復(fù)，獲得最終的虛擬 視點。由于是基于單視點的繪制邊界的空洞不可避免，圖像內(nèi)部的空洞可以通過上述方法 修補完善。而邊界空洞一般位于背景部分不會太影響圖像質(zhì)量，可以通過裁剪技術(shù)裁掉黑 色邊界。
[0075] 為了鮮明的對比本發(fā)明實施例的效果，本發(fā)明實施例采用Middlebury立體圖像 庫中Moebius為例進行說明。圖2為未采用本方法的原始深度圖和彩色圖。圖3為依據(jù)顯 著性算法提取的最顯著的物體和采用本方法的增強后的深度圖。從灰度顏色的深淺可以看 出，采用本方法得到的深度圖灰度對比明顯加大，尤其是中間的六棱球（顯著性對象）和相 鄰對象的對比得到了顯著增強。
[0076] 本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖，上述本發(fā)明實施例 序號僅僅為了描述，不代表實施例的優(yōu)劣。
[0077] 以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1. 一種基于顯著性的深度感知增強方法，其特征在于，所述深度感知增強方法包括以 下步驟： 統(tǒng)計分割圖的場景中對象的數(shù)量，進行場景復(fù)雜度分析，篩選復(fù)雜場景； 對復(fù)雜場景進行顯著性提取，獲取顯著性因子，并獲取基于顯著性因子的顯著性感知 增強的能量函數(shù)； 通過顯著性感知增強的能量函數(shù)獲取深度感知增強后的深度圖； 根據(jù)深度感知增強后的深度圖進行虛擬視點繪制。2. 根據(jù)權(quán)利要求1所述的一種基于顯著性的深度感知增強方法，其特征在于，所述深 度感知增強方法還包括： 對深度圖進行信息標注，將深度圖和標記信息作為半自動分割法的輸入，輸出分割圖。3. 根據(jù)權(quán)利要求1所述的一種基于顯著性的深度感知增強方法，其特征在于，所述顯 著性因子具體為：其中，A是比1大的一個常量。4. 根據(jù)權(quán)利要求3所述的一種基于顯著性的深度感知增強方法，其特征在于，所述基 于顯著性因子的顯著性感知增強的能量函數(shù)具體為：其中，x°表示原始深度圖的每一層的平均深度像素值的集合；x表示感知增強后深度圖 的每一層的平均深度像素值的集合;Wl是常量因子;M表示分割圖的分割層數(shù)；!ti表示與 第i分割層相鄰的分割層的集合； < 表示原始深度圖中位于第i層的物體深度平均值；Xl 表示感知增強后深度圖中位于第i層的物體深度平均值；\表示感知增強后深度圖中位于 第j層的物體深度平均值；D_d表示恰可察覺深度差異模型。
【專利摘要】本發(fā)明公開了一種基于顯著性的深度感知增強方法，所述深度感知增強方法包括：統(tǒng)計分割圖的場景中對象的數(shù)量，進行場景復(fù)雜度分析，篩選復(fù)雜場景；對復(fù)雜場景進行顯著性提取，獲取顯著性因子，并獲取基于顯著性因子的顯著性感知增強的能量函數(shù)；通過顯著性感知增強的能量函數(shù)獲取深度感知增強后的深度圖；根據(jù)深度感知增強后的深度圖進行虛擬視點繪制。本發(fā)明依據(jù)顯著性原理來選擇性的拉伸深度圖，優(yōu)先保證與顯著性物體相鄰分割層的深度差異達到人眼可察覺的深度差異閾值，使得人眼能夠感知到場景中視覺注意區(qū)域之間的層次感，有效的增強了顯示圖像的深度感、改善了立體效果。
【IPC分類】G06T15/06, G06T15/08
【公開號】CN105118084
【申請?zhí)枴緾N201510574866
【發(fā)明人】雷建軍, 張翠翠, 侯春萍, 劉建英, 李樂樂, 吳敏
【申請人】天津大學(xué)
【公開日】2015年12月2日
【申請日】2015年9月10日