3d圖像數(shù)據(jù)分割的方法和裝置的制造方法
【專利說明】3D圖像數(shù)據(jù)分割的方法和裝置
[0001] 描述
[0002] 本發(fā)明設(shè)及一種3D圖像數(shù)據(jù)分割的方法和裝置。具體而言，本發(fā)明設(shè)及一種基于 稀疏圖的3D圖像數(shù)據(jù)中的實時對象分割的方法和裝置。
【背景技術(shù)】
[0003]近來，已經(jīng)可W向用戶呈現(xiàn)3D圖像內(nèi)容。預(yù)期在未來幾年內(nèi)3D設(shè)備和視頻內(nèi)容 量將迅速增加。
[0004]一方面，當(dāng)前的3D顯示技術(shù)可W重建聚合效應(yīng)，即兩只眼睛在相反方向的垂直旋 轉(zhuǎn)W維持雙目視覺。另一方面，由于所得圖像顯示在平面上，所W適應(yīng)性條件等其它重要深 度線索在焦距變化時無法準(zhǔn)確地再現(xiàn)。因此，在較遠(yuǎn)屏幕上顯示較近對象時，較強正視差可 能會導(dǎo)致視覺體驗不佳。已為標(biāo)準(zhǔn)電影屏幕優(yōu)化的視頻內(nèi)容看起來與電視屏幕或手持式顯 示設(shè)備上的完全不同。因此，圖像數(shù)據(jù)，尤其是與觀察者距離最近和最遠(yuǎn)的對象的深度值的 差異必須適配不同應(yīng)用的特殊屬性W維持高質(zhì)量的深度知覺。該操作表示為內(nèi)容重定向或 內(nèi)容重映射。
[0005]內(nèi)容重定向通常是指為了將內(nèi)容適配為所需上下文而對圖像或視頻帖進(jìn)行的調(diào) 整。在3D視頻內(nèi)容領(lǐng)域，內(nèi)容重定向執(zhí)行與3D視頻序列有關(guān)的深度范圍的調(diào)整W根據(jù)終 端能力和視距優(yōu)化知覺。調(diào)整深度最直接的方式是根據(jù)可用深度范圍線性地移動深度。然 而，該可能會導(dǎo)致場景中對象的扁平化?；蛘撸蒞執(zhí)行非線性深度調(diào)整。非線性深度調(diào)整 可能允許對例如前景中的全部對象應(yīng)用位移。該可能導(dǎo)致3D用戶體驗的明顯改善。此外， 非線性深度調(diào)整在場景操作中提供更多的自由。
[0006]為了執(zhí)行非線性深度調(diào)整，需要識別3D場景中的唯一對象。該樣，可W在重定位 階段執(zhí)行各個對象的深度值的獨立操作。例如，前景對象可W移至圖像最前面。背景對象 可W移至后面。被分割的對象的不同部分之間的深度比仍可保留。
[0007]然而，用于重定向的傳統(tǒng)方法，特別是用于非線性深度操作中的圖像分割的傳統(tǒng) 方法，通常分析圖像的各個像素。由于圖像中存在大量像素，所W該些方法需要龐大的計算 資源。
[000引如上所述，3D設(shè)備數(shù)量穩(wěn)步增長。為了使3D視頻內(nèi)容適配各個設(shè)備，每個設(shè)備必 須對圖像數(shù)據(jù)進(jìn)行重定向。然而，諸如移動設(shè)備之類的小型設(shè)備只能提供有限的計算能力。
[0009] 因此，需要提供3D圖像內(nèi)容的有效圖像分割的方法和裝置。
[0010] 也需要3D圖像內(nèi)容的圖像分割，其可實時應(yīng)用于計算資源有限的3D圖像設(shè)備。

【發(fā)明內(nèi)容】

[0011] 根據(jù)第一方面，提供了一種3D圖像的3D圖像數(shù)據(jù)分割方法。所述3D圖像包括所 述圖像的多個視圖，即所述圖像的至少兩個視圖，例如所述圖像的第一視圖和所述圖像的 第二視圖。所述方法包括確定所述3D圖像的所述多個視圖中的每個視圖的局部特征；基于 所述確定的局部特征確定局部特征圖；W及基于所述3D圖像的所述確定的局部特征圖和 深度圖將所述3D圖像數(shù)據(jù)分割為多個深度區(qū)。
[0012] 本發(fā)明的基本觀點在于基于3D圖像的所述局部特征生成的稀疏圖執(zhí)行圖像分 害d?；谙∈鑸D的此類分析是一種有效且可靠的將3D圖像數(shù)據(jù)劃分為所述多個段的方式。
[0013] 根據(jù)如上所述第一方面的所述方法的第一實施形式，所述局部特征圖包括多個頂 點，每個頂點與多個相鄰頂點連接；W及所述確定局部特征圖包括將邊權(quán)重分配給兩個頂 點之間的每個邊。
[0014] 通過生成包括與局部特征有關(guān)的頂點的局部特征圖，頂點數(shù)量相對于每個像素具 有單獨頂點的傳統(tǒng)圖減少。因此，執(zhí)行圖像分割的計算資源減少。
[0015] 根據(jù)如上所述第一方面或者根據(jù)所述第一方面的所述第一形式的所述方法的第 二實施形式，分割所述3D圖像數(shù)據(jù)包括：量化所述3D圖像的所述深度圖；W及通過確定具 有相同量化深度值的連續(xù)深度圖元素識別深度區(qū)。
[0016] 通過量化所述深度圖，大量單獨的深度值被轉(zhuǎn)換為已知的數(shù)量有限的量化深度 值。具體而言，將范圍明確的深度值分配給單個量化深度。因此，與相同量化深度值有關(guān)的 相鄰深度圖元素可被認(rèn)為與3D圖像內(nèi)的相同區(qū)域有關(guān)。此外，通過將邊權(quán)重分配給邊可W 實現(xiàn)執(zhí)行圖像分割的非常有效的分析。
[0017] 根據(jù)所述第一方面的所述第二實施形式的所述方法的第=實施形式，所述分割包 括識別包含一致性像素的紋理區(qū)；評估所述紋理區(qū)的可靠性；W及消除不可靠紋理區(qū)。
[0018] 該樣，可W執(zhí)行一種識別包含一致性像素的紋理區(qū)的非常簡單且有效的方式。
[0019] 根據(jù)所述第一方面的所述第=實施形式的所述方法的第四實施形式，所述分割還 包括計算不同深度區(qū)中局部特征分布的直方圖。
[0020] 根據(jù)所述第一方面的所述第四實施形式的所述方法的第五實施形式，所述分割還 包括基于所述紋理區(qū)進(jìn)行分割。
[0021] 根據(jù)所述第一方面的所述第=至第五實施形式中任意實施形式的所述方法的第 六實施形式，所述評估所述紋理區(qū)的所述可靠性包括；將包含數(shù)量小于第一闊值的特征的 所述紋理區(qū)評估為不可靠；將包含數(shù)量大于第二闊值的特征的所述紋理區(qū)評估為可靠；W 及計算紋理區(qū)的置信值；將所述置信值與第=闊值比較；W及將所述計算得出的置信值低 于所述第=闊值的所述紋理區(qū)評估為不可靠；或它們的任意組合。
[0022] 根據(jù)所述第一方面的所述第六實施形式的所述方法的第走實施形式，所述置信值 基于所述紋理區(qū)覆蓋的深度區(qū)數(shù)量和所述紋理區(qū)中局部特征的所述數(shù)量計算得出。
[0023] 根據(jù)所述第一方面的所述第一至第走實施形式中的任意實施形式的所述方法的 第八實施形式，所述邊權(quán)重根據(jù)色差標(biāo)準(zhǔn)、所述頂點的相對距離和所述頂點的深度值的相 對距離的任意組合計算得出。
[0024] 通過基于該些特征確定所述邊權(quán)重，可W實現(xiàn)一種所述用于圖像分割的圖像數(shù)據(jù) 的可靠分析。
[0025] 根據(jù)如上所述第一方面或者根據(jù)所述第一方面的任意前述實施形式的所述方法 的第九實施形式，所述方法還包括；將所述3D圖像數(shù)據(jù)分離成前景圖像數(shù)據(jù)和背景圖像數(shù) 據(jù)，其中僅對所述前景圖像數(shù)據(jù)執(zhí)行所述分割。
[0026] 通過識別背景數(shù)據(jù)并跳過所述背景圖像數(shù)據(jù)的所述分割，所述分割的效率可W進(jìn) 一步提升。
[0027] 根據(jù)第二方面，提供了一種3D圖像的3D圖像數(shù)據(jù)分割裝置。所述裝置包括局部 特征確定構(gòu)件，用于確定所述3D圖像的多個視圖中的每個視圖的局部特征；圖生成構(gòu)件， 用于基于所述確定的局部特征確定局部特征圖；W及分割構(gòu)件，用于基于所述3D圖像的所 述確定的局部特征圖和深度圖將所述3D圖像數(shù)據(jù)分割為多個深度區(qū)。
[002引根據(jù)如上所述第二方面的所述裝置的一實施形式，所述分割構(gòu)件還可包括子構(gòu) 件，用于執(zhí)行根據(jù)所述第一方面的所述第一至第九實施形式中的任意實施形式所述的步 驟。
[0029] 根據(jù)如上所述第二方面或者根據(jù)所述第二方面的任意實施形式的所述裝置的一 實施形式，所述裝置還可包括接收器，用于接收所述3D圖像數(shù)據(jù)，確定所述3D圖像的所述 多個視圖，W及確定或獲取所述3D圖像的所述深度圖。所述接收器還可用于接收所述深度 圖 110。
[0030] 根據(jù)如上所述第二方面或者根據(jù)所述第二方面的任意實施形式的所述裝置的一 實施形式，所述裝置還可包括提供所述3D圖像數(shù)據(jù)的3D圖像數(shù)據(jù)源。
[0031] 根據(jù)第=方面，提供了一種執(zhí)行3D圖像的3D圖像數(shù)據(jù)分割的裝置。所述裝置包 括處理器，用于執(zhí)行根據(jù)所述第一方面或者根據(jù)所述第一方面的任意所述實施形式所述的 方法。
[0032] 根據(jù)如上所述第=方面的一實施形式，所述裝置還可包括接收器，用于接收所述 3D圖像數(shù)據(jù)，確定所述3D圖像的所述多個視圖，化及確定所述3D圖像的深度圖。
[0033] 根據(jù)如上所述第=方面的一實施形式或者根據(jù)所述第=方面的任意前述實施形 式，所述接收器還可用于接收所述3D圖像的所述深度圖。
[0034] 根據(jù)如上所述第=方面的一實施形式或者據(jù)所述第=方面的任意前述實施形式， 所述裝置還可包括提供所述3D圖像數(shù)據(jù)的3D圖像數(shù)據(jù)源。
[0035] 根據(jù)第四方面，本發(fā)明可W在數(shù)字電路中，或者在計算機硬件、固件、計算機軟件 中，或它們的組合中實施。所述計算機軟件包括用于執(zhí)行根據(jù)如上所述第一方面或者根據(jù) 所述第一方面的所述任意前述實施形式的所述方法的程序代碼。
[0036] 本發(fā)明的基本觀點在于，基于局部特征的數(shù)量而不是基于單獨分析每個像素來執(zhí) 行所述圖像分割。一個局部特征是一個圍繞圖像中某個點的塊的簡潔描述。通常一個圖像 中的局部特征的數(shù)量比像素的數(shù)量小得多。因此，可W相當(dāng)快速地并且利用比基于圖像的 全部像素的圖像分割少的計算資源執(zhí)行基于局部特征的分割。
[0037] 本發(fā)明的該些和其它方面將從下文描述的實施例顯而易見。
【附圖說明】
[003引下面將參考附圖通過示例的方式對本發(fā)明實施例進(jìn)行描述，在附圖中：
[0039] 圖1示意性地示出了根據(jù)本發(fā)明的方法的實施例使用的3D圖像的圖像數(shù)據(jù)集；
[0040] 圖2示意性地示出了根據(jù)本發(fā)明一實施例的3D圖像數(shù)據(jù)分割方法的流程圖；
[0041] 圖3示意性地示出了根據(jù)本發(fā)明一實施例的將3D圖像數(shù)據(jù)分割為多個深度區(qū)的 流程圖；
[0042] 圖4示意性地示出了根據(jù)本發(fā)明一實施例的