在多視圖3dtv服務(wù)中處理邊緣違反現(xiàn)象的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及處理包括多視圖3D圖像的數(shù)字廣播信號的方法及其裝置，并且尤其是，處理或者避免在提供多視圖3D圖像服務(wù)的過程中，出現(xiàn)在每個(gè)視點(diǎn)圖像的左/右邊界中的邊緣違反(edge v1lat1n)現(xiàn)象的方法及其裝置。
【背景技術(shù)】
[0002]隨著3維電視(3DTV)的普及正在風(fēng)行，通過數(shù)字廣播發(fā)送的3D圖像內(nèi)容的傳輸和通過存儲介質(zhì)執(zhí)行的3D圖像內(nèi)容的普及興起。
[0003]通常，3D圖像使用兩只眼睛的立體視覺原理提供3D效果。由于人類經(jīng)由兩只眼睛的視差感覺視角，換言之，由于在兩個(gè)彼此遠(yuǎn)離大約65mm的眼睛之間的間距造成的雙目視差，所以3D圖像可以以提供分別使左眼和右眼看到相關(guān)的平面圖像的圖像的方式提供3D效果和視角。
[0004]3D圖像顯示方法包括立體技術(shù)、體積的技術(shù)、全息攝影技術(shù)等等。在立體技術(shù)的情況下，其提供應(yīng)當(dāng)由左眼看到的左視圖像，和應(yīng)當(dāng)由右眼看到的右視圖像。立體技術(shù)允許人類使用偏振眼鏡或者顯示設(shè)備本身分別使左眼和右眼觀看左視圖像和右視圖像的方式識別3D圖像效果。
[0005]在立體3D圖像內(nèi)容的情況下，如果具有彼此不同的視點(diǎn)的兩個(gè)類似的圖像被發(fā)送，則立體技術(shù)采用接收機(jī)使用兩個(gè)圖像顯示3D圖像的技術(shù)。當(dāng)3D圖像由接收機(jī)顯示的時(shí)候，由于在左圖像和右圖像之間的視差，出現(xiàn)雙目視差。通過這樣做，可以提供3D圖像。
[0006]當(dāng)提供3D圖像的時(shí)候，被配置為由于按照每個(gè)內(nèi)容的雙目視差導(dǎo)致彈出到屏幕的前側(cè)(到觀眾側(cè))的負(fù)視差對象、在內(nèi)容內(nèi)的場景、或者幀可能懸掛在屏幕的左和右邊緣。在這種情況下，在由雙目視差識別的深度和由屏幕邊緣框識別的深度之間出現(xiàn)差異，并且用戶可能感到失真的深度。
[0007]這種現(xiàn)象被稱作邊緣違反(edge v1lat1n)。由于邊緣違反現(xiàn)象，觀眾可能感到視覺疲勞，并且對于觀眾來說正常地觀看內(nèi)容可能是困難的。目前地，3D圖像接收機(jī)不具有能夠處理邊緣違反的單獨(dú)的過程。
[0008]尤其是，在多視圖3D圖像的情況下，邊緣違反的方面可能按照每個(gè)視點(diǎn)變化。目前，沒有能夠解決各種方面的邊緣違反的方法。
[0009]在多視圖3D廣播環(huán)境下，按照每個(gè)3D視點(diǎn)，可能出現(xiàn)由邊緣違反產(chǎn)生的不同水平的不便和失真。但是，當(dāng)前的3DTV接收機(jī)不具有能夠處理按照每個(gè)3D視點(diǎn)出現(xiàn)的失真現(xiàn)象的方法。
[0010]尤其是，當(dāng)圖像被以復(fù)制的方式包括在彼此不同的立體圖像對(視圖對)中的時(shí)候，發(fā)送由廣播電臺預(yù)先呈現(xiàn)的內(nèi)容以防止出現(xiàn)由于邊緣違反的失真現(xiàn)象的方法是不可適用的。

【發(fā)明內(nèi)容】

[0011]技術(shù)任務(wù)
[0012]本發(fā)明的技術(shù)任務(wù)是解決前面提到的問題。更具體地說，本發(fā)明的技術(shù)任務(wù)是有效地解決在提供多視圖3D圖像廣播服務(wù)的情況下能夠發(fā)生的各種方面的邊緣違反。
[0013]技術(shù)方案
[0014]為了實(shí)現(xiàn)這些目的和其他的優(yōu)點(diǎn)，和按照本發(fā)明的目的，如在此處實(shí)施和廣泛地描述的，按照一個(gè)實(shí)施例，一種接收多視圖3D圖像廣播信號的方法，其處理在多視圖3D圖像中的邊緣違反，包括步驟:接收用于多視圖3D圖像廣播的廣播信號，從接收的廣播信號中解碼包括在第一視點(diǎn)的3D圖像中的第一左圖像數(shù)據(jù)和第一右圖像數(shù)據(jù)，從接收的廣播信號中解析3D圖像處理信息，使用第一左圖像數(shù)據(jù)、第一右圖像數(shù)據(jù)和3D圖像處理信息產(chǎn)生在第二視點(diǎn)的3D圖像中包括的第二左圖像數(shù)據(jù)和第二右圖像數(shù)據(jù)之中的至少一個(gè)或多個(gè)數(shù)據(jù)，解析包括在3D圖像處理信息中的3D邊緣違反區(qū)域檢測函數(shù)信息，使用3D邊緣違反區(qū)域檢測函數(shù)信息提取出現(xiàn)在第二視點(diǎn)的3D圖像中的邊緣違反的區(qū)域并處理區(qū)域的邊緣違反，以及顯示第一視點(diǎn)的3D圖像和第二視點(diǎn)的3D圖像。
[0015]優(yōu)選地，3D邊緣違反區(qū)域檢測函數(shù)信息包括識別用于提取邊緣違反區(qū)域的函數(shù)類型的函數(shù)類型信息，和表示用于識別的函數(shù)的系數(shù)值的系數(shù)信息。
[0016]優(yōu)選地，3D圖像處理信息進(jìn)一步包括預(yù)期捕捉第二左圖像和第二右圖像的照相機(jī)的位置信息，和表示第一視點(diǎn)的3D圖像的邊緣違反區(qū)域的信息。
[0017]優(yōu)選地，3D圖像處理信息進(jìn)一步包括邊緣處理信息，該邊緣處理信息包含有關(guān)能夠在由接收機(jī)產(chǎn)生的一個(gè)或多個(gè)視點(diǎn)的3D圖像中出現(xiàn)的邊緣違反信息。
[0018]優(yōu)選地，邊緣處理信息包括有關(guān)存在于在至少一個(gè)或多個(gè)視點(diǎn)的3D圖像中包括的左圖像中的邊緣違反區(qū)域的像素?cái)?shù)目的信息，和有關(guān)存在于在至少一個(gè)或多個(gè)視點(diǎn)的3D圖像中包括的右圖像中的邊緣違反區(qū)域的像素?cái)?shù)目的信息。
[0019]優(yōu)選地，邊緣處理信息進(jìn)一步包括指定處理存在于在至少一個(gè)或多個(gè)視點(diǎn)的3D圖像中包括的左圖像和右圖像中的邊緣違反方法的信息。
[0020]優(yōu)選地，邊緣處理信息進(jìn)一步包括在存在于在至少一個(gè)或多個(gè)視點(diǎn)的3D圖像中包括的左圖像和右圖像中的邊緣違反被處理之后，識別至少一個(gè)或多個(gè)視點(diǎn)的3D圖像的最小視差的?目息。
[0021]優(yōu)選地，3D圖像處理信息經(jīng)由SEI (輔助的增強(qiáng)信息)消息被發(fā)送。
[0022]優(yōu)選地，3D圖像處理信息經(jīng)由PMT (節(jié)目圖表)、VCT (虛擬頻道表)、EIT (事件信息表)或者SDT (服務(wù)描述表)被發(fā)送。
[0023]為了進(jìn)一步實(shí)現(xiàn)這些和其它的優(yōu)點(diǎn)，并且按照本發(fā)明的目的，按照不同的實(shí)施例，一種接收多視圖3D圖像廣播信號的方法，其處理在多視圖3D圖像中的邊緣違反，包括步驟:接收用于多視圖3D圖像廣播的廣播信號，從接收的廣播信號中解碼包括在第一視點(diǎn)的3D圖像中的第一左圖像數(shù)據(jù)和第一右圖像數(shù)據(jù)，從接收的廣播信號中解析3D圖像處理信息，使用第一左圖像數(shù)據(jù)、第一右圖像數(shù)據(jù)和3D圖像處理信息產(chǎn)生在第二視點(diǎn)的3D圖像中包括的第二左圖像數(shù)據(jù)和第二右圖像數(shù)據(jù)之中的至少一個(gè)或多個(gè)數(shù)據(jù)，其中產(chǎn)生在第二視點(diǎn)的3D圖像中包括的第二左圖像數(shù)據(jù)和第二右圖像數(shù)據(jù)之中的至少一個(gè)或多個(gè)數(shù)據(jù)的步驟包括下述步驟:將在第一視點(diǎn)的3D圖像中包括的像素映射到第二視點(diǎn)的3D圖像，并且從映射處理中提取在第二視點(diǎn)的3D圖像中出現(xiàn)的邊緣違反區(qū)域，處理第二視點(diǎn)的3D圖像的邊緣違反，以及顯示第一視點(diǎn)的3D圖像和第二視點(diǎn)的3D圖像。
[0024]優(yōu)選地，3D圖像處理信息包括有關(guān)捕捉第一視點(diǎn)的3D圖像的照相機(jī)的照相機(jī)參數(shù)的信息，并且產(chǎn)生在第二視點(diǎn)的3D圖像中包括的第二左圖像數(shù)據(jù)和第二右圖像數(shù)據(jù)之中的至少一個(gè)或多個(gè)數(shù)據(jù)的步驟使用有關(guān)照相機(jī)參數(shù)的信息產(chǎn)生在第二視點(diǎn)的3D圖像中包括的第二左圖像數(shù)據(jù)和第二右圖像數(shù)據(jù)之中的至少一個(gè)或多個(gè)數(shù)據(jù)。
[0025]優(yōu)選地，提取在第二視點(diǎn)的3D圖像中出現(xiàn)的邊緣違反區(qū)域的步驟分別地檢測在第二視點(diǎn)的3D圖像的左圖像和右圖像中包括的像素，并且檢測其中包括存在于左圖像中而不存在于右圖像中的像素或者存在于右圖像中而不存在于左圖像中的像素的區(qū)域作為邊緣違反的區(qū)域。
[0026]有益效果
[0027]按照本發(fā)明，在觀看多視圖3D圖像的情況下，能夠處理每個(gè)視點(diǎn)的邊緣違反。
[0028]按照本發(fā)明，能夠?qū)]有由發(fā)送端發(fā)送的視點(diǎn)的3D圖像執(zhí)行邊緣處理。
[0029]按照本發(fā)明，雖然發(fā)送端沒有提供為執(zhí)行邊緣處理所必需的信息(邊緣違反信息)，接收機(jī)也可以執(zhí)行邊緣處理。
【附圖說明】
[0030]圖1是按照本發(fā)明的一個(gè)實(shí)施例，用于顯示多視圖3D圖像方法的示意圖；
[0031]圖2是按照本發(fā)明的一個(gè)實(shí)施例，用于邊緣違反的示意圖；
[0032]圖3是按照本發(fā)明的一個(gè)實(shí)施例，用于處理邊緣違反方法的示意圖；
[0033]圖4是按照本發(fā)明的不同的實(shí)施例，用于處理邊緣違反方法的示意圖；
[0034]圖5是按照本發(fā)明的一個(gè)實(shí)施例，用于經(jīng)由SEI (輔助的增強(qiáng)信息)消息示意3D_view_processing_info 結(jié)構(gòu)的表；
[0035]圖6是按照本發(fā)明的一個(gè)實(shí)施例，用于3D_view_processing_info語法的表；
[0036]圖7是按照本發(fā)明的一個(gè)實(shí)施例，用于3D_edge_handling_info O元素語法的表;
[0037]圖8是按照本發(fā)明的一個(gè)實(shí)施例，用于3D邊緣違反區(qū)域檢測器函數(shù)信息(3D_EVAD_funct1n_info O)元素的表；
[0038]圖9是按照本發(fā)明的一個(gè)實(shí)施例，用于示意邊緣處理信息的情形的示意圖；
[0039]圖10是按照本發(fā)明的一個(gè)實(shí)施例，用于示意允許接收端扣除有關(guān)虛擬3D圖像的邊緣處理信息的相關(guān)函數(shù)情形的示意圖；
[0040]圖11是按照本發(fā)明的一個(gè)實(shí)施例，用于接收機(jī)自身執(zhí)行邊緣違反處理而無需單獨(dú)的信令的公式的示意圖；
[0041]圖12是按照本發(fā)明的一個(gè)實(shí)施例，用于執(zhí)行由接收機(jī)自身執(zhí)行的邊緣違反處理而無需單獨(dú)的信令的情形的示意圖；
[0042]圖13是按照本發(fā)明的一個(gè)實(shí)施例，用于多視圖3D圖像接收機(jī)的示意圖。
【具體實(shí)施方式】
[0043]現(xiàn)在將詳細(xì)地介紹本發(fā)明的優(yōu)選實(shí)施例，其例子在伴隨的附圖中圖示。但是，本發(fā)明可以不受該實(shí)施例的限制。
[0044]雖然在本說明書中使用的術(shù)語是從考慮到功能當(dāng)前和廣泛地使用的常規(guī)的術(shù)語中選擇出來的，它們可以按照從事于相應(yīng)的領(lǐng)域中的技術(shù)人員的意圖、習(xí)慣、新技術(shù)的出現(xiàn)等等變化。有時(shí)候，某些術(shù)語可以由申請人任意地選擇。在這種情況下，任意地選擇的術(shù)語的含義將在說明書的詳細(xì)說明的相應(yīng)的部分中描述。因此，在本說明書中使用的術(shù)語需要基于相應(yīng)的術(shù)語的實(shí)質(zhì)上的含義和在本說明書中公開的整個(gè)內(nèi)容解釋，而不是認(rèn)為是術(shù)語的簡單名稱。
[0045]表示3維圖像的方法可以包括考慮兩個(gè)視點(diǎn)的立體技術(shù)，和考慮超過3個(gè)視點(diǎn)的多視圖圖像技術(shù)(或者多視圖技術(shù))。相比較地，常規(guī)的單視圖圖像技術(shù)可以被稱作單視覺圖像技術(shù)。
[0046]立體技術(shù)使用通過以彼此遠(yuǎn)離某個(gè)距離的左照相機(jī)和右照相機(jī)拍攝相同的對象獲得的一對圖像，即，左視圖像(在下文中，左圖像)和右視圖像(在下文中，右圖像)?；蛘撸Ⅲw技術(shù)使用基礎(chǔ)圖像和附加圖像的一對圖像。多視圖技術(shù)使用通過以具有某個(gè)距離和角度的3個(gè)以上的照相機(jī)拍攝獲得的3個(gè)以上的圖像。多視圖技術(shù)對應(yīng)于在每個(gè)視點(diǎn)中提供立體技術(shù)的左/右圖像的技術(shù)。
[0047]按照本發(fā)明，立體技術(shù)包括并排、上下、棋盤技術(shù)等等。并排技術(shù)是通過分別在左圖像和右圖像的每個(gè)上水平地執(zhí)行一半下采樣，和在左側(cè)區(qū)域中設(shè)置一個(gè)采樣的圖像，和在右側(cè)區(qū)域中設(shè)置另一個(gè)采樣的圖像配置一個(gè)立體圖像的技術(shù)。上下技術(shù)是通過分別在左圖像和右圖像的每個(gè)上垂直地執(zhí)行一半下采樣，和在上區(qū)域中設(shè)置一個(gè)采樣的圖像，和在下區(qū)域中設(shè)置另一個(gè)采樣的圖像配置一個(gè)立體圖像的技術(shù)。棋盤技術(shù)是通過以左圖像和右圖像分別地水平和垂直地相交的方式執(zhí)行一半下采樣配置一個(gè)圖像的技術(shù)。但是，按照本發(fā)明的立體技術(shù)可以不受前面提到的示例限制。
[0048]作為一個(gè)例子，能夠無需經(jīng)過前面提到的下采樣過程，以收發(fā)具有完整分辨率的兩個(gè)圖像的方式提供3D圖像服務(wù)。在這種情況下，可以分開地配置分別發(fā)送左圖像和右圖像的傳輸流。尤其是，一個(gè)特定的傳輸流發(fā)送左圖像，并且另一個(gè)傳輸流可以發(fā)送右圖像。在這種情況下，傳輸流的每個(gè)可以作為用于2D圖像服務(wù)的流使用。
[0049]圖1是按照本發(fā)明的一個(gè)實(shí)施例，用于顯示多視圖3D圖像方法的示意圖。
[0050]參考圖1，兩個(gè)或更多個(gè)視點(diǎn)的3D圖像可以經(jīng)由單個(gè)顯示板提供。
[0051]圖1示出提供3個(gè)視點(diǎn)的3D圖像的方案。立體3D圖像可以在每個(gè)視點(diǎn)中提供。在這種情況下，包括在每個(gè)立體3D圖像中的視頻元素流可以在彼此不同的3D圖像中共同使用。例如，