專利名稱：用于校正立體圖像中的誤差的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施方式涉及用于校正三維(3D)圖像中的誤差的方法和設(shè)備。更具體地，本發(fā)明涉及用于校正3D圖像中的誤差的方法和設(shè)備，該方法和設(shè)備檢測深度圖信息中的誤差，并在提供通過將深度圖信息應用于輸入二維(2D)圖像內(nèi)容所產(chǎn)生的3D圖像內(nèi)容的處理中校正所述誤差，從而防止由于深度圖信息中的誤差而降低3D效果。
背景技術(shù)：
隨著數(shù)字技術(shù)的快速發(fā)展并且隨著由于廣播和通信的聚合導致的廣播媒體的多樣化，最近出現(xiàn)了與廣播相關(guān)的增值業(yè)務。目前，盡管諸如TV廣播的視頻業(yè)務的開發(fā)致力于高清晰和大屏幕技術(shù)，但迄今為止僅提供2D圖像內(nèi)容，因此觀看者無法從當前的2D圖像內(nèi)容感知3D效果。因此，對3D圖像的需求逐漸增加，但迄今為止明顯缺乏3D圖像內(nèi)容。3D圖像處理是下一代信息技術(shù)業(yè)務領(lǐng)域中的關(guān)鍵技術(shù)，并且隨著信息工業(yè)社會的發(fā)展還是一種具有增加的競爭力的最先進的技術(shù)。3D圖像處理技術(shù)是提供高質(zhì)量視頻業(yè)務的基本要素，并且被應用于諸如廣播、醫(yī)療、教育、軍事、游戲和虛擬現(xiàn)實的多個領(lǐng)域以及信息技術(shù)領(lǐng)域。因此，需要從2D圖像內(nèi)容提供3D圖像內(nèi)容的技術(shù)。然而，在利用當前技術(shù)從2D圖像內(nèi)容提供3D圖像內(nèi)容的處理期間出現(xiàn)誤差，這是個問題。

發(fā)明內(nèi)容
技術(shù)問題因此，本發(fā)明致力于解決上述問題，本發(fā)明的實施方式的目的在于一種用于校正三維(3D)圖像中的誤差的方法和設(shè)備，該方法和設(shè)備能夠防止在輸出3D圖像內(nèi)容的處理中由于深度圖信息中的誤差而導致降低3D效果。技術(shù)方案用于實現(xiàn)以上目的的本發(fā)明的實施方式提供了一種用于校正三維(3D)圖像中的誤差的設(shè)備，該設(shè)備包括:空間直方圖生成單元，其利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息生成空間直方圖信息；峰值頻率生成單元，其利用所述輸入圖像數(shù)據(jù)的二維(2D)圖像數(shù)據(jù)生成峰值頻率；對象分析單元，其基于所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數(shù)據(jù)的各個幀中的誤差；深度圖誤差校正單元，如果確定所述幀中存在誤差，則該深度圖誤差校正單元校正所述深度圖信息，使得所述誤差被校正；以及渲染處理單元，其利用所述經(jīng)校正的深度圖信息來產(chǎn)生用于形成3D圖像的左眼圖像和右眼圖像。根據(jù)本發(fā)明的另一目的，提供了一種用于校正3D圖像中的誤差的方法，該方法包括以下步驟:空間直方圖生成步驟，利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息生成空間直方圖信息；峰值頻率生成步驟，利用所述輸入圖像數(shù)據(jù)的2D圖像數(shù)據(jù)生成峰值頻率；對象分析步驟，基于所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數(shù)據(jù)的各個幀中的誤差；深度圖誤差校正步驟，如果確定所述幀中存在誤差，則校正所述深度圖信息，使得所述誤差被校正；以及渲染處理步驟，利用所述經(jīng)校正的深度圖信息來產(chǎn)生用于形成3D圖像的左眼圖像和右眼圖像。根據(jù)本發(fā)明的另一目的，提供了一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中檢測所述深度圖信息中的誤差，該方法包括以下步驟:確定超出針對所述2D圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值；如果所述特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超出所述第一閾值，則將與所述特定值對應的區(qū)域分類為誤差傾向區(qū)域；如果所述誤差傾向區(qū)域的峰值頻率在所述正(+ )方向或負(_)方向上超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果是否彼此一致；以及如果確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果彼此不一致，則確定所述深度圖信息中存在誤差。根據(jù)本發(fā)明的另一目的，提供了一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中校正所述深度圖信息中的誤差，該方法包括以下步驟:確定超出被確定為所述深度圖信息中具有誤差的誤差包含區(qū)域的空間直方圖信息的標準差的特定值；確定所述特定值是否在縱(Y)軸的正(+ )方向或負(_)方向上超出第一閾值；以及如果確定所述特定值超出所述第一閾值，則通過基于所述特定值超出所述第一閾值的方向?qū)⑺鎏囟ㄖ翟黾踊驕p小到所述空間直方圖信息的所述標準差來校正所述誤差。根據(jù)本發(fā)明的另一目的，提供了一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中檢測所述深度圖信息中的誤差并校正所述誤差，該方法包括以下步驟:確定超出針對所述2D圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值；如果所述特定值超出第一閾值，則將與所述特定值對應的區(qū)域分類為誤差傾向區(qū)域；如果所述誤差傾向區(qū)域的峰值頻率超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果是否彼此一致；如果確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果彼此不一致，則確定所述深度圖信息中存在誤差；以及通過基于所述特定值超出所述第一閾值的方向?qū)⑺鎏囟ㄖ翟黾踊驕p小到所述空間直方圖信息的所述標準差來校正所述誤差。有益效果如上所述，根據(jù)本發(fā)明的實施方式，能夠在提供通過將深度圖信息應用于輸入2D圖像內(nèi)容所產(chǎn)生3D圖像內(nèi)容的處理中檢測深度圖信息中的誤差并校正所述誤差，從而防止深度圖信息中的誤差降低3D效果。此外，根據(jù)本發(fā)明的實施方式，能夠檢測與2D圖像數(shù)據(jù)一起接收的或者從2D圖像數(shù)據(jù)估計的單獨的深度圖信息中的所有誤差，并校正所述誤差。即，能夠在輸出3D圖像內(nèi)容時校正誤差，從而使得觀看者能夠感知經(jīng)改進的3D效果。


圖1是示意性示出根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的設(shè)備的框圖。圖2是示出根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的方法的流程圖。圖3是示出根據(jù)本發(fā)明的實施方式的空間直方圖的說明性示圖。圖4是示出本發(fā)明的實施方式的輸入2D圖像數(shù)據(jù)的說明性示圖。圖5是示出根據(jù)本發(fā)明的實施方式的特定幀的正常深度圖信息的說明性示圖。圖6是示出根據(jù)本發(fā)明的實施方式的特定幀的誤差傾向區(qū)域的說明性示圖。圖7是示出根據(jù)本發(fā)明的實施方式的特定對象的誤差傾向區(qū)域的說明性示圖。圖8是示出根據(jù)本發(fā)明的實施方式的根據(jù)快速傅里葉變換(FFT)的應用的峰值頻率的說明性示圖?！礃颂栒f明〉100:用于校正3D圖像中的誤差的設(shè)備112:圖像接收單元120:深度圖接收單元122:空間直方圖生成單元130:2D圖像接收單元132:峰值頻率生成單元140:對象分析單元150:深度圖誤差校正單元160:渲染處理單元
具體實施例方式下文中，將參照附圖描述本發(fā)明的示例性實施方式。在以下描述中，盡管元件在不同的附圖中示出，但相同的元件用相同的標號來表示。此外，在本發(fā)明的以下描述中，當對合并于此的已知功能和結(jié)構(gòu)的詳細描述可能使得本發(fā)明的主題不清晰時，將省略該詳細描述。另外，當描述本發(fā)明的部件時，這里可能使用諸如第一、第二、A、B、(a)、(b)等術(shù)語。這些術(shù)語中的每一個不用于限定對應部件的本質(zhì)、順序或次序，而僅用于將對應的部件與其它部件區(qū)分開。應該注意，如果在說明書中描述了一個部件“連接”、“耦接”或“結(jié)合”到另一部件，則盡管第一部件可直接“連接”、“耦接”或“結(jié)合”到第二部件，但是第三部件可“連接”、“耦接”和“結(jié)合”在第一部件和第二部件之間。圖1是示意性示出根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的設(shè)備的框圖。根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的設(shè)備100包括圖像接收單元112、深度圖估計單元114、深度圖接收單元120、空間直方圖生成單元122、2D圖像接收單元130、峰值頻率生成單元132、對象分析單元140、深度圖誤差校正單元150和渲染處理單元160。盡管在本發(fā)明的實施方式中描述了用于校正3D圖像中的誤差的設(shè)備100包括圖像接收單元112、深度圖估計單元114、深度圖接收單元120、空間直方圖生成單元122、2D圖像接收單元130、峰值頻率生成單元132、對象分析單元140、深度圖誤差校正單元150和渲染處理單元160，但是這僅旨在示出本發(fā)明的實施方式的技術(shù)構(gòu)思，本發(fā)明所屬領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明的實施方式的基本特征的情況下可對用于校正3D圖像中的誤差的設(shè)備100的部件做出各種修改和改變。根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的設(shè)備是指將輸入圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)，在將輸入圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)的處理中檢測誤差，并且校正所述誤差的設(shè)備。即，用于校正3D圖像中的誤差的設(shè)備100是指可從圖像內(nèi)容供應方接收2D圖像數(shù)據(jù)并在顯示所述2D圖像數(shù)據(jù)之前將所接收到的2D圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像的設(shè)備。此外，用于校正3D圖像中的誤差的設(shè)備100可從諸如廣播公司的圖像內(nèi)容供應方接收獨立于2D圖像數(shù)據(jù)提供的深度圖信息。即，用于校正3D圖像中的誤差的設(shè)備100可以檢測從圖像內(nèi)容供應方接收的或者從2D圖像數(shù)據(jù)估計的深度圖信息中的誤差，并校正所檢測到的誤差。這里，用于校正3D圖像中的誤差的設(shè)備100可安裝在諸如TV、監(jiān)視器等的顯示裝置中，或者可實現(xiàn)為諸如機頂盒的獨立裝置并連接到顯示裝置。因此，在本發(fā)明中將僅描述由用于校正3D圖像中的誤差的設(shè)備100執(zhí)行的輸入圖像數(shù)據(jù)到用于3D圖像的左眼圖像和右眼圖像的轉(zhuǎn)換，而不單獨描述由顯示裝置執(zhí)行的按照立體或自動立體方式對3D圖像的顯不O可按照兩個方面定義本發(fā)明所述的3D圖像。首先，3D圖像可被定義為應用了深度圖信息使得用戶能夠感覺到圖像的一部分從畫面凸出的圖像。其次，3D圖像可被定義為向用戶提供多個視點使得用戶能夠從圖像感知真實感的圖像。即，本發(fā)明所述的3D圖像是指使得觀看者能夠感知聽覺-視覺3D效果從而提供生動感和真實感的圖像?？梢曰讷@取方法、深度印象和顯示方法來將3D圖像分類成立體類型、多視點類型、集成成像(IP)類型、多視點(omni)類型、全景類型和全息圖類型。用于顯示3D圖像的方法可包括基于圖像的重建和基于網(wǎng)格(mesh)的呈現(xiàn)。與人眼類似，需要從左側(cè)和右側(cè)這二者拍攝的兩個圖像來呈現(xiàn)3D圖像。S卩，通過左眼觀看從左側(cè)拍攝的圖像，并且通過右眼觀看從右側(cè)拍攝的圖像，使得觀看者感知3D效果。用于拍攝3D圖像的廣播相機具有兩個相機彼此并排放置或者其中設(shè)置有兩個鏡頭的結(jié)構(gòu)。3D圖像需要左圖像和右圖像，因此，圖像數(shù)據(jù)的尺寸是普通廣播數(shù)據(jù)的尺寸的兩倍。結(jié)果，作為廣播信號發(fā)送的3D圖像占據(jù)雙頻帶?？赏ㄟ^分別將左圖像和右圖像的尺寸減小一半并類似于“并排”方法將左圖像和右圖像組合來按照普通廣播數(shù)據(jù)的尺寸傳送3D圖像。然而，數(shù)據(jù)量在水平方向被壓縮，從而出現(xiàn)數(shù)據(jù)損失。為了在保持與普通圖像數(shù)據(jù)的量相等的數(shù)據(jù)量的同時發(fā)送3D圖像數(shù)據(jù)，可將與普通圖像對應的2D圖像數(shù)據(jù)與包含關(guān)于3D圖像數(shù)據(jù)的信息的深度圖信息一起發(fā)送。深度圖信息的量對應于2D圖像數(shù)據(jù)量的大約10%，因此，如果添加大約10%的信息，則可顯示3D圖像。此外，當作為接收2D圖像的接收單元的用于校正3D圖像中的誤差的設(shè)備100可將2D圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)時，需要與普通圖像數(shù)據(jù)相同的信息量，進而無需附加數(shù)據(jù)就可顯示3D圖像?？梢园凑者@種方式來處理用于提供3D圖像的信號數(shù)據(jù):發(fā)送左圖像和右圖像這兩者，左圖像和右圖像在水平方向上被壓縮并被發(fā)送，2D圖像數(shù)據(jù)和深度圖信息被一起發(fā)送，或者由作為接收單元的用于校正3D圖像中的誤差的設(shè)備100將2D圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)。此外，當圖像內(nèi)容供應方按照發(fā)送左圖像和右圖像這二者或者左圖像和右圖像在水平方向上被壓縮并被發(fā)送的這種方式來發(fā)送圖像數(shù)據(jù)時，3D圖像數(shù)據(jù)被發(fā)送，并且在這種情況下，無法修改3D圖像的3D效果。然而，當2D圖像數(shù)據(jù)和深度圖信息被一起發(fā)送時，或者當作為接收單元的用于校正3D圖像中的誤差的設(shè)備100將2D圖像數(shù)據(jù)轉(zhuǎn)換成3D圖像數(shù)據(jù)時，用于校正3D圖像中的誤差的設(shè)備100可以控制深度圖信息，這可以修改3D效果。因此，根據(jù)本發(fā)明的實施方式的用于校正3D圖像中的誤差的設(shè)備100可以通過檢測深度圖信息中的誤差以創(chuàng)建3D效果來向觀看者提供更加改進的3D圖像。3D效果對應于根據(jù)觀看者的年齡、標準等顯著改變的主觀判斷，但是感知3D效果中的差異可通過以下客觀項來確定。即，當在一個圖像中同時存在深度圖信息具有大的差異的多個對象時，當從人眼的角度左圖像和右圖像具有大的差異時，當自然存在的3D效果和應用于圖像的3D效果在特定對象或特定區(qū)域中被不同地感知時，或者當有意增加3D效果以強調(diào)3D效果時，差異是明顯的。如上所述，一個圖像中同時存在深度圖信息具有大的差異的多個對象的情況，或者從人眼的角度左圖像和右圖像具有大的差異的情況主要是通過3D相機拍攝圖像時導致的，這主要取決于攝影師的技術(shù)。此外，可通過利用作為接收對應圖像的接收單元的用于校正3D圖像中的誤差的設(shè)備100檢測深度圖信息中的誤差并校正所述誤差來將自然存在的3D效果和應用于圖像的3D效果在特定對象或特定區(qū)域中被不同地感知的情況或者有意增加3D效果以強調(diào)3D效果的情況減輕到一定程度。具體地，當作為接收單元的用于校正3D圖像中的誤差的設(shè)備100從2D圖像數(shù)據(jù)估計深度圖信息，并基于所估計出的深度圖信息將2D圖像數(shù)據(jù)轉(zhuǎn)換成用于3D圖像的左眼圖像和右眼圖像時，執(zhí)行諸如圖像的識別和分析、對象的分離、對象的距離透視的確定等的各種處理。因此，在3D圖像轉(zhuǎn)換期間出現(xiàn)誤差，進而在深度圖信息中可能包括該誤差。由于該誤差，導致3D圖像的觀看者感覺眩暈。S卩，當從圖像內(nèi)容供應方接收單獨的深度圖信息或者從2D圖像數(shù)據(jù)估計深度圖信息時，用于校正3D圖像中的誤差的設(shè)備100可從深度圖信息檢測誤差。例如，當位于短距離的對象被示出遠離位于長距離的對象時，無法將其恢復為其原始形式，但是可以利用用于校正3D圖像中的誤差的設(shè)備100來檢測深度圖信息中包含的誤差并校正該誤差。此外，可通過基于深度圖像的渲染(DIBR)來顯示3D圖像?；谏疃葓D像的渲染是指利用具有與各個相關(guān)像素中的深度、角度差等有關(guān)的信息的基準圖像在不同的視點創(chuàng)建幀的方法?；谏疃葓D像的渲染能夠容易地渲染3D模型的難以描述且復雜的形狀，并使得能夠應用諸如普通圖像濾波的信號處理，從而產(chǎn)生高質(zhì)量的3D圖像?；谏疃葓D像的渲染使用由深度相機和多視點相機拍攝的深度圖像和紋理圖像。此外，深度圖像是以黑和白為單位顯示位于3D空間中的對象與拍攝該對象的相機之間的距離的圖像。通過深度圖信息和相機參數(shù)在3D恢復或3D折疊變換(warping)中使用深度圖像。此外，深度圖像被應用于自由視點TV或3D TV。自由視點TV是指使得用戶能夠根據(jù)用戶的選擇不是從預定視點而是從任何視點觀看圖像的TV。3D TV提供通過將深度圖像與2D圖像相加所獲得的圖像。針對自由視點TV和3D TV中的平穩(wěn)視點轉(zhuǎn)換，必須生成中間圖像，因此必須估計準確的深度圖信息。此外，在本發(fā)明中，稍后將參照深度圖估計單元114來詳細描述用于估計深度圖信息的方法。圖像接收單元112確定是否單獨輸入了與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息，如果確定單獨輸入了深度圖信息，則將深度圖信息發(fā)送到深度圖接收單元120。如果沒有單獨輸入與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息，則深度圖估計單元114針對輸入圖像數(shù)據(jù)的各個幀估計深度圖信息，并將所估計出的深度圖信息發(fā)送到深度圖接收單元120。即，深度圖估計單元114針對輸入圖像數(shù)據(jù)的各個幀中存在的各個像素估計深度圖信息。這里，各個像素可包括R、G和B子像素。此外，輸入圖像數(shù)據(jù)是指2D圖像數(shù)據(jù)。此外，深度圖估計單元114可使用立體匹配算法作為用于估計深度圖信息的通常方法。立體匹配算法僅在水平方向上搜索周圍圖像，以獲得變化值，并且僅輸入利用平行相機構(gòu)造拍攝的圖像或經(jīng)過了校正的圖像。本發(fā)明中描述的深度圖信息是指指示深度感知的信息，并可稱為Z緩沖器。此外，深度圖估計單元114利用與畫面的傾斜、對象的陰影、畫面的焦點和對象圖案相關(guān)的多個信息中的至少一個來分析各個幀，以估計深度圖信息。例如，深度圖估計單元114可通過基于幀中的傾斜確定在幀中位于畫面的底部的對象在近處并且位于頂部的對象在遠處來估計深度圖信息。此外，深度圖估計單元114可通過基于對象的陰影確定幀中的對象的暗色部分在遠處并且該對象的亮色部分在近處來估計深度圖信息。即，該方法使用陰影總在對象后面的原理。此外，深度圖估計單元114可通過基于畫面的焦點確定清晰對象在前面并且模糊對象在后面來估計深度圖信息。此外，如果存在同一類型的多個連續(xù)圖案，則深度圖估計單元114可通過基于對象圖案確定大尺寸圖案在小尺寸圖案的前面來估計深度圖信息。深度圖接收單元120從圖像接收單元112或深度圖估計單元114接收與輸入的圖像數(shù)據(jù)相關(guān)的深度圖信息。即，當從圖像內(nèi)容供應方獨立于圖像數(shù)據(jù)接收深度圖信息時，除了圖像數(shù)據(jù)之外，深度圖接收單元120通過圖像接收單元112單獨接收深度圖信息。此外，當除了深度圖信息之外還從圖像內(nèi)容供應方接收圖像數(shù)據(jù)時，深度圖接收單元120從輸入圖像數(shù)據(jù)接收由深度圖估計單元114估計的深度圖信息?？臻g直方圖生成單元122利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息來生成空間直方圖信息?？臻g直方圖生成單元122通過針對輸入圖像數(shù)據(jù)的各個幀中的根據(jù)深度圖信息分類的各個對象在橫軸(X)和縱軸(Y)上對深度圖信息進行直方圖分析(histogramming)來生成空間直方圖信息?？臻g直方圖生成單元122通過針對各個對象對深度圖信息進行直方圖分析來生成空間直方圖表。即，本發(fā)明中描述的空間直方圖信息是指通過在橫軸(X)和縱軸(Y)上對根據(jù)深度圖信息分類的對象進行直方圖分析所獲得的信息。2D圖像接收單元130接收從圖像接收單元112或深度圖估計單元114輸入的圖像數(shù)據(jù)的2D圖像數(shù)據(jù)。即，當從圖像內(nèi)容供應方獨立于圖像數(shù)據(jù)接收深度圖信息時，除了深度圖信息之外，2D圖像接收單元130通過圖像接收單元112接收2D圖像數(shù)據(jù)。此外，當除了深度圖信息之外，還從圖像內(nèi)容供應方接收圖像數(shù)據(jù)時，2D圖像接收單元130通過深度圖估計單元114僅接收2D圖像數(shù)據(jù)。峰值頻率生成單元132利用輸入圖像數(shù)據(jù)的2D圖像數(shù)據(jù)生成峰值頻率。峰值頻率生成單元132通過按照預定宏塊為單位對輸入圖像數(shù)據(jù)的各個幀進行掃描來將所述幀劃分成多個區(qū)域，并利用所劃分的多個區(qū)域中的每一個的像素值來計算峰值頻率。為了計算峰值頻率，峰值頻率生成單元132利用快速傅里葉變換(FFT)將各個幀的頻率分量劃分成高頻分量和低頻分量，并將高頻分量的系數(shù)的比確定為峰值頻率。峰值頻率生成單元132基于針對各個區(qū)域計算出的峰值頻率生成峰值頻率表。本發(fā)明中描述的宏塊可具有諸如8X8、16X16、32X32、8X16、16X8、16X32、32X16等的各種尺寸，并可具有根據(jù)對應幀中的對象的各種尺寸。然而，可按照具有子塊的宏塊為單位對幀進行掃描。對象分析單元140基于從空間直方圖生成單元122接收的空間直方圖和從峰值頻率生成單元132接收的峰值頻率來檢測輸入圖像數(shù)據(jù)的各個幀中的誤差。如果對象中包括的空間直方圖信息超過第一閾值，則對象分析單元140將該對象的對應區(qū)域分類為誤差傾向區(qū)域410。然而，如果超出對象中包括的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超過第一閾值，則對象分析單元140將與所述特定值對應的區(qū)域分類為誤差傾向區(qū)域410。此外，對象分析單元140從通過按照預定宏塊為單位對輸入圖像數(shù)據(jù)的各個幀進行掃描所劃分的多個區(qū)域中選擇與誤差傾向區(qū)域410對應的區(qū)域，并且如果所選擇的區(qū)域的峰值頻率超出第二閾值，則確定誤差傾向區(qū)域410的深度圖信息中存在誤差，從而將誤差傾向區(qū)域410識別為誤差包含區(qū)域。此外，如果與誤差傾向區(qū)域410對應的峰值頻率在所述正(+ )方向或負(-)方向上超出第二閾值，并且如果峰值頻率超出第一閾值的正(+ )方向或負(_)方向的結(jié)果與峰值頻率超出第二閾值的正(+ )方向或負(_)方向的結(jié)果彼此不一致，則對象分析單元140確定誤差傾向區(qū)域410的深度圖信息中存在誤差，從而將誤差傾向區(qū)域410識別為誤差包含區(qū)域。當確定幀中存在誤差時，深度圖誤差校正單元150對深度圖信息進行校正，使得所述誤差被校正。此外，深度圖誤差校正單元150對誤差包含區(qū)域的深度圖信息中的誤差進行校正。例如，在深度圖誤差校正單元150可被實現(xiàn)為對整個幀的深度圖信息中的誤差進行校正的同時，如果由對象分析單元140確定了誤差包含區(qū)域，則深度圖誤差校正單元150可被實現(xiàn)為對誤差包含區(qū)域的深度圖像信息進行校正。此外，如果超出與誤差包含區(qū)域相關(guān)的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的正(+)方向上超出第一閾值，則深度圖誤差校正單元150用于將在正(+)方向上超出第一閾值的所述特定值減小到空間直方圖信息的標準差。此外，如果超出與誤差包含區(qū)域相關(guān)的空間直方圖信息的標準差的特定值在第一閾值的縱(Y)軸的負(_)方向上超出第一閾值，則深度圖誤差校正單元150用于將在負(_)方向上超出第一閾值的所述特定值增加到空間直方圖信息的標準差。現(xiàn)在將描述圖1中示出的用于校正3D圖像中的誤差的設(shè)備100的另一實施方式。空間直方圖生成單元122缺省生成與一個幀相關(guān)的整個空間直方圖信息，并且如果所生成的空間直方圖大于特定區(qū)域，則創(chuàng)建空間直方圖表。這里，所創(chuàng)建的空間直方圖表的各個元素可作為一個對象被分開 。對象分析單元140通過針對由峰值頻率生成單元132分開的各個對象對2D圖像數(shù)據(jù)的對應區(qū)域 中的峰值頻率進行分析來計算對應對象的峰值頻率。即，對象分析單元140通過空間直方圖生成單元122和峰值頻率生成單元132而具有針對各個對象的空間直方圖信息和峰值頻率。這里，在下表I中示出了對象分析單元140獲得的空間直方圖表和峰值頻率表。[表 I]
權(quán)利要求
1.一種用于校正三維3D圖像中的誤差的設(shè)備，該設(shè)備包括: 空間直方圖生成單元，其利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息生成空間直方圖信息； 峰值頻率生成單元，其利用所述輸入圖像數(shù)據(jù)的二維2D圖像數(shù)據(jù)生成峰值頻率； 對象分析單元，其基于所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數(shù)據(jù)的各個幀中的誤差； 深度圖誤差校正單元，如果確定所述幀中存在誤差，則該深度圖誤差校正單元校正所述深度圖信息，使得所述誤差被校正；以及 渲染處理單元，其利用所述經(jīng)校正的深度圖信息來產(chǎn)生用于形成3D圖像的左眼圖像和右眼圖像。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述空間直方圖生成單元通過針對所述輸入圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象在橫(X)軸和縱(Y)軸上對所述深度圖信息進行直方圖分析來生成所述空間直方圖信息。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述空間直方圖生成單元通過針對各個對象對所述深度圖信息進行直方圖分析來生成空間直方圖表。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述峰值頻率生成單元通過按照預定宏塊為單位對所述輸入圖像數(shù)據(jù)的各個幀進行掃描來將所述幀劃分成多個區(qū)域，并利用所劃分的多個區(qū)域中的每一個的像素值來計算所述峰值頻率。
5.根據(jù)權(quán)利要求4所述的設(shè)備`，其中，所述峰值頻率生成單元利用快速傅里葉變換FFT將各個幀的頻率分量劃分成高頻分量和低頻分量，并將所述高頻分量的系數(shù)的比確定為所述峰值頻率。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述峰值頻率生成單元基于針對各個區(qū)域計算出的所述峰值頻率來生成峰值頻率表。
7.根據(jù)權(quán)利要求2所述的設(shè)備，其中，如果所述對象中包括的所述空間直方圖信息超出第一閾值，則所述對象分析單元將所述對象的對應區(qū)域分類為誤差傾向區(qū)域。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，如果超出所述對象中包括的所述空間直方圖信息的標準差的特定值在所述第一閾值的縱(Y)軸的正(+)方向或負(_)方向上超出所述第一閾值，則所述對象分析單元將與所述特定值對應的區(qū)域分類為所述誤差傾向區(qū)域。
9.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述對象分析單元從通過按照預定宏塊為單位對所述輸入圖像數(shù)據(jù)的各個幀進行掃描所劃分的所述多個區(qū)域中選擇與所述誤差傾向區(qū)域?qū)膮^(qū)域，如果所選擇的區(qū)域的所述峰值頻率超出第二閾值，則所述對象分析單元確定所述誤差傾向區(qū)域的所述深度圖信息中存在誤差，從而將所述誤差傾向區(qū)域識別為誤差包含區(qū)域。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，如果與所述誤差傾向區(qū)域?qū)乃龇逯殿l率在所述正(+ )方向或負(_)方向上超出所述第二閾值，并且如果所述峰值頻率超出所述第一閾值的所述正(+ )方向或負(_)方向的結(jié)果與所述峰值頻率超出所述第二閾值的所述正(+ )方向或負(_)方向的結(jié)果彼此不一致，則所述對象分析單元確定所述誤差傾向區(qū)域的所述深度圖信息中存在誤差，從而將所述誤差傾向區(qū)域識別為所述誤差包含區(qū)域。
11.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述深度圖誤差校正單元校正所述誤差包含區(qū)域的所述深度圖信息中的所述誤差。
12.根據(jù)權(quán)利要求9所述的設(shè)備，其中，如果超出與所述誤差包含區(qū)域相關(guān)的所述空間直方圖信息的所述標準差的特定值在所述第一閾值的縱(Y)軸的所述正(+)方向上超出所述第一閾值，則所述深度圖誤差校正單元將在所述正(+)方向上超出所述第一閾值的所述特定值減小到所述空間直方圖信息的所述標準差。
13.根據(jù)權(quán)利要求9所述的設(shè)備，其中，如果超出與所述誤差包含區(qū)域相關(guān)的所述空間直方圖信息的所述標準差的特定值在所述第一閾值的所述縱(Y)軸的所述負(_)方向上超出所述第一閾值，則所述深度圖誤差校正單元將在所述負(_)方向上超出所述第一閾值的所述特定值增加到所述空間直方圖信息的所述標準差。
14.根據(jù)權(quán)利要求1所述的設(shè)備，該設(shè)備還包括: 深度圖接收單元，其接收與所述圖像數(shù)據(jù)相關(guān)的所述深度圖信息；以及 2D圖像接收單元，其接收所述輸入圖像數(shù)據(jù)的2D圖像數(shù)據(jù)。
15.根據(jù)權(quán)利要 求14所述的設(shè)備，該設(shè)備還包括: 圖像接收單元，其確定與所述輸入圖像數(shù)據(jù)相關(guān)的所述深度圖信息是否被單獨輸入，如果確定所述深度圖信息被單獨輸入，則該圖像接收單元將所述深度圖信息發(fā)送到所述深度圖接收單元；以及 深度圖估計單元，如果與所述輸入圖像數(shù)據(jù)相關(guān)的所述深度圖信息沒有被單獨輸入，則該深度圖估計單元針對所述輸入圖像數(shù)據(jù)的各個幀估計所述深度圖信息，并且將所估計出的深度圖信息發(fā)送到所述深度圖信息接收單元。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述深度圖估計單元利用與畫面的傾斜、對象的陰影、畫面的焦點和對象圖案相關(guān)的多個信息中的至少一個來分析各個幀，以估計所述深度圖信息。
17.一種用于校正3D圖像中的誤差的方法，該方法包括以下步驟: 空間直方圖生成步驟，利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息生成空間直方圖信息； 峰值頻率生成步驟，利用所述輸入圖像數(shù)據(jù)的2D圖像數(shù)據(jù)生成峰值頻率； 對象分析步驟，基于所述空間直方圖和所述峰值頻率來檢測所述輸入圖像數(shù)據(jù)的各個中貞中的誤差； 深度圖誤差校正步驟，如果確定所述幀中存在誤差，則校正所述深度圖信息，使得所述誤差被校正；以及 渲染處理步驟，利用所述經(jīng)校正的深度圖信息來產(chǎn)生用于形成3D圖像的左眼圖像和右眼圖像。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述空間直方圖生成步驟包括以下步驟:通過針對所述輸入圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象在橫(X)軸和縱(Y)軸上對所述深度圖信息進行直方圖分析來生成所述空間直方圖信息。
19.根據(jù)權(quán)利要求17所述的方法，其中，所述峰值頻率生成步驟包括以下步驟: 通過按照預定宏塊為單位對所述輸入圖像數(shù)據(jù)的各個幀進行掃描來將所述幀劃分成多個區(qū)域； 利用快速傅里葉變換FFT將所劃分的多個區(qū)域中的每一個區(qū)域中存在的像素的頻率分量劃分成高頻分量和低頻分量；以及將所述高頻分量的系數(shù)的比確定為所述峰值頻率。
20.根據(jù)權(quán)利要求17所述的方法，其中，所述對象分析步驟包括以下步驟: 如果所述對象中包括的所述空間直方圖信息超出第一閾值，則將所述對象的對應區(qū)域分類為誤差傾向區(qū)域； 從通過按照預定宏塊為單位對所述輸入圖像數(shù)據(jù)的各個幀進行掃描所劃分的所述多個區(qū)域中選擇與所述誤差傾向區(qū)域?qū)膮^(qū)域；以及 如果所選擇的區(qū)域的所述峰值頻率超出第二閾值，則確定所述誤差傾向區(qū)域的所述深度圖信息中存在誤差，從而將所述誤差傾向區(qū)域識別為誤差包含區(qū)域。
21.一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中檢測所述深度圖信息中的誤差，該方法包括以下步驟: 確定超出針對所述2D圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值； 如果所述特定值在第一閾值的縱(Y)軸的正(+ )方向或負(_)方向上超出所述第一閾值，則將與所述特定值對應的區(qū)域分類為誤差傾向區(qū)域； 如果所述誤差傾向區(qū)域的峰值頻率在所述正(+ )方向或負(_)方向上超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果是否彼此一致；以及 如果確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果彼此不一致，`則確定所述深度圖信息中存在誤差。
22.一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中校正所述深度圖信息中的誤差，該方法包括以下步驟: 確定超出被確定為所述深度圖信息中具有誤差的誤差包含區(qū)域的空間直方圖信息的標準差的特定值； 確定所述特定值是否在縱(Y)軸的正(+ )方向或負(_)方向上超出第一閾值；以及如果確定所述特定值超出所述第一閾值，則通過基于所述特定值超出所述第一閾值的方向?qū)⑺鎏囟ㄖ翟黾踊驕p小到所述空間直方圖信息的所述標準差來校正所述誤差。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述校正所述誤差的步驟包括以下步驟:如果確定所述特定值在所述縱(Y)軸的所述正(+)方向上超出所述第一閾值，則將所述特定值減小到所述空間直方圖信息的所述標準差，如果確定所述特定值在所述縱(Y)軸的所述負(_)方向上超出所述第一閾值，則將所述特定值增加到所述空間直方圖信息的所述標準差。
24.一種用于校正3D圖像中的誤差的方法，該方法在提供通過將深度圖信息應用于輸入2D圖像數(shù)據(jù)所產(chǎn)生的3D圖像的處理中檢測所述深度圖信息中的誤差并校正所述誤差，該方法包括以下步驟: 確定超出針對所述2D圖像數(shù)據(jù)的各個幀中的根據(jù)所述深度圖信息分類的各個對象生成的空間直方圖信息的標準差的特定值； 如果所述特定值超出第一閾值，則將與所述特定值對應的區(qū)域分類為誤差傾向區(qū)域； 如果所述誤差傾向區(qū)域的峰值頻率超出第二閾值，則確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果是否彼此一致； 如果確定所述峰值頻率超出所述第一閾值的方向的結(jié)果與所述峰值頻率超出所述第二閾值的方向的結(jié)果彼此不一致，則確定所述深度圖信息中存在誤差；以及 通過基于所述特定值超出所述第一閾值的方向?qū)⑺鎏囟ㄖ翟黾踊驕p小到所述空間直方圖信息的所述標準差來校正所述誤 差。
全文摘要
本發(fā)明的實施方式涉及用于校正立體圖像中的誤差的方法和設(shè)備。根據(jù)本發(fā)明的實施方式的用于校正立體圖像中的誤差的設(shè)備包括空間直方圖生成單元，其利用與輸入圖像數(shù)據(jù)相關(guān)的深度圖信息生成空間直方圖信息；峰值頻率生成單元，其利用所述輸入圖像數(shù)據(jù)的2D圖像數(shù)據(jù)生成峰值頻率；對象分析單元，其基于所述空間直方圖和所述峰值頻率來確定所述輸入圖像數(shù)據(jù)的各個幀中的誤差；深度圖誤差校正單元，其校正所述深度圖信息，以減小誤差；以及渲染處理單元，其利用經(jīng)校正的深度圖信息來生成作為立體圖像的左眼圖像和右眼圖像。根據(jù)本發(fā)明的實施方式，可以確定并減小深度圖信息中的誤差，從而從提供深度圖信息被應用于輸入2D圖像內(nèi)容的立體圖像內(nèi)容的處理中減小由于深度圖信息中的誤差所導致的立體感知。
文檔編號H04N13/00GK103119947SQ201180028346
公開日2013年5月22日 申請日期2011年4月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者禹大植, 全柄璣, 金娥爛, 李洪雨, 金鐘大, 鄭元晳 申請人:Sk 普蘭尼特有限公司