專利名稱：動態(tài)景深調(diào)整裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，尤其涉及調(diào)整深度圖像以增進視覺效果的系統(tǒng)及方法。
背景技術(shù)：
隨著立體顯示器的發(fā)展，立體圖像的處理也愈來愈重要。一般而言，立體圖像的取得可通過幾種方式，例如利用可得到深度信息的深度攝影機進行拍攝、由模擬人類雙眼視覺的雙攝影機進行拍攝、或是由二維圖像經(jīng)過適當(dāng)?shù)膱D像處理以得到立體圖像。如圖1A所示，由二維圖像轉(zhuǎn)換至立體圖像的處理過程可約略分為幾個步驟:圖像縮小、邊緣檢測(edge detection)、線劃追蹤(line tracing)、深度指派(depth assignment)、深度圖像放大及平滑化、橫向偏移(lateral shifting),當(dāng)深度圖像建立之后，即可與原本的二維圖像結(jié)合以產(chǎn)生立體立體圖像(stereoscopic image)。傳統(tǒng)二維圖像轉(zhuǎn)三維圖像的演算法也可通過建立空間模型、邊緣檢測、計算消失點等方式，通過對一張或多張圖像的分析來建立深度圖像。如圖1B所示，視覺深度感知因素可分為生理因素及心理因素。一般而言，二維圖像轉(zhuǎn)換為立體圖像的深度圖往往針對幾項心理因素以進行演算法的運算。舉例來說，在心理因素上往往會認(rèn)為黃色物體、移動量大的物體或大物體的景深最淺，反過來說，在心理因素上也會認(rèn)為藍色物體、移動量小的物體或小物體的景深最深，而且材質(zhì)接近會視為景深相同。更進一步，景深信息為立體圖像顯示技術(shù)中的關(guān)鍵，然而當(dāng)深度圖產(chǎn)生之后，僅能定義出圖像中的各物體的相對關(guān)系，但傳統(tǒng)立體圖像顯示技術(shù)往往只著重于如何產(chǎn)生正確景深的產(chǎn)生方式，但卻鮮少利用景深信息以進一步處理立體圖像。再者，傳統(tǒng)立體圖像顯示技術(shù)的像素位移設(shè)定檔為固定值，而本發(fā)明的像素位移設(shè)定檔可調(diào)變。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種動態(tài)景深調(diào)整方法，可對景深信息進一步處理，該方法包括:接收至少一輸入圖像；依據(jù)輸入圖像，產(chǎn)生一二維圖像及對應(yīng)的一深度圖像；對深度圖像套用一像素位移設(shè)定檔以產(chǎn)生多張動態(tài)深度圖像。本發(fā)明還提供一種動態(tài)景深調(diào)整裝置，該裝置包括:一深度分析器，用以接收至少一輸入圖像，并依據(jù)該輸入圖像以產(chǎn)生一二維圖像及對應(yīng)的一深度圖像；一立體圖像繪制器，用以接收二維圖像及該深度圖像，并對該深度圖像套用一像素位移設(shè)定檔以產(chǎn)生多張動態(tài)深度圖像。本發(fā)明可利用像素位移設(shè)定檔對深度圖像或二維圖像進行調(diào)整，以產(chǎn)生不同于原始立體圖像(或二維圖像)的深度效果，并具有動態(tài)的景深范圍，以增進視覺效果。


圖1A顯示將二維圖像轉(zhuǎn)換為立體圖像的傳統(tǒng)演算法的流程圖。
圖1B顯示視覺深度感知因素的示意圖。圖2顯示依據(jù)本發(fā)明一實施例的動態(tài)景深調(diào)整裝置200的方塊圖。圖3A顯示一二維圖像所對應(yīng)的深度圖像的灰階值的直方圖。圖3B顯示依據(jù)本發(fā)明一實施例的像素位移調(diào)整曲線的示意圖。圖4A 4C顯示依據(jù)本發(fā)明一實施例的像素位移設(shè)定檔的調(diào)整曲線的示意圖。圖5顯示依據(jù)本發(fā)明一實施例的調(diào)整曲線與景深關(guān)系的示意圖。圖6A顯示依據(jù)本發(fā)明一實施例的靜態(tài)圖像的像素位移設(shè)定檔的圖表。圖6B顯示依據(jù)本發(fā)明一實施例的動態(tài)圖像的像素位移設(shè)定檔的圖表。圖7顯示依據(jù)本發(fā)明一實施例的動態(tài)景深調(diào)整方法的流程圖。上述附圖中的附圖標(biāo)記說明如下:200 動態(tài)景深調(diào)整裝置；210 深度分析器；220 立體圖像繪制器；300 二維圖像；310 直方圖；320,400至450、500 540 像素位移調(diào)整曲線圖；550 屏幕平面；560 深度圖像；600、610 圖表
具體實施例方式圖2顯示依據(jù)本發(fā)明一實施例的動態(tài)景深調(diào)整裝置200的方塊圖。動態(tài)景深調(diào)整裝置200包括一深度分析器210及一立體圖像繪制器220，其中深度分析器210接收二維圖像，并通過前述先前技術(shù)的二維圖像轉(zhuǎn)三維圖像的演算法以產(chǎn)生二維圖像及其對應(yīng)的深度圖像，再通過立體圖像繪制器220輸出立體圖像。立體圖像繪制器220依據(jù)每一張二維圖像及對應(yīng)的深度圖像，在繪制立體圖像時，對深度圖像使用動態(tài)調(diào)變的極限值及中間值，藉以產(chǎn)生動態(tài)的立體視覺感受。當(dāng)圖像來源為放傳統(tǒng)的二維影片，在播放該二維影片時，深度分析器210會不斷輸出二維圖像及其所對應(yīng)的深度圖像，并通過立體圖像繪制器220以產(chǎn)生出立體圖像。深度圖像往往可用一灰階范圍(例如O 255)來表不不同的深度,例如灰階值255表不最靠近鏡頭，灰階值O表不最遠(yuǎn)尚鏡頭。在另一實施例中，本發(fā)明判斷輸入圖像是否為靜止有多種方式，例如深度分析器210計算輸入圖像的灰階值的直方圖(histogram),若直方圖無變化,則可判定輸入圖像為靜態(tài)圖像；或輸入圖像中的所有像素均未更新，則可判定輸入圖像為靜態(tài)圖像；深度分析器210由圖像播放裝置(未示出)接收一圖像暫停信號以得知目前為停止撥放圖像(pause)的狀態(tài)(例如使用者使用遙控器按下暫停)，則可判定輸入圖像為靜態(tài)圖像；或是顯示器端將輸入圖像暫停，深度分析器210由顯示器(未示出)接收一圖像暫停信號，判定輸入圖像為靜態(tài)圖像，但本發(fā)明不限于此。值得一提的是，當(dāng)二維影片處于靜止或二維影片的內(nèi)容維持固定時，只會有一固定的立體深度圖產(chǎn)生，因此在上述情況，觀眾僅能在傳統(tǒng)的立體圖像裝置上觀賞到較為單調(diào)的圖像。再者，若是原生的立體靜態(tài)圖像，在立體顯示器上顯示時也僅呈現(xiàn)一種三維深度。當(dāng)輸入動態(tài)圖像(二維圖像或立體圖像均可)時，每個輸入圖像均可分析出一對應(yīng)的深度圖像，然而在立體圖像繪制器220中所套用的深度值的極限值與中間值均為一固定值，即便是動態(tài)圖像，其景深仍被受限，例如景深受限于屏幕平面內(nèi)凹10公分至100公分之間，而無法具有動態(tài)的景深范圍。更進一步，無論輸入圖像是純二維圖像或是立體圖像，均需轉(zhuǎn)換為二維圖像與對應(yīng)的深度圖像，若輸入圖像已為二維圖像加上對應(yīng)的深度圖像，則不必進一步轉(zhuǎn)換，立體圖像繪制器220接收二維圖像及對應(yīng)的深度圖像后，便能在立體圖像顯示器上播放立體圖像。在一實施例中，動態(tài)景深調(diào)整裝置200可應(yīng)用于顯示器或個人電腦此類可將二維圖像轉(zhuǎn)換為三維圖像或檢測立體圖像內(nèi)容景深的裝置上，且動態(tài)景深調(diào)整裝置200可用特定的硬件或邏輯電路加以實現(xiàn)，或是以程序碼的形式在處理器上執(zhí)行運作，但本發(fā)明不限于此。當(dāng)立體圖像呈現(xiàn)于立體圖像顯示器時，有三種方式進行呈現(xiàn):正視差、零視差及負(fù)視差，正視差表示立體圖像呈現(xiàn)于屏幕平面內(nèi)，零視差表示立體圖像系呈現(xiàn)于屏幕平面上，而負(fù)視差表示立體圖像呈現(xiàn)于雙眼及屏幕平面之間。在一實施例中，若使用者坐在解析度為1920x1080的46時IXD顯示器前方I公尺，使用者雙眼的距離為6.25公分，而圖3A所示為一二維圖像所對應(yīng)的深度圖像的灰階值的直方圖(histogram)。再參考圖3B,當(dāng)通過像素位移至正視差111個像素(意即左眼圖像及右眼圖像相差111個像素)，可產(chǎn)生景物凹進屏幕平面內(nèi)10公尺的效果，若通過像素位移至負(fù)視差-106個像素時，則可以產(chǎn)生景物凸出屏幕平面53公分的效果。簡單來說，本發(fā)明可利用像素位移設(shè)定檔對深度圖像或二維圖像進行調(diào)整，以產(chǎn)生不同于原始立體圖像(或二維圖像)的深度效果。圖4A 4C顯示依據(jù)本發(fā)明一實施例的像素位移設(shè)定檔的示意圖。依據(jù)圖3的實施例，當(dāng)深度圖像的灰階值O至255分別對應(yīng)至像素位移O至111時，可得到從屏幕平面凹進去10公尺的效果，當(dāng)圖像的灰階值O至255分別對應(yīng)至像素位移-106至111時，則可得到從屏幕平面凸出53公分至凹進去10公尺的效果。以圖4A為例，曲線圖400及410的像素位移范圍均在O至111之間，但其深度圖像的直方圖分布的像素位移調(diào)整曲線略有不同，因此使用者觀賞到的景深分布也會有些微差異。以圖4B為例，曲線圖420及430的像素位移范圍均在-106至111之間，但其深度圖像的直方圖分布的像素位移調(diào)整曲線略有不同，曲線圖420以線性方式以平均調(diào)整景深，而曲線圖430以二次曲線的方式調(diào)整景深，故較靠近鏡頭的景物的景深變化會較少，因此使用者觀賞到的景深分布也會有些微差異。以圖4C為例，曲線圖440及450的像素位移范圍均在-106至50之間，曲線圖440以線性方式以平均調(diào)整景深，而曲線圖450的調(diào)整曲線具有多個轉(zhuǎn)折點，可以將不同深度的景深分別進行調(diào)整。圖5顯示依據(jù)本發(fā)明一實施例的調(diào)整曲線與景深關(guān)系的示意圖。曲線圖500 540的調(diào)整曲線系表示對深度圖像560中的灰階值進行像素位移。曲線圖510表示預(yù)設(shè)的調(diào)整曲線，將像素位移限制于O 111之間。曲線圖500表示將所有深度的位移均調(diào)整至
O,因此觀眾若從屏幕平面550左側(cè)觀看，會看到圖像中的所有物體均聚集在屏幕平面550上。曲線圖520的調(diào)整曲線的像素位移的最小值設(shè)定在20，故曲線520的調(diào)整曲線的斜率比曲線圖510的調(diào)整曲線的斜率為小，使用者會感受到物體略為后退，且深度變化較少。曲線圖530的調(diào)整曲線將像素位移均限制在111，因此使用者會感受到圖像中的物體的深度均會維持在最遠(yuǎn)處。曲線圖540的調(diào)整曲線的最小值設(shè)定在-80，因此使用者會感受到前景圖像凸出于屏幕平面550，且景物的深度變化較大。更詳細(xì)地說，舉凡改變調(diào)整曲線而造成對應(yīng)的像素位移值不同，也可視為像素位移設(shè)定檔的改變。圖6A顯示依據(jù)本發(fā)明一實施例的靜態(tài)圖像的像素位移設(shè)定檔的圖表600。在一實施例中，對于靜態(tài)圖像來說，可依一預(yù)定畫面張數(shù)、一預(yù)定時間間隔或是以重復(fù)循環(huán)的方式以對靜態(tài)圖像所對應(yīng)的深度圖像套用圖表600中的像素位移設(shè)定檔(pixel-offsetprofile)，其中像素位移設(shè)定檔可針對深度圖像的像素位移程度(例如:最大值、最小值及中間值)進行調(diào)整，也可使用不同的曲線對深度圖像進行像素位移調(diào)整，但本發(fā)明不限于此。圖6B顯示依據(jù)本發(fā)明一實施例的動態(tài)圖像的像素位移設(shè)定檔的圖表610。在另一實施例中，當(dāng)輸入圖像為動態(tài)圖像(非靜態(tài)圖像)時，需針對輸入圖像所對應(yīng)的深度圖像套用用于動態(tài)圖像的圖表610中的像素位移設(shè)定檔，但本發(fā)明不限于此。在又一實施例中，像素位移設(shè)定檔的選擇可通過深度分析器的一設(shè)定值或是由外部裝置(例如縮放器Scalar)要求選擇特定或相對應(yīng)的像素位移設(shè)定檔。在又一實施例中，深度分析器210可儲存不同二維圖像的深度圖像，且立體圖像繪制器220也可儲存對應(yīng)的像素位移設(shè)定檔。立體圖像繪制器220對于在動態(tài)圖像中的第一張二維圖像之后其余的二維圖像可套用第一張二維圖像所對應(yīng)的像素位移設(shè)定檔及第一張二維圖像所對應(yīng)的深度圖像。又，立體圖像繪制器220在動態(tài)圖像中的第一張二維圖像之后其余的二維圖像也可搭配各自的深度圖像與第一張二維圖像的像素位移設(shè)定檔。接著，立體圖像繪制器220依據(jù)其余的二維圖像、第一張二維圖像所對應(yīng)的深度圖像及其像素位移設(shè)定檔以產(chǎn)生立體圖像。也或是，立體圖像繪制器220依據(jù)其余的二維圖像、其余二維圖像所對應(yīng)的深度圖像及第一張圖像所對應(yīng)的像素位移設(shè)定檔以產(chǎn)生立體圖像。在一實施例中，使用者觀看三維立體游戲(非二維轉(zhuǎn)三維)，在立體圖像繪制器220由深度分析器210得知輸入圖像為靜態(tài)圖像后，選擇用于靜態(tài)圖像的一像素位移設(shè)定檔并將調(diào)整曲線的斜率設(shè)定為0，再將斜率逐漸調(diào)高，此時使用者可實際感受到顯示的圖像內(nèi)容由二維逐漸變得立體，且景深也愈來愈深，猶如圖像動起來一般。在另一實施例中，當(dāng)使用者觀看立體影片(非二維轉(zhuǎn)三維)且持續(xù)播放立體影片，立體圖像繪制器220由深度分析器210得知輸入圖像為動態(tài)圖像，并接收由外部裝置(例如:縮放器)而來的設(shè)定檔控制信號以切換像素位移設(shè)定檔。舉例來說，對立體影片的第I至60張圖像套用像素位移設(shè)定檔1，將調(diào)整曲線的斜率設(shè)定為0，此時的影片毫無立體效果。接著在立體影片的第61至180張圖像，對將像素位移設(shè)定檔中的調(diào)整曲線的斜率增大，且最小值從O開始，每張圖像遞減I直到-50為止，此時使用者可實際感受到顯示的內(nèi)容由二維逐漸變得立體，且景深范圍愈來愈大，且前景也逐漸凸出于屏幕平面。在立體圖像的第181至300張圖像中，將像素位移設(shè)定檔中的調(diào)整曲線的斜率逐漸降低，但最大值及最小值也逐漸降低至-50，使用者會感覺到圖像的整體內(nèi)容凸出屏幕平面，且景深范圍愈來愈小，最后僅凸出屏幕。在立體圖像的第301至500張圖像，將像素位移設(shè)定檔中的調(diào)整曲線的斜率逐漸降低至一預(yù)定值，且最大值及最小值完全不變，此時使用者會感受到圖像的整體內(nèi)容凸出屏幕平面，但完全不動。在立體圖像的第501至800張圖像，像素位移設(shè)定檔中的調(diào)整曲線之斜率保持不變，但最大值及最小值逐漸增加至100，此時使用者會感受到圖像的整體內(nèi)容由原本凸出屏幕平面漸漸凹進去至屏幕深處。上述實施例僅說明本發(fā)明如何套用像素位移設(shè)定檔的方式及效果，當(dāng)不能以此限定本發(fā)明。在又一實施例中，當(dāng)使用者觀賞立體照片(由二維轉(zhuǎn)三維所構(gòu)成)，因照片本身即為靜態(tài)圖像，因此立體圖像繪制器220由深度分析器210得知輸入圖像為靜態(tài)圖像后，即依據(jù)用于靜態(tài)圖像的一像素位移設(shè)定檔，而深度圖像一開始依據(jù)像素位移設(shè)定檔的調(diào)整曲線的原始斜率，接著將最大值由50逐漸增加至150像素，同時也漸漸增加調(diào)整曲線的斜率，此時使用者可實際感受到顯示圖像之內(nèi)容由一開始的立體且為凹進去的景深，接著景深范圍逐漸增大至屏幕深處約2公尺之處。圖7顯示依據(jù)本發(fā)明一實施例的動態(tài)景深調(diào)整方法的流程圖。在步驟S700，動態(tài)景深調(diào)整裝置200接收輸入圖像，其中輸入圖像可為純二維圖像或立體圖像(二維圖像與對應(yīng)的深度圖像，或是可轉(zhuǎn)換成二維圖像及對應(yīng)的深度圖像的立體圖像(例如純?nèi)S圖像、或立體圖像))。在步驟S710，深度分析器210判斷輸入圖像是否為靜態(tài)圖像，藉以產(chǎn)生一狀態(tài)信號至立體圖像繪制器210，并依據(jù)輸入圖像產(chǎn)生二維圖像及對應(yīng)的深度圖像(若輸入圖像為立體圖像，則不必再經(jīng)過轉(zhuǎn)換)。在步驟S720，立體圖像繪制器220由深度分析器210接收狀態(tài)信號、二維圖像及對應(yīng)的深度圖像，立體圖像繪制器220并依據(jù)狀態(tài)信號(例如一預(yù)定畫面張數(shù)、一預(yù)定時間間隔或是以重復(fù)循環(huán)，但非限定)，對深度圖像套用像素位移設(shè)定檔，以改變深度圖像的灰階值的最大值、最小值及中間值，以調(diào)整深度圖像的景深分布并產(chǎn)生動態(tài)深度圖像。在步驟S730，立體圖像繪制器220依據(jù)二維圖像及動態(tài)深度圖像以產(chǎn)生對應(yīng)的立體圖像。惟以上所述者，僅為本發(fā)明的較佳實施例而已，當(dāng)不能以此限定本發(fā)明實施的范圍，即大凡依本發(fā)明申請專利范圍及發(fā)明說明內(nèi)容所作的簡單的等效變化與修飾，皆仍屬本發(fā)明專利涵蓋的范圍內(nèi)。另外本發(fā)明的任一實施例或權(quán)利要求不須達成本發(fā)明所揭示的全部目的或優(yōu)點或特點。此外，摘要部分和標(biāo)題僅是用以輔助專利文件搜尋的用，并非用以限制本發(fā)明的權(quán)利范圍。
權(quán)利要求
1.一種動態(tài)景深調(diào)整方法，包括: 接收至少一輸入圖像； 依據(jù)該輸入圖像，產(chǎn)生一二維圖像及對應(yīng)的一深度圖像；以及 對該深度圖像套用一像素位移設(shè)定檔以產(chǎn)生多張動態(tài)深度圖像。
2.如權(quán)利要求1所述的動態(tài)景深調(diào)整方法，其中該深度圖像為一灰階圖像，且該像素位移設(shè)定檔用以調(diào)整該灰階圖像中的灰階值所對應(yīng)的一像素位移程度。
3.如權(quán)利要求2所述的動態(tài)景深調(diào)整方法，其中對該深度圖像套用該像素位移設(shè)定檔以產(chǎn)生所述多張動態(tài)深度圖像的步驟還包括: 依據(jù)一預(yù)定時間間隔，對該深度圖像套用該像素位移設(shè)定檔。
4.如權(quán)利要求2所述的動態(tài)景深調(diào)整方法，其中對該深度圖像套用該像素位移設(shè)定檔以產(chǎn)生所述多張動態(tài)深度圖像的步驟還包括: 依據(jù)一預(yù)定圖像張數(shù)，對該深度圖像套用該像素位移設(shè)定檔。
5.如權(quán)利要求1所述的動態(tài)景深調(diào)整方法，還包括: 依據(jù)該二維圖像及所述多張動態(tài)深度圖像，產(chǎn)生多張立體圖像；以及 播放所述多張立體圖像。
6.如權(quán)利要求1所述的動態(tài)景深調(diào)整方法，還包括: 依據(jù)該輸入圖像以產(chǎn)生多張第二二維圖像及其分別對應(yīng)的多張第二深度圖像； 依據(jù)所述多張第二二維圖像、該深度圖像及該像素位移設(shè)定檔以產(chǎn)生多張第二立體圖像；以及 播放所述多張第二立體圖像。
7.如權(quán)利要求1所述的動態(tài)景深調(diào)整方法，還包括: 依據(jù)該輸入圖像以產(chǎn)生多張第二二維圖像及其分別對應(yīng)的多張第二深度圖像； 依據(jù)所述多張第二二維圖像、對應(yīng)之所述多張第二深度圖像及該像素位移設(shè)定檔以產(chǎn)生多張第二立體圖像；以及 播放所述多張第二立體圖像。
8.一種動態(tài)景深調(diào)整裝置，包括: 一深度分析器，用以接收至少一輸入圖像，并依據(jù)該輸入圖像以產(chǎn)生一二維圖像及對應(yīng)的一深度圖像；以及 一立體圖像繪制器，用以接收該二維圖像及該深度圖像，并對該深度圖像套用一像素位移設(shè)定檔以產(chǎn)生多張動態(tài)深度圖像。
9.如權(quán)利要求8所述的動態(tài)景深調(diào)整裝置，其中該深度圖像為一灰階圖像，且該像素位移設(shè)定檔用以調(diào)整該灰階圖像中的灰階值的最大值、最小值或中間值。
10.如權(quán)利要求9所述的動態(tài)景深調(diào)整裝置，其中該立體圖像繪制器還依據(jù)一預(yù)定時間間隔，對該深度圖像套用該像素位移設(shè)定檔。
11.如權(quán)利要求9所述的動態(tài)景深調(diào)整裝置，其中該立體圖像繪制器還依據(jù)一預(yù)定圖像張數(shù)，對該深度圖像套用該像素位移設(shè)定檔。
12.如權(quán)利要求8所述的動態(tài)景深調(diào)整裝置，其中該立體圖像繪制器還依據(jù)該二維圖像及所述多張動態(tài)深度圖像以產(chǎn)生多張立體圖像，并播放所述多張立體圖像。
13.如權(quán)利要求8所述的動態(tài)景深調(diào)整裝置，其中該深度分析器還依據(jù)該輸入圖像以產(chǎn)生多張第二二維圖像及其分別對應(yīng)的多張第二深度圖像，且該立體圖像繪制器還依據(jù)所述多張第二二維圖像、該深度圖像及該像素位移設(shè)定檔以產(chǎn)生多張第二立體圖像，并播放所述多張第二立體圖像。
14.如權(quán)利要求8所述的動態(tài)景深調(diào)整裝置，其中該深度分析器還依據(jù)該輸入圖像以產(chǎn)生多張第二二維圖像及其分別對應(yīng)的多張第二深度圖像，且該立體圖像繪制器還依據(jù)所述多張第二二維圖像、對應(yīng)的所述多張第二深度圖像及該像素位移設(shè)定檔以產(chǎn)生多張第二立體圖像，并播放所述多張第二立體`圖像。
全文摘要
本發(fā)明提供一種動態(tài)景深調(diào)整裝置及方法，該方法包括接收至少一輸入圖像；依據(jù)輸入圖像，產(chǎn)生一二維圖像及對應(yīng)的一深度圖像；對深度圖像套用一像素位移設(shè)定檔以產(chǎn)生多張動態(tài)深度圖像。本發(fā)明可調(diào)整深度圖像以增進視覺效果。
文檔編號H04N13/00GK103108199SQ20111035961
公開日2013年5月15日 申請日期2011年11月9日 優(yōu)先權(quán)日2011年11月9日
發(fā)明者柯杰斌 申請人:宏碁股份有限公司