技術(shù)領(lǐng)域
至少一個(gè)示例實(shí)施例涉及生成圖像。
背景技術(shù):
在一些情況下,可從光場(chǎng)設(shè)備向觀看者(在本文中也被稱為“用戶”)提供三維(3D)圖像。光場(chǎng)設(shè)備可基于生成立體圖像使得向用戶的各只眼顯示場(chǎng)景的不同圖像以致用戶察覺(jué)到場(chǎng)景的3D視圖來(lái)向用戶提供3D圖像。
在一些情況下,向用戶的各只眼顯示不同圖像的操作可包括將不同的光場(chǎng)導(dǎo)向用戶的各只眼,其中,不同的光場(chǎng)對(duì)應(yīng)于不同的圖像。可使用眼鏡型方法將不同的光場(chǎng)導(dǎo)向用戶的各只眼,其中,眼睛型方法包括使用基于偏振的劃分、時(shí)分和用于改變?cè)ㄩL(zhǎng)的波長(zhǎng)劃分進(jìn)行過(guò)濾。可使用無(wú)眼鏡方法將不同的光場(chǎng)導(dǎo)向用戶的各只眼,其中,無(wú)眼鏡方法允許使用三維(3D)轉(zhuǎn)換器(諸如,視差屏障、柱狀透鏡和定向背光單元(BLU))使每個(gè)圖像僅在特定空間中被觀看到。
技術(shù)實(shí)現(xiàn)要素:
至少一個(gè)示例實(shí)施例涉及一種圖像生成方法。
在至少一個(gè)示例實(shí)施例中,所述方法可包括:確定與二維(2D)面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù);基于距面板圖像像素的距離,確定與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù);以及基于二維面板圖像、第一函數(shù)和第二函數(shù),生成三維(3D)圖像。二維面板圖像可包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素。第一函數(shù)可包括基于所述多個(gè)視野中的觀察到的視野的觀察到的面板圖像像素相對(duì)亮度的正態(tài)分布。3D圖像可包括與二維面板圖像的各個(gè)視野對(duì)應(yīng)的多個(gè)圖像。
可基于源圖像來(lái)生成二維面板圖像,其中,源圖像包括與所述各個(gè)視野對(duì)應(yīng)的多個(gè)圖像,所述方法還可包括:基于源圖像的一個(gè)或更多個(gè)像素值與3D圖像的一個(gè)或更多個(gè)像素值之間的差來(lái)調(diào)整二維面板圖像的一個(gè)或更多個(gè)面板圖像像素值。所述方法還可包括:基于第一函數(shù)和第二函數(shù)來(lái)生成卷積核;基于二維面板圖像和卷積核來(lái)生成預(yù)測(cè)的3D圖像;以及調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小所確定的源圖像的像素值和所述3D圖像的像素值之間的差。可通過(guò)向源圖像應(yīng)用分?jǐn)?shù)視圖計(jì)巧方法來(lái)確定二維面板圖像的初始值。
第一函數(shù)可包括視圖模板函數(shù),第二函數(shù)可包括點(diǎn)擴(kuò)散函數(shù)。
至少一個(gè)示例實(shí)施例涉及一種圖像生成方法。
在至少一個(gè)示例實(shí)施例中,所述方法可包括:獲得與二維(2D)面板圖像的源圖像的像素值和二維面板圖像的三維(3D)圖像的像素值之間的差關(guān)聯(lián)的第一代價(jià)函數(shù);以及基于第一代價(jià)函數(shù)來(lái)調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小源圖像的像素值和所述3D圖像的像素值之間的差。二維面板圖像可包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素。源圖像可包括對(duì)應(yīng)于各個(gè)視野的多個(gè)圖像。3D圖像可包括對(duì)應(yīng)于各個(gè)視野的多個(gè)圖像。
調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值的步驟可包括:調(diào)整包括在二維面板圖像中的像素的值以減小第一代價(jià)函數(shù)。第一代價(jià)函數(shù)可包括源圖像的像素值與所述3D圖像的像素值之間的最小二乘誤差。第一代價(jià)函數(shù)可包括與所述3D圖像中的偽像關(guān)聯(lián)的第二代價(jià)函數(shù)。第二代價(jià)函數(shù)可以是基于所述3D圖像包括中的像素的像素值的變化而被確定的。
源圖像可包括各個(gè)圖像集合,其中,所述各個(gè)圖像集合中的每個(gè)圖像集合與距顯示視野的顯示設(shè)備的各個(gè)觀看距離關(guān)聯(lián)。所述方法還可包括:基于對(duì)源圖像的每個(gè)視野的像素值進(jìn)行采樣的操作,確定二維面板圖像的初始像素值。源圖像和所述3D圖像可以是光場(chǎng)圖像。
所述方法還可包括:以距面板圖像像素的距離為基礎(chǔ),基于與二維面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù)和與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù)來(lái)生成預(yù)測(cè)的3D圖像。所述方法可包括:基于包括二維面板圖像、第一函數(shù)和第二函數(shù)的卷積運(yùn)算來(lái)生成預(yù)測(cè)的3D圖像。
第一函數(shù)可包括視圖模板函數(shù),第二函數(shù)可包括點(diǎn)擴(kuò)散函數(shù)。
至少一個(gè)示例實(shí)施例涉及一種圖像生成方法。
在至少一個(gè)示例實(shí)施例中,所述方法可包括:接收源圖像,其中,源圖像包括多個(gè)視野;基于源圖像來(lái)渲染二維(2D)面板圖像,其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素;以及基于源圖像和以二維面板圖像為基礎(chǔ)生成的預(yù)測(cè)的3D圖像的像素值,迭代地調(diào)整二維面板圖像的像素值,其中,預(yù)測(cè)的3D圖像是基于與3D顯示設(shè)備對(duì)應(yīng)的卷積核而被生成的。
源圖像可以是針對(duì)多個(gè)視野的3D圖像。卷積核可以是以距面板圖像像素的距離為基礎(chǔ),基于與二維面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù)和與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù)而被確定的,其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素,第一函數(shù)包括基于所述多個(gè)視野中的觀察到的視野的觀察到的面板圖像像素相對(duì)亮度的正態(tài)分布。
迭代地調(diào)整二維面板圖像的像素值的步驟可包括:基于卷積核來(lái)生成預(yù)測(cè)的3D圖像;以及調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小所確定的源圖像的像素值與所述3D圖像的像素值之間的差。
基于源圖像來(lái)渲染二維面板圖像的步驟可包括:基于向源圖像應(yīng)用分?jǐn)?shù)視圖技巧方法的操作來(lái)確定二維面板圖像的初始像素值。
迭代地調(diào)整二維面板圖像的像素值的步驟可包括:調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小與源圖像的像素值和所述3D圖像的像素值之間的差關(guān)聯(lián)的代價(jià)函數(shù)。代價(jià)函數(shù)可包括以下項(xiàng)中的至少一項(xiàng):與源圖像的像素值和所述3D圖像的像素值之間的最小二乘誤差關(guān)聯(lián)的第一函數(shù)元素,以及與所述3D圖像中的偽像關(guān)聯(lián)的第二函數(shù)元素。
所述方法還可包括:估計(jì)用戶距顯示二維面板圖像的顯示設(shè)備的觀看距離;以及基于估計(jì)的觀看距離來(lái)確定卷積核。
至少一個(gè)示例實(shí)施例涉及一種圖像生成設(shè)備。
在至少一個(gè)示例實(shí)施例中,所述設(shè)備可包括:存儲(chǔ)器,被構(gòu)造成存儲(chǔ)二維(2D)面板圖像,其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素;以及處理器,被構(gòu)造成確定與源圖像的像素值和二維面板圖像的三維(3D)圖像的像素值之間的差關(guān)聯(lián)的代價(jià)函數(shù),以及基于所確定的代價(jià)函數(shù),調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值。
處理器可調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小源圖像的像素值和二維面板圖像的3D圖像的像素值之間的差。代價(jià)函數(shù)可包括以下項(xiàng)中的至少一項(xiàng):與源圖像的像素值和所述3D圖像的像素值之間的最小二乘誤差關(guān)聯(lián)的第一函數(shù)以及與所述3D圖像中的偽像關(guān)聯(lián)的第二函數(shù)。第二函數(shù)可以是基于所述3D圖像的像素值的變化而被確定的。
源圖像可包括各個(gè)圖像集合,其中,所述各個(gè)圖像集合中的每個(gè)圖像集合與距顯示視野的顯示設(shè)備的各個(gè)觀看距離關(guān)聯(lián)。處理器可基于對(duì)源圖像的每個(gè)視野的像素值進(jìn)行采樣的操作,確定二維面板圖像的初始像素值。
處理器可以以距面板圖像像素的距離為基礎(chǔ),基于與二維面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù)和與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù)來(lái)生成預(yù)測(cè)的3D圖像。處理器可基于包括二維面板圖像、第一函數(shù)和第二函數(shù)的卷積運(yùn)算來(lái)生成預(yù)測(cè)的3D圖像。第一函數(shù)可包括視圖模板函數(shù)并且第二函數(shù)可包括點(diǎn)擴(kuò)散函數(shù)。
至少一個(gè)示例實(shí)施例涉及一種圖像生成設(shè)備。
在至少一個(gè)示例實(shí)施例中,所述設(shè)備可包括:通信模塊,被構(gòu)造成接收源圖像,其中,源圖像包括多個(gè)視野;以及處理器,被構(gòu)造成基于源圖像來(lái)渲染二維(2D)面板圖像,以及基于源圖像和以二維面板圖像為基礎(chǔ)生成的預(yù)測(cè)的3D圖像的像素值,迭代地調(diào)整二維面板圖像的像素值,其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像像素,預(yù)測(cè)的3D圖像是基于與3D顯示設(shè)備對(duì)應(yīng)的卷積核而被生成的。
卷積核可以是以距面板圖像像素的距離為基礎(chǔ),基于與二維面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù)和與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù)而被確定的,其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像,第一函數(shù)包括基于所述多個(gè)視野中的觀察到的視野的觀察到的面板圖像像素相對(duì)亮度的正態(tài)分布。處理器可基于卷積核來(lái)生成預(yù)測(cè)的3D圖像,并調(diào)整二維面板圖像的像素值以減小源圖像的像素值和所述3D圖像的像素值之間的差。處理器可調(diào)整二維面板圖像的一個(gè)或更多個(gè)像素值,以減小與源圖像的像素值和所述3D圖像的像素值之間差關(guān)聯(lián)的代價(jià)函數(shù)。代價(jià)函數(shù)可包括以下項(xiàng)中的至少一項(xiàng):與源圖像的像素值和所述3D圖像的像素值之間的最小二乘誤差關(guān)聯(lián)的第一函數(shù)元素,以及與所述3D圖像中的偽像關(guān)聯(lián)的第二函數(shù)元素。
處理器可估計(jì)用戶距顯示二維面板圖像的顯示設(shè)備的觀看距離并基于估計(jì)的觀看距離來(lái)確定卷積核。
至少一個(gè)示例實(shí)施例可包括一種設(shè)備。所述設(shè)備可包括:存儲(chǔ)器,存儲(chǔ)計(jì)算機(jī)可讀指令;以及處理器,被構(gòu)造成執(zhí)行計(jì)算機(jī)可讀指令以進(jìn)行以下操作:確定與二維(2D)面板圖像的一個(gè)或更多個(gè)視野的亮度分布關(guān)聯(lián)的第一函數(shù),其中,二維面板圖像包括發(fā)出多個(gè)視野的多個(gè)面板圖像,第一函數(shù)包括基于所述多個(gè)視野的觀察到的視野的觀察到的面板圖像像素相對(duì)亮度的正態(tài)分布;基于距面板圖像像素的距離,確定與面板圖像像素的亮度的高斯分布關(guān)聯(lián)的第二函數(shù);以及基于二維面板圖像、第一函數(shù)和第二函數(shù)來(lái)生成三維(3D)圖像,其中,所述3D圖像包括與二維面板圖像的各個(gè)視野對(duì)應(yīng)的多個(gè)圖像。
處理器可被構(gòu)造成執(zhí)行計(jì)算機(jī)可讀指令,以基于由相機(jī)傳感器生成的一個(gè)或更多個(gè)圖像,估計(jì)用戶距被構(gòu)造成顯示二維面板圖像的顯示設(shè)備的觀看距離,并基于估計(jì)的觀看距離來(lái)確定第一函數(shù)和第二函數(shù)中的至少一個(gè)函數(shù)。
處理器可被構(gòu)造成執(zhí)行計(jì)算機(jī)可讀指令,以基于處理由相機(jī)傳感器生成的圖像流的操作,動(dòng)態(tài)調(diào)整估計(jì)的觀看距離,并基于經(jīng)過(guò)動(dòng)態(tài)調(diào)整的估計(jì)的觀看距離,動(dòng)態(tài)調(diào)整第一函數(shù)和第二函數(shù)中的至少一個(gè)函數(shù)。
至少一個(gè)示例實(shí)施例可用無(wú)眼鏡型方法來(lái)播放立體圖像,因此減少了在眼鏡型方法中因配戴眼鏡而可能體驗(yàn)到的不便。根據(jù)至少一個(gè)示例實(shí)施例,多個(gè)視圖可被分配到面板圖像,以輸出到顯示面板。至少一個(gè)示例實(shí)施例可提供以下技術(shù):相比于播放立體圖像的一般無(wú)眼鏡型方法,抑制、擦除、減少并/或防止問(wèn)題,例如,由于按每個(gè)視圖劃分面板圖像而導(dǎo)致每個(gè)視圖的分辨率下降、在每個(gè)視圖的像素之間的空間中可能出現(xiàn)的黑底、由于視圖之間的串?dāng)_而導(dǎo)致3D圖像的質(zhì)量下降、以及3D圖像的視圖數(shù)量有限。
示例實(shí)施例的另外的方面將在隨后的描述中被部分闡述,并且部分將根據(jù)描述而清楚,或者可通過(guò)本公開(kāi)的實(shí)踐而獲知。
附圖說(shuō)明
如附圖中所示,發(fā)明構(gòu)思的前述和其它特征從發(fā)明構(gòu)思的非限制性實(shí)施例的更具體的描述將是清楚地,其中,貫穿不同的附圖,相同的參考標(biāo)號(hào)是指相同的部件。附圖不一定成比例,而是重點(diǎn)放在示出發(fā)明構(gòu)思的原理。在附圖中:
圖1是示出根據(jù)至少一個(gè)示例實(shí)施例的圖像生成設(shè)備和三維(3D)顯示設(shè)備的示圖;
圖2A和圖2B示出根據(jù)至少一個(gè)示例實(shí)施例的圖像轉(zhuǎn)換處理;
圖3A、圖3B和圖3C示出根據(jù)至少一個(gè)示例實(shí)施例的視圖分配;
圖4示出根據(jù)至少一個(gè)示例實(shí)施例的預(yù)測(cè)3D圖像的操作;
圖5A、圖5B、圖5C、圖5D和圖5E示出根據(jù)至少一個(gè)示例實(shí)施例的卷積核;
圖6是示出根據(jù)至少一個(gè)示例實(shí)施例的使代價(jià)函數(shù)最小的操作的示圖;
圖7是示出根據(jù)至少一個(gè)示例實(shí)施例的基于離線確定的代價(jià)函數(shù)來(lái)渲染3D圖像的處理的流程圖;
圖8是示出根據(jù)至少一個(gè)示例實(shí)施例的圖像生成設(shè)備的示圖;
圖9是示出根據(jù)至少一個(gè)示例實(shí)施例的基于觀看距離來(lái)渲染3D圖像的處理的流程圖;
圖10是示出根據(jù)至少一個(gè)示例實(shí)施例的取決于觀看距離的視野改變的示圖;
圖11是示出根據(jù)至少一個(gè)示例實(shí)施例的光的擴(kuò)散的示圖;
圖12是示出根據(jù)至少一個(gè)示例實(shí)施例的對(duì)3D圖像進(jìn)行建模的方法的流程圖;
圖13是示出根據(jù)至少一個(gè)示例實(shí)施例的調(diào)整面板圖像的處理的流程圖;以及
圖14是示出根據(jù)至少一個(gè)示例實(shí)施例的調(diào)整面板圖像的另一處理的流程圖。
具體實(shí)施方式
下文中,將參照附圖詳細(xì)描述一些示例實(shí)施例。關(guān)于分派給附圖中的元件的參考標(biāo)號(hào),應(yīng)該注意,只要有可能,就將用相同的參考標(biāo)號(hào)來(lái)指定相同的元件,即便它們?cè)诓煌綀D中示出也是如此。另外,在描述實(shí)施例時(shí),當(dāng)認(rèn)為此描述將使本公開(kāi)的解釋模糊不清時(shí),將省去對(duì)已知的相關(guān)結(jié)構(gòu)或功能的詳細(xì)描述。
然而,應(yīng)該理解,并不意圖將本公開(kāi)限于所公開(kāi)的特定示例實(shí)施例。相反地,示例實(shí)施例將涵蓋落入示例實(shí)施例的范圍內(nèi)的所有修改形式、等同形式和替代形式。在對(duì)附圖的描述中,相同標(biāo)號(hào)始終是指相同的元件。
另外,這里可使用諸如“第一”、“第二”、A、B、(a)、(b)等的術(shù)語(yǔ)來(lái)描述組件。這些術(shù)語(yǔ)中的每個(gè)術(shù)語(yǔ)不用于限定對(duì)應(yīng)組件的本質(zhì)、次序或順序,而是僅用于將對(duì)應(yīng)組件與其他組件區(qū)分開(kāi)。
這里使用的術(shù)語(yǔ)僅出于描述特定實(shí)施例的目的,而不旨在是限制。如這里使用的,單數(shù)形式也旨在包括復(fù)數(shù)形式,除非上下文另行清楚指明。還將進(jìn)一步理解,當(dāng)術(shù)語(yǔ)“包括”、“包括…的”、“包含”和/或“包含…的”在這里使用時(shí)指明所敘述的特征、整體、步驟、操作、元件和/或組件的存在,但不排除一個(gè)或更多個(gè)其他特征、整體、步驟、操作、元件、組件和/或其組合的存在或添加。
為了便于描述,這里可使用諸如“在…之下”、“下面”、“下方”、“上面”、“上方”等空間相對(duì)術(shù)語(yǔ)來(lái)描述如圖中所示的一個(gè)元件或特征與另一元件或特征的關(guān)系。應(yīng)該理解,除了在附圖中描繪的方位之外,空間相對(duì)術(shù)語(yǔ)還意在涵蓋裝置在使用或操作時(shí)的不同方位。例如,如果在附圖中裝置被翻轉(zhuǎn),則被描述為在其他元件或特征“下面”或“之下”的元件隨后將被定位為在所述其他元件或特征“上面”。因此,術(shù)語(yǔ)“下面”可涵蓋上面和下面兩種方位。所述裝置可被另外定位(旋轉(zhuǎn)90度或者在其他方位),相應(yīng)地解釋這里使用的空間相對(duì)描述符。
這里,參照作為示例實(shí)施例的理想化實(shí)施例(和中間結(jié)構(gòu))的示意性示圖的剖面示圖來(lái)描述示例實(shí)施例。如此,將預(yù)料到由于(例如)制造技術(shù)和/或容差導(dǎo)致的示圖的形狀變化。因此,示例實(shí)施例應(yīng)該不被理解為限于這里示出的區(qū)域的特定形狀,而是將包括由于(例如)制造而導(dǎo)致的形狀偏差。例如,被圖示為矩形的蝕刻區(qū)域或注入?yún)^(qū)域可具有倒圓或彎曲的特征。因此,圖中示出的區(qū)域本質(zhì)是示意性的,并且它們的形狀不意圖示出裝置的區(qū)域的實(shí)際形狀并且不意圖限制示例實(shí)施例的范圍。
除非另有定義,否則這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科技術(shù)語(yǔ))具有與示例實(shí)施例所屬領(lǐng)域的普通技術(shù)人員所通常理解的意思相同的意思。將進(jìn)一步理解,除非這里明確定義,否則術(shù)語(yǔ)(諸如,在通用字典中定義的術(shù)語(yǔ))應(yīng)該被解釋為具有與它們?cè)谙嚓P(guān)領(lǐng)域的背景下的意思一致的意思,而不將被理想地或過(guò)于正式地解釋。
盡管可不示出一些剖視圖的對(duì)應(yīng)平面圖和/或透視圖,但這里示出的裝置結(jié)構(gòu)的剖視圖為多個(gè)裝置結(jié)構(gòu)提供了支持,其中,所述裝置結(jié)構(gòu)如將用平面圖示出地沿著兩個(gè)不同方向延伸,以及/或者將如透視圖示出的在三個(gè)不同方向上延伸。所述兩個(gè)不同方向可或者可不彼此正交。所述三個(gè)不同方向可包括可與所述兩個(gè)不同方向正交的第三方向。所述多個(gè)裝置結(jié)構(gòu)可被集成在同一電子裝置中。例如,當(dāng)用剖視圖示出裝置結(jié)構(gòu)(例如,存儲(chǔ)器單元結(jié)構(gòu)或晶體管結(jié)構(gòu))時(shí),如將用電子裝置的平面圖示出的,電子裝置可包括多個(gè)裝置結(jié)構(gòu)(例如,存儲(chǔ)器單元結(jié)構(gòu)或晶體管結(jié)構(gòu))。所述多個(gè)裝置結(jié)構(gòu)可按照陣列和/或二維圖案來(lái)布置。
還應(yīng)該注意,在一些替代實(shí)現(xiàn)方式中,所指出的功能/動(dòng)作可不按附圖中指出的次序發(fā)生。例如,根據(jù)所涉及的功能/動(dòng)作,連續(xù)示出的兩個(gè)附圖可事實(shí)上被基本同時(shí)執(zhí)行或者有時(shí)可按倒序執(zhí)行。
下文中將描述的示例實(shí)施例可應(yīng)用于三維(3D)圖像的建模。例如,可使用示例實(shí)施例提高3D圖像的質(zhì)量。
圖1是示出根據(jù)至少一個(gè)示例實(shí)施例的圖像生成設(shè)備100和3D顯示設(shè)備200的示圖。
參照?qǐng)D1,圖像生成設(shè)備100包括存儲(chǔ)器110和處理器120。3D顯示設(shè)備200包括顯示面板210和圖像轉(zhuǎn)換器220。圖像生成設(shè)備100可將面板圖像發(fā)送到3D顯示設(shè)備200。面板圖像包括提供給3D顯示設(shè)備200使得面板圖像在顯示面板210上被顯示的二維圖像。3D顯示設(shè)備200可基于面板圖像來(lái)輸出3D圖像。為了基于面板圖像輸出3D圖像,3D顯示設(shè)備200可在顯示面板210上顯示面板圖像,使得顯示面板210向圖像轉(zhuǎn)換器220發(fā)出光場(chǎng)。圖像轉(zhuǎn)換器220接收顯示面板發(fā)出的光場(chǎng)并且將光場(chǎng)轉(zhuǎn)換成對(duì)應(yīng)于3D圖像的一個(gè)或更多個(gè)光場(chǎng)。圖像轉(zhuǎn)換器220將所述一個(gè)或更多個(gè)光場(chǎng)導(dǎo)向3D顯示設(shè)備200的外部,其中,所述一個(gè)或更多個(gè)光場(chǎng)可被用戶察覺(jué)到。圖像轉(zhuǎn)換器220可包括一個(gè)或更多個(gè)各種圖像轉(zhuǎn)換器。例如,圖像轉(zhuǎn)換器220可包括視差屏障、柱狀透鏡和定向背光單元(BLU)中的至少一個(gè)。
面板圖像指示輸出到顯示面板210的平面圖像。3D圖像指示從通過(guò)圖像轉(zhuǎn)換器220轉(zhuǎn)換得到的面板圖像獲得的立體圖像。這里,生成針對(duì)顯示面板210的面板圖像的操作被稱為渲染操作,因此圖像生成設(shè)備100也可被稱為渲染設(shè)備。
盡管圖像生成設(shè)備100與3D顯示設(shè)備200被分開(kāi)提供,但圖像生成設(shè)備100可被包括在3D顯示設(shè)備200中。例如,3D顯示設(shè)備200可包括處理器和存儲(chǔ)器,并且包括在3D顯示設(shè)備200中的處理器和存儲(chǔ)器可被解釋為圖像生成設(shè)備100。
處理器120可調(diào)整面板圖像以提高3D圖像的質(zhì)量。調(diào)整面板圖像的操作可包括調(diào)整面板圖像的一個(gè)或更多個(gè)像素的一個(gè)或更多個(gè)像素值。如這里所表示的,像素的像素值可包括深度值、亮度值、RGB值、顏色值、這些值的某種組合等中的一個(gè)或更多個(gè)。可按各種方式將處理器120構(gòu)造為例如單個(gè)處理器、多個(gè)處理器、硬件加速計(jì)(HWA)、或它們的組合。盡管隨后進(jìn)行了詳細(xì)描述,但處理器120可基于卷積核預(yù)測(cè)用戶將觀看到的3D圖像。另外,處理器120可調(diào)整面板圖像,以減小面板圖像的源圖像或原始圖像與預(yù)測(cè)的3D圖像之間的差別。稍后將更詳細(xì)地描述此操作。
存儲(chǔ)器110可存儲(chǔ)面板圖像、面板圖像的源圖像和預(yù)測(cè)的3D圖像。處理器120可從存儲(chǔ)器110獲得面板圖像、面板圖像的源圖像和預(yù)測(cè)的3D圖像。存儲(chǔ)器110可存儲(chǔ)針對(duì)處理器120的運(yùn)算的數(shù)據(jù)(諸如,例如各種函數(shù)、等式和運(yùn)算結(jié)果)。處理器110隨后可使用存儲(chǔ)在存儲(chǔ)器110中的數(shù)據(jù)。
圖像轉(zhuǎn)換器220可將面板圖像轉(zhuǎn)換成3D圖像。圖像轉(zhuǎn)換器220可包括例如視差屏障、柱狀透鏡和定向背光單元(BLU)。圖像轉(zhuǎn)換器220可控制將通過(guò)顯示面板210輸出的光的透射方向。例如,圖像轉(zhuǎn)換器220可將面板圖像輸出到多個(gè)視野(visual field)。通過(guò)圖像轉(zhuǎn)換器220,可生成多個(gè)視圖或視野。將參照?qǐng)D2A和圖2B詳細(xì)描述此圖像轉(zhuǎn)換處理。
在一些示例實(shí)施例中,圖像生成設(shè)備100可針對(duì)不同的圖像轉(zhuǎn)換器220生成不同的面板圖像。圖像生成設(shè)備100可與多個(gè)不同的圖像轉(zhuǎn)換器220通信連接。圖像生成設(shè)備100可存儲(chǔ)指示不同的圖像轉(zhuǎn)換器220的各個(gè)獨(dú)特特性的信息。因此,在一些示例實(shí)施例中,圖像生成設(shè)備100可基于公共源圖像針對(duì)圖像轉(zhuǎn)換器220中的每個(gè)圖像轉(zhuǎn)換器220生成各個(gè)面板圖像,其中,每個(gè)面板圖像是根據(jù)多個(gè)圖像轉(zhuǎn)換器220中的特定圖像轉(zhuǎn)換器220的所述一個(gè)或更多個(gè)獨(dú)特特性而被生成的。
圖2A和圖2B示出根據(jù)至少一個(gè)示例實(shí)施例的圖像轉(zhuǎn)換處理。參照?qǐng)D2A,圖像轉(zhuǎn)換器220可將輸出到顯示面板210(“由顯示面板210顯示的”)面板圖像205轉(zhuǎn)換成3D圖像30。3D圖像30可包括與3D場(chǎng)景的多個(gè)視圖對(duì)應(yīng)的圖像。例如,如圖2A中所示,第一圖像31可對(duì)應(yīng)于場(chǎng)景的第一視圖,第二圖像32可對(duì)應(yīng)于場(chǎng)景的第二視圖。可觀看到對(duì)應(yīng)于每個(gè)視圖的圖像的區(qū)域被稱為視野(visual field)。因此,可觀看到對(duì)應(yīng)于第一視圖的第一圖像31的區(qū)域被稱為第一視野,可觀看到對(duì)應(yīng)于第二視圖的第二圖像32的區(qū)域被稱為第二視野。例如,如圖2B中所示,第一圖像31可在第一視野53中可觀看到,并且第二圖像32可在第二視野55中可觀看到。
通過(guò)多視圖顯示方法,可向用戶的各只眼輻射(例如,發(fā)出、引導(dǎo)等)不同視圖的圖像,因此,用戶可基于觀察場(chǎng)景的立體圖像而體驗(yàn)到3D效果。例如,如圖2B中所示,用戶的左眼51可在第一視野53內(nèi)并且用戶的右眼52可在第二視野55內(nèi)。因此,用戶可用左眼51觀看第一圖像31并且用右眼52觀看第二圖像32,從而體驗(yàn)到3D圖像30帶來(lái)的3D效果。
“3D效果”可指用戶觀察到場(chǎng)景的立體圖像。3D效果可包括雙目視差帶來(lái)的效果,其中,在雙目視差中,用戶的各只眼觀察與3D圖像的各個(gè)視圖對(duì)應(yīng)的各個(gè)視野,使得用戶察覺(jué)到包括在3D圖像中的場(chǎng)景的立體表現(xiàn)。此3D效果可被稱為場(chǎng)景的“3D空間印象”。為了生成3D圖像30,渲染設(shè)備100可基于與根據(jù)用于轉(zhuǎn)換顯示面板210所顯示的面板圖像的圖像轉(zhuǎn)換器220所顯示的3D圖像中的視圖對(duì)應(yīng)的各種圖像,確定顯示面板210所顯示的面板圖像中包括的像素的像素值。
參照?qǐng)D2B,圖像轉(zhuǎn)換器220可發(fā)出通過(guò)顯示面板210的像素輸出(發(fā)出)的光線,以使其均勻擴(kuò)散到3D空間。針對(duì)通過(guò)面板圖像均勻擴(kuò)散的所有光線所設(shè)計(jì)的這種方法可被稱為光場(chǎng)顯示方法。圖像轉(zhuǎn)換器220可包括視差屏障或柱狀透鏡。如圖2B中所示,包括在圖像轉(zhuǎn)換器220中的視差屏障或柱狀透鏡可被構(gòu)造成與顯示面板210中包括的像素陣列傾斜交叉。如圖2B中所示,被構(gòu)造成與像素陣列傾斜交叉的圖像轉(zhuǎn)換器220包括相對(duì)于顯示面板210的像素陣列的像素211成角度的透鏡221的陣列。
如以上描述的,可為面板圖像分配多個(gè)視圖。為面板圖像分配多個(gè)視圖的操作可包括下述操作:渲染面板圖像,使得如果顯示面板210顯示面板圖像和/或當(dāng)顯示面板210顯示面板圖像時(shí),圖像轉(zhuǎn)換器220將顯示面板210所發(fā)出的光場(chǎng)轉(zhuǎn)換成與多個(gè)視圖對(duì)應(yīng)的多個(gè)視野。在一些示例實(shí)施例中,分配多個(gè)視圖的操作包括渲染面板圖像,其中,面板圖像被構(gòu)造成根據(jù)顯示面板210的像素陣列中的像素211按照“視圖分配的圖案”被顯示,其中,面板圖像的特定像素所發(fā)出的光被導(dǎo)向包括3D圖像的特定視野。分配視圖的方法可與3D圖像的質(zhì)量密切相關(guān)。例如,3D圖像的質(zhì)量會(huì)受包括在面板圖像中的視圖的數(shù)量和針對(duì)面板圖像的視圖分配的圖案影響。將參照?qǐng)D3A和圖3B詳細(xì)地描述此視圖分配。
圖3A、圖3B和圖3C示出根據(jù)至少一個(gè)示例實(shí)施例的視圖分配。在圖3A、圖3B和圖3C中,示出面板圖像的一部分。面板圖像300A至300C中包括的多個(gè)像素301可被分配到多個(gè)視圖。參照?qǐng)D3A和圖3B,面板圖像300A和300B的像素310被分配到第一視圖至第九視圖。參照?qǐng)D3C,面板圖像300C的像素301被分配到第一視圖至第三十二視圖。當(dāng)所分配視圖的數(shù)量增加時(shí),3D空間印象會(huì)由于雙目視差而增加。3D空間印象根據(jù)所分配的視圖的數(shù)量(質(zhì)量)增加而增加可指3D圖像中的場(chǎng)景的3D空間印象基于場(chǎng)景的各個(gè)視圖的數(shù)量(質(zhì)量)增加而提高。
圖像轉(zhuǎn)換器可將所顯示的面板圖像的所發(fā)出的光場(chǎng)輸出到(“轉(zhuǎn)換成”)多個(gè)視野。此輸出操作可包括根據(jù)面板圖像的各個(gè)像素集合,將面板圖像300A至300C的各種區(qū)域中的像素301的各種集合所發(fā)出的光場(chǎng)劃分成各個(gè)視野的操作。例如,圖像轉(zhuǎn)換器可通過(guò)視差屏障、柱狀透鏡或BLU將面板圖像輸出到視野。參照?qǐng)D3A、圖3B和圖3C,面板圖像300A至300C的區(qū)域(例如,圖3A中的面板圖像300A的區(qū)域251、圖3B中的面板圖像300B的區(qū)域252和圖3C中的面板圖像300C的區(qū)域253)包括對(duì)應(yīng)于第一視圖的像素。圖像轉(zhuǎn)換器可將區(qū)域251、252和253的像素發(fā)出的光輸出到(“轉(zhuǎn)換成”)第一視野。如在以上描述的,圖像轉(zhuǎn)換器可將每個(gè)視圖的像素所發(fā)出的光輸出到對(duì)應(yīng)的視野。
圖像生成設(shè)備100可基于各種圖案將視圖“分配”到面板圖像中包括的多個(gè)像素。可基于圖案將像素輸出到對(duì)應(yīng)的視野。參照?qǐng)D3B和圖3C,可分配適于視差屏障或柱狀透鏡的視圖,其中,在視差屏障中,狹縫被設(shè)計(jì)成對(duì)角地布置,在柱狀透鏡中,中線被設(shè)計(jì)成對(duì)角地布置。在此示例中,基于狹縫的方向是相對(duì)于作為縱向方向的方向的對(duì)角方向,可減少和/或防止在橫向方向上可能出現(xiàn)的分辨率降低,并且可減少視野之間的黑底(black matrix)。另外,可降低視野的亮度不均勻性。另外,除了視野的像素之外,還會(huì)觀察到鄰近視野的像素,因此分辨率可增大?;诟鞣N圖案向面板圖像的像素分配視圖的操作可包括:圖像轉(zhuǎn)換器被構(gòu)造成將給定像素圖案所發(fā)出的光導(dǎo)向特定視野。另外,由于單個(gè)視野可具有比原始圖像更低的分辨率,因此相對(duì)于在沒(méi)有鄰近視野的情況下觀看視野,基于觀看視野和一個(gè)或更多個(gè)鄰近視野的操作,可能導(dǎo)致對(duì)于觀看用戶而言圖像分辨率增大。
如以上描述的,分配到面板圖像的視圖的數(shù)量增加可增強(qiáng)3D圖像的3D效果。然而,當(dāng)視圖增加時(shí),對(duì)應(yīng)于視圖的圖像的分辨率會(huì)減小并且3D圖像的分辨率也會(huì)減小。分辨率的這種劣化會(huì)與分配到面板圖像的視圖的質(zhì)量成比例地增加。這里,可通過(guò)調(diào)整面板圖像來(lái)減少和/或防止3D圖像的這種劣化。因此,根據(jù)至少一個(gè)實(shí)施例,可執(zhí)行基于面板圖像預(yù)測(cè)用戶將觀看到的3D圖像的操作和調(diào)整面板圖像以減小面板圖像的源圖像和3D圖像之間的差別的操作。將參照?qǐng)D4描述預(yù)測(cè)3D圖像的操作。
圖4示出根據(jù)至少一個(gè)示例實(shí)施例的預(yù)測(cè)3D圖像的操作。
參照?qǐng)D4,源圖像和3D圖像可以是光場(chǎng)圖像。光場(chǎng)圖像指示包括與多個(gè)視圖對(duì)應(yīng)的多個(gè)圖像的圖像。例如,光場(chǎng)圖像可包括與預(yù)設(shè)數(shù)量的視圖對(duì)應(yīng)的圖像。
在圖4中示出的坐標(biāo)軸中,k軸指示視圖,x軸和y軸指示像素的坐標(biāo)。例如,如圖4中所示,k的值是1的x-y平面中包括的圖像指示對(duì)應(yīng)于第一視圖的圖像,k的值是2的x-y平面中包括的圖像指示對(duì)應(yīng)于第二視圖的圖像。因此,作為光場(chǎng)圖像的源圖像可包括與多個(gè)視圖對(duì)應(yīng)的二維(2D)圖像。例如,源圖像可包括與第一視圖對(duì)應(yīng)的第一源圖像至與第k視圖對(duì)應(yīng)的第k源圖像。源圖像包括場(chǎng)景的各個(gè)“源”2D圖像的陣列,其中,各個(gè)2D圖像與場(chǎng)景的多個(gè)視圖中的各個(gè)視圖對(duì)應(yīng),使得源圖像是場(chǎng)景的理想3D圖像的表現(xiàn)。通過(guò)光場(chǎng),可提高生成并校正3D圖像的便利度和精度。例如,光場(chǎng)的3D效果在將2D圖像轉(zhuǎn)換成3D圖像的操作中是有用的。
通過(guò)圖像轉(zhuǎn)換器基于從所顯示的面板圖像發(fā)出光場(chǎng)來(lái)生成3D圖像,使得光場(chǎng)被劃分成與3D圖像的各個(gè)視圖對(duì)應(yīng)的各個(gè)視野??苫诿姘鍒D像來(lái)預(yù)測(cè)通過(guò)圖像轉(zhuǎn)換器基于從所顯示的面板圖像發(fā)出光場(chǎng)而生成的3D圖像(例如,多個(gè)視圖)。例如,可基于面板圖像和卷積核之間的運(yùn)算,預(yù)測(cè)3D圖像。卷積核可包括與面板圖像的視野關(guān)聯(lián)的第一函數(shù)和與面板圖像的擴(kuò)散關(guān)聯(lián)的第二函數(shù)。第一函數(shù)可包括視圖模板函數(shù)(view profile function)并且第二函數(shù)可包括點(diǎn)擴(kuò)散函數(shù)。面板圖像和卷積核之間的運(yùn)算可被稱為卷積運(yùn)算。將參照?qǐng)D5A、圖5B、圖5C、圖5D和圖5E詳細(xì)地描述第一函數(shù)和第二函數(shù)。
可通過(guò)將基于面板圖像預(yù)測(cè)的3D圖像與源圖像進(jìn)行比較并且調(diào)整面板圖像(例如,調(diào)整面板圖像的一個(gè)或更多個(gè)像素的一個(gè)或更多個(gè)像素值)以使通過(guò)比較而獲得的差別減小(和/或最小)來(lái)確定最佳面板圖像。也就是說(shuō),可確定面板圖像以允許源圖像和3D圖像彼此最大程度地近似。為了確定最佳面板圖像,可迭代地執(zhí)行預(yù)測(cè)3D圖像的操作和調(diào)整面板圖像的操作。盡管稍后進(jìn)行了描述,但可使用代價(jià)函數(shù)將3D圖像與源圖像進(jìn)行比較。在這種情況下,最佳面板圖像可以是使代價(jià)函數(shù)減小(和/或最小)的面板圖像。
可使用面板圖像來(lái)預(yù)測(cè)3D圖像,因此可通過(guò)各種方法來(lái)確定初始面板圖像。例如,可基于源圖像來(lái)確定初始面板圖像。詳細(xì)地,可基于源圖像的每個(gè)視野的樣本值,確定初始面板圖像。在此示例中,初始面板圖像可包括在第一源圖像至第k源圖像中采樣并且被分配到第一視圖至第k視圖的像素。初始面板圖像也可被稱為面板圖像的初始值??苫谏?D圖像的已知方法來(lái)確定初始面板圖像。源圖像可包括針對(duì)每個(gè)視野的圖像。可基于特定采樣率對(duì)針對(duì)每個(gè)視野的圖像進(jìn)行采樣。通過(guò)將經(jīng)過(guò)采樣的圖像渲染成單個(gè)圖像,可生成初始面板圖像。
可基于源圖像來(lái)渲染初始面板圖像,并且可基于以下操作來(lái)生成最佳面板圖像:迭代地處理所渲染的面板圖像以生成預(yù)測(cè)的3D圖像,并調(diào)整面板圖像的一個(gè)或更多個(gè)像素值以減小所確定的預(yù)測(cè)的3D圖像的一個(gè)或更多個(gè)視圖與源圖像的一個(gè)或更多個(gè)對(duì)應(yīng)視圖之間的差別。視圖之間的差別可以基于預(yù)測(cè)的3D圖像的一個(gè)或更多個(gè)視圖與源圖像的一個(gè)或更多個(gè)對(duì)應(yīng)視圖的對(duì)應(yīng)像素的像素值之間的差。
圖5A、圖5B、圖5C、圖5D和圖5E示出根據(jù)至少一個(gè)示例實(shí)施例的卷積核。
圖5A示出與面板圖像的視野關(guān)聯(lián)的第一函數(shù)。第一函數(shù)可包括視圖模板函數(shù)??捎^察視野中的圖像連同鄰近視野中的圖像。視圖模板函數(shù)指示位于視野中的觀看者將觀察到的鄰近視野的相對(duì)亮度。例如,當(dāng)觀看者位于視野“k”中時(shí),視圖模板函數(shù)可指示相對(duì)于視野k中的像素的亮度,觀察到其他視野中的像素處于什么亮度。當(dāng)3D圖像中包括的所有視野的數(shù)量是N個(gè)時(shí),視圖模板函數(shù)可指示分配到視野的像素的相對(duì)亮度“(k+n)%N)”,其中,“%”指示模數(shù)運(yùn)算符并且“n”指示大于或等于0且小于或等于N的整數(shù)。在圖5A中,x軸指示基于視野k的相對(duì)視野(例如,0),y軸指示基于視野k的亮度的相對(duì)亮度。
在一些示例實(shí)施例中,第一函數(shù)是作為觀看者所位于的視野的函數(shù)的發(fā)出視野的像素的亮度的正態(tài)分布??苫诖_定顯示視野的像素的亮度值的操作來(lái)憑經(jīng)驗(yàn)確定第一函數(shù),作為觀看者所位于的視野的函數(shù)。
詳細(xì)地,圖5B示出當(dāng)3D圖像中包括的所有視野的數(shù)量是9個(gè)時(shí)的多個(gè)視野510,圖5C示出當(dāng)3D圖像中包括的所有視野的數(shù)量是9個(gè)時(shí)的第一函數(shù)520。視野510包括第一視野至第九視野。觀看者可基于觀看者眼睛的位置,觀看視野510之中的一視野中的圖像??捎^看該視野中的圖像連同另一鄰近視野中的圖像。例如,當(dāng)觀看者觀察第一視野時(shí),也可觀察到第二視野至第四視野以及第七視野至第九視野。當(dāng)3D圖像中包括的視圖的數(shù)量增加時(shí),觀看者將觀察到的鄰近視野的數(shù)量可增加。
可基于通過(guò)圖像轉(zhuǎn)換器輸出的圖像的這種特性來(lái)確定3D圖像。視圖模板函數(shù)可被設(shè)計(jì)成具有與正態(tài)分布類似的形式,如第一函數(shù)520中一樣。例如,視圖模板函數(shù)可被設(shè)計(jì)成通過(guò)調(diào)整3D圖像中包括的所有視野和將分配到顯示面板的每個(gè)像素的視圖的數(shù)量,具有與正態(tài)分布近似的形式。
圖5D示出與面板圖像的擴(kuò)散關(guān)聯(lián)的第二函數(shù)。第二函數(shù)可包括點(diǎn)擴(kuò)散函數(shù)。在圖5D中,x-y平面指示像素的相對(duì)位置并且z軸指示相對(duì)亮度。如圖5D中所示,從點(diǎn)光源輸出的光可擴(kuò)散到周圍的區(qū)域??苫谕ㄟ^(guò)圖像轉(zhuǎn)換器輸出的圖像的此特性來(lái)確定3D圖像。
可通過(guò)以上描述的卷積核來(lái)預(yù)測(cè)對(duì)應(yīng)于面板圖像的3D圖像,并且可基于預(yù)測(cè)3D圖像來(lái)提高實(shí)際將輸出的3D圖像的質(zhì)量。
圖5D示出與面板圖像的擴(kuò)散關(guān)聯(lián)的第二函數(shù)。在一些示例實(shí)施例中,圖5D中示出的第二函數(shù)是作為沿著顯示面板的平面距像素的相對(duì)距離(例如,沿著x、y平面距像素的距離,其中,在x、y平面中,距顯示面板的距離沿著與顯示面板垂直的z軸是距離0)的函數(shù)的像素亮度的高斯分布。可基于分別確定顯示視野的像素的亮度值的操作憑經(jīng)驗(yàn)確定第二函數(shù),作為沿著x、y平面距像素的距離的函數(shù)。
參照?qǐng)D5E,通過(guò)面板圖像p和卷積核g之間的卷積運(yùn)算,預(yù)測(cè)出3D圖像1。如在這里提到的,“預(yù)測(cè)”3D圖像的操作包括生成預(yù)測(cè)的3D圖像的操作,其中,預(yù)測(cè)的3D圖像包括預(yù)測(cè)的3D圖像的多個(gè)視圖的陣列??苫谠凇熬矸e運(yùn)算”中向面板圖像應(yīng)用卷積核的操作來(lái)生成預(yù)測(cè)的3D圖像,其中,卷積核是第一函數(shù)和第二函數(shù)的函數(shù)??赏ㄟ^(guò)第一函數(shù)g1和第二函數(shù)g2之間的卷積運(yùn)算來(lái)確定卷積核g,并且面板圖像p可以是初始面板圖像或通過(guò)先前的迭代操作而確定的面板圖像。第一函數(shù)和第二函數(shù)中的每個(gè)函數(shù)可取決于與可顯示面板圖像的顯示面板耦接的圖像轉(zhuǎn)換器的特定構(gòu)造、類型等。例如,與傾斜交叉的圖像轉(zhuǎn)換器關(guān)聯(lián)的第一函數(shù)和第二函數(shù)可不同于與對(duì)齊的圖像轉(zhuǎn)換器關(guān)聯(lián)的第一函數(shù)和第二函數(shù)。
如在這里提到的,圖像可包括與圖像的各個(gè)像素對(duì)應(yīng)的像素值的陣列。在一些示例實(shí)施例中,每個(gè)像素值是深度值、亮度值、RGB值、這些值的某種組合等中的一個(gè)。
在一些示例實(shí)施例中,卷積運(yùn)算包括卷積核與面板圖像像素值的簡(jiǎn)單相乘,以得到預(yù)測(cè)的3D圖像的像素值。在一些示例實(shí)施例中,空間域中的卷積運(yùn)算可被轉(zhuǎn)換成頻域中的乘法運(yùn)算。
可通過(guò)調(diào)整所渲染的面板圖像p來(lái)確定(“渲染”)最佳面板圖像p*。例如,可通過(guò)迭代地調(diào)整501面板圖像p以使源圖像10和3D圖像1'之間的差別減小(和/或最小)來(lái)確定最佳面板圖像p*。詳細(xì)地,可基于初始面板圖像p'來(lái)預(yù)測(cè)3D圖像1'(例如,可生成預(yù)測(cè)的3D圖像1'),并且可調(diào)整初始面板圖像p'以使預(yù)測(cè)的3D圖像1'和源圖像10之間的差別減小(和/或最小)。類似地,可基于調(diào)整后的面板圖像p”來(lái)預(yù)測(cè)3D圖像1”,并可重新調(diào)整面板圖像p”以使3D圖像1”和源圖像10之間的差別減小(和/或最小)。通過(guò)進(jìn)行這種迭代,可生成最佳面板圖像p*。可基于以源圖像為基礎(chǔ)生成3D圖像的已知方法來(lái)確定(“生成”)初始面板圖像p'。例如,源圖像可包括每個(gè)視野的圖像。可基于特定采樣率對(duì)每個(gè)視野的圖像進(jìn)行采樣。基于將采樣得到的圖像渲染成單個(gè)圖像的操作,可生成初始面板圖像。如以上指示的,可根據(jù)已知的方法,實(shí)現(xiàn)基于源圖像來(lái)生成初始面板圖像的方法。調(diào)整面板圖像p的操作可包括改變面板圖像的一個(gè)或更多個(gè)像素的一個(gè)或更多個(gè)像素值,其中,基于預(yù)測(cè)的3D圖像1的像素的像素值與源圖像10的對(duì)應(yīng)像素的像素值之間的差,所述一個(gè)或更多個(gè)像素值被調(diào)整。可迭代地調(diào)整面板圖像p,直到所確定的源圖像和3D圖像1'之間的差別等于或小于閾值差別大小為止。在一些示例實(shí)施例中,可迭代地調(diào)整面板圖像p,直到所確定的源圖像和3D圖像1'之間的差別最小為止。
可通過(guò)各種方法來(lái)確定源圖像10和預(yù)測(cè)的3D圖像1之間的差別。例如,可定義確定源圖像10和3D圖像1之間的差別的代價(jià)函數(shù),并且可調(diào)整面板圖像p,以使用代價(jià)函數(shù)減小源圖像10和3D圖像1之間的差別。將參照?qǐng)D6詳細(xì)地描述使代價(jià)函數(shù)最小的操作。
圖6是示出根據(jù)至少一個(gè)示例實(shí)施例的使代價(jià)函數(shù)最小的操作的示圖。在圖6中,示出與面板圖像關(guān)聯(lián)的代價(jià)函數(shù)的示例。可如等式1中定義圖6中示出的代價(jià)函數(shù)。
[等式1]
E(l,lo)=||l-lo||2
等式1代表作為預(yù)測(cè)的3D圖像和源圖像的對(duì)應(yīng)像素的值的最小二乘誤差的代價(jià)函數(shù)(在本文中也被稱為第一代價(jià)函數(shù)、第一函數(shù)元素、其某種組合等)。在等式1中“E”指代價(jià)函數(shù),“l(fā)”和“l(fā)0”分別指預(yù)測(cè)的3D圖像和源圖像。代價(jià)函數(shù)可包括源圖像和所述3D圖像之間的最小二乘誤差。
可將使代價(jià)函數(shù)減小(和/或最小)的圖像確定為最佳面板圖像。例如,可將面板圖像中包括的像素的值調(diào)整成在最小亮度和最大亮度之間的有效范圍內(nèi)使代價(jià)函數(shù)減小(和/或最小)的值。
這里,可使用各種優(yōu)化方法使代價(jià)函數(shù)減小(和/或最小)。例如,可使用最速下降法使代價(jià)函數(shù)減小(和/或最小)。如以上描述的,預(yù)測(cè)的3D圖像可以是面板圖像和卷積核之間的卷積運(yùn)算的結(jié)果,即,1=p*g。這里,當(dāng)針對(duì)“p”執(zhí)行求等式1的微分時(shí),可獲得等式2。
[等式2]
在等式2中,指通過(guò)相對(duì)于x軸、y軸和z軸進(jìn)行對(duì)稱變換而獲得的核。這里,面板圖像p可被設(shè)置成初始值,并且基于最速下降法,每次可按的值從初始值減去面板圖像p?!唉獭敝刚?shù)。由于代價(jià)函數(shù)和限制條件可以是凸形式,因此可通過(guò)在限制條件下對(duì)面板圖像p迭代地執(zhí)行修剪處理來(lái)獲得使代價(jià)函數(shù)減小(和/或最小)的最佳面板圖像p*。
在圖6中,“p0”、“p1”和“p*”分別表示面板圖像的初始值、中間值和最終值。根據(jù)至少一個(gè)示例實(shí)施例,可基于針對(duì)源圖像的每個(gè)視野的采樣值,確定面板圖像的初始值。例如,可通過(guò)向源圖像應(yīng)用分?jǐn)?shù)視圖技巧方法(fractional view trick method)來(lái)確定面板圖像的初始值??蓪1與p0之間的關(guān)系表示為等式3。等式3示出基于預(yù)測(cè)的3D圖像和源圖像之間的差別對(duì)面板圖像做出的調(diào)整。所述調(diào)整可包括對(duì)一個(gè)或更多個(gè)面板圖像像素的一個(gè)或更多個(gè)像素值進(jìn)行的調(diào)整。
[等式3]
在一些示例實(shí)施例中,等式3是基于等式2??赏ㄟ^(guò)迭代地應(yīng)用等式3來(lái)獲得面板圖像的最終值??苫诘仫@像(生成)使預(yù)測(cè)的3D圖像與源圖像的差別最小的面板圖像來(lái)顯像(生成)最佳面板圖像。面板圖像的最終值指示使代價(jià)函數(shù)減小(和/或最小)的值。最速下降方法作為示例被提供,因此可使用各種方法來(lái)獲得使代價(jià)函數(shù)減小(和/或最小)的面板圖像。時(shí)域中的卷積運(yùn)算可被轉(zhuǎn)換成頻域中的乘法運(yùn)算,因此可更有效執(zhí)行使代價(jià)函數(shù)最小的運(yùn)算。
可憑經(jīng)驗(yàn)確定等式3中包括的正常數(shù)(μ)。
根據(jù)至少一個(gè)示例實(shí)施例,可基于在預(yù)測(cè)的3D圖像中可能出現(xiàn)的偽像來(lái)確定代價(jià)函數(shù)。例如,代價(jià)函數(shù)可被定義為等式4。
[等式4]
E(l,lo)=||l-lo||2+λf(l)
在等式4中,“f(l)”指與偽像(諸如,預(yù)測(cè)的3D圖像中可能出現(xiàn)的波圖案或莫爾紋)關(guān)聯(lián)的代價(jià)函數(shù)(在本文中也被稱為第二代價(jià)函數(shù)、第二函數(shù)元素、其某種組合等)。f(l)的值可被定義為隨著偽像增加而增大f(l)的輸出值?!唉恕北硎居糜谡{(diào)整兩個(gè)代價(jià)之間的加權(quán)值的正則化系數(shù)??蓱{經(jīng)驗(yàn)確定正則化系數(shù)。
根據(jù)至少一個(gè)示例實(shí)施例,可基于預(yù)測(cè)的3D圖像中包括的像素的值的總變化,定義f(l)的值。所述總變化指示圖像中包括的每個(gè)像素的梯度之和。這里,當(dāng)針對(duì)“p”執(zhí)行求等式4的微分時(shí),可獲得等式5。
[等式5]
在等式5中,指示通過(guò)相對(duì)于x軸、y軸和z軸進(jìn)行對(duì)稱變換而獲得的核。這里,面板圖像p可被設(shè)置成初始值,并且基于最速下降法,每次可按的值從初始值減去面板圖像p?!唉獭敝甘菊?shù)。由于代價(jià)函數(shù)和限制條件可以是凸形式,因此可通過(guò)在限制條件下對(duì)面板圖像p迭代地執(zhí)行修剪處理來(lái)獲得使代價(jià)函數(shù)減小(和/或最小)的最佳面板圖像p*。通過(guò)等式4和5,可減少偽像(諸如,與3D圖像的邊緣分量鄰近的波圖案)。
圖7是示出根據(jù)至少一個(gè)示例實(shí)施例的基于離線確定的代價(jià)函數(shù)來(lái)渲染3D圖像的處理的流程圖。參照?qǐng)D7,在操作411中,確定第一函數(shù)。第一函數(shù)是與面板圖像的視野關(guān)聯(lián)的函數(shù)。在操作412中,確定第二函數(shù)。第二函數(shù)是與面板圖像的擴(kuò)散關(guān)聯(lián)的函數(shù)。可順序地或并行地執(zhí)行操作411和412。如稍后描述的,第一函數(shù)和第二函數(shù)可根據(jù)用戶的觀看距離而有所不同??苫陬A(yù)設(shè)的參考觀看距離,確定操作411和412中的第一函數(shù)和第二函數(shù)。在操作413中,確定卷積核??赏ㄟ^(guò)第一函數(shù)和第二函數(shù)之間的卷積運(yùn)算來(lái)確定卷積核。在操作414中,確定代價(jià)函數(shù)。可基于以上描述的等式1或等式4來(lái)確定代價(jià)函數(shù)。
可離線地執(zhí)行操作411至414。這里,“離線”指示制作圖像處理設(shè)備或3D顯示設(shè)備的處理。“離線”執(zhí)行操作可指在接收源圖像和/或基于源圖像渲染面板圖像之前執(zhí)行操作。“在線”執(zhí)行操作可指作為接收源圖像和/或基于源圖像渲染面板圖像的部分所執(zhí)行的操作。在一些示例實(shí)施例中,“離線”執(zhí)行操作可指在制造產(chǎn)品的階段執(zhí)行操作,并且“在線”執(zhí)行操作可指在用戶使用產(chǎn)品的階段執(zhí)行操作。另外,可通過(guò)參照?qǐng)D1描述的處理器120和將參照?qǐng)D8描述的處理器330來(lái)執(zhí)行操作411至414。
在操作431中,接收源圖像??蓮南鄼C(jī)或存儲(chǔ)器接收源圖像。還可通過(guò)通信模塊從外部裝置接收源圖像。在操作432中,確定面板圖像的初始值??赏ㄟ^(guò)向源圖像應(yīng)用分?jǐn)?shù)視圖計(jì)巧方法來(lái)確定面板圖像的初始值。在操作433中,使用面板圖像的初始值來(lái)預(yù)測(cè)3D圖像??苫诓僮?13中確定的卷積核來(lái)預(yù)測(cè)3D圖像。在操作434中,確定使代價(jià)函數(shù)減小(和/或最小)的面板圖像??苫诘仁?、等式3和等式5中的至少一個(gè),使代價(jià)函數(shù)減小(和/或最小)。例如,在操作434中,可調(diào)整面板圖像,以基于操作433中預(yù)測(cè)的3D圖像(例如,3D圖像1')來(lái)減小代價(jià)函數(shù),并且可基于調(diào)整后的面板圖像來(lái)預(yù)測(cè)3D圖像1”,并且還可對(duì)調(diào)整后的面板圖像進(jìn)行調(diào)整以基于預(yù)測(cè)的3D圖像1”來(lái)減小代價(jià)函數(shù)??傻貓?zhí)行此操作。
在操作435中,使用使代價(jià)函數(shù)減小(和/或最小)的面板圖像來(lái)渲染3D圖像。這里,渲染操作可包括例如確定顯示面板中包括的像素或子像素的值的操作和生成將在顯示面板上顯示的圖像的操作。可通過(guò)以上描述的多視圖顯示方法或光場(chǎng)顯示方法渲染3D圖像。操作435可指(如果最佳面板圖像被顯示在面板上/當(dāng)最佳面板圖像被顯示在面板上時(shí))基于哪個(gè)3D圖像被顯示來(lái)渲染最佳面板圖像。
可在線執(zhí)行操作431至435。這里,“在線”指示操作圖像生成設(shè)備或3D顯示設(shè)備的處理。另外,可通過(guò)圖1的處理器120和圖8的處理器330執(zhí)行操作431至435。
圖8是示出根據(jù)至少一個(gè)示例實(shí)施例的圖像生成設(shè)備300的示圖。圖8中示出的圖像生成設(shè)備300可包括這里描述的一些或全部圖像生成設(shè)備。例如,圖8中示出的圖像生成設(shè)備300可包括圖1中示出的一些或全部圖像生成設(shè)備100。參照?qǐng)D8,圖像生成設(shè)備300包括存儲(chǔ)器320、處理器330、顯示面板340和通信模塊350。例如,圖像生成設(shè)備300可被包括在互聯(lián)網(wǎng)協(xié)議電視(IPTV)中。存儲(chǔ)器320、處理器330、顯示面板340和通信模塊350可通過(guò)總線310相互通信。
通信模塊350可使用各種互聯(lián)網(wǎng)協(xié)議從外部裝置接收數(shù)據(jù)。例如,通信模塊350可從外部裝置接收源圖像。外部裝置可包括例如圖像提供服務(wù)器、移動(dòng)裝置(諸如移動(dòng)電話、智能電話、個(gè)人數(shù)字助理(PDA)、平板計(jì)算機(jī)和膝上型計(jì)算機(jī))、計(jì)算裝置(諸如個(gè)人計(jì)算機(jī)(PC)、平板PC和上網(wǎng)本)、圖像輸出裝置(諸如TV和智能TV)、以及圖像捕獲裝置(諸如相機(jī)和攝錄機(jī))。在一些示例實(shí)施例中,圖像生成設(shè)備300可包括圖像提供服務(wù)器、移動(dòng)裝置、計(jì)算裝置、圖像輸出裝置和圖像捕獲裝置中的一個(gè)或更多個(gè)。移動(dòng)裝置可包括移動(dòng)電話、智能電話、個(gè)人數(shù)字助理(PDA)、其某種組合等。計(jì)算裝置可包括個(gè)人計(jì)算機(jī)(PC)、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、上網(wǎng)本、其某種組合等。圖像輸出裝置可包括TV、智能TV、其某種組合等。圖像捕獲裝置可包括相機(jī)、攝錄機(jī)、其某種組合等。
處理器330可執(zhí)行參照?qǐng)D1至圖7描述的操作和將參照?qǐng)D9至圖14描述的操作。例如,處理器330可執(zhí)行參照?qǐng)D7描述的操作。處理器330可執(zhí)行程序并且控制圖像生成設(shè)備300。處理器3300將執(zhí)行的程序代碼可被存儲(chǔ)在存儲(chǔ)器320中。電子系統(tǒng)可通過(guò)輸入/輸出裝置(未示出)連接到外部裝置并且與外部裝置交換數(shù)據(jù)。
存儲(chǔ)器320可存儲(chǔ)源圖像、面板圖像和預(yù)測(cè)的3D圖像,并存儲(chǔ)諸如例如用于處理器330的操作的運(yùn)算或計(jì)算的各種函數(shù)、等式和結(jié)果的數(shù)據(jù)。另外,存儲(chǔ)器320可將面板圖像、面板圖像的源圖像和預(yù)測(cè)的3D圖像發(fā)送到處理器330,或者將存儲(chǔ)在存儲(chǔ)器320中的其他數(shù)據(jù)發(fā)送到處理器330。存儲(chǔ)器320可以是易失性存儲(chǔ)器或非易失性存儲(chǔ)器。存儲(chǔ)器320可以是非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。存儲(chǔ)器可存儲(chǔ)如本文中描述的當(dāng)被執(zhí)行時(shí)使執(zhí)行一個(gè)或更多個(gè)方法、功能、處理等的計(jì)算機(jī)可讀指令。在一些示例實(shí)施例中,處理器330可執(zhí)行存儲(chǔ)在存儲(chǔ)器320中的計(jì)算機(jī)可讀指令中的一個(gè)或更多個(gè)。
顯示面板340可輸出使代價(jià)函數(shù)減小(和/或最小)的面板圖像。處理器330所確定的面板圖像可由顯示面板340輸出并且被圖像轉(zhuǎn)換器轉(zhuǎn)換成3D圖像。
在一些示例實(shí)施例中,在圖像生成設(shè)備300中可沒(méi)有元件340和350。例如,圖像生成設(shè)備300可包括還包括通信接口的加密狗,其中,通信接口可至少將處理器通信耦接到3D顯示設(shè)備200,使得圖像生成設(shè)備300可將面板圖像提供給3D顯示設(shè)備200,以在3D顯示設(shè)備200的顯示面板210上進(jìn)行顯示。通信接口可包括USB和/或HDMI接口。加密狗可包括存儲(chǔ)器320和處理器330,但不包括通信模塊350或顯示面板340。
圖9是示出根據(jù)至少一個(gè)示例實(shí)施例的基于觀看距離渲染3D圖像的處理的流程圖。參照?qǐng)D9,在操作451中,確定代價(jià)函數(shù)??呻x線執(zhí)行操作451。可通過(guò)參照?qǐng)D1描述的處理器120和參照?qǐng)D8描述的處理器330來(lái)執(zhí)行操作451。
在操作471中,接收源圖像。在操作472中,確定面板圖像的初始值。在操作473中,使用面板圖像的初始值來(lái)預(yù)測(cè)3D圖像。可基于操作479中確定的卷積核來(lái)預(yù)測(cè)3D圖像。在操作474中,確定使代價(jià)函數(shù)減小(和/或最小)的面板圖像。在操作475中,使用使代價(jià)函數(shù)最小的面板圖像,渲染3D圖像。參照?qǐng)D7描述的細(xì)節(jié)可應(yīng)用于操作471至475。
在操作476中,估計(jì)觀看距離。觀看距離(也被稱為“正交觀看距離”)可以是用戶眼睛中的一個(gè)或更多個(gè)距顯示面板的距離。例如,可基于相機(jī)識(shí)別出的用戶眼睛的位置來(lái)估計(jì)觀看距離。相機(jī)可包括各種類型的傳感器(例如,視覺(jué)傳感器和紅外傳感器)。第一函數(shù)和第二函數(shù)可根據(jù)觀看距離而有所不同。在一些示例實(shí)施例中,第一函數(shù)和第二函數(shù)中的一個(gè)或更多個(gè)函數(shù)是與顯示面板平行的高斯分布并且相對(duì)于距顯示面板的正交距離在大小上線性地反變化?;谟脩舻挠^看距離來(lái)調(diào)整卷積函數(shù)的操作可提高3D圖像的質(zhì)量。將參照?qǐng)D10和圖11描述基于觀看距離確定卷積核的操作。
圖10是示出根據(jù)至少一個(gè)示例實(shí)施例的取決于觀看距離的視野改變的示圖。參照?qǐng)D10,通過(guò)圖1的顯示面板210和圖像轉(zhuǎn)換器220來(lái)輸出第一光線91、第二光線92和第光線93。
第一光線91、第二光線92和第光線93可被包括在3D圖像中,以通過(guò)顯示面板210和圖像轉(zhuǎn)換器220來(lái)輸出。如以上描述的,可在與視圖對(duì)應(yīng)的視野中觀看到不同視圖的圖像。例如,可在第一視野中觀看到與第一視圖鄰近的視圖的圖像。將被觀看到的鄰近視圖可基于觀看距離而有所不同。例如,如圖10中所示,在位置94處的第一視野中將觀看到的鄰近視圖的圖像可不同于在位置95處的第一視野中將觀看到的鄰近視圖的圖像。
位置94和95與距顯示面板210的像素211的不同正交距離(“觀看距離”)1004對(duì)應(yīng)。
在一些示例實(shí)施例中,3D顯示設(shè)備200包括相機(jī)傳感器1000。相機(jī)傳感器1000可被構(gòu)造成捕獲視場(chǎng)1002的圖像。如圖10中所示,如果一個(gè)或更多個(gè)用戶眼睛51、52位于視場(chǎng)1002內(nèi)和/或當(dāng)一個(gè)或更多個(gè)用戶眼睛51、52位于視場(chǎng)1002內(nèi)時(shí),相機(jī)傳感器100可捕獲所述一個(gè)或更多個(gè)用戶眼睛51、52的一個(gè)或更多個(gè)圖像。3D顯示設(shè)備200可處理捕獲到的所述一個(gè)或更多個(gè)用戶眼睛51、52的一個(gè)或更多個(gè)圖像,以確定用戶眼睛51、52所處的位置94、95,從而確定觀看距離1004的大小。
在一些示例實(shí)施例中,可基于將視場(chǎng)1002的捕獲的圖像中的所確定的用戶眼睛和/或面部特征與位于查找表陣列中的對(duì)應(yīng)距離1004值(大小)關(guān)聯(lián)的查找表,確定觀看距離1004??蓱{經(jīng)驗(yàn)確定所述陣列中的觀看距離1004值。
可基于觀看距離來(lái)確定與面板圖像的視野關(guān)聯(lián)的第一函數(shù)。例如,當(dāng)針對(duì)位置94繪出圖5A的曲線時(shí),針對(duì)位置95的第一函數(shù)的曲線可根據(jù)顯示面板210和圖像轉(zhuǎn)換器220的設(shè)計(jì)而具有比圖5A的曲線更廣或更窄的形式??墒褂糜^看距離1004來(lái)確定第二函數(shù)。將參照?qǐng)D11詳細(xì)描述基于觀看距離來(lái)確定第二函數(shù)的操作。
在一些示例實(shí)施例中,可根據(jù)對(duì)第一函數(shù)和第二函數(shù)進(jìn)行動(dòng)態(tài)調(diào)整來(lái)動(dòng)態(tài)調(diào)整最佳面板圖像。所確定的第一函數(shù)和第二函數(shù)可根據(jù)所確定的觀看距離1004的動(dòng)態(tài)改變而有所不同。可基于處理由一個(gè)或更多個(gè)相機(jī)傳感器生成的圖像流的操作,動(dòng)態(tài)調(diào)整所確定的觀看距離1004。在一些示例實(shí)施例中,可根據(jù)所確定的觀看距離來(lái)調(diào)整第一函數(shù)和第二函數(shù)中的一個(gè)或更多個(gè)函數(shù),并且可根據(jù)調(diào)整后的第一函數(shù)和第二函數(shù)來(lái)生成預(yù)測(cè)的3D圖像。
基于觀看距離1004的改變,對(duì)第一函數(shù)和第二函數(shù)的這種調(diào)整可以是動(dòng)態(tài)的。例如,相機(jī)傳感器1002可重復(fù)地捕獲視場(chǎng)1002的圖像,并且根據(jù)處理重復(fù)捕獲的視場(chǎng)的圖像的操作,觀看距離1004可被重復(fù)地重新計(jì)算??筛鶕?jù)對(duì)觀看距離1004的連續(xù)重新計(jì)算來(lái)重新調(diào)整第一函數(shù)和第二函數(shù)中的至少一個(gè)函數(shù)??筛鶕?jù)對(duì)第一函數(shù)和第二函數(shù)中的至少一個(gè)的調(diào)整,重新計(jì)算預(yù)測(cè)的3D圖像。因此,在一些示例實(shí)施例中,可根據(jù)對(duì)第一函數(shù)和第二函數(shù)中的至少一個(gè)的動(dòng)態(tài)調(diào)整,動(dòng)態(tài)調(diào)整最佳面板圖像,其中,這些動(dòng)態(tài)調(diào)整是基于所確定的觀看距離1004的動(dòng)態(tài)改變。
圖11是示出根據(jù)至少一個(gè)示例實(shí)施例的光的擴(kuò)散的示圖。參照?qǐng)D11,通過(guò)圖1的顯示面板210和圖像轉(zhuǎn)換器220輸出第一光線70。第一光線70可被包括在3D圖像中,以通過(guò)顯示面板210和圖像轉(zhuǎn)換器220進(jìn)行輸出。在一些示例實(shí)施例中,第一光線70是圖像轉(zhuǎn)換器220用顯示面板210的一個(gè)或更多個(gè)像素211所發(fā)出的光發(fā)出的視野。
可從顯示面板210的像素中的任一個(gè)像素輸出第一光線70。隨著第一光線70越來(lái)越遠(yuǎn)離圖像轉(zhuǎn)換器220,第一光線70可被擴(kuò)散。例如,位置72處的第一光線70的擴(kuò)散程度可大于位置71處的第一光線70的擴(kuò)散程度。因此,可基于觀看距離來(lái)確定與面板圖像的擴(kuò)散關(guān)聯(lián)的第二函數(shù)。例如,當(dāng)針對(duì)位置71繪出圖5B的曲線時(shí),針對(duì)位置72的第二函數(shù)的曲線可具有隨著z值減小而擴(kuò)散的形式。某位置處的第一光線70中的光的“擴(kuò)散”可指該位置處的與第一光線70對(duì)應(yīng)的視野的大小。
回頭參照?qǐng)D9,在操作477中,確定第一函數(shù)。在操作478中,確定第二函數(shù)。在操作477和478中,基于操作476中估計(jì)的觀看距離,確定第一函數(shù)和第二函數(shù)??身樞虻鼗虿⑿械貓?zhí)行操作477和478。在操作479中,確定卷積核??苫诘谝缓瘮?shù)和第二函數(shù)之間的卷積運(yùn)算,確定卷積核。
可在線執(zhí)行操作471至475??赏ㄟ^(guò)參照?qǐng)D1描述的處理器120和參照?qǐng)D8描述的處理器330來(lái)執(zhí)行操作471至475。
圖12是示出根據(jù)至少一個(gè)示例實(shí)施例的對(duì)3D圖像建模的方法的流程圖。參照?qǐng)D12,在操作510中,確定與面板圖像的視野關(guān)聯(lián)的第一函數(shù)和與面板圖像的擴(kuò)散關(guān)聯(lián)的第二函數(shù)。圖12的操作510可包含圖7的操作411、412和圖9的操作477、478。在操作520中,基于第一函數(shù)和第二函數(shù)對(duì)面板圖像的3D圖像建模。圖12的操作520可包含圖7的操作413、433和圖9的操作479、473。這里,建模指示如以上描述的為了預(yù)測(cè)3D圖像并且提高3D圖像的質(zhì)量而執(zhí)行的操作。例如,建??砂ɡ绱_定源圖像、確定面板圖像、預(yù)測(cè)3D圖像、和基于代價(jià)函數(shù)調(diào)整面板圖像的操作。可通過(guò)參照?qǐng)D1描述的處理器120和參照?qǐng)D8描述的處理器330來(lái)執(zhí)行操作510和520。處理器120和處理器330可執(zhí)行以上描述的操作之中的與操作510和520相關(guān)的操作。
圖13是示出根據(jù)至少一個(gè)示例實(shí)施例的調(diào)整面板圖像的處理的流程圖。參照?qǐng)D13,在操作610中,確定與面板圖像的源圖像和面板圖像的面板圖像的3D圖像之間的差別關(guān)聯(lián)的代價(jià)函數(shù)。圖13的操作610可包含圖7的操作414和圖9的451。在操作620中,基于代價(jià)函數(shù)來(lái)調(diào)整面板圖像。圖13的操作620可包含圖7的操作434和圖9的474。可通過(guò)參照?qǐng)D1描述的處理器120和參照?qǐng)D8描述的處理器330來(lái)執(zhí)行操作610和620。處理器120和處理器330可執(zhí)行以上描述的操作之中的與操作610和620相關(guān)的操作。
圖14是示出根據(jù)至少一個(gè)示例實(shí)施例的調(diào)整面板圖像的另一處理的流程圖。參照?qǐng)D14,在操作710中,接收3D圖像的源圖像??赏ㄟ^(guò)參照?qǐng)D8描述的通信模塊350接收源圖像??晒┻x擇地,可由圖8的處理器330通過(guò)圖8的總線310從通信模塊350接收源圖像。圖14的操作710可包含圖7的操作431和圖9的471。在操作720中,基于源圖像來(lái)確定面板圖像的初始值。圖14的操作720可包含圖7的操作432和圖9的472。在操作730中,在早于基于對(duì)應(yīng)于3D顯示設(shè)備的卷積核之前,基于源圖像和面板圖像的3D圖像來(lái)迭代地調(diào)整面板圖像。圖14的操作730可包含圖7的操作433、434和圖9的473、474??赏ㄟ^(guò)參照?qǐng)D1描述的處理器120和處理器330來(lái)執(zhí)行操作720和730。處理器120和處理器330可執(zhí)行以上描述的操作之中的與操作710至730相關(guān)的操作。
可使用硬件組件和軟件組件來(lái)實(shí)現(xiàn)這里描述的單元和/或模塊。例如,硬件組件可包括麥克風(fēng)、放大器、帶通濾波器、音頻-數(shù)字轉(zhuǎn)換器和處理裝置??墒褂帽粯?gòu)造成通過(guò)執(zhí)行算術(shù)運(yùn)算、邏輯運(yùn)算、和輸入/輸出運(yùn)算來(lái)執(zhí)行和/或運(yùn)行程序代碼的一個(gè)或更多個(gè)硬件裝置來(lái)實(shí)現(xiàn)處理裝置。處理裝置可包括處理器、控制器和算術(shù)邏輯單元、數(shù)字信號(hào)處理器、微計(jì)算機(jī)、現(xiàn)場(chǎng)可編程陣列、可編程邏輯單元、微處理器或能夠以所限定的方式響應(yīng)和執(zhí)行指令的任何其他裝置。處理裝置可運(yùn)行操作系統(tǒng)(OS)和在OS上運(yùn)行的一個(gè)或更多個(gè)軟件應(yīng)用。處理裝置還可響應(yīng)于軟件的執(zhí)行來(lái)訪問(wèn)、存儲(chǔ)、操縱、處理和創(chuàng)建數(shù)據(jù)。出于簡(jiǎn)化的目的,使用單數(shù)的處理裝置的描述;然而,本領(lǐng)域的技術(shù)人員將理解,處理裝置可包括多個(gè)處理元件和多種類型的處理元件。例如,處理裝置可包括多個(gè)處理器或包括處理器和控制器。另外,諸如并行處理器的不同處理構(gòu)造是可能的。
軟件可包括用于獨(dú)立地或共同地指示和/或構(gòu)造處理裝置以使其根據(jù)需要進(jìn)行操作的計(jì)算機(jī)程序、一條代碼、指令、或其某種組合,從而將處理裝置轉(zhuǎn)變成專用處理器??捎媚軌?qū)⒅噶罨驍?shù)據(jù)提供給處理裝置或能夠由處理裝置進(jìn)行解釋的機(jī)器、組件、物理或虛擬設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)或裝置、或傳播信號(hào)波中的任意類型來(lái)永久地或暫時(shí)地實(shí)施軟件和數(shù)據(jù)。軟件還可被分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng),使得軟件以分布式方式被存儲(chǔ)和執(zhí)行。可通過(guò)一個(gè)或更多個(gè)非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)來(lái)存儲(chǔ)軟件和數(shù)據(jù)。
根據(jù)上述示例實(shí)施例的方法可被記錄在包括用于實(shí)現(xiàn)上述示例實(shí)施例的各種操作的程序指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)中。介質(zhì)還可包括單獨(dú)的或與程序指令組合的數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。記錄在介質(zhì)上的程序指令可以是為了示例實(shí)施例的目的而專門(mén)設(shè)計(jì)和構(gòu)造的程序指令,或者它們可以是對(duì)于計(jì)算機(jī)軟件領(lǐng)域中的技術(shù)人員已知和可用的種類。非暫態(tài)計(jì)算機(jī)可讀介質(zhì)的示例包括諸如硬盤(pán)、軟盤(pán)和磁帶的磁性介質(zhì);諸如CD-ROM盤(pán)、DVD和/或藍(lán)光盤(pán)的光學(xué)介質(zhì);諸如光盤(pán)的磁-光介質(zhì);以及諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、閃存存儲(chǔ)器(例如,USB閃存驅(qū)動(dòng)、存儲(chǔ)卡、記憶棒等)的被專門(mén)構(gòu)造成存儲(chǔ)并執(zhí)行程序指令的硬件裝置等。程序指令的示例包括諸如由編譯器生成的機(jī)器代碼以及包含可由計(jì)算機(jī)使用解釋器執(zhí)行的更高級(jí)代碼的文件兩者。上述裝置可被構(gòu)造成充當(dāng)一個(gè)或更多個(gè)軟件模塊,以執(zhí)行上述示例實(shí)施例的操作,或反之亦然。
應(yīng)該理解,這里描述的示例實(shí)施例應(yīng)該被視為僅是描述性含義而非為了限制性的目的。對(duì)根據(jù)示例實(shí)施例的每個(gè)裝置或方法內(nèi)的特征或方面的描述通常應(yīng)該被認(rèn)為可用于根據(jù)示例實(shí)施例的其他裝置或方法中的其他類似特征或方面。雖然已經(jīng)具體示出和描述了一些示例實(shí)施例,但本領(lǐng)域的普通技術(shù)人員將理解,可在不脫離權(quán)利要求書(shū)的精神和范圍內(nèi)的情況下,在其中進(jìn)行形式和細(xì)節(jié)上的變化。