本申請(qǐng)是申請(qǐng)?zhí)枮?01280055766.9，申請(qǐng)日為2012年9月28日，題為“用于編碼和解碼光場(chǎng)圖像文件的系統(tǒng)及方法”的中國(guó)發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明涉及圖像文件的編碼和解碼，并且更具體而言涉及光場(chǎng)圖像文件(lightfieldimagefile)的編碼和解碼。

背景技術(shù)：

iso/iec10918-1標(biāo)準(zhǔn)，更通常地以開(kāi)發(fā)該標(biāo)準(zhǔn)的聯(lián)合圖像專家小組的名字被稱為jpeg標(biāo)準(zhǔn)，建立了用于靜止圖像的數(shù)字壓縮和編碼的標(biāo)準(zhǔn)處理。jpeg標(biāo)準(zhǔn)規(guī)定了用于把圖像壓縮成位流并且用于把位流解壓縮成圖像的編解碼器。

包括在iso/iec10918-5中規(guī)定的jpeg文件互換格式(jfif)和可交換圖像文件格式(exif)的各種容器文件格式可以用于存儲(chǔ)jpeg位流。jfif可以被認(rèn)為是使得jpeg位流能夠在多種平臺(tái)和應(yīng)用之間交換的最小文件格式。jfif文件中使用的色彩空間是由ccir推薦601定義的ycbcr，涉及256個(gè)級(jí)。圖像文件的y、cb和cr分量是從r、g和b轉(zhuǎn)換來(lái)的，但是被規(guī)格化，從而占用8-位二進(jìn)制編碼的完全256個(gè)級(jí)。ycbcr是由jpeg使用的壓縮格式之一。另一個(gè)流行的選項(xiàng)是直接對(duì)r、g和b色彩平面執(zhí)行壓縮。當(dāng)應(yīng)用無(wú)損壓縮時(shí)，直接的rgb色彩平面壓縮也是流行的。

jpeg位流以大端序(big-endian)格式存儲(chǔ)16-位字值。jpeg數(shù)據(jù)通常作為塊的流來(lái)存儲(chǔ)，并且每個(gè)塊都由一個(gè)標(biāo)記值標(biāo)識(shí)。每個(gè)jpeg位流的前兩個(gè)字節(jié)是圖像起始(soi)標(biāo)記值ffhd8h。在jfif兼容的文件中，在緊接著soi后面有jfifapp0(應(yīng)用)標(biāo)記，該標(biāo)記在標(biāo)記數(shù)據(jù)中包括標(biāo)記碼值ffhe0h和字符jfif，如下一部分中所描述的。除了jfif標(biāo)記段，在實(shí)際的圖像數(shù)據(jù)之后，還可以有一個(gè)或多個(gè)可選的jfif擴(kuò)展標(biāo)記段。

總的來(lái)說(shuō)，jfif格式支持十六個(gè)“應(yīng)用標(biāo)記”來(lái)存儲(chǔ)元數(shù)據(jù)。利用應(yīng)用標(biāo)記使得解碼器有可能解析jfif文件并且只解碼圖像數(shù)據(jù)的所需的段。應(yīng)用標(biāo)記每個(gè)都限于64k字節(jié)，但是有可能使用相同的標(biāo)記id多次并指不同的存儲(chǔ)器段。

soi標(biāo)記之后的app0標(biāo)記用于識(shí)別jfif文件。附加的app0標(biāo)記段可以可選地用于規(guī)定jfif擴(kuò)展。當(dāng)解碼器不支持解碼一具體的jfif應(yīng)用標(biāo)記時(shí)，該解碼器可以跳過(guò)該段并繼續(xù)解碼。

數(shù)碼相機(jī)使用的一種最流行的文件格式是exif。當(dāng)exif對(duì)jpeg位流采用時(shí)，app1應(yīng)用標(biāo)記用于存儲(chǔ)exif數(shù)據(jù)。exif標(biāo)簽結(jié)構(gòu)是從由位于加州sanjose的adobesystem公司維護(hù)的標(biāo)簽圖像文件格式(tiff)借用的。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明實(shí)施例的系統(tǒng)和方法配置為在電子文件中存儲(chǔ)從光場(chǎng)圖像數(shù)據(jù)合成的圖像和描述該圖像的元數(shù)據(jù)并且利用所存儲(chǔ)的圖像和元數(shù)據(jù)呈現(xiàn)圖像。本發(fā)明的一種實(shí)施例包括處理器及包含編碼應(yīng)用和光場(chǎng)圖像數(shù)據(jù)的存儲(chǔ)器，其中光場(chǎng)圖像數(shù)據(jù)包括從不同視點(diǎn)(viewpoint)捕捉到的場(chǎng)景的多個(gè)低分辨率圖像。此外，編碼應(yīng)用把處理器配置為：利用低分辨率圖像合成來(lái)自參考視點(diǎn)的較高分辨率圖像，其中合成較高分辨率圖像涉及創(chuàng)建指定較高分辨率圖像中的像素的離參考視點(diǎn)的深度的深度圖；編碼較高分辨率的圖像；并且創(chuàng)建包括編碼后的圖像和描述該編碼后的圖像的元數(shù)據(jù)的光場(chǎng)圖像文件，其中元數(shù)據(jù)包括深度圖。

本發(fā)明的進(jìn)一步的實(shí)施例包括處理器及包含呈現(xiàn)應(yīng)用和光場(chǎng)圖像文件的存儲(chǔ)器，其中光場(chǎng)圖像文件包括編碼后的圖像和描述該編碼后的圖像的元數(shù)據(jù)，其中元數(shù)據(jù)包括指定較高分辨率圖像中的像素的離參考視點(diǎn)的深度的深度圖。此外，呈現(xiàn)應(yīng)用把處理器配置為：在光場(chǎng)圖像文件中定位編碼后的圖像；解碼編碼后的圖像；在光場(chǎng)圖像文件中定位元數(shù)據(jù)；并且通過(guò)基于深度圖中所指示的深度修改像素來(lái)后處理解碼的圖像以創(chuàng)建呈現(xiàn)的圖像。

在另一種實(shí)施例中，光場(chǎng)圖像文件遵循jfif標(biāo)準(zhǔn)。

在又一種實(shí)施例中，高分辨率圖像是根據(jù)jpeg標(biāo)準(zhǔn)編碼的。

附圖說(shuō)明

圖1概念性地圖示出根據(jù)本發(fā)明的實(shí)施例的配置為生成光場(chǎng)圖像文件的陣列照相機(jī)的體系架構(gòu)。

圖2是根據(jù)本發(fā)明的實(shí)施例的用于創(chuàng)建光場(chǎng)圖像文件的處理的流程圖，其中光場(chǎng)圖像文件包括從光場(chǎng)圖像數(shù)據(jù)合成的圖像和利用光場(chǎng)圖像數(shù)據(jù)生成的合成的圖像的深度圖。

圖3是根據(jù)本發(fā)明的實(shí)施例的用于創(chuàng)建遵循jfif標(biāo)準(zhǔn)并且包括根據(jù)jpeg標(biāo)準(zhǔn)編碼的圖像的光場(chǎng)圖像文件的處理。

圖4圖示出根據(jù)本發(fā)明的實(shí)施例的遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段。

圖5圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“dz選擇描述符”。

圖6圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“深度圖、照相機(jī)陣列和輔助圖選擇描述符”。

圖7圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“深度圖、照相機(jī)陣列和輔助圖壓縮描述符”。

圖8圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“深度圖頭”中的“深度圖屬性”字段。

圖9圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“深度圖頭”中的“深度圖描述符”。

圖10圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“深度圖數(shù)據(jù)描述符”。

圖11圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“照相機(jī)陣列頭”中的“照相機(jī)陣列屬性”字段。

圖12圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“照相機(jī)陣列頭”中的“照相機(jī)陣列描述符”。

圖13圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“個(gè)體照相機(jī)描述符”。

圖14圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“個(gè)體照相機(jī)數(shù)據(jù)”。

圖15圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“個(gè)體像素?cái)?shù)據(jù)結(jié)構(gòu)”。

圖16圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“輔助圖頭”中的“輔助圖描述符”。

圖17圖示出根據(jù)本發(fā)明的實(shí)施例的包含在遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件的app9應(yīng)用標(biāo)記段中的“輔助圖數(shù)據(jù)描述符”。

圖18圖示出根據(jù)本發(fā)明的實(shí)施例的包括至少一個(gè)編碼設(shè)備的網(wǎng)絡(luò)，其中編碼設(shè)備配置為捕捉光場(chǎng)圖像數(shù)據(jù)并編碼光場(chǎng)圖像文件并且配置為經(jīng)網(wǎng)絡(luò)與呈現(xiàn)設(shè)備共享光場(chǎng)圖像文件。

圖19概念性地圖示出由呈現(xiàn)應(yīng)用配置為利用光場(chǎng)圖像文件呈現(xiàn)圖像的呈現(xiàn)設(shè)備。

圖20是圖示根據(jù)本發(fā)明的實(shí)施例的用于利用光場(chǎng)圖像文件呈現(xiàn)圖像的處理的流程圖。

圖21概念性地圖示出由呈現(xiàn)應(yīng)用配置為利用光場(chǎng)圖像文件呈現(xiàn)圖像的呈現(xiàn)設(shè)備，其中光場(chǎng)圖像文件包含根據(jù)jpeg標(biāo)準(zhǔn)編碼的圖像和/或圖。

圖22是圖示利用光場(chǎng)圖像文件呈現(xiàn)圖像的處理的流程圖，其中光場(chǎng)圖像文件遵循jfif標(biāo)準(zhǔn)并且包括根據(jù)jpeg標(biāo)準(zhǔn)編碼的圖像和描述該編碼后的圖像的元數(shù)據(jù)。

圖23是圖示根據(jù)本發(fā)明的實(shí)施例的基于光場(chǎng)圖像文件中所包含的深度圖對(duì)光場(chǎng)圖像文件中所包含的編碼后的圖像應(yīng)用依賴于深度的效果的處理的流程圖。

圖24是圖示根據(jù)本發(fā)明的實(shí)施例的用于從與光場(chǎng)圖像文件中所包含的圖像的參考視點(diǎn)不同的視點(diǎn)呈現(xiàn)圖像的處理的流程圖。

具體實(shí)施方式

現(xiàn)在轉(zhuǎn)向附圖，圖示了根據(jù)本發(fā)明的實(shí)施例的用于在電子文件中存儲(chǔ)從光場(chǎng)圖像數(shù)據(jù)合成的圖像和描述該圖像的元數(shù)據(jù)并且用于利用所存儲(chǔ)的圖像和元數(shù)據(jù)呈現(xiàn)圖像的系統(tǒng)及方法。包含從光場(chǎng)圖像數(shù)據(jù)合成的圖像和得自光場(chǎng)圖像數(shù)據(jù)的元數(shù)據(jù)的文件可以被稱為光場(chǎng)圖像文件。如以下進(jìn)一步討論的，光場(chǎng)圖像文件中編碼的圖像通常是利用來(lái)自多個(gè)較低分辨率圖像的超分辨率處理合成的。光場(chǎng)圖像文件還可以包括得自光場(chǎng)圖像數(shù)據(jù)的、描述合成的圖像的元數(shù)據(jù)，其使得可以對(duì)合成的圖像進(jìn)行后處理。在許多實(shí)施例中，光場(chǎng)圖像文件是通過(guò)編碼從光場(chǎng)圖像數(shù)據(jù)合成的圖像并且組合編碼后的圖像和得自光場(chǎng)圖像數(shù)據(jù)的深度圖來(lái)創(chuàng)建的。在幾個(gè)實(shí)施例中，編碼的圖像是從一參考視點(diǎn)合成的并且元數(shù)據(jù)包括關(guān)于光場(chǎng)圖像中從該參考視點(diǎn)被遮擋的像素的信息。在多種實(shí)施例中，元數(shù)據(jù)還可以包括附加的信息，包括(但不限于)諸如置信度圖、邊緣圖以及缺失像素圖的輔助圖，這些圖可以在編碼的圖像的后處理期間用于提高利用光場(chǎng)圖像數(shù)據(jù)文件呈現(xiàn)的圖像的質(zhì)量。

在許多實(shí)施例中，光場(chǎng)圖像文件與jpeg文件互換格式(jfif)兼容。合成的圖像作為jpeg位流編碼并且存儲(chǔ)在文件中。然后，附帶的深度圖、被遮擋的像素和/或包括(但不限于)輔助圖的任何適當(dāng)?shù)母郊有畔⒆鳛樵獢?shù)據(jù)利用標(biāo)識(shí)元數(shù)據(jù)的應(yīng)用標(biāo)記存儲(chǔ)在jfif文件中。傳統(tǒng)的呈現(xiàn)設(shè)備可以通過(guò)解碼jpeg位流來(lái)僅顯示合成的圖像。根據(jù)本發(fā)明實(shí)施例的呈現(xiàn)設(shè)備可以利用深度圖和/或任何可用的輔助圖對(duì)解碼后的jpeg位流執(zhí)行附加的后處理。在許多實(shí)施例中，元數(shù)據(jù)中所包括的圖還可以利用無(wú)損jpeg編碼壓縮并利用jpeg解碼器解碼。雖然以下大部分討論都提及jfif和jpeg標(biāo)準(zhǔn)，但是這些標(biāo)準(zhǔn)僅僅是作為例子來(lái)討論的并且應(yīng)當(dāng)認(rèn)識(shí)到類似的技術(shù)可以用于把得自用于合成編碼后的圖像的光場(chǎng)圖像數(shù)據(jù)的元數(shù)據(jù)嵌入到各種標(biāo)準(zhǔn)文件格式中，其中合成的圖像和/或圖是利用基于各種標(biāo)準(zhǔn)的圖像編碼處理中的任一種來(lái)編碼的。

通過(guò)發(fā)送包括編碼后的圖像以及描述編碼后的圖像的元數(shù)據(jù)的光場(chǎng)圖像文件，呈現(xiàn)設(shè)備(即，配置為生成利用光場(chǎng)圖像文件中的信息呈現(xiàn)的圖像的設(shè)備)可以利用文件中的信息呈現(xiàn)新的圖像，而不需要對(duì)原始的光場(chǎng)圖像數(shù)據(jù)執(zhí)行超分辨率處理。以這種方式，發(fā)送到呈現(xiàn)設(shè)備的數(shù)據(jù)量以及呈現(xiàn)圖像的計(jì)算復(fù)雜性降低了。在幾個(gè)實(shí)施例中，呈現(xiàn)設(shè)備配置為執(zhí)行包括(但不限于)基于由用戶指定的焦平面重新聚焦編碼后的圖像、合成來(lái)自不同視點(diǎn)的圖像并且生成立體圖像對(duì)的處理。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的光場(chǎng)圖像數(shù)據(jù)的捕捉以及光場(chǎng)圖像文件的編碼和解碼。

捕捉光場(chǎng)圖像數(shù)據(jù)

光場(chǎng)，常常定義為特征化來(lái)自場(chǎng)景中所有點(diǎn)所有方向的光的4d功能，可以被解釋為場(chǎng)景的兩維(2d)圖像的2d集合。陣列照相機(jī)，諸如在venkataraman等人的題為“capturingandprocessingofimagesusingmonolithiccameraarraywithheterogeneousimagers”的美國(guó)專利申請(qǐng)序列號(hào)no.12/935,504中所描述的那些，可以用于捕捉光場(chǎng)圖像。在多個(gè)實(shí)施例中，諸如在lelescu等人的題為“systemsandmethodsforsynthesizinghighresolutionimagesusingsuper-resolutionprocesses”的美國(guó)專利申請(qǐng)序列號(hào)no.12/967,807中所描述的那些的超分辨率處理用于從由陣列照相機(jī)捕捉到的光場(chǎng)中的較低分辨率的圖像合成較高分辨率的2d圖像或者較高分辨率2d圖像的立體對(duì)。術(shù)語(yǔ)高或較高分辨率和低或較低分辨率在這里是在相對(duì)的意義上使用的，而不是要指示由陣列照相機(jī)捕捉的圖像的具體分辨率。美國(guó)專利申請(qǐng)12/935,504和美國(guó)專利申請(qǐng)序列號(hào)no.12/967,807的全部公開(kāi)內(nèi)容通過(guò)引用結(jié)合于此。

所捕捉到的光場(chǎng)中的每個(gè)兩維(2d)圖像都是來(lái)自陣列照相機(jī)中一個(gè)照相機(jī)的視點(diǎn)的。利用超分辨率處理合成的高分辨率圖像是從可以被稱為參考視點(diǎn)的一具體視點(diǎn)合成的。該參考視點(diǎn)可以來(lái)自照相機(jī)陣列中的一個(gè)照相機(jī)的視點(diǎn)。作為替代，參考視點(diǎn)可以是任意的虛擬視點(diǎn)。

由于每個(gè)照相機(jī)的不同視點(diǎn)，視差導(dǎo)致該場(chǎng)景的圖像中前景對(duì)象的位置的變化。用于執(zhí)行視差檢測(cè)的處理在venkataraman等人的題為“systemsandmethodsforparallaxdetectionandcorrectioninimagescapturedusingarraycameras”的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)no.61/691,666中討論，該申請(qǐng)的全部公開(kāi)內(nèi)容通過(guò)引用結(jié)合與此。如在美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)no.61/691,666中所公開(kāi)的，來(lái)自參考視點(diǎn)的深度圖可以通過(guò)確定光場(chǎng)中的圖像中的像素之間由于視差造成的差異來(lái)生成。深度圖指示場(chǎng)景對(duì)象的表面離參考視點(diǎn)的距離。在多個(gè)實(shí)施例中，生成深度圖的計(jì)算復(fù)雜度是通過(guò)生成初始低分辨率深度圖，然后在期望附加深度信息的區(qū)域(諸如(但不限于)涉及深度過(guò)渡的區(qū)域和/或包含在光場(chǎng)中一個(gè)或多個(gè)圖像中被遮擋的像素的區(qū)域)中增加深度圖的分辨率來(lái)減小的。

在超分辨率處理期間，深度圖可以按多種方式來(lái)使用。美國(guó)專利申請(qǐng)序列號(hào)no.12/967,807描述了深度圖如何可以在超分辨率處理期間用于動(dòng)態(tài)地重新聚焦合成的圖像，以模糊合成的圖像，使得不在焦平面上的場(chǎng)景部分看起來(lái)是焦點(diǎn)為對(duì)準(zhǔn)的。美國(guó)專利申請(qǐng)序列號(hào)no.12/967,807還描述了深度圖如何可以在超分辨率處理期間用于生成在3d應(yīng)用中使用的立體較高分辨率圖像對(duì)。深度圖還可以用于從一個(gè)或多個(gè)虛擬視點(diǎn)合成高分辨率圖像。以這種方式，呈現(xiàn)設(shè)備可以模擬運(yùn)動(dòng)視差和滑動(dòng)變焦(dollyzoom)(即，在參考視點(diǎn)前面或后面的虛擬視點(diǎn))。除了在超分辨率處理期間使用深度圖，深度圖還可以在多種后處理過(guò)程中使用，以便在不執(zhí)行超分辨率處理的情況下實(shí)現(xiàn)包括(但不限于)動(dòng)態(tài)重新聚焦、立體對(duì)生成以及虛擬視點(diǎn)生成的效果。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的由陣列照相機(jī)捕捉的光場(chǎng)圖像數(shù)據(jù)、光場(chǎng)圖像數(shù)據(jù)在光場(chǎng)圖像文件中的存儲(chǔ)以及利用光場(chǎng)圖像文件對(duì)圖像的呈現(xiàn)。

陣列照相機(jī)體系架構(gòu)

根據(jù)本發(fā)明實(shí)施例的陣列照相機(jī)配置為使得陣列照相機(jī)軟件可以控制光場(chǎng)圖像數(shù)據(jù)的捕捉并且可以把光場(chǎng)圖像數(shù)據(jù)捕捉到文件中，該文件可以用于在各種適當(dāng)配置的呈現(xiàn)設(shè)備中的任一種上呈現(xiàn)一個(gè)或多個(gè)圖像。根據(jù)本發(fā)明實(shí)施例的、包括成像器陣列的陣列照相機(jī)在圖1中被圖示。陣列照相機(jī)100包括具有焦平面104的陣列并且配置為與處理器108通信的傳感器102。處理器還配置為與一種或多種不同類型的存儲(chǔ)器110通信，存儲(chǔ)器可以用于存儲(chǔ)圖像數(shù)據(jù)和/或包含用于把處理器配置為執(zhí)行包括(但不限于)以下所述各種處理的處理的機(jī)器可讀指令。陣列照相機(jī)100還包括可以由處理器108用于向用戶呈現(xiàn)用戶界面并且顯示利用光場(chǎng)圖像數(shù)據(jù)呈現(xiàn)的圖像的顯示器112。雖然處理器被圖示為單個(gè)處理器，但是根據(jù)本發(fā)明實(shí)施例的陣列照相機(jī)可以利用包括(但不限于)圖形處理單元(gpu)的單個(gè)處理器或多個(gè)處理器。

在所圖示的實(shí)施例中，處理器接收由傳感器生成的圖像數(shù)據(jù)并且從該圖像數(shù)據(jù)重構(gòu)由傳感器捕捉的光場(chǎng)。處理器可以按各種不同方式中的任一種操縱光場(chǎng)，包括(但不限于)確定光場(chǎng)中像素的深度和可見(jiàn)性并且從光場(chǎng)的圖像數(shù)據(jù)合成較高分辨率的2d圖像。包括多個(gè)焦平面的傳感器在pain等人的題為“architecturesforsystemonchiparraycameras”的美國(guó)專利申請(qǐng)序列號(hào)no.13/106,797中討論，該申請(qǐng)的全部公開(kāi)內(nèi)容通過(guò)引用結(jié)合于此。

在所圖示的實(shí)施例中，焦平面配置在5×5的陣列中。傳感器上的每個(gè)焦平面104能夠捕捉場(chǎng)景的圖像。在焦平面中使用的傳感器元件可以是個(gè)體光感測(cè)元件，諸如，但不限于，傳統(tǒng)的cis(cmos圖像傳感器)像素、ccd(電荷耦合器件)像素、高動(dòng)態(tài)范圍傳感器元件、多光譜傳感器元件和/或配置為生成指示入射到結(jié)構(gòu)上的光的電信號(hào)的任何其它結(jié)構(gòu)。在許多實(shí)施例中，每個(gè)焦平面的傳感器元件具有相似的物理性質(zhì)并且經(jīng)相同的光通道和濾色鏡(在存在的情況下)接收光。在其它實(shí)施例中，傳感器元件具有不同的特性，并且在許多情況下，傳感器元件的特性與應(yīng)用到每個(gè)傳感器元件的濾色鏡關(guān)聯(lián)。

在許多實(shí)施例中，圖像的陣列(即光場(chǎng))是利用由傳感器中的焦平面捕捉到的圖像數(shù)據(jù)創(chuàng)建的。如以上所指出的，根據(jù)本發(fā)明許多實(shí)施例的處理器108利用適當(dāng)?shù)能浖渲脼槿〉霉鈭?chǎng)內(nèi)的圖像數(shù)據(jù)并且合成一個(gè)或多個(gè)高分辨率圖像。在幾個(gè)實(shí)施例中，高分辨率圖像是根據(jù)參考視點(diǎn)合成的，這通常是傳感器102中參考焦平面104的視點(diǎn)。在許多實(shí)施例中，處理器能夠根據(jù)虛擬視點(diǎn)合成圖像，其中虛擬視點(diǎn)不對(duì)應(yīng)于傳感器102中任一個(gè)焦平面104的視點(diǎn)。除非捕捉到的場(chǎng)景中所有對(duì)象離陣列照相機(jī)都有顯著的距離，否則光場(chǎng)中的圖像將包括由于用于捕捉圖像的焦平面的不同視場(chǎng)造成的視差。在執(zhí)行根據(jù)本發(fā)明實(shí)施例的超分辨率處理時(shí)用于檢測(cè)和校正視差的處理在美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)no.61/691,666(以上已通過(guò)引用而結(jié)合)中討論。檢測(cè)到的視差可以用于生成深度圖。高分辨率圖像和深度圖可以被編碼并存儲(chǔ)在存儲(chǔ)器110中的光場(chǎng)圖像文件中。處理器108可以使用光場(chǎng)圖像文件來(lái)呈現(xiàn)一個(gè)或多個(gè)高分辨率圖像。處理器108還可以協(xié)調(diào)與其它設(shè)備對(duì)光場(chǎng)圖像文件的共享(例如，經(jīng)網(wǎng)絡(luò)連接)，這些其它設(shè)備可以使用光場(chǎng)圖像文件來(lái)呈現(xiàn)一個(gè)或多個(gè)高分辨率圖像。

雖然在圖1中圖示了具體陣列照相機(jī)體系架構(gòu)，但是，根據(jù)本發(fā)明的實(shí)施例，替代體系架構(gòu)也可以使用。以下討論根據(jù)本發(fā)明實(shí)施例的用于編碼要存儲(chǔ)在電子文件中的高分辨率圖像和深度圖的系統(tǒng)及方法。

捕捉并存儲(chǔ)光場(chǎng)圖像數(shù)據(jù)

根據(jù)本發(fā)明許多實(shí)施例的用于捕捉和存儲(chǔ)光場(chǎng)圖像數(shù)據(jù)的處理涉及捕捉光場(chǎng)圖像數(shù)據(jù)、從參考視點(diǎn)生成深度圖并且使用光場(chǎng)圖像數(shù)據(jù)和深度圖來(lái)從該參考視點(diǎn)合成圖像。然后，合成的圖像可以被壓縮，以供存儲(chǔ)。深度圖和在后處理中可以使用的附加數(shù)據(jù)也可以編碼為元數(shù)據(jù)，該元數(shù)據(jù)可以與編碼后的圖像一起存儲(chǔ)在相同的容器文件中。

根據(jù)本發(fā)明實(shí)施例的用于捕捉和存儲(chǔ)光場(chǎng)圖像數(shù)據(jù)的處理在圖2中圖示。處理200包括捕捉(202)光場(chǎng)圖像數(shù)據(jù)。在幾個(gè)實(shí)施例中，光場(chǎng)圖像數(shù)據(jù)是利用與上述陣列照相機(jī)相似的陣列照相機(jī)捕捉的。在其它實(shí)施例中，各種圖像捕捉設(shè)備中的任一種可以用于捕捉光場(chǎng)圖像數(shù)據(jù)。光場(chǎng)圖像數(shù)據(jù)用于生成(204)深度圖。深度圖可以利用各種技術(shù)中的任一種生成，包括(但不限于)利用在美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)no.61/691,666或venkatarman等人的題為“systemsandmethodsfordeterminingdepthfrommultipleviewsofascenethatincludealiasingusinghypothesizedfusion”的美國(guó)專利申請(qǐng)序列號(hào)no.13/623,091中所公開(kāi)的任何處理。美國(guó)專利no.13/623,091的全部公開(kāi)內(nèi)容通過(guò)引用結(jié)合與此。

光場(chǎng)圖像數(shù)據(jù)和深度圖可以用于從具體視點(diǎn)合成(206)圖像。在許多實(shí)施例中，光場(chǎng)圖像數(shù)據(jù)包括用于利用超分辨率處理合成較高分辨率圖像的多個(gè)低分辨率圖像。在多個(gè)實(shí)施例中，諸如(但不限于)美國(guó)專利申請(qǐng)序列號(hào)no.12/967,807中所公開(kāi)的任意超分辨率處理的處理可以用于從參考視點(diǎn)合成較高分辨率的圖像。

為了能夠在沒(méi)有原始光場(chǎng)圖像數(shù)據(jù)的情況下執(zhí)行后處理以修改合成的圖像，元數(shù)據(jù)可以從光場(chǎng)圖像數(shù)據(jù)、合成的圖像和/或深度圖生成(208)。元數(shù)據(jù)數(shù)據(jù)可以包括在光場(chǎng)圖像文件中并且在合成的圖像的后處理期間用于執(zhí)行包括(但不限于)基于用戶指定的焦平面重新聚焦編碼后的圖像以及從不同視點(diǎn)合成一個(gè)或多個(gè)圖像的處理。在多個(gè)實(shí)施例中，輔助數(shù)據(jù)包括(但不限于)光場(chǎng)圖像數(shù)據(jù)中從用于從光場(chǎng)圖像數(shù)據(jù)合成圖像的參考視點(diǎn)被遮擋的像素，和包括(但不限于)置信度圖、邊緣圖和/或缺失像素圖的一個(gè)或多個(gè)輔助圖。格式化為圖或?qū)拥妮o助數(shù)據(jù)提供了與合成的圖像中像素位置對(duì)應(yīng)的信息。置信度圖在深度圖生成期間產(chǎn)生并且反映用于特定像素的深度值的可靠性。這種信息可以用于在圖像的區(qū)域中應(yīng)用不同的濾波器并且提高所呈現(xiàn)的圖像的圖像質(zhì)量。邊緣圖定義哪些像素是邊緣像素，這使得能夠應(yīng)用精煉邊緣的濾波器(例如，后期銳化)。缺失像素圖代表通過(guò)相鄰像素的內(nèi)插而計(jì)算出的像素并且使得能夠選擇后處理濾波器來(lái)提高圖像質(zhì)量。如可以很容易認(rèn)識(shí)到的，所生成的具體元數(shù)據(jù)取決于圖像數(shù)據(jù)文件支持的后處理。在多個(gè)實(shí)施例中，沒(méi)有輔助數(shù)據(jù)包括在圖像數(shù)據(jù)文件中。

為了生成圖像數(shù)據(jù)文件，編碼(210)合成的圖像。編碼通常涉及壓縮合成的圖像并且可以涉及合成的圖像的無(wú)損或有損壓縮。在許多實(shí)施例中，深度圖和任何輔助數(shù)據(jù)都作為元數(shù)據(jù)寫(xiě)(212)到具有編碼后的圖像的文件，以生成光場(chǎng)圖像數(shù)據(jù)文件。在多個(gè)實(shí)施例中，深度圖和/或輔助圖被編碼。在許多實(shí)施例中，編碼涉及無(wú)損壓縮。

雖然以上討論了用于編碼要存儲(chǔ)在光場(chǎng)圖像文件中的光場(chǎng)圖像數(shù)據(jù)的具體處理，但是各種技術(shù)中的任一種都可以用于處理光場(chǎng)圖像數(shù)據(jù)并且把結(jié)果存儲(chǔ)在圖像文件中，包括但不限于編碼由陣列照相機(jī)捕捉到的低分辨率圖像和可以在超分辨率處理中使用的關(guān)于陣列照相機(jī)的校準(zhǔn)信息的處理。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的光場(chǎng)圖像數(shù)據(jù)在jfif文件中的存儲(chǔ)。

圖像數(shù)據(jù)格式

在幾個(gè)實(shí)施例中，合成的圖像的編碼以及用于創(chuàng)建光場(chǎng)圖像文件的容器文件格式基于包括但不限于用于把靜止圖像編碼為位流的jpeg標(biāo)準(zhǔn)(iso/iec10918-1)和jfif標(biāo)準(zhǔn)(iso/iec10918-5)的標(biāo)準(zhǔn)。通過(guò)利用這些標(biāo)準(zhǔn)，合成的圖像可以由配置為支持包含在jfif文件中的jpeg圖像的呈現(xiàn)的任何呈現(xiàn)設(shè)備來(lái)呈現(xiàn)。在許多實(shí)施例中，關(guān)于合成的圖像的附加數(shù)據(jù)，諸如(但不限于)可以在合成的圖像的后處理中使用的深度圖和附加數(shù)據(jù)，可以作為與應(yīng)用標(biāo)記關(guān)聯(lián)的元數(shù)據(jù)存儲(chǔ)在jfif文件中。傳統(tǒng)的呈現(xiàn)設(shè)備可以簡(jiǎn)單地跳過(guò)包含這種元數(shù)據(jù)的應(yīng)用標(biāo)記。根據(jù)本發(fā)明許多實(shí)施例的呈現(xiàn)設(shè)備可以解碼該元數(shù)據(jù)并且在各種后處理過(guò)程中的任一種中使用該元數(shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例的用于根據(jù)jpeg規(guī)格編碼利用光場(chǎng)圖像數(shù)據(jù)合成的圖像并且在jfif文件中包括編碼后的圖像和可以在圖像的后處理中使用的元數(shù)據(jù)的處理在圖3中圖示。處理300包括根據(jù)jpeg標(biāo)準(zhǔn)編碼(302)從光場(chǎng)圖像數(shù)據(jù)合成的圖像。圖像數(shù)據(jù)寫(xiě)(304)到j(luò)fif文件。用于合成的圖像的深度圖被壓縮(306)并且壓縮后的深度圖和任何附加的輔助數(shù)據(jù)作為元數(shù)據(jù)寫(xiě)(308)到包含編碼后的圖像的jfif文件的應(yīng)用標(biāo)記段。在輔助數(shù)據(jù)包括圖的情況下，圖也可以通過(guò)根據(jù)jpeg標(biāo)準(zhǔn)編碼圖來(lái)壓縮。在這個(gè)時(shí)候，以利用在光場(chǎng)圖像數(shù)據(jù)中捕捉到的附加信息來(lái)合成高分辨率圖像(而不需要對(duì)底層的光場(chǎng)圖像數(shù)據(jù)執(zhí)行超分辨率處理)的方式，jfif文件包含編碼后的圖像和可以用于對(duì)編碼后的圖像執(zhí)行后處理的元數(shù)據(jù)。

雖然以上討論了用于在jfif文件中存儲(chǔ)光場(chǎng)圖像數(shù)據(jù)的具體處理，但是，根據(jù)本發(fā)明的實(shí)施例，各種處理中的任一種都可以在適合具體應(yīng)用的需求的時(shí)候用于編碼合成的圖像和得自光場(chǎng)圖像數(shù)據(jù)、用于在jfif文件中合成編碼后的圖像的附加元數(shù)據(jù)。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的要插入到j(luò)fif文件中的合成的圖像和元數(shù)據(jù)的編碼。雖然以下許多討論涉及jfif文件，但是合成的圖像和元數(shù)據(jù)可以為了包括在光場(chǎng)圖像文件中而利用各種基于專用或標(biāo)準(zhǔn)的編碼技術(shù)中任一種和/或利用各種基于專用或標(biāo)準(zhǔn)的文件格式中任一種來(lái)編碼。

編碼從光場(chǎng)圖像數(shù)據(jù)合成的圖像

根據(jù)本發(fā)明的實(shí)施例，利用超分辨率處理從光場(chǎng)圖像數(shù)據(jù)合成的圖像可以根據(jù)jpeg標(biāo)準(zhǔn)編碼，用于包括在光場(chǎng)圖像文件中。jpeg標(biāo)準(zhǔn)是有損壓縮標(biāo)準(zhǔn)。但是，信息損失通常不影響對(duì)象的邊緣。因此，圖像編碼期間信息的損失不影響基于合成的圖像生成的圖的準(zhǔn)確性(與編碼的合成圖像相反)。遵循jfif標(biāo)準(zhǔn)的文件中所包含的圖像中的像素通常編碼為ycbcr值。許多陣列照相機(jī)都合成圖像，其中每個(gè)像素按照紅、綠和藍(lán)強(qiáng)度值來(lái)表示。在幾個(gè)實(shí)施例中，編碼合成的圖像的處理涉及在編碼之前把圖像的像素從rgb域映射到y(tǒng)cbcr域。在其它實(shí)施例中，在文件中使用在rgb域中編碼圖像的機(jī)制。通常，在ycbcr域中編碼提供更好的壓縮率，而在rgb域中編碼提供更高的解碼的圖像質(zhì)量。

存儲(chǔ)從光場(chǎng)圖像數(shù)據(jù)得出的附加元數(shù)據(jù)

jfif標(biāo)準(zhǔn)不指定用于存儲(chǔ)由陣列照相機(jī)生成的深度圖或輔助數(shù)據(jù)的格式。但是，jfif標(biāo)準(zhǔn)提供可以用于存儲(chǔ)關(guān)于文件中所包含的編碼后的圖像的元數(shù)據(jù)的十六個(gè)應(yīng)用標(biāo)記。在多個(gè)實(shí)施例中，jfif文件的一個(gè)或多個(gè)應(yīng)用標(biāo)記用于存儲(chǔ)可以在文件中所包含的編碼后的圖像的后處理中使用的編碼后的深度圖和/或一個(gè)或多個(gè)輔助圖。

根據(jù)本發(fā)明實(shí)施例的可以用于存儲(chǔ)深度圖、個(gè)體照相機(jī)遮擋數(shù)據(jù)以及輔助圖數(shù)據(jù)的jfif應(yīng)用標(biāo)記段在圖4中圖示。app9應(yīng)用標(biāo)記段400使用唯一地標(biāo)識(shí)出應(yīng)用標(biāo)記段包含描述利用光場(chǎng)圖像數(shù)據(jù)合成的圖像的元數(shù)據(jù)的格式標(biāo)識(shí)符402。在多個(gè)實(shí)施例中，該標(biāo)識(shí)符被稱為“dz格式標(biāo)識(shí)符”402并且表示為以零終止的字串“pidz0”。

該應(yīng)用標(biāo)記段包括指示為“dz頭”的頭404，它提供包含在該應(yīng)用標(biāo)記段中的元數(shù)據(jù)的描述。在所圖示的實(shí)施例中，“dz頭”404包括指示“dz頭”中的數(shù)據(jù)是大端序還是小端序的dz端序字段?！癲z頭”404還包括“dz選擇描述符”。

“dz選擇描述符”的實(shí)施例在圖5中圖示，它包括四個(gè)字節(jié)。前兩個(gè)字節(jié)(即，字節(jié)0和1)包含關(guān)于描述存在的編碼后的圖像的元數(shù)據(jù)(見(jiàn)圖6)和不同元數(shù)據(jù)被壓縮的方式(見(jiàn)圖7)的信息。在所圖示的實(shí)施例中，被支持的元數(shù)據(jù)的類型是深度圖、被遮擋的像素?cái)?shù)據(jù)、虛擬視點(diǎn)數(shù)據(jù)、缺失像素圖、常規(guī)邊緣圖、輪廓邊緣圖和/或置信度圖。在其它實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，描述從用于合成圖像的光場(chǎng)圖像數(shù)據(jù)獲得的編碼后的圖像的多種元數(shù)據(jù)中任一種都可以包括在jfif文件中所包含的元數(shù)據(jù)中。在許多情況下，描述編碼后的圖像的元數(shù)據(jù)可以包括可以被認(rèn)為是可以利用jpeg編碼來(lái)編碼的單色圖像的圖。在多個(gè)實(shí)施例中，圖可以利用無(wú)損jpegls編碼來(lái)壓縮。在幾個(gè)實(shí)施例中，圖可以利用有損jpeg編碼來(lái)壓縮。利用jpeg編碼來(lái)壓縮圖減小了圖的尺寸并且使得呈現(xiàn)設(shè)備能夠充分利用jpeg解碼器來(lái)既解碼jfif文件中所包含的圖像又解碼描述編碼后的圖像的圖?！癲z選擇描述符”的第三個(gè)字節(jié)(即，字節(jié)2)指示在應(yīng)用標(biāo)記段中所包含的描述編碼后的圖像的元數(shù)據(jù)的集合的個(gè)數(shù)，并且第四個(gè)字節(jié)保留。雖然描述應(yīng)用標(biāo)記段中所包含的元數(shù)據(jù)的頭404的具體實(shí)現(xiàn)方式在圖4-7中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，在適合應(yīng)用的需求的時(shí)候，各種實(shí)現(xiàn)方式中的任一種都可以用于標(biāo)識(shí)光場(chǎng)圖像文件中所包含的元數(shù)據(jù)中存在的、描述合成的圖像的圖。

深度圖

回過(guò)頭來(lái)參考圖4，應(yīng)用標(biāo)記段還包括描述應(yīng)用標(biāo)記段中所包括的深度圖416的“深度圖頭”406。“深度圖頭”406包括對(duì)“深度圖頭”中所包括的“深度圖屬性”410的大小的指示、“深度圖屬性”410以及“深度圖描述符”412。如以上所指出的，深度圖416可以被認(rèn)為是單色圖像，而且無(wú)損或有損jpeg編碼可以用于壓縮jfif文件中所包括的“深度圖數(shù)據(jù)”。

根據(jù)本發(fā)明實(shí)施例的“深度圖屬性”表在圖8中圖示并且包括關(guān)于深度圖應(yīng)當(dāng)用于呈現(xiàn)編碼后的圖像的方式的信息。在所圖示的實(shí)施例中，“深度圖屬性”表中所包含的信息包括在呈現(xiàn)編碼后的圖像時(shí)使用的焦平面和合成孔徑的f#。雖然關(guān)于深度圖可以用于呈現(xiàn)編碼后的圖像的方式的具體信息在圖8中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，適合具體應(yīng)用的需求的各種信息的任一種都可以使用。

根據(jù)本發(fā)明一個(gè)實(shí)施例的“深度圖描述符”在圖9中圖示并且包括描述深度圖的元數(shù)據(jù)。在所圖示的實(shí)施例中，“深度圖描述符”包括以零終止的標(biāo)識(shí)符字串“pidzdh0”和版本信息。在其它實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，適合特定應(yīng)用的具體需求的各種信息的任一種都可以使用。

jfif應(yīng)用標(biāo)記段被限定到65533個(gè)字節(jié)。但是，應(yīng)用標(biāo)記可以在jfif文件中被使用多次。因此，根據(jù)本發(fā)明許多實(shí)施例的深度圖可以跨多個(gè)app9應(yīng)用標(biāo)記段。根據(jù)本發(fā)明的實(shí)施例的深度圖數(shù)據(jù)在jfif文件中應(yīng)用標(biāo)記段中存儲(chǔ)的方式在圖10中圖示。在所圖示的實(shí)施例中，深度圖數(shù)據(jù)包含在利用“pidzdd0”零終止字串唯一地標(biāo)識(shí)的描述符中。該描述符還包括描述符的長(zhǎng)度和深度圖數(shù)據(jù)。

雖然深度圖和在jfif文件的應(yīng)用標(biāo)記段中描述深度圖的頭的具體實(shí)現(xiàn)方式在圖4、8、9和10中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，在適合應(yīng)用需求的時(shí)候，各種實(shí)現(xiàn)方式中的任一種都可以用于在jfif文件中包括描述編碼后的圖像的深度圖。

遮擋數(shù)據(jù)

回過(guò)頭來(lái)參考圖4，應(yīng)用標(biāo)記段還包括“照相機(jī)陣列頭”418，它描述捕捉用于合成在光場(chǎng)圖像文件中所包含的圖像的光場(chǎng)圖像數(shù)據(jù)的陣列照相機(jī)中個(gè)體照相機(jī)的遮擋數(shù)據(jù)428。遮擋數(shù)據(jù)在各種后處理過(guò)程中會(huì)是有用的，包括(但不限于)涉及修改編碼后的圖像的視點(diǎn)的處理。“照相機(jī)陣列頭”418包括對(duì)“照相機(jī)陣列頭”中所包括的“照相機(jī)陣列通用屬性”表422的大小的指示420、“照相機(jī)陣列通用屬性”表422以及“照相機(jī)陣列描述符”424。

根據(jù)本發(fā)明實(shí)施例的“照相機(jī)陣列通用屬性”表在圖11中圖示并且包括描述用于捕捉光場(chǎng)圖像數(shù)據(jù)的照相機(jī)陣列的照相機(jī)個(gè)數(shù)和維度的信息，其中光場(chǎng)圖像數(shù)據(jù)用于合成在jfif文件中編碼后的圖像。此外，“照相機(jī)陣列通用屬性”表還可以指示陣列中的參考照相機(jī)位置和/或陣列中的虛擬觀看位置?！罢障鄼C(jī)陣列通用屬性”表還提供關(guān)于陣列中要在jfif文件中為其提供遮擋數(shù)據(jù)的照相機(jī)的個(gè)數(shù)的信息。

根據(jù)本發(fā)明實(shí)施例的“照相機(jī)陣列描述符”在圖12中圖示并且包括描述jfif文件中所包含的個(gè)體照相機(jī)遮擋數(shù)據(jù)的元數(shù)據(jù)。在所圖示的實(shí)施例中，“照相機(jī)陣列描述符”包括以零終止的標(biāo)識(shí)符字串“pidzah0”和版本信息。在其它實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，適合特定應(yīng)用的具體需求的各種信息中的任一種都可以使用。

在許多實(shí)施例中，遮擋數(shù)據(jù)是逐個(gè)照相機(jī)地提供的。在幾個(gè)實(shí)施例中，遮擋數(shù)據(jù)利用個(gè)體照相機(jī)描述符和關(guān)聯(lián)的遮擋數(shù)據(jù)集包括在jfif文件中。根據(jù)本發(fā)明的實(shí)施例的標(biāo)識(shí)照相機(jī)并且標(biāo)識(shí)與jfif文件中所描述的標(biāo)識(shí)出的照相機(jī)相關(guān)的被遮擋像素個(gè)數(shù)的照相機(jī)描述符在圖13中圖示。在所圖示的實(shí)施例中，該描述符是利用“pidzcd0”零終止字串標(biāo)識(shí)的。該描述符還包括可以用于標(biāo)識(shí)陣列照相機(jī)中捕捉用于合成jfif文件中所包含的編碼后的圖像的光場(chǎng)圖像數(shù)據(jù)的照相機(jī)的照相機(jī)編號(hào)。此外，該描述符還包括jfif文件中所描述的被遮擋像素個(gè)數(shù)以及描述被遮擋像素的數(shù)據(jù)的長(zhǎng)度(以字節(jié)為單位)。根據(jù)本發(fā)明的實(shí)施例的可以描述被遮擋的像素?cái)?shù)據(jù)的方式在圖14中圖示。相同的描述符“pdizcd0”用于標(biāo)識(shí)被遮擋的像素?cái)?shù)據(jù)，并且除了被遮擋的像素?cái)?shù)據(jù)，該描述符還包括段中所包含的被遮擋數(shù)據(jù)的像素個(gè)數(shù)，以字節(jié)為單位的數(shù)據(jù)的長(zhǎng)度，以及到下一個(gè)標(biāo)記的偏移量。由于對(duì)應(yīng)用標(biāo)記段數(shù)據(jù)不超過(guò)65533個(gè)字節(jié)的約束，根據(jù)本發(fā)明的實(shí)施例，附加信息使得呈現(xiàn)設(shè)備能夠跨jfif文件中的多個(gè)app9應(yīng)用標(biāo)記段重構(gòu)被遮擋的像素?cái)?shù)據(jù)。

根據(jù)本發(fā)明的實(shí)施例的描述可以插在jfif文件中的被遮擋像素的表在圖15中圖示。該表包括被遮擋的像素的深度、被遮擋的像素的像素顏色以及像素坐標(biāo)。在所圖示的實(shí)施例中，像素顏色圖示為在rgb域中。在其它實(shí)施例中，像素顏色可以在包括ycbcr域的任意域中表示。

雖然用于在jfif文件的應(yīng)用標(biāo)記段中存儲(chǔ)描述被遮擋的像素深度的信息的具體實(shí)現(xiàn)方式在圖4、13、14和15中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，在適合應(yīng)用需求的時(shí)候，各種實(shí)現(xiàn)方式中的任一種都可以用于在jfif文件中包括被遮擋的像素的信息。

輔助圖

回過(guò)頭來(lái)參考圖4，根據(jù)本發(fā)明的實(shí)施例，各種輔助圖中的任一種都可以包括在jfif文件中的應(yīng)用標(biāo)記段中。輔助圖的總數(shù)和輔助圖的類型可以在應(yīng)用標(biāo)記段中指示。每個(gè)輔助圖可以利用“輔助圖描述符”432和“輔助圖數(shù)據(jù)”434來(lái)表示。在所圖示的實(shí)施例中，“輔助圖描述符”432包括在jfif文件中應(yīng)用標(biāo)記段中的“輔助圖頭”430中。

根據(jù)本發(fā)明的實(shí)施例的描述光場(chǎng)圖像文件中所包含的輔助圖的“輔助圖描述符”在圖16中圖示?！拜o助圖描述符”包括是“pidzam0”零終止字串的標(biāo)識(shí)符，以及指定輔助圖類型和圖中每像素的位數(shù)的信息。如以上所指出的，根據(jù)本發(fā)明的實(shí)施例，從用于合成編碼后的圖像的光場(chǎng)圖像數(shù)據(jù)得出的各種輔助圖中的任一種都可以包括在jfif文件中。在所圖示的實(shí)施例中，支持置信度圖、輪廓邊緣圖、常規(guī)邊緣圖和缺失像素圖。

根據(jù)本發(fā)明的實(shí)施例的存儲(chǔ)在jfif文件中的“輔助圖數(shù)據(jù)”在圖17中概念性地圖示?！拜o助圖數(shù)據(jù)”使用相同的“pdizad0”零終止字串標(biāo)識(shí)符并且除輔助圖的像素之外還包括段中所包含的輔助圖的像素個(gè)數(shù)、以字節(jié)為單位的數(shù)據(jù)的長(zhǎng)度以及到下一個(gè)標(biāo)記的偏移量。由于對(duì)應(yīng)用標(biāo)記段數(shù)據(jù)不超過(guò)65533個(gè)字節(jié)的約束，附加信息使得呈現(xiàn)設(shè)備能夠跨jfif文件中的多個(gè)app9應(yīng)用標(biāo)記段重構(gòu)描述編碼后的圖像的輔助圖。

雖然用于在jfif文件的應(yīng)用標(biāo)記段中存儲(chǔ)輔助圖的具體實(shí)現(xiàn)方式在圖4、16和17中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，在適合應(yīng)用需求的時(shí)候，各種實(shí)現(xiàn)方式中的任一種都可以用于在jfif文件中包括輔助圖信息。以下討論根據(jù)本發(fā)明的實(shí)施例的可以用于基于合成編碼后的圖像的光場(chǎng)圖像數(shù)據(jù)來(lái)提供關(guān)于編碼后的圖像的附加信息的各種輔助圖例子。

置信度圖

置信度圖可以用于提供關(guān)于在一具體像素位置的信息的相對(duì)可靠性的信息。在幾個(gè)實(shí)施例中，置信度圖表示為按照額外的(complimentary)一個(gè)位的像素圖，其代表編碼后的圖像中只在用于合成編碼后的圖像的圖像子集中可見(jiàn)的像素。在其它實(shí)施例中，利用包括(但不限于)在超分辨率處理期間確定的置信度量度或者像素在其中可見(jiàn)的圖像的個(gè)數(shù)的各種度量中的任一種，置信度圖可以使用附加的信息位來(lái)表示置信度。

邊緣圖

可以提供各種邊緣圖，包括(但不限于)常規(guī)邊緣圖和輪廓圖。常規(guī)邊緣圖是標(biāo)識(shí)在圖像中的邊緣上的像素的圖，其中邊緣是強(qiáng)度斷點(diǎn)(discontinuity)。輪廓邊緣圖是標(biāo)識(shí)邊緣上的像素的圖，其中邊緣涉及強(qiáng)度斷點(diǎn)和深度斷點(diǎn)。在幾個(gè)實(shí)施例中，每種圖都可以表示為單獨(dú)的一個(gè)位圖，或者兩個(gè)圖可以組合成包括按照兩個(gè)像素的圖的圖。位僅僅是向后處理過(guò)程發(fā)信號(hào)通知在具體位置特定類型邊緣的存在，其中后處理過(guò)程應(yīng)用包括(但不限于)各種邊緣保留和/或邊緣銳化濾波器的濾波器。

缺失像素圖

缺失像素圖指示合成的圖像中不包括來(lái)自光場(chǎng)圖像數(shù)據(jù)的像素、而是包括內(nèi)插的像素值的像素位置。在幾個(gè)實(shí)施例中，缺失像素圖可以利用按照額外的一個(gè)位的像素圖來(lái)表示。缺失像素圖使得能夠選擇后處理濾波器來(lái)提高圖像質(zhì)量。在許多實(shí)施例中，簡(jiǎn)單的插值算法可以在從光場(chǎng)圖像數(shù)據(jù)合成較高分辨率期間使用，并且缺失像素圖可以用于應(yīng)用更計(jì)算昂貴的插值處理來(lái)作為后處理過(guò)程。在其它實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，在適合具體應(yīng)用的需求的時(shí)候，缺失像素圖可以在各種不同的后處理過(guò)程中的任一種當(dāng)中使用。

利用光場(chǎng)成像文件呈現(xiàn)圖像

當(dāng)光場(chǎng)圖像數(shù)據(jù)在光場(chǎng)圖像文件中編碼時(shí)，光場(chǎng)圖像文件可以與各種呈現(xiàn)設(shè)備共享，包括但不限于照相機(jī)、移動(dòng)設(shè)備、個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)、網(wǎng)絡(luò)連接的電視機(jī)、網(wǎng)絡(luò)連接的游戲終端、網(wǎng)絡(luò)連接的媒體播放器，以及連接到因特網(wǎng)并且可以配置為顯示圖像的任何其它設(shè)備。根據(jù)本發(fā)明的實(shí)施例的用于共享光場(chǎng)圖像文件的系統(tǒng)在圖18中圖示。系統(tǒng)1800包括移動(dòng)設(shè)備1802，該設(shè)備包括配置為捕捉光場(chǎng)圖像數(shù)據(jù)并且在光場(chǎng)圖像文件中編碼光場(chǎng)圖像數(shù)據(jù)的陣列照相機(jī)。移動(dòng)設(shè)備1802還包括使得光場(chǎng)圖像文件能夠經(jīng)因特網(wǎng)1804傳送到其它呈現(xiàn)設(shè)備的網(wǎng)絡(luò)接口。在幾個(gè)實(shí)施例中，光場(chǎng)圖像文件是借助服務(wù)器系統(tǒng)1806傳送的，其中服務(wù)器系統(tǒng)1806可以存儲(chǔ)光場(chǎng)圖像文件，用于讓其它設(shè)備訪問(wèn)，或者把光場(chǎng)圖像文件中繼到其它呈現(xiàn)設(shè)備。在許多實(shí)施例中，服務(wù)器系統(tǒng)1806提供使用戶能夠修改提供給設(shè)備的圖像的呈現(xiàn)的用戶界面。在幾個(gè)實(shí)施例中，服務(wù)器系統(tǒng)1806把光場(chǎng)圖像文件提供給設(shè)備，用于呈現(xiàn)。在所圖示的實(shí)施例中，圖示了各種網(wǎng)絡(luò)連接的呈現(xiàn)設(shè)備1808，包括移動(dòng)電話和個(gè)人計(jì)算機(jī)。在其它實(shí)施例中，根據(jù)本發(fā)明的實(shí)施例，各種網(wǎng)絡(luò)連接的和/或斷開(kāi)的設(shè)備中任一種都可以利用光場(chǎng)圖像文件來(lái)呈現(xiàn)圖像。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的呈現(xiàn)設(shè)備和用于呈現(xiàn)圖像的處理。

呈現(xiàn)設(shè)備

根據(jù)本發(fā)明實(shí)施例的呈現(xiàn)設(shè)備通常包括處理器和使得能夠基于光場(chǎng)圖像數(shù)據(jù)文件呈現(xiàn)圖像的呈現(xiàn)應(yīng)用。最簡(jiǎn)單的呈現(xiàn)是讓呈現(xiàn)設(shè)備解碼包括在光場(chǎng)圖像數(shù)據(jù)文件中的編碼后的圖像。更復(fù)雜的呈現(xiàn)涉及利用光場(chǎng)圖像文件中所包含的元數(shù)據(jù)對(duì)編碼后的圖像應(yīng)用后處理，以執(zhí)行包括(但不限于)修改圖像視點(diǎn)和/或修改圖像焦平面的操縱。

根據(jù)本發(fā)明實(shí)施例的呈現(xiàn)設(shè)備在圖19中圖示。呈現(xiàn)設(shè)備1900包括處理器1902、存儲(chǔ)器1904以及可選的網(wǎng)絡(luò)接口1906。存儲(chǔ)器包含用于把微處理器配置為利用光場(chǎng)圖像文件1910呈現(xiàn)要顯示的圖像的呈現(xiàn)應(yīng)用1908。在所圖示的實(shí)施例中，光場(chǎng)圖像文件示為存儲(chǔ)在存儲(chǔ)器中。在其它實(shí)施例中，光場(chǎng)圖像文件可以存儲(chǔ)在外部存儲(chǔ)設(shè)備中。雖然具體的呈現(xiàn)設(shè)備在圖19中進(jìn)行圖示，但是，根據(jù)本發(fā)明的實(shí)施例，各種呈現(xiàn)設(shè)備中的任一種都可以使用，包括(但不限于)通常用于利用圖像文件顯示圖像的各類型的設(shè)備。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的利用光場(chǎng)圖像文件呈現(xiàn)圖像的處理。

用于利用光場(chǎng)圖像文件呈現(xiàn)圖像的處理

如以上所指出的，呈現(xiàn)光場(chǎng)圖像文件可以簡(jiǎn)單到僅僅是解碼包含在光場(chǎng)圖像文件中的編碼后的圖像，或者可以涉及利用從用于合成編碼后的圖像的相同光場(chǎng)圖像數(shù)據(jù)得出的元數(shù)據(jù)對(duì)編碼后的圖像進(jìn)行的更復(fù)雜后處理。根據(jù)本發(fā)明實(shí)施例的用于呈現(xiàn)光場(chǎng)圖像的處理在圖20中圖示。處理2000包括解析(2002)光場(chǎng)圖像文件，以定位圖像文件中所包含的編碼后的圖像。編碼后的圖像文件被解碼(2004)。如以上所指出的，圖像可以利用基于標(biāo)準(zhǔn)的編碼器來(lái)編碼，因此解碼處理可以利用呈現(xiàn)設(shè)備中基于標(biāo)準(zhǔn)的編解碼器，或者圖像可以利用專用編碼來(lái)編碼并且在呈現(xiàn)設(shè)備上提供專用解碼器來(lái)解碼圖像。當(dāng)用于呈現(xiàn)圖像的處理僅僅涉及呈現(xiàn)圖像時(shí)，解碼的圖像可以被顯示。當(dāng)用于呈現(xiàn)圖像的處理包括后處理時(shí)，圖像文件被解析(2006)，以定位文件中可以用于執(zhí)行后處理的元數(shù)據(jù)。元數(shù)據(jù)被解碼(2008)。元數(shù)據(jù)常常可以采取可以利用基于標(biāo)準(zhǔn)的圖像編碼器編碼的圖的形式，并且存在于呈現(xiàn)設(shè)備上的基于標(biāo)準(zhǔn)的解碼器可以用于解碼元數(shù)據(jù)。在其它實(shí)施例中，專用的解碼處理用于解碼元數(shù)據(jù)。然后，元數(shù)據(jù)可以用于對(duì)編碼后的圖像執(zhí)行(2010)后處理，并且圖像可以被顯示(2012)。圖像的顯示可以在本地。作為替代，圖像可以流傳輸?shù)竭h(yuǎn)程設(shè)備或者作為圖像編碼并提供給遠(yuǎn)程設(shè)備用于顯示。

雖然用于從光場(chǎng)圖像文件呈現(xiàn)圖像的具體處理參考圖20進(jìn)行討論，但是，根據(jù)本發(fā)明的實(shí)施例，適合具體應(yīng)用的需求的各種處理中任一種都可以用于利用光場(chǎng)圖像文件呈現(xiàn)圖像用于顯示。如以上所指出的，根據(jù)本發(fā)明的實(shí)施例，各種基于標(biāo)準(zhǔn)的編碼器和解碼器中的任一種都可以在光場(chǎng)圖像文件的編碼和解碼中使用。以下進(jìn)一步討論用于利用遵循jfif標(biāo)準(zhǔn)并且包括根據(jù)jpeg標(biāo)準(zhǔn)編碼的圖像和/或元數(shù)據(jù)的光場(chǎng)圖像文件呈現(xiàn)圖像的處理。

利用jfif光場(chǎng)圖像文件呈現(xiàn)圖像

充分利用所部署的jpeg解碼器的能力可以大大簡(jiǎn)化呈現(xiàn)光場(chǎng)圖像的處理。當(dāng)光場(chǎng)圖像文件遵循jfif標(biāo)準(zhǔn)并且在光場(chǎng)圖像文件中編碼的圖像和/或元數(shù)據(jù)根據(jù)jpeg標(biāo)準(zhǔn)編碼時(shí)，呈現(xiàn)應(yīng)用可以充分利用jpeg解碼器的現(xiàn)有實(shí)現(xiàn)方式來(lái)利用光場(chǎng)圖像文件呈現(xiàn)圖像。在光場(chǎng)圖像文件包括根據(jù)另一種用于圖像編碼的流行標(biāo)準(zhǔn)編碼的圖像和/或元數(shù)據(jù)的情況下，可以獲得類似的效果。

根據(jù)本發(fā)明的實(shí)施例的由呈現(xiàn)應(yīng)用配置為利用光場(chǎng)圖像文件呈現(xiàn)圖像的呈現(xiàn)設(shè)備在圖21中圖示。呈現(xiàn)設(shè)備2100包括處理器2102、存儲(chǔ)器2104，以及可以用于接收光場(chǎng)圖像文件的可選的網(wǎng)絡(luò)接口2106。在所圖示的實(shí)施例中，呈現(xiàn)設(shè)備2100的存儲(chǔ)器2104包括呈現(xiàn)應(yīng)用2108，jpeg解碼器應(yīng)用2110，以及包含根據(jù)jpeg標(biāo)準(zhǔn)編碼的至少一個(gè)圖像和/或元數(shù)據(jù)的光場(chǎng)圖像文件2112。呈現(xiàn)應(yīng)用2108把處理器配置為解析光場(chǎng)圖像文件以定位編碼后的圖像并且利用jpeg解碼器應(yīng)用2110解碼編碼后的圖像。類似地，呈現(xiàn)應(yīng)用可以把處理器配置為解析光場(chǎng)圖像文件以定位元數(shù)據(jù)并且利用jpeg解碼器解碼元數(shù)據(jù)中所包含的編碼后的圖。

雖然包括jpeg解碼器的具體呈現(xiàn)設(shè)備以上參考圖21進(jìn)行了討論，但是，根據(jù)本發(fā)明的實(shí)施例，包括基于標(biāo)準(zhǔn)的解碼器的各種呈現(xiàn)設(shè)備中的任一種都可以用于從適當(dāng)編碼的光場(chǎng)圖像文件呈現(xiàn)圖像。以下進(jìn)一步討論根據(jù)本發(fā)明實(shí)施例的用于解碼遵循jfif標(biāo)準(zhǔn)并且包含根據(jù)jpeg標(biāo)準(zhǔn)編碼的至少一個(gè)圖像和/或元數(shù)據(jù)的光場(chǎng)圖像文件的處理。

用于從jfif光場(chǎng)圖像文件呈現(xiàn)圖像的處理

用于利用遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件呈現(xiàn)圖像的處理可以利用光場(chǎng)圖像文件中的標(biāo)記來(lái)識(shí)別編碼后的圖像和元數(shù)據(jù)。元數(shù)據(jù)中的頭提供關(guān)于文件中所存在的元數(shù)據(jù)的信息并且可以提供到文件中附加元數(shù)據(jù)和/或標(biāo)記的位置的偏移量信息或指針以幫助解析文件。一旦定位適當(dāng)?shù)男畔ⅲ瑯?biāo)準(zhǔn)的jpeg解碼器實(shí)現(xiàn)方式就可以用來(lái)解碼文件中編碼后的圖像和/或圖。

根據(jù)本發(fā)明的實(shí)施例的用于利用jpeg解碼器顯示利用遵循jfif標(biāo)準(zhǔn)的光場(chǎng)圖像文件呈現(xiàn)的圖像的處理在圖22中圖示。處理2200涉及解析(2202)光場(chǎng)圖像文件以定位圖像起始(soi)標(biāo)記。soi標(biāo)記用于定位根據(jù)jpeg格式編碼的圖像文件。編碼后的圖像可以利用jpeg解碼器來(lái)解碼(2204)。當(dāng)不期望對(duì)解碼的圖像進(jìn)行后處理時(shí)，圖像可以簡(jiǎn)單地顯示。在期望對(duì)圖像進(jìn)行后處理的情況下(例如，為了改變圖像的視點(diǎn)和/或圖像的焦平面)，該處理解析(2206)光場(chǎng)圖像文件以定位適當(dāng)?shù)膽?yīng)用標(biāo)記。在所圖示的實(shí)施例中，app9標(biāo)記指示元數(shù)據(jù)在光場(chǎng)圖像文件中的存在。文件中的具體元數(shù)據(jù)可以通過(guò)解析(2206)app9中應(yīng)用標(biāo)記段中描述文件中元數(shù)據(jù)的頭來(lái)確定。在所圖示的實(shí)施例中，頭是app9應(yīng)用標(biāo)記段中的“dz頭”。元數(shù)據(jù)頭中的信息可以用于在光場(chǎng)圖像文件中定位(2208)要在后處理過(guò)程中使用的具體元數(shù)據(jù)。在元數(shù)據(jù)被編碼的情況下，元數(shù)據(jù)可以被解碼。在許多實(shí)施例中，描述光場(chǎng)圖像文件中編碼后的圖像的元數(shù)據(jù)具有提供關(guān)于光場(chǎng)圖像文件中所包含的編碼后的圖像中具體像素的信息的圖的形式，并且jpeg編碼用于壓縮這些圖。因此，jpeg解碼器可以用于解碼這些圖。解碼后的元數(shù)據(jù)可以用于對(duì)解碼后的圖像執(zhí)行(2212)后處理。然后，圖像可以被顯示(2214)。在許多實(shí)施例中，圖像顯示在本地顯示器上。在多個(gè)實(shí)施例中，圖像流傳輸?shù)竭h(yuǎn)程顯示器，或者作為圖像編碼并且轉(zhuǎn)發(fā)到遠(yuǎn)程設(shè)備用于顯示。

雖然用于顯示利用光場(chǎng)圖像文件呈現(xiàn)的圖像的具體處理以上參考圖22進(jìn)行了描述，但是，根據(jù)本發(fā)明的實(shí)施例，用于解析光場(chǎng)圖像文件并且利用jpeg解碼器解碼根據(jù)jpeg標(biāo)準(zhǔn)編碼的圖像和/或元數(shù)據(jù)的各種處理中的任一種都可以使用。以上大部分討論都提及使用從光場(chǎng)圖像數(shù)據(jù)得出并且包含在光場(chǎng)圖像文件中的元數(shù)據(jù)來(lái)對(duì)從光場(chǎng)圖像數(shù)據(jù)合成的編碼后的圖像執(zhí)行后處理過(guò)程。以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的利用使用光場(chǎng)圖像數(shù)據(jù)獲得的元數(shù)據(jù)對(duì)從光場(chǎng)圖像數(shù)據(jù)合成的圖像進(jìn)行的后處理。

利用從光場(chǎng)圖像數(shù)據(jù)得出的元數(shù)據(jù)對(duì)圖像進(jìn)行的后處理

圖像可以按各種方式從光場(chǎng)圖像數(shù)據(jù)合成。根據(jù)本發(fā)明實(shí)施例的包括在光場(chǎng)圖像文件中的元數(shù)據(jù)可以使圖像能夠根據(jù)從光場(chǎng)圖像數(shù)據(jù)合成的單個(gè)圖像來(lái)呈現(xiàn)，而不需要執(zhí)行超分辨率處理。以這種方式呈現(xiàn)圖像的優(yōu)點(diǎn)可以包括獲得最終圖像的處理不太處理器密集并且使用更少的數(shù)據(jù)來(lái)獲得最終的圖像。但是，光場(chǎng)圖像數(shù)據(jù)提供關(guān)于從多個(gè)視點(diǎn)捕捉到的場(chǎng)景的豐富信息。在許多實(shí)施例中，深度圖和光場(chǎng)圖像數(shù)據(jù)中的被遮擋的像素(即，從合成的圖像的參考視點(diǎn)不可見(jiàn)的像素)可以包括在光場(chǎng)圖像文件中，以便提供一些通常包含在光場(chǎng)圖像數(shù)據(jù)中的附加信息。當(dāng)呈現(xiàn)圖像和/或?qū)λ尸F(xiàn)的圖像應(yīng)用依賴深度的效果時(shí)，深度圖可以用于修改焦平面。深度圖和被遮擋的像素可以用于合成來(lái)自不同的視點(diǎn)的圖像。在幾個(gè)實(shí)施例中，提供可以在呈現(xiàn)備選視點(diǎn)時(shí)使用的附加圖(例如但不限于置信度圖、邊緣圖和缺失像素圖)，以改進(jìn)結(jié)果呈現(xiàn)的圖像。呈現(xiàn)來(lái)自不同視點(diǎn)的圖像的能力可以用于簡(jiǎn)單地呈現(xiàn)來(lái)自不同的視點(diǎn)的圖像。在許多實(shí)施例中，呈現(xiàn)來(lái)自不同視點(diǎn)的圖像的能力可以用于為3d觀看生成立體對(duì)。在幾個(gè)實(shí)施例中，與jain的題為“synthesizingimagesfromlightfieldsutilizingvirtualviewpoints”的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)no.61/707,691(其全部公開(kāi)內(nèi)容通過(guò)引用結(jié)合于此)中所述那些類似的處理可以用于基于呈現(xiàn)設(shè)備的運(yùn)動(dòng)來(lái)修改視點(diǎn)，以創(chuàng)建運(yùn)動(dòng)視差效果。以下進(jìn)一步討論利用基于深度的效果呈現(xiàn)圖像以及利用不同視點(diǎn)呈現(xiàn)圖像的處理。

利用基于深度的效果呈現(xiàn)圖像

根據(jù)本發(fā)明的實(shí)施例，各種基于深度的效果可以應(yīng)用到從光場(chǎng)圖像數(shù)據(jù)合成的圖像，包括(但不限于)應(yīng)用圖像的動(dòng)態(tài)重新聚焦、局部地改變圖像中的景深、選擇處于不同深度的多個(gè)焦點(diǎn)對(duì)準(zhǔn)區(qū)域，和/或應(yīng)用一個(gè)或多個(gè)與深度相關(guān)的模糊模型。根據(jù)本發(fā)明的實(shí)施例的用于對(duì)從光場(chǎng)圖像數(shù)據(jù)合成并且包含在包括深度圖的光場(chǎng)圖像文件中的圖像應(yīng)用基于深度的效果的處理在圖23中圖示。處理2300包括解碼(2302)從光場(chǎng)圖像文件中所包含的光場(chǎng)圖像數(shù)據(jù)合成的圖像。此外，從光場(chǎng)圖像數(shù)據(jù)得出的、描述合成的圖像的深度圖也從包含在光場(chǎng)圖像文件中的元數(shù)據(jù)解碼(2304)。然后，基于由深度圖指示的像素的深度，一個(gè)或多個(gè)依賴于深度的效果可以應(yīng)用(2406)到解碼后的圖像的像素。在多個(gè)實(shí)施例中，依賴于深度的效果是通過(guò)修改焦平面和/或f數(shù)(該f數(shù)在焦點(diǎn)未對(duì)準(zhǔn)區(qū)域中提供不同的景深和模糊程度)來(lái)確定的。然后，圖像可以被顯示(2308)。在許多實(shí)施例中，圖像顯示在本地顯示器上。在多個(gè)實(shí)施例中，圖像流傳輸?shù)竭h(yuǎn)程顯示器，或者作為圖像編碼并轉(zhuǎn)發(fā)到遠(yuǎn)程設(shè)備用于顯示。

雖然利用使用光場(chǎng)圖像數(shù)據(jù)獲得的深度圖對(duì)從光場(chǎng)圖像數(shù)據(jù)合成的圖像應(yīng)用依賴于深度的效果的具體處理以上參考圖23進(jìn)行了討論，但是，根據(jù)本發(fā)明的實(shí)施例，各種處理中的任一種都可以用于從光場(chǎng)圖像文件提取圖像和深度圖并且用于利用深度圖應(yīng)用一個(gè)或多個(gè)依賴于深度的效果。以下進(jìn)一步討論用于基于深度圖和關(guān)于光場(chǎng)圖像文件中所包含的被遮擋像素的信息從與光場(chǎng)圖像文件中所包含的圖像的參考視點(diǎn)不同的視點(diǎn)呈現(xiàn)圖像的處理。

利用不同的視點(diǎn)呈現(xiàn)圖像

計(jì)算成像的一個(gè)引人注目的方面是使用光場(chǎng)圖像數(shù)據(jù)合成來(lái)自不同視點(diǎn)的圖像的能力。合成來(lái)自不同視點(diǎn)的圖像的能力產(chǎn)生了感興趣的可能性，包括為3d應(yīng)用創(chuàng)建立體對(duì)以及當(dāng)用戶與圖像交互時(shí)運(yùn)動(dòng)視差的模擬。根據(jù)本發(fā)明許多實(shí)施例的光場(chǎng)圖像文件可以包括從來(lái)自參考視點(diǎn)的光場(chǎng)圖像數(shù)據(jù)合成的圖像、合成的圖像的深度圖以及關(guān)于光場(chǎng)圖像數(shù)據(jù)中的在參考視點(diǎn)中被遮擋的像素的信息。呈現(xiàn)設(shè)備可以使用關(guān)于合成的圖像中像素的深度的信息以及被遮擋的圖像的深度來(lái)確定要應(yīng)用到像素的適當(dāng)移動(dòng)，以便把它們移動(dòng)到它們從不同視點(diǎn)將出現(xiàn)的位置。從不同視點(diǎn)被遮擋的像素可以被識(shí)別，并且不同視點(diǎn)的柵格上的作為缺失像素的位置可以被識(shí)別，并且可以利用對(duì)相鄰的未被遮擋像素的內(nèi)插來(lái)執(zhí)行孔填充。在許多實(shí)施例中，從不同視點(diǎn)呈現(xiàn)的圖像的質(zhì)量可以通過(guò)提供形式為可用于精煉呈現(xiàn)處理的輔助圖的附加信息來(lái)提高。在多個(gè)實(shí)施例中，輔助圖可以包括置信度圖、邊緣圖和缺失像素圖。這些圖中每一種都可以為呈現(xiàn)處理提供關(guān)于如何基于由用戶提供的定制偏好呈現(xiàn)圖像的信息。在其它實(shí)施例中，在適合具體呈現(xiàn)處理的需求的時(shí)候，包括附加的輔助圖的各種輔助信息中的任一種都可以提供。

根據(jù)本發(fā)明的實(shí)施例的用于利用光場(chǎng)圖像文件呈現(xiàn)來(lái)自不同視點(diǎn)的圖像的處理在圖24中圖示，其中光場(chǎng)圖像文件包含從參考視點(diǎn)利用光場(chǎng)圖像數(shù)據(jù)合成的圖像、描述合成的圖像的像素的深度的深度圖以及關(guān)于被遮擋像素的信息。處理2400包括解碼(2402)包含在光場(chǎng)圖像文件中的圖像，其中圖像是從光場(chǎng)圖像數(shù)據(jù)合成的圖像。該處理還包括從光場(chǎng)圖像文件解碼(2404)深度圖，其中深度圖也是從用于合成編碼后的圖像的光場(chǎng)圖像數(shù)據(jù)獲得的。關(guān)于光場(chǎng)圖像數(shù)據(jù)中的在參考視點(diǎn)被遮擋的像素的信息也從光場(chǎng)圖像文件獲得(2405)，其中該信息包括從參考視點(diǎn)被遮擋的像素的位置和深度。在許多實(shí)施例中，輔助信息(包括指定關(guān)于編碼后的圖像中像素的附加信息的輔助圖)也包含在光場(chǎng)圖像文件中，并且在從與參考視點(diǎn)不同的視點(diǎn)呈現(xiàn)圖像時(shí)有用的輔助信息可以從光場(chǎng)圖像文件提取并解碼(2408)。利用深度圖和被遮擋的像素的深度，可以確定(2410)不同視點(diǎn)中像素位置和深度的移動(dòng)?；谶@種移動(dòng)，可以確定(2414)被遮擋的像素，并且顯示圖像。當(dāng)輔助信息可用時(shí)，輔助信息可以用于在呈現(xiàn)之前調(diào)節(jié)(2412)圖像中的像素。在許多實(shí)施例中，調(diào)節(jié)是在識(shí)別被遮擋的像素和顯示最終的圖像之前執(zhí)行的。在多個(gè)實(shí)施例中，調(diào)節(jié)是在識(shí)別出被遮擋的像素之后執(zhí)行的。

雖然用于利用使用光場(chǎng)圖像數(shù)據(jù)從參考視點(diǎn)合成的圖像、利用光場(chǎng)圖像數(shù)據(jù)獲得的深度圖以及關(guān)于光場(chǎng)圖像數(shù)據(jù)中在參考視點(diǎn)被遮擋的像素的信息呈現(xiàn)來(lái)自不同視點(diǎn)的圖像的具體處理以上參考圖24進(jìn)行了描述，但是，根據(jù)本發(fā)明的實(shí)施例，在適合具體應(yīng)用的需求的時(shí)候，各種處理中的任一種都可以用于利用光場(chǎng)圖像文件呈現(xiàn)來(lái)自不同視點(diǎn)的圖像。以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的用于呈現(xiàn)模擬不同透鏡特性的圖像的處理。

雖然以上描述包含本發(fā)明的許多具體實(shí)施例，但是這些不應(yīng)當(dāng)認(rèn)為是對(duì)本發(fā)明范圍的限制，而是作為其一種實(shí)施例的例子。因此，本發(fā)明的范圍不應(yīng)當(dāng)由所圖示的實(shí)施例而應(yīng)當(dāng)由所附權(quán)利要求及其等同物來(lái)確定。