本發(fā)明涉及用于立體深度估計(jì)的有效技術(shù)。具體地，本發(fā)明涉及使用全局最小化技術(shù)和深度內(nèi)插的立體深度估計(jì)的系統(tǒng)和方法。

背景技術(shù)：

全局最小化可以用于生成非常高質(zhì)量的深度(視差)圖。然而，這些技術(shù)可能是高度計(jì)算密集的并且可能需要大量的存儲(chǔ)器。在一些方面中，可能期望使用比這些全局最小化技術(shù)需要更少的存儲(chǔ)器和計(jì)算運(yùn)行時(shí)間的方法來(lái)生成高分辨率的、精確的深度圖。

技術(shù)實(shí)現(xiàn)要素：

在所附權(quán)利要求的范圍內(nèi)的系統(tǒng)、方法和裝置的各種實(shí)施方案均具有若干方面，其中沒(méi)有單個(gè)一個(gè)方面僅負(fù)責(zé)本文所描述的期望屬性。在不限制所附權(quán)利要求的范圍的情況下，本文描述了一些突出特征。

在附圖和下面的描述中闡述了本說(shuō)明書中描述的主題的一或多個(gè)實(shí)施方案的細(xì)節(jié)。通過(guò)說(shuō)明書、附圖和權(quán)利要求書，其它特征、方面和優(yōu)點(diǎn)將變得顯而易見(jiàn)。注意，以下附圖的相對(duì)尺寸可能不按比例繪制。

一種創(chuàng)新包括生成包含物體的深度信息的高分辨率圖像的方法。所述方法可以包括從參考第一圖像生成降低分辨率的第一圖像，從參考第二圖像生成降低分辨率的第二圖像，參考第一圖像和參考第二圖像是立體圖像對(duì)，確定所述第一降低分辨率圖像和所述第二降低分辨率圖像中的共軛點(diǎn)對(duì)的集合，生成具有所述第一降低分辨率圖像和所述第二降低分辨率圖像的分辨率的深度圖，至少部分地基于所述共軛點(diǎn)對(duì)，將所述深度圖上采樣到所述參考第一圖像的分辨率以生成高分辨率深度圖，所述上采樣包括在所述深度圖中內(nèi)插數(shù)據(jù)以生成所述高分辨率深度圖的深度數(shù)據(jù)，以及修改所述高分辨率深度圖的深度數(shù)據(jù)以符合所述參考第一圖像或所述參考第二圖像的邊緣。

本發(fā)明的一個(gè)方面提供了一種生成包含物體的深度信息的高分辨率圖像的方法。所述方法包括將第一參考圖像和第二參考圖像從第一分辨率下采樣到第二分辨率，其中第一分辨率高于第二分辨率，并且其中第一參考圖像和第二參考圖像是立體圖像對(duì)。所述方法還包括使用下采樣立體圖像對(duì)，基于全局最小化技術(shù)以第二分辨率生成深度圖，并將深度圖從第二分辨率上采樣到第一分辨率。所述方法還包括使用導(dǎo)向?yàn)V波器來(lái)將上采樣后的深度圖的輪廓與第一參考圖像的輪廓對(duì)準(zhǔn)(或“卡合”)。

在一個(gè)方面，對(duì)深度圖進(jìn)行上采樣可以包括使用雙線性內(nèi)插來(lái)將深度圖的分辨率從第二分辨率增加到第一分辨率。在一個(gè)方面，第二分辨率可以包含至多與第一分辨率的四分之一一樣多的像素。例如，第二分辨率可以包含與第一分辨率的四分之一或十六分之一一樣多的像素。使用下采樣立體圖像對(duì)，基于全局最小化技術(shù)以第二分辨率生成深度圖可以包括：使用對(duì)逐漸更大圖像的迭代過(guò)程以使用全局最小化來(lái)生成深度圖，由此生成深度圖。基于全局最小化技術(shù)以第二分辨率生成深度圖可以包括：基于全局最小化技術(shù)通過(guò)使能量函數(shù)最小化來(lái)生成深度圖。第一參考圖像和第二參考圖像可以由彼此相距已知距離的相機(jī)同時(shí)捕獲。

在一個(gè)方面，公開(kāi)了一種用于生成包含物體的深度信息的高分辨率圖像的裝置。所述裝置包括處理器，其經(jīng)配置以將第一參考圖像和第二參考圖像從第一分辨率下采樣到第二分辨率，其中第一分辨率高于第二分辨率，并且其中第一參考圖像和第二參考圖像包括立體圖像對(duì)。所述處理器還經(jīng)配置以使用下采樣后的立體圖像對(duì)，基于全局最小化技術(shù)以第二分辨率生成深度圖，并將深度圖從第二分辨率上采樣到第一分辨率。所述處理器還經(jīng)配置以使用導(dǎo)向?yàn)V波器來(lái)將上采樣的深度圖的輪廓與第一參考圖像的輪廓對(duì)準(zhǔn)。

本發(fā)明的一個(gè)方面提供了一種用于生成包含物體的深度信息的高分辨率圖像的裝置。所述裝置包括用于將第一參考圖像和第二參考圖像從第一分辨率下采樣到第二分辨率的裝置，其中第一分辨率高于第二分辨率，并且其中第一參考圖像和第二參考圖像包括立體圖像對(duì)。所述裝置還包括用于使用下采樣立體圖像對(duì)，基于全局最小化技術(shù)以第二分辨率生成深度圖的裝置，以及用于將深度圖從第二分辨率上采樣到第一分辨率的裝置。所述裝置還包括用于使用導(dǎo)向?yàn)V波器來(lái)將上采樣的深度圖的輪廓與第一參考圖像的輪廓對(duì)準(zhǔn)的裝置。

在一方面，公開(kāi)了一種非暫時(shí)性計(jì)算機(jī)可讀媒體。所述媒體包括代碼，所述代碼在被執(zhí)行時(shí)使得設(shè)備：將第一參考圖像和第二參考圖像從第一分辨率下采樣到第二分辨率，其中第一分辨率高于第二分辨率，并且其中第一參考圖像和所述第二參考圖像包括立體圖像對(duì)。所述媒體還包括使得設(shè)備使用下采樣立體圖像對(duì)，基于全局最小化技術(shù)以第二分辨率生成深度圖，將深度圖從第二分辨率上采樣到第一分辨率，以及使用導(dǎo)向?yàn)V波器將所述上采樣深度圖的輪廓與所述第一參考圖像的輪廓對(duì)準(zhǔn)。

附圖說(shuō)明

在下文中將結(jié)合附圖和附錄來(lái)描述所公開(kāi)的方面，提供附圖和附錄是為了說(shuō)明而不是限制所公開(kāi)的方面，其中相同的標(biāo)號(hào)表示相同的元件。

圖1示出了可以由全局方法使用以基于兩個(gè)立體圖像獲得高質(zhì)量視差圖的迭代步驟的實(shí)例。

圖2示出了使用全局最小化技術(shù)并使用內(nèi)插來(lái)生成高分辨率視差圖的過(guò)程的實(shí)例。

圖3示出了使用全局最小化和內(nèi)插來(lái)獲得密集視差(或深度)圖的方法的示范性使用。

圖4示出了使用全局最小化和內(nèi)插來(lái)獲得密集視差(或深度)圖的方法的另一示范性使用。

圖5A描繪了包含若干物體的真色彩圖像的實(shí)例。

圖5B示出了通過(guò)對(duì)圖像進(jìn)行傅立葉變換而生成的在圖像中找到的各種分量帶。

圖6A描繪了包含若干物體的真色彩圖像的實(shí)例，使用上采樣生成所述圖像。

圖6B示出了通過(guò)對(duì)上采樣后的圖像進(jìn)行傅立葉變換而生成的在上采樣后的圖像中找到的各種分量帶。

圖7A示出了基于接收到的立體圖像對(duì)的使用全局最小化方法生成的視差圖的實(shí)例。

圖7B示出了使用全局最小化方法生成的視差圖的傅立葉變換的實(shí)例。

圖8A示出了通過(guò)對(duì)更小視差圖進(jìn)行上采樣而產(chǎn)生的視差圖的實(shí)例。

圖8B示出了上采樣后的視差圖的傅立葉變換的實(shí)例。

圖9A示出了通過(guò)上采樣更小視差圖并基于參考圖像使用導(dǎo)向?yàn)V波銳化邊緣而產(chǎn)生的視差圖的實(shí)例。

圖9B示出了通過(guò)上采樣更小視差圖并且基于參考圖像使用導(dǎo)向?yàn)V波銳化邊緣而產(chǎn)生的視差圖的傅立葉變換的實(shí)例。

圖10示出了根據(jù)本發(fā)明的一些方面的用于生成高分辨率深度圖的實(shí)例性方法。

圖11是示出根據(jù)一些實(shí)施例的深度圖生成裝置的實(shí)例的示意圖。

具體實(shí)施方式

在下面的描述中，給出具體細(xì)節(jié)以提供對(duì)實(shí)施例的透徹理解。然而，可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐這些實(shí)例，并且這些實(shí)例并不旨在限制本文所討論的主題的范圍。

深度圖(或視差圖)通?？梢灾复c來(lái)自特定視點(diǎn)的深度圖中的場(chǎng)景物體的表面的距離有關(guān)的信息的三維計(jì)算機(jī)圖形圖像或圖像通道。例如，深度圖可以具有以x和y軸布置在網(wǎng)格中的若干像素的分辨率，如同普通真色彩圖像那樣。那些像素中的每個(gè)像素可以具有表示所述位置處的場(chǎng)景物體與觀看者(或捕獲所述圖像的相機(jī))的位置的距離的值。例如，深度圖可以使用深色(例如黑色)來(lái)指示圖像中的特定點(diǎn)相對(duì)于其它點(diǎn)靠近相機(jī)，并且使用較淺的顏色(在到白色的梯度上)以指示所述圖像中的其它點(diǎn)相對(duì)于其它深色點(diǎn)更遠(yuǎn)離相機(jī)。在一些實(shí)施方案中，這些顏色也可以顛倒，使得近物體更亮，遠(yuǎn)物體更暗。這些深度圖可以用于若干不同的目的。例如，深度圖可以用于將例如霧的效果添加到場(chǎng)景，用于模擬圖像中的淺景深(使得遠(yuǎn)處的物體越來(lái)越模糊)，用于幫助更有效地在三維中渲染場(chǎng)景，用于在三維圖形中創(chuàng)建陰影，以及其它目的。

可以使用若干不同的技術(shù)來(lái)創(chuàng)建深度圖。一種用于創(chuàng)建深度圖的技術(shù)是立體深度估計(jì)。這種技術(shù)涉及同時(shí)或幾乎同時(shí)捕獲兩個(gè)圖像。每個(gè)圖像可以用不同的成像系統(tǒng)(例如，兩個(gè)相機(jī))捕獲。這兩個(gè)圖像可以捕獲相同的場(chǎng)景，但是從兩個(gè)不同的視點(diǎn)捕獲，使得場(chǎng)景中的物體是來(lái)自兩個(gè)不同角度的圖像。例如，這些圖像可以對(duì)應(yīng)于取一小段距離的場(chǎng)景的“左眼”圖像和“右眼”圖像。使用這兩個(gè)圖像的透視圖可以確定深度信息。例如，與用于捕獲圖像的兩個(gè)相機(jī)相距很遠(yuǎn)的物體可能在兩個(gè)圖像中處于大致相同的位置。相比之下，兩個(gè)相機(jī)附近的物體可能在兩個(gè)圖像中處于非常不同的位置?；趦蓚€(gè)圖像之間的場(chǎng)景中的各種物體的位置的差異，可以確定深度信息并且可以創(chuàng)建深度圖。

可以使用立體深度估計(jì)來(lái)確定用于深度圖提取的三維模型。當(dāng)使用立體深度估計(jì)時(shí)，可以使用若干不同的技術(shù)來(lái)創(chuàng)建深度圖。這些技術(shù)中的每個(gè)技術(shù)可以使用從稍微不同的角度拍攝的相同場(chǎng)景的兩個(gè)圖像，以便估計(jì)至圖像中的物體的距離。例如，可以由彼此相距很短距離的兩個(gè)相機(jī)拍攝圖像，所述兩個(gè)相機(jī)經(jīng)配置以同時(shí)拍攝照片。在一些實(shí)施方案中，兩個(gè)相機(jī)可以放置在例如移動(dòng)電話、平板電腦或數(shù)字相機(jī)的移動(dòng)裝置上，并且可以彼此相距已知距離放置。在一些實(shí)施方案中，可以使用多于兩個(gè)的相機(jī)。基于這兩個(gè)或兩個(gè)以上圖像，可以使用若干技術(shù)來(lái)生成深度圖，所述深度圖指示圖像中的各種物體的深度(或距離相機(jī)的距離)。基于在確定深度信息時(shí)使用了立體圖像，使用兩個(gè)或兩個(gè)以上圖像的每個(gè)技術(shù)都可以被稱為立體深度估計(jì)技術(shù)。

存在可用于立體深度估計(jì)的若干不同技術(shù)。例如，Brown等人的“Advances in Computational Stereo(計(jì)算立體的進(jìn)展)”(Pattern Analysis and Machine Intelligence(模式分析和機(jī)器智能)，IEEE Transactions(IEEE事務(wù))，25(8)，993-1008(2003))描述了可用于立體深度估計(jì)的若干不同技術(shù)。通常，這些技術(shù)可以分為兩大類：局部方法和全局方法。這兩類技術(shù)以不同的方式工作，并且呈現(xiàn)不同的優(yōu)點(diǎn)和缺點(diǎn)。

深度估計(jì)的局部方法通常識(shí)別兩個(gè)或兩個(gè)以上立體圖像的每個(gè)中的圖像的各個(gè)“關(guān)鍵”點(diǎn)。例如，某些可識(shí)別點(diǎn)(例如由于邊緣或由于圖像中的顏色變化而可被識(shí)別的點(diǎn))可以被定義為每個(gè)立體圖像中的“關(guān)鍵”點(diǎn)。由于圖像的立體性質(zhì)，這些關(guān)鍵點(diǎn)可以在每個(gè)圖像中處于略微不同的位置。基于這些關(guān)鍵點(diǎn)在兩個(gè)或兩個(gè)以上圖像中的變化位置，深度估計(jì)的局部方法確定給定關(guān)鍵點(diǎn)的深度。這導(dǎo)致在相對(duì)稀疏的深度圖，即深度僅對(duì)于遍布圖像的有限數(shù)量的關(guān)鍵點(diǎn)是已知的。剩余的點(diǎn)可以基于關(guān)鍵點(diǎn)內(nèi)插來(lái)取得它們的值，并且圖像的顏色或其它細(xì)節(jié)可以用于將深度信息從關(guān)鍵點(diǎn)傳播到圖像的其它區(qū)域。因此，在局部方法中，可以對(duì)每個(gè)單獨(dú)的像素單獨(dú)進(jìn)行視差計(jì)算，而不考慮每個(gè)其它像素。這可以使得方法的計(jì)算復(fù)雜度較低，并且可以實(shí)現(xiàn)有效的深度圖計(jì)算。因此，此計(jì)算可以用相對(duì)最小量的存儲(chǔ)器來(lái)完成，并且可以相當(dāng)快地被執(zhí)行。然而，對(duì)于這些低存儲(chǔ)器要求的折衷是由這樣的技術(shù)產(chǎn)生的視差圖可能具有低質(zhì)量。此外，視差圖的質(zhì)量可能受到噪聲和立體圖像的校準(zhǔn)誤差的嚴(yán)重影響。

相反，全局深度估計(jì)方法(“全局方法”)通常通過(guò)使兩個(gè)或兩個(gè)以上立體圖像之間的能量函數(shù)最小化來(lái)操作。因此，這種全局方法一次處理整個(gè)圖像，而不是如局部方法中處理圖像的離散的“關(guān)鍵點(diǎn)”。這可能比用于生成深度圖的局部方法在計(jì)算上復(fù)雜得多。例如，全局方法可以通過(guò)嘗使包括視差平滑元素的能量函數(shù)最小化來(lái)操作。在一個(gè)實(shí)例中，能量公式可以包括：

E(D)＝E_P(D)+μE_S(D) (1)

其中E(D)是待進(jìn)行最小化的能量，D是兩個(gè)或兩個(gè)以上立體圖像之間的差異，E_P測(cè)量?jī)蓚€(gè)圖像之間的像素相似性，以及E_S為基于系數(shù)μ的視差平滑度量。等式1可以用于計(jì)算兩個(gè)或兩個(gè)以上立體圖像之間的能量視差。在計(jì)算此能量函數(shù)之后，可以改變D的值以便最小化E(D)。通常，可以使用共軛梯度、圖形切割和其它技術(shù)來(lái)執(zhí)行這種能量?jī)?yōu)化。與用于創(chuàng)建深度圖的局部方法相比，這些技術(shù)可能趨向于增加計(jì)算的執(zhí)行時(shí)間并且可能具有高的存儲(chǔ)器要求。然而，與用于基于立體的深度估計(jì)的局部方法不同，這些全局方法可以生成精確的和高質(zhì)量的深度圖。此外，使用全局方法生成的深度圖可以對(duì)噪聲(在立體圖像中)和校準(zhǔn)誤差更為魯棒。因此，通常，這些深度圖可以比基于局部方法的深度圖更精確。

通常，全局方法可以通過(guò)首先處理具有較粗略(或低)分辨率的圖像然后迭代地處理具有精細(xì)(或高)分辨率的圖像來(lái)操作。例如，圖1示出了可以由全局方法使用以獲得高質(zhì)量視差圖110a的迭代過(guò)程的實(shí)例。首先，可以由兩個(gè)相機(jī)同時(shí)捕獲右圖像120a和左圖像130a。這些圖像可以從稍微不同的角度同時(shí)捕獲相同的場(chǎng)景。這些圖像中的每個(gè)圖像可以是高分辨率圖像。

可以使用迭代過(guò)程，而不是基于高分辨率圖像120a，130a在單個(gè)步驟中生成視差圖110a。例如，右圖像120a可以被下采樣為若干更小的右圖像120b，120c，120d，120e。例如，每個(gè)下采樣后的圖像可以具有其上方的更大圖像的1/4的像素。例如，如果圖像120a是1024×1024像素，則圖像120b可以是512×512像素，圖像120c可以是256×256像素，等等。還可以進(jìn)行下采樣，使得每個(gè)圖像比生成其所來(lái)自的圖像或比原始圖像在比例上更小(例如，小特定倍數(shù))。在一些實(shí)施例中，比例減少可以在圖像到圖像之間變化(例如，使得一個(gè)圖像可以是另一圖像的尺寸的四分之一(1/4)，另一圖像是另一圖像的尺寸的一半(1/2))。類似地，左圖像130a可以被下采樣為若干更小的左圖像130b，130c，130d，130e?？梢砸韵嗤姆绞綄?duì)左圖像和右圖像進(jìn)行下采樣，使得針對(duì)每個(gè)下采樣尺寸以相同分辨率存在匹配的一對(duì)圖像。如圖示100中的箭頭所示，最小的一對(duì)下采樣后的圖像可以在初始時(shí)用于形成最小視差圖110e。通過(guò)使能量函數(shù)最小化，可以使用類似等式1中可見(jiàn)的等式來(lái)形成此視差圖110e。在一些實(shí)施方案中，可以從相應(yīng)的父圖像130a，120a生成更小的圖像(左圖像130b，130c，130d，130e和/或右圖像120b，120c，120d，120e)。在其它實(shí)施例中，可以從先前生成的圖像生成更小圖像(左圖像130b，130c，130d，130e和/或右圖像120b，120c，120d，120e)(例如，圖像120b從120a生成，圖像120c從圖像120b生成)。

在已經(jīng)創(chuàng)建最小視差圖110e之后，可以使用左圖像130d和右圖像120d的更大版本以及先前生成的更小視差圖110e來(lái)創(chuàng)建每個(gè)進(jìn)一步視差圖(例如視差圖110d)。因此，如圖示100所示，可以生成若干不同的、逐漸更大的視差圖。在圖示100中，示出了五個(gè)不同尺寸的視差圖，其中每個(gè)視差圖包含先前視差圖的更高分辨率，并且因此包含更多細(xì)節(jié)。

局部方法和全局方法可以提供不同的優(yōu)點(diǎn)和缺點(diǎn)。因此，在一些方面中，可能期望使用提供類似于使用全局方法所得到的高質(zhì)量性能但是更快且計(jì)算上更不密集的方法。例如，用于立體深度估計(jì)的一種有效方法可以在粗略(低)分辨率下使用全局最小化技術(shù)，然后可以執(zhí)行粗略視差圖的快速內(nèi)插以獲得高分辨率視差圖。這可以導(dǎo)致具有高峰值信噪比(PSNR)的深度圖，但是其可以使用比使用全局最小化技術(shù)顯著更少的計(jì)算來(lái)生成。

例如，如圖示100所示，用于生成視差圖的全局估計(jì)方法可以包括對(duì)應(yīng)于從粗略到精細(xì)(低分辨率到高分辨率)的不同分辨率的若干不同級(jí)別。通常，對(duì)于全局估計(jì)方法的每個(gè)步驟，用于每個(gè)步驟的計(jì)算時(shí)間/資源可以與正在生成的視差圖中的像素的數(shù)量成比例。例如，如果全局估計(jì)方法的每個(gè)步驟將來(lái)自前一步驟(例如，從320×240移動(dòng)到640×480)的視差圖的長(zhǎng)度和寬度加倍，則每個(gè)步驟將具有與前一步驟的四倍一樣多的像素。因此，每個(gè)步驟可以花費(fèi)與前一步驟的約四倍一樣多的時(shí)長(zhǎng)。因此，當(dāng)在圖示100中使用所述方法時(shí)，可以在最終步驟上使用所述方法的約75％的執(zhí)行時(shí)間，以基于視差圖110b，左圖像130a和右圖像120a生成高分辨率視差圖110a。此外，所述方法的約20％的執(zhí)行時(shí)間可以用于生成視差圖110b、倒數(shù)第二視差圖。因此，圖示100中的方法的約95％的執(zhí)行時(shí)間被用于生成視差圖110a和110b。因此，如果在創(chuàng)建視差圖110c之后停止所述過(guò)程，則這可以將所述過(guò)程的運(yùn)行時(shí)間減少約95％。

如圖所示，全局估計(jì)方法的大部分執(zhí)行時(shí)間可以用于將粗略分辨率視差圖(例如，視差圖110c)轉(zhuǎn)換成高分辨率視差圖110a。因此，通過(guò)使用有效內(nèi)插來(lái)將相對(duì)粗略的視差圖轉(zhuǎn)換為高分辨率視差圖，可以顯著地減少用于生成高分辨率視差圖的運(yùn)行時(shí)間。這是因?yàn)樵趫D示100中的這么大比例的運(yùn)行時(shí)間被用于將視差圖110c轉(zhuǎn)換為視差圖110a，并且因?yàn)槭褂脙?nèi)插而不是全局最小化來(lái)擴(kuò)大粗略視差圖的尺寸在計(jì)算上可以顯著地較為簡(jiǎn)單。

圖2是用于使用內(nèi)插生成高分辨率視差圖的方法200。此方法200可以由例如移動(dòng)電話、數(shù)字相機(jī)或另一數(shù)字成像裝置使用。

在框205中，所述方法使用全局最小化來(lái)以低分辨率獲得精確的視差圖。例如，全局最小化技術(shù)可以包括使用例如等式1的誤差最小化等式。如在圖示100中，這些等式可以遞歸地使用，以便生成逐漸更高分辨率的視差圖。然而，與圖示100不同，這里，全局最小化技術(shù)可以僅用于生成低分辨率視差圖，例如在生成深度圖110b或110c之后停止所述技術(shù)。例如，通過(guò)全局最小化生成的視差圖可以是期望視差圖的尺寸的一半。在一些方面中，視差圖還可以是相對(duì)于期望的高分辨率視差圖的另一尺寸，例如尺寸的四分之一，尺寸的八分之一或另一尺寸。在一些方面中，用于使用全局最小化的裝置可以包括處理器。

通常，在低分辨率視差圖中，前景物體的視差值可以是相當(dāng)精確的。這些物體可以占用比更小的背景元素更大的圖像部分，并且多個(gè)物體之間可以比多個(gè)背景元素具有更大的深度差。因此，使用低分辨率視差圖可能導(dǎo)致遠(yuǎn)距離物體的丟失一些深度精度和分辨率，但是對(duì)于前景物體仍然可能是精確的。與使用上述局部方法產(chǎn)生的顯示圖不同的是，此視差圖對(duì)于噪聲和校準(zhǔn)誤差也可以是魯棒的。此外，生成低分辨率視差圖所需的執(zhí)行時(shí)間和存儲(chǔ)器要求遠(yuǎn)低于使用全局技術(shù)生成高分辨率視差圖所需的執(zhí)行時(shí)間和存儲(chǔ)器要求。

在框210中，所述方法執(zhí)行低分辨率視差圖的高質(zhì)量?jī)?nèi)插以獲得高分辨率視差圖。例如，可以擴(kuò)大低分辨率視差圖的尺寸，可以例如通過(guò)使用常規(guī)技術(shù)來(lái)將圖像(或深度圖)的尺寸增加200％，400％或另一尺寸以便實(shí)現(xiàn)期望的尺寸。在一些方面中，期望的尺寸可以至少部分地基于所述方法的輸入圖像(原始高質(zhì)量立體圖像對(duì))的尺寸。例如，全局最小化技術(shù)可以通過(guò)獲取兩個(gè)或兩個(gè)以上輸入圖像(例如，左輸入圖像和右輸入圖像)并基于這些圖像生成視差圖來(lái)操作。因此，高分辨率視差圖的期望分辨率可以基于源圖像的分辨率。例如，視差圖的期望分辨率可以等于原始立體圖像對(duì)的分辨率。

在一些方面中，可使用線性內(nèi)插將低分辨率視差圖上采樣到高分辨率。此方法可以精確地估計(jì)物體內(nèi)部的分段常數(shù)差異。然而，由于上采樣，上采樣后的視差圖中的物體輪廓可能被模糊和混疊。然而，高分辨率參考圖像(例如原始立體圖像對(duì)中的一或多個(gè))可以用于恢復(fù)視差圖的邊緣。例如，參考圖像可以是高分辨率的，并且可以包含銳利邊緣。這些銳利邊緣(圖像中各種物體的顏色之間的過(guò)渡)可以用于銳化上采樣后的視差圖的模糊邊緣。因此，此方法可以用于創(chuàng)建清晰、具有高PSNR并且對(duì)于前景物體精確的高分辨率視差圖。

通過(guò)此方法產(chǎn)生的視差圖可以具有多種不同的用途。例如，視差圖可以用于圖像的前景的3D渲染。這可以幫助例如略微改變圖像本身的透視。視差圖還可以用于改變圖像的散景效果(即，基于它們與圖像的距離改變背景物體的離焦程度，模擬使用不同透鏡例如具有不同f數(shù)的透鏡拍攝照片)。

圖3說(shuō)明使用內(nèi)插來(lái)獲得密集視差(或深度)圖的方法的實(shí)例。在一些實(shí)施例中，圖示300中的方法可以與圖示100(圖1)中的方法相同，直到生成視差圖310b的程度。然而，在圖示100中，可以使用全局最小化技術(shù)的另一迭代來(lái)生成最終的視差圖110e。相反，在圖示300中，視差圖310b可以被上采樣到視差圖310a的尺寸。例如，視差圖310b可以表示相對(duì)粗略的視差圖，其可以僅具有例如在視差圖310a和右視圖320a中可見(jiàn)的像素的數(shù)量的四分之一。例如，粗略視差圖310b可以在x軸和y軸中的每個(gè)中都具有右視圖320a的像素?cái)?shù)量的一半。在一些實(shí)例中，這種上采樣可以如上所述使用線性內(nèi)插來(lái)完成。

作為此上采樣的一部分，上采樣后的圖像的邊緣可以被銳化。例如，右視圖320a可以用于銳化上采樣后的視差圖，形成高分辨率視差圖310a。如圖300所示，此生成視差圖的方法(其中全局優(yōu)化/最小化技術(shù)在4級(jí)之后停止并且使用內(nèi)插以達(dá)到第5比例尺級(jí))，這可以將運(yùn)行時(shí)間減少到全局最小化技術(shù)的運(yùn)行時(shí)間的約四分之一，同時(shí)仍然得到高質(zhì)量、高分辨率的深度圖。例如，在這個(gè)實(shí)例中，最終深度圖的信噪比可以是42.4dB，而所述方法的運(yùn)行時(shí)間約為1/4長(zhǎng)。

圖4是使用內(nèi)插來(lái)獲得密集視差(或深度)圖的方法的另一示范性使用。在此圖示400中，可以以與圖示100中類似的方式使用全局優(yōu)化/最小化。然而，這里，在生成第三級(jí)視差圖410c之后，可以將視差圖410c上采樣到最終尺寸。在一些方面中，與右視圖420a相比，視差圖410c可具有x軸和y軸中的每個(gè)中的像素?cái)?shù)量的四分之一。因此，視差圖410c可以具有右視圖420a的像素?cái)?shù)量的十六分之一。

然后可以通過(guò)右視圖420a來(lái)銳化此上采樣的視差圖，以便增加上采樣后的圖像中的邊緣的銳度。因此，圖示400出了類似于圖示300(圖3)中所示方法的方法，不同之處在于在上采樣之前使用全局最小化技術(shù)的更少的迭代。例如，此方法可以在第三比例尺級(jí)之后使用內(nèi)插，以便內(nèi)插直到第五比例尺級(jí)。因?yàn)槿址椒ǖ膱?zhí)行時(shí)間的約15/16可以用在全局方法的最后兩次迭代上，所以圖示400(圖4)的混合方法可以將運(yùn)行時(shí)間減少到圖示100所示的全局方法的運(yùn)行時(shí)間的約1/16。圖示400中生成的視差圖的PSNR是40.7dB。可以觀察到視差圖410a的PSNR低于視差圖310a的PSNR。這說(shuō)明在選擇使用全局最小化方法的迭代次數(shù)時(shí)可以做出的一個(gè)權(quán)衡。使用更大數(shù)量的迭代可增加高分辨率視差圖的質(zhì)量，然而，它也可顯著地增加對(duì)應(yīng)計(jì)算的運(yùn)行時(shí)間和存儲(chǔ)器要求。

一般來(lái)說(shuō)，本文中用以生成高分辨率視差圖的技術(shù)在生成精確視差圖方面可比在重新創(chuàng)建精確的真色彩圖像中更有效。這是因?yàn)樽匀?真色彩圖像可以被認(rèn)為包含兩個(gè)不同的分量：帶限分量和高通分量。首先，圖像包含帶限分量，其包括物體色調(diào)和銳利邊緣。例如，此帶限分量可以包含關(guān)于特定物體的邊緣的信息，因?yàn)槟切┪矬w可以在圖像中產(chǎn)生非常清晰的顏色和其它不連續(xù)性。第二，圖像包含高通分量，其包括精細(xì)細(xì)節(jié)、振蕩模式和噪聲。高通分量包括許多不同的細(xì)節(jié)，這些細(xì)節(jié)使得像素到像素的變化很小。例如，各種物體的紋理可以包含在此高通分量?jī)?nèi)。相比之下，深度圖不包含相同量的高通分量。例如，場(chǎng)景中各種物體的深度通常僅逐漸和平滑地改變，而物體的顏色可具有許多不規(guī)則的差異，反映例如圖案或陰影的信息。

圖5A示出了包含若干物體的真色彩圖像的表示。圖5B示出了通過(guò)對(duì)用寬支持從-π到+π對(duì)圖像500進(jìn)行傅立葉變換生成的圖像500中可見(jiàn)的各種分量帶的圖示550。如圖示550所示，圖像500包含大量不同的帶寬，從[0,0]處的圖像中心向外延伸很長(zhǎng)。通常，圖像的帶限分量在[0,0]處接近圖像的中心，而高通分量可以定義為在[0,0]處更遠(yuǎn)離圖像中心的分量。因此，如這里所示，真色彩圖像包含相對(duì)大量的高通分量。

圖6A示出了包含多個(gè)物體的真色彩圖像600的表示，并且以與本發(fā)明中包含的某些方法類似的方式生成。例如，圖像600可以對(duì)應(yīng)于圖像500，不同之處在于圖像600已經(jīng)被縮小，然后使用線性內(nèi)插上采樣到4x。圖6B是通過(guò)對(duì)圖像600進(jìn)行傅立葉變換而生成的圖像600中可見(jiàn)的各種分量邊界的圖示650。如圖示650所示，在[-π/4，π/4]范圍之外的圖像頻率由于上采樣而丟失。因?yàn)槌松喜蓸又?，圖像600和圖像500是相同的，所以圖示550和圖示650之間的差異僅僅是由于這種上采樣的效果。

如圖像600所示，這些丟失的頻率包含關(guān)于例如各種物體的紋理的更大量的信息。因?yàn)榇诵畔谏喜蓸雍蟮膱D像中不可見(jiàn)的較高頻帶(絕對(duì)值更高，在[-π/4，π/4]范圍之外)中，所以那些信息已經(jīng)丟失并且不包含在上采樣后的圖像中。如圖像600旁邊所示，此圖像包含25.04dB的PSNR，這與先前所示的視差圖相比非常低。因此，可以基于分量帶和低PSNR的差異觀察到，與圖像500相比，圖像600丟失了大量的信息。

圖7A示出了使用全局最小化方法生成的視差圖700的描繪的實(shí)例。通過(guò)使用全局最小化方法創(chuàng)建視差圖700以創(chuàng)建整個(gè)圖像，而沒(méi)有任何內(nèi)插。例如，可以使用如圖1所示的過(guò)程創(chuàng)建此視差圖700。圖7B是視差圖700的傅立葉變換的圖示750的實(shí)例。可以注意到，圖示750與圖示550不同，包含在[-cπ，cπ]范圍外的非常少的信息，其中c是小值。這種信息缺乏可能涉及真色彩圖像和視差圖之間的差異。真色彩圖像包含例如大量的物體紋理和其它信息，其可以逐個(gè)像素地改變特定區(qū)域的顏色。相比之下，視差圖在深度上包含少得多的像素到像素變化。相反，視差圖可以主要具有與物體的邊緣有關(guān)的銳度變化，以及與形狀(例如，填充動(dòng)物的形狀)上不同點(diǎn)上的距離變化有關(guān)的漸變梯度。因此，如圖所示，視差圖可以是逐段恒定的，并且大多數(shù)僅由包括物體輪廓和銳利邊緣的帶限分量組成。由于視差圖的帶限特性，與通過(guò)上采樣創(chuàng)建的真色彩圖像不同，通過(guò)上采樣重建的視差圖可以更忠實(shí)地再現(xiàn)全尺寸版本，而不損失那么多的信息。

圖8A是已經(jīng)通過(guò)線性內(nèi)插而不使用邊緣銳化而產(chǎn)生的視差圖800的圖示。線性內(nèi)插可以是對(duì)例如視差圖的圖像進(jìn)行上采樣的一種方法。例如，已經(jīng)通過(guò)在每個(gè)方向上對(duì)低分辨率深度圖上采樣4x(例如從160×120到640×480)來(lái)產(chǎn)生此視差圖800。因?yàn)榇艘暡顖D800已被上采樣，所以可以觀察到視差圖800中的各個(gè)物體之間的邊緣是模糊的。圖8B是通過(guò)線性內(nèi)插產(chǎn)生的視差圖800的傅立葉變換的圖示850。如在圖示650中，視差圖800的上采樣性質(zhì)(其通過(guò)在4x處的線性內(nèi)插產(chǎn)生)意味著所得圖示示出來(lái)自[-π/4，π/4]的帶限頻譜。然而，因?yàn)橐暡顖D不具有自然彩色圖像可能具有的精細(xì)的像素到像素細(xì)節(jié)的級(jí)別，所以可以觀察到，由于從(與通過(guò)繼續(xù)使用全局最小化方法生成更大版本相比)更小版本的上采樣，比在上采樣的真色彩圖像中觀察到的從視差圖丟失了少得多的信息。這可以通過(guò)注意圖750和圖示850之間的差異遠(yuǎn)小于圖示550和圖示650之間的差異來(lái)觀察到。此外，與圖像600的僅25.04dB相比，可以觀察到圖像800的PSNR是39.07dB。因此，與在真色彩圖像中使用相同技術(shù)可觀察到的相比，視差圖800可表示對(duì)視差圖700的更好的重新創(chuàng)建。

通過(guò)使用高分辨率圖像來(lái)銳化視差圖的邊緣，可以進(jìn)一步改善內(nèi)插的視差圖(例如視差圖800)。圖9A是通過(guò)對(duì)更小視差圖進(jìn)行上采樣并使用導(dǎo)向?yàn)V波以基于高分辨率圖像銳化邊緣而產(chǎn)生的視差圖900的圖示。圖9B是通過(guò)線性內(nèi)插產(chǎn)生的視差圖900的傅立葉變換的圖示950。如圖所示，圖示950與圖示750非常相似。例如，視差圖900具有40.70dB的PSNR，這意味著此視差圖是視差圖700的精確的重新創(chuàng)建。然而，視差圖900可以僅需要生成視差圖700所需的時(shí)間約1/16的時(shí)間來(lái)生成。因此，可以觀察到，本文所討論的方法可以顯著地減少生成視差圖所需的時(shí)間、存儲(chǔ)器和計(jì)算能力，同時(shí)仍然維持高分辨率和精度。

圖10示出了根據(jù)本發(fā)明的一些方面的用于生成高分辨率深度圖的實(shí)例性方法1000。此方法1000可以在具有例如移動(dòng)電話或數(shù)字相機(jī)的數(shù)字成像能力的裝置上執(zhí)行。

在框1010，所述方法包括將第一參考圖像和第二參考圖像從第一分辨率下采樣到第二分辨率，其中第一分辨率高于第二分辨率，第一圖像和第二圖像包括立體圖像對(duì)。例如，所述方法可以從兩個(gè)數(shù)字圖像捕獲裝置(例如內(nèi)置在單個(gè)裝置中的兩個(gè)數(shù)字相機(jī))接收第一參考圖像和第二參考圖像。這些圖像可以同時(shí)捕獲，并且可以顯示相同的場(chǎng)景，但是來(lái)自稍微不同的角度。因此，這些圖像可以被稱為立體圖像對(duì)，因?yàn)檫@兩個(gè)圖像可以一同以類似于可以如何使用兩只眼睛來(lái)提供三維信息(例如深度信息)的方式來(lái)實(shí)現(xiàn)給定場(chǎng)景的三維視圖。在一些方面中，參考圖像可以以高分辨率接收，并且可以被下采樣到例如是原始分辨率的像素?cái)?shù)量的四分之一或十六分之一的分辨率。因此，第二分辨率可以包含小于第一分辨率的四分之一像素的像素。例如，第二分辨率可以包含與第一分辨率的像素的四分之一或十六分之一一樣多的像素(在x和y方向的每個(gè)中都代表與一半或四分之一一樣多的像素)。例如，如果接收的圖像是640×480，則它們可以被下采樣為320×240或160×120。在一些方面中，也可以使用其它下采樣尺寸。所述方法可以使用此下采樣比率來(lái)控制所述方法的執(zhí)行時(shí)間和背景物體的深度分辨率之間的折衷。在一些方面中，用于下采樣的裝置可包括處理器。

在一些方面中，第一圖像可由第一相機(jī)捕獲，并且第二圖像可由第二相機(jī)捕獲。這兩個(gè)相機(jī)可以相距已知的距離。兩個(gè)相機(jī)可以具有彼此相同的原生分辨率。例如，這些相機(jī)可以大體上彼此相同(例如，相機(jī)或相機(jī)組件的相同品牌和型號(hào))。在一些方面中，用于捕獲圖像的裝置可以包括數(shù)字相機(jī)。

在框1020，所述方法包括使用下采樣的第一參考圖像和下采樣的第二參考圖像，基于全局最小化技術(shù)以第二分辨率生成深度圖。例如，可以使用若干不同的全局技術(shù)來(lái)生成深度圖。這些技術(shù)通?？梢允褂谜麄€(gè)圖像并且可以嘗試使能量分量最小化來(lái)創(chuàng)建深度圖。這些方法可以迭代地運(yùn)行，使得每次迭代創(chuàng)建深度圖的更大版本。因此，生成深度圖可以包括對(duì)逐漸變大的圖像使用迭代過(guò)程，以便使用全局最小化來(lái)生成深度圖。例如，生成深度圖可以通過(guò)使能量函數(shù)最小化來(lái)完成，如上面關(guān)于等式1所描述的。通常，執(zhí)行時(shí)間可以與圖像中的像素的數(shù)量成比例。因此，對(duì)于低分辨率圖像的執(zhí)行時(shí)間和存儲(chǔ)器要求可能相對(duì)更小。在一些方面中，用于生成深度圖的裝置可以包括處理器。

在框1030，所述方法包括將深度圖從第二分辨率上采樣到第一分辨率。例如，這種上采樣可以使用雙線性內(nèi)插來(lái)完成。這種上采樣的結(jié)果將是模糊的深度圖，并且在各種物體的輪廓上具有一些混疊偽影。在一些方面中，用于上采樣的裝置可以包括處理器。在一些方面中，用于使用雙線性內(nèi)插的裝置可以包括處理器。

在框1040，所述方法使用導(dǎo)向?yàn)V波器來(lái)將經(jīng)上采樣的深度圖的輪廓與第一參考圖像的輪廓對(duì)準(zhǔn)。例如，此濾波器可以基于第一參考圖像的邊緣和輪廓來(lái)增加上采樣深度圖的邊緣的銳度。在一些方面中，這可以產(chǎn)生具有高分辨率、具有前景物體的精確深度、清晰邊緣并且具有很少或沒(méi)有混疊偽影的最終深度圖。在一些方面中，用于使用導(dǎo)向?yàn)V波器映射的裝置包括處理器。

通常，與計(jì)算上和存儲(chǔ)器方面低效的全局方法相比，此方法可以降低處理分辨率。與全局優(yōu)化相比，這減少了執(zhí)行時(shí)間和存儲(chǔ)器要求。此外，這以較低分辨率產(chǎn)生精確的深度圖。此外，視差圖的分段恒定性和高分辨率參考圖像的可用性實(shí)現(xiàn)了低分辨率視差圖的高質(zhì)量?jī)?nèi)插。通常，可以以高分辨率以高精度分割前景物體。然而，遠(yuǎn)距離物體的深度精度可能受損。在此方法中，可以選擇處理分辨率以控制性能和最終深度圖質(zhì)量之間的折衷。

圖11是示出根據(jù)一些實(shí)施例的深度圖生成裝置的實(shí)例的示意圖。具體來(lái)說(shuō)，圖11描繪具有一組組件的裝置1100的高級(jí)框圖，所述組件包括鏈接到圖像傳感器組合件1115的圖像處理器1120。圖像處理器1120還與工作存儲(chǔ)器1105、存儲(chǔ)器1130以及裝置處理器1150，裝置處理器1150又與存儲(chǔ)裝置1110和電子顯示器1125通信。

在一些實(shí)施例中，裝置1100可以是特意配置以進(jìn)行深度感測(cè)的感測(cè)裝置。在一些實(shí)施例中，裝置1100可以是蜂窩電話、數(shù)字相機(jī)、平板計(jì)算機(jī)、個(gè)人數(shù)字助理等。存在許多便攜式計(jì)算裝置，其中例如本文所描述的成像系統(tǒng)將提供優(yōu)點(diǎn)。多個(gè)應(yīng)用可以在裝置1100上對(duì)用戶可用。多個(gè)應(yīng)用可以包括傳統(tǒng)的攝影和視頻應(yīng)用、高動(dòng)態(tài)范圍成像、全景照片和視頻或例如3D圖像或3D視頻的立體成像。

裝置1100包括用于捕獲外部圖像的圖像傳感器組合件1115。圖像傳感器組合件1115可以包括傳感器、透鏡組合件以及用于將目標(biāo)圖像的一部分重定向到每個(gè)傳感器的主和次反射或折射表面。圖像傳感器組合件1115可以包括兩個(gè)或兩個(gè)以上傳感器。圖像傳感器組合件可以耦合到圖像處理器1120。在一些方面中，傳感器組合件1115可以經(jīng)配置以捕獲立體圖像對(duì)，其中同時(shí)從不同角度捕獲同一場(chǎng)景的兩個(gè)圖像。

圖像處理器1120可以經(jīng)配置以對(duì)包括目標(biāo)圖像的N個(gè)部分的接收到的圖像數(shù)據(jù)執(zhí)行各種處理操作，以便輸出高質(zhì)量的拼接圖像，如下面將更詳細(xì)描述的。處理器1120可以是專用于成像應(yīng)用的通用處理單元或處理器。圖像處理操作的實(shí)例包括裁剪、縮放(例如，縮放到不同分辨率)、圖像拼接、圖像格式轉(zhuǎn)換、顏色內(nèi)插、顏色處理、圖像濾波(例如，空間圖像濾波)、透鏡偽影或缺陷校正等。在一些實(shí)施例中，處理器1120可以包括多個(gè)處理器。某些實(shí)施例可以具有專用于每個(gè)圖像傳感器的處理器。處理器1120可以是一或多個(gè)專用圖像信號(hào)處理器(ISP)或處理器的軟件實(shí)現(xiàn)。

如圖所示，圖像處理器1120連接到存儲(chǔ)器1130和工作存儲(chǔ)器1105。在所示實(shí)施例中，存儲(chǔ)器1130存儲(chǔ)全局最小化模塊1135、導(dǎo)向?yàn)V波器模塊1140和操作系統(tǒng)1145。這些模塊包括指令，其配置圖像處理器1120或裝置處理器1150以執(zhí)行各種圖像處理和裝置管理任務(wù)。工作存儲(chǔ)器1105可以由圖像處理器1120用于存儲(chǔ)包含在存儲(chǔ)器1130的模塊中的處理器指令的工作集?？商娲?，工作存儲(chǔ)器1105還可以由圖像處理器1120用于存儲(chǔ)在裝置1100的操作期間創(chuàng)建的動(dòng)態(tài)數(shù)據(jù)。

如上所述，圖像處理器1120由存儲(chǔ)在存儲(chǔ)器中的若干模塊配置。全局最小化模塊1135可以包括配置圖像處理器1120或裝置處理器1150以基于立體圖像對(duì)來(lái)生成深度圖的指令。此深度圖可以使用全局最小化技術(shù)(例如上述迭代技術(shù))來(lái)生成。全局最小化模塊1135還可以包含用于對(duì)圖像進(jìn)行下采樣的指令。例如，構(gòu)成立體圖像對(duì)的圖像的若干不同的下采樣版本可以用于構(gòu)建越來(lái)越大尺寸的深度圖。這些下采樣后的圖像可以由圖像處理器1120或裝置處理器1150使用來(lái)自全局最小化模塊1135的指令生成。

導(dǎo)向?yàn)V波器模塊1140可以包括配置圖像處理器1120或裝置處理器1150以使用例如參考圖像之一的圖像來(lái)銳化放大的深度圖的邊緣的指令。在一些方面中，導(dǎo)向?yàn)V波器模塊1140可進(jìn)一步包含用于例如通過(guò)雙線性內(nèi)插來(lái)上采樣深度圖的指令。例如，導(dǎo)向?yàn)V波器模塊可以接收由全局最小化模塊1135生成的深度圖，并且可以上采樣此深度圖以匹配參考圖像的分辨率。

操作系統(tǒng)模塊1145配置圖像處理器1120以管理工作存儲(chǔ)器1105和裝置1100的處理資源。例如，操作系統(tǒng)模塊1145可以包括裝置驅(qū)動(dòng)器以管理例如成像傳感器組合件1115的硬件資源。因此在一些實(shí)施例中，包含在上述圖像處理模塊中的指令可以不直接與這些硬件資源交互，而是通過(guò)位于操作系統(tǒng)組件1170中的標(biāo)準(zhǔn)子程序或API進(jìn)行交互。操作系統(tǒng)1145中的指令然后可以直接與這些硬件組件。操作系統(tǒng)模塊1145可以進(jìn)一步配置圖像處理器1120以與裝置處理器1150共享信息。

裝置處理器1150可以經(jīng)配置以控制顯示器1125向用戶顯示捕獲的圖像或捕獲的圖像的預(yù)覽。顯示器1125可以在成像裝置1100的外部或者可以是成像裝置1100的一部分。顯示器1125還可以經(jīng)配置以提供在捕獲圖像之前為用戶顯示預(yù)覽圖像的取景器，或者可以被配置以顯示存儲(chǔ)在存儲(chǔ)器中或由用戶最近捕獲的捕獲圖像。顯示器1125可以包括LCD或LED屏幕，并且可以實(shí)現(xiàn)觸敏技術(shù)。

裝置處理器1150可以向存儲(chǔ)模塊1110寫入數(shù)據(jù)，例如表示捕獲的圖像的數(shù)據(jù)。盡管存儲(chǔ)模塊1110被圖形地表示為傳統(tǒng)磁盤裝置，但是本領(lǐng)域技術(shù)人員將理解，存儲(chǔ)模塊1110可以配置為任何存儲(chǔ)媒體裝置。例如，存儲(chǔ)模塊1110可以包括例如軟盤驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器或磁光盤驅(qū)動(dòng)器之類的磁盤驅(qū)動(dòng)器，或例如閃存、RAM、ROM和/或EEPROM的固態(tài)存儲(chǔ)器。存儲(chǔ)模塊1110還可以包括多個(gè)存儲(chǔ)器單元，并且存儲(chǔ)器單元中的任何一個(gè)可以經(jīng)配置為位于圖像捕獲裝置1100內(nèi)，或者可以位于圖像捕獲裝置1100外部。例如，存儲(chǔ)模塊1110可以包括包含存儲(chǔ)在圖像捕獲裝置1100內(nèi)的系統(tǒng)程序指令的ROM存儲(chǔ)器。存儲(chǔ)模塊1110還可以包括存儲(chǔ)卡或高速存儲(chǔ)器，其經(jīng)配置以存儲(chǔ)可從相機(jī)移除的所捕獲的圖像。

盡管圖11描繪了具有單獨(dú)的組件以包括處理器、成像傳感器和存儲(chǔ)器的裝置，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，這些單獨(dú)的組件可以以各種方式組合以實(shí)現(xiàn)特定的設(shè)計(jì)目標(biāo)。例如，在替代實(shí)施例中，存儲(chǔ)器組件可以與處理器組件組合以節(jié)省成本和提高性能。

另外，雖然圖11說(shuō)明兩個(gè)存儲(chǔ)器組件，包含包括若干模塊的存儲(chǔ)器組件1130和包括工作存儲(chǔ)器的單獨(dú)存儲(chǔ)器1105，但本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到利用不同存儲(chǔ)器架構(gòu)的若干實(shí)施例。例如，設(shè)計(jì)可以利用ROM或靜態(tài)RAM存儲(chǔ)器來(lái)存儲(chǔ)實(shí)現(xiàn)包含在存儲(chǔ)器1130中的模塊的處理器指令。處理器指令可以被加載到RAM中以便于由圖像處理器1120執(zhí)行。例如，工作存儲(chǔ)器1105可以包括RAM存儲(chǔ)器，其中在由處理器1120執(zhí)行之前將指令加載到工作存儲(chǔ)器1105中。

因此，在本發(fā)明的一個(gè)方面中，公開(kāi)了一種生成包含物體的深度信息的高分辨率圖像的方法。所述方法包括從參考第一圖像產(chǎn)生降低分辨率的第一圖像，以及從參考第二圖像產(chǎn)生降低分辨率的第二圖像，所述參考第一圖像和參考第二圖像是立體圖像對(duì)。例如，可以使用立體對(duì)中的兩個(gè)高分辨率參考圖像，并且可以生成那些圖像的較低分辨率版本。所述方法還包括確定第一和第二降低分辨率圖像中的共軛點(diǎn)對(duì)的集合，并且至少部分地基于所述共軛點(diǎn)對(duì)，生成具有第一和第二降低分辨率圖像的分辨率的深度圖。所述方法還包括將深度圖上采樣到參考第一圖像的分辨率以生成高分辨率深度圖，上采樣包括在深度圖中內(nèi)插數(shù)據(jù)以生成高分辨率深度圖的深度數(shù)據(jù)，并且修改所述高分辨率深度圖的深度數(shù)據(jù)以符合所述參考第一圖像或所述參考第二圖像的邊緣。

實(shí)現(xiàn)系統(tǒng)和術(shù)語(yǔ)

本文公開(kāi)的實(shí)施方案提供了用于多孔陣列相機(jī)的沒(méi)有視差和傾斜偽影的系統(tǒng)、方法和設(shè)備。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，這些實(shí)施例可以在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。

在一些實(shí)施例中，上述電路、過(guò)程和系統(tǒng)可以用于無(wú)線通信裝置中。無(wú)線通信裝置可以是用于與其它電子裝置無(wú)線通信的一種電子裝置。無(wú)線通信裝置的實(shí)例包括蜂窩電話、智能電話、個(gè)人數(shù)字助理(PDA)、電子閱讀器、游戲系統(tǒng)、音樂(lè)播放器、上網(wǎng)本、無(wú)線調(diào)制解調(diào)器、膝上型計(jì)算機(jī)、平板裝置等。

無(wú)線通信裝置可以包括一或多個(gè)圖像傳感器、兩個(gè)或兩個(gè)以上圖像信號(hào)處理器以及包括用于執(zhí)行上述CNR過(guò)程的指令或模塊的存儲(chǔ)器。所述裝置還可以具有數(shù)據(jù)、從存儲(chǔ)器加載指令和/或數(shù)據(jù)的處理器、一或多個(gè)通信接口、一或多個(gè)輸入裝置、一或多個(gè)輸出裝置(例如顯示裝置和電源/接口)。無(wú)線通信裝置可以另外包括發(fā)射器和接收器。發(fā)射器和接收器可以共同稱為收發(fā)器。收發(fā)器可以耦合到用于發(fā)送和/或接收無(wú)線信號(hào)的一或多個(gè)天線。

無(wú)線通信裝置可以無(wú)線地連接到另一電子裝置(例如，基站)。無(wú)線通信裝置可以替代地被稱為移動(dòng)裝置、移動(dòng)站、用戶站、用戶裝置(UE)、遠(yuǎn)程站、接入終端、移動(dòng)終端、終端、用戶終端、用戶單元等。無(wú)線通信裝置的實(shí)例包括膝上型或臺(tái)式計(jì)算機(jī)、蜂窩電話、智能電話、無(wú)線調(diào)制解調(diào)器、電子閱讀器、平板裝置、游戲系統(tǒng)等。無(wú)線通信裝置可以根據(jù)例如第三代合作伙伴計(jì)劃(3GPP)的一或多個(gè)工業(yè)標(biāo)準(zhǔn)。因此，通用術(shù)語(yǔ)“無(wú)線通信裝置”可以包括根據(jù)工業(yè)標(biāo)準(zhǔn)(例如，接入終端、用戶裝置(UE)、遠(yuǎn)程終端等)以不同命名法描述的無(wú)線通信裝置。

本文描述的功能可以作為一或多個(gè)指令存儲(chǔ)在處理器可讀或計(jì)算機(jī)可讀媒體上。術(shù)語(yǔ)“計(jì)算機(jī)可讀媒體”是指可以由計(jì)算機(jī)或處理器訪問(wèn)的任何可用媒體。作為實(shí)例而非限制，這樣的媒體可以包括RAM、ROM、EEPROM、閃存、CD-ROM或其它光盤存儲(chǔ)器、磁盤存儲(chǔ)器或其它磁存儲(chǔ)裝置，或者可以用于以指令或數(shù)據(jù)結(jié)構(gòu)的形式存儲(chǔ)期望的程序代碼并且可以由計(jì)算機(jī)訪問(wèn)的其它媒體。如本文所使用的磁盤和光盤包括壓縮盤(CD)、激光盤、光盤、數(shù)字通用盤(DVD)、軟盤和其中磁盤通常磁性地再現(xiàn)數(shù)據(jù)，而光盤用激光光學(xué)地再現(xiàn)數(shù)據(jù)。應(yīng)當(dāng)注意，計(jì)算機(jī)可讀媒體可以是有形的和非暫時(shí)的。術(shù)語(yǔ)“計(jì)算機(jī)程序產(chǎn)品”是指與可以由計(jì)算裝置或處理器執(zhí)行、處理或計(jì)算的代碼或指令(例如，“程序”)結(jié)合的計(jì)算裝置或處理器。如本文所使用的，術(shù)語(yǔ)“代碼”可以指可由計(jì)算裝置或處理器執(zhí)行的軟件、指令、代碼或數(shù)據(jù)。

本文公開(kāi)的方法包括用于實(shí)現(xiàn)所描述的方法的一或多個(gè)步驟或動(dòng)作。在不脫離權(quán)利要求的范圍的情況下，所述方法步驟和/或動(dòng)作可以彼此互換。換句話說(shuō)，除非為了所描述的方法的正確操作需要步驟或動(dòng)作的特定順序，否則在不脫離權(quán)利要求的范圍的情況下，可以修改特定步驟和/或動(dòng)作的順序和/或使用。

應(yīng)當(dāng)注意，本文所使用的術(shù)語(yǔ)“耦合”、“耦合著”、“耦合了”或者單詞耦合的其它變型可以指示間接連接或直接連接。例如，如果第一部件“耦合”到第二部件，則第一部件可以間接連接到第二部件或直接連接到第二部件。如本文所使用的，術(shù)語(yǔ)“多個(gè)”表示兩個(gè)或兩個(gè)以上。例如，多個(gè)組件指示兩個(gè)或兩個(gè)以上組件。

術(shù)語(yǔ)“確定”包括各種各樣的動(dòng)作，因此“確定”可以包括計(jì)算、運(yùn)算、處理、導(dǎo)出、調(diào)查、查找(例如在表、數(shù)據(jù)庫(kù)或另一數(shù)據(jù)結(jié)構(gòu)中查找)、確定等。此外，“確定”可以包括接收(例如，接收信息)、訪問(wèn)(例如，訪問(wèn)存儲(chǔ)器中的數(shù)據(jù))等。此外，“確定”可以包括解析、選擇、選擇、建立等。

除非另有明確說(shuō)明，短語(yǔ)“基于”不意味著“僅基于”。換句話說(shuō)，短語(yǔ)“基于”描述“僅基于”和“至少基于”。

在前述描述中，給出了具體細(xì)節(jié)以提供對(duì)實(shí)施例的透徹理解。然而，本領(lǐng)域的普通技術(shù)人員將理解，可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐這些實(shí)例。例如，可以以框圖示出電氣部件/裝置，以便不以不必要的細(xì)節(jié)模糊實(shí)例。在其它實(shí)例中，可以詳細(xì)地示出這些組件、其它結(jié)構(gòu)和技術(shù)以進(jìn)一步解釋實(shí)例。

在此包括標(biāo)題以供參考并且有助于定位各個(gè)部分。這些標(biāo)題不旨在限制參照其描述的概念的范圍。這樣的概念可以在整個(gè)說(shuō)明書中具有適用性。

還應(yīng)注意，實(shí)例可以被描述為過(guò)程，其被描繪為流程圖、流程圖表、有限狀態(tài)圖、結(jié)構(gòu)圖或框圖。雖然流程圖可以將操作描述為順序過(guò)程，但是許多操作可以并行或并發(fā)地執(zhí)行，并且可以重復(fù)所述過(guò)程。此外，可以重新布置操作的順序。當(dāng)其操作完成時(shí)，過(guò)程終止。過(guò)程可以對(duì)應(yīng)于方法、函數(shù)、過(guò)程、子例程、子程序等。當(dāng)過(guò)程對(duì)應(yīng)于軟件函數(shù)時(shí)，其終止對(duì)應(yīng)于函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。

提供對(duì)所公開(kāi)的實(shí)施方案的先前描述以使本領(lǐng)域任何技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施方案的各種修改對(duì)于本領(lǐng)域技術(shù)人員將是顯而易見(jiàn)的，并且在不脫離本發(fā)明的精神或范圍的情況下，本文定義的一般原理可以應(yīng)用于其它實(shí)施方案。因此，本發(fā)明不旨在限于本文所示的實(shí)施方案，而是符合與本文公開(kāi)的原理和新穎特征一致的最寬范圍。