專利名稱：使用亮度和色度傳感器的圖像捕獲的制作方法
技術(shù)領(lǐng)域：
本發(fā)明所公開的實(shí)施方式總體上涉及圖像感測(cè)裝置，并且更具體地，涉及用于捕獲圖像且具有分離的亮度和色度傳感器的圖像感測(cè)裝置。
背景技術(shù)：
某些圖像捕獲裝置(例如數(shù)碼相機(jī)和錄像機(jī))能夠通過使用電子圖像傳感器以數(shù)字方式記錄圖像來拍攝視頻或靜止照片，或拍攝視頻和靜止照片二者。電子成像裝置的制造成本的持續(xù)降低，加上功能性的不斷增加以及用戶界面的增強(qiáng)，已經(jīng)使得使用增加并且普遍。數(shù)碼相機(jī)和/或攝像機(jī)不僅可作為獨(dú)立的裝置，而且還可以并入其它電子裝置中。例如，此類裝置可以并入計(jì)算機(jī)、移動(dòng)電話、手持式計(jì)算裝置等中。這些裝置還可以用作計(jì)算外圍設(shè)備以允許圖像捕獲、視頻會(huì)議、視頻聊天等。大部分的電子成像裝置使用由光敏像素網(wǎng)格制成的光電傳感器。這些像素可以測(cè)量光強(qiáng)(或亮度)，以及入射到這些像素的光的特定顏色。光的特定顏色的電子表示可以被處理以得出圖像的色度分量或圖像亮度部分或兩者。典型地，彩色圖像的亮度部分可以對(duì)總體圖像分辨率具有比色度部分更大的影響。這種效果能夠至少部分地歸因于人眼的結(jié)構(gòu)，人眼包括比用于感測(cè)顏色的錐狀細(xì)胞密度更高的用于感測(cè)亮度的桿狀細(xì)胞。雖然相對(duì)于色度更強(qiáng)調(diào)亮度的圖像感測(cè)裝置通常沒有明顯地?fù)p害所生成圖像的分辨率，但是如果亮度和色度傳感器與分離的光學(xué)透鏡組(optical lens trains)連接，并且亮度傳感器的“盲”區(qū)相對(duì)于色度傳感器的“盲”區(qū)偏移，則可能損失顏色信息。這種盲區(qū)的一個(gè)示例可能由于前景物體遮蔽背景物體而出現(xiàn)。而且，相同的前景物體可能造成色度傳感器和亮度傳感器兩者的盲區(qū)，或者由一個(gè)物體造成的色度盲區(qū)可能不完全與由第二個(gè)物體造成的亮度盲區(qū)重疊。在這種情況下，可能會(huì)丟失色度傳感器的“盲”區(qū)的顏色信息， 由此損害合成的彩色圖像的分辨率。

發(fā)明內(nèi)容
在此所描述的實(shí)施方式涉及用于通過使用一個(gè)或多個(gè)專用圖像傳感器捕獲圖像的亮度和色度部分的方式來捕獲圖像的系統(tǒng)、設(shè)備和方法。圖像傳感器可以包括一個(gè)或多個(gè)亮度傳感器以及一個(gè)或多個(gè)色度傳感器，以捕獲某種分辨率的圖像，而不考慮物體在圖像中的位置。在一種實(shí)施方式中，亮度傳感器可以設(shè)置于兩個(gè)色度傳感器之間。色度傳感器的視場(chǎng)可以被偏移成使得它們的潛在盲區(qū)不重疊。因此，對(duì)于圖像傳感器的每個(gè)像素，都可以獲得色度信息。一種實(shí)施方式可以采用以下形式的圖像感測(cè)裝置，該圖像感測(cè)裝置包括用于捕獲亮度圖像的第一圖像傳感器、用于捕獲第一色度圖像的第二圖像傳感器以及用于捕獲第二色度圖像的第三圖像傳感器。圖像感測(cè)裝置還可以包括用于將由第一圖像傳感器捕獲的亮度圖像、由第二圖像傳感器捕獲的第一色度圖像和由第三圖像傳感器捕獲的第二色度圖像組合以形成合成圖像的圖像處理模塊。
其它實(shí)施方式可以采用以下形式的圖像感測(cè)裝置，該圖像感測(cè)裝置包括用于捕獲亮度圖像的第一圖像傳感器、用于捕獲第一色度圖像的第二圖像傳感器以及用于捕獲第二色度圖像的第三圖像傳感器。第一圖像傳感器可能具有由于近場(chǎng)物體而產(chǎn)生的第一盲區(qū)。 第二圖像傳感器可能具有由于近場(chǎng)物體而產(chǎn)生的第二盲區(qū)。第三圖像傳感器可能具有由于近場(chǎng)物體而產(chǎn)生的第三盲區(qū)。所述圖像感測(cè)裝置還可以包括用于將由第一圖像傳感器捕獲的亮度圖像、第一色度圖像和第二色度圖像組合以形成合成圖像的圖像處理模塊。第二圖像傳感器的第二盲區(qū)可以相對(duì)于第三圖像傳感器的第三盲區(qū)偏移。本發(fā)明內(nèi)容部分為了以簡化的形式介紹概念的選擇而提供，所述概念將在下面的具體實(shí)施方式
中進(jìn)一步描述。本發(fā)明內(nèi)容部分并不是要確定所要求保護(hù)的主題的關(guān)鍵特征或本質(zhì)特征，也不是要用來限定所要求保護(hù)的主題的范圍。根據(jù)以下關(guān)于各種實(shí)施方式的更具體的書面描述，其它特征、細(xì)節(jié)、應(yīng)用和優(yōu)點(diǎn)將是顯而易見的，所述實(shí)施方式將在附圖中進(jìn)一步示出并且在所附的權(quán)利要求中進(jìn)一步定義。


圖1是示出包括圖像感測(cè)裝置的一種實(shí)施方式的系統(tǒng)的某些部件的功能框圖；圖2是圖1所示的圖像感測(cè)裝置的實(shí)施方式的功能框圖；圖3示出了對(duì)應(yīng)于圖2所示的圖像感測(cè)裝置的實(shí)施方式的因近場(chǎng)物體所致的盲區(qū)；以及圖4是用于使用亮度和色度傳感器來捕獲圖像的方法的流程圖。在不同的附圖中使用相同的參考標(biāo)號(hào)指示相似的或相同的項(xiàng)。
具體實(shí)施例方式在此所描述的實(shí)施方式涉及用于通過使用專用的圖像傳感器捕獲圖像的亮度和色度部分的方式來捕獲圖像的系統(tǒng)、設(shè)備和方法。圖像傳感器可以包括一個(gè)或多個(gè)亮度傳感器以及一個(gè)或多個(gè)色度傳感器，以捕獲某種分辨率的圖像，而不考慮物體在圖像中的位置。在一種實(shí)施方式中，亮度傳感器可以設(shè)置于兩個(gè)色度傳感器之間。色度傳感器的視場(chǎng)可以被偏移成使得它們潛在的盲區(qū)不重疊。盲區(qū)可以由部分或完全阻擋本該由傳感器捕獲的其它物體或者使它們變模糊的昏暗引起。因此，對(duì)于圖像傳感器的每個(gè)像素，都可以獲得色度信息。在下面關(guān)于說明性的實(shí)施方式的討論中，術(shù)語“圖像感測(cè)裝置”包括但不限于能夠捕獲靜止或運(yùn)動(dòng)圖像的任意電子裝置。圖像感測(cè)裝置可以使用模擬或數(shù)字傳感器或者它們的組合來捕獲圖像。在某些實(shí)施方式中，圖像感測(cè)裝置可以被配置成將所捕獲到的圖像轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)或者促進(jìn)這種轉(zhuǎn)換。圖像感測(cè)裝置可以設(shè)置于各種電子裝置中，包括但不限于數(shù)碼相機(jī)、個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、移動(dòng)電話，或者能夠被配置用來處理圖像數(shù)據(jù)的任意其它裝置。圖1是示出包括示例圖像感測(cè)裝置100的電子裝置10的一種實(shí)施方式的某些部件的功能框圖。電子裝置10可以包括處理單元12、存儲(chǔ)器14、通信接口 20、圖像感測(cè)裝置 100、輸出裝置M和通信路徑16。通信路徑16 (該通信路徑16可以是數(shù)字總線)可以耦接兩個(gè)或更多個(gè)系統(tǒng)部件，所述系統(tǒng)部件包括但不限于存儲(chǔ)器14和處理單元12。其它實(shí)施方式可以包括更多或更少的部件。如圖1所示，圖像感測(cè)裝置100可以配置用于接收入射光并且將其轉(zhuǎn)換成一個(gè)或多個(gè)圖像信號(hào)。圖像信號(hào)可以是數(shù)字信號(hào)、模擬信號(hào)或兩者。在一種實(shí)施方式中，圖像感測(cè)裝置100可以經(jīng)由通信路徑16將圖像信號(hào)發(fā)送到存儲(chǔ)器14，所述存儲(chǔ)器14可以在信號(hào)輸送到處理單元12之前或之后存儲(chǔ)從圖像感測(cè)裝置100接收到的圖像信號(hào)。作為選擇，圖像信號(hào)可以從圖像感測(cè)裝置100發(fā)送到處理單元12，繞過存儲(chǔ)器14。不論在何種情況下，處理單元12都可以使用圖像信號(hào)來構(gòu)造全彩色圖像。在一種實(shí)施方式中，彩色圖像可以是包含圖像的每個(gè)像素的顏色信息的數(shù)字圖像。作為該過程的一部分，處理單元12可以調(diào)整圖像數(shù)據(jù)的顏色值或者以其它方式操縱該圖像數(shù)據(jù)。最終的全彩色圖像可以被輸出到集成于成像裝置中或者在成像裝置之外的輸出裝置M，或者可以存儲(chǔ)于存儲(chǔ)器14之內(nèi)。同樣地， 可使得最終的圖像可用于打印或者存儲(chǔ)于圖像感測(cè)裝置100之內(nèi)或之外。存儲(chǔ)器14可以切實(shí)地包含能夠促使電子裝置10的一個(gè)或多個(gè)部件(例如，圖像感測(cè)裝置部件100)以在此所描述的預(yù)定方式工作的一個(gè)或多個(gè)程序、功能和/或指令。存儲(chǔ)器14可以包括可移動(dòng)的或固定的、易失性的或非易失性的、或者永久的或可重寫的計(jì)算機(jī)存儲(chǔ)介質(zhì)。存儲(chǔ)器14可以是能夠被通用目的或?qū)Ｓ玫挠?jì)算裝置或圖像處理裝置訪問的任何可用介質(zhì)。舉例來說，該計(jì)算機(jī)可讀介質(zhì)可以包括閃速存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、電可擦除可編程只讀存儲(chǔ)器、光盤存儲(chǔ)器、磁存儲(chǔ)器，或者能夠用來存儲(chǔ)數(shù)字信息的任意其它介質(zhì)，但不限于此。在一種實(shí)施方式中，處理單元12(該處理單元12可以專用于圖像處理或者可以包括其它功能)可以配置用于將圖像信號(hào)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。處理單元12可以是各種在市場(chǎng)上可購得的處理器中的任一種，所述處理器包括但不限于微處理器、中央處理單元等，并且能夠包括多個(gè)處理器和/或協(xié)處理器。其它實(shí)施方式可以包括配置用于執(zhí)行所述處理單元的功能的固件或軟件。在某些實(shí)施方式中，通信接口 20可以促進(jìn)在電子裝置10與另一裝置(例如，主計(jì)算機(jī)或服務(wù)器)之間的數(shù)據(jù)交換。在某些實(shí)施方式中，電子裝置10還可以包括配置用來接收來自圖像感測(cè)裝置100 的圖像信號(hào)并且顯示該圖像信號(hào)以用于觀看的輸出裝置對(duì)。輸出裝置M可以是能夠顯示圖像信號(hào)的任何類型的部件，包括但不限于液晶顯示器、發(fā)光二極管顯示器、等離子體顯示器、有機(jī)發(fā)光二極管顯示器等。在其它實(shí)施方式中，輸出裝置M可以不存在于電子裝置10 之內(nèi)，而可以是可與電子裝置10連接以接收?qǐng)D像信號(hào)的分離的部件，例如監(jiān)視器、電視機(jī)、 投影儀等。圖2是用于捕獲和存儲(chǔ)圖像數(shù)據(jù)的圖像感測(cè)裝置100的一種實(shí)施方式的功能框圖。在一種實(shí)施方式中，圖像感測(cè)裝置100可以是電子裝置10中的部件，如圖1所示。但是，在其它實(shí)施方式中，圖像感測(cè)裝置100可以是其它類型的電子裝置中的部件，所述其它類型的電子裝置可以包括額外的部件或者比圖1所示的裝置10少的部件。例如，圖像感測(cè)裝置100可被用于獨(dú)立的數(shù)碼相機(jī)、媒體播放器、移動(dòng)電話等中。如圖2所示，圖像感測(cè)裝置100可以包括透鏡組件102、第一色度傳感器140、亮度傳感器141、第二色度傳感器142和圖像處理模塊110。在一種實(shí)施方式中，透鏡組件102 可以包括三個(gè)平行的透鏡組104、105、106。每個(gè)透鏡組104、105、106可以具有一個(gè)或多個(gè)光學(xué)對(duì)準(zhǔn)的透鏡元件103。在一種實(shí)施方式中，平行的透鏡組104、105、106可以配置用于接收入射光101并且使光123a、123b、123c折射到亮度傳感器141以及第一和第二色度傳感器140、142。透鏡組104、105、106可以各自配置用于將光傳輸?shù)剿P(guān)聯(lián)的亮度或色度傳感器140、141、142。亮度傳感器141可配置用于捕獲被其相應(yīng)的平行透鏡組105穿過的入射光的亮度分量。另外，色度傳感器140、142中的每一個(gè)都可以配置用于捕獲與被其相應(yīng)的平行透鏡組104、106穿過的入射光有關(guān)的顏色數(shù)據(jù)。在一種實(shí)施方式中，色度傳感器140、 142可以感測(cè)圖像的R(紅色)、G(綠色)和B (藍(lán)色)分量，并且處理這些分量以得出色度 fn息ο在一種實(shí)施方式中，透鏡組件102可以包括具有用于每個(gè)平行透鏡組104、105、 106的一個(gè)或多個(gè)分離的透鏡元件103的透鏡塊。根據(jù)某些實(shí)施方式，透鏡組件102的每個(gè)透鏡元件103都可以是非球面透鏡和/或可以由相同的成型腔模制成為在相對(duì)的透鏡組中的另一對(duì)應(yīng)的透鏡元件103。另外，在各個(gè)平行透鏡組104、105、106的對(duì)應(yīng)位置中的模制透鏡可以由相同的成型腔形成。當(dāng)每個(gè)透鏡組接收相同的入射光時(shí)，這可以有利于最小化所生成圖像的差異，所述差異例如幾何差異和徑向光衰減。但是，在其它實(shí)施方式中，透鏡元件可以不由相同的成型腔模制而成。例如，透鏡元件可以使用多腔成型工具來制造。在其它實(shí)施方式中，在特定透鏡組中的透鏡103可以是彼此不同的，或者透鏡元件103在各個(gè)透鏡組中可以是不同的。例如，一個(gè)透鏡元件可以被配置成具有比不同透鏡組中的對(duì)應(yīng)元件更大的孔徑開口，以便使較高強(qiáng)度的光傳輸?shù)揭粋€(gè)傳感器。第一色度傳感器140可以包括第一濾光器115以及與第一濾光器115關(guān)聯(lián)的第一圖像傳感器120。亮度傳感器141可以具有第二濾光器116以及與第二濾光器116關(guān)聯(lián)的第二圖像傳感器121。第二色度傳感器142可以具有第三濾光器117，以及與第三濾光器117 關(guān)聯(lián)的第三圖像傳感器122。在一種實(shí)施方式中，亮度傳感器141和兩個(gè)色度傳感器140、 142可以是分離的集成電路。但是，在其它實(shí)施方式中，亮度和色度傳感器可以形成于同一電路之上和/或形成于單一板或其它元件之上。如圖2所示，濾光器115、116、117可以設(shè)置于第一、第二和第三圖像傳感器120、 121,122與物體之間，使得由物體反射的光穿過濾光器115、116、117并且入射到相應(yīng)的圖像傳感器120、121、122。圖像傳感器120、121、122可以是能夠檢測(cè)各種波長的光的任何電子傳感器，例如通常使用于數(shù)碼相機(jī)、數(shù)字?jǐn)z像機(jī)、移動(dòng)電話和個(gè)人數(shù)字助理、網(wǎng)絡(luò)攝像機(jī)等中的那些圖像傳感器。在一種實(shí)施方式中，第一、第二和第三圖像傳感器120、121、122可以由色敏像素的陣列形成。也就是說，圖像傳感器120、121、122的每個(gè)像素可以檢測(cè)構(gòu)成可見光的各種波長中的至少一種。由每個(gè)這樣的像素生成的信號(hào)可以隨著入射到它的光的波長的變化而變化，從而使得所述陣列可以由此再現(xiàn)物體213的合成圖像。在一種實(shí)施方式中，第一、第二和第三圖像傳感器120、121、122可以具有基本上相同的像素陣列配置。例如，第一、第二和第三圖像傳感器120、121、122可以具有相同的像素?cái)?shù)量、相同的像素寬高比、相同的像素布置、和/或相同的像素尺寸。但是，在其它實(shí)施方式中，第一、第二和第三圖像傳感器 120、121、122可以具有不同的像素?cái)?shù)量、像素尺寸和/或布局。例如，在一種實(shí)施方式中，兩個(gè)色度傳感器140、142的第一和第三圖像傳感器120、122可以比亮度傳感器141的第二圖像傳感器121具有較少數(shù)量的像素，反之亦然，或者像素的布置在各傳感器之間可以是不同的。
如以上所暗示的，第一和第三濾光器115、117可以置于第一和第三圖像傳感器 120、122之上，并且允許所述圖像傳感器捕獲所感測(cè)圖像的色度部分，例如色度圖像12 和125c。類似地，第二濾光器116可以置于第二圖像傳感器121之上，并且允許圖像傳感器 121捕獲所感測(cè)圖像的亮度部分，作為亮度圖像12恥。亮度圖像12 ，連同色度圖像12 和125c —起，可以被發(fā)送到圖像處理模塊110。如以下將進(jìn)一步描述的，圖像處理模塊110 可以將由亮度傳感器141捕獲并發(fā)送的亮度圖像12 與由色度傳感器140、142捕獲并發(fā)送的色度圖像125a、125c組合，以輸出合成圖像213。在一種實(shí)施方式中，圖像的亮度可以按照下列方式表示為圖像的紅色、綠色和藍(lán)色的波長的加權(quán)和L = O. 59G+0. 3R+0. IlB其中L是亮度、G是所測(cè)得的綠光、R是所測(cè)得的紅光，而B是所測(cè)得的藍(lán)光。圖像的色度部分可以是全彩色圖像和亮度圖像之間的差。因此，全彩色圖像可以是與圖像的亮度部分組合的圖像的色度部分。色度部分可以通過在數(shù)學(xué)上處理圖像的R、G和B分量來得出，并且可以表示為針對(duì)圖像傳感器的每個(gè)像素的兩個(gè)信號(hào)或二維向量。例如，色度部分可以通過兩個(gè)單獨(dú)的分量Cr和Cb來定義，其中Cr可以與所測(cè)得的紅光減去所測(cè)得的亮度之差成比例，以及其中Cb可以與所測(cè)得的藍(lán)光減去所測(cè)得的亮度之差成比例。在某些實(shí)施方式中，例如，通過以紅色和藍(lán)色濾光器陣列覆蓋第一和第三圖像傳感器120、122的像素元件，第一和第二色度傳感器140、142可配置用于檢測(cè)紅光和藍(lán)光而不檢測(cè)綠光。這可以用棋盤形圖案的紅色和藍(lán)色濾光器部分來實(shí)現(xiàn)。在其它實(shí)施方式中，濾光器可以包括Bayer 圖案的濾光器陣列，該濾光器陣列包括紅色、藍(lán)色和綠色的濾光器。作為選擇，濾光器可以是CYGM(青色、黃色、綠色、品紅色)或RGBE(紅色、綠色、藍(lán)色、翠綠色)濾光器。如以上所討論的，對(duì)于總的彩色圖像分辨率而言，彩色圖像的亮度部分可以比彩色圖像的色度部分具有更大的影響。在某些實(shí)施方式中，亮度傳感器141可以是具有比色度傳感器140、142的像素?cái)?shù)更高的像素?cái)?shù)的圖像傳感器121。因此，由亮度傳感器141生成的亮度圖像12 可以是比由色度傳感器140、142生成的色度圖像125a、12^更高分辨率的圖像。在其它實(shí)施方式中，亮度圖像12 與色度圖像12fe、125c相比可以以更高的分辨率來存儲(chǔ)或者以更高的帶寬來傳輸。在某些實(shí)施方式中，色度圖像125a、125c可以被降低帶寬、二次采樣、壓縮或者以其它方式單獨(dú)處理，以縮短處理色度圖像125a、125c所需的時(shí)間量并提高圖像感測(cè)裝置100的總的效率或性能。獨(dú)立于色度傳感器140、142控制亮度傳感器141的能力能夠以多種方式擴(kuò)展圖像感測(cè)裝置100的性能。根據(jù)某些實(shí)施方式，色度傳感器140、142可配置用于將色度圖像 125aU25b生成為較低分辨率的圖像，而不產(chǎn)生人可察覺的合成圖像213的劣化，特別是在合成圖像213被壓縮(例如，使用JPEG壓縮)的情況下。在另一種實(shí)施方式中，與亮度傳感器121相比，色度傳感器140、142可以使用較大的透鏡孔徑或較低的幀頻，這可以改進(jìn)較低的光亮水平下(例如，在入射光101的較低強(qiáng)度水平下)的操作。在其它實(shí)施方式中，色度傳感器140、142可以使用較短的曝光時(shí)間來減少運(yùn)動(dòng)模糊。在某些實(shí)施方式中，亮度傳感器141可以缺少任意的濾光器116，或者可以使用與彩色濾光器115、117的光透射相比具有增大的光透射的濾光器。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，沒有濾光器的圖像傳感器或者使用具有增大的光透射的濾光器的圖像傳感器可以基本上檢測(cè)到入射光的全部強(qiáng)度，并且使得每秒鐘吸收相同數(shù)量的光子的更小的像素成為可能。這可以使得圖像傳感器121能夠具有較高的采樣率、改進(jìn)的光效率和/或靈敏度。例如，亮度傳感器141可以配置用于在基本上全部像素位置感測(cè)任意波長的光。在其它實(shí)施方式中，亮度傳感器141可以包括濾光器116，該濾光器116根據(jù)需要使光衰減，以便由傳感器產(chǎn)生與人眼的響應(yīng)相匹配的響應(yīng)。例如，在一種實(shí)施方式中，濾光器116可以產(chǎn)生模仿人眼的響應(yīng)的加權(quán)函數(shù)。通過感測(cè)圖像的全部或基本上全部的亮度所提供的亮度傳感器141的提高的靈敏度可以以各種方式用于擴(kuò)展圖像感測(cè)裝置100的性能及其合成圖像213。例如，具有相對(duì)小的像素的圖像傳感器可以配置用于均分(average)幀或者以更高的幀頻來工作。另外， 噪聲水平可以通過使用較小的模擬和/或數(shù)字增益來提高圖像壓縮和圖像分辨率的方式降低。較小的透鏡孔徑可以用來增加景深。圖像可以在較暗的環(huán)境照明條件下捕獲。在某些實(shí)施方式中，亮度和色度傳感器140、141、142中的任意兩個(gè)的視場(chǎng)可以偏移，從而使得所產(chǎn)生的圖像12fe、125b、125c稍微不同。如以上所討論的，圖像處理模塊110 可以將由亮度傳感器141捕獲并發(fā)送的高分辨率的亮度圖像12 與由第一和第二色度傳感器140、142捕獲并發(fā)送的第一和第二色度圖像125a、125c組合，以輸出合成圖像213。如以下將進(jìn)一步討論的，圖像處理模塊110可以使用多種技術(shù)來考慮在高分辨率的亮度圖像 125b與第一和第二色度圖像140、142之間的差異以形成合成圖像213。在一種實(shí)施方式中，第一和第二色度傳感器140、142可以相互偏離，并且圖像處理模塊110可以配置用于補(bǔ)償在由傳感器所捕獲的圖像12fe、125c之間的差異。在某些實(shí)施方式中，這可以通過將第一色度圖像12 與第二色度圖像125c進(jìn)行比較以形成這兩個(gè)色度圖像125a、125c之間的立體視差圖來實(shí)現(xiàn)。立體視差圖可以是深度圖，在該深度圖中物體在圖像中的深度信息由偏移的第一和第二色度圖像125a、125c得出。該信息可以被用來估計(jì)在圖像中的物體之間的近似距離，該近似距離又可以被用來使第一和第二色度圖像 125aU25c基本上對(duì)準(zhǔn)。在某些實(shí)施方式中，圖像處理模塊110還可以將亮度圖像12 與色度圖像12fe、125c中的一個(gè)或兩個(gè)進(jìn)行比較，以進(jìn)一步形成亮度圖像12 與色度圖像 125a、125c之間的立體視差圖。作為選擇，圖像處理模塊110可以配置用于改進(jìn)最初僅使用兩個(gè)色度傳感器生成的立體視差圖的精度。在該三傳感器方法的一種實(shí)施方式中，色度傳感器可以是全Bayer陣列的傳感器。根據(jù)某些實(shí)施方式，圖像處理模塊110可以使用立體視差圖來生成第一和第二色度圖像125a、125c中的至少一個(gè)的特意(deliberate)的幾何畸變，例如補(bǔ)償景深效果或立體效果。由圖像感測(cè)裝置100捕獲的某些圖像可以具有在距透鏡組件202的各種工作距離處的同時(shí)存在的許多感興趣的物體。第一和第二色度圖像12fe、125c的對(duì)準(zhǔn)因此可以包括使用特定的彎曲函數(shù)彎曲一個(gè)圖像以在需要對(duì)準(zhǔn)時(shí)匹配其它圖像。例如，彎曲函數(shù)可以使用第一和第二色度圖像125a、125c來得出，除了景深效果和立體效果之外，所述第一和第二色度圖像12fe、125c可以是基本上相同的圖像。在一種實(shí)施方式中，用于確定彎曲函數(shù)的算法可以基于找出第一和第二色度圖像12fe、125c中的基準(zhǔn)、然后確定像素陣列中的基準(zhǔn)之間的距離。一旦確定了彎曲函數(shù)，就可以使第一色度圖像126a “彎曲”，并使之與第二色度圖像126b組合。在某些實(shí)施方式中，還可以使第一和第二色度圖像12fe、125c “彎曲”，并使它們與色度圖像12 組合以形成合成圖像213。在其它實(shí)施方式中，圖像處理模塊110可以配置用于通過選擇性地裁剪這些圖像中的至少一個(gè)、通過識(shí)別第一和第二色度圖像12fe、125c的視場(chǎng)中的基準(zhǔn)、或者通過將標(biāo)定數(shù)據(jù)用于圖像處理模塊210來使圖像 125a、125b、125c對(duì)準(zhǔn)。在又一種實(shí)施方式中，可以組合這兩個(gè)色度圖像125a、125c,使得所組合的色度圖像的表觀視場(chǎng)(apparent filed of view)與亮度傳感器的視場(chǎng)相同。圖3示出了對(duì)應(yīng)于圖2所示的圖像感測(cè)裝置的實(shí)施方式的因近場(chǎng)物體所導(dǎo)致的盲區(qū)。如圖3所示，第一和第二色度傳感器140、142的視場(chǎng)能夠被偏移，使得第一和第二色度圖像125a、125c是不同的。例如，第一和第二色度傳感器140、142的視場(chǎng)能夠被水平地或垂直的偏移。在其它實(shí)施方式中，第一和第二色度傳感器的視場(chǎng)能夠被對(duì)角地偏移或以其它方式偏移。一旦偏移，第一和第二色度傳感器140、142的視場(chǎng)就可能只是部分重疊。在其它實(shí)施方式中，第一和第二色度傳感器140、142的視場(chǎng)可以完全重疊。亮度傳感器141的視場(chǎng)同樣能夠水平地、垂直地、對(duì)角地或者以其它方式相對(duì)于第一和第二色度傳感器140、142的視場(chǎng)偏移。在一種實(shí)施方式中，亮度傳感器141的視場(chǎng)可以相對(duì)于第一和第二色度傳感器140、142的視場(chǎng)偏移，使得第一色度傳感器140的視場(chǎng)可以只是部分地與亮度傳感器141的視場(chǎng)重疊以及第二色度傳感器142的視場(chǎng)可以只是部分地與亮度傳感器141的視場(chǎng)重疊。在其它實(shí)施方式中，第一和第二色度傳感器140、142 以及亮度傳感器141的視場(chǎng)可以完全重疊。亮度和色度傳感器140、141、142中的每一個(gè)都可能具有因近場(chǎng)物體207所導(dǎo)致的盲區(qū)201、203、205，該近場(chǎng)物體207會(huì)部分地或完全地遮蔽傳感器的視場(chǎng)。例如，近場(chǎng)物體 207可能阻擋傳感器140、141、142的視場(chǎng)，從而阻礙傳感器140、141、142檢測(cè)到背景或遠(yuǎn)場(chǎng)物體209的一部分或全部，該遠(yuǎn)場(chǎng)物體209位于比近場(chǎng)物體離傳感器140、141、142更遠(yuǎn)的位置。在一種實(shí)施方式中，色度傳感器140、142可以設(shè)置成使得色度傳感器140、142的盲區(qū)201、205不重疊。因此，在許多情況下，色度傳感器140、142中的一個(gè)由于近場(chǎng)物體207 而丟失的色度信息可以通過圖像感測(cè)裝置的另一個(gè)色度傳感器140、142來捕獲。如前面所描述的，所捕獲的顏色信息然后可以與來自亮度傳感器141的亮度信息組合，并且結(jié)合到最終的圖像中。由于色度傳感器的盲區(qū)偏移，通過確保在需要的地方由色度傳感器140、142 中的至少一個(gè)來提供顏色信息，可以在最終的圖像中減少立體成像偽影(artifact)。換言之，亮度傳感器141的每個(gè)像素的顏色信息可以由色度傳感器140、142中的至少一個(gè)來提供。因而，例如，當(dāng)R-B濾光器陣列結(jié)合色度傳感器使用時(shí)，三傳感器的圖像感測(cè)裝置會(huì)是有用的，并且來自亮度傳感器的亮度圖像可能是計(jì)算圖像的色度分量所需要的或者有助于計(jì)算圖像的色度分量。生成多個(gè)色度圖像125a、125c可以產(chǎn)生更精確的立體視差圖，從而導(dǎo)致亮度和色度圖像125a、125b、125c更精確的對(duì)準(zhǔn)，所述亮度和色度圖像125a、125b、125c被組合以形成合成圖像213。例如，用于生成立體視差圖的許多算法使用色彩來使來自一個(gè)圖像的點(diǎn)或特征與另一圖像的相同點(diǎn)或特征相匹配。因此，與只能夠生成單一色度圖像的圖像感測(cè)裝置相比，由第一和第二色度傳感器140、142產(chǎn)生的色度圖像可以允許生成更精確的立體視差圖。另外，某些實(shí)施方式還可以將由亮度傳感器141產(chǎn)生的亮度圖像12 與由色度傳感器140、142產(chǎn)生的每個(gè)彩色圖像125a、12^進(jìn)行比較，以生成彩色圖像與色度圖像之間的附加的視差圖。這可以進(jìn)一步提高圖像感測(cè)裝置使亮度和彩色圖像精確對(duì)準(zhǔn)以形成合成圖像213的能力。圖像感測(cè)裝置的其它實(shí)施方式可以包括色度和亮度傳感器的其它配置。例如，在一種實(shí)施方式中，亮度和色度傳感器140、141、142可以設(shè)置成使得亮度和色度傳感器140、 141、142中的每一個(gè)的盲區(qū)201、203、205可以不同。在某些實(shí)施方式中，亮度和色度傳感器的盲區(qū)201、203、205可以完全不重疊。在其它實(shí)施方式中，色度傳感器140、142的盲區(qū)可以彼此部分或完全重疊。仍然參考圖3，亮度照相機(jī)141可以設(shè)置于色度傳感器140、142之間，使得亮度傳感器141的盲區(qū)203可以位于第一和第二色度傳感器140、142的盲區(qū)205、201之間。這種配置可以防止或減少在第一和第二色度傳感器140、142的盲區(qū)205、201之間的重疊，同時(shí)還允許在圖像感測(cè)裝置中的傳感器的更緊湊的布置。但是，在其它實(shí)施方式中，亮度攝像機(jī) 141可以設(shè)置成與色度傳感器140、142中的一個(gè)或兩個(gè)相鄰，而不是在這兩個(gè)傳感器之間。圖4是根據(jù)某些實(shí)施方式用于使用分離的亮度和色度傳感器來捕獲圖像的示例性方法400的流程圖。在塊402的操作中，入射光可以被第一色度圖像傳感器捕獲為第一色度圖像。在一種實(shí)施方式中，第一色度圖像傳感器可以配置用于捕獲低分辨率的圖像。第一色度圖像傳感器可以配置用于捕獲入射光的色度和亮度部分。在塊404的操作中，入射光可以被第二色度圖像傳感器捕獲為第二色度圖像。在一種實(shí)施方式中，第二色度圖像傳感器可以配置用于捕獲低分辨率的色度圖像。第一色度圖像傳感器可以相對(duì)于第二色度圖像傳感器偏移，使得第一和第二色度圖像傳感器的盲區(qū)不重疊，或者只是部分重疊。在塊406的操作中，入射光可以被亮度圖像傳感器捕獲為亮度圖像。在一種實(shí)施方式中，亮度圖像與被第一和第二色度圖像傳感器捕獲的色度圖像相比可以具有更高數(shù)量的像素或者可以是分辨率更高的圖像。在塊408的操作中，第一色度圖像可以與第二色度圖像組合以形成立體視差圖。在某些實(shí)施方式中，來自第一和第二色度圖像的色度信息可以被用來在兩個(gè)圖像中識(shí)別相同的點(diǎn)或像素。在塊410的操作中，第一色度圖像、第二色度圖像和亮度圖像可以被組合以形成合成圖像。在某些實(shí)施方式中，組合圖像可以包括使用諸如幾何畸變和圖像裁剪的技術(shù)來使圖像基本上對(duì)準(zhǔn)。例如，可以將亮度圖像與第一和第二色度圖像中的每一個(gè)進(jìn)行比較以確定為適當(dāng)?shù)亟M合這兩個(gè)圖像以形成合成圖像所需的適當(dāng)?shù)膹澢瘮?shù)。除非另有說明，否則在此示出并描述的方法的執(zhí)行或施行的順序并不是必要的。 也就是說，除非另有說明，否則方法的元素可以按任意順序來執(zhí)行，并且方法可以包括比在此所公開的那些元素多或少的元素。例如，應(yīng)當(dāng)想到，特定元素在另一元素之前或之后執(zhí)行或施行或者該特定元素與另一元素同時(shí)執(zhí)行或施行都是可能的執(zhí)行順序。
權(quán)利要求
1.一種圖像感測(cè)裝置，包括用于捕獲亮度圖像的第一圖像傳感器； 用于捕獲第一色度圖像的第二圖像傳感器； 用于捕獲第二色度圖像的第三圖像傳感器；以及用于將所述亮度圖像、所述第一色度圖像和所述第二色度圖像組合以形成合成圖像的圖像處理模塊。
2.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述第一圖像傳感器被設(shè)置于所述第二圖像傳感器和所述第三圖像傳感器之間。
3.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述第二圖像傳感器捕獲第一視場(chǎng)，而所述第三圖像傳感器捕獲第二視場(chǎng)；并且所述第一視場(chǎng)相對(duì)于所述第二視場(chǎng)偏移。
4.根據(jù)權(quán)利要求3所述的圖像感測(cè)裝置，其中所述第一圖像傳感器捕獲第三視場(chǎng)；并且所述第三視場(chǎng)相對(duì)于所述第一視場(chǎng)和所述第二視場(chǎng)偏移。
5.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述圖像處理模塊被配置成根據(jù)所述第一色度圖像和所述第二色度圖像生成立體視差圖。
6.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述圖像處理模塊被配置成根據(jù)所述第一色度圖像和所述亮度圖像生成第一立體視差圖，以及根據(jù)所述第二色度圖像和所述亮度圖像生成第二立體視差圖。
7.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述第二圖像傳感器或所述第三圖像傳感器包括紅色和藍(lán)色濾光器的圖案。
8.根據(jù)權(quán)利要求1所述的圖像感測(cè)裝置，其中所述第二圖像傳感器或所述第三圖像傳感器包括Bayer圖案的濾光器。
9.一種用于感測(cè)圖像的方法，包括以下步驟 通過第一傳感器生成亮度圖像；通過第二傳感器生成第一色度圖像； 通過第三傳感器生成第二色度圖像；將所述亮度圖像與所述第一色度圖像和所述第二色度圖像組合以產(chǎn)生合成圖像。
10.根據(jù)權(quán)利要求9所述的方法，其中所述第一傳感器比所述第二傳感器具有更高的像素?cái)?shù)。
11.根據(jù)權(quán)利要求9所述的方法，其中所述第一傳感器比所述第三傳感器具有更高的像素?cái)?shù)。
12.根據(jù)權(quán)利要求9所述的方法，還包括根據(jù)所述第一色度圖像和所述第二色度圖像生成立體視差圖，其中所述亮度圖像基于所述立體視差圖來與所述第一色度圖像和所述第二色度圖像組合。
13.根據(jù)權(quán)利要求9所述的方法，還包括根據(jù)所述第一色度圖像和所述亮度圖像生成第一立體視差圖；以及根據(jù)所述第二色度圖像和所述亮度圖像生成第二立體視差圖，其中所述亮度圖像基于所述第一立體視差圖和所述第二立體視差圖來與所述第一色度圖像和所述第二色度圖像組合。
14.根據(jù)權(quán)利要求9所述的方法，其中所述組合步驟包括使所述第一色度圖像和所述第二色度圖像與所述亮度圖像基本上對(duì)準(zhǔn)。
15.根據(jù)權(quán)利要求14所述的方法，其中使所述第一色度圖像和所述第二色度圖像與所述亮度圖像基本上對(duì)準(zhǔn)包括使所述第一色度圖像和所述第二色度圖像彎曲。
16.一種圖像感測(cè)裝置，包括用于捕獲亮度圖像的第一圖像傳感器，所述第一圖像傳感器具有由于近場(chǎng)物體而產(chǎn)生的第一盲區(qū)；用于捕獲第一色度圖像的第二圖像傳感器，所述第二圖像傳感器具有由于所述近場(chǎng)物體而產(chǎn)生的第二盲區(qū)；用于捕獲第二色度圖像的第三圖像傳感器，所述第三圖像傳感器具有由于所述近場(chǎng)物體而產(chǎn)生的第三盲區(qū)；以及用于將由所述第一圖像傳感器捕獲的所述亮度圖像、所述第一色度圖像和所述第二色度圖像組合以形成合成圖像的圖像處理模塊，其中所述第二圖像傳感器的所述第二盲區(qū)相對(duì)于所述第三圖像傳感器的所述第三盲區(qū)偏移。
17.根據(jù)權(quán)利要求16所述的圖像感測(cè)裝置，其中所述第一圖像傳感器被設(shè)置于所述第二圖像傳感器和所述第三圖像傳感器之間。
18.根據(jù)權(quán)利要求16所述的圖像感測(cè)裝置，其中所述第二盲區(qū)不與所述第三盲區(qū)重疊。
19.根據(jù)權(quán)利要求16所述的圖像感測(cè)裝置，其中所述第一盲區(qū)相對(duì)于所述第二盲區(qū)和所述第三盲區(qū)中的至少一個(gè)偏移。
20.根據(jù)權(quán)利要求19所述的圖像感測(cè)裝置，其中所述第一圖像傳感器是比所述第二圖像傳感器分辨率更高的傳感器。
全文摘要
本發(fā)明涉及使用亮度和色度傳感器的圖像捕獲。在此所公開的方法和設(shè)備涉及圖像感測(cè)裝置。一種實(shí)施方式可以采用以下形式的圖像感測(cè)裝置，該圖像感測(cè)裝置包括用于捕獲亮度圖像的第一圖像傳感器、用于捕獲第一色度圖像的第二圖像傳感器以及用于捕獲第二色度圖像的第三圖像傳感器。圖像感測(cè)裝置還可以包括用于將由第一圖像傳感器捕獲的亮度圖像、由第二圖像傳感器捕獲的第一色度圖像和由第三圖像傳感器捕獲的第二色度圖像組合以形成合成圖像的圖像處理模塊。
文檔編號(hào)H04N9/77GK102378015SQ201110233988
公開日2012年3月14日 申請(qǐng)日期2011年8月16日 優(yōu)先權(quán)日2010年8月17日
發(fā)明者D·S·蓋爾 申請(qǐng)人:蘋果公司