用于捕獲視頻內(nèi)容的方法、裝置和計算機程序產(chǎn)品的制作方法
【專利摘要】本發(fā)明的各實施例涉及用于捕獲視頻內(nèi)容的方法、裝置和計算機程序產(chǎn)品。根據(jù)一個示例實施例，提供一種方法、裝置和計算機程序產(chǎn)品。該方法包括接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合和與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合。第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。該方法還包括至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成與場景對應(yīng)的顏色幀。
【專利說明】用于捕獲視頻內(nèi)容的方法、裝置和計算機程序產(chǎn)品
【技術(shù)領(lǐng)域】
[0001]各種實現(xiàn)方式總體上涉及用于捕獲視頻內(nèi)容的方法、裝置和計算機程序產(chǎn)品。
【背景技術(shù)】
[0002]諸如相機之類的媒體捕獲設(shè)備被配置成捕獲在周圍環(huán)境中顯露的場景以生成多媒體內(nèi)容，諸如視頻內(nèi)容。所生成的視頻內(nèi)容包括以流傳輸?shù)男问斤@示以創(chuàng)建與移動內(nèi)容相關(guān)聯(lián)的連續(xù)性的印象的多個靜態(tài)圖像或幀。幀率是指用于創(chuàng)建連續(xù)性的印象的幀(例如連續(xù)幀)的顯示的速率，并且以每秒楨為單位被測量。確定幀率的因素之一是曝光時間，其是指光針對每幀到達圖像傳感器的持續(xù)時間。當照度并不滿意時，可以要求更長的曝光時間以生成具有更清晰細節(jié)和減少的噪聲分量的視頻內(nèi)容。較高的曝光時間(例如，針對每幀的曝光時間的較高持續(xù)時間)導致較低的幀率。如果幀率低，則顯示的視頻內(nèi)容可以表現(xiàn)出不平穩(wěn)和不連續(xù)。

【發(fā)明內(nèi)容】

[0003]在權(quán)利要求書中闡明示例實施例的各種方面。
[0004]在第一方面中，提供一種方法，包括:接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一巾貞集合；接收與由全色(panchromatic)圖像傳感器捕獲的場景對應(yīng)的第二巾貞集合,其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。
[0005]在第二方面中，提供一種方法，包括:接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合；接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一巾貞集合和第二巾貞集合的處理以高于第一巾貞集合的巾貞率的巾貞率生成對應(yīng)于場景的顏色幀。
[0006]在第三方面中，提供一種裝置，包括:至少一個處理器；以及包括計算機程序代碼的至少一個存儲器，至少一個存儲器和計算機程序代碼被配置成使用至少一個處理器使得裝置至少執(zhí)行:接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合；接收與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。
[0007]在第四方面中，提供一種裝置，包括:至少一個處理器；以及包括計算機程序代碼的至少一個存儲器，至少一個存儲器和計算機程序代碼被配置成使用至少一個處理器使得裝置至少執(zhí)行:接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合；接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。[0008]在第五方面中，提供一種計算機程序產(chǎn)品，包括:至少一個計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)包括指令集，當一個或多個處理器執(zhí)行該指令集時，使得裝置至少執(zhí)行:接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合；接收與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。
[0009]在第六方面中，提供一種計算機程序產(chǎn)品，包括:至少一個計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)包括指令集，當一個或多個處理器執(zhí)行該指令集時，使得裝置至少執(zhí)行:接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合；接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一巾貞集合的巾貞率的巾貞率生成對應(yīng)于場景的顏色中貞。
[0010]在第七方面中，提供一種設(shè)備，包括:用于接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合的裝置；用于接收與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合的裝置，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及用于至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀的裝置。
[0011]在第八方面中，提供一種設(shè)備，包括:用于接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合的裝置；用于接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合的裝置，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及用于至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀的裝置。
[0012]在第九方面中，提供一種包括程序指令的計算機程序，當該程序指令由裝置執(zhí)行時，使得裝置:接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合；接收與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。
[0013]在第十方面中，提供一種包括程序指令的計算機程序，當該程序指令由裝置執(zhí)行時，使得裝置:接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合；接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。
【專利附圖】

【附圖說明】
[0014]在所附附圖中，通過示例但并非通過限制示出各種實施例，其中:
[0015]圖1示出了根據(jù)一個示例實施例的設(shè)備；
[0016]圖2A示出了根據(jù)一個示例實施例的用于捕獲視頻內(nèi)容的裝置；
[0017]圖2B示出根據(jù)另一示例實施例的用于捕獲視頻內(nèi)容的裝置；
[0018]圖3示出了根據(jù)一個示例實施例的描繪顏色幀的生成的簡化概述的框圖；[0019]圖4示出了根據(jù)一個示例實施例第二集合中的幀的基于第一集合中的幀的對準；
[0020]圖5A和圖5B示出了根據(jù)一個示例實施例的與顏色圖像傳感器和全色圖像傳感器相關(guān)聯(lián)的曝光時間的交錯(staggering)之后的巾貞的對準；
[0021]圖6是描繪根據(jù)一個示例實施例的用于捕獲視頻內(nèi)容的示例方法的流程圖；以及
[0022]圖7是描繪根據(jù)另一示例實施例的用于捕獲視頻內(nèi)容的示例方法的流程圖。
【具體實施方式】
[0023]通過參見附圖的圖1至圖7可以理解示例實施例及其潛在優(yōu)勢。
[0024]圖1示出了根據(jù)一個示例實施例的設(shè)備100。然而，可以理解，所示出和下文描述的設(shè)備100僅說明可以受益于各種實施例的一種類型的設(shè)備，因此，其不應(yīng)被考慮用于限制實施例的范圍。就此而言，可以理解，下文結(jié)合設(shè)備100描述的一些部件可以是可選的，并且因此在一個示例實施例中可以包括比結(jié)合圖1的示例實施例描述的部件更多、更少或不同的部件。設(shè)備100可以是任何數(shù)目、任何類型的移動電子設(shè)備，例如，便攜式數(shù)字助理(PDA)、傳呼機、移動電視、游戲設(shè)備、蜂窩電話、所有類型的計算機(例如膝上型、移動計算機或臺式機)、相機、音頻/視頻播放器、無線電、全球定位系統(tǒng)(GPS)設(shè)備、媒體播放器、移動數(shù)字助理、或前述項的任一組合、以及其它類型的通信設(shè)備。
[0025]設(shè)備100可以包括與發(fā)射機104和接收機106可操作通信的天線102 (或多個天線)。設(shè)備100還可以包括裝置，諸如控制器108或分別向發(fā)射機104和接收機106提供信號或從其接收信號的其它處理設(shè)備。信號可以包括根據(jù)可應(yīng)用蜂窩系統(tǒng)的空中接口標準的信令信息，和/或可以包括與用戶語音、接收數(shù)據(jù)和/或用戶生成的數(shù)據(jù)對應(yīng)的數(shù)據(jù)。就此而言，設(shè)備100可以能夠使用一個或多個接口標準、通信協(xié)議、調(diào)制類型和接入類型操作。通過示出，設(shè)備100可以能夠根據(jù)多個第一、第二、第三和/或第四代通信協(xié)議等的任一種操作。例如，設(shè)備100可以能夠根據(jù)第二代(2G)無線通信協(xié)議IS-136 (時分多址(TDMA))、GSM (用于移動通信的全球系統(tǒng))、以及IS-95 (碼分多址(CDMA))操作，或者可以能夠根據(jù)第三代(3G)無線通協(xié)議(諸如通用移動電信系統(tǒng)(UMTS)、CDMA1000、寬帶CDMA (WCDMA)和時分同步CDMA (TD-SCDMA))操作，或者可以能夠根據(jù)3.9G無線通信協(xié)議(諸如演進式通用陸地無線接入網(wǎng)(E-UTRAN))操作，或者可以能夠根據(jù)第四代(4G)無線通信協(xié)議等操作。作為備選(或附加地)，設(shè)備100可以能夠根據(jù)非蜂窩通信機制操作。例如，計算機網(wǎng)絡(luò)，諸如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)等；短程無線通信網(wǎng)絡(luò)，諸如藍牙(Bluetooth ?)網(wǎng)絡(luò)、Zigbee:?
網(wǎng)絡(luò)、電氣與電子工程師協(xié)會(IEEE) 802.1lx網(wǎng)絡(luò)等；有線電信網(wǎng)絡(luò)，諸如公共開關(guān)電話網(wǎng)絡(luò)(PSTN)。
[0026]控制器108可以包括實現(xiàn)設(shè)備100的音頻和邏輯功能等的電路裝置。例如，控制器108可以包括但不限于一個或多個微處理器設(shè)備、具有附隨的數(shù)字信號處理器的一個或多個處理器、不具有附隨的數(shù)字信號處理器的一個或多個處理器、一個或多個專用計算機芯片、一個或多個現(xiàn)場可編程門陣列(FPGA)、一個或多個控制器、一個或多個專用集成電路(ASIC)、各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和/或支持電路。根據(jù)這些設(shè)備的相應(yīng)能力在它們之間分配設(shè)備100的控制和信號處理功能?？刂破?08因此還可以包括在調(diào)制和傳輸之前卷積編碼以及交織消息和數(shù)據(jù)的功能。控制器108還可以附加地包括內(nèi)部語音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。此外，控制器108可以包括操作可以存儲在存儲器中的一個或多個軟件程序的功能性。例如，控制器108可以能夠操作連接程序，諸如常規(guī)Web瀏覽器。連接程序然后可以允許設(shè)備100根據(jù)無線應(yīng)用協(xié)議(WAP)、超文本傳輸協(xié)議(HTTP)等傳輸和接收web內(nèi)容，諸如基于定位的內(nèi)容和/或其它web頁面內(nèi)容。在一個示例實施例中，控制器108可以體現(xiàn)為多核處理器，諸如雙核或四核處理器。然而，在控制器108中可以包括任何數(shù)目的處理器。
[0027]設(shè)備100還可以包括用戶接口，用戶接口包括諸如振鈴110之類的輸出設(shè)備、耳機或揚聲器112、麥克風114、顯示器116以及可以耦合至控制器108的用戶輸入接口。允許設(shè)備100接收數(shù)據(jù)的用戶輸入接口可以包括允許設(shè)備100接收數(shù)據(jù)的多個設(shè)備中的任一者，諸如小鍵盤118、觸摸屏、麥克風或其它輸入設(shè)備。在包括小鍵盤118的實施例中，小鍵盤118可以包括數(shù)字(0-9)以及相關(guān)鍵(#，*)，以及用于操作設(shè)備100的其它硬鍵和軟鍵。備選地，或者附加地，小鍵盤118可以包括常規(guī)QWERTY小鍵盤布置。鍵盤118還可以包括具有相關(guān)聯(lián)功能的各種軟鍵。此外，或者附加地，設(shè)備100可以包括諸如振動電池組之類的電池120以用于對各種電路供電以及可選地提供機械振動作為可檢測輸出，該各種電路用于操作設(shè)備100。
[0028]在一個示例實施例中，設(shè)備100包括與控制器108通信的媒體捕獲元件,諸如相機、視頻和/或音頻模塊。媒體捕獲元件可以是用于捕獲圖像、視頻和/或音頻以用于存儲、顯示或傳輸?shù)娜魏窝b置。在一個示例實施例中，媒體捕獲元件是相機模塊122,相機模塊122可以包括數(shù)字相機，能夠從所捕獲的圖像形成數(shù)字圖像文件。就此而言，相機模塊122包括所有的硬件(諸如鏡片或其它光學部件)以及用于從所捕獲的圖像創(chuàng)建數(shù)字圖像文件的軟件。備選地，相機模塊122可以包括瀏覽圖像所需的硬件，而設(shè)備100的存儲器設(shè)備存儲用于由控制器108執(zhí)行的軟件形式的指令以從所捕獲的圖像創(chuàng)建數(shù)字圖像文件。在一個示例實施例中，相機模塊122還可以包括諸如協(xié)同處理器之類的輔助控制器108處理圖像數(shù)據(jù)的處理元件以及用于壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)JPEG標準格式或另一相似格式進行編碼和/或解碼。對于視頻而言，編碼器和/或解碼器可以用于多個標準格式中任一個，諸如與H.261、H.262/MPEG-2、H.263、
H.264、H.264/MPEG-4、MPEG-4等相關(guān)聯(lián)的標準。在一些情形中，相機模塊122可以提供現(xiàn)場圖像數(shù)據(jù)給顯示器116。在一個示例實施例中，顯示器116可以位于設(shè)備100的一側(cè)上，并且相機模塊122可以包括關(guān)于顯示器116位于設(shè)備100相對側(cè)上的鏡片，以使得相機模塊122能夠在設(shè)備100 —側(cè)捕獲圖像并且將該圖像的視圖呈現(xiàn)給位于設(shè)備100另一側(cè)的用戶。
[0029]設(shè)備100還可以包括用戶標識模塊(UM) 124。ΠΜ124可以是具有內(nèi)建處理器的存儲器設(shè)備。ΠΜ124例如可以包括訂戶標識模塊(SM)、通用集成電路卡(UICC)、通用訂戶標識模塊(USM)、可移除用戶標識模塊(R-UM)或任何其它智能卡。SIM典型地存儲與移動訂戶相關(guān)的信息元素。除了 ΠΜ124之外，設(shè)備100可以配備有存儲器。例如，設(shè)備100可以包括易失性存儲器126，諸如易失性隨機存取存儲器(RAM)，其包括用于數(shù)據(jù)的臨時存儲的高速緩存區(qū)域。設(shè)備100還可以包括其它的非易失性存儲器128，其可以嵌入和/或可以可移除。非易失性存儲器128可以附加地或備選地包括電可擦除可編程只讀存儲器(EEPR0M)、閃存、硬驅(qū)動等。存儲器可以存儲設(shè)備100使用的用于實現(xiàn)設(shè)備100的功能的任何數(shù)目的信息項以及數(shù)據(jù)。[0030]圖2A示出了根據(jù)一個示例實施例的用于捕獲視頻內(nèi)容的裝置200。例如，可以在圖1的設(shè)備100中使用用于捕獲視頻內(nèi)容的裝置200。然而，應(yīng)該注意，還可以在移動和固定的各種其它設(shè)備上運用裝置200，因此，實施例不應(yīng)該限于在諸如圖1的設(shè)備100之類的設(shè)備上應(yīng)用。備選地，可以在例如上述的設(shè)備的組合上運用實施例。相應(yīng)地，各種實施例可以在單個設(shè)備上整體體現(xiàn)(例如，設(shè)備100或設(shè)備的組合)。此外，還應(yīng)該注意，下面描述的設(shè)備或元件可以不是強制性的，并且因此某些設(shè)備或元件在某些實施例中可以省略。
[0031 ] 裝置200包括至少一個處理器202和至少一個存儲器204，或者以其它方式與至少一個處理器202和至少一個存儲器204通信。至少一個存儲器204的示例包括但不限于隨機存取存儲器、動態(tài)隨機存取存儲器、靜態(tài)隨機存取存儲器等。非易失性存儲器的一些示例包括但不限于硬盤、磁帶、光盤、可編程只讀存儲器、可擦除可編程只讀存儲器、電可擦除可編程只讀存儲器、閃存等。存儲器204可以被配置成存儲信息、數(shù)據(jù)、應(yīng)用、指令等，其用于使得裝置200能夠根據(jù)各種示例實施例執(zhí)行各種功能。例如，存儲器204可以被配置成緩沖包括用于由處理器202處理的多媒體內(nèi)容的輸入數(shù)據(jù)。附加地或備選地，存儲器204可以被配置成存儲由處理器202執(zhí)行的指令。
[0032]處理器202的示例可以包括控制器108。處理器202可以以多種不同方式體現(xiàn)。處理器202可以體現(xiàn)為多核處理、單核處理器或者多核處理器和單核處理器的組合。例如，處理器202可以體現(xiàn)為一個或多個各種處理裝置，諸如協(xié)處理器、微處理器、控制器、數(shù)字信號處理器(DSP)、具有或不具有附隨DSP的處理電路裝置、或各種其它處理設(shè)備(包括集成電路，例如，專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、微控制器單元(MCU)、硬件加速器、專用計算機芯片等。在一個示例實施例中，多核處理器可以被配置成執(zhí)行存儲在存儲器204中或以其它方式可由處理器202訪問的指令。備選地或附加地，處理器202可以被配置成執(zhí)行硬編碼功能性。就此而言，無論是由硬件或軟件方法配置或是由其組合配置，處理器202都可以表示一個實體，例如在物理上體現(xiàn)為電路裝置，在其被相應(yīng)配置時能夠根據(jù)執(zhí)行根據(jù)各種實施例的操作。例如，如果處理器202體現(xiàn)為兩個或更多個ASIC、FPGA等，則處理器202可以是具體配置的硬件以用于執(zhí)行在此描述的操作。備選地，作為另一示例，如果處理器202體現(xiàn)為軟件指令的執(zhí)行器，則指令可以具體配置處理器202以在執(zhí)行指令時執(zhí)行本文描述的算法和/或操作。然而，在一些情形中，處理器202可以是特定設(shè)備的處理器。例如，適配用于由處理器202的進一步配置根據(jù)用于執(zhí)行在本文中描述的算法和/或操作的指令來運用實施例的移動終端或網(wǎng)絡(luò)設(shè)備可以包括時鐘、算術(shù)邏輯單元(ALU)和被配置成支持處理器202的操作的邏輯門。
[0033]用戶接口 206可以與處理器202通信。用戶接口 206的示例可以包括但不限于輸入接口和/或輸出用戶接口。輸入接口被配置成接收用戶輸入的指示。輸出用戶界面提供可聽、可視、機械或其它輸出和/或反饋給用戶。輸入接口的示例可以包括但不限于鍵盤、鼠標、操作桿、小鍵盤、觸摸屏、軟鍵等。輸出接口的示例可以包括但不限于諸如發(fā)光二極管顯示器、薄膜晶體管(TFT)顯示器、液晶顯示器、有源矩陣有機發(fā)光二極管(AMOLED)顯示器之類的顯示器、麥克風、揚聲器、振鈴、振動器等。在一個示例實施例中，用戶接口 206可以包括揚聲器、麥克風、顯示器和鍵盤、觸摸屏等中的任一或所有，以及其他設(shè)備或元件。就此而言，例如處理器202可以包括用戶接口電路裝置，其被配置成控制用戶接口 206的一個或多個元件的至少一些功能，諸如麥克風、揚聲器、振鈴、顯示器等。處理器202和/或包括處理器202的用戶接口電路裝置可以被配置成通過計算機程序指令(例如存儲在存儲器上的軟件和/或固件，存儲器例如是處理器202可訪問的至少一個存儲器204等)控制用戶接口206的一個或多個元件的一個或多個功能。
[0034]裝置200可以包括電子設(shè)備。電子設(shè)備的一些示例可以包括通信設(shè)備、具有通信能力的媒體捕獲設(shè)備、計算設(shè)備等。通信設(shè)備的一些示例可以包括移動電話、個人數(shù)字助理(PDA)等。計算設(shè)備的一些示例可以包括膝上型筆記本、個人計算機等。在一個示例實施例中，電子設(shè)備可以包括具有用戶接口電路裝置和用戶接口軟件的用戶接口(例如，UI206)，用戶接口軟件被配置成為便于用戶通過使用顯示器控制電子設(shè)備的至少一個功能并被配置成響應(yīng)于用戶輸入。在一個示例實施例中，電子設(shè)備可以包括顯示電路裝置，其被配置成顯示電子設(shè)備的用戶接口的至少一部分。顯示器和顯示電路裝置被配置成便于用戶控制電子設(shè)備的至少一個功能。
[0035]在一個示例實施例中，電子設(shè)備可以體現(xiàn)為包括收發(fā)器。收發(fā)器可以是根據(jù)軟件或以其他方式體現(xiàn)為硬件或硬件和軟件的組合操作的任何設(shè)備或電路裝置。例如，根據(jù)軟件控制操作的處理器202或體現(xiàn)為ASIX或FPGA的處理器202被具體配置成執(zhí)行本文中描述的操作或其組合，從而配置該裝置或電路裝置以執(zhí)行收發(fā)器的功能。收發(fā)器可以被配置成接收多媒體內(nèi)容。多媒體內(nèi)容的示例可以包括音頻內(nèi)容、視頻內(nèi)容及其組合。
[0036]在一個示例實施例中，電子設(shè)備和/或媒體捕獲設(shè)備可以體現(xiàn)為包括顏色圖像傳感器，諸如顏色圖像傳感器208。顏色圖像傳感器208可以與處理器202和/或裝置200的其它部件通信。顏色圖像傳感器208可以與其它成像電路裝置和/或軟件通信，并且被配置成捕獲數(shù)字圖像或制作視頻或其它圖形媒體文件。顏色圖像傳感器208和其它電路裝置可以組合為設(shè)備100的相機模塊122的示例。在一個示例實施例中，顏色圖像傳感器208可以是其上布置顏色濾鏡陣列(CFA)的圖像傳感器。使用半導體材料構(gòu)建的圖像傳感器(諸如基于CMOS的傳感器或電荷耦合器件(CCD)傳感器)并不對顏色或波長敏感，并且因此可以在顏色圖像傳感器(諸如顏色圖像傳感器208)上布置CFA。在一個示例實施例中，CFA包括顏色傳感器像素(諸如針對紅色、綠色和藍色(RGB)的像素)，以馬賽克(mosaic)模式布置在顏色圖像傳感器208之上以用于對與所捕獲的場景對應(yīng)的相應(yīng)顏色進行采樣。從這些顏色傳感器像素獲得的采樣值在內(nèi)插之后配置圖像像素。由于每個圖像像素被濾色以僅記錄三種顏色之一，因此來自每個像素的數(shù)據(jù)無法根據(jù)其自身充分確定顏色。為了獲得完全顏色圖像，可以運用各種解馬賽克算法以內(nèi)插針對與所捕獲的幀對應(yīng)的每個圖像像素的完整紅色、綠色和藍色值的集合。
[0037]在一個示例實施例中，顏色圖像傳感器208可以包括拜耳(Bayer) CFA，其被配置成提供RGB和青色、品紅和黃色(CMY)顏色模式之一。在一個實施例中，Bayer CFA可以包括為紅色或藍色兩倍的綠色圖像像素以模仿人眼生理機能，相比于紅色光和藍色光而言，人眼對綠色光更為敏感。相應(yīng)地，顏色模式可以是50%綠色、25%紅色和25%藍色，并且這也可以被稱為RGBG、GRGB或RGGB顏色模式。
[0038]在一個示例實施例中，電子設(shè)備和/或媒體捕獲設(shè)備可以體現(xiàn)為包括全色圖像傳感器，諸如全色圖像傳感器210。全色圖像傳感器210可以與處理器202和/或裝置200的其它部件通信。全色圖像傳感器210可以與其它成像電路裝置和/或軟件通信，并且被配置成捕獲數(shù)字圖像或制作視頻或其它圖形媒體文件。全色圖像傳感器210和其它電路裝置可以組合為設(shè)備100的相機模塊122的一個示例。在一個示例實施例中，全色圖像傳感器210可以包括全色傳感器像素或者可以與全色傳感器像素相關(guān)聯(lián)。在一個示例實施例中，包括全色傳感器像素的CFA (例如，全色濾鏡)可以布置在全色圖像傳感器210之上。在一個示例實施例中，對與全色圖像傳感器210的所捕獲的場景對應(yīng)的入射光的敏感度大于或等于顏色圖像傳感器208的敏感度的兩倍。更具體而言，與全色圖像傳感器210相關(guān)聯(lián)的全色傳感器像素具有對入射光的如下敏感度，其大于或等于與顏色圖像傳感器208相關(guān)聯(lián)的顏色傳感器像素的敏感度的兩倍。由于敏感度更高，因此對于給定場景照明而言，全色圖像傳感器210可以能夠捕獲為由顏色圖像傳感器208捕獲的幀數(shù)目的至少兩倍的幀數(shù)目。備選地，全色圖像傳感器210可以在針對近似顏色圖像傳感器208配置的一半曝光時間的情形下捕獲如由顏色圖像傳感器208捕獲的相同數(shù)目的幀。
[0039]這些部件(202-210)可以經(jīng)由用于捕獲視頻內(nèi)容的集中式電路系統(tǒng)212彼此通信。集中式電路系統(tǒng)212可以是被配置成提供或?qū)崿F(xiàn)裝置200的部件(202-210)之間的通信等的各種設(shè)備。在某些實施例中，集中式電路系統(tǒng)212可以是中央印刷電路板(PCB)、諸如母板、主板、系統(tǒng)板、或邏輯板。集中式電路系統(tǒng)212還可以或備選地包括其它印刷電路組件(PCA)或通信信道媒體。
[0040]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200捕獲視頻內(nèi)容。在一個實施例中，視頻內(nèi)容可以包括多個視頻幀，例如，視頻幀的序列。視頻幀的序列可以對應(yīng)于視頻內(nèi)容的單個場景。在一個實施例中，多個視頻幀可以對應(yīng)于由圖像傳感器(諸如顏色圖像傳感器208和全色圖像傳感器210)捕獲的視頻內(nèi)容。注意，術(shù)語“視頻幀”和“幀”在此被可互換地使用并且指代相同實體。
[0041]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200接收與場景對應(yīng)的第一幀集合。場景可以包括在裝置200的周圍環(huán)境中的可以由諸如顏色圖像傳感器208和全色圖像傳感器210之類的圖像傳感器捕獲的一個或多個對象，例如，人物、或個體、鳥、書、操場、自然景物(諸如山等)的聚集。在一個示例實施例中，第一幀集合由顏色圖像傳感器(諸如裝置200的顏色圖像傳感器208)捕獲。在某些示例實施例中，顏色圖像傳感器208可以在裝置200外部，但可由裝置200訪問和/或控制。在一個示例實施例中，使得裝置200從顏色圖像傳感器208接收圖像樣本，并且執(zhí)行圖像樣本的解馬賽克以生成第一幀集合。在某些示例實施例中，也可以利用其它技術(shù)以根據(jù)從顏色圖像傳感器208接收的非完整圖像樣本生成第一幀集合。在一個示例實施例中，第一幀集合包括與所捕獲的場景對應(yīng)的色度信息(例如，主色信息，諸如RGB信息)。在一個示例實施例中，處理裝置可以被配置成接收與由顏色圖像傳感器208捕獲的場景對應(yīng)的第一幀集合。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。
[0042]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200接收與場景對應(yīng)的第二幀集合。在一個示例實施例中，第二幀集合由全色圖像傳感器(諸如裝置200的全色圖像傳感器210)捕獲。注意，全色圖像傳感器210和顏色圖像傳感器208同時捕獲與場景對應(yīng)的幀。第一幀集合和第二幀集合被同時捕獲并且與相同的場景對應(yīng)。在一個示例實施例中，同時或近似同時地接收所捕獲的第一幀集合和第二幀集合。在某些示例實施例中，全色圖像傳感器210可以在裝置200外部，但是可由裝置200訪問和/或控制。在一個示例實施例中，使得裝置200從全色圖像傳感器210接收圖像樣本，并且執(zhí)行圖像樣本的解馬賽克以生成第二幀集合。在一個示例實施例中，第二幀集合包括與所捕獲的場景對應(yīng)的照度信息(例如，灰度信息)。在一個示例實施例中，處理裝置可以被配置成接收與由全色圖像傳感器210捕獲的場景對應(yīng)的第二幀集合。處理裝置的示例可以包括處理器202，其可以是控制器108的示例。
[0043]在一個示例實施例中，對與全色圖像傳感器210的所捕獲的場景對應(yīng)的入射光的敏感度大于或等于顏色圖像傳感器208的敏感度的兩倍。如上所述地，全色圖像傳感器210可以包括全色傳感器像素或者可以與全色傳感器像素相關(guān)聯(lián)，全色傳感器像素具有對與所捕獲的場景對應(yīng)的入射光的較高敏感度(例如，大于或等于與顏色圖像傳感器208相關(guān)聯(lián)的顏色傳感器像素的敏感度的兩倍)。在一個示例實施例中，全色傳感器像素對光的敏感度近似為顏色傳感器像素的三倍。這暗示著，如果顏色圖像傳感器208能夠在曝光時間“T”、增益“G”的情形下實現(xiàn)信號水平“X”，則全色圖像傳感器210可以在“T/3”的時間(近似)以及相同增益下實現(xiàn)相似信號水平。備選地，全色圖像傳感器210可以在曝光時間“T”、增益“G”的情形下實現(xiàn)幾乎3X的信號水平。全色圖像傳感器210的這種屬性在兩個方面有用，諸如改進信噪比(尤其在低光情形下)以及實現(xiàn)導致較高輸出幀數(shù)的極快速曝光。例如，基于在環(huán)境狀況中普遍的照明，可以由算法(例如，存儲在存儲器204中的計算機程序)確定曝光時間，并且因此來自在周圍環(huán)境中顯露的場景的光線可以基于所確定的曝光時間入射在顏色圖像傳感器208和全色圖像傳感器210上。對于相同的場景和相同的曝光時間而言，如果顏色圖像傳感器捕獲“X”數(shù)目的幀，則全色圖像傳感器210可以捕獲至少“2X”數(shù)目的幀，這是由于對與全色圖像傳感器210相關(guān)聯(lián)的全色圖像像素的入射光的敏感度較高。因此，第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。
[0044]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200至少部分地基于第一幀集合和第二幀集合的處理以高于第一巾貞集合的巾貞率的巾貞率生成對應(yīng)于場景的顏色巾貞。在一個不例實施例中，第一幀集合和第二幀集合的處理包括組合色度信息和照度信息以用于生成與所捕獲的場景對應(yīng)的顏色幀?？梢酝ㄟ^運用各種融合技術(shù)來實現(xiàn)用于生成顏色幀的色度信息和照度信息的組合。在一個示例實施例中，如果與第一幀集合相關(guān)聯(lián)的幀率(例如，每秒捕獲的幀數(shù)目)是每秒30幀(fps)，則顏色幀被配置成以高于30fps的幀率被生成。在一個示例實施例中，處理裝置可以被配置成至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。處理裝置的示例可以包括處理器202，其可以是控制器108的示例。
[0045]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200在生成顏色幀之前基于第一幀集合對準第二幀集合。備選地，在一個示例實施例中，在生成顏色幀之前基于第二幀集合對準第一幀集合?？梢詧?zhí)行對準(例如，變形)以便獲得一個圖像傳感器(諸如全色圖像傳感器210)的依據(jù)第二圖像傳感器(諸如顏色圖像傳感器208)的輸出。這可以被實現(xiàn)為兩個圖像傳感器，即使捕獲相同場景可以因捕獲角度的不同而捕獲具有稍微不同的信息。相應(yīng)地，可以執(zhí)行像素的對準以獲得一個圖像傳感器的依據(jù)其它圖像傳感器的視圖。相應(yīng)地，可以計算變形以獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出。在此關(guān)于獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出來說明幀的對準，然而，注意，備選地，可以計算變形以獲得顏色圖像傳感器208的依據(jù)全色圖像傳感器210的輸出。在一些實施例中，可以優(yōu)選地計算用于獲得顏色圖像傳感器208的依據(jù)全色圖像傳感器210的輸出的變形。以此方式的變形可以排除所生成的顏色幀的“銳度(sharpness)”(例如，圖像質(zhì)量)的損失。在一些實施例中，變形可以涉及執(zhí)行內(nèi)插(例如，雙線性內(nèi)插)，其可以影響與幀相關(guān)聯(lián)的銳度。如果來自第一集合的幀被變形，或者更具體而言，在第一集合中的與幀相關(guān)聯(lián)的色度信息被變形至來自第二集合中的幀的照度信息，則照度信息的銳度被保持，而色度信息中的一些銳度的損失并不影響所生成的顏色幀的銳度，這是因為相比于照度信息而言，色度信息相對而言為低通的。在一個示例實施例中，變形可以被計算為8參數(shù)變換(例如，使用標準技術(shù)，諸如相似性、單應(yīng)性(homography)、仿射等)或可以使用針對立體相機計算的密集對應(yīng)(dense correspondence)被計算。
[0046]在一個示例實施例中，與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間(例如，光針對每幀到達圖像傳感器的持續(xù)時間)被對準，例如用于捕獲用于顏色圖像傳感器208和全色圖像傳感器210的場景的曝光瞬間被匹配。在一個示例實施例中，第二集合中在時間戳處的幀與第一集合中在對應(yīng)時間戳處的幀對準。例如,第二集合中在時間戳X (例如，在第10秒)處的幀與第一集合中的在第10秒處的幀對準。類似地，第二集合中的在時間戳Y處的幀與第一集合中的在時間戳Y處的幀對準。如上所述，第二集合中的幀數(shù)目大于第一集合中的幀的數(shù)目，這是由于由與全色圖像傳感器210相關(guān)聯(lián)的全色傳感器像素捕獲的幀數(shù)目較高。相應(yīng)地，第二集合中可以有如下幀，其可能不具有在第一集合中的具有匹配時間戳的任何幀。在一個示例實施例中，如果在第一集合中沒有在對應(yīng)時間戳處的幀，則在第二集合中在時間戳處的幀與第一集合中的如下幀對準，該幀位于第二集合中的幀的時間戳之前的時間戳處。例如，如果第二集合中的該幀在時間戳X處，而在第一集合中沒有在時間戳X處的對應(yīng)幀，則第二集合中的該幀與第一集合中在之前時間戳(例如，時間戳“X-1”)處的幀對準。在高幀率時，場景內(nèi)容經(jīng)常可能改變不多，并且相應(yīng)地，第二集合中的幀可以與第一集合中在之前時間戳處的幀對準。在圖4中說明當與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間被對準時幀的對準。第二集合中的幀在對準后的照度信息可以與第一集合中(在匹配時間戳處或在之前幀的時間戳處)的幀的色度信息組合以用于生成顏色幀。
[0047]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200交錯與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間。在一個示例實施例中，與第一集合中的幀對應(yīng)的時間戳被配置為在與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間的交錯之后落入與第二集合中的幀對應(yīng)的時間戳之間。在一個示例實施例中，第一集合中的幀的時間戳可以落入第二集合中的幀的(例如，交織)時間戳之間。例如，在與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間的交錯之后，如果與第二集合中的幀的中間序列對應(yīng)的時間戳按秒是10、12、14、16、18、20、22、24等等，則與第一集合中的幀對應(yīng)的時間戳按秒可以是11、17,23等等，即，其中時間戳落入與第一集合中的幀對應(yīng)的時間戳之間。
[0048]在一個示例實施例中，在第二集合中在時間戳處的幀與第一集合中的如下至少一個幀對準，該至少一個幀位于第二集合中的幀的時間戳的之前時間戳和后繼時間戳處。例如，在上面的示例中，第二集合中的在第16秒的時間戳處的幀可以與第一集合中的在第11秒的時間戳(即之前時間戳)處的幀和第一集合中的在第17秒的時間戳(即后繼時間戳)處的幀對準。由于時間戳的這類交織，第二集合中的一個或多個幀可以與第一集合中的多于一個的幀對準，這是因為旁邊幀中的場景內(nèi)容可能改變不多。相應(yīng)地，所生成的顏色幀的幀率較高，甚至高于用于使用用于顏色圖像傳感器208和全色圖像傳感器210的經(jīng)對準的曝光時間生成的顏色幀的幀率。在圖5A和圖5B中進一步說明在此情形下的顏色幀的對準和生成。在一個示例實施例中，處理裝置可以被配置成交錯與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。
[0049]在一個示例實施例中，出于對準的目的，可以基于與第二集合中的幀相關(guān)聯(lián)的特征點和與在第一集合中的幀相關(guān)聯(lián)的特征點確定變形矩陣。特征點的示例可以包括但不限于拐角、圖像邊緣、或感興趣的其它區(qū)域，諸如場景的背景。在一個示例實施例中，使得裝置200執(zhí)行第一集合中的幀的灰度轉(zhuǎn)換以生成灰度圖像以及確定與灰度圖像相關(guān)聯(lián)的特征點。在一個示例實施例中，可以使得裝置200使用諸如尺度不變特征變換(SIFT)、哈里斯角檢測(Harris corner detector)、最小單值分段同化核(smallest univalue segmentassimilating nucleus) (SUSAN)角檢測、來自加速分段測試的特征(features fromaccelerated segment test) (FAST)之類的算法以用于確定與灰度圖像和第二集合中的中貞相關(guān)聯(lián)的特征點。在一個示例實施例中，使得裝置200確定在與對應(yīng)于第一集合中的幀的灰度圖像相關(guān)聯(lián)的特征點和與第二集合中的幀相關(guān)聯(lián)的特征點之間的對應(yīng)信息。在一個示例實施例中，使得裝置200使用諸如隨機采樣一致性(RANSAC)之類的算法確定對應(yīng)信息。在一個示例實施例中，使得裝置200基于對應(yīng)信息計算變形矩陣。在一個示例實施例中，可以使用變形矩陣與第一集合中的幀對應(yīng)地變形第二集合中的幀。
[0050]在一個示例實施例中，可以計算與第一集合中的幀相關(guān)聯(lián)的色度信息。在一個示例實施例中，使得裝置200通過將幀分解為亮度-色度格式來確定第一集合中的幀的色度信息。在一個不例實施例中，可以對第一集合中的巾貞的色度信息(例如RGB圖像)去噪聲以生成平滑色度信息。在一個示例實施例中，可以使用變形矩陣將與第二集合中的幀的對應(yīng)的照度信息與去噪聲的色度信息對應(yīng)地變形。
[0051]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200在將第一集合和第二集合的幀對準之前執(zhí)行以下動作中的至少一個:使得第一集合的幀清晰，以及增加與第一集合的幀相關(guān)聯(lián)的亮度。在一個示例實施例中，對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度低于第二集合中的幀的亮度。在一個示例實施例中，對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度顯著低于第二集合中的幀的亮度。在一個示例實施例中，如果對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度顯著低于第二集合中的幀的亮度，則可以通過使用增益(例如，通過使用在圖像捕獲期間的放大器或圖像捕獲之后通過計算)增加與第一集合的幀相關(guān)聯(lián)的亮度以阻止所生成的顏色幀中的顏色的去飽和，這是因為顏色和顏色飽和的感覺取決于對應(yīng)的照度水平。在一個示例實施例中，可以基于預(yù)先確定的人工和/或自動配置施加增益，或者備選地可以基于第一集合中的幀和第二集合中的幀的相對亮度來施加增益。在需要向第一集合的幀施加增益以阻止損失顏色信息的情形下，觀察到隨著增益增加的噪聲分量的增加。為了減輕噪聲分量的增加，可以通過使用各種技術(shù)在第一集合的幀上或(在對準之前或之后)選擇性地向色度信息應(yīng)用去噪聲算法。這類技術(shù)的示例可以包括但不限于西格瑪過濾、雙邊過濾以及基于小波的方法。
[0052]在一些示例性情形中，可以在較不理想的狀況下捕獲與場景對應(yīng)的幀。例如，所捕獲的場景可能包括移動的畫面或者裝置200可能在捕獲與場景對應(yīng)的幀時不穩(wěn)定，或者這兩者。在此情形下，所捕獲的幀可以包括內(nèi)容的模糊，其可以產(chǎn)生對在幀中包括的細節(jié)的失真效果。模糊效果尤其可以影響第一集合中的幀，這是因為與顏色圖像傳感器208相關(guān)聯(lián)的曝光時間可以高于與全色圖像傳感器210相關(guān)聯(lián)的曝光時間。在一個示例實施例中，清晰化算法可以用于在變形色度信息和確定關(guān)于在第二幀集合中包括的照度信息的密集對應(yīng)之前清晰化(例如，根據(jù)模糊效果糾正幀)。在一個實施例中，清晰化算法可以涉及計算模糊內(nèi)核以用于清晰化色度信息。在一個示例實施例中，可以以盲的方式或使用來自第二集合的非模糊幀來計算模糊內(nèi)核。在一個示例實施例中，這類去模糊可以減少第一集合的幀中的動作模糊并且改進所生成的顏色幀的主觀質(zhì)量。在一個示例實施例中，處理裝置可以被配置成在將第一集合和第二集合的幀對準之前執(zhí)行以下動作中的至少一個:使得第一集合的幀清晰，以及增加與第一集合的幀相關(guān)聯(lián)的亮度。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。
[0053]在一個示例實施例中，裝置200被配置成將第二集合中的幀的經(jīng)變形的照度信息與第一集合中的幀的色度信息組合以生成顏色幀。備選地，第一集合中的幀的經(jīng)變形的色度信息可以與第二集合中的幀的照度信息組合以生成顏色幀。在一個示例實施例中，在根據(jù)從全色圖像傳感器210和顏色圖像傳感器208單獨接收的幀的質(zhì)量方面，所生成的顏色幀是改進的幀。例如，顏色幀是通過處理全色圖像傳感器210的經(jīng)變形的照度信息和色度信息生成的顏色圖像，其繼而為顏色幀提供比從顏色圖像傳感器208接收的圖像幀(RGB)更高的SNR。在一個示例實施例中，顏色幀可以具有比由全色圖像傳感器210和顏色圖像傳感器208以其它方式捕獲的幀更好的質(zhì)量，這是因為它是基于第二集合中的幀的照度(其對光更為敏感)和第一集合中的幀的顏色分量(例如，色度信息)生成的。
[0054]在一個不例實施例中，以高于第一巾貞集合的巾貞率的巾貞率生成與場景對應(yīng)的顏色幀。如前所述，第二集合中的幀數(shù)目高于第一集合中的幀數(shù)目。將第二集合中的幀的較高數(shù)目與第一集合中的幀對準，并在對準之后，將照度信息和色度信息組合以生成較高數(shù)目的顏色幀。在一個示例實施例中，如果場景光照使得顏色圖像傳感器208所需的曝光時間為33ms (這意味著顏色傳感器的幀率為1000/33=?30fps)，則全色圖像傳感器210所需的曝光時間將小于或等于16ms以獲得近似相似的亮度。因此，將兩個圖像傳感器輸出組合(例如，將亮度和色度信息進行組合)導致具有平均曝光時間小于或等于16ms的視頻序列，這意味著顏色幀的幀率被加倍至?60幀每秒。在低光情況下，如果場景光照使得針對顏色圖像傳感器208可以僅為15fps，則曝光時間將為66.67ms (例如，1000/15ms)。在此情形下，針對全色圖像傳感器210的曝光時間將小于或等于33ms。因此，獲得的幀率將為有效的33ms曝光，這對應(yīng)于針對顏色幀的30fps。因此，無論場景光照狀況如何，所生成的顏色幀的幀率都高于與顏色圖像傳感器208相關(guān)聯(lián)的幀率。在圖4、圖5A和圖5B中進一步說明以較高幀率生成顏色幀。[0055]在一個示例實施例中，裝置200可以不包括顏色圖像傳感器208和全色圖像傳感器210而是包括單個傳感器，其與用于捕獲視頻內(nèi)容的顏色傳感器像素和全色傳感器像素相關(guān)聯(lián)。這類圖像傳感器可以被配置有用于全色傳感器像素和顏色傳感器像素的像素專用曝光控制和/或單獨的曝光控制。在圖2B中說明這類裝置。
[0056]圖2B示出根據(jù)一個示例實施例的用于捕獲視頻內(nèi)容的裝置200。圖2B的裝置200不包括圖2A的顏色圖像傳感器208和全色圖像傳感器210，并且被描述為除了處理器202、存儲器204、用戶接口 206和集中式電路系統(tǒng)212之外還包括圖像傳感器214。圖2B的裝置200的各種部件(諸如處理器202、存儲器204、用戶接口 206和集中式電路系統(tǒng)212)執(zhí)行與圖2A中描述的相似功能，并且在此不再對其進行說明。在一個示例實施例中，可以在圖像傳感器214上布置顏色濾鏡陣列(CFA)。如圖2A中說明的那樣，使用半導體材料構(gòu)建的圖像傳感器(諸如基于CMOS的傳感器或電荷耦合器件(CCD)傳感器)是對顏色或波長不敏感的，因此在這類圖像傳感器中，在圖像傳感器之上布置CFA。在一個示例實施例中，與圖像傳感器214相關(guān)聯(lián)的CFA可以包括顏色傳感器像素和全色傳感器像素。在一個示例實施例中，CFA可以包括RGBW顏色濾鏡模式。更具體而言，CFA除了全色傳感器像素(也稱為白色像素或W)之外還可以包括顏色傳感器像素,諸如用于紅色、綠色和藍色(RGB)的像素?？梢栽趫D像傳感器214之上按馬賽克模式(例如，RGBW顏色濾鏡模式)布置顏色傳感器像素和全色傳感器像素以用于采樣與所捕獲的場景對應(yīng)的相應(yīng)色度-照度信息。在某些示例實施例中，圖像傳感器214可以在裝置200外部，但是可由裝置200訪問和/或控制。
[0057]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200接收與由關(guān)聯(lián)于圖像傳感器214的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合(例如，如圖2A中所說明的第一幀集合)。在一個示例實施例中，使得裝置200從顏色傳感器像素接收圖像樣本，并且執(zhí)行圖像樣本的解馬賽克以生成第一幀集合。在一個示例實施例中，第一幀集合包括與所捕獲的場景對應(yīng)的色度信息(例如，主色信息，諸如RGB信息)。在一個示例實施例中，可以配置處理裝置以接收與由關(guān)聯(lián)于圖像傳感器214的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。
[0058]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200接收與由關(guān)聯(lián)于圖像傳感器214的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合。在一個示例實施例中，第二幀集合包括與所捕獲的場景對應(yīng)的照度信息(例如，灰度信息)。全色傳感器像素具有對與所捕獲的場景對應(yīng)的入射光的較高敏感度，并且其敏感度大于或等于與圖像傳感器214相關(guān)聯(lián)的顏色傳感器像素的敏感度的兩倍。在一個示例實施例中，全色傳感器像素可以具有單獨的曝光控制和獨立的讀出(例如，采樣)機制。例如，可以針對每個RGB像素采樣讀出全色傳感器像素兩次，并且可以執(zhí)行解馬賽克以獲得第二集合的幀。由于對全色傳感器像素的入射光的敏感度較高，因此第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。在一個示例實施例中，處理裝置可以被配置成接收與由關(guān)聯(lián)于圖像傳感器214的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。
[0059]在一個示例實施例中，處理器202被配置成使用存儲器204的內(nèi)容以及可選地使用在本文中描述的其它部件以使得裝置200至少部分地基于第一幀集合和第二幀集合的處理以高于第一巾貞集合的巾貞率的巾貞率生成對應(yīng)于場景的顏色巾貞。在一個不例實施例中，第一幀集合和第二幀集合的處理包括將幀的色度信息和照度信息組合以用于生成與所捕獲的場景對應(yīng)的顏色幀?？梢酝ㄟ^運用各種融合技術(shù)來實現(xiàn)用于生成顏色幀的色度信息和照度信息的組合。在一個示例實施例中，如果與第一幀集合相關(guān)聯(lián)的幀率是15幀每秒(fps)，則顏色幀被配置成以大于15fps的幀率生成。在一個示例實施例中，如圖2A中說明的那樣，可以基于第一幀集合和第二幀集合執(zhí)行顏色幀的生成。在一個示例實施例中，顏色幀的生成可以不包括基于第一幀集合對準第二幀集合。在一個示例實施例中，處理裝置可以被配置成至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。在圖3中說明顏色幀的生成的簡化概覽。
[0060]圖3示出了描繪根據(jù)一個示例實施例的顏色幀的生成的簡化概覽的框圖300。在一個實施例中，可以由圖2A的裝置200運用如由框圖300示出的顏色幀的生成。如圖2A中說明的那樣，顏色圖像傳感器208和全色圖像傳感器210可以捕獲與場景對應(yīng)的幀。場景光照狀況可以指示用于捕獲與場景對應(yīng)的幀的顏色圖像傳感器208和全色圖像傳感器210中的每個的曝光時間。在302處，顏色圖像傳感器208和全色圖像傳感器210捕獲與場景對應(yīng)的幀。在一個示例實施例中，同時或者近似同時地接收所捕獲的第一幀集合和第二幀集合。在圖3中，由顏色圖像傳感器208捕獲的與場景對應(yīng)的第一幀集合由X (η)表示，而由全色圖像傳感器210捕獲的與相同場景對應(yīng)的第二幀集合由Y (N)表示。注意，Y (N)中的幀數(shù)目大于X (N)中的幀數(shù)目，這是因為與全色圖像傳感器210相關(guān)聯(lián)的全色傳感器像素對入射光的敏感度更高。
[0061]在304處，基于第一幀集合執(zhí)行第二幀集合的對準。如圖2Α中說明的那樣，可以執(zhí)行對準(例如，變形)以獲得一個圖像傳感器(諸如全色圖像傳感器210)的依據(jù)第二圖像傳感器(諸如顏色圖像傳感器208)的輸出。這可以實現(xiàn)為兩個圖像傳感器，即使捕獲相同場景可以因捕獲角度差異而捕獲稍微不同的信息。相應(yīng)地，可以執(zhí)行像素的對準以獲得一個圖像傳感器的依據(jù)其它圖像傳感器的視圖。相應(yīng)地，可以計算變形以獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出。如圖2Α中說明的那樣，可以通過計算特征點和確定變形矩陣來執(zhí)行第二幀集合的對準。在圖4、圖5Α和圖5Β中進一步說明第二幀集合的對準。在306處，經(jīng)對準的第二幀集合(例如，具有變形照度信息的第二幀集合)由Y’ (N)表不。
[0062]在308處，來自經(jīng)對準的第二幀集合Y’(N)的變形照度信息與來自第一幀集合X(η)的色度信息組合。如圖2Α中說明的那樣，可以利用各種融合技術(shù)以用于組合照度信息和色度信息。在310處，來自經(jīng)對準的第二幀集合Y’(N)的變形照度信息與來自第一幀集合X (η)的色度信息的組合導致顏色幀Z (N)的生成。注意，生成的顏色幀Z (N)的幀率高于第一幀集合X (η)的幀率。由于第二集合中的較高幀數(shù)目被對準至第一集合中的幀(在匹配時間戳處或在之前時間戳處)，并且在對準之后，組合照度信息和色度信息，因此生成較高的顏色幀數(shù)目，這意味著生成的顏色幀的幀率較高。在圖4中進一步說明對準和顏色幀的生成。
[0063]注意，圖2Β的裝置200排除包括顏色圖像傳感器208和全色圖像傳感器210，而是利用與顏色傳感器像素和全色傳感器像素相關(guān)聯(lián)的圖像傳感器214。相應(yīng)地，圖2Β的裝置200可以運用由框圖300示出的顏色幀的生成，其中分別從圖像傳感器214的顏色傳感器像素和全色傳感器像素接收第一幀集合X (η)和第二幀集合Y (η)，并且將X (η)的色度信息與Y (N)的照度信息組合(同時排除需要在304處的對準)以生成顏色幀Z (N)。
[0064]圖4示出了根據(jù)一個示例實施例的基于第一集合中的幀對準第二集合中幀。在一個實施例中，在顏色幀400的生成之前，可以由圖2Α的裝置200運用圖4中描繪的對準。在圖4中，假設(shè)與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間被配置成被對準以用于捕獲與場景對應(yīng)的幀。
[0065]在402處，從顏色傳感器208接收配置第一集合的幀，諸如幀B1、幀B2等。在404處，從全色圖像傳感器210接收配置第二集合的幀，諸如幀P1、幀P2、幀P3、幀P4、幀P5、幀P6等。注意，第一幀集合和第二幀集合包括多個幀，并且出于示出的目的而描繪諸如幀B1-B2和？^^之類的幀。還注意，配置第一集合的幀以及配置第二集合的幀對應(yīng)于相同場景，即，由顏色圖像傳感器208和全色圖像傳感器210同時且單獨地捕獲的幀。在一個示例實施例中，同時或近乎同時地接收所捕獲的第一幀集合和第二幀集合。如圖2Α中說明的那樣，與全色圖像傳感器210相關(guān)聯(lián)的全色傳感器像素對入射光的敏感度是與顏色圖像傳感器相關(guān)聯(lián)的顏色傳感器像素的至少兩倍。相應(yīng)地，第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。在圖4中，假設(shè)全色傳感器像素對入射光的敏感度是顏色傳感器像素的三倍，并且相應(yīng)地，第二集合中的幀數(shù)目被描繪為第一集合中的幀的數(shù)目的三倍。
[0066]注意，與全色 圖像傳感器210相關(guān)聯(lián)的全色傳感器像素指代全色濾鏡，其包括全色像素并且被布置在全色圖像傳感器210之上以用于采樣照度信息。類似地，與顏色圖像傳感器208相關(guān)聯(lián)的顏色傳感器像素指代顏色濾鏡陣列(諸如Bayer CFA)，其包括顏色濾鏡(例如，RGB顏色濾鏡)的馬賽克并且被布置在顏色圖像傳感器208之上以用于采樣色度信息。在一個示例實施例中，第二集合中的幀包括與所捕獲的場景對應(yīng)的照度信息而第一集合中的幀包括與所捕獲的場景對應(yīng)的色度信息。
[0067]第二集合中的幀被對準至第一集合中的幀以便獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出。如圖2Α中說明的那樣，第二集合中在時間戳處的幀與第一集合中在對應(yīng)時間戳處的幀對準。在圖4中，第二集合的幀？1與第一集合的幀B1在相同的時間瞬間被捕獲，即它們的對應(yīng)時間戳匹配。幀P1可以使用匹配的時間戳被對準至幀I。在一個示例實施例中，可以針對針P1和B1計算特征點，并且標識在經(jīng)計算的特征點之間的對應(yīng)信息?？梢曰趯?yīng)信息確定變形矩陣，并且可以基于變形矩陣將幀準至幀I。在一個示例實施例中，與幀P1對應(yīng)的照度信息可以被變形至灰度圖像，其基于用于將幀P1對準至幀B1的變形矩陣由與幀B1對應(yīng)的色度信息配置。類似地，基于幀氏(例如，第一集合中具有匹配時間戳的幀)對準幀Ρ4。
[0068]此外，如圖2Α中說明的那樣，如果在第一集合中沒有對應(yīng)時間戳處的幀，則在第二集合中在時間戳處的幀與第一集合中的如下幀對準，該幀位于第二集合中的幀的時間戳之前的時間戳處。在高幀率時，場景內(nèi)容經(jīng)常改變不多，并且相應(yīng)地，第二集合中的幀可以被對準至第一集合中在之前時間戳處的幀。在圖4中，第二集合的幀P2和P3并不具有第一集合中的、具有對應(yīng)(例如，匹配)時間戳的幀。幀P2和P3中的每個幀被對準至第一集合中的具有之前時間戳的幀，例如幀I?？梢园凑张c幀P1和B1的對準類似的方式執(zhí)行對準。類似地，第二集合的幀P5和P6并不具有在第一集合中的、具有匹配時間戳的幀。因此，幀P5和P8中的每個幀被對準至第一集合中的具有之前時間戳的幀，例如幀b2。
[0069]在406處，第二集合中的幀在對準之后的照度信息可以與第一集合中(在匹配時間戳處或在之前幀的時間戳處)的幀的色度信息組合以用于生成顏色幀400。例如，在對準幀P1和B1之后，與幀P1對應(yīng)的變形照度信息可以與幀B1的色度信息組合以生成顏色幀B^P10類似地，在對準幀P2和B1之后，與幀P2對應(yīng)的變形照度信息可以與幀B1的色度信息組合以生成顏色幀BJP2。第二集合中的剩余幀可以與第一集合中的幀類似地對準和組合以生成顏色幀400。如圖4中可見，顏色幀400的幀率高于第一幀集合的幀率。較高的幀率當在極其大的顯示器上瀏覽與所捕獲的場景對應(yīng)的視頻內(nèi)容時尤其有用，這是因為視頻將表現(xiàn)的更為平滑并且從而排除抖動和不連續(xù)性。此外，所生成的顏色幀400的質(zhì)量也因改進的信噪比而優(yōu)于由顏色圖像傳感器208或全色圖像傳感器210的任一者捕獲的幀(這是因為通過組合色度和照度信息而非通過降低顏色圖像傳感器208的曝光時間增加了幀率，降低曝光時間可以不利地影響信噪比)。如上所述，在圖4中，假設(shè)與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間被配置成被對準以用于捕獲與場景對應(yīng)的幀。在圖5A和圖5B中說明當與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間被交錯時幀的對準和顏色幀的后續(xù)生成。
[0070]圖5A和圖5B示出了根據(jù)一個示例實施例的在與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間的交錯之后的幀的對準。在圖5A中，假設(shè)與全色圖像傳感器210相關(guān)聯(lián)的曝光時間是與顏色圖像傳感器208相關(guān)聯(lián)的曝光時間的三分之一。在圖5B中，假設(shè)與全色圖像傳感器210相關(guān)聯(lián)的曝光時間是與顏色圖像傳感器208相關(guān)聯(lián)的曝光時間的一半。在一個實施例中，在顏色幀500的生成之前，可以由圖2A的裝置200運用圖5A和圖5B中描繪的對準。
[0071]在502處，從顏色圖像傳感器208接收配置第一集合的幀。更具體而言，出于示出的目的，描繪從顏色圖像傳感器208接收第一集合中的幀的中間序列，諸如幀B3、幀B4和幀B5,該中間序列來自序列中的多個幀。在504處，從全色圖像傳感器210接收配置第二集合的幀。更具體而言，出于示出的目的，描繪從全色圖像傳感器210接收第二集合中的幀的中間序列，諸如幀P1Q，幀P11,幀P12,幀P13,幀P14和幀P15,該中間序列來自序列中的多個幀。注意，配置第一集合的幀和配置第二集合的幀對應(yīng)于相同場景，即，由顏色圖像傳感器208和全色圖像傳感器210同時且單獨地捕獲幀。在一個示例實施例中，同時或近乎同時地接收所捕獲的第一幀集合和第二幀集合。如圖2A中說明的那樣，與全色圖像傳感器210相關(guān)聯(lián)的全色傳感器像素對入射光的敏感度是與顏色圖像傳感器相關(guān)聯(lián)的顏色傳感器像素的至少兩倍。相應(yīng)地，第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。在圖5A中，假設(shè)與全色圖像傳感器210相關(guān)聯(lián)的曝光時間是與顏色圖像傳感器208相關(guān)聯(lián)的曝光時間的三分之一，這意味著全色傳感器像素對入射光的敏感度是顏色傳感器像素的三倍，并且相應(yīng)地，第二集合中的幀的數(shù)目被描繪為第一集合中的幀數(shù)目的三倍。
[0072]如圖2A中說明的那樣，在與顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間的交錯之后，與第一集合中的幀對應(yīng)的時間戳被配置成落入與第二集合中的幀對應(yīng)的時間戳之間。例如，第一集合中的幀(例如，幀B4)的時間戳落入與第二集合中的幀(例如Pltl和P11)對應(yīng)的時間戳之間。類似地,幀B5的時間戳落入與幀P13和P14對應(yīng)的時間戳之間。[0073]第二集合中的幀被對準至第一集合中的幀以便獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出。如圖2A中說明的那樣，在第二集合中在時間戳處的幀與第一集合中的如下至少一個巾貞對準，該至少一個巾貞位于第二集合中的巾貞的時間戳的之前時間戳和后繼時間戳處。例如，在圖5A中，幀Pltl被對準至第一集合中的在幀Pltl的時間戳之前的時間戳處的幀，例如，被對準至幀B3。此外，幀Pici也被對準至第一集合中的在幀Pltl的時間戳之后的時間戳處的幀，例如，被對準至幀B4。幀P11和P12被對準至第一集合中在它們的對應(yīng)時間戳之前的時間戳處的幀，例如，被對準至幀b4。幀P13和P14的時間戳交織與第一集合中的幀(例如，幀B5)對應(yīng)的時間戳。相應(yīng)地，幀P13被對準至幀B4和B5,并且?guī)琍14被對準至第一集合的巾貞B(tài)5。
[0074]在一個示例實施例中，可以針對第一集合和第二集合中的幀計算特征點，并且標識在經(jīng)計算的特征點之間的對應(yīng)信息?？梢曰趯?yīng)信息確定變形矩陣，并且第二集合中的幀可以基于變形矩陣被對準至第一集合中的幀。在一個示例實施例中，與第二集合中的幀對應(yīng)的照度信息可以被變形至灰度圖像，其基于用于對準幀的變形矩陣從與第一集合中的幀對應(yīng)的色度信息配置而成。
[0075]在506處，第二集合中的幀在對準之后的照度信息可以與第一集合中(在之前時間戳處或在后繼時間戳處)的幀的色度信息組合以用于生成顏色幀500。例如，在對準幀Pki和B3之后，與幀Pltl對應(yīng)的變形照度信息可以與對應(yīng)于幀B3的色度信息組合以生成顏色幀B3+P10o類似地，在對準幀Pltl和B4之后，與幀Pltl對應(yīng)的變形照度信息可以與對應(yīng)于幀B4的色度信息組合以生成顏色幀B4+P1(i。第二集合中的剩余幀可以與第一集合中的幀對準與組合以生成顏色幀500。如圖5A中可見，顏色幀500的幀率高于第一幀集合的幀率。由于時間戳的交織，第二集合中的一些幀(諸如幀Pltl或P13)可以與第一集合中的多于一個的幀對準并隨后組合,并且相應(yīng)地,可以生成較高數(shù)目的顏色幀500。這類顏色幀500的生成500是可能的，這是因為旁邊幀的場景內(nèi)容在高幀率時改變不多。相應(yīng)地，生成的顏色幀500的幀率為高，例如，甚至高于使用與對準的顏色圖像傳感器208和全色圖像傳感器210相關(guān)聯(lián)的曝光時間生成的顏色幀400的幀率。
[0076]在圖5B中，假設(shè)與全色圖像傳感器210相關(guān)聯(lián)的曝光時間是與顏色圖像傳感器208相關(guān)聯(lián)的曝光時間的一半。相應(yīng)地，第二集合中的幀數(shù)目是第一集合中的幀數(shù)目的二倍。在508處，從顏色圖像傳感器208接收配置第一集合的幀。更具體而言，出于示出的目的，第一集合中的幀的中間序列(幀B3-B6)被描繪為從顏色圖像傳感器208接收，該中間序列來自序列中的多個幀。在510處，從全色圖像傳感器210接收配置第二集合的幀。更具體而言，出于示出的目的，第二集合中的幀的中間序列(巾貞P7-P12)被描繪為從全色圖像傳感器210接收，該中間序列來自序列中的多個幀。注意，配置第一集合的幀和配置第二集合的幀對應(yīng)于相同場景，即，由顏色圖像傳感器208和全色圖像傳感器210同時且單獨地捕獲幀。在一個示例實施例中，同時或近乎同時地接收所捕獲的第一幀集合和第二幀集合。
[0077]由于曝光時間的交錯，與第一集合中的幀對應(yīng)的時間戳被配置成落入與第二集合中的幀對應(yīng)的時間戳之間。例如，第一集合中的幀(例如，幀B4)的時間戳落入與第二集合中的幀(例如，幀P7和P8)對應(yīng)的時間戳之間。類似地，幀B5的時間戳落入與幀P9和Pltl對應(yīng)的時間戳之間，并且?guī)珺6的時間戳落入與幀P11和P12對應(yīng)的時間戳之間。
[0078]第二集合中的幀被對準至第一集合中的幀以便獲得全色圖像傳感器210的依據(jù)顏色圖像傳感器208的輸出。在第二集合中在時間戳處的幀與第一集合中的如下至少一個幀對準，該至少一個幀位于第二集合中的幀的時間戳的之前時間戳和后繼時間戳處。例如，在圖5B中，幀P7被對準至第一集合中的在幀P7的時間戳之前時間戳處的幀，例如，被對準至幀B3。此外，幀P7也被對準至第一集合中的在幀P7的時間戳之后時間戳處的幀，例如，被對準至幀B4。幀P8被對準至第一集合中的在其時間戳之前時間戳處的幀,例如,被對準至幀B4O幀P9和Pltl的時間戳交織與第一集合中的幀(例如，幀B5)對應(yīng)的時間戳。相應(yīng)地,幀P9被對準至幀B4和B5。幀Pltl被對準至B5。類似地，幀P11被對準至幀B5和B6而幀P12被對準至B6。
[0079]可以如圖5A中所說明的那樣執(zhí)行對準。此外，在512處，第二集合中的幀在對準之后的照度信息可以與第一集合中(在之前時間戳處或在后續(xù)時間戳處)的幀的色度信息組合以用于生成顏色幀500。例如，在幀P7和B3對準之后，與幀P7對應(yīng)的變形照度信息可以與幀B3的色度信息組合以生成顏色幀B3+P7。類似地，在幀P7和B4對準之后，與幀P7對應(yīng)的變形照度信息可以與幀B4的色度信息組合以生成顏色幀&+匕。第二集合中的剩余幀可以被與第一集合中的幀類似地對準和組合以生成顏色幀500。如圖4中可見，顏色幀500的幀率高于第一集合中的幀的幀率。由于時間戳的交織，第二集合中的一些幀(諸如幀P7、P9和P11)可以與第一集合中的多于一個的幀對準且隨后組合，并且相應(yīng)地可以生成較高數(shù)目的顏色幀500。在圖6中說明用于捕獲視頻內(nèi)容的方法。
[0080]圖6是描繪根據(jù)一個示例實施例的用于捕獲視頻內(nèi)容的示例方法600的流程圖?？梢杂衫鐖D2A的裝置200執(zhí)行在流程圖中描繪的方法600。流程圖的操作以及流程圖中操作組合可以由各種裝置實現(xiàn)，諸如硬件、固件、處理器、電路裝置和/或與包括一個或多個計算機程序指令的軟件執(zhí)行相關(guān)聯(lián)的其它設(shè)備。例如，在各種實施例中描述的一個或多個過程可以由計算機程序指令體現(xiàn)。在一個示例實施例中，在各種實施例中描述的體現(xiàn)過程的計算機程序指令可以由裝置的至少一個存儲器設(shè)備存儲并且由裝置中的至少一個處理器執(zhí)行。任何這類計算機程序指令可以被加載至計算機或其它可編程裝置(例如，硬件)上以產(chǎn)生機器，從而使得所得的計算機或其它可編程裝置體現(xiàn)用于實現(xiàn)在流程圖中詳述的操作的裝置。這些計算機程序指令還可以被存儲在計算機可讀存儲存儲器中(相對于諸如載波或電磁信號之類的傳輸介質(zhì)而言)，該指令可以使得計算機或其它可編程裝置以特定方式工作，從而使得存儲在計算機可讀存儲器中的指令產(chǎn)生制品，該制品的執(zhí)行實現(xiàn)在流程圖中詳述的操作。計算機程序指令還可以被加載至計算機或其它可編程裝置上以引起在計算機或其它可編程裝置上執(zhí)行用于產(chǎn)生計算機實現(xiàn)的處理的一系列操作，從而使得在計算機或其它可編程裝置上執(zhí)行的指令提供用于實現(xiàn)流程圖中的操作的操作。借助于圖2A的裝置200描述方法600的操作。然而，可以通過使用任何其它裝置來描述和/或?qū)嵺`方法的操作。
[0081]在方法600的塊602處，從顏色傳感器(諸如顏色圖像傳感器208)接收與場景對應(yīng)的第一幀集合。場景可以包括在周圍環(huán)境中的一個或多個對象，例如，人物或個體、鳥、書、操場、自然景物(諸如山)等的聚集。在一個示例實施例中，顏色圖像傳感器可以是其上布置顏色濾鏡陣列(CFA)的圖像傳感器。使用半導體材料構(gòu)建的圖像傳感器(諸如基于CMOS的傳感器、或電荷耦合器件(CCD)傳感器)是對顏色或波長不敏感的，并且因此在這類顏色圖像傳感器之上布置CFA。在一個示例實施例中，CFA包括顏色傳感器像素(諸如紅色、綠色和藍色(RGB)的像素)，其以馬賽克模式被布置在顏色圖像傳感器之上以用于采樣與所捕獲的場景對應(yīng)的相應(yīng)顏色。從這些顏色傳感器像素獲得的采樣值在內(nèi)插之后配置圖像像素。由于每個圖像像素被過濾以僅記錄三種顏色之一，因此來自每個像素的數(shù)據(jù)無法僅憑其自身充分確定顏色。為了獲得全顏色圖像，可以運用各種解馬賽克算法以針對與所捕獲的幀對應(yīng)的每個圖像像素內(nèi)插完整的紅色、綠色和藍色值的集合。
[0082]在一個示例實施例中，顏色圖像傳感器可以包括Bayer CFA，其被配置成提供RGB以及青色、品紅色和黃色(CMY)顏色模式之一。在一個實施例中，Bayer CFA濾鏡模式可以包括紅色或藍色的兩倍的綠色圖像像素以模擬人眼的生理技能，相比于紅色和藍色，人眼對于綠色光更為敏感。相應(yīng)地，濾鏡模式可以是50%綠色、25%紅色和25%藍色，并且還可以被稱為RGBG、GRGB或RGGB顏色模式。在一個示例實施例中，可以執(zhí)行從CFA接收的圖像樣本的解馬賽克以生成第一幀集合。在一個示例實施例中，第一幀集合包括與所捕獲的場景捕獲的對應(yīng)的色度信息(例如，主色信息，諸如RGB信息)。
[0083]在塊604處，接收與場景對應(yīng)的第二幀集合。在一個示例實施例中，由全色圖像傳感器(諸如裝置200的全色圖像傳感器210)捕獲第二幀集合。在一個示例實施例中，第二幀集合包括與所捕獲的場景對應(yīng)的照度信息(例如，灰度信息)。在一個示例實施例中，全色圖像傳感器可以包括全色傳感器像素或者可以與全色傳感器像素相關(guān)聯(lián)。在一個示例實施例中，包括全色傳感器像素的CFA (例如，全色濾鏡)可以被布置在全色圖像傳感器之上。注意，全色圖像傳感器和顏色圖像傳感器同時捕獲與場景對應(yīng)的幀。同時捕獲第一幀集合和第二巾貞集合，并且第一巾貞集合和第二巾貞集合對應(yīng)于相同場景。在一個不例實施例中，同時或近乎同時地接收所捕獲的第一幀集合和第二幀集合。在一個示例實施例中，全色圖像傳感器的、對與所捕獲的場景對應(yīng)的入射光的敏感度大于或等于顏色圖像傳感器的敏感度的兩倍。更具體而言，與全色圖像傳感器相關(guān)聯(lián)的全色傳感器像素具有對入射光的如下敏感度，其大于或等于與顏色圖像傳感器相關(guān)聯(lián)的顏色傳感器像素的敏感度的兩倍。由于敏感度更大，因此對于給定場景照明而言，全色圖像傳感器可以能夠捕獲由顏色圖像傳感器捕獲的幀數(shù)目的至少兩倍的幀數(shù)目。備選地，全色圖像傳感器可以在針對顏色圖像傳感器配置的曝光時間的接近一半的情形下捕獲與由顏色圖像傳感器捕獲的幀數(shù)目相同的幀數(shù)目。在一個示例實施例中，全色傳感器像素的敏感度是與顏色圖像傳感器對應(yīng)的顏色傳感器像素的近似3倍。例如，如果場景光照使得顏色圖像傳感器所需的曝光時間為33ms (這意味著顏色圖像傳感器的幀率是1000/33=?30fps)，則全色圖像傳感器所需的曝光時間將少于或等于16ms以獲得近似相似的売度。
[0084]在塊606處，確定與顏色圖像傳感器和全色圖像傳感器相關(guān)聯(lián)的曝光時間在捕獲與場景對應(yīng)的幀期間對準。如果確定對準了曝光時間，則在塊608處，基于第一幀集合對準第二幀集合。備選地，在一個示例實施例中，可以基于第二幀集合對準第一幀集合?？梢詧?zhí)行對準(例如，變形)以便獲得一個圖像傳感器(諸如全色圖像傳感器)的依據(jù)第二圖像傳感器(諸如顏色圖像傳感器)的輸出。這可以實現(xiàn)為兩個圖像傳感器，即使捕獲相同場景可以因捕獲角度差異而捕獲稍微不同的信息。相應(yīng)地，可以執(zhí)行像素對準以獲得一個圖像傳感器的依據(jù)其它圖像傳感器的視圖。相應(yīng)地，可以計算變形以獲得全色圖像傳感器的依據(jù)顏色圖像傳感器的輸出。在一些實施例中，出于圖2A中說明的理由，可以優(yōu)選地計算變形以用于獲得顏色圖像傳感器的依據(jù)全色圖像傳感器的輸出。在一個示例實施例中，變形可以作為8參數(shù)變換(例如，使用標準技術(shù)，諸如相似性、單應(yīng)性、仿射等)計算，或者可以使用針對立體相機計算的密集對應(yīng)來計算。
[0085]在一個示例實施例中,第二集合中在時間戳處的幀與第一集合中在對應(yīng)時間戳處的幀對準。此外，第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目，這是因為由與全色圖像傳感器相關(guān)聯(lián)的全色傳感器像素捕獲的幀數(shù)目較高。相應(yīng)地，還可以有第二集合中的如下幀，其不具有第一集合中的具有匹配時間戳的任一幀。在一個示例實施例中，如果在第一集合中沒有在對應(yīng)時間戳處的幀，則在第二集合中在時間戳處的幀與第一集合中的如下幀對準，該幀位于第二集合中的幀的時間戳之前的時間戳處。可以如圖4中說明的那樣執(zhí)行第二集合中(在匹配時間戳和之前時間戳處)的幀的對準。
[0086]如果確定曝光時間未被對準，則在塊608處,對于交錯的曝光時間而言,基于第一幀集合對準第二幀集合。在第二集合中的在時間戳處的幀被對準至第一集合中的、在第二集合中的幀的時間戳的之前時間戳和相繼時間戳處至少一個幀。在一個示例實施例中，與第一集合中的幀對應(yīng)的時間戳被配置成在交錯與顏色圖像傳感器和全色圖像傳感器相關(guān)聯(lián)的曝光時間之后落入與在第二集合中的幀對應(yīng)的時間戳之間。在一個示例實施例中，如圖5A和圖5B中所示，第一集合中的幀的時間戳可以落入(例如，交織)第二集合中的幀的時間戳之間。在一個示例實施例中，在第二集合中在時間戳處的幀與第一集合中的如下至少一個幀對準，該至少一個幀位于第二集合中的幀的時間戳的之前時間戳和后繼時間戳處。例如，第二集合中在第16秒的時間戳處的幀可以被對準至第一集合中在第11秒的時間戳(即，之前時間戳)處的幀和第一集合中在第17秒的時間戳(S卩，相繼時間戳)處的幀。
[0087]在一個示例實施例中，出于對準的目的，可以基于與第二集合中的幀相關(guān)聯(lián)的特征點和與在第一集合中的幀相關(guān)聯(lián)的特征點確定變形矩陣。特征點的示例可以包括但不限于拐角、圖像邊緣或感興趣的其它區(qū)域，諸如場景背景。在一個示例實施例中，可以執(zhí)行第一集合中的幀的灰度轉(zhuǎn)換，并且可以確定與灰度圖像相關(guān)聯(lián)的特征點。在一個示例實施例中，可以使用諸如尺度不變特征變換(SIFT)、哈里斯角檢測、最小單值分段同化核(SUSAN)角檢測、來自加速分段測試的特征(FAST)之類的算法以用于確定與灰度圖像和第二集合中的幀相關(guān)聯(lián)的特征點。在一個示例實施例中，可以確定在與對應(yīng)于第一集合中的幀的灰度圖像相關(guān)聯(lián)的特征點和與第二集合中的幀相關(guān)聯(lián)的特征點之間的對應(yīng)信息。在一個示例實施例中，可以使用諸如隨機采樣一致性(RANSAC)之類的算法確定對應(yīng)信息。在一個示例實施例中，可以基于對應(yīng)信息計算變形矩陣。在一個示例實施例中，可以使用變形矩陣將第二集合中的幀與第一集合中的幀對應(yīng)地變形。
[0088]在一個示例實施例中，可以計算與第一集合中的幀相關(guān)聯(lián)的色度信息。在一個示例實施例中，可以通過將幀分解為照度-色度格式來確定第一集合中的幀的色度信息。在一個示例實施例中，可以對第一集合中的幀的色度信息(例如，RGB圖像)去噪聲以生成平滑色度信息。在一個示例實施例中，可以使用變形矩陣將與第二集合中的幀的對應(yīng)的照度信息與去噪聲的色度信息對應(yīng)地變形。
[0089]在一個示例實施例中，在第一集合和第二集合的幀的對準之前，執(zhí)行第一集合的幀的清晰化和增加與第一集合的幀相相關(guān)聯(lián)的亮度中的至少一個。在一個示例實施例中，對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度低于第二集合中的幀的亮度。在一個示例實施例中，對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度顯著低于第二集合中的幀的亮度。在一個示例實施例中，如果對于捕獲參數(shù)的給定集合而言與第一集合的幀相關(guān)聯(lián)的亮度顯著低于第二集合中的幀的亮度，則可以通過使用增益(例如，通過使用放大器)來增加與第一集合的幀相關(guān)聯(lián)的亮度以排除所生成的顏色幀中的顏色的去飽和，這是因為顏色和顏色飽和的感覺取決于對應(yīng)照度水平。在一個示例實施例中，可以基于預(yù)先確定的人工和/或自動配置施加增益，或者備選地可以基于第一集合中的幀和第二集合中的幀的相對亮度來施加增益。在需要向第一集合的幀施加增益以阻止損失顏色信息的情形下，觀察到隨著增益增加的噪聲分量的增加。為了減輕噪聲分量的增加，可以通過使用各種技術(shù)在第一集合的幀上或(在對準之前或之后)選擇性地向色度信息應(yīng)用去噪聲算法。這類技術(shù)的示例可以包括但不限于西格瑪過濾、雙邊過濾以及基于小波的方法。
[0090]在一些示例性情形中，可以在較不理想的狀況下捕獲與場景對應(yīng)的幀。例如，在捕獲與場景對應(yīng)的幀時，所捕獲的場景可能包括移動的畫面，或者圖像傳感器可能不穩(wěn)定，或者這兩者。在此情形下，所捕獲的幀可以包括內(nèi)容的模糊，其可以產(chǎn)生對在幀中包括的細節(jié)的失真影響。模糊結(jié)果可以由其影響第一集合中的幀，因為與顏色圖像傳感器相關(guān)聯(lián)的曝光時間高于與全色圖像傳感器相關(guān)聯(lián)的曝光時間。在一個示例實施例中，在變形色度信息和關(guān)于在第二幀集合中包括的照度信息確定密集對應(yīng)之前，可以運用清晰化算法以用于清晰化(例如，根據(jù)模糊效果糾正幀)。在一個實施例中，清晰化算法可以涉及計算模糊內(nèi)核以用于清晰化色度信息。在一個示例實施例中，可以以盲的方式或使用來自第二集合的非模糊幀來計算模糊內(nèi)核。在一個示例實施例中，這類去模糊可以減少第一集合的幀的動作模糊并且改進所生成的顏色幀的主觀質(zhì)量。
[0091]在塊610處，至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的中貞率的巾貞率生成與場景對應(yīng)的顏色巾貞。在一個不例實施例中，第一巾貞集合和第二巾貞集合的處理包括組合色度信息和照度信息以用于生成與所捕獲的場景對應(yīng)的顏色幀?？梢酝ㄟ^運用各種融合技術(shù)來實現(xiàn)用于生成顏色幀的色度信息和照度信息的組合。
[0092]在一個示例實施例中，可以基于第二集合中的變形幀的處理和第一集合中的幀的色度信息來生成各個顏色幀。在一個示例實施例中，如圖4中說明的那樣，第二集合中的幀的變形照度信息可以與第一集合中的幀的色度信息組合以生成顏色幀。在一個示例實施例中，在從全色圖像傳感器和顏色圖像傳感器單獨接收幀的質(zhì)量方面而言，所生成的顏色幀是改進的幀。
[0093]在一個不例實施例中，以高于第一巾貞集合的巾貞率的巾貞率生成與場景對應(yīng)的顏色幀。如前所述，第二集合中的幀數(shù)目高于第一集合中的幀數(shù)目。如圖4中說明的那樣，第二集合中的較高數(shù)目的幀被對準至第一集合中(在匹配時間戳或在之前時間戳處)的幀，并且在對準之后，將照度信息和色度信息組合以生成較高數(shù)目的顏色幀。此外，曝光時間的交錯使得第二集合中的一個或多個幀可以對準至第一集合中的多于一個的幀(并且隨后組合)，因為旁邊幀的場景內(nèi)容在高幀率時改變不多。相應(yīng)地，所生成的顏色幀的幀率高，例如，甚至高于使用顏色圖像傳感器和全色圖像傳感器的經(jīng)對準的曝光時間所生成的顏色幀的幀率。
[0094]在一個示例實施例中，處理裝置可以被配置成執(zhí)行以下項中的一些或所有:接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合；接收與由全色圖像傳感器捕獲的場景對應(yīng)的第二幀集合，其中第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目；以及至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的幀率的幀率生成對應(yīng)于場景的顏色幀。處理裝置的示例可以包括處理器202，其可以是控制器108的一個示例。參見附圖7具體說明用于捕獲視頻內(nèi)容的另一方法。
[0095]圖7是描繪了根據(jù)另一示例實施例的用于捕獲視頻內(nèi)容的示例方法700的流程圖。圖2B的裝置200可以運用用于捕獲視頻內(nèi)容的方法700。包括顏色傳感器像素和全色傳感器像素的圖像傳感器(諸如圖像傳感器214)可以被運用于捕獲視頻內(nèi)容。在一個示例實施例中，可以在圖像傳感器之上布置顏色濾鏡陣列(CFA)。在一個示例實施例中，與圖像傳感器相關(guān)聯(lián)的CFA可以包括顏色傳感器像素和全色傳感器像素。在一個示例實施例中，CFA可以包括RGBW顏色濾鏡模式。更具體而言，CFA除了全色傳感器像素(也被稱為白色像素或W)之外還可以包括顏色傳感器像素，諸如紅色、綠色和藍色(RGB)像素。可以在圖像傳感器之上以馬賽克模式(例如，RGBW顏色濾鏡模式)布置顏色傳感器像素和全色傳感器像素以用于采樣對應(yīng)于所捕獲的場景的相應(yīng)色度-照度信息。
[0096]在方法700的塊702處，接收與由與圖像傳感器相關(guān)聯(lián)的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合(例如，如圖2A中說明的第一幀集合)。在一個示例實施例中，可以執(zhí)行從顏色傳感器像素接收的圖像樣本的解馬賽克以生成第一幀集合。在一個示例實施例中，第一幀集合包括與所捕獲的場景對應(yīng)的色度信息(例如，主色信息，諸如RGB信息)。
[0097]在塊704處，接收與由與圖像傳感器相關(guān)聯(lián)的全色傳感器像素捕獲的場景對應(yīng)的第二幀集合。第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。在一個示例實施例中，第二幀集合包括對應(yīng)于所捕獲的場景的照度信息(例如，灰度信息)。全色傳感器像素具有對與所捕獲的場景對應(yīng)的入射光的較高敏感度，并且其敏感度大于或等于與圖像傳感器相關(guān)聯(lián)的顏色傳感器像素的敏感度的至少兩倍。在一個示例實施例中，全色傳感器像素可以具有單獨的曝光控制和單獨的讀出(例如，采樣)機制。例如，可以針對每個RGB像素采樣讀出全色傳感器像素兩次，并且可以執(zhí)行解馬賽克以獲得第二集合的幀。由于全色傳感器像素的對入射光的敏感度較高，因此第二集合中的幀數(shù)目大于第一集合中的幀數(shù)目。
[0098]在塊706處，至少部分地基于第一幀集合和第二幀集合的處理以高于第一幀集合的中貞率的巾貞率生成與場景對應(yīng)的顏色巾貞。在一個不例實施例中，第一巾貞集合和第二巾貞集合的處理包括將幀的色度信息和照度信息組合以用于生成與所捕獲的場景對應(yīng)的顏色幀?？梢酝ㄟ^運用各種融合技術(shù)來實現(xiàn)用于生成顏色幀的色度信息和照度信息的組合。在一個示例實施例中，如圖2A中說明的那樣，可以執(zhí)行基于第一幀集合和第二幀集合的顏色幀的生成。在一個示例實施例中，顏色幀的生成可以不包括第二幀集合的基于第一幀集合的對準。
[0099]為了便于論述圖6和圖7的方法600和/或方法700，某些操作在此被描述為構(gòu)成以某些順序執(zhí)行的獨特步驟。這些實現(xiàn)方式是示例性和非限制性的。某些操作可以聚集在一起并且以單個操作執(zhí)行，并且可以按照不同于本文闡述的示例中運用的順序的順序執(zhí)行某些操作。此外，以自動方式執(zhí)行方法600和/或方法700的某些操作。這些操作實際上不涉及與用戶的交互?？梢园凑杖斯し绞交虬胱詣臃绞綀?zhí)行方法600和/或方法700的其它操作。這些操作涉及經(jīng)由一個或多個用戶接口呈現(xiàn)的與用戶的交互。
[0100]在不以任何方式限制下面出現(xiàn)的權(quán)利要求書的范圍、解讀或應(yīng)用的前提下，本文公開的示例實施例的一個或多個示例實施例的技術(shù)效果涉及捕獲視頻內(nèi)容。如圖2-圖7中說明的那樣，可以使用顏色圖像傳感器(諸如顏色圖像傳感器208)和全色圖像傳感器(諸如全色圖像傳感器210)同時捕獲場景。來自全色圖像傳感器的照度信息在對準之后可以與來自顏色圖像傳感器的色度信息組合，從而以高于由顏色圖像傳感器捕獲的幀的幀率的幀率生成顏色幀。可以將幀率增加為由單個顏色圖像傳感器捕獲的幀率的兩至三倍。如圖5A和圖5B中說明的那樣，與顏色圖像傳感器和全色圖像傳感器相關(guān)聯(lián)的曝光時間的交錯實現(xiàn)了甚至更高的幀率的配置。當在極其大的顯示器上瀏覽與所捕獲的場景對應(yīng)的視頻內(nèi)容時，較高的幀率可以尤其有用，這是因為視頻將表現(xiàn)的更為平滑并且從而排除抖動和不連續(xù)性。此外，所生成的顏色幀的質(zhì)量也優(yōu)于由顏色圖像傳感器或全色圖像傳感器捕獲的幀，這是由于信噪比的改進(由于通過組合色度和照度信息而非通過減少顏色圖像傳感器的曝光時間來增加幀率，減少曝光時間不利地影響SNR)。改進的SNR在低光照狀況下尤其有用，這是因為幀率無需用于增加曝光頻率的折衷以用于改進幀質(zhì)量。此外，各種實施例建議利用配置有RGBW顏色濾鏡模式的單個圖像傳感器以用于改進視頻內(nèi)容的幀率。
[0101]在此描述的各種實施例可以在軟件、硬件、應(yīng)用邏輯或軟件、硬件和應(yīng)用邏輯的組合中實現(xiàn)。軟件、應(yīng)用邏輯和/或硬件可以駐留在至少一個存儲器、至少一個存儲器、裝置、或計算機程序產(chǎn)品上。在一個示例實施例中，應(yīng)用邏輯、軟件或指令集被維持在各種常規(guī)計算機可讀介質(zhì)中的任一者上。在本文獻的情景中，“計算機可讀介質(zhì)”可以是可以包含、存儲、傳達、傳播或傳送指令以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計算機)使用或與上述結(jié)合使用的任何介質(zhì)或裝置，其中裝置的一個示例在圖1和/或圖2中描述或描繪。計算機可讀介質(zhì)可以包括計算機可讀存儲介質(zhì)，其可以是可以包含或存儲供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計算機)使用或與上述結(jié)合使用的指令的任何介質(zhì)或裝置。
[0102]如果期望，則可以按照不同順序和/或彼此并行地執(zhí)行本文中討論的不同功能。此外，如果期望，則上述功能中的一個或多個可以是可選的或可以被組合。
[0103]雖然在獨立權(quán)利要求中闡明了實施例的各個方面，但是其他方面包括所述實施例和/或具有獨立權(quán)利要求的特征的從屬權(quán)利要求的其它特征組合，并且并非僅包括權(quán)利要求中明確闡明的組合。
[0104]還應(yīng)注意，在本文中，雖然上述內(nèi)容描述了本發(fā)明的一些示例實施例，但是這些描述不應(yīng)被視為限制。而是，可以有在不偏離如權(quán)利要求書限定的本公開的范圍的前提下所做的若干變化和修改。
【權(quán)利要求】
1.一種方法，包括: 接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合； 接收與由全色圖像傳感器捕獲的所述場景對應(yīng)的第二幀集合，其中所述第二集合中的幀數(shù)目大于所述第一集合中的幀數(shù)目；以及 至少部分地基于所述第一幀集合和所述第二幀集合的處理，以高于所述第一幀集合的幀率的幀率生成對應(yīng)于所述場景的顏色幀。
2.根據(jù)權(quán)利要求1所述的方法，其中對與所述全色圖像傳感器的所捕獲的場景對應(yīng)的入射光的敏感度大于或等于所述顏色圖像傳感器的敏感度的兩倍。
3.根據(jù)權(quán)利要求1或2所述的方法，其中所述第一幀集合包括與所捕獲的場景對應(yīng)的色度信息。
4.根據(jù)權(quán)利要求3所述的方法，其中所述第二幀集合包括與所捕獲的場景對應(yīng)的照度信息。
5.根據(jù)權(quán)利要求4所述的方法，其中所述第一幀集合和所述第二幀集合的處理包括組合所述色度信息和所述照度信息以用于生成與所捕獲的場景對應(yīng)的所述顏色幀。
6.根據(jù)權(quán)利要求1或5所述的方法，其中在生成所述顏色幀之前基于所述第一幀集合對準所述第二幀集合。
7.根據(jù)權(quán)利要求6所述的方法，其中所述第二集合中在時間戳處的幀與所述第一集合中的在對應(yīng)時間戳處的幀對準。
8.根據(jù)權(quán)利要求7所述的方`法，其中，如果在所述第一集合中沒有在對應(yīng)時間戳處的幀，則將在所述第二集合中在時間戳處的幀與所述第一集合中的如下幀對準，該幀位于所述第二集合中的幀的時間戳之前的時間戳處。
9.根據(jù)權(quán)利要求6所述的方法，還包括交錯與所述顏色圖像傳感器和所述全色圖像傳感器相關(guān)聯(lián)的曝光時間，其中在所述曝光時間交錯之后，與所述第一集合中的幀對應(yīng)的時間戳被配置成落入與所述第二集合中的幀對應(yīng)的時間戳之間。
10.根據(jù)權(quán)利要求9所述的方法，其中在所述第二集合中在時間戳處的幀與所述第一集合中的如下至少一個幀對準，所述至少一個幀位于所述第二集合中的幀的時間戳的之前時間戳和后繼時間戳處。
11.根據(jù)權(quán)利要求1或5所述的方法，其中在生成所述顏色幀之前，基于所述第二幀集合對準所述第一幀集合。
12.根據(jù)權(quán)利要求6所述的方法，還包括在對準所述第一集合和所述第二集合的幀之前，執(zhí)行使所述第一集合的幀清晰和增加與所述第一集合的幀相關(guān)聯(lián)的亮度中的至少一個。
13.根據(jù)權(quán)利要求1所述的方法，其中所述顏色圖像傳感器包括拜耳顏色濾鏡陣列(CFA)，所述拜耳顏色濾鏡陣列(CFA)被配置成提供紅色-綠色-藍色(RGB)和青色-品紅色-黃色(CMY)顏色模式之一。
14.一種方法，包括: 接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合； 接收與由關(guān)聯(lián)于所述圖像傳感器的全色傳感器像素捕獲的所述場景對應(yīng)的第二幀集合，其中所述第二集合中的幀數(shù)目大于所述第一集合中的幀數(shù)目；以及至少部分地基于所述第一幀集合和所述第二幀集合的處理，以高于所述第一幀集合的幀率的幀率生成對應(yīng)于所述場景的顏色幀。
15.根據(jù)權(quán)利要求14所述的方法，其中對與所述全色傳感器像素的所捕獲的場景對應(yīng)的入射光的靈敏度大于或等于所述顏色傳感器像素的靈敏度的兩倍。
16.根據(jù)權(quán)利要求14或15所述的方法，其中所述第一幀集合包括與所捕獲的場景對應(yīng)的色度信息并且所述第二幀集合包括與所捕獲的場景對應(yīng)的照度信息。
17.根據(jù)權(quán)利要求16所述的方法，其中所述第一幀集合和所述第二幀集合的處理包括組合所述色度信息和所述照度信息以用于生成與所捕獲的場景對應(yīng)的所述顏色幀。
18.—種設(shè)備,包括: 用于接收與由顏色圖像傳感器捕獲的場景對應(yīng)的第一幀集合的裝置； 用于接收與由全色圖像傳感器捕獲的所述場景對應(yīng)的第二幀集合的裝置，其中所述第二集合中的幀數(shù)目大于所述第一集合中的幀數(shù)目；以及 用于至少部分地基于所述第一幀集合和所述第二幀集合的處理，以高于所述第一幀集合的幀率的幀率生成對應(yīng)于所述場景的顏色幀的裝置。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中對與所述全色圖像傳感器的所捕獲的場景對應(yīng)的入射光的敏感度大于或等于所述顏色圖像傳感器的敏感度的兩倍。
20.根據(jù)權(quán)利要求18或19所述的設(shè)備，其中所述第一幀集合包括與所捕獲的場景對應(yīng)的色度信息。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述第二幀集合包括與所捕獲的場景對應(yīng)的照度?目息。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中所述第一幀集合和所述第二幀集合的處理包括組合所述色度信息和所述照度信息以用于生成與所捕獲的場景對應(yīng)的所述顏色幀。
23.根據(jù)權(quán)利要求18或22所述的設(shè)備，其中所述設(shè)備還包括: 用于在生成所述顏色幀之前，基于所述第一幀集合對準所述第二幀集合的裝置。
24.根據(jù)權(quán)利要求23所述的設(shè)備，其中所述設(shè)備還包括: 用于將所述第二集合中在時間戳處的幀與所述第一集合中在對應(yīng)時間戳處的幀對準的裝置。
25.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述設(shè)備還包括: 用于如果在所述第一集合中沒有在對應(yīng)時間戳處的幀，則將在所述第二集合中在時間戳處的幀與所述第一集合中的如下幀對準的裝置，該幀位于所述第二集合中的幀的時間戳之前的時間戳處。
26.根據(jù)權(quán)利要求23所述的設(shè)備，其中所述設(shè)備還包括: 用于交錯與所述顏色圖像傳感器和所述全色圖像傳感器相關(guān)聯(lián)的曝光時間的裝置，其中在所述曝光時間交錯之后，與所述第一集合中的幀對應(yīng)的時間戳被配置成落入與所述第二集合中的幀對應(yīng)的時間戳之間。
27.根據(jù)權(quán)利要求26所述的設(shè)備，其中在所述第二集合中在時間戳處的幀與所述第一集合中的如下至少一個幀對準，所述至少一個幀位于所述第二集合中的幀的時間戳的之前時間戳和后繼時間戳處。
28.根據(jù)權(quán)利要求18或22所述的設(shè)備，其中所述設(shè)備還包括:用于在生成所述顏色幀之前，基于所述第二幀集合對準所述第一幀集合的裝置。
29.根據(jù)權(quán)利要求23所述的設(shè)備，其中所述設(shè)備還包括: 用于在對準所述第一集合和所述第二集合的幀之前，執(zhí)行使所述第一集合的幀清晰和增加與所述第一集合的幀相關(guān)聯(lián)的亮度中的至少一個的裝置。
30.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述顏色圖像傳感器包括拜耳顏色濾鏡陣列(CFA)，所述拜耳顏色濾鏡陣列(CFA)被配置成提供紅色-綠色-藍色(RGB)和青色-品紅色-黃色(CMY)顏色模式之一。
31.一種設(shè)備，包括: 用于接收與由關(guān)聯(lián)于圖像傳感器的顏色傳感器像素捕獲的場景對應(yīng)的第一幀集合的裝置； 用于接收與由關(guān)聯(lián)于圖像傳感器的全色傳感器像素捕獲的所述場景對應(yīng)的第二幀集合的裝置，其中所述第二集合中的幀數(shù)目大于所述第一集合中的幀數(shù)目；以及 用于至少部分地基于所述第一幀集合和所述第二幀集合的處理，以高于所述第一幀集合的幀率的幀率生成對應(yīng)于所述場景的顏色幀的裝置。
32.根據(jù)權(quán)利要求31所述的設(shè)備，其中對與所述全色傳感器像素的所捕獲的場景對應(yīng)的入射光的靈敏度大于或等于所述顏色傳感器像素的靈敏度的兩倍。
33.根據(jù)權(quán)利要求31或32所述的設(shè)備，其中所述第一幀集合包括與所捕獲的場景對應(yīng)的色度信息并且所述第二幀集合包括與所捕獲的場景對應(yīng)的照度信息。
34.根據(jù)權(quán)利要求33所 述的設(shè)備，其中所述第一幀集合和所述第二幀集合的處理包括組合所述色度信息和所述照度信息以用于生成與所捕獲的場景對應(yīng)的顏色幀。
35.根據(jù)權(quán)利要求31或34所述的設(shè)備，其中所述設(shè)備包括: 與所述顏色傳感器像素和所述全色傳感器像素相關(guān)聯(lián)的圖像傳感器。
36.一種設(shè)備，被配置成執(zhí)行根據(jù)權(quán)利要求1-13中任一項所述的方法。
37.一種設(shè)備，被配置成執(zhí)行根據(jù)權(quán)利要求14-17中任一項所述的方法。
【文檔編號】H04N5/235GK103517046SQ201310253481
【公開日】2014年1月15日 申請日期:2013年6月24日 優(yōu)先權(quán)日:2012年6月22日
【發(fā)明者】K·A·戈文達拉奧 申請人:諾基亞公司