用于圖像幀的處理的方法、設(shè)備和計算機程序產(chǎn)品的制作方法
【專利摘要】根據(jù)示例實施例，提供了一種方法、設(shè)備和計算機程序產(chǎn)品。該方法包括接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀。所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀。該方法還包括基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息?；谧孕畔⑿薷呐c所述全色圖像幀對應(yīng)的彩色圖像幀。
【專利說明】用于圖像幀的處理的方法、設(shè)備和計算機程序產(chǎn)品
【技術(shù)領(lǐng)域】
[0001]各個實現(xiàn)方式總體涉及用于處理圖像傳感器所捕獲的圖像幀的方法、設(shè)備和計算機程序產(chǎn)品。
【背景技術(shù)】
[0002]與捕獲圖像相關(guān)的技術(shù)上的快速發(fā)展已經(jīng)導(dǎo)致圖像內(nèi)容創(chuàng)建的指數(shù)式增長。像移動電話和個人數(shù)字助理(PDA)這樣的設(shè)備現(xiàn)在正越來越多地被配置有諸如相機之類的圖像捕獲工具而由此有助于輕松地捕獲圖像內(nèi)容。用戶可以捕獲與各種環(huán)境(ambient)條件下的場景相對應(yīng)的圖像。所捕獲的圖像的質(zhì)量可能基于當(dāng)時的環(huán)境條件而被影響。例如，在低光照環(huán)境條件下，圖像質(zhì)量可能會大幅劣化，這是因為所捕獲的圖像可能看上去很暗并且缺少與場景相對應(yīng)的細(xì)節(jié)。

【發(fā)明內(nèi)容】

[0003]示例實施例的各個方面在權(quán)利要求中有所陳述。
[0004]在第一方面，提供了一種方法，該方法包括:接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀；基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息；以及基于所述注冊信息修改對應(yīng)于所述全色圖像幀對應(yīng)的彩色圖像幀。
[0005]在第二方面，提供了一種設(shè)備，該設(shè)備包括至少一個處理器；和包括計算機程序代碼的至少一個存儲器，所述至少一個存儲器和所述計算機程序代碼被配置為利用所述至少一個處理器使得該設(shè)備至少執(zhí)行如下操作:接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀；基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息；以及基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。
[0006]在第三方面，提供了一種包括至少一個計算機可讀存儲介質(zhì)的計算機程序產(chǎn)品，所述計算機可讀存儲介質(zhì)包括一組指令，該組指令在由一個或多個處理器執(zhí)行時使得設(shè)備至少執(zhí)行如下操作:接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀；基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息；以及基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。
[0007]在第四方面，提供了一種設(shè)備，該設(shè)備包括:用于接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀的裝置，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀；用于基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息的裝置；以及基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀的裝置。
[0008]在第五方面，提供了一種包括程序指令的計算機程序，所述計算機程序在由設(shè)備執(zhí)行時使得所述設(shè)備:接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀；基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息；以及基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。
【專利附圖】

【附圖說明】
[0009]各個實施例通過示例的方式而非限制的方式被示出，在附圖中:
[0010]圖1圖示根據(jù)示例實施例的設(shè)備；
[0011]圖2圖示根據(jù)示例實施例的用于圖像幀的處理的設(shè)備；
[0012]圖3是圖示根據(jù)示例實施例的用于圖像幀的處理的邏輯過程總覽的示意圖；
[0013]圖4A、圖4B和圖4C圖示根據(jù)示例實施例的用于計算本地注冊信息的差別圖像幀的計算。
[0014]圖5是描繪根據(jù)示例實施例的用于圖像幀的處理的示例方法的流程圖；
[0015]圖6A和6B圖示描繪根據(jù)另一示例實施例的用于圖像幀的處理的示例方法的流程圖。
【具體實施方式】
[0016]示例實施例和它們潛在的效果可通過參考附圖的圖1到圖6B來理解。
[0017]圖1圖示根據(jù)示例實施例的設(shè)備100。然而，應(yīng)當(dāng)理解如圖所示的下文中所描述的設(shè)備100只是圖示可能得益于各個實施例的一種類型的設(shè)備，因此不應(yīng)當(dāng)被用來限制實施例的范圍。因此，應(yīng)當(dāng)理解下面結(jié)合設(shè)備100所描述的組件中的至少一些組件可以是可選的，因而在示例實施例中可以包括比結(jié)合圖1的示例實施例所描述的那些組件更多、更少或者不同的組件。設(shè)備100可以是多種移動電子設(shè)備中的任意一種，例如便攜式數(shù)字助理(PDA)、尋呼機、移動電視、游戲設(shè)備、蜂窩電話、各種類型的計算機(例如，膝上型計算機、移動計算機或臺式計算機)、相機、音頻/視頻播放器、無線電、全球定位系統(tǒng)(GPS)設(shè)備、媒體播放器、移動數(shù)字助理或者上述設(shè)備的任意組合以及其它類型的通信設(shè)備。
[0018]設(shè)備100可以包括與發(fā)射器104和接收器106進行可操作通信的天線102(或者多個天線)。設(shè)備100還可以包括諸如控制器108或者其它處理設(shè)備之類的設(shè)備，該處理設(shè)備分別向發(fā)射器104提供信號和從接收器106接收信號。所述信號可以包括根據(jù)適用的蜂窩系統(tǒng)的空中接口標(biāo)準(zhǔn)的信令信息，并且/或者還可以包括與用戶語音相對應(yīng)的數(shù)據(jù)，接收到的數(shù)據(jù)和/或用戶生成的數(shù)據(jù)。就此而言，設(shè)備100能夠以一個或多個空中接口標(biāo)準(zhǔn)、通信協(xié)議、調(diào)制類型和接入類型進行操作。作為例示，設(shè)備100能夠根據(jù)多個第一代、第二代、第三代和/或第四代通信協(xié)議等中的任一個協(xié)議進行操作。例如，設(shè)備100能夠根據(jù)第二代(2G)無線通信協(xié)議IS-136 (時分多路接入(TDMA))、GSM (全球移動通信系統(tǒng))和IS-95 (碼分多路接入(CDMA))或者根據(jù)諸如通用移動通信系統(tǒng)(UMTS)、CDMA1000、寬帶CDMA (WCDMA)和時分同步CDMA (TD-SCDMA)之類的第三代(3G)無線通信協(xié)議、根據(jù)諸如演進通用地面無線電接入網(wǎng)絡(luò)(E-UTRAN)之類的3.9G無線通信協(xié)議、根據(jù)第四代(4G)無線通信協(xié)議等進行操作。作為替代(或者附加地)，設(shè)備100能夠根據(jù)非蜂窩通信機制進行操作。例如，諸如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)之類的計算機網(wǎng)絡(luò)；諸如BI uetooth $網(wǎng)絡(luò)、Z i gbee?網(wǎng)絡(luò)、電氣電子工程協(xié)會(IEEE) 802.1lx網(wǎng)絡(luò)之類的短距離無線通信網(wǎng)絡(luò)；諸如公共交換電話網(wǎng)絡(luò)(PSTN)之類的有線電信網(wǎng)絡(luò)。
[0019]控制器108除其他之外可以包括實現(xiàn)設(shè)備100的音頻和邏輯功能的電路裝置。例如，控制器108可以包括但不限于一個或多個數(shù)字信號處理器設(shè)備、一個或多個微處理器設(shè)備、具有隨附的數(shù)字信號處理器的一個或多個處理器、不具有隨附的數(shù)字信號處理器的一個或多個處理器、一個或多個專用計算機芯片、一個或多個現(xiàn)場可編程門陣列(FPGA)、一個或多個控制器、一個或多個專用集成電路(ASIC)、一個或多個計算機、各種模擬數(shù)字轉(zhuǎn)換器、數(shù)字模擬轉(zhuǎn)換器和/或其它支持電路。設(shè)備100的控制和信號處理功能根據(jù)這些設(shè)備各自的能力被分配在這些設(shè)備之間。因而，控制器108因此還可以包括在調(diào)制和傳輸之前對消息和數(shù)據(jù)進行卷積編碼和交織的功能?？刂破?08還可以包括內(nèi)部語音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。此外，控制器108可以包括操作一個或多個軟件程序的功能，所述軟件程序可以被存儲在存儲器中。例如，控制器108能夠操作連接程序，比如傳統(tǒng)的Web瀏覽器。然后，該連接程序可以允許設(shè)備100根據(jù)無線應(yīng)用協(xié)議(WAP)、超文本傳輸協(xié)議(HTTP)等發(fā)送和接收Web內(nèi)容，比如基于位置的內(nèi)容和/或其它web頁面內(nèi)容。在示例實施例中，控制器108可以被體現(xiàn)為諸如雙核或四核處理器之類的多核處理器。然而，在控制器108中可以包括任意數(shù)目的處理器。
[0020]設(shè)備100還可以包括可以被耦合到控制器108的用戶接口，包括諸如振鈴器110、耳機或揚聲器112、麥克風(fēng)114、顯示器116之類的輸出設(shè)備和用戶輸入接口。允許設(shè)備100接收數(shù)據(jù)的用戶輸入接口可以包括允許設(shè)備100接收數(shù)據(jù)的多個設(shè)備中的任意設(shè)備，例如小鍵盤118、觸摸顯示器、麥克風(fēng)或者其它輸入設(shè)備。在包括小鍵盤118的實施例中，小鍵盤118可以包括數(shù)字(0-9)和相關(guān)的鍵(#、*)，以及被用于操縱設(shè)備100的其它硬按鍵和軟按鍵。替代地或附加地，小鍵盤118可以包括傳統(tǒng)的QWERTY小鍵盤布置。小鍵盤118還可以包括具有相關(guān)聯(lián)的功能的各種軟按鍵。附加地或者替代地，設(shè)備100可以包括諸如游戲桿或者其它用戶輸入接口之類的接口設(shè)備。設(shè)備100還包括諸如振動電池組之類的電池120以用于為被用于操縱設(shè)備100的各種電路供電以及可選地提供機械振動作為可檢測的輸出。
[0021]在示例實施例中，設(shè)備100包括與控制器108進行通信的諸如相機、視頻和/或音頻模塊之類的媒體捕獲元件。該媒體捕獲元件可以是用于捕獲圖像幀、視頻和/或音頻用以存儲、顯示或傳輸?shù)娜我庋b置。在示例實施例中，媒體捕獲元件是相機模塊122，該模塊可以包括能夠由所捕獲的圖像形成數(shù)字圖像文件的數(shù)字相機。因此，相機模塊122包括諸如透鏡或其它光學(xué)組件之類的所有硬件和用于由所捕獲的圖像幀創(chuàng)建數(shù)字圖像文件的軟件。替代地或者附加地，相機模塊122可以包括查看圖像幀所需要的硬件，同時設(shè)備100的存儲器設(shè)備以軟件的形式存儲由供控制器108執(zhí)行的指令以由所捕獲的圖像幀創(chuàng)建數(shù)字圖像文件。在示例實施例中，相機模塊122還可以包括輔助控制器108處理圖像數(shù)據(jù)的諸如協(xié)同處理器之類的處理元件以及用于壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。該編碼器和/或解碼器可以根據(jù)JPEG標(biāo)準(zhǔn)格式或者另一種類似的格式進行編碼和/或解碼。對于視頻，編碼器和/或解碼器可以利用諸如與H.261、H.262/MPEG-2、H.263、H.264/MPEG-4、MPEG-4等相關(guān)聯(lián)的標(biāo)準(zhǔn)之類的多個標(biāo)準(zhǔn)格式中的任一種標(biāo)準(zhǔn)格式。在一些情況下，相機模塊122可以向顯示器116提供實時圖像數(shù)據(jù)。在示例實施例中，顯示器116可以位于設(shè)備100的一側(cè)并且相機模塊122可以包括被置于設(shè)備100相對于顯不器116的相對側(cè)的透鏡，以使得相機模塊122能夠捕獲設(shè)備100的一側(cè)的圖像幀并且向位于設(shè)備100的另一側(cè)的用戶呈現(xiàn)這樣的圖像幀的視圖。
[0022]設(shè)備100還可以包括用戶識別模塊(UM) 124。ΠΜ124可以是內(nèi)置有處理器的存儲器設(shè)備。ΠΜ124可以包括例如訂戶識別模塊(S頂)、通用集成電路卡(UICC)、通用訂戶識別模塊(USM)、可去除訂戶識別模塊(R-UM)或者任何其它智能卡。ΠΜ124通常存儲與移動訂戶相關(guān)的信息元素。除了 UMI124之外，設(shè)備100可以配備有存儲器。例如，設(shè)備100可以包括易失性存儲器126，例如包括用于暫時存儲數(shù)據(jù)的高速緩存區(qū)域的易失性隨機訪問存儲器(RAM)。設(shè)備100還可以包括可以是嵌入式的和/或可以是可移除的其它非易失性存儲器128。附加地或替代地，非易失性存儲器128可以包括電可擦除可編程只讀存儲器(EEPR0M)、閃存、硬盤驅(qū)動器等。存儲器可以存儲被設(shè)備100用來實現(xiàn)設(shè)備100的功能的任意條信息和數(shù)據(jù)。
[0023]圖2圖示根據(jù)示例實施例的用于圖像幀的處理的設(shè)備200。用于圖像幀的處理的設(shè)備200可以在例如圖1的設(shè)備100中被采用。但是，應(yīng)當(dāng)注意設(shè)備200還可以被用在各種其它移動的和固定的設(shè)備上，因此，實施例應(yīng)當(dāng)不限于在諸如圖1的設(shè)備100之類的設(shè)備上的應(yīng)用?？商鎿Q地，實施例可以在包括例如以上所列出的那些設(shè)備的組合上被采用。因此，各個實施例可以作為整體在單個設(shè)備上(例如在設(shè)備100上或者在設(shè)備的組合中)被體現(xiàn)。還應(yīng)當(dāng)注意以下所描述的設(shè)備或元件可以不是強制性的，因而在特定實施例中一些設(shè)備或元件可以被省略。
[0024]在實施例中，圖像幀可以包括利用設(shè)備100的相機模塊122捕獲并且存儲在設(shè)備100的存儲器中的彩色圖像幀和全色圖像幀。圖像幀可以被存儲在諸如設(shè)備200的硬盤驅(qū)動器、隨機訪問存儲器(RAM)之類的內(nèi)部存儲器中，或者被存儲在諸如數(shù)字通用盤、致密盤、閃存驅(qū)動器、存儲卡之類的外部存儲介質(zhì)中，或者通過因特網(wǎng)、Bluetooth?等來自外部存儲位置。
[0025]設(shè)備200包括至少一個處理器202和至少一個存儲器204或者另外與其進行通信。所述至少一個存儲器204的示例包括但不限于易失性和/或非易失性存儲器。易失性存儲器的一些示例包括但不限于隨機訪問存儲器、動態(tài)隨機訪問存儲器、靜態(tài)隨機訪問存儲器等。非易失性存儲器的一些示例包括但不限于硬盤、磁帶、光盤、可編程只讀存儲器、可擦除的可編程只讀存儲器、電可擦除的可編程只讀存儲器、閃存等。存儲器204可以被配置為存儲信息、數(shù)據(jù)、應(yīng)用、指令等，以用于使設(shè)備200能夠執(zhí)行根據(jù)各個示例實施例的各個功能。例如，存儲器204可以被配置為對包括供處理器202處理的圖像幀的輸入數(shù)據(jù)進行緩沖。附加地或者替代地，存儲器204可以被配置為存儲供處理器202執(zhí)行的指令。
[0026]處理器202的示例可以包括控制器108。處理器202可以以多種不同的方式來體現(xiàn)。處理器202可以被體現(xiàn)為多核處理器、單核處理器或者多核處理器和單核處理器的組合。例如，處理器202可以被體現(xiàn)為各種處理裝置中的一個或多中，例如協(xié)同處理器、微處理器、控制器、數(shù)字信號處理器(DSP)、有或沒有隨附的DSP的處理電路裝置，或者包括諸如專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、微控制器單元(MCU)、硬件加速器、專用計算機芯片之類的集成電路的各種其它處理設(shè)備。在示例實施例中，多核處理器可以被配置為執(zhí)行存儲在存儲器204中或者處理器202可以其它方式存取的指令。替代地或附加地，處理器202可以被配置為執(zhí)行硬編碼功能。因此，不管是通過硬件、軟件方法還是硬件和軟件方法的組合來配置，處理器202都可以代表例如以物理上在電路裝置中體現(xiàn)的實體，該實體在被相應(yīng)地配置時能夠執(zhí)行根據(jù)各個實施例的操作。例如，如果處理器202被體現(xiàn)為ASIC、FPGA等中的兩種或多種，則處理器202可以是用于執(zhí)行這里所描述的操作的專門配置的硬件?？商鎿Q地，作為另一示例，如果處理器202被體現(xiàn)為軟件指令的執(zhí)行器，則這些指令可以專門配置處理器202以在這些指令被執(zhí)行時執(zhí)行這里所描述的算法和/或操作。然而，在一些情況下，處理器202可以是特定設(shè)備的處理器，例如適于通過利用用于執(zhí)行這里所描述的算法和/或操作的指令進一步配置處理器202來采用實施例的移動終端或網(wǎng)絡(luò)設(shè)備。處理器202除其他之外可以包括被配置為支持處理器202的操作的時鐘、算術(shù)邏輯單元(ALU)和邏輯門等。
[0027]用戶接口 206可以與處理器202進行通信。用戶接口 206的示例包括但不限于輸入接口和/或輸出用戶接口。輸入接口被配置為接收用戶輸入的指示。輸出用戶接口向用戶提供可聽的、可視的、機械的或者其它輸出和/或反饋。輸入接口的示例可以包括但不限于鍵盤、鼠標(biāo)、游戲桿、小鍵盤、觸摸屏、軟按鍵等。輸出接口的示例可以包括但不限于諸如發(fā)光二極管顯示器、薄膜晶體管(TFT)顯示器、液晶顯示器、有源矩陣有機發(fā)光二極管(AMOLED)顯示器之類的顯示器、麥克風(fēng)、揚聲器、振鈴器、振動器等。在示例實施例中，用戶接口 206除其他設(shè)備或元件之外可以包括揚聲器、麥克風(fēng)、顯示器和鍵盤、觸摸屏等中的任一個或所有。就此而言，例如，處理器202可以包括被配置為控制諸如揚聲器、振鈴器、麥克風(fēng)、顯示器之類的用戶接口 206的一個或多個元件的至少一些功能的用戶接口電路裝置。處理器202和/或包括處理器202的用戶接口電路裝置可以被配置為通過計算機程序指令控制用戶接口 206的一個或多個元件的一個或多個功能，所述計算機程序指令例如是在處理器202可訪問的存儲器(例如至少一個存儲器204等)上存儲的軟件和/或固件。
[0028]在示例實施例中，設(shè)備200可以包括電子設(shè)備。該電子設(shè)備的一些示例包括通信設(shè)備、具有通信能力的媒體捕獲設(shè)備、計算設(shè)備等。通信設(shè)備的一些示例可以包括移動電話、個人數(shù)字助理(PDA)等。計算設(shè)備的一些示例可以包括膝上型計算機、個人計算機等。在示例實施例中，該電子設(shè)備可以包括具有用戶接口電路裝置和用戶接口軟件的用戶接口，例如Π206，所述用戶接口電路裝置和用戶接口軟件被配置為有助于用戶通過使用顯示器控制該電子設(shè)備的至少一個功能并且還被配置為對用戶輸入做出響應(yīng)。在示例實施例中，該電子設(shè)備可以包括被配置為顯示該電子設(shè)備的用戶接口的至少一部分的顯示器電路裝置。顯示器和顯示器電路裝置可以被配置為有助于用戶控制該電子設(shè)備的至少一個功能。
[0029]在示例實施例中，所述電子設(shè)備可以被體現(xiàn)為包括收發(fā)器。該收發(fā)器可以是根據(jù)軟件操作或者另外以硬件或者硬件和軟件的組合的形式體現(xiàn)的任意設(shè)備或電路裝置。例如，在軟件控制下操作的處理器202或者被體現(xiàn)為專門被配置為執(zhí)行這里所描述的操作的ASIC或FPGA的處理器202或者這兩種處理器的組合而由此配置所述設(shè)備或電路裝置執(zhí)行收發(fā)器的功能。收發(fā)器可以被配置為接收圖像幀。在實施例中，圖像幀對應(yīng)于場景。
[0030]在示例實施例中，所述電子設(shè)備可以被體現(xiàn)為包括諸如彩色圖像傳感器208之類的彩色圖像傳感器和諸如全色圖像傳感器210之類的全色圖像傳感器。彩色圖像傳感器208和全色圖像傳感器210可以與處理器202和/或設(shè)備200的其它組件進行通信。彩色圖像傳感器208和全色圖像傳感器210可以與其它成像電路裝置和/或軟件進行通信，并且被配置為捕獲數(shù)字圖像幀或者制作視頻或其它圖形媒體文件。彩色圖像傳感器208、全色圖像傳感器210和其它電路裝置的組合例如可以是設(shè)備100的相機模塊122的示例。在特定示例實施例中，彩色圖像傳感器208和全色圖像傳感器210可以是在設(shè)備200外部的，但是可由設(shè)備200訪問和/或控制。
[0031]這些組件(202-210)可以通過集中式電路系統(tǒng)212與彼此通信以用于圖像幀的處理。集中式電路系統(tǒng)212可以是被配置為除其他之外提供或允許設(shè)備200的組件(202-210)之間的通信等的 各種設(shè)備。在特定實施例中，集中式電路系統(tǒng)212可以是中央印刷電路板(PCB),比如母板、主板、系統(tǒng)板或邏輯板。集中式電路系統(tǒng)212還可以包括或者可替換地包括其它印刷電路組件(printed circuit assembly, PCA)或通信信道介質(zhì)。
[0032]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容以及可選地利用這里所描述的其它組件來使得設(shè)備200接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀。在實施例中，可以從諸如彩色圖像傳感器208之類的彩色圖像傳感器接收所述多個彩色圖像幀，并且可以從全色圖像傳感器210接收所述多個全色圖像幀。在實施例中，對對應(yīng)于場景的所述多個彩色圖像幀和所述多個全色圖像幀的捕獲可以由設(shè)備100的相機模塊122協(xié)助進行。該場景可以包括在設(shè)備200的周圍環(huán)境中的一個或多個物體，例如人、或個人的集會、鳥、書、操場、諸如山之類的自然風(fēng)景等。在實施例中，可以從諸如設(shè)備200的硬盤驅(qū)動器、隨機訪問存儲器(RAM)之類的內(nèi)部存儲器，或者從諸如數(shù)字通用盤、致密盤、閃存驅(qū)動器、存儲卡之類的外部存儲介質(zhì)，或者通過因特網(wǎng)、Bluetooth?.等從外部存儲位置處被接收所述多個彩色圖像幀和所述多個全色圖像幀。還可以從存儲器204被接收所述多個彩色圖像幀和所述多個全色圖像幀。在實施例中，可以經(jīng)由網(wǎng)絡(luò)接收所述多個彩色圖像幀和所述多個全色圖像幀。網(wǎng)絡(luò)的示例可以包括有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和/或其組合。有線網(wǎng)絡(luò)的示例包括但不限于局域網(wǎng)、廣域網(wǎng)、以太網(wǎng)等。無線網(wǎng)絡(luò)的示例包括但不限于蜂窩網(wǎng)絡(luò)、W1-Fi網(wǎng)絡(luò)、無線局域網(wǎng)、Zigbee網(wǎng)絡(luò)等。有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的組合的示例可以包括但不限于因特網(wǎng)。在示例實施例中，處理裝置可以被配置為接收對應(yīng)于場景的所述多個彩色圖像幀和所述多個全色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以是控制器108的示例。
[0033]在實施例中，彩色圖像幀對應(yīng)于全色圖像幀。例如,如果彩色圖像傳感器208和全色圖像傳感器210同時捕獲場景，則所述多個彩色圖像幀和所述多個全色圖像幀可以考慮到在捕獲的場景和時間方面的共性而彼此相關(guān)。在實施例中，每個彩色圖像幀可以對應(yīng)于全色圖像幀。例如，如果C1, C2, (^…(^和P1, P2, Pn分別為彩色圖像傳感器208和全色圖像傳感器210所捕獲的所述多個彩色圖像幀和所述多個全色圖像幀，則彩色圖像幀C1可以對應(yīng)于全色圖像幀P1，彩色圖像幀C2可以對應(yīng)于全色圖像幀P2,依此類推。
[0034]在實施例中，與所述多個彩色圖像幀的捕獲相關(guān)聯(lián)的幀速率可以被配置為等于與全色圖像幀的捕獲相關(guān)聯(lián)的幀速率。在實施例中，由于全色圖像傳感器210的敏感度幾乎是彩色圖像傳感器208的敏感度的三倍，所以全色圖像傳感器210的自動曝光可以被配置為彩色圖像傳感器208的自動曝光的1/3，以在給定的持續(xù)時間中捕獲等同數(shù)目的幀。在實施例中，彩色圖像傳感器208用于捕獲圖像幀的自動曝光可以使用標(biāo)準(zhǔn)的自動曝光算法被確定，并且與全色圖像傳感器210相關(guān)聯(lián)的自動曝光可以被配置為為彩色圖像傳感器208確定的自動曝光的1/3。
[0035]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容并且可選地利用這里所描述的其它組件來使得設(shè)備200基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息。在實施例中，所述一個或多個全色圖像幀在捕獲順序上可以在所述全色圖像幀之前。在一些實施例中，可以在對應(yīng)于場景的物體在運動時、或者當(dāng)在捕獲物體的圖像幀時圖像捕獲設(shè)備不穩(wěn)時或者在這兩種情況下捕獲所述多個彩色圖像幀和所述多個全色圖像幀。與場景對應(yīng)的物體的運動可以被稱為本地運動，而由于(例如由于被手持而)不穩(wěn)的圖像捕獲設(shè)備而在所捕獲的圖像幀中引入的運動可以被稱為全局運動。由于全局運動和/或本地運動，所捕獲的圖像幀可能包括內(nèi)容的模糊，這可能在圖像幀中所包括的細(xì)節(jié)上產(chǎn)生扭曲效果。注冊可以指當(dāng)考慮全局運動和/或本地運動時跨所捕獲的圖像幀將類似的內(nèi)容對齊的過程。在實施例中，與注冊過程相關(guān)聯(lián)的信息可以被稱為注冊信息并且可以包括運動對應(yīng)信息，例如運動矢量信息，該運動對應(yīng)信息捕獲由于全局運動和本地運動而導(dǎo)致的圖像幀之間的過渡。在實施例中，計算注冊信息可以包括計算全局注冊信息(例如單應(yīng)變換，homography transformation)和本地注冊信息(例如本地運動矢量信息)。
[0036]在實施例中，計算基于全色圖像幀和一個或多個全色圖像幀的注冊信息。更具體而言，計算全色圖像幀與一個或多個全色圖像幀之間的全局注冊信息和本地注冊信息。在實施例中，計算全局注冊信息包括從所述全色圖像幀和所述一個或多個全色圖像幀中提取特征。這些特征的示例可以包括但不限于圖像幀的角點、邊緣或者諸如場景的背景之類的其它感興趣的區(qū)域。在示例實施例中，可以使得設(shè)備200使用諸如尺度不變特征變換(SIFT)、Harris角點檢測器、最小吸收同值核區(qū)(SUSAN)角點檢測器、加速分割測試特征(FAST)之類的算法來提取與所述全色圖像幀和所述一個或多個全色圖像幀相關(guān)聯(lián)的特征。可替換地，提取特征可以通過在與所述全色圖像幀和所述一個或多個全色圖像幀對應(yīng)的宏塊上應(yīng)用DCT、DST、KLT變換和Hadamard變換中的一個來執(zhí)行。在示例實施例中，在與所述全色圖像幀和所述一個或多個全色圖像幀對應(yīng)的宏塊上應(yīng)用DCT并且因此而得到的直流分量可以被視為特征。在實施例中，該直流分量可以通過對所述全色圖像幀和所述一個或多個全色圖像幀進行部分解碼而得到。
[0037]在實施例中，計算全局注冊信息還包括將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的特征進行匹配。在實施例中，計算全局注冊信息還包括基于所提取的特征的匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。在實施例中，可以使用諸如隨機抽樣一致性(RANSAC)之類的算法來確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。在實施例中，對于涉及相機平移運動的圖像捕獲實例而言，可以通過估計三維旋轉(zhuǎn)角度來獲得全局注冊信息。在實施例中，所述全色圖像幀與另一全色圖像幀之間的單應(yīng)變換可以用注冊矩陣的形式來表示。例如，可以對來自全色圖像幀P1和全色圖像幀P2的特征進行提取和匹配?？梢栽赑1與P2之間確定單應(yīng)變換并且所確定的單應(yīng)變換可以用注冊矩陣H12的形式來表示。
[0038]在實施例中，計算本地注冊信息包括基于與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關(guān)聯(lián)的單應(yīng)變換生成對應(yīng)于所述至少一個全色圖像幀的經(jīng)補償?shù)娜珗D像幀。例如，如果所述全色圖像幀用P1表示并且所述一個或多個全色圖像幀用p2、P3和P4表示，則針對全色圖像幀P2 — P4中的至少一個全色圖像幀，基于與全色圖像幀P2 — P4相關(guān)聯(lián)的單應(yīng)變換生成經(jīng)補償?shù)娜珗D像幀。如果針對全色圖像幀P2 - P4的單應(yīng)變換分別用單應(yīng)變換矩陣H12、H13和H14表示，則與全色圖像幀P2 - P4對應(yīng)的經(jīng)補償?shù)娜珗D像幀可以分別被獲得為h12*p2、h13*p3和h14*p4。
[0039]在實施例中，計算本地注冊信息還包括基于所述經(jīng)補償?shù)娜珗D像幀和所述全色圖像幀計算差別圖像幀。在實施例中，可以通過從所述全色圖像幀中減去所述經(jīng)補償?shù)娜珗D像幀來計算差別圖像幀。例如，如果針對全色圖像幀P2生成經(jīng)補償?shù)娜珗D像幀(被計算為H12*p2)，則被表示為D12的差別圖像幀可以按等式(I)所表達的方式被計算為:
[0040]D12=P1 - H12*P2....................................等式(I)
[0041]在實施例中，計算本地注冊信息還包括將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值屬性(attribute)與預(yù)定義的閾值進行比較。在實施例中，像素值屬性是與配置所述差別圖像幀的多個像素塊中的每個像素塊相關(guān)聯(lián)的平均像素值、最大像素值、像素值之和中的一個。在實施例中，差別圖像幀D12中的每個像素的像素值通過將全色圖像幀與經(jīng)補償?shù)娜珗D像幀的像素值相減來計算。例如，在差別圖像幀D12(x，y)中的坐標(biāo)(x，y)處的每個像素的像素值可以基于等式(I)按等式(2)中所表達的方式來計算:
[0042]D12(x，y)=P1(x，y) _H12*P2(x，y).................................等式(2)
[0043]其中，P1(x，y)和H12*P2(x，y)分別對應(yīng)于在全色圖像幀P1和經(jīng)補償?shù)娜珗D像幀P2中的坐標(biāo)(x，y)處的像素的像素值。基于按等式(2)所表達的方式計算出的像素值，平均像素值、最大像素值、像素值之和中的一個可以針對配置差別圖像幀的多個像素塊中的每個像素塊而被計算，并且可以作為像素值屬性與相應(yīng)的像素塊相關(guān)聯(lián)。
[0044]在實施例中，可以計算與配置差別圖像幀的多個像素塊中的每個像素塊(例如32X32的不重疊的像素塊)相關(guān)聯(lián)的諸如平均像素值之類的像素值屬性并且將其與預(yù)定義的閾值進行比較。在示例實施例中，預(yù)定義的閾值可以被試探性地確定并且可以對應(yīng)于接近零的非常小的值。在示例實施例中，計算本地注冊信息還包括對來自針對配置差別圖像幀的所述多個像素塊當(dāng)中的一個或多個像素塊進行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值屬性被確定為超過預(yù)定義的閾值。例如，如果針對所述多個像素塊中的像素塊的平均像素值(用D(x，y)表示)與為I的預(yù)定義的閾值進行比較并且如果如等式(3)中所表達的D(x，y)大于1，
[0045]D(x，y)>l................................................等式(3)
[0046]則可以對對應(yīng)的像素塊進行運動補償。在實施例中，對每個像素塊進行運動補償可以生成本地運動矢量信息。在實施例中，所計算出的本地注冊信息可以包括對應(yīng)于差別圖像幀的一個或多個塊的本地運動矢量信息。在示例實施例中，處理裝置可以被配置為計算全色圖像幀與多個全色圖像幀中的一個或多個全色圖像幀之間的注冊信息。處理裝置的示例可以包括處理器202，該處理器202可以是控制器108的示例。
[0047]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容并且可選地利用這里所描述的其它組件來使得設(shè)備200基于注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。例如，如果針對全色圖像幀？1計算注冊信息，則可以基于所計算出的注冊信息來修改來自彩色圖像幀當(dāng)中、對應(yīng)于全色圖像幀P1的彩色圖像幀(例如彩色圖像幀C1X在實施例中，針對對應(yīng)于一個或多個彩色圖像幀的所述彩色圖像幀確定注冊信息。在實施例中，所述一個或多個彩色圖像幀對應(yīng)于計算注冊信息所基于的所述一個或多個全色圖像幀。例如，如果針對對應(yīng)于所述一個或多個全色圖像幀匕己…Pn的全色圖像幀P1計算注冊信息，則針對對應(yīng)于一個或多個彩色圖像幀C2，C^Cn的彩色圖像幀C1確定注冊信息，其中彩色圖像幀C1對應(yīng)于全色圖像幀P1并且其中彩色圖像幀C2，C^Cn對應(yīng)于全色圖像幀P2，Pf PN。在實施例中，來自所述一個或多個彩色圖像幀和所述彩色圖像幀的注冊信息等于基于所述全色圖像幀所計算出的注冊信息。如所解釋的，所述多個彩色圖像幀和所述多個全色圖像幀可以按相同的幀速率同時被對應(yīng)于場景的彩色圖像傳感器208和全色圖像傳感器210捕獲。因此，每個彩色圖像幀對應(yīng)于來自所述多個全色圖像幀中的全色圖像幀。由于該對應(yīng)，所以針對所述彩色圖像幀和所述一個或多個彩色圖像幀的注冊信息(例如全局注冊信息和本地注冊信息)可以等同于根據(jù)所述多個全色圖像幀所計算出的注冊信息。在實施例中，彩色圖像傳感器208和全色圖像傳感器210可以被附接于剛體(例如設(shè)備200或設(shè)備100的主體)上。由于剛體的運動，在連續(xù)幀之間的兩種圖像傳感器的全局運動和場景的本地運動在彩色圖像傳感器208和全色圖像傳感器210中產(chǎn)生相同的效果。所述彩色圖像幀(例如彩色圖像幀C1)可以基于針對所述全色圖像幀(例如全色圖像幀P1)所計算出的注冊信息而被修改。在示例實施例中，處理裝置可以被配置為基于注冊信息修改對應(yīng)于所述全色圖像幀相對應(yīng)的彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0048]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容以及可選地利用這里所描述的其 它組件來使得設(shè)備200基于注冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應(yīng)像素的像素值相加以用于修改所述彩色圖像幀。如所解釋的，針對全色圖像幀所計算出的注冊信息可以被用作所述彩色圖像幀與所述一個或多個彩色圖像幀之間的注冊信息?；谠撟孕畔?，可以對齊所述彩色圖像幀和所述一個或多個彩色圖像幀上的類似像素并且所述一個或多個彩色圖像幀中的像素值(例如對應(yīng)于亮度/色度和對應(yīng)于所產(chǎn)生的像素的強度的值)可以與所述彩色圖像幀中的對應(yīng)像素的像素值相加以提高與所述彩色圖像幀相關(guān)聯(lián)的強度。例如，基于所述彩色圖像幀C1與所述一個或多個彩色圖像幀C2, (V..Cn之間所確定的注冊信息,與所述一個或多個彩色圖像幀C2, CfCn中像素相關(guān)聯(lián)的像素值可以與所述彩色圖像幀C1的對應(yīng)像素的像素值相加以由此修改所述彩色圖像幀Q。由于像素值與對應(yīng)于所述彩色圖像幀的像素的相加，所述經(jīng)修改的彩色圖像幀的強度比與未經(jīng)修改的彩色圖像幀C1相關(guān)聯(lián)的強度大?？梢灶愃频匦薷囊粋€或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的彩色圖像幀的亮度。在示例實施例中，處理裝置可以被配置為基于注冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的相應(yīng)像素的像素值相加以用于修改所述彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0049]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容以及可選地利用這里所描述的其它組件使得設(shè)備200可以基于注冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應(yīng)像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值以用于修改所述彩色圖像幀。例如，基于所述彩色圖像幀C1和所述一個或多個彩色圖像幀C2，C^Cn之間所確定的注冊信息，可以通過對與所述一個或多個彩色圖像幀C2，C^Cn中的像素相關(guān)聯(lián)的像素值和所述彩色圖像幀C1的相應(yīng)像素的像素值求平均來得到平均像素值。與所述彩色圖像幀C1相關(guān)聯(lián)的像素的像素值可以利用所述平均像素值來更新以由此修改所述彩色圖像幀Ci。由于對像素的像素值的平均，經(jīng)修改的彩色圖像幀的強度比與未經(jīng)修改的彩色圖像幀C1相關(guān)聯(lián)的強度大。在實施例中，可以將所述一個或多個彩色圖像幀的像素值相加并且可以對其之和的值和所述彩色圖像幀的像素值求平均?？梢岳盟銎骄袼刂祦砀滤霾噬珗D像幀的像素值以用于修改彩色圖像幀?？梢灶愃频匦薷囊粋€或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的所述多個彩色圖像幀的亮度。在示例實施例中，處理裝置可以被配置為可以基于注冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應(yīng)像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值以用于修改所述彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。
[0050]在示例實施例中，處理器202被配置為利用存儲器204的內(nèi)容以及可選地利用這里所描述的其它組件來使得設(shè)備200確定所述一個或多個彩色圖像幀中彩色圖像幀的數(shù)目以用于修改彩色圖像幀。在實施例中，所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目基于色調(diào)映射而被確定。例如，基于色調(diào)映射可以確定所述彩色圖像幀中所希望的光強度可能需要將來自所述一個或多個彩色圖像幀當(dāng)中的‘X’個彩色圖像幀的像素值相加和/或?qū)ζ淝笃骄Ｒ虼?，基于全局注冊信息和本地注冊信息，只有來自那‘X’個彩色圖像幀的像素值可以被用于修改所述彩色圖像幀。在實施例中，針對被修改的彩色圖像幀中的每個位置，選自相鄰彩色圖像幀的像素的數(shù)目可能是變化的并且可以不包括所有的彩色圖像幀C2, (V..CN。在實施例中，可以通過將與被修改的彩色圖像幀相關(guān)聯(lián)的光強度和目標(biāo)彩色圖像幀C/的光強度不斷進行比較來確定要被相加/求平均的像素的數(shù)目。在實施例中，彩色圖像巾貞C1可以經(jīng)受色調(diào)映射(例如具有g(shù)amma值2.2的gamma曲線)以生成目標(biāo)彩色圖像幀C/?？梢酝ㄟ^檢查在被修改的彩色圖像幀中的像素位置處的像素的累加之和的值/平均值來計算要被相加和/或求平均的像素的數(shù)目(例如K個像素，其中K〈=N)，使得該像素值與在目標(biāo)彩色圖像幀C/中的對應(yīng)像素位置處的像素的值相同或更接近。例如，如果在像素位置(X1, Y1)處，在對來自彩色圖像幀(:2、(:3和C4的像素值相加和/或求平均之后，如果像素值與目標(biāo)彩色圖像幀C/在位置(Xl，yi)處的像素值匹配，則可以只通過僅將來自C2、C3和C4的像素值相加來修改位置(X1, Y1)處的彩色圖像幀。在示例實施例中，處理裝置可以被配置為確定所述一個或多個彩色圖像幀中彩色圖像幀的數(shù)目以用于修改彩色圖像幀。處理裝置的示例可以包括處理器202，該處理器202可以作為控制器108的示例。參考圖3解釋圖示用于諸如彩色圖像幀之類的圖像幀的處理的總覽的示意圖。
[0051]圖3是圖示根據(jù)示例實施例的以用于諸如彩色圖像幀之類的圖像幀的處理邏輯過程總覽300的示意圖。如參考圖2所解釋的，可以例如分別從彩色圖像傳感器208和全色圖像傳感器210處接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，在圖3中，所接收的所述多個全色圖像幀和所述多個彩色圖像幀分別用302和304表示。所述多個全色圖像幀包括多個全色圖像幀，例如圖像幀306a、306b、306c、306d、306e、306f、306g到306η(下文中被稱為圖像所述多個彩色圖像幀包括多個彩色圖像幀，例如圖像幀308a、308b、308c、308d、308e、308f、308g 到 308η (下文中被稱為圖像幀 C1-CnX
[0052]此外，如參考圖2所解釋的，與所述多個全色圖像幀和所述多個彩色圖像幀相關(guān)聯(lián)的幀速率可以被配置為相同的。由于彩色圖像傳感器208和全色圖像傳感器210按照相同的幀速率同時捕獲對應(yīng)于場景的圖像幀，所以所述多個彩色圖像幀C1-Cn可以對應(yīng)于所述多個全色圖像幀P1-Pntj在示例實施例中，每個彩色圖像幀可以對應(yīng)于全色圖像幀，如圖3中的條狀箭頭所示。例如，彩色圖像幀C1對應(yīng)于全色圖像幀P1,彩色圖像幀C2對應(yīng)于全色圖像幀P2，依此類推。
[0053]可以基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息。例如，可以基于全色圖像幀匕和全色圖像幀P1-P3來計算注冊信息。計算注冊信息可以包括計算全局注冊信息和本地注冊信息。對于計算全局注冊信息，可以對來自所述多個全色圖像幀的特征進行提取和匹配，如參考圖2所解釋的。可以根據(jù)所匹配的全色圖像幀的特征對確定單應(yīng)變換(例如按單應(yīng)變換矩陣的形式)。例如，可以確定全色圖像幀P4與全色圖像幀P3之間的單應(yīng)變換。以曲線箭頭310、312和314的形式示例性地描繪了全色圖像幀之間的單應(yīng)變換的確定，曲線箭頭310、312和314對應(yīng)于全色圖像幀對
P4-P1之間的單應(yīng)變換的確定。此外，每個曲線箭頭與描述所確定的全色圖像幀對之間的單應(yīng)變換的單應(yīng)變換矩陣表示相關(guān)聯(lián)。例如，曲線箭頭310與捕獲全色圖像幀P4和全色圖像幀P3之間的單應(yīng)變換的H43相關(guān)聯(lián)。類似地，曲線箭頭312和314與分別對應(yīng)于全色圖像幀P4和P2以及P4和P1之間的單應(yīng)變換相對應(yīng)的H42和H41相關(guān)聯(lián)。
[0054]可以利用單應(yīng)變換形式的全局注冊信息以用于計算本地注冊信息。在下面參考全色圖像幀P3解釋針對全色圖像幀P4的本地注冊信息的計算。要注意的是可以類似地對應(yīng)于全色圖像幀P2和P1來針對全色圖像幀P4計算本地注冊信息。
[0055]對于計算針對全色圖像幀P4的本地注冊信息，可以生成基于單應(yīng)變換(例如H43)的對應(yīng)于全色圖像幀P3的經(jīng)補償?shù)娜珗D像幀。經(jīng)補償?shù)娜珗D像幀可以被表示為H43*P3?？梢曰诮?jīng)補償?shù)娜珗D像幀h43*p3根據(jù)全色圖像幀P4來計算差別圖像幀。例如，被表示為D43的差別圖像幀可以按等式(4)所表達的方式被計算為:
[0056]D43=P4 — H43*P3..........................................等式(4)
[0057]可以計算與配置差別圖像幀D43的多個像素塊中的每個像素塊(例如32X32的像素塊)相關(guān)聯(lián)的諸如平均像素值或最大像素值之類的像素值屬性并且將其與預(yù)定義的閾值進行比較。針對像素值屬性超過預(yù)定義閾值的每個像素塊，可以執(zhí)行運動補償并且可以生成本地運動矢量信息。與全色圖像幀P3相對應(yīng)的本地運動矢量信息可以包括針對像素值屬性超過預(yù)定義閾值的全部像素塊的運動矢量信息。可以類似地計算針對全色圖像幀P4的、對應(yīng)于全色圖像幀P2和P1的本地注冊信息。
[0058]可以利用對應(yīng)于全色圖像幀P4的所計算出的全局注冊信息和本地注冊信息以用于修改對應(yīng)于全色圖像幀P4的彩色圖像幀c4。由于所述多個彩色圖像幀和所述多個全色圖像幀之間的對應(yīng)關(guān)系，針對彩色圖像幀C4的、對應(yīng)于彩色圖像幀C1-C3的全局注冊信息和本地注冊信息可以被認(rèn)為是等同于全色圖像幀P4和全色圖像幀P1-P3之間的注冊信息。基于該注冊信息，可以將來自彩色圖像幀C1-C3的像素的像素值與彩色圖像幀C4的對應(yīng)像素的像素值相加以用于修改彩色圖像幀c4?？商鎿Q地，基于注冊信息，可以利用通過對彩色圖像幀C1-C3的像素的像素值和彩色圖像幀C4的對應(yīng)像素的像素值的平均所獲得的平均像素值來更新針對彩色圖像幀C4的像素的像素值以用于修改彩色圖像幀c4。基于與彩色圖像幀C1-C3中的對應(yīng)像素相關(guān)聯(lián)的像素值對對應(yīng)于彩色圖像幀C4的像素的像素值的相加/更新按圖3中的曲線箭頭316、318和320的形式被示出。由于對應(yīng)于彩色圖像幀C4的像素的像素值的相加/更新，經(jīng)修改的彩色圖像幀的強度比與未經(jīng)修改的彩色圖像幀C4相關(guān)聯(lián)的強度大。可以類似地修改諸如彩色圖像幀c2，C5, C6之類的一個或多個彩色圖像幀以由此提高在低光照狀況下所捕獲的彩色圖像幀的亮度。為了實現(xiàn)彩色圖像幀中所希望的光強度，可以如參考圖2所解釋的那樣基于色調(diào)映射確定其中的像素值可以被相加/求平均的彩色圖像幀的數(shù)目。
[0059]圖4A、4B和4C圖示根據(jù)示例實施例的用于計算本地注冊信息的差別圖像幀的計算。圖4A和4B分別圖示全色圖像幀402和404?？梢詮脑O(shè)備200的全色圖像傳感器210接收全色圖像幀402和404。此外，如參考圖2所解釋的，諸如全色圖像傳感器210之類的圖像傳感器所捕獲的圖像幀可能包括由于圖像捕獲介質(zhì)的移動而造成的扭曲。此外，被捕獲的圖像也可能對應(yīng)于其中物體在運動的場景。例如，在全色圖像幀402之后被捕獲的全色圖像幀404顯示了兒童的腿部相對于其在全色圖像幀402中的初始位置的移動(用圖4B中的圓形區(qū)域406表示)。作為這種本地運動的結(jié)果，除了執(zhí)行全局注冊的計算以考慮圖像傳感器的移動之外，可以執(zhí)行本地注冊可以以考慮所捕獲的圖像幀中的本地運動。
[0060]對于計算本地注冊信息，可以計算當(dāng)前全色圖像幀404與前一全色圖像幀402之間的單應(yīng)變換?？梢曰谒嬎愠龅膯螒?yīng)變換來補償前一全色圖像幀402。此外，可以從當(dāng)前全色圖像幀404中減去經(jīng)補償?shù)娜珗D像幀402以生成差別圖像幀。按這種方式計算出的差別圖像幀在圖4C中被顯示為差別圖像幀408。差別圖像幀408捕獲被描繪為被包括在圓形區(qū)域410中的本地運動信息。差別圖像幀408可以被分成像素塊(例如32X32的像素塊)并且可以計算每個像素塊的像素值屬性(例如平均像素值、最大像素值和/或像素值總和)?？梢詫⒚總€像素塊的像素值屬性與諸如參考圖2所解釋的預(yù)定義的閾值之類的預(yù)定義的閾值進行比較。如果對應(yīng)于像素塊的像素值屬性超過預(yù)定義的閾值，則可以對這樣的塊執(zhí)行運動補償，并且生成對應(yīng)的本地運動矢量信息。可以將本地運動矢量信息與單應(yīng)變換一起用于修改對應(yīng)于全色圖像幀404的彩色圖像幀，如參考圖2和圖3所解釋的。在圖5中解釋了用于圖像幀的處理的方法。
[0061]圖5是描繪根據(jù)示例實施例的用于圖像幀的處理的示例方法500的流程圖。流程圖中所描述的方法500可以例如由圖2的設(shè)備200執(zhí)行。流程圖的操作和流程圖中的操作的組合可以用各種裝置來實現(xiàn)，例如硬件、固件、處理器、電路裝置和/或與包括一個或多個計算機程序指令的軟件的執(zhí)行相關(guān)聯(lián)的其它設(shè)備。例如，各個實施例中所描述的過程中的一個或多個過程可以用計算機程序指令來體現(xiàn)。在示例實施例中，在各個實施例中所描述的體現(xiàn)這些過程的計算機程序指令可以被設(shè)備的至少一個存儲器設(shè)備存儲并且由設(shè)備中的至少一個處理器執(zhí)行。任何這樣的計算機程序指令可以被加載到計算機或其它可編程設(shè)備(例如硬件)上以產(chǎn)生一種機器，使得所得到的計算機或其它可編程設(shè)備體現(xiàn)用于執(zhí)行流程圖中所指定的操作的裝置?？梢砸龑?dǎo)計算機或其它可編程設(shè)備按特定方式工作的這些計算機程序指令也可以被存儲在計算機可讀存儲器(與諸如載波或電磁信號之類的傳輸介質(zhì)相對)中，使得存儲在計算機可讀存儲器中的指令產(chǎn)生一種制品，對該制品的執(zhí)行實現(xiàn)流程圖中所指定的操作。計算機程序指令也可以被加載到計算機或其它可編程設(shè)備上以使得一系列操作在計算機或其它可編程設(shè)備上被執(zhí)行以產(chǎn)生一種計算機實現(xiàn)的過程，使得在計算機或其它可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)流程圖中的操作的操作。借助于圖2的設(shè)備200描述方法500的操作。然而，可以利用任何其它設(shè)備來描述和/或?qū)嵺`該方法的操作。
[0062]在方法500的框502處，接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀。在實施例中，可以從諸如彩色圖像傳感器208之類的彩色圖像傳感器接收所述多個彩色圖像幀。在實施例中，可以從諸如全色圖像傳感器210之類的全色圖像傳感器接收所述多個全色圖像幀。所述場景可以包括在周圍環(huán)境中的一個或多個物體，例如人、或個人的集會、鳥、書、操場、諸如山之類的自然風(fēng)景等。在實施例中，可以從諸如設(shè)備200的硬盤驅(qū)動器、隨機訪問存儲器(RAM)之類的內(nèi)部存儲器，或者從諸如數(shù)字通用盤、致密盤、閃存驅(qū)動器、存儲卡之類的外部存儲介質(zhì)，或者通過因特網(wǎng)、Bluetooth?等從外部存儲位置接收所述多個彩色圖像幀和所述多個全色圖像幀。還可以從存儲器204接收所述多個彩色圖像幀和所述多個全色圖像幀。在實施例中，可以經(jīng)由網(wǎng)絡(luò)接收所述多個彩色圖像幀和所述多個全色圖像幀。網(wǎng)絡(luò)的示例可以包括有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和/或其組合。有線網(wǎng)絡(luò)的示例包括但不限于局域網(wǎng)、廣域網(wǎng)、以太網(wǎng)等。無線網(wǎng)絡(luò)的示例包括但不限于蜂窩網(wǎng)絡(luò)、W1-Fi網(wǎng)絡(luò)、無線局域網(wǎng)、Zigbee網(wǎng)絡(luò)等。有線網(wǎng)絡(luò)和無線網(wǎng)絡(luò)的組合的示例可以包括但不限于因特網(wǎng)。[0063]在實施例中，與所述多個彩色圖像幀的捕獲相關(guān)聯(lián)的幀速率可以被配置為等于與所述多個全色圖像幀的捕獲相關(guān)聯(lián)的幀速率。在實施例中，由于全色圖像傳感器的敏感度大約是彩色圖像傳感器的敏感度的三倍，所以全色圖像傳感器的自動曝光可以被配置為彩色圖像傳感器的自動曝光的1/3，以在給定的時間段中捕獲相等數(shù)目的幀。在實施例中，彩色圖像傳感器用于捕獲圖像幀的自動曝光可以利用標(biāo)準(zhǔn)的自動曝光算法被確定，并且與全色圖像傳感器相關(guān)聯(lián)的自動曝光可以被配置為所確定的用于彩色圖像傳感器的自動曝光的1/3。由于幀速率被配置為相同的，所以所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀。在實施例中，每個彩色圖像幀可以對應(yīng)于全色圖像幀。例如，如果C1, C2, CfCN和P1, P2, Ρ^..ΡΝ分別為彩色圖像傳感器和全色圖像傳感器所捕獲的所述多個彩色圖像幀和所述多個全色圖像幀，則彩色圖像幀C1可以對應(yīng)于全色圖像幀P1,彩色圖像幀C2可以對應(yīng)于全色圖像幀P2，依此類推。
[0064]在框504處，基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息。在實施例中，計算注冊信息可以包括計算全局注冊信息(例如單應(yīng)變換)和本地注冊信息(例如本地運動矢量信息)。可以如參考圖2 —圖4Β所解釋的那樣執(zhí)行全局注冊信息和本地注冊信息的計算。
[0065]在框506處，基于注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。例如，如果針對全色圖像幀P1計算注冊信息，則可以基于所計算出的注冊信息來修改來自所述多個彩色圖像幀當(dāng)中、對應(yīng)于全色圖像幀P1的彩色圖像幀，例如彩色圖像幀Cp
[0066]在實施例中，可以基于注冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應(yīng)像素的像素值相加以用于修改所述彩色圖像幀。如所解釋的，針對全色圖像幀所計算出的注冊信息可以被用作針對所述彩色圖像幀和所述一個或多個彩色圖像幀的注冊信息?；谠撟孕畔?，可以對齊所述彩色圖像幀和所述一個或多個彩色圖像幀上的類似像素并且所述一個或多個彩色圖像幀中的像素值(例如對應(yīng)于亮度/色度和所產(chǎn)生的像素的強度的值)可以與所述彩色圖像幀中的對應(yīng)像素的像素值相加以提高與所述彩色圖像幀相關(guān)聯(lián)的強度。在實施例中，可以基于注冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應(yīng)像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值。在實施例中，可以將所述一個或多個彩色圖像幀的像素值相加并且可以對其之和的值和所述彩色圖像幀的像素值求平均?？梢岳盟銎骄袼刂祦砀滤霾噬珗D像幀的像素值以用于修改彩色圖像幀。
[0067]在實施例中，所述經(jīng)修改的彩色圖像幀的強度大于與所述未經(jīng)修改的彩色圖像幀相關(guān)聯(lián)的強度?？梢灶愃频匦薷囊粋€或多個彩色圖像幀以由此提高在低光照條件下所捕獲的所述彩色圖像幀的亮度。參考圖6A和6B詳細(xì)解釋用于圖像幀的處理的另一種方法。
[0068]圖6A和6B圖不描繪根據(jù)另一不例實施例的用于圖像巾貞的處理的不例方法600的流程圖。圖2的設(shè)備200可以采用用于圖像幀的處理的方法600。在方法600的框602處，接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀?？梢匀鐓⒖紙D5的框502所解釋的那樣執(zhí)行所述多個彩色圖像幀和所述多個全色圖像幀的接收。
[0069]在框604處，從所述全色圖像幀和所述一個或多個全色圖像幀中提取特征。這些特征的示例可以包括但不限于圖像幀的角點、邊緣或者諸如場景的背景之類的其它感興趣的區(qū)域。在示例實施例中，可以使用諸如尺度不變特征變換(SIFT)、HarriS角點檢測器、最小吸收同值核區(qū)(SUSAN)角點檢測器、加速分割測試特征(FAST)之類的算法來提取與所述全色圖像幀和所述一個或多個全色圖像幀相關(guān)聯(lián)的特征?？商鎿Q地，提取特征可以通過在與所述全色圖像幀和所述一個或多個全色圖像幀對應(yīng)的宏塊上應(yīng)用DCT、DST、KLT變換和Hadamard變換中的一個來執(zhí)行。在示例實施例中，在與所述全色圖像幀和所述一個或多個全色圖像幀相對應(yīng)的宏塊上應(yīng)用DCT并且因此而得到的直流分量可以被視為特征。在實施例中，直流分量可以通過對所述全色圖像幀和所述一個或多個全色圖像幀進行部分解碼而得到。
[0070]在框606處，將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的特征進行匹配。在框608處，基于所提取的特征的匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。在實施例中，可以使用諸如隨機抽樣一致性(RANSAC)之類的算法來確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。在實施例中，所述全色圖像幀與另一全色圖像幀之間的單應(yīng)變換可以用注冊矩陣的形式來表示。例如，可以對來自全色圖像幀P1和全色圖像幀P2的特征可以被提取和匹配。可以在P1與P2之間確定單應(yīng)變換并且所確定的單應(yīng)變換可以用注冊矩陣H12的形式來表示。
[0071]在框610處，基于與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關(guān)聯(lián)的單應(yīng)變換來生成對應(yīng)于所述至少一個全色圖像幀的經(jīng)補償?shù)娜珗D像幀。在框612處，基于所述經(jīng)補償?shù)娜珗D像幀和所述全色圖像幀計算差別圖像幀?？梢匀鐓⒖紙D2 - 4B所解釋的那樣執(zhí)行經(jīng)補償?shù)娜珗D像幀的生成和差別圖像幀的計算。
[0072]在框614處，計算與配置差別圖像幀的多個像素塊中的每個像素塊(例如32X32的像素塊)相關(guān)聯(lián)的像素值屬性(例如平均像素值、最大像素值、像素值之和等)并且將其與預(yù)定義的閾值進行比較以用于計算本地注冊信息。在示例實施例中，預(yù)定義的閾值可以被試探性地確定并且可以對應(yīng)于接近零的非常小的值。在框616處，對來自配置差別圖像幀的所述多個像素塊當(dāng)中的一個或多個不重疊的像素塊執(zhí)行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值屬性被確定為超過預(yù)定義的閾值。在實施例中，對每個像素塊執(zhí)行運動補償而生成本地運動矢量信息。在實施例中，本地注冊信息可以包括對應(yīng)于差別圖像幀的一個或多個塊的本地運動矢量信息。在框618處，基于單應(yīng)變換和運動補償(例如，本地注冊信息)修改對應(yīng)于所述全色圖像幀的彩色圖像幀?？梢匀鐖D5的框506所解釋的那樣執(zhí)行彩色圖像幀的修改。
[0073]在實施例中，確定所述一個或多個彩色圖像幀中彩色圖像幀的數(shù)目以用于修改彩色圖像幀。在實施例中，所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目基于色調(diào)映射而被確定。例如，基于色調(diào)映射可以確定所述彩色圖像幀中所希望的光強度可能需要將來自所述一個或多個彩色圖像幀當(dāng)中的‘X’個彩色圖像幀的像素值相加和/或?qū)ζ淝笃骄Ｒ虼?，基于單?yīng)變換和本地注冊信息，只有來自那‘X’個彩色圖像幀的像素值可以被用于修改所述彩色圖像幀。在實施例中，可以如參考圖2所解釋的那樣確定所述一個或多個彩色圖像幀中的多個彩色圖像幀。
[0074]為了有助于討論圖5、6A和6B的方法500和/或600，特定操作在這里被描述為構(gòu)成按特定順序執(zhí)行的不同步驟。這樣的實現(xiàn)方式是示例性的而非限制性的。特定操作可以被組合在一起并且在單個操作中被執(zhí)行，并且特定操作可以按不同于這里所提供的示例中所采用的順序的順序被執(zhí)行。此外，方法500和/或600的特定操作按自動方式被執(zhí)行。這些操作基本不涉及與用戶的交互。方法500和/或600的其它操作可以按人工方式或半自動方式被執(zhí)行。這些操作涉及經(jīng)由一個或多個用戶接口呈現(xiàn)與用戶的交互。
[0075]在不以任何方式限制下面的權(quán)利要求的范圍、解釋或應(yīng)用的情況下，這里所公開的示例實施例的一個或多個實施例的技術(shù)效果在于執(zhí)行圖像幀的處理。如圖2-6B中所解釋的，圖像幀的處理涉及利用全色圖像幀準(zhǔn)確地計算注冊信息。由于全色圖像傳感器與彩色圖像傳感器(例如是Bayer傳感器)相比為大約3倍的敏感度，所以全色圖像幀具有更高的光強度，因而注冊信息是準(zhǔn)確的。此外，針對全色圖像幀的運動估計/補償?shù)目煽啃耘c彩色圖像幀相比更穩(wěn)健，從而實現(xiàn)了準(zhǔn)確的本地運動矢量計算。由于全色圖像幀與彩色圖像幀與彼此對應(yīng)，所以可以利用針對全色圖像傳感器計算的注冊信息以用于彩色圖像幀以修改彩色圖像幀。對彩色圖像幀的修改涉及對來自相鄰彩色幀的像素值求和/求平均，這在降低彩色圖像幀中的噪聲的同時提高了信號強度，從而增強低光照視頻。還可以利用根據(jù)全色圖像幀計算出的注冊信息以用于修改和憑借彩色圖像幀以增強低光照全景圖像幀。
[0076]上述各個實施例可以用軟件、硬件、應(yīng)用邏輯或軟件、硬件和應(yīng)用邏輯的組合來實現(xiàn)。軟件、應(yīng)用邏輯和/或硬件可以駐留于至少一個存儲器、至少一個處理器、設(shè)備或計算機程序產(chǎn)品上。在示例實施例中，應(yīng)用邏輯、軟件或指令集被保存在各種傳統(tǒng)計算機可讀介質(zhì)中的任意一種介質(zhì)上。在本文檔的上下文中，“計算機可讀介質(zhì)”可以是可以包含、存儲、與其進行通信、傳播或傳送指令的任何介質(zhì)或設(shè)備，所述指令供指令執(zhí)行系統(tǒng)、設(shè)備或裝置(例如計算機)使用或者與其結(jié)合使用，該設(shè)備的一個示例如圖1和/或圖2中所描述和示出的。計算機可讀介質(zhì)可以包括計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)可以是可以包含或存儲供指令執(zhí)行系統(tǒng)、設(shè)備或裝置(例如計算機)使用或者與其結(jié)合使用的指令。
[0077]如果需要，這里所討論的不同功能可以彼此按不同的順序和/或同時地被執(zhí)行。此外，如果需要，上述功能中的一個或多個功能可以是可選的或者可以被組合。
[0078]雖然實施例的各個方面在獨立權(quán)利要求中有所陳述，但是其它方面包括來自所描述的實施例和/或具有獨立權(quán)利要求的特征的從屬權(quán)利要求的特征的其它組合，而不只是在權(quán)利要求中被明確陳述的組合。[0079]這里還要注意的是雖然以上描述了本發(fā)明的示例實施例，但是這些描述不應(yīng)當(dāng)被視為限制性的。相反，可以在不脫離如所附權(quán)利要求所限定的本公開的范圍的情況下做出若干改變和修改。
【權(quán)利要求】
1.一種用于圖像幀的處理的方法，包括: 接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀； 基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息；以及 基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 根據(jù)來自所述多個彩色圖像幀當(dāng)中的一個或多個彩色圖像幀和所述彩色圖像幀確定注冊信息，其中所述一個或多個彩色圖像幀對應(yīng)于所述一個或多個全色圖像幀。
3.根據(jù)權(quán)利要求2所述的方法，其中根據(jù)所述彩色圖像幀和所述一個或多個彩色圖像幀的所述注冊信息等同于基于所述多個全色圖像幀的所計算出的注冊信息。
4.根據(jù)權(quán)利要求2或3所述的方法，其中修改所述彩色圖像幀包括基于所述注冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應(yīng)像素的像素值相加。
5.根據(jù)權(quán)利要求2或3所述的方法，其中修改所述彩色圖像幀包括基于所述注冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應(yīng)像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值。
6.根據(jù)權(quán)利要求4所述的方法，其中計算所述注冊信息包括計算全局注冊信息和本地注冊信息中的至少一個。
7.根據(jù)權(quán)利要求6所述的方法，其中計算所述全局注冊信息包括: 從所述全色圖像幀和所述一個或多個全色圖像幀中提取特征； 將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的所述特征進行匹配；以及 基于所提取的特征的所述匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。
8.根據(jù)權(quán)利要求7所述的方法，其中計算所述本地注冊信息包括: 基于與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關(guān)聯(lián)的所述單應(yīng)變換來生成對應(yīng)于所述至少一個全色圖像幀的經(jīng)補償?shù)娜珗D像幀； 基于所述經(jīng)補償?shù)娜珗D像幀和所述全色圖像幀計算差別圖像幀；以及將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值屬性與預(yù)定義的閾值進行比較。
9.根據(jù)權(quán)利要求8所述的方法，其中計算所述差別圖像幀包括從所述全色圖像幀中減去所述經(jīng)補償?shù)娜珗D像幀。
10.根據(jù)權(quán)利要求8所述的方法，其中所述像素值屬性是平均像素值、最大像素值、與配置所述差別圖像幀的所述多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值之和中的一個。
11.根據(jù)權(quán)利要求8至10中的任一項所述的方法，其中計算所述本地注冊信息包括: 對來自配置所述差別圖像幀的所述多個像素塊當(dāng)中的一個或多個像素塊執(zhí)行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關(guān)聯(lián)的所述像素值屬性被確定為超過所述預(yù)定義的閾值。
12.根據(jù)權(quán)利要求11所述的方法，還包括: 確定所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目。
13.根據(jù)權(quán)利要求12所述的方法，其中所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目基于色調(diào)映射而被確定。
14.根據(jù)權(quán)利要求1至3中的任一項所述的方法，其中與所述多個全色圖像幀相關(guān)聯(lián)的幀速率被配置為等于與所述多個彩色圖像幀相關(guān)聯(lián)的幀速率。
15.根據(jù)權(quán)利要求1至3中的任一項所述的方法，其中所述經(jīng)修改的彩色圖像幀的光強度高于所述彩色圖像幀的光強度。
16.一種用于圖像幀的處理的設(shè)備，包括: 用于接收與場景相關(guān)聯(lián)的多個彩色圖像幀和多個全色圖像幀的裝置，其中所述多個彩色圖像幀對應(yīng)于所述多個全色圖像幀； 用于基于來自所述多個全色圖像幀當(dāng)中的一個或多個全色圖像幀和某全色圖像幀來計算注冊信息的裝置；以及 用于基于所述注冊信息修改對應(yīng)于所述全色圖像幀的彩色圖像幀的裝置。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述設(shè)備還包括: 用于根據(jù)來自所述多個彩色圖像幀當(dāng)中的一個或多個彩色圖像幀和所述彩色圖像幀確定注冊信息的裝置，其中所述一個或多個彩色圖像幀對應(yīng)于所述一個或多個全色圖像幀。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中根據(jù)所述彩色圖像幀和所述一個或多個彩色圖像幀的所述注冊信息等同于基于所述多個全色圖像幀的所計算出的注冊信息。
19.根據(jù)權(quán)利要求17或18所述的設(shè)備，其中所述設(shè)備還包括: 用于基于所述注冊信息將所述一個或多個彩色圖像幀的像素的像素值與所述彩色圖像幀的對應(yīng)像素的像素值相加以用于修改所述彩色圖像幀的裝置。
20.根據(jù)權(quán)利要求17或18所述的設(shè)備，其中所述設(shè)備還包括: 用于基于所述注冊信息利用通過對所述一個或多個彩色圖像幀中的像素的像素值和所述彩色圖像幀的對應(yīng)像素的像素值求平均而獲得的平均像素值來更新所述彩色圖像幀的像素的像素值的裝置。
21.根據(jù)權(quán)利要求19所述的設(shè)備，其中計算所述注冊信息包括計算全局注冊信息和本地注冊信息中的至少一個。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中計算所述全局注冊信息包括: 從所述全色圖像幀和所述一個或多個全色圖像幀中提取特征； 將從所述全色圖像幀和所述一個或多個全色圖像幀中所提取的所述特征進行匹配；以及 基于所提取的特征的所述匹配確定所述全色圖像幀與所述一個或多個全色圖像幀之間的單應(yīng)變換。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中計算所述本地注冊信息包括: 基于與所述一個或多個全色圖像幀中的至少一個全色圖像幀相關(guān)聯(lián)的所述單應(yīng)變換來生成對應(yīng)于所述至少一個全色圖像幀的經(jīng)補償?shù)娜珗D像幀； 基于所述經(jīng)補償?shù)娜珗D像幀和所述全色圖像幀計算差別圖像幀；以及將與配置所述差別圖像幀的多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值屬性與預(yù)定義的閾值進行比較。
24.根據(jù)權(quán)利要求23所述的設(shè)備，其中計算所述差別圖像幀包括從所述全色圖像幀中減去所述經(jīng)補償?shù)娜珗D像幀。
25.根據(jù)權(quán)利要求23所述的設(shè)備，其中所述像素值屬性是平均像素值、最大像素值、與配置所述差別圖像幀的所述多個像素塊中的每個像素塊相關(guān)聯(lián)的像素值之和中的一個。
26.根據(jù)權(quán)利要求23至25中的任一項所述的設(shè)備，其中計算所述本地注冊信息還包括: 對來自配置所述差別圖像幀的所述多個像素塊當(dāng)中的一個或多個像素塊執(zhí)行運動補償，其中與所述一個或多個像素塊中的每個像素塊相關(guān)聯(lián)的所述像素值屬性被確定為超過所述預(yù)定義的閾值。
27.根據(jù)權(quán)利要求26所述的設(shè)備，其中所述設(shè)備還包括: 用于確定所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目的裝置。
28.根據(jù)權(quán)利要求27所述的設(shè)備，其中所述一個或多個彩色圖像幀中用于修改所述彩色圖像幀的彩色圖像幀的數(shù)目基于色調(diào)映射而被確定。
29.根據(jù)權(quán)利要求16至18中的任一項所述的設(shè)備，其中與所述多個全色圖像幀相關(guān)聯(lián)的幀速率被配置為等于與所述多個彩色圖像幀相關(guān)聯(lián)的幀速率。
30.根據(jù)權(quán)利要求16至18中的任一項所述的設(shè)備，其中所述經(jīng)修改的彩色圖像幀的光強度高于所述彩色圖像幀的光強度。
31.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述設(shè)備包括電子設(shè)備，所述電子設(shè)備包括: 用戶接口電路裝置和用戶接口軟件，所述用戶接口電路裝置和所述用戶接口軟件被配置為有助于用戶通過使用顯示器來控制所述電子設(shè)備的至少一個功能并且進一步被配置為對用戶輸入做出響應(yīng)；以及 顯示器電路裝置，所述顯示器電路裝置被配置為顯示所述電子設(shè)備的用戶接口的至少一部分，所述顯示和所述顯示電路裝置被配置為有助于所述用戶控制所述電子設(shè)備的至少一個功能。
32.根據(jù)權(quán)利要求31所述的設(shè)備，其中所述電子設(shè)備包括用于捕獲所述多個彩色圖像幀的彩色圖像傳感器和用于捕獲所述多個全色圖像幀的全色圖像傳感器。
33.根據(jù)權(quán)利要求31或32所述的設(shè)備，其中所述電子設(shè)備包括移動電話。
34.一種被配置為執(zhí)行根據(jù)權(quán)利要求1至15中的任一項所述的方法的設(shè)備。
【文檔編號】H04N5/243GK103841386SQ201310601160
【公開日】2014年6月4日 申請日期:2013年11月25日 優(yōu)先權(quán)日:2012年11月26日
【發(fā)明者】V·慕尼恩德 申請人:諾基亞公司