相機(jī)控制的方法
【專利摘要】本發(fā)明提供一種使能相機(jī)控制的用戶界面方法。在一示例中，方法包括以下步驟：在相機(jī)的用戶界面裝置上顯示色調(diào)映射高動(dòng)態(tài)范圍（HDR）圖像；經(jīng)由與用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯；發(fā)送用戶編輯給相機(jī)的一個(gè)或多個(gè)后端裝置以進(jìn)行基于用戶編輯的處理操作；由一個(gè)或多個(gè)后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新色調(diào)映射HDR圖像是來自基于用戶編輯進(jìn)行的處理操作；以及當(dāng)相機(jī)鏡頭繼續(xù)捕捉該場(chǎng)景的幀以供一個(gè)或多個(gè)后端裝置實(shí)施迭代地影響已更新色調(diào)映射HDR圖像的操作時(shí)，在用戶界面顯示已更新的色調(diào)映射HDR圖像。
【專利說明】相機(jī)控制的方法
[0001]相關(guān)申請(qǐng)的交叉參考
[0002]本申請(qǐng)要求2012年12月21日提交的申請(qǐng)序號(hào)為61/745，198的美國臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，在此引入該申請(qǐng)作為參考。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及相機(jī)捕捉，更具體地說，涉及一種相機(jī)控制的方法。
【背景技術(shù)】
[0004]具有數(shù)碼相機(jī)、顯示器、足夠的計(jì)算能力和觸摸界面的移動(dòng)設(shè)備正變得越來越普及和強(qiáng)大。現(xiàn)在與以往相比，更多的相片由移動(dòng)設(shè)備來捕捉，它們多數(shù)在設(shè)備上直接編輯并從該設(shè)備上直接共享，甚至不上傳到PC機(jī)。該現(xiàn)象很好地反映于相機(jī)控制和移動(dòng)平臺(tái)的圖像處理的近期焦點(diǎn)，以及反映于智能電話上照相應(yīng)用的普及。
[0005]典型的數(shù)碼相機(jī)，無論是功能豐富的數(shù)碼單反(DSLR)還是傻瓜相機(jī)裝置，依賴一組旋鈕和按鈕來控制捕捉參數(shù)。在獨(dú)立的照相管線內(nèi)，用戶選擇一種預(yù)定的捕捉模式以指定相機(jī)測(cè)光策略(例如，日光、夜晚模式、點(diǎn)模式、全景、微距捕捉等)，捕捉圖像同時(shí)以滑塊或刻度盤調(diào)整捕捉參數(shù)。然后，做為可選的后處理步驟，用戶實(shí)施編輯以糾正不想要的測(cè)光設(shè)置(例如，曝光過度/不足的圖面或特定區(qū)域，將合成模糊加到背景以強(qiáng)調(diào)前景等)。這種經(jīng)過近一個(gè)世紀(jì)的攝影演變而得來的方法，是有效的但給無經(jīng)驗(yàn)的相機(jī)用戶造成許多困難。由于不能反映用戶意圖的粗糙測(cè)光策略，傻瓜相機(jī)往往產(chǎn)生次優(yōu)的圖像，但沒有深入的攝影知識(shí)很難操作DSLR。最重要的是，旋鈕和按鈕界面的直接接口無法充分地利用在許多移動(dòng)設(shè)備上可用的觸摸基界面的潛力。
[0006]早期攝影師無法直接看到其所捕捉照片的結(jié)果，但是不得不想像各種圖像參數(shù)的功能，例如曝光、焦距、甚至是所用膠片和白紙的選擇。帶有顯示預(yù)覽圖像的實(shí)時(shí)數(shù)碼顯示器的數(shù)碼相機(jī)，使捕捉在這方面更容易。相機(jī)給出所捕捉圖像是什么樣子的預(yù)覽，使設(shè)計(jì)圖像和選擇捕捉時(shí)機(jī)變得更容易、更有趣。然而，當(dāng)使用許多計(jì)算攝影技術(shù)時(shí)，用戶仍然需要想像結(jié)果，例如，組合突破曝光于高動(dòng)態(tài)范圍(HDR)圖像和色調(diào)映射HDR圖像回顯示的低動(dòng)態(tài)范圍(LDR)，而不是看數(shù)碼取景器中最終結(jié)果的近似值。類似的限制也適用于傳統(tǒng)的數(shù)碼攝影。許多攝影師在捕捉后使用例如Photoshop或Lightroom工具編輯其照片。不幸的是，在知道后期編輯對(duì)結(jié)果的可能作用之前，用戶必須捕捉到現(xiàn)場(chǎng)鏡頭。因此捕捉過程依然與圖像編輯過程分離，可能導(dǎo)致不充分?jǐn)?shù)據(jù)采集(例如，錯(cuò)誤的成份或不充分的信噪比(SNR))或過度數(shù)據(jù)采集(例如，較長(zhǎng)的捕捉時(shí)間、加劇的手抖或運(yùn)動(dòng)模糊，以及存儲(chǔ)或傳輸?shù)某杀旧?。
[0007]因此，典型的數(shù)碼相機(jī)提供具有最終圖像的幾乎真實(shí)描述的數(shù)碼取景器。然而，如果圖像來自不同捕捉圖像的突發(fā)(burst)，或者非線性交互式編輯對(duì)最終結(jié)果具有突出的貢獻(xiàn)，攝影師不能直接看到結(jié)果，而需要想像后處理的效果。
[0008]因此，需要一種相機(jī)，該相機(jī)能夠捕捉到更準(zhǔn)確地反映用戶在驅(qū)動(dòng)快門時(shí)刻的意圖的場(chǎng)景。

【發(fā)明內(nèi)容】

[0009]本發(fā)明一實(shí)施方式包括一種使能相機(jī)控制的用戶界面方法。在一示例中，該方法包括以下步驟:在相機(jī)的用戶界面裝置上顯示色調(diào)映射高動(dòng)態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個(gè)像素，且其中色調(diào)映射HDR圖像包括相機(jī)的相機(jī)鏡頭所指向場(chǎng)景的演繹；通過與用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯；發(fā)送用戶編輯給相機(jī)的一個(gè)或多個(gè)后端裝置以實(shí)施基于用戶編輯的處理操作；從一個(gè)或多個(gè)后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新色調(diào)映射HDR圖像是由基于用戶編輯而實(shí)施的處理操作所產(chǎn)生；以及在相機(jī)鏡頭繼續(xù)捕捉該場(chǎng)景的幀以供一個(gè)或多個(gè)后端裝置實(shí)施迭代地影響已更新色調(diào)映射HDR圖像的操作時(shí)，在用戶界面顯示已更新色調(diào)映射HDR圖像。
[0010]本方法提供與傳統(tǒng)方法相比的至少兩個(gè)好處。一個(gè)好處是該相機(jī)控制系統(tǒng)使用戶能夠做出有關(guān)圖像構(gòu)圖的更好決定，因?yàn)樵撓鄼C(jī)控制系統(tǒng)使用戶能夠意識(shí)到用戶未決編輯將如何影響驅(qū)動(dòng)快門時(shí)所捕捉的圖像。在這方面，取景器用作預(yù)可視化工具，提供提升的用戶體驗(yàn)。另一個(gè)好處是相機(jī)控制系統(tǒng)執(zhí)行的程序更好利用捕捉參數(shù)，比如焦距、曝光、增益、白平衡等等。
【專利附圖】

【附圖說明】
[0011]因此，可以詳細(xì)地理解本公開的上述特征，并且可以參考示范性實(shí)施例得到對(duì)如上面所簡(jiǎn)要概括的本公開更具體的描述，其中一些實(shí)施例在附圖中示出。然而，應(yīng)當(dāng)注意的是，附圖僅示出了本公開的典型實(shí)施例，因此不應(yīng)被認(rèn)為是對(duì)其范圍的限制，本公開可以具有其他等效的實(shí)施例。
[0012]圖1為描述用以實(shí)現(xiàn)本發(fā)明一或多個(gè)實(shí)施例的相機(jī)系統(tǒng)的方框圖。
[0013]圖2為描述本發(fā)明一實(shí)施例的并行處理子系統(tǒng)的方框圖。
[0014]圖3為依據(jù)本發(fā)明一實(shí)施例的具有相機(jī)控制系統(tǒng)的相機(jī)系統(tǒng)的方框圖。
[0015]圖4A為依據(jù)本發(fā)明一實(shí)施例中在相機(jī)控制操作的初始階段的相機(jī)系統(tǒng)的概念圖。
[0016]圖4B為依據(jù)本發(fā)明一實(shí)施例中當(dāng)用戶在用戶界面裝置上進(jìn)實(shí)施實(shí)時(shí)編輯的相機(jī)系統(tǒng)的概念圖。
[0017]圖4C為依據(jù)本發(fā)明一實(shí)施例中，圖4B的操作之后實(shí)時(shí)編輯時(shí)的相機(jī)控制系統(tǒng)的概念圖。
[0018]圖4D為依據(jù)本發(fā)明一實(shí)施例中，圖4C的操作之后實(shí)時(shí)編輯時(shí)的相機(jī)控制系統(tǒng)的概念圖。
[0019]圖4E為依據(jù)本發(fā)明一實(shí)施例中，圖4D的操作之后實(shí)時(shí)編輯時(shí)的相機(jī)控制系統(tǒng)的概念圖。
[0020]圖5為依據(jù)本發(fā)明一實(shí)施例的控制相機(jī)的方法步驟的流程圖。
[0021]圖6A為描述本發(fā)明一實(shí)施例中通過每個(gè)像素分析的基于編輯的測(cè)光情況(a)的示意圖。
[0022]圖6B為描述本發(fā)明一實(shí)施例中通過每個(gè)像素分析的基于編輯的測(cè)光情況(b)的示意圖。
[0023]圖6C為描述本發(fā)明一實(shí)施例的每個(gè)像素目標(biāo)的集合的方框圖。
【具體實(shí)施方式】
[0024]在下面的描述中，將闡述大量的具體細(xì)節(jié)以提供對(duì)本公開更透徹的理解。然而，本領(lǐng)域的技術(shù)人員應(yīng)該清楚，本公開可以在沒有一個(gè)或多個(gè)這些具體細(xì)節(jié)的情況下得以實(shí)施。在其他實(shí)施例中，未描述眾所周知的特征，以避免模糊本發(fā)明。
[0025]除其他事項(xiàng)外,本發(fā)明的實(shí)施例針對(duì)相機(jī)控制，包括決定相機(jī)捕捉參數(shù)(自動(dòng)對(duì)焦、自動(dòng)曝光、自動(dòng)白平衡等)的新級(jí)別算法?，F(xiàn)有的相機(jī)系統(tǒng)依靠滑塊、刻度盤和啟發(fā)式算法來調(diào)整參數(shù)。這樣的方法，雖然實(shí)用，對(duì)于基于觸摸的用戶界面是次優(yōu)的并僅支持取景器流的全局變化。本發(fā)明的實(shí)施例，另一方面，能夠空間定域測(cè)光且使用戶能夠通過一組編輯直接在取景器圖像上組合照片的外觀和感覺。基礎(chǔ)優(yōu)化構(gòu)架確保相機(jī)處理的實(shí)時(shí)執(zhí)行實(shí)現(xiàn)用戶定義外觀和圖像質(zhì)量限制。
[0026]硬件綜述
[0027]圖1為被配置以實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)方面的相機(jī)系統(tǒng)100的方框圖。圖1未限制或意圖限制本發(fā)明的范圍。系統(tǒng)100可為數(shù)碼相機(jī)、平板電腦、筆記本電腦、智能電話、移動(dòng)電話、移動(dòng)設(shè)備、個(gè)人數(shù)碼助理、個(gè)人電腦或任何其他適于實(shí)施本發(fā)明一個(gè)或多個(gè)實(shí)施例的設(shè)備。設(shè)備(device)是硬件或硬件與軟件的組合。部件(component)通常為設(shè)備的一部分且為硬件或硬件與軟件的組合。相機(jī)系統(tǒng)100包括中央處理單元(CPU) 102和具有設(shè)備驅(qū)動(dòng)程序103的系統(tǒng)存儲(chǔ)器104。
[0028]中央處理單元(CPU)102和系統(tǒng)存儲(chǔ)器104通過互連路徑通訊，該互連路徑可包括存儲(chǔ)器橋105。存儲(chǔ)器橋105可以是例如北橋芯片，經(jīng)由總線或其他通信路徑106 (例如超傳輸(HyperTransport)鏈路)連接到I/O (輸入/輸出)橋107。I/O橋107，其可以是例如南橋芯片，從一個(gè)或多個(gè)用戶輸入裝置108 (例如觸摸屏、光標(biāo)小鍵盤、鍵盤、鼠標(biāo)等)接收用戶輸入，并且經(jīng)由通信路徑106和存儲(chǔ)器橋105將該輸入傳輸?shù)紺PU102。并行處理子系統(tǒng)112通過總線或其他通訊路徑113 (例如快速外圍部件互連(PCI)、圖形加速端口(AGP)、和/或超傳輸(HyperTransport)鏈路)稱接于存儲(chǔ)器橋105。在一實(shí)施方式中，并行處理子系統(tǒng)112是圖形子系統(tǒng)，其將像素傳輸?shù)斤@示裝置110 (例如，傳統(tǒng)陰極射線管(CRT)和/或液晶顯示器(IXD)基監(jiān)視器等)。系統(tǒng)盤114也連接到I/O橋107。交換器116提供I/O橋107與諸如網(wǎng)絡(luò)適配器118以及各種插卡120和121的其他部件之間的連接。其他部件(未明確示出)，包括通用串行總線(USB)和/或其他端口連接、壓縮光盤(CD)驅(qū)動(dòng)器、數(shù)碼視頻光盤(DVD)驅(qū)動(dòng)器、膠片錄制裝置及類似部件，也可以連接到I/O橋107。實(shí)施互連圖1中各種部件的通訊路徑，可通任何適合的協(xié)議，比如PC1、高速PCI (PCIe), AGP、超傳輸、和/或任何總線或點(diǎn)到點(diǎn)通訊協(xié)議，可使用不同協(xié)議的不同裝置間的連接在現(xiàn)有技術(shù)中已知。
[0029]下面參考圖2-5進(jìn)一步描述，并行處理子系統(tǒng)112包括并行處理單元(PTO)，其被配置以通過使用能夠控制的電路執(zhí)行軟件應(yīng)用(例如設(shè)備驅(qū)動(dòng)程序103)。那些數(shù)據(jù)包類型通過通訊路徑113所使用的通訊協(xié)議指定。在新數(shù)據(jù)包類型引進(jìn)到通訊協(xié)議(例如，由于通訊協(xié)議的提升)的情況下，并行處理子系統(tǒng)112可被配置以生成基于新數(shù)據(jù)包類型的數(shù)據(jù)包并且使用新數(shù)據(jù)包類型跨越通訊路徑113與CPU102 (或其他處理單元)交換數(shù)據(jù)。[0030]在一個(gè)實(shí)施方式中，并行處理子系統(tǒng)112納入經(jīng)優(yōu)化用于圖形和視頻處理的電路，包括，例如，視頻輸出電路，并且構(gòu)成圖形處理單元(GPU)。在另一個(gè)實(shí)施方式中，并行處理子系統(tǒng)112納入經(jīng)優(yōu)化用于通用處理的電路，同時(shí)保留底層(underlying)計(jì)算架構(gòu)，本文將更詳細(xì)地進(jìn)行描述。在又一個(gè)實(shí)施方式中，并行處理子系統(tǒng)112可與一個(gè)或多個(gè)其他系統(tǒng)部件集成，諸如存儲(chǔ)器橋105、CPU102以及I/O橋107以形成片上系統(tǒng)(SoC)。
[0031]應(yīng)該理解，本文所示系統(tǒng)是示例性的，并且變化和修改都是可能的。連接拓?fù)?，包括橋的?shù)目和布置、CPU102的數(shù)目以及并行處理子系統(tǒng)112的數(shù)目，可根據(jù)需要修改。例如，在一些實(shí)施方式中，系統(tǒng)存儲(chǔ)器104直接連接到CPU102而不是通過橋，并且其他裝置經(jīng)由存儲(chǔ)器橋105和CPU102與系統(tǒng)存儲(chǔ)器104通信。在其他替代性拓?fù)渲校⑿刑幚碜酉到y(tǒng)112連接到I/O橋107或直接連接到CPU102，而不是連接到存儲(chǔ)器橋105。而在其他實(shí)施例中，I/O橋107和存儲(chǔ)器橋105可能被集成到單個(gè)芯片上。大型實(shí)施方式可以包括兩個(gè)或更多個(gè)CPU102以及兩個(gè)或更多個(gè)并行處理系統(tǒng)112。本文所示的特定部件是可選的；例如，任何數(shù)目的插卡或外圍裝置都可能得到支持。在一些實(shí)施方式中，交換器116被去掉，網(wǎng)絡(luò)適配器118和插卡120、121直接連接到I/O橋107。
[0032]圖2為本發(fā)明一實(shí)施例的并行處理子系統(tǒng)的方框圖。如所示的，并行處理子系統(tǒng)112包括一個(gè)或多個(gè)并行處理單元(PPU) 202，每個(gè)并行處理單元202都耦接到本地并行處理(PP)存儲(chǔ)器204。通常，并行處理子系統(tǒng)包括U個(gè)PPU，其中U > I。(本文中，類似對(duì)象的多個(gè)實(shí)例需要時(shí)以標(biāo)識(shí)對(duì)象的參考數(shù)字和標(biāo)識(shí)實(shí)例的括號(hào)中的數(shù)字來表示。)PPU202和并行處理存儲(chǔ)器204可使用一個(gè)或多個(gè)集成電路裝置來實(shí)現(xiàn)，諸如可編程處理器、專用集成電路(ASIC)或存儲(chǔ)器裝置，或者以任何其他技術(shù)可行的方式來實(shí)現(xiàn)。
[0033]再參考圖1，在一些實(shí)施方式中，并行處理子系統(tǒng)112中的一些或所有PPU202是具有渲染管線的圖形處理器，其可被配置以實(shí)施各種任務(wù)，該任務(wù)與從圖形數(shù)據(jù)生成像素?cái)?shù)據(jù)相關(guān)，該圖形數(shù)據(jù)通過與本地并行處理存儲(chǔ)器204(其可用作圖形存儲(chǔ)器包括，例如，傳統(tǒng)的幀緩沖器)相互作用的存儲(chǔ)器橋105和總線113提供，以存儲(chǔ)和更新像素?cái)?shù)據(jù)、向顯示裝置110傳達(dá)像素?cái)?shù)據(jù)等等。在一些實(shí)施方式中，并行處理子系統(tǒng)112可包括一個(gè)或多個(gè)作為圖形處理器而操作的Pro202、以及一個(gè)或多個(gè)用于通用計(jì)算的其他PPU202。這些PPU可以是同樣的或不同的，并且每個(gè)PPU可具有自己專用并行處理存儲(chǔ)器裝置或不具有專用并行處理存儲(chǔ)器裝置。一個(gè)或多個(gè)PPU202可輸出數(shù)據(jù)到顯示裝置110，或者每個(gè)PPU202可輸出數(shù)據(jù)到一個(gè)或多個(gè)顯示裝置110。
[0034]在操作中，CPU102是相機(jī)系統(tǒng)100的主處理器，控制和協(xié)調(diào)其他系統(tǒng)部件的操作。特別地，CPU102發(fā)出控制PPU202操作的命令。在一些實(shí)施方式中，CPU102將每個(gè)PPU202的命令流寫入入棧緩沖器(圖1或2未明確示出)，入棧緩沖器可位于系統(tǒng)存儲(chǔ)器104、并行處理存儲(chǔ)器204、或可訪問CPU102和PPU202的另一存儲(chǔ)位置。PPU202從入棧緩沖區(qū)讀取命令流，然后執(zhí)行相對(duì)于CPU102操作異步的命令。
[0035]現(xiàn)在返回參考圖2，每個(gè)PPU202包括一 I/O (輸入/輸出)單元205，該單元205經(jīng)由連接到存儲(chǔ)器橋105 (或者，在一個(gè)替代性實(shí)施方式中，直接連接到CPU102)的通信路徑113與相機(jī)系統(tǒng)100的其余部分通信。PPU202到計(jì)算機(jī)系統(tǒng)100的其余部分的連接也可以變化。在一些實(shí)施方式中，并行處理子系統(tǒng)112可實(shí)施為插卡，該插卡可插值到相機(jī)系統(tǒng)100的擴(kuò)展槽中。在其他實(shí)施方式中，PTO202可以和諸如存儲(chǔ)器橋105或I/O橋107的總線橋集成在單個(gè)芯片上。而在其他實(shí)施方式中，PPU202的一些或所有部件可以和CPU102集成在單個(gè)芯片上。
[0036]在一個(gè)實(shí)施方式中，通信路徑113是PCIe鏈路，如本領(lǐng)域所知的，其中專用通道被分配到每個(gè)PPU202。也可以使用其他通信路徑。如上所述，逆流互連還可用于實(shí)施通訊路徑113，以及在相機(jī)系統(tǒng)100、CPU102或PPU202中任何其他通訊路徑。I/O單元205生成用于在通信路徑113上傳送的包(或其他信號(hào))，并且還從通信路徑113接收所有傳入的包(或其他信號(hào))，將傳入的包引導(dǎo)到PPU202的適當(dāng)部件。例如，可將與處理任務(wù)相關(guān)的命令引導(dǎo)到主機(jī)接口 206，而將與存儲(chǔ)器操作相關(guān)的命令(例如，對(duì)并行處理存儲(chǔ)器204的讀取或?qū)懭?引導(dǎo)到存儲(chǔ)器交叉開關(guān)單元210。主機(jī)接口 206讀取每個(gè)入棧緩沖器，并且將由入棧緩沖區(qū)指定的工作輸出到前端212。
[0037]有利地，每個(gè)PPU202都實(shí)現(xiàn)高度并行處理架構(gòu)。如詳細(xì)示出的，PPU202 (O)包括算法子系統(tǒng)230，該子系統(tǒng)230包括C個(gè)通用處理集群(GPC)208，其中C > I。每個(gè)GPC208能夠并發(fā)地執(zhí)行大量的(例如，幾百或幾千)線程，其中每個(gè)線程是程序的實(shí)例(instance)。在各種應(yīng)用中，可分配不同的GPC208用于處理不同類型的程序或用于實(shí)施不同類型的計(jì)算。GPC208的分配可以依據(jù)每個(gè)類型的程序或計(jì)算所產(chǎn)生的工作量而變化。
[0038]GPC208接收通過工作分配單元200執(zhí)行的處理任務(wù)，其接收來自前端單元212的定義處理任務(wù)的命令。前端212確保在啟動(dòng)由入棧指定的處理前，GPC208被配置于有效的狀態(tài)。 [0039]當(dāng)PI3U用于圖形處理時(shí)，例如，操作的處理工作量可分割為近乎相等尺寸任務(wù)以使操作能夠分配到多GPC208。工作分配單元200可被配置于能夠提供任務(wù)的頻率上產(chǎn)生任務(wù)給處理的多GPC208。在一實(shí)施方式中，工作分配單元200可產(chǎn)生任務(wù)足夠快以同時(shí)保持忙碌多GPC208。相反地，在傳統(tǒng)系統(tǒng)中，處理通過由單處理引擎執(zhí)行，同時(shí)其他處理引擎保持空轉(zhuǎn)，等待單處理引擎在開始其處理任務(wù)前完成任務(wù)。在本發(fā)明一些實(shí)施方式中，GPC208的部分被配置以執(zhí)行不同類型的處理。例如，第一部分被配置以執(zhí)行頂點(diǎn)陰影(vertexshading)和拓?fù)渖?。第二部分可被配置以?zhí)行曲面細(xì)分(tessellation)和幾何陰影(geometryshading)。第三部分可被配置以執(zhí)行屏幕空間的像素陰影以產(chǎn)生已渲染圖像。由GPC208產(chǎn)生的中間數(shù)據(jù)可存在于緩沖器以使中間數(shù)據(jù)能夠被在GPC208之間進(jìn)一步處理。
[0040]存儲(chǔ)器接口 214包括D個(gè)分區(qū)單元215，每個(gè)分區(qū)單元215直接耦連到并行處理存儲(chǔ)器204的一部分，其中D≥1。如所示的，分區(qū)單元215的數(shù)目一般等于DRAM220的數(shù)目。在其他實(shí)施方式中，分區(qū)單元215的數(shù)目也可以不等于存儲(chǔ)器裝置的數(shù)目。動(dòng)態(tài)隨機(jī)訪問存儲(chǔ)器(DRAM)220可被其他適合的存儲(chǔ)裝置取代并可為通常傳統(tǒng)設(shè)計(jì)。諸如幀緩沖器或紋理映射圖的渲染目標(biāo)可以跨DRAM220加以存儲(chǔ)，這允許分區(qū)單元215并行寫入每個(gè)渲染目標(biāo)的各部分以有效地使用并行處理存儲(chǔ)器204的可用帶寬。
[0041]任何一個(gè)GPC208都可以處理要被寫到并行處理存儲(chǔ)器204內(nèi)的任何DRAM220的數(shù)據(jù)。交叉開關(guān)單元210被配置以發(fā)送每個(gè)GPC208的輸出到任何分區(qū)單元215的輸入或到另一個(gè)GPC208用于進(jìn)一步處理。GPC208通過交叉開關(guān)單元210與存儲(chǔ)器接口 214通信，以對(duì)各種外部存儲(chǔ)器設(shè)備進(jìn)行讀取或?qū)懭?。在一個(gè)實(shí)施方式中，交叉開關(guān)單元210具有到存儲(chǔ)器接口 214的連接以和I/O單元205通信，以及到本地并行處理存儲(chǔ)器204的連接，從而使得在不同GPC208內(nèi)的處理內(nèi)核能夠與系統(tǒng)存儲(chǔ)器104或?qū)τ赑PU202而言非本地的其他存儲(chǔ)器通信。在圖2所示的實(shí)施方式中，交叉開關(guān)單元210直接與I/O單元205連接。交叉開關(guān)單元210可使用虛擬信道來分開GPC208與分區(qū)單元215之間的業(yè)務(wù)流。
[0042]另外，GPC208可被編程以執(zhí)行與種類繁多的應(yīng)用相關(guān)的處理任務(wù)，包括但不限于，線性和非線性數(shù)據(jù)變換、視頻和/或音頻數(shù)據(jù)過濾、建模操作(例如，應(yīng)用物理定律以確定對(duì)象的位置、速率和其他屬性)、圖像渲染操作(例如，曲面細(xì)分(tessellation)著色器、頂點(diǎn)著色器、幾何著色器、和/或像素著色器程序)等等。PPU202可將數(shù)據(jù)從系統(tǒng)存儲(chǔ)器104和/或本地并行處理存儲(chǔ)器204轉(zhuǎn)移到內(nèi)部(片上)存儲(chǔ)器中，處理該數(shù)據(jù)，并且將結(jié)果數(shù)據(jù)寫回到系統(tǒng)存儲(chǔ)器104和/或本地并行處理存儲(chǔ)器204，其中這樣的數(shù)據(jù)可以由其他系統(tǒng)部件訪問，所述其他系統(tǒng)部件包括CPU102或另一個(gè)并行處理子系統(tǒng)112。
[0043]PPU202可配備有任何容量(amount)的本地并行處理存儲(chǔ)器204，包括沒有本地存儲(chǔ)器，并且可以以任何組合方式使用本地存儲(chǔ)器和系統(tǒng)存儲(chǔ)器。例如，在統(tǒng)一存儲(chǔ)器架構(gòu)(UMA)實(shí)施方式中，PPU202可以是圖形處理器。在這樣的實(shí)施方式中，將不提供或幾乎不提供專用的圖形(并行處理)存儲(chǔ)器，并且PPU202會(huì)以排他或幾乎排他的方式使用系統(tǒng)存儲(chǔ)器。
[0044]在UMA實(shí)施方式中，PPU202可集成到橋式芯片中或處理器芯片中，或作為具有高速鏈路(例如，PCIe)的分立芯片提供，所述高速鏈路經(jīng)由橋式芯片或其他通信手段將PPU202連接到系統(tǒng)存儲(chǔ)器。
[0045]如上所示，在并行處理子系統(tǒng)112中可以包括任何數(shù)目的PPU202。例如，可在單個(gè)插卡上提供多個(gè)PPU202、或可將多個(gè)插卡連接到通信路徑113、或可將一個(gè)或多個(gè)PPU202集成到橋式芯片中。在多PI3U系統(tǒng)中的PPU202可以彼此同樣或不同。
[0046]例如，不同的PPU202可能具有不同數(shù)目的處理內(nèi)核、不同容量的本地并行處理存
儲(chǔ)器等等。
[0047]在存在多個(gè)PPU202的情況下，可并行操作那些PI3U從而以更高于單個(gè)PPU202所可能達(dá)到的吞吐量來處理數(shù)據(jù)。包含一個(gè)或多個(gè)PPU202的系統(tǒng)可被配置于各種配置和形成因素來實(shí)現(xiàn)，包括臺(tái)式電腦、筆記本電腦或手持式個(gè)人計(jì)算機(jī)、服務(wù)器、工作站、游戲控制臺(tái)、嵌入式系統(tǒng)等等。
[0048]本發(fā)明一實(shí)施例的執(zhí)行為用于計(jì)算機(jī)系統(tǒng)程序產(chǎn)品，比如圖1所示的相機(jī)系統(tǒng)100。
[0049]程序產(chǎn)品的一個(gè)或多個(gè)程序定義實(shí)施例的功能(包括本文所述的方法)并可限定于各種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)。例如說計(jì)算機(jī)可讀介質(zhì)包括，但不限于:(i)非可寫存儲(chǔ)介質(zhì)(例如，計(jì)算機(jī)中的只讀存儲(chǔ)裝置，例如可由CD-ROM驅(qū)動(dòng)器讀取的CD-ROM盤，閃存，ROM芯片或任何類型的固態(tài)非易失性半導(dǎo)體存儲(chǔ)器)，其上可永久保存信息；以及(ii )可寫存儲(chǔ)介質(zhì)(例如，在軟盤驅(qū)動(dòng)器的軟盤或硬盤驅(qū)動(dòng)器或任何類型的固態(tài)隨機(jī)訪問半導(dǎo)體存儲(chǔ)器)，其上可存儲(chǔ)可變信息。
[0050]相機(jī)控制系統(tǒng)概述
[0051]當(dāng)前方法利用移動(dòng)設(shè)備的處理能力，使在數(shù)碼相機(jī)和在具有數(shù)碼相機(jī)的移動(dòng)設(shè)備(例如手機(jī))上臺(tái)式機(jī)一樣的工作流程成為可能。相機(jī)控制系統(tǒng)利用這些處理能力引入實(shí)現(xiàn)取景器編輯，其使用戶在捕捉前直接在取景器上進(jìn)行編輯。相機(jī)控制系統(tǒng)帶給計(jì)算機(jī)捕捉應(yīng)用所見即所得(WYSIWYG)的界面，使用戶能夠在取景器上直接看到交互式編輯的效果。利用該界面，相機(jī)控制系統(tǒng)還收集對(duì)用戶重要的圖像各方面的信息，該信息又影響捕捉參數(shù)的選擇，比如捕捉圖像的數(shù)目、曝光值、焦距、白平衡等等。為實(shí)現(xiàn)該理念，相機(jī)控制系統(tǒng)使用統(tǒng)一的框架，其中用戶提供輸入(例如，稀疏的，基于點(diǎn)擊的輸入等)以控制本地的或全局的色調(diào)、顏色、飽和度、焦距、和其他參數(shù)。然后，用戶接收取景器上的即時(shí)反饋。
[0052]用戶提供的選擇是基于相似性(affinity)。相機(jī)控制系統(tǒng)存儲(chǔ)作為圖像修改空間的稀疏采樣功能的選擇。然后，相機(jī)控制系統(tǒng)通過匹配圖像塊傳送選擇給后續(xù)取景框。相機(jī)控制系統(tǒng)將編輯即應(yīng)用于取景器圖像又應(yīng)用于用戶最終決定捕捉(例如，通過致動(dòng)快門)的高分辨率圖像。另外，相機(jī)控制系統(tǒng)內(nèi)部使用編輯來驅(qū)動(dòng)相機(jī)控制程序，其決定適當(dāng)?shù)钠毓夂?或焦距值等。用戶甚至可提供不一致的線索，然后其可通過取得兩個(gè)不同設(shè)置的圖像并組合結(jié)果來滿足。
[0053]控制系統(tǒng)使用戶能夠做出關(guān)于組合的最好決策，因?yàn)橄鄼C(jī)控制系統(tǒng)使用戶認(rèn)識(shí)到用戶未決定的編輯將如何影響已捕捉圖像。相機(jī)控制系統(tǒng)在這點(diǎn)上用作預(yù)先可視化的工具，提供新的用戶體驗(yàn)。此外，系統(tǒng)能夠使相機(jī)控制程序更好地優(yōu)化捕捉參數(shù)，比如焦距、曝光、增益和白平衡。用戶表達(dá)如何變換圖像，使算法能夠?qū)С鲋С肿儞Q所需噪聲閾值、景深、動(dòng)態(tài)范圍。例如，如果用戶希望局部照亮場(chǎng)景暗區(qū)，用戶的輸入應(yīng)該導(dǎo)致不同的測(cè)光決定；或者，若用戶樂于讓天空在顯示器上飽和，完整的曝光堆棧是不必要的。在此框架中，基于堆棧的計(jì)算捕捉與傳統(tǒng)捕捉無縫地融合，當(dāng)并且只有當(dāng)必要時(shí)起作用。
[0054]相機(jī)控制系統(tǒng)提供快速編輯傳播算法，取景器界面充分地利用可視化的知識(shí)以可視化編輯、色調(diào)映射、多重曝光混合和相機(jī)控制程序，其共同形成可以在移動(dòng)平臺(tái)和/或桌面平臺(tái)及其他平臺(tái)間以交互速率運(yùn)行的系統(tǒng)。
[0055]圖3為依據(jù)本發(fā)明一實(shí)施例中具有相機(jī)控制系統(tǒng)302的相機(jī)系統(tǒng)101的方框圖。如圖所示，相機(jī)控制系統(tǒng)302包括，但不限于，相互耦接的用戶界面裝置306、掩碼生成裝置304、測(cè)光裝置302。用戶界面裝置306包括但不限于實(shí)時(shí)編輯裝置322、所見即所得(WYSIWYG)取景器裝置308。
[0056]用戶界面裝置306是前端裝置，其用戶使用快速的時(shí)空編輯傳播架構(gòu)從而能夠以交互速率基于點(diǎn)擊編輯取景器。相機(jī)控制系統(tǒng)302模擬作為圖像塊空間函數(shù)的編輯并存儲(chǔ)以高維數(shù)據(jù)結(jié)構(gòu)的編輯。
[0057]測(cè)光裝置305是后端裝置，其使用HDR測(cè)光顯示在屏幕上的已編輯取景器圖像的質(zhì)量。對(duì)于給定用戶的編輯和場(chǎng)景(例如，以實(shí)時(shí)構(gòu)建的色調(diào)映射HDR圖像表示)，測(cè)光裝置305產(chǎn)生最大化HDR圖像的顯示外觀質(zhì)量的測(cè)光參數(shù)(例如，曝光時(shí)間等)。特別地，測(cè)光裝置305考慮每個(gè)所顯示像素的感知激勵(lì)閾值，反向通過圖像處理管線(包括用戶編輯和色調(diào)映射)映射閾值，以計(jì)算在圖像傳感器的可接受的噪聲閾值，然后計(jì)算滿足整個(gè)圖像的已計(jì)算閾值的曝光組。該方案與目的在于獲得盡可能真實(shí)的物理場(chǎng)景幅照度現(xiàn)有的HDR測(cè)光算法形成對(duì)比。
[0058]掩碼生成裝置402是后端裝置，其生成編輯掩碼是通過分類場(chǎng)景的紋理、產(chǎn)生稀疏編輯掩碼、進(jìn)行邊緣保留平滑、然后構(gòu)建編輯掩碼。下面參見圖5進(jìn)一步解釋動(dòng)作。
[0059]相機(jī)控制系統(tǒng)302可用于專用數(shù)碼相機(jī)、桌面電腦、筆記本電腦、平板電腦和/或移動(dòng)電話或其他平臺(tái)。下面參見圖4A-5進(jìn)一步描述相機(jī)控制系統(tǒng)302。[0060]取景器編輯示例
[0061]圖4A-4E為依據(jù)本發(fā)明各種實(shí)施例，說明在用戶界面裝置306的取景器裝置308上編輯的系列示意圖。相機(jī)控制系統(tǒng)的處理取景器編輯，以更準(zhǔn)確地顯示用戶打算捕捉的圖像。相機(jī)持續(xù)地捕捉相機(jī)鏡頭所指向的場(chǎng)景的幀，并持續(xù)地使用后端操作中處理的幀。后端操作包括將取景器編輯與相機(jī)所捕捉的幀結(jié)合的操作。因此，相機(jī)控制的方法包括持續(xù)的、反復(fù)的、相互高度依賴的操作。因此，取景器編輯發(fā)生在實(shí)時(shí)(例如，當(dāng)相機(jī)捕捉后端處理的場(chǎng)景的巾貞)。
[0062]圖4A為依據(jù)本發(fā)明一實(shí)施例，在相機(jī)控制操作的初始階段的相機(jī)系統(tǒng)302的概念圖。相機(jī)控制系統(tǒng)302被開啟，其包括具有WYSISYG取景器裝置308的用戶界面裝置306。用戶410將相機(jī)鏡頭(圖未示)指向現(xiàn)場(chǎng)場(chǎng)景404?，F(xiàn)場(chǎng)場(chǎng)景404之所以“活”，是因?yàn)閳?chǎng)景包括潛在移動(dòng)的目標(biāo)(例如，人物、風(fēng)景、動(dòng)物、和/或其他目標(biāo)等)，還因?yàn)橄鄼C(jī)至少一點(diǎn)也是潛在移動(dòng)的。然而，可選的，現(xiàn)場(chǎng)場(chǎng)景404中的目標(biāo)可是大體靜止的或相對(duì)于相機(jī)位置是不動(dòng)的。
[0063]在此初始階段，相機(jī)控制系統(tǒng)302將現(xiàn)場(chǎng)場(chǎng)景404描述為用戶界面裝置306的WYSIWYG取景器裝置308上的未編輯圖像412。在該示例中，將相機(jī)控制系統(tǒng)302描述成平板電腦的相機(jī)的部分。其他示例，除了平板電腦，包括智能電話、專用的數(shù)碼相機(jī)、筆記本電腦、移動(dòng)電話、移動(dòng)設(shè)備、個(gè)人數(shù)碼助理、個(gè)人計(jì)算機(jī)或適于執(zhí)行本發(fā)明一或多個(gè)實(shí)施例的其他任何裝置。
[0064]圖4B是依據(jù)本發(fā)明一實(shí)施例，在用戶410在用戶界面裝置306上進(jìn)行實(shí)時(shí)編輯時(shí)相機(jī)系統(tǒng)302的概念圖。在一實(shí)施方式中，相機(jī)控制系統(tǒng)302可從用戶界面裝置306上的用戶410接收稀疏點(diǎn)擊(未圖示)，如同用戶界面裝置306是油畫布一樣。當(dāng)相機(jī)控制系統(tǒng)302接收用戶界面裝置306上的點(diǎn)擊時(shí)，相機(jī)控制系統(tǒng)302標(biāo)記選擇區(qū)域420的相應(yīng)圖像塊。相機(jī)控制系統(tǒng)302可通過接收選擇區(qū)域420的區(qū)域中的輕擊(或鼠標(biāo)點(diǎn)擊等)而接收選擇區(qū)域420的確認(rèn)。或者，相機(jī)控制系統(tǒng)302可通過接收，例如選擇區(qū)域420的區(qū)域外的輕擊(或鼠標(biāo)點(diǎn)擊等)，而接收選擇區(qū)域420的取消。
[0065]選擇區(qū)域420包括用戶界面裝置308的部分的和/或所有的像素。在該示例中，選擇區(qū)域是矩形的?；蛘?，選擇區(qū)域可以是另一形狀，比如，舉例來說，圓形、橢圓形、任何類型的多邊形、以及其他形狀。選擇區(qū)域420或者還可以基于紋理(texture)。例如，天空可具有與人臉不同的紋理。因此，在一實(shí)施方式中，相機(jī)控制系統(tǒng)302可識(shí)別紋理的不同并獲得基于紋理匹配的選擇區(qū)域(例如，匹配天空的紋理以選擇天空作為選擇區(qū)域，或者匹配人的紋理以選擇人作為選擇區(qū)域等)。
[0066]相機(jī)控制系統(tǒng)302將選擇區(qū)域420的圖像塊存儲(chǔ)于支持匹配圖像塊的數(shù)據(jù)結(jié)構(gòu)。在現(xiàn)場(chǎng)場(chǎng)景404 (其為流動(dòng)并不是靜止的)的后續(xù)幀中，相機(jī)控制系統(tǒng)302選擇具有與先前所選擇塊匹配的相應(yīng)圖像塊的像素。由于不包括追蹤，相機(jī)控制系統(tǒng)302對(duì)運(yùn)動(dòng)和/或場(chǎng)景的遮掩和/或相機(jī)鏡頭有較強(qiáng)的魯棒性。
[0067]確認(rèn)選擇區(qū)域420,實(shí)時(shí)編輯裝置322顯示各種編輯選項(xiàng)。在該示例中，編輯選項(xiàng)包括亮度、飽和度、對(duì)比度和色度。編輯選項(xiàng)的其他示例(未圖示)可包括但不限于白平衡、色彩、色調(diào)、焦距、曝光、增益和灰度等級(jí)。配置相機(jī)控制系統(tǒng)302用以從用戶接收編輯選項(xiàng)之一的選擇。[0068]圖4C是依據(jù)本發(fā)明一實(shí)施例，在圖4B的實(shí)時(shí)編輯后續(xù)操作時(shí)相機(jī)控制系統(tǒng)302的概念圖。在該示例中，選擇區(qū)域421顯示為包括孩子的臉。相機(jī)控制系統(tǒng)302是邊緣保護(hù)的(例如邊緣感知)且能夠區(qū)分目標(biāo)(例如孩子的臉或孩子的皮膚)的紋理與現(xiàn)場(chǎng)場(chǎng)景另一部分的紋理。用戶界面裝置306從用戶410接收在實(shí)時(shí)編輯裝置323上飽和度編輯選項(xiàng)的選擇。實(shí)時(shí)編輯裝置323在用戶界面306顯示滑塊，該滑塊使相機(jī)控制系統(tǒng)302從用戶410處接收飽和度大小的選擇。在該示例中，當(dāng)相機(jī)控制系統(tǒng)302由用戶410處接收點(diǎn)擊手勢(shì)以指令飽和度大小時(shí)，實(shí)時(shí)編輯裝置323由此更新。在另一示例中，實(shí)時(shí)編輯裝置323可被配置以接收沒有可見滑塊的選擇區(qū)域321上的點(diǎn)擊手勢(shì)。
[0069]圖4D是依據(jù)本發(fā)明一實(shí)施例，在圖4C的實(shí)時(shí)編輯后續(xù)操作時(shí)相機(jī)控制系統(tǒng)302的概念圖。當(dāng)相機(jī)控制系統(tǒng)進(jìn)行選擇方面的處理時(shí)，接收有關(guān)飽和度編輯的相機(jī)控制系統(tǒng)302的選擇區(qū)域421 (圖4C)的區(qū)域成為噪聲，如圖4D所示。噪聲區(qū)域424可為相機(jī)控制系統(tǒng)302的有用特征。例如，通過顯示已編輯圖像432，相機(jī)控制系統(tǒng)302可告知用戶依已請(qǐng)求用戶編輯進(jìn)行處理。顯示噪聲的步驟是可選擇步驟，并可能或可能不基于實(shí)施例的相機(jī)控制系統(tǒng)302的特征。例如，相機(jī)控制系統(tǒng)302的處理足夠快，以至于用戶410無需通過顯不噪聲輸出而被告知。
[0070]圖4E是依據(jù)本發(fā)明一實(shí)施例，在圖4D的實(shí)時(shí)編輯后續(xù)操作時(shí)相機(jī)控制系統(tǒng)302的概念圖。在用戶410選擇和編輯后，已編輯和調(diào)整的圖像442顯示在圖4E中。參考圖4B-4D的如上所述，相機(jī)控制系統(tǒng)302在選擇區(qū)域420進(jìn)行處理，通過利用實(shí)時(shí)編輯意識(shí)測(cè)光而編輯選擇區(qū)域420的飽和度。在取景器裝置308的已顯示圖像442大體相同于在用戶410輸入啟動(dòng)快門的請(qǐng)求時(shí)可捕捉到的圖像。顯示圖像442是原本可在后處理步驟中應(yīng)用的轉(zhuǎn)換應(yīng)用的結(jié)果。然而，在本技術(shù)中，相機(jī)控制系統(tǒng)302應(yīng)用關(guān)于現(xiàn)場(chǎng)場(chǎng)景404的相機(jī)實(shí)時(shí)使用時(shí)的轉(zhuǎn)換代替后處理操作時(shí)的轉(zhuǎn)換。該實(shí)時(shí)處理有利于已捕捉圖像更準(zhǔn)確地描繪用戶意圖。
[0071]因此，相機(jī)控制系統(tǒng)302能夠使用戶通過改變外觀指定什么是重要的，包括但不限于，基于點(diǎn)擊輸入的亮度、飽和度、對(duì)比度、色度、色調(diào)、色彩、和/或焦距。相機(jī)控制系統(tǒng)302以交互速率向用戶傳送這些更改的可視化、促使相機(jī)控制程序選擇更好的捕捉參數(shù)(例如，曝光、增益、焦距、白平衡等)，獲得所需的突發(fā)圖像。該處理需要多個(gè)興趣區(qū)域的實(shí)時(shí)追蹤、取景器上編輯的可視化、給定編輯的優(yōu)選突發(fā)捕捉的決定。下面參考圖4和5進(jìn)一步描述，相機(jī)控制系統(tǒng)302提供這些問題中每一個(gè)的解決方案，能夠在桌面和移動(dòng)平臺(tái)上進(jìn)行交互取景器編輯。相機(jī)控制系統(tǒng)302的取景器編輯提高了捕捉參加的選擇，能夠?yàn)橛脩?10提供更吸引人的捕捉經(jīng)驗(yàn)。
[0072]其他構(gòu)架細(xì)節(jié)
[0073]再參見圖3，為了圖像采集，測(cè)光裝置305將來自傳感器(圖未示)的原始圖像數(shù)據(jù)傳入緩存最新幀的數(shù)據(jù)堆棧，這些最新幀可經(jīng)由處理線程合并和處理。相機(jī)控制系統(tǒng)302為用戶界面裝置306的取景器上的顯示內(nèi)部獲取完全曝光或焦距堆棧。否則，省略的、模糊的或曝光不足的區(qū)域可干擾用戶之后的選擇。因此，每幀基礎(chǔ)上更新捕捉參數(shù)如下:相機(jī)控制系統(tǒng)302通過當(dāng)前HDR場(chǎng)景評(píng)估的對(duì)數(shù)亮度通道(1g-1uminancechannel)的直方圖計(jì)算第K幀所需的曝光，去除預(yù)期被第(K-1)幀覆蓋的倉斗(bins)，并測(cè)量剩余倉斗。對(duì)于焦距堆棧(focal stack)，相機(jī)控制系統(tǒng)302從最小到最大焦距迭代固定增量。[0074]對(duì)于取景器裝置308上編輯傳播，測(cè)光裝置305的處理線程提取N個(gè)最近幀(例如，對(duì)于曝光堆棧N=3而對(duì)于焦距堆棧N=4)并將幀合并到HDR幅照度圖。相機(jī)控制系統(tǒng)302可使用本領(lǐng)域技術(shù)人員所熟知的任何公式將LDR圖像合并到HDR圖像。在一實(shí)施方式中，相機(jī)控制系統(tǒng)302可以Logluv格式(例如，LogLuvTIFF)存儲(chǔ)所得場(chǎng)景評(píng)估。使用基于規(guī)范單元的格式是可取的，因?yàn)榛趫D像塊的選擇和編輯對(duì)捕捉參數(shù)的改變有較強(qiáng)的魯棒性。
[0075]掩碼生成裝置304模擬選擇和編輯作為跨越圖像塊描述符的空間的函數(shù)。掩碼生成裝置304計(jì)算跨越場(chǎng)景中每個(gè)圖像塊的這些函數(shù)并生成掩碼，下面參見圖5進(jìn)一步地描述。然后，測(cè)光裝置305將掩碼應(yīng)用于已編碼數(shù)據(jù)(例如，Logluv編輯數(shù)據(jù))，色調(diào)映射所得輸出，并在取景器裝置308上顯示輸出。Logluv是用于以另一圖像格式(例如TIFF)存儲(chǔ)HDR圖像數(shù)據(jù)的編碼。若用戶界面裝置306接收焦距編輯，測(cè)光裝置305可重組來自焦距堆棧的圖像。
[0076]基于所顯示的結(jié)果，測(cè)光裝置305重新計(jì)算曝光和/或焦距值的最佳組合，以下參見圖5進(jìn)行進(jìn)一步地描述。測(cè)光裝置305利用這些參數(shù)來影響相機(jī)捕捉的幀。測(cè)光裝置305通過上述處理管線傳送已捕捉幀并生成一 HDR圖像。測(cè)光裝置305在HDR圖像上進(jìn)行色調(diào)映射以生成取景器裝置308上顯示的最終輸出。
[0077]用戶界面裝置306呈現(xiàn)給用戶看似正常的取景器裝置308。然而，在內(nèi)部，相機(jī)控制系統(tǒng)302定期獲得曝光和/或后端的焦距堆棧。在一實(shí)施例中，參見圖4B所述，用戶通過點(diǎn)擊手勢(shì)選擇區(qū)域。然后，用戶可通過輕擊已選擇區(qū)域外而取消選擇，或者通過輕擊已選擇區(qū)域內(nèi)而確認(rèn)選擇，其觸發(fā)代表各種類型編輯(例如，亮度、飽和度、對(duì)比度、色度等)的圖標(biāo)的重疊。一旦用戶選擇用于已選擇區(qū)域的編輯種類，用戶做出水平向左或向右掃的手勢(shì)變換已指定的特征(例如，變暗或變亮，更清晰或更模糊等)。
[0078]方法概述
[0079]圖5為依據(jù)本發(fā)明一實(shí)施例的控制相機(jī)的方法步驟的流程圖。在一些實(shí)施方式中，方法步驟可由圖3的相機(jī)控制系統(tǒng)302執(zhí)行，該相機(jī)控制裝置包括用戶界面裝置306、掩碼生成裝置304和測(cè)光裝置305。本領(lǐng)域技術(shù)人員將會(huì)理解，方法步驟是不固定的、重復(fù)的、彼此高度依賴的。僅用于說明的目的，以下方法步驟的描述于在用戶界面裝置306任意地開始。然而，在其他示例中，方法步驟的描述可在測(cè)量裝置305或構(gòu)架中其他地方上開始。無論如何，雖然在此結(jié)合圖1-3中系統(tǒng)描述方法步驟，本領(lǐng)域技術(shù)人員將會(huì)理解，為執(zhí)行方法步驟而以任何順序配置的任何系統(tǒng)落入本發(fā)明的范圍之內(nèi)。
[0080]如圖所示，方法500開始于動(dòng)作502，用戶界面裝置306顯示取景器上的圖像(例如，圖3的WYSIWYG取景器308)。例如，啟動(dòng)相機(jī)電源；相機(jī)鏡頭被指向并接收?qǐng)鼍暗某掷m(xù)輸入。因此，圖像包括，至少部分地包括，相機(jī)對(duì)相機(jī)鏡頭所指向場(chǎng)景的演繹(interpretation)。同時(shí),取景器裝置接收來自下面進(jìn)一步描述的動(dòng)作520中測(cè)光裝置305的實(shí)時(shí)輸入。因此，用戶界面裝置306上顯示的圖像是相機(jī)鏡頭捕捉到的幀和來自用戶編輯的幀進(jìn)行處理的幀的組合。以下進(jìn)一步描述其他步驟，輸入的組合是實(shí)時(shí)的并隨場(chǎng)景變化和/或用戶編輯變化而持續(xù)變化的。
[0081]在決定操作504中，用戶界面裝置504決定是否接收啟動(dòng)快門的請(qǐng)求。如果是，在動(dòng)作506中，用戶界面裝置306向適當(dāng)?shù)牟考l(fā)送請(qǐng)求以啟動(dòng)快門。然后，相機(jī)控制系統(tǒng)302啟動(dòng)快門并捕捉顯示在用戶界面裝置504的WYSIWYG取景器上的最終圖像。
[0082]然而，在決定操作504中，如果用戶界面裝置306確定沒有啟動(dòng)快門的請(qǐng)求，方法500移動(dòng)到?jīng)Q定操作508，在此用戶界面裝置306確定是否接收用戶編輯。如果不是，然后方法500結(jié)束，并可返回到開始以繼續(xù)。
[0083]然而，在決定操作508中，如果用戶界面裝置306確定接收用戶編輯，然后方法500移動(dòng)到動(dòng)作510，在此用戶界面裝置306接收用戶編輯。例如，用戶通過選擇區(qū)域和/或全部取景器傳達(dá)用戶意圖，通過亂涂手勢(shì)進(jìn)行編輯(例如，更亮或更暗，轉(zhuǎn)變色彩，改變飽和度和對(duì)比度等)。
[0084]在動(dòng)作511中，用戶界面裝置306 —個(gè)或多個(gè)用戶編輯到掩碼生成裝置304。
[0085]在動(dòng)作512中，掩碼生成裝置304依據(jù)一個(gè)或多個(gè)用戶編輯對(duì)選擇區(qū)域的圖像塊進(jìn)行分類。例如，掩碼生成裝置304開始將選擇區(qū)域轉(zhuǎn)換到數(shù)據(jù)格式(例如圖像塊)的處理，相機(jī)控制系統(tǒng)可匹配多個(gè)格式。同時(shí)，掩碼生成裝置304接收來自下面進(jìn)一步描述的動(dòng)作526中測(cè)光裝置305的反饋。
[0086]在動(dòng)作514中，掩碼生成裝置304指定稀疏編輯掩碼。例如，掩碼生成裝置304使圖像塊被匹配到后續(xù)取景器幀中，從而手勢(shì)保持持久。獲得于多個(gè)取景器幀匹配圖像塊，可通過匹配看起來很象的圖像(例如，匹配每個(gè)8X8像素紋理包或任何尺寸紋理包)。每個(gè)包包括選擇區(qū)域像素的子集。每當(dāng)用戶在包上亂涂以選擇包或應(yīng)用編輯時(shí)，相機(jī)控制系統(tǒng)更新已顯示圖像以反映改變。通過匹配每個(gè)取景器幀中的包以推斷出編輯的選擇和應(yīng)用得以傳播。
[0087]在動(dòng)作516中，掩碼生成裝置304進(jìn)行編輯掩碼上的邊緣感知映射(edge-awareup-sampling)o上述邊緣感知平滑在與指定編輯相關(guān)的部分。
[0088]在動(dòng)作518中，掩碼生成裝置518產(chǎn)生測(cè)光裝置305使用的編輯掩碼?？紤]編輯掩碼。
[0089]在動(dòng)作520中，測(cè)光裝置305進(jìn)行色調(diào)映射操作520。同時(shí)，在動(dòng)作522中，測(cè)光裝置350進(jìn)行測(cè)光操作?；诰庉嬔诖a和色調(diào)映射HDR圖像，測(cè)光裝置305產(chǎn)生最大化HDR圖像的顯示外觀質(zhì)量的測(cè)光參數(shù)(例如，曝光時(shí)間等)。例如，測(cè)光裝置305基于編輯掩碼和色調(diào)映射HDR圖像量化測(cè)光需求，對(duì)色調(diào)映射HDR圖像進(jìn)行測(cè)光以計(jì)算測(cè)光參數(shù)，并向相機(jī)提供測(cè)光參數(shù)，該測(cè)光參數(shù)影響幀捕捉操作并從而最大化已捕捉的HDR圖像的外觀用于顯示(例如，顯示事后編輯(post-edits))。
[0090]例如，配置測(cè)光裝置305以響應(yīng)用戶編輯，例如，通過引入包括等級(jí)(例如，曝光等級(jí)和/或焦距等級(jí))的已測(cè)光輸出以一致于用戶編輯所隱含的限制。測(cè)光裝置305分析色調(diào)映射的HDR圖像并編輯掩碼以確定測(cè)光參數(shù)。然后，測(cè)光裝置305選擇所請(qǐng)求的下一取景器幀的捕捉參數(shù)。依據(jù)編輯的類型和范圍(extent)，一定的亮度和/或深度范圍對(duì)捕捉可能或多或少地重要，放松或緊縮對(duì)調(diào)節(jié)裝置305的算法的限制。測(cè)光裝置305將顯示的測(cè)光饋送回測(cè)光裝置305以影響已捕捉幀。
[0091]在動(dòng)作524中，測(cè)光裝置305捕捉現(xiàn)場(chǎng)場(chǎng)景的幀。在圖5的示例中，測(cè)光裝置305捕捉幀具有預(yù)定數(shù)目幀的滑動(dòng)窗口 530幀?；瑒?dòng)窗口 530包括在一個(gè)時(shí)間的三個(gè)幀的次序。例如，在時(shí)間tk-Ι，滑動(dòng)窗口包括相鄰幀的次序，相鄰幀包括幀N-5、幀N-4和幀N-3。在時(shí)間tk，滑動(dòng)窗口包括相鄰幀的次序，相鄰幀包括幀N-2、幀N-1和幀N，等等?；瑒?dòng)窗口的尺寸可受用戶編輯影響。例如，在動(dòng)作518中生成的編輯掩碼可影響滑動(dòng)窗口的尺寸。例如，如果相機(jī)控制系統(tǒng)302接收用戶的輸入以照亮場(chǎng)景的亮度非?；璋档倪x擇，然后編輯可需要更長(zhǎng)曝光和/或更高增益的額外鏡頭(例如，滑動(dòng)窗口 530的額外幀)以恢復(fù)此選擇區(qū)域的數(shù)據(jù)。該用戶編輯影響可接受信噪比(SNR)的水平，該信噪比直接關(guān)系到曝光和/或增益的最佳選擇。
[0092]在動(dòng)作526中，測(cè)光裝置305產(chǎn)生一 HDR圖像。例如，測(cè)光裝置305混合、排列、和/或合并滑動(dòng)窗口的幀，以產(chǎn)生高動(dòng)態(tài)范圍(HDR)圖像的估計(jì)值。在另一示例中(圖未示)，相機(jī)系統(tǒng)包括直接捕捉HDR幀的相機(jī)傳感器。在該情況下，測(cè)光裝置305無需混合如圖5所示的多個(gè)幀。通常，測(cè)光裝置305需要產(chǎn)生一 HDR圖像。測(cè)光裝置305產(chǎn)生HDR圖的特定方式通過不那么重要。
[0093]再參見動(dòng)作520，測(cè)光裝置305組合編輯掩碼和HDR圖像以進(jìn)行色調(diào)映射操作。然后，測(cè)光裝置305提供用于顯示在用戶界面裝置306的取景器裝置上的已編輯和已調(diào)整圖像。例如，相機(jī)控制系統(tǒng)寫入紋理異步的用戶界面裝置306的用戶編輯，掩碼生成裝置304的選擇掩碼，測(cè)光裝置305的場(chǎng)景幅照度估計(jì)值。
[0094]返回動(dòng)作502，用戶界面裝置306顯示由測(cè)光裝置305接收的已編輯和已調(diào)整圖像。例如，前端應(yīng)用(例如，安卓(Android)用戶界面)組成最終圖像,然后呈示最終顯示。如上所述，方法500的動(dòng)作是反復(fù)的。因此，隨著相機(jī)控制系統(tǒng)接收用戶編輯、接收?qǐng)鼍白兓⒑?或接收相機(jī)移動(dòng)等其他輸入，相機(jī)控制系統(tǒng)定期地更新已顯示圖像。
[0095]方法500可包括其他動(dòng)作和/或在該方法概述中未討論的細(xì)節(jié)。例如，方法500可應(yīng)用于視頻和靜止圖像。與視頻的區(qū)別在于快門的啟動(dòng)使得相機(jī)捕捉一段時(shí)間的一系列圖像，與一時(shí)間瞬間的靜止圖像相反。對(duì)于視頻，不會(huì)造成不良時(shí)間效應(yīng)的對(duì)捕捉參數(shù)的準(zhǔn)確控制甚至更有挑戰(zhàn)(例如，曝光設(shè)置太急劇的變化使人察覺到閃爍)。作為另一示例，至少一些方法步驟可通過使用圖1和2的并行處理子系統(tǒng)112執(zhí)行；由于速度和具有最佳用戶體驗(yàn)的原因而并行一些方法步驟，對(duì)于相機(jī)控制系統(tǒng)可能`是可取的。依據(jù)實(shí)施方式，其他動(dòng)作和/或本文描述的細(xì)節(jié)可為方法500的一部分。本領(lǐng)域技術(shù)人員可以理解，用以按任何順序執(zhí)行方法步驟的任何系統(tǒng)都落入本發(fā)明的范圍。
[0096]其他取景器編輯細(xì)節(jié)
[0097]在取景器裝置308的圖像編輯必須暫時(shí)容納通過稀疏用戶輸入的目標(biāo)持續(xù)選擇。同時(shí)，相機(jī)控制系統(tǒng)302處理未依賴于預(yù)處理或培訓(xùn)昂貴的分類器而獨(dú)立地處理每個(gè)取景器中貞。
[0098]借鑒在圖像序列的親和基編輯傳播的傳統(tǒng)工作，相機(jī)控制系統(tǒng)302模擬編輯和選擇為居于本地塊描述符空間的函數(shù):
[0099]
[S,: Mn — [—1.1j⑴
[0100]其中，η (例如8)是塊描述符的維數(shù)，S1, S2,...等等的每一個(gè)對(duì)應(yīng)一特別種類的編輯，例如色調(diào)、色彩、飽和度、模糊度等。O值對(duì)應(yīng)沒有編輯。相機(jī)控制系統(tǒng)302將
Sq ", W1 [O, I〗存儲(chǔ)為軟選擇掩碼。
[0101]在一示例中，相機(jī)控制系統(tǒng)302可使用基于8像素χ8像素圖像塊的8維描述符(例如n=8)，由平均數(shù)和對(duì)數(shù)亮度通道的第一階、第二階導(dǎo)數(shù)構(gòu)成，加上平均CIELUV色度(chrominance) (CIELUV是在1976年的國際照明委員會(huì)(CIE)采用的色彩空間)。為決定使用哪個(gè)特征，相機(jī)控制系統(tǒng)302對(duì)一組通用圖像塊進(jìn)行主要分量分析(PCA)。已發(fā)現(xiàn)的最強(qiáng)的PCA分量與塊平均數(shù)類似，而通過對(duì)數(shù)亮度的導(dǎo)數(shù)可合理地估計(jì)出下一分量，等等。請(qǐng)注意的是離開先前工作，相機(jī)控制系統(tǒng)302下降從描述符的(X，y)坐標(biāo)，以便強(qiáng)烈地抵制場(chǎng)景和相機(jī)運(yùn)動(dòng)。
[0102]現(xiàn)有方法試圖基于用戶提供示例全局優(yōu)化或插值反，作為結(jié)果，估算大小的成本與用戶已經(jīng)進(jìn)行編輯的數(shù)目和范圍呈線性比例。取而代之的是，相機(jī)控制系統(tǒng)302存儲(chǔ)
于稀疏數(shù)據(jù)結(jié)構(gòu)，并把該問題作為查找問題。因此，遞增地更新.?具有O (I)代價(jià)。
[0103]因?yàn)橄鄼C(jī)控制系統(tǒng)302放棄明確的優(yōu)化或插值動(dòng)作，編輯不會(huì)象用其他方法那樣過分地傳播。然而，該問題通過兩種方式減輕。第一，相機(jī)控制系統(tǒng)302應(yīng)用邊緣感知平滑于Si,關(guān)于產(chǎn)生取景器幀時(shí)的場(chǎng)景圖像。第二、因?yàn)樵谙鄼C(jī)控制系統(tǒng)接收用戶點(diǎn)擊時(shí)相機(jī)控制系統(tǒng)交互地發(fā)送反饋，控制傳播對(duì)用戶是簡(jiǎn)易的和直觀的。例如，用戶交互地描述(例如提供點(diǎn)擊給)Si。
[0104]取景器編輯:體現(xiàn)編輯
[0105]為存儲(chǔ)萬，相機(jī)控制系統(tǒng)302適用公知的permutohedral點(diǎn)陣，其將高維空間與單
形聯(lián)系起來并在頂點(diǎn)存儲(chǔ)示例。相機(jī)控制系統(tǒng)302利用點(diǎn)陣執(zhí)行插值與查找的重心插值，其順帶地用作當(dāng)?shù)貍鞑ヒ汛鎯?chǔ)數(shù)據(jù)。而點(diǎn)陣可用于支持高維濾波算法，相機(jī)控制系統(tǒng)302可用點(diǎn)陣十分有效地涵蓋(house)高維函數(shù)。
[0106]代替以給定圖像存在的所有包初始化點(diǎn)陣，為處理高維濾波，相機(jī)控制系統(tǒng)302采用流媒體的方式:當(dāng)用戶輕點(diǎn)屏幕并選擇包(例如選擇區(qū)域420)時(shí)，相機(jī)控制系統(tǒng)302只定位與這些包相應(yīng)的那些頂點(diǎn)并更新其值。請(qǐng)注意，未選擇的包永遠(yuǎn)不會(huì)寫入點(diǎn)陣。如果`在任何點(diǎn)的包查找失敗，默認(rèn)值假設(shè)為§i。
[0107]為進(jìn)一步支持流媒體編輯，相機(jī)控制系統(tǒng)302可使用衰減方案擴(kuò)大點(diǎn)陣，該衰減方案類似于用于常用視頻濾波算法的方案。相機(jī)控制系統(tǒng)302聯(lián)系相機(jī)控制系統(tǒng)302每次增加相機(jī)控制系統(tǒng)訪問頂點(diǎn)的感知重要性測(cè)量的每個(gè)頂點(diǎn)，并隨時(shí)間推移呈指數(shù)衰減。因此，保留在取景器的圖像包將具有高重要性，而從視野消失很長(zhǎng)時(shí)間的包將具有低重要性。相機(jī)控制系統(tǒng)302跟蹤每個(gè)頂點(diǎn)最后更新的時(shí)間。每當(dāng)頂點(diǎn)被設(shè)訪問而進(jìn)行讀寫時(shí)，相機(jī)控制系統(tǒng)302相應(yīng)地衰減頂點(diǎn)重要性。當(dāng)點(diǎn)陣在最大程序時(shí)必須插值新的頂點(diǎn)，相機(jī)控制系統(tǒng)302檢查與散列碰撞(hashcollision)的節(jié)點(diǎn)并驅(qū)逐最低重要性的頂點(diǎn)。
[0108]取景器編輯:指定編輯
[0109]參考圖4A-4E以上所述，相機(jī)控制系統(tǒng)302被配置以指定編輯。相機(jī)控制系統(tǒng)接收興趣區(qū)域的敲擊和接收選擇的確認(rèn)(例如輕敲或鼠標(biāo)點(diǎn)擊已選擇區(qū)域)。然后，相機(jī)控制系統(tǒng)302呈現(xiàn)給用戶列出各種支持的編輯的小窗口(例如實(shí)時(shí)編輯器裝置)，相機(jī)控制系統(tǒng)302接收用戶選擇的選取(例如輕拍)。接下來，相機(jī)控制系統(tǒng)302接收指定編輯大小和方向的輸入(例如用戶水平向左或向右掃)。指定編輯的所有動(dòng)作是交互的。例如，當(dāng)用戶移動(dòng)屏幕上的手指(或方式，鼠標(biāo)指針等)時(shí)，相機(jī)控制系統(tǒng)302執(zhí)行后端處理并于取景器上描述的已更新編輯。
[0110]對(duì)于塊選擇(例如選擇區(qū)域420)，當(dāng)用戶敲擊正在登記時(shí)，相機(jī)控制系統(tǒng)302將具有與事件起源小固定距離中心的圖像塊轉(zhuǎn)換為描述符，并從點(diǎn)陣(例如上述permutohedral點(diǎn)陣)查找描述符。如果不存在相應(yīng)節(jié)點(diǎn)，相機(jī)控制系統(tǒng)302生成并初始化相應(yīng)節(jié)點(diǎn)。相機(jī)控制系統(tǒng)302增加這些節(jié)點(diǎn)的Stl值。因此，應(yīng)用選擇的代價(jià)是0(1)，獨(dú)立于取景器維度和編輯歷史。
[0111]為每個(gè)取景器幀的取景器裝置308上的可視化，相機(jī)控制裝置302將包含于幀中的圖像塊轉(zhuǎn)換成描述符，并搜索點(diǎn)陣上每個(gè)描述符的相關(guān)編輯。如果用戶是在第三階段并當(dāng)前應(yīng)用范圍k的j類型編輯，然后為相機(jī)控制系統(tǒng)302的每個(gè)描述符包/X.調(diào)整如下:
【權(quán)利要求】
1.一種使能相機(jī)控制的用戶界面方法，該方法包括: 在所述相機(jī)的用戶界面裝置上顯示色調(diào)映射高動(dòng)態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個(gè)像素，且其中色調(diào)映射HDR圖像包括所述相機(jī)的相機(jī)鏡頭所指向的場(chǎng)景的演繹； 經(jīng)由與所述用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯； 發(fā)送所述用戶編輯給所述相機(jī)的一個(gè)或多個(gè)后端裝置以實(shí)施基于所述用戶編輯的處理操作； 從所述一個(gè)或多個(gè)后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新的色調(diào)映射HDR圖像是從基于所述用戶編輯而實(shí)施的處理操作產(chǎn)生；以及 當(dāng)所述相機(jī)鏡頭繼續(xù)捕捉該場(chǎng)景的幀以供所述一個(gè)或多個(gè)后端裝置實(shí)施迭代地影響所述已更新色調(diào)映射HDR圖像的操作時(shí)，在所述用戶界面顯示所述已更新的色調(diào)映射HDR圖像。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括，響應(yīng)于經(jīng)由所述輸入裝置接收用戶輸入，在用戶界面裝置上顯示選擇區(qū)域，其中該選擇區(qū)域由包含于所述多個(gè)像素的一個(gè)或多個(gè)像素定義。
3.如權(quán)利要求2所述的方法，其中所述一個(gè)或多個(gè)后端裝置實(shí)施動(dòng)作，包括: 通過用戶界面裝置接收用戶編輯，該用戶界面裝置顯示所述相機(jī)的相機(jī)鏡頭所指向場(chǎng)景的演繹，其中用戶編輯是基于用戶輸入，該用戶輸入與所述用戶界面裝置上的一選擇區(qū)域關(guān)聯(lián)；以及 基于一個(gè)或多個(gè)匹配圖像塊生成編`輯掩碼，所述匹配圖像炔基于所述用戶編輯和由所述相機(jī)生成的高動(dòng)態(tài)范圍(HDR)圖像。
4.如權(quán)利要求3所述的方法，其中所述后端裝置實(shí)施進(jìn)一步動(dòng)作，包括: 基于所述編輯掩碼和HDR圖像實(shí)施一個(gè)或多個(gè)色調(diào)映射操作以產(chǎn)生色調(diào)映射HDR圖像；以及 基于所述編輯掩碼和色調(diào)映射HDR圖像實(shí)施一個(gè)或多個(gè)測(cè)光操作以計(jì)算幀捕捉操作的測(cè)光參數(shù)。
5.如權(quán)利要求3所述的方法，其中所述一個(gè)或多個(gè)圖像塊被配置用于通過利用圖像塊而匹配目標(biāo)紋理，該圖像塊包括所述選擇區(qū)域內(nèi)所含有的像素子集。
6.如權(quán)利要求2所述的方法，進(jìn)一步包括: 在所述用戶界面裝置上顯示實(shí)時(shí)編輯器，該實(shí)時(shí)編輯器包括允許用戶選擇特定編輯選項(xiàng)的編輯選項(xiàng)；以及 經(jīng)由該實(shí)時(shí)編輯器接收用戶編輯，并且作為響應(yīng)，初始化與所述選擇區(qū)域關(guān)聯(lián)的一個(gè)或多個(gè)后端處理操作。
7.如權(quán)利要求2所述的方法，進(jìn)一步包括:在所述用戶界面裝置上顯示實(shí)時(shí)編輯器，該實(shí)時(shí)編輯器包括用于接收用戶輸入的編輯選項(xiàng)，該用戶輸入指示對(duì)于亮度、飽和度、對(duì)比度、色度、白平衡、色彩、色調(diào)、焦距、曝光或增益至少之一的變化大小。
8.如權(quán)利要求2所述的方法，其中所述一個(gè)或多個(gè)后端裝置實(shí)施動(dòng)作，包括: 經(jīng)由所述用戶界面裝置接收用戶編輯，該用戶界面裝置顯示所述相機(jī)的相機(jī)鏡頭所指向場(chǎng)景的演繹，其中所述用戶編輯是基于用戶輸入，該用戶輸入與所述用戶界面裝置的一選擇區(qū)域關(guān)聯(lián)；以及 相對(duì)于該場(chǎng)景的一個(gè)或多個(gè)其他區(qū)域調(diào)整所述選擇區(qū)域上的焦距。
9.如權(quán)利要求8所述的方法，其中調(diào)整所述選擇區(qū)域上的焦距包括量化至少所述選擇區(qū)域的像素的每像素對(duì)焦需求。
10.一種使能相機(jī)控制的用戶界面裝置，該用戶界面裝置包括: 取景器裝置，其被配置以在所述相機(jī)的用戶界面裝置上顯示色調(diào)映射高動(dòng)態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個(gè)像素，其中色調(diào)映射HDR圖像包括所述相機(jī)的相機(jī)鏡頭所指向的場(chǎng)景的演繹； 編輯器裝置，其被配置以經(jīng)由與所述用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯、并發(fā)送該用戶編輯給所述相機(jī)的一個(gè)或多個(gè)后端裝置以實(shí)施基于所述用戶編輯的處理操作，其中所述取景器裝置被進(jìn)一步配置以從所述一個(gè)或多個(gè)后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新的色調(diào)映射HDR圖像產(chǎn)生自基于所述用戶編輯而實(shí)施的處理操作；以及，當(dāng)所 述相機(jī)鏡頭繼續(xù)捕捉該場(chǎng)景的幀以供所述一個(gè)或多個(gè)后端裝置實(shí)施迭代地影響所述已更新色調(diào)映射HDR圖像的操作時(shí)，在所述用戶界面顯示所述已更新的色調(diào)映射HDR圖像。
【文檔編號(hào)】H04N5/232GK103888669SQ201310718796
【公開日】2014年6月25日 申請(qǐng)日期:2013年12月23日 優(yōu)先權(quán)日:2012年12月21日
【發(fā)明者】戴維德·斯坦尼斯瓦夫·帕榮克, 白種民, 卡里·皮利 申請(qǐng)人:輝達(dá)公司