專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過鏡頭系統(tǒng)來電子捕捉圖像的成像裝置。
背景技術(shù)：
在照相術(shù)中，利用景深效應(yīng)的散景技術(shù)或模糊技術(shù)通常用來使背景和/或前景景象變模糊，所述背景和/或前景景象不包含被對焦的主體。然而，當(dāng)焦距減小時(shí)景深加深，因此在具有相對較小的圖像傳感器的小型數(shù)字照相機(jī)中散景效應(yīng)無效，因?yàn)檫@種照相機(jī)要求短焦距。對于以上問題，提出了以下方法確定被捕捉圖像的對焦區(qū)域和離焦區(qū)域，以便通過對離焦區(qū)域內(nèi)的圖像施加模糊處理來形成人工散景效應(yīng)。在該方法中，將被捕捉圖像劃分成多個(gè)區(qū)域，并且通過估計(jì)每一個(gè)區(qū)域中的空間頻率來確定對焦區(qū)域和離焦區(qū)域。即，將 空間頻率高的區(qū)域確定為對焦區(qū)域，并且將空間頻率低的區(qū)域確定為離焦區(qū)域。該確定基于以下事實(shí)，即對焦區(qū)域通常具有高反差(參考美國專利7，454，134)。

發(fā)明內(nèi)容
然而，圖像的空間頻率還取決于主體的結(jié)構(gòu)，因此圖像的空間頻率高并不總意味著圖像焦點(diǎn)對準(zhǔn)。例如，森林、瓦屋頂?shù)鹊膱D像原本就具有高頻率。另一方面，當(dāng)考慮諸如人的皮膚的主體時(shí)，即使圖像對焦，空間頻率可能仍低于離焦區(qū)域的空間頻率。因此，為了獲得適當(dāng)?shù)娜斯ど⒕靶?yīng)，優(yōu)選地，可以基于在構(gòu)成圖像的各個(gè)區(qū)域中在光學(xué)方向上照相機(jī)鏡頭至對象的距離來執(zhí)行模糊處理。因此，本發(fā)明的一方面提供依賴于至主體的距離的圖像處理效果。根據(jù)本發(fā)明，提供一種圖像處理裝置，其包括主圖像指定器和圖像處理器。所述主圖像指定器指定圖像中的主體。對所述圖像進(jìn)行圖像處理，所述圖像處理取決于從照相機(jī)或照相機(jī)鏡頭開始的主體的拍攝距離，并且由所述圖像處理器執(zhí)行。此外，提供了包括所述主圖像指定器和所述圖像處理器的數(shù)字照相機(jī)。此外，提供了圖像處理方法，其包括指定圖像中的主體；以及執(zhí)行圖像處理，所述圖像處理取決于至圖像主體的距離。此外，提供了包含用于控制計(jì)算機(jī)以執(zhí)行上述圖像處理方法的指令的計(jì)算機(jī)可讀介質(zhì)。


參考附圖，根據(jù)以下描述來更好地理解本發(fā)明的目的和優(yōu)點(diǎn)，其中圖I是示出第一實(shí)施例的數(shù)字照相機(jī)的結(jié)構(gòu)的框圖；圖2是在散景控制模式下重復(fù)執(zhí)行的中斷處理的流程圖；圖3A和圖3B是距離映射制備處理的流程圖；圖4a_圖4e示意性示出了創(chuàng)建反差映射的方式；
圖5示意性示出了從反差映射搜索反差值的方式；圖6示意性示出了反差映射碼與反差值之間的關(guān)系；圖7是概念上的示意性距離映射的示例；圖8是第一實(shí)施例中的掩模制備處理的流程圖；圖9是在將圖7中的反差映射碼“8”指定為主體時(shí)的掩模示例；圖10是在將圖7中的反差映射碼“13”指定為主體時(shí)的掩模示例；圖11是在將圖7中的反差映射碼“20”指定為主體時(shí)的示例； 圖12是替代實(shí)施例中在散景控制模式下執(zhí)行的中斷處理的流程圖；圖13示意性示出了表示分配給每一個(gè)距離的塊的頻率的直方圖的示例；圖14示出了在近距離模式下散景控制處理的模糊強(qiáng)度的變化；圖15示出了在遠(yuǎn)距離模式下散景控制處理的模糊強(qiáng)度的變化；圖16示意性示出了在近距離模式下直方圖與散景控制處理之間的關(guān)系；圖17示意性示出了在近距離模式下所捕捉的圖像的示例；圖18示意性示出了在遠(yuǎn)距離模式下直方圖與散景控制處理之間的關(guān)系；圖19示意性示出了在遠(yuǎn)距離模式下所捕捉的圖像的示例；以及圖20是第二實(shí)施例中的掩模制備處理的流程圖。
具體實(shí)施例方式下面，參考圖中所示的實(shí)施例來描述本發(fā)明。圖I是示意性示出應(yīng)用了本發(fā)明的第一實(shí)施例的數(shù)字照相機(jī)的總體結(jié)構(gòu)的框圖。第一實(shí)施例以小型照相機(jī)作為示例進(jìn)行說明，但該數(shù)字照相機(jī)還應(yīng)用于在包括小型照相機(jī)、便攜式電話等各種小型電子裝置中所實(shí)現(xiàn)的照相機(jī)單元。在數(shù)字照相機(jī)10中，圖像傳感器12捕捉由拍攝鏡頭11生成的對象圖像。圖像傳感器12由圖像傳感器驅(qū)動(dòng)器13驅(qū)動(dòng)，根據(jù)來自控制器14的指令對所述圖像傳感器驅(qū)動(dòng)器13進(jìn)行控制。將由圖像傳感器12捕捉的圖像供給控制器14，并且進(jìn)行各種數(shù)字圖像處理，然后暫時(shí)存儲在圖像存儲器15中。當(dāng)用戶需要時(shí)，存儲在圖像存儲器15中的圖像還可以進(jìn)一步記錄在記錄介質(zhì)16中。由圖像傳感器12捕捉的圖像或存儲在圖像存儲器15或記錄介質(zhì)16中的圖像可以顯示在監(jiān)視器17上，如IXD等上。拍攝鏡頭11由鏡頭驅(qū)動(dòng)器18驅(qū)動(dòng)，并且可變光闌(iris) 19由可變光闌驅(qū)動(dòng)器20驅(qū)動(dòng)。采用反差檢測自動(dòng)聚焦裝置，以使控制器14參考由圖像傳感器12捕捉的圖像的反差來控制鏡頭驅(qū)動(dòng)器18，并且根據(jù)光度值來控制可變光闌驅(qū)動(dòng)器20。此外，數(shù)字照相機(jī)10設(shè)置有開關(guān)組21，包括釋放開關(guān)、光度開關(guān)、用于選擇功能或模式的撥盤開關(guān)、四路控制器開關(guān)，等等，其中每一個(gè)開關(guān)均連接至控制器14。將參考圖I以及圖2的流程圖來說明第一實(shí)施例的散景或模糊控制處理。圖2的流程圖表示當(dāng)選擇散景控制模式時(shí)由控制器14重復(fù)執(zhí)行的中斷處理。注意，散景控制模式通過用戶操作預(yù)定的開關(guān)來選擇。在步驟SlOO中，判斷釋放按鈕(未示出)是否半壓下，以及光度開關(guān)SI是否處于開(ON)狀態(tài)。當(dāng)判斷出光度開關(guān)SI未處于開狀態(tài)時(shí)，換句話說，釋放按鈕沒有半壓下時(shí)，立即結(jié)束中斷處理，并且在執(zhí)行完其它處理之后重新執(zhí)行中斷處理。然而，當(dāng)在步驟SlOO中判斷出光度開關(guān)SI處于開位置時(shí)，鏡頭驅(qū)動(dòng)器18驅(qū)動(dòng)拍攝鏡頭11并且通過預(yù)定數(shù)量的步驟將對焦距離從最近距離移動(dòng)至最遠(yuǎn)距離(如，無限遠(yuǎn))，以便將鏡頭設(shè)置在多個(gè)位置處。在每一個(gè)位置處捕捉一個(gè)圖像，以將Np (Np :位置數(shù)量)個(gè)鏡后測光(through-the-lens)圖像(副圖像)存儲在圖像存儲器15中。注意，步驟S102中的處理在短時(shí)間內(nèi)執(zhí)行，以便該處理期間內(nèi)捕捉的Np個(gè)圖像可以被記錄為以相同的方向和相同的視角但在不同的距離上聚焦的從相同位置獲取的同一對象的拍攝。在步驟S104中，利用已知的反差檢測自動(dòng)聚焦裝置，通過鏡頭驅(qū)動(dòng)器18將拍攝鏡頭11移動(dòng)至對焦位置。在步驟S106中，判斷光度開關(guān)是否處于開狀態(tài)，即釋放按鈕(未示出)是否保持在半壓下位置。如果判斷出釋放按鈕沒有保持在半壓下位置，則結(jié)束中斷處理，并且在執(zhí)行完其它處理之后重復(fù)中斷處理。當(dāng)光度開關(guān)SI保持開狀態(tài)時(shí)，在步驟S108中判斷釋放開關(guān)S2是否處于開狀態(tài)。如果釋放開關(guān)S2沒有打開，則該方法返回步驟106并且重復(fù)相同的判斷。另一方面，當(dāng)釋放開關(guān)S2處于開狀態(tài)時(shí)，在步驟SllO中圖像傳感器12執(zhí)行圖像捕捉操作以捕捉記錄圖像(主圖像)，即待記錄的圖像。此外，在步驟S112中，對記錄圖像的RAW數(shù)據(jù)施加顯影處理。 注意，在步驟SllO中捕捉的記錄圖像也被認(rèn)為是與在步驟S102中捕捉的Np個(gè)圖像一樣的，以相同方向和相同視角從相同位置拍攝的同一對象的圖像。在步驟SI 14中，執(zhí)行距離映射制備處理，該距離映射制備處理使用在步驟S102中存儲在圖像存儲器15中的鏡后測光圖像(副圖像)。該距離映射是為構(gòu)成記錄圖像(或鏡后測光圖像)的每一個(gè)區(qū)域(塊)中的對象分配距離信息的數(shù)據(jù)的映射。映射制備處理的細(xì)節(jié)將在后文中描述。在步驟SI 16中，參考在步驟SI 14中制備的距離映射執(zhí)行掩模制備處理(將在后文中詳細(xì)描述)，所述掩模制備處理制備掩模以便對記錄圖像(主圖像)中除主體區(qū)域以外的所有區(qū)域施加模糊控制處理。在步驟S118中，對已經(jīng)被遮掩的記錄圖像施加散景控制處理，以便生成新合成記錄圖像(新合成主圖像)。在步驟S120中，將新合成記錄圖像記錄在記錄介質(zhì)16中，這將結(jié)束該散景控制模式下的中斷處理。注意，記錄圖像(主圖像)可以在不進(jìn)行散景控制處理的情形下來記錄，并且可以構(gòu)造成與對應(yīng)的距離映射一起記錄在記錄介質(zhì)16中，以便之后可以參考距離映射執(zhí)行散景控制處理或其它圖像處理。在該情形下，記錄圖像(主圖像)數(shù)據(jù)和距離映射數(shù)據(jù)可以存儲在分開的文件中或者一起保存在相同的文件中。當(dāng)它們存儲在分開的文件中時(shí)，可以使用記錄在頭文件中的文件名或信息進(jìn)行分開的文件之間的對應(yīng)。圖3A和圖3B是發(fā)生在圖2的步驟S114中的距離映射制備處理的流程圖。此外，圖5至圖8表示在圖3和圖4a-圖4e中執(zhí)行的處理。將參考圖3到圖8說明第一實(shí)施例的距離映射制備處理。在距離映射制備處理中，在步驟S200中通過將可能包括高通濾波器和差分濾波器的邊緣輪廓提取處理施加至存儲在圖像存儲器15中的每一個(gè)鏡后測光圖像(副圖像)(在圖2的步驟S 102中存儲的圖像)來提取或增強(qiáng)外形或邊緣輪廓分量。此處，圖4a表示尚未提取外形(邊緣輪廓)分量的鏡后測光圖像的示例。圖4b表示對圖4a所示的圖像施加邊緣輪廓提取處理之后的鏡后測光圖像的示例。在步驟S202中，如圖4c中的示例所示,將已經(jīng)提取過外形(邊緣輪廓)分量的圖像(圖4b)劃分成M*N個(gè)塊(區(qū)域)。此處，N表示豎直方向上塊的數(shù)量，進(jìn)而比鏡后測光圖像(副圖像)在豎直方向上的像素?cái)?shù)量少。此外，M表示水平方向上塊的數(shù)量，進(jìn)而比鏡后測光圖像在水平方向上的像素?cái)?shù)量少。注意，在第一實(shí)施例中，單個(gè)像素也可以構(gòu)成塊。在步驟S204中，為每一個(gè)塊計(jì)算外形(邊緣輪廓)分量的和。S卩，計(jì)算每一個(gè)塊內(nèi)的像素值和，作為已經(jīng)提取過外形分量的圖像(圖4b)的反差值(用于估計(jì)反差度的值)。在步驟S206中，將針對每一塊計(jì)算出的反差值存儲在大小為M*N的緩沖存儲器(未示出)中，作為每一個(gè)鏡后測光圖像(副圖像)的反差映射(用于估計(jì)反差度的映射)。圖4d示意性示出了與圖4c所示塊對應(yīng)的反差映射的示例。在圖4d中,塊越亮表示反差值越高。在步驟S208中，判斷上述處理(S200至S206)是否已經(jīng)施加至所有的Np個(gè)鏡后測光圖像(副圖像)，所述所有的Np個(gè)鏡后測光圖像(副圖像)存儲在圖像存儲器15中。當(dāng)判斷出沒有對所有的鏡后測光圖像執(zhí)行上述處理時(shí)，該方法返回至步驟S200并且對沒有被處理的鏡后測光圖像執(zhí)行步驟S200至步驟S206的處理。另一方面，當(dāng)在步驟S208中判斷出已經(jīng)對存儲在圖像存儲器15中的所有Np個(gè)鏡 后測光圖像執(zhí)行了步驟S200至S206的處理時(shí)，該方法轉(zhuǎn)入步驟S210，并且將Np個(gè)鏡后測光圖像的Np個(gè)反差映射存儲在緩沖存儲器中，如圖4e所示。如圖5示意性所示，對于每一個(gè)塊，參考Np個(gè)反差映射的每一個(gè)來獲取距離映射。在步驟S210中，在存儲器中預(yù)留M*N個(gè)塊的陣列，以保存距離映射。在步驟S212中，在M*N個(gè)塊中設(shè)定將接受距離檢測處理的初始目標(biāo)塊。例如，當(dāng)Np個(gè)反差映射中的每一個(gè)反差映射中的M*N個(gè)塊的位置由坐標(biāo)(i，j )標(biāo)識時(shí)，其中以圖5中的映射的左上方位置作為原點(diǎn)，“i”表示第i行并且“j”表示第j列，距離檢測處理從坐標(biāo)為i=l和j = I的塊開始。注意，在該過程中，目標(biāo)塊首先沿同一行從左移動(dòng)至右，接著移動(dòng)至下一行，等等，直到它到達(dá)最末塊。在步驟S214中，對所有的Np個(gè)反差映射中的每一個(gè)相應(yīng)目標(biāo)塊(i，j)的反差值進(jìn)行搜索，并且識別出具有每一個(gè)特定(i，j)目標(biāo)塊的最大反差值的反差映射，以便能夠獲取反差映射的標(biāo)識碼。例如，如圖6所示，當(dāng)存在23個(gè)反差映射(Np=23),并且目標(biāo)塊(i, j )的反差值隨反差映射而變化時(shí)，在標(biāo)識碼為“20”的反差映射上檢測出目標(biāo)塊(i，j)的最大
反差值。在步驟S218中，將在步驟S216中檢測到的反差映射的標(biāo)識碼存儲在步驟S210所預(yù)留的陣列的與距離映射的相同目標(biāo)塊(i，j)對應(yīng)的單元中。在步驟S220中，判斷是否對所有的M*N個(gè)塊執(zhí)行了距離信息檢測處理。即，判斷所有的M*N個(gè)塊的標(biāo)識碼是否被檢測出并且保存在每一個(gè)對應(yīng)的陣列單元中，所述標(biāo)識碼指明哪一個(gè)反差映射具有特定目標(biāo)塊(i, j)的最大反差值。當(dāng)上述所有的M*N個(gè)塊的檢測和保存沒有被完成時(shí)，在步驟S222中將目標(biāo)移動(dòng)至下一塊，并且重復(fù)從步驟S214開始的處理。此外，當(dāng)判斷出所有的M*N個(gè)塊的檢測和保存已完成時(shí)，結(jié)束距離映射制備處理。一旦距離映射制備處理完成，則將具有特定塊的最大反差值的那個(gè)反差映射的標(biāo)識碼保存在距離映射中的每一個(gè)相應(yīng)塊的陣列單元內(nèi)。即，分配給每一個(gè)塊的碼表示特定塊區(qū)的對焦鏡頭位置，并且分配給每一個(gè)塊的碼也可以與光學(xué)方向上從鏡頭至在圖像的特定塊中捕捉的對象的距離對應(yīng)。在圖7所示的距離映射的示例中，隨著反差映射碼的增加，到主體的距離也增加，并且參考圖4a，反差映射碼為“8”的塊對應(yīng)于人，即主體。此外，反差映射碼為“20”的塊與遠(yuǎn)景，諸如遙遠(yuǎn)的背景對應(yīng)，而反差映射碼為“13”的塊與存在于主體與背景之間的對象對應(yīng)，例如就在作為主體的人的后面的樹。將參考圖8的流程圖以及圖9至圖11來說明第一實(shí)施例的掩模制備處理，該掩模制備處理在圖2的步驟SI 16中執(zhí)行。當(dāng)掩模制備處理開始時(shí)，在步驟S300中選擇主體。主體可以在圖像捕捉期間由用于AF操作的焦點(diǎn)指定，或者可以通過使用適當(dāng)輸入裝置的用戶從圖像中指定。主體也可以通過采用人臉檢測技術(shù)所檢測的位置來指定。例如，對于任意的塊，只要其反差映射碼與包含預(yù)定主體的塊的反差映射碼(或位置)之差(或之間的距離)小于或等于某一范圍(或距離)，則該任意塊就可以被確定為主體的一部分。在步驟S302中，生成將被確認(rèn)的主體塊排除在散景控制處理以外的掩模，并且在 圖2的步驟SllO中對所捕捉的圖像進(jìn)行掩模處理。注意，立即根據(jù)每一個(gè)圖像的像素?cái)?shù)量來識別鏡后測光圖像(副圖像)和記錄圖像(主圖像)中的相應(yīng)塊。圖9示出了當(dāng)圖7中反差映射標(biāo)識碼為“8”的塊(人)被指定為主體時(shí)的掩模示例。此外，圖10示出了當(dāng)將反差映射標(biāo)識碼為“13”(其與中間距離對應(yīng))的塊指定為主體時(shí)的掩模示例，并且圖11是將反差映射標(biāo)識碼為“20”(其與遠(yuǎn)景對應(yīng))的塊指定為主體時(shí)的掩模示例。注意，在第一實(shí)施例中，alpha合成技術(shù)可以用在掩模處理中，以對圖9至圖11中較亮的塊進(jìn)行較弱的模糊，并且對較暗的塊進(jìn)行較強(qiáng)的模糊。如上所述，根據(jù)第一實(shí)施例，即使在使用景深不能獲得充足的散景效應(yīng)的情形下，仍可以對除主體以外的區(qū)域施加適當(dāng)?shù)纳⒕?。此外，在本?shí)施例中，使用邊緣輪廓提取處理來估計(jì)反差，以便促進(jìn)并且優(yōu)化對焦估計(jì)。此外，通過將圖像劃分成多個(gè)塊(除包含單個(gè)像素的塊以外)，來提高處理速度。在本實(shí)施例中，制備距離映射時(shí)使用多個(gè)鏡后測光圖像(副圖像)，以使處理速度能夠進(jìn)一步提高。此外，與通過僅僅捕捉多個(gè)圖像來執(zhí)行散景控制處理以獲取距離映射的情形相t匕，由于本實(shí)施例使用鏡后測光圖像，因此用戶可能察覺不到散景控制處理或者不受散景控制處理干擾。順便說一句，盡管本實(shí)施例以小型照相機(jī)作為示例進(jìn)行說明，但圖12中仍示出了可應(yīng)用于替代實(shí)施例的流程圖，所述替代實(shí)施例包括設(shè)置在便攜式電話中的照相機(jī)單元。此處，圖12與第一實(shí)施例中圖2的流程圖對應(yīng)。該替代實(shí)施例與第一實(shí)施例之間的本質(zhì)差別在于，該照相機(jī)單元沒有光度開關(guān)SI。即，僅僅當(dāng)釋放按鈕完全壓下時(shí)，換句話說當(dāng)釋放開關(guān)開啟時(shí)才啟動(dòng)光度操作、自動(dòng)對焦操作和圖像捕捉操作。因此，替代實(shí)施例的流程圖沒有與圖2的步驟S106和S108對應(yīng)的步驟，并且用判斷釋放開關(guān)S2是否處于開狀態(tài)的步驟S400來替換步驟S100。注意，步驟S402和S404分別與步驟S102和S104對應(yīng)，并且步驟S406至步驟S416分別與步驟SllO至步驟S120對應(yīng)。如上所述，對于安裝在便攜式電話上的照相機(jī)單元等等，可以獲取與第一實(shí)施例相同的效果或優(yōu)點(diǎn)，在所述便攜式電話等中僅僅當(dāng)釋放按鈕完全壓下時(shí)光度開關(guān)才開啟。將參考圖13至圖20來說明第二實(shí)施例的數(shù)字照相機(jī)。在第二實(shí)施例中，除掩模方法(圖5中的步驟S116)以外，數(shù)字照相機(jī)的特征與第一實(shí)施例的特征相同。在第二實(shí)施例中，掩模方法根據(jù)光學(xué)方向上從鏡頭至主體的距離而變化。因此，在以下描述中僅僅說明與第一實(shí)施例的不同的特征，該特征與圖2的步驟S116對應(yīng)。當(dāng)至拍攝對象的距離增加時(shí)景深加深，并且當(dāng)該距離增加時(shí)AF操作的一步驅(qū)動(dòng)運(yùn)動(dòng)(最小位移)中的分辨率減小。因此，在第二實(shí)施例中，散景控制處理根據(jù)光學(xué)方向上從鏡頭至主體的距離而變化。在本實(shí)施例中，當(dāng)主體相對較近(近距離模式)時(shí)，選擇對由深度引起的細(xì)微差別進(jìn)行模仿或增強(qiáng)的散景控制處理。另一方面，當(dāng)主體相對較遠(yuǎn)(遠(yuǎn)距離模式)時(shí)，選擇僅僅使主體的背景模糊以增強(qiáng)主體與背景之間的反差的散景處理。圖13示意性示出了直方圖的示例，圖中水平軸線表示至對象的距離并且豎直軸線表示分配給每一個(gè)距離的塊的頻率。在本實(shí)施例中，根據(jù)主體是否比預(yù)定距離“D?！备鼇磉x擇上述近距離模式或遠(yuǎn)距離模式。即，當(dāng)至主體的距離為“D?！被蚋r(shí)，選擇近距離模式，反之則采用遠(yuǎn)距離模式。注意，景深還取決于f值，從而距離“D。”可以根據(jù)f值而變化。例如，當(dāng)f值減小
時(shí)景深變得相對較淺，以便在f值減小時(shí)距離“D?！笨梢栽O(shè)定為較大的值，并且在f值增加時(shí)設(shè)定為較小的值。圖14示出了在近距離模式下散景控制處理的模糊強(qiáng)度的變化。即，圖14的曲線定義了近距離模式下的掩模密度。在近距離模式下，與主體的距離對應(yīng)的塊沒有被模糊或者進(jìn)行最小程度的模糊。對于與前景景象或背景景象對應(yīng)的塊，當(dāng)塊的距離相對于主體的距離“D。”增加時(shí)，模糊強(qiáng)度逐漸增強(qiáng)。例如，模糊強(qiáng)度逐漸增加至最大值(100%)，直到塊的距離在前景景象中達(dá)到距離“Df ”或者在背景景象中達(dá)到“Db”。圖15示出了在遠(yuǎn)距離模式下散景控制處理的模糊強(qiáng)度的變化。即，圖15中的曲線定義了遠(yuǎn)距離模式下的掩模密度。在遠(yuǎn)距離模式下，如上所述，僅僅對背景景象中的塊區(qū)進(jìn)行模糊，以增強(qiáng)主體與背景景象之間的反差，從而在主體的距離“D。”作為閾值的情形下以階躍函數(shù)的方式來實(shí)現(xiàn)模糊。即，與比主體(距離“D。”)更近的距離對應(yīng)的塊沒有被模糊，而對與比主體(距離“D。”)更遠(yuǎn)的距離對應(yīng)的所有塊進(jìn)行最大程度的模糊(100%)。在本實(shí)施例中，各個(gè)模式下限定的掩模密度曲線可以通過操作圖I的開關(guān)組21中的四路控制器開關(guān)或電子撥盤開關(guān)被控制。例如，在近距離模式下景深可以是可控制的。即，圖14中位置“Df”和“Db”可以通過AF操作中的一步單元來改變。此外，在遠(yuǎn)距離模式下，模糊強(qiáng)度可以是可變的。圖16示意性示出了在近距離模式下直方圖(基于距離/頻率(塊的數(shù)量)與散景控制處理之間的關(guān)系的示例。在圖16中，虛線表示深度的分辨率隨距離的變化。此外，圖17示意性示出了在近距離模式下所捕捉的圖像示例。假定人SO為主體，在人SO前方和后方的人SI至S3根據(jù)其離人SO的深度方向上的距離而在不同的程度上進(jìn)行模糊。即，在本實(shí)施例中，當(dāng)對象離主體的距離增加時(shí)模糊程度增加，從而與原始圖像相比，使深度上細(xì)微差別增強(qiáng)并且使連續(xù)性增加。另一方面，圖18示意性示出了遠(yuǎn)距離模式下直方圖(基于距離/頻率(塊的數(shù)量)與散景控制處理之間的關(guān)系的示例。類似于圖16，虛線表示深度的分辨率隨距離的變化。此外，圖19示意性示出了在遠(yuǎn)距離模式下所捕捉的圖像的示例。在圖19中，沒有在距離被確定為等于或小于至主體(人S0)的距離的塊上執(zhí)行模糊處理，而是對距離被確定為比人SO的距離大的塊施加均勻強(qiáng)度的模糊。由此，獲得僅僅主體，即人SO保持清晰而景象的其它部分模糊的圖像。
圖20是第二實(shí)施例的掩模制備處理的流程圖，該掩模制備處理與圖2的步驟S116對應(yīng)。將參考該流程圖來說明第二實(shí)施例中的掩模制備處理。在步驟S500中，類似于第一實(shí)施例中圖8的步驟S300，指定主體。在步驟S502中，獲取包含主體的塊的反差映射碼(其與距離對應(yīng))。在步驟S504中，根據(jù)主體的距離信息(反差映射碼)判斷主體是否處于近距離。例如，判斷與主體對應(yīng)的反差映射碼或距離是否小于或等于預(yù)定值。當(dāng)在步驟S504中判斷出主體存在于近距離中時(shí)，在步驟S506中選擇用于近距離模式的掩模密度曲線(其示出在圖14中)，并且在步驟S508中計(jì)算目標(biāo)塊離主體圖像的深度方向上的距離(差)。另一方面，當(dāng)判斷出主體沒有在近距離中而在遠(yuǎn)距離中時(shí)，在步驟S516中選擇圖15中所示的用于遠(yuǎn)距離模式的掩模密度曲線，并且在步驟S508中計(jì)算目標(biāo)塊離主體圖像的距離(差值)。
在步驟S510中，引用步驟S508中計(jì)算出的當(dāng)前目標(biāo)塊的差值和步驟S506或S516中選擇的掩模密度曲線，以便能夠確定應(yīng)用于當(dāng)前目標(biāo)塊的掩模密度值。此外，在步驟S512中，將用于產(chǎn)生掩模的被指定的掩模密度存儲在陣列的與當(dāng)前塊對應(yīng)的單元中。在步驟S514中，判斷是否對所有的M*N個(gè)塊執(zhí)行上述處理，即是否為所有的M*N個(gè)塊指定掩模密度。當(dāng)判斷出已經(jīng)對所有的M*N個(gè)塊執(zhí)行了處理時(shí)，結(jié)束該掩模制備處理。否則，在步驟S518中，將目標(biāo)變?yōu)橄乱粔K，并且重復(fù)從步驟S508開始的處理。注意，以與圖3B和圖5中搜索目標(biāo)塊相同的方式來執(zhí)行目標(biāo)塊的轉(zhuǎn)移。如上所述，根據(jù)第二實(shí)施例，根據(jù)在光學(xué)方向上至主體的距離來控制散景或模糊效應(yīng)，以便能夠?qū)崿F(xiàn)散景效應(yīng)的增強(qiáng)。順便說一句，盡管在本實(shí)施例中采用鏡后測光圖像來獲取距離信息，但用于獲取距離信息的副圖像不限于鏡后測光圖像。在短時(shí)期內(nèi)，在多個(gè)不同的焦點(diǎn)位置處獲取的連續(xù)圖像也可以用于獲取距離信息。此外，在本實(shí)施例中，反差映射碼用作表示距離信息的示例。然而，可以利用表示距離信息的任何變量，并且該變量沒必要與實(shí)際距離成比例，除非它與距離有一對一的關(guān)系。此外，模糊處理同樣不限于本實(shí)施例。本發(fā)明在小型照相機(jī)中可具有顯著優(yōu)點(diǎn)，但不限于此，本發(fā)明的實(shí)施例還可以應(yīng)用于常規(guī)數(shù)字單反照相機(jī)等。此外，盡管本實(shí)施例使用邊緣輪廓提取來提高對每一個(gè)區(qū)域(塊)內(nèi)的反差進(jìn)行估計(jì)的精確度，但在捕捉圖像時(shí)，如果對于鏡頭的位置來說可利用用于估計(jì)每一個(gè)區(qū)域(塊)中的聚焦?fàn)顟B(tài)的適當(dāng)方法，則也可以不使用邊緣輪廓提取來估計(jì)反差。本實(shí)施例的掩模制備處理、圖像合成處理和圖像存儲處理(步驟SI 16至S120和步驟S412至S416)也可以用于除數(shù)字照相機(jī)以外的裝置，諸如個(gè)人計(jì)算機(jī)等。在該情形下，參考可以在數(shù)字照相機(jī)中產(chǎn)生的上述距離映射(距離信息)，或者參考由替代方法獲取的對象的距離信息來執(zhí)行這些處理。例如，當(dāng)使用個(gè)人計(jì)算機(jī)時(shí)，這些處理可以作為存儲在記錄介質(zhì)中的軟件程序來提供。即，圖像數(shù)據(jù)可以從記錄介質(zhì)或由外部通信獲取，并且參考從記錄介質(zhì)或由外部通信所獲取的距離信息來進(jìn)行圖像處理，諸如散景控制處理。所獲得的圖像可以記錄在記錄介質(zhì)中或者傳送至外部裝置。在本實(shí)施例中，將對象的距離信息應(yīng)用于模糊處理，然而，距離信息可以應(yīng)用于除模糊處理以外的圖像處理。例如，它可以應(yīng)用于以下圖像處理，包括藝術(shù)水彩效果的處理、插圖效果的處理和將特征(包括圖、符號、字母和圖案)覆蓋在圖像上的處理。對于藝術(shù)水彩效果的處理，可以基于至主體的距離來控制顏色和色調(diào)，并且/或者用于控制顏色和色調(diào)的方法可以根據(jù)上述距離而變化。在覆蓋特征時(shí)，可以基于至主體的距離來控制覆蓋區(qū)域的尺寸和特征的尺寸，并且/或者用于控制上述尺寸的方法可以根據(jù)上述距離而變化。此外，從制備距離映射至應(yīng)用距離信息的圖像處理的處理可以作為設(shè)置有鏡頭驅(qū)動(dòng)機(jī)構(gòu)和圖像傳感器的成像裝置的控制程序來運(yùn)用。在第二實(shí)施例中，根據(jù)至主體的距離是否比預(yù)定距離(閾值)“D?！备蚋h(yuǎn)來將散景控制模式分為兩種模式。然而，散景控制模式還可以是由多個(gè)閾值劃分的多個(gè)模式(多于三個(gè)模式)。此外，掩模密度曲線可以作為至主體的距離的函數(shù)來給出，在該情形下密度將隨著距離連續(xù)地變化。盡管文中已經(jīng)參考附圖描述了本發(fā)明的實(shí)施例，顯然，在不脫離本發(fā)明范圍的情 形下本領(lǐng)域的技術(shù)人員可以進(jìn)行很多修改和變型。
權(quán)利要求
1.一種圖像處理裝置，包括 主圖像指定器，該主圖像指定器指定圖像中的主體；以及 圖像處理器，該圖像處理器對圖像進(jìn)行圖像處理，所述圖像處理取決于至所述主體的距離。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述圖像處理包括模糊處理。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中當(dāng)至所述主體的距離大于預(yù)定距離時(shí)，僅僅對比所述主體遠(yuǎn)的圖像對象進(jìn)行模糊處理。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中當(dāng)至所述主體的距離小于預(yù)定距離時(shí)，所述模糊處理增加主體周圍的景深。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括對在所述模糊處理中所執(zhí)行的模糊程度進(jìn)行設(shè)定的模糊設(shè)定處理器。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中用于改變所述模糊處理的至所述主體的閾值距離根據(jù)在捕捉圖像時(shí)所使用的f值而變化。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中參考距離映射數(shù)據(jù)來確定至所述主體的距離，所述距離映射數(shù)據(jù)包括捕捉在劃分圖像的每一個(gè)區(qū)域中的對象的距離信息。
8.一種數(shù)字照相機(jī)，包括 主圖像指定器，該主圖像指定器指定圖像中的主體；以及 圖像處理器，該圖像處理器對圖像進(jìn)行圖像處理，所述圖像處理取決于至所述主體的距離。
9.根據(jù)權(quán)利要求8所述的數(shù)字照相機(jī)，還包括為劃分圖像的每一個(gè)區(qū)域中的圖像對象檢測距離信息的距離信息檢測器。
10.一種圖像處理方法，包括 從圖像中指定主體； 對圖像進(jìn)行圖像處理，并且 所述圖像處理取決于至所述主體的距離。
11.一種包含用于控制計(jì)算機(jī)以執(zhí)行一種方法的指令的計(jì)算機(jī)可讀介質(zhì)，所述方法包括 指定圖像中的主體； 對圖像進(jìn)行圖像處理，并且 所述圖像處理取決于至所述主體的距離。
全文摘要
本發(fā)明涉及圖像處理裝置和圖像處理方法。本發(fā)明提供一種圖像處理裝置，其包括主圖像指定器和圖像處理器。主圖像指定器指定圖像中的主體。圖像處理器對圖像進(jìn)行圖像處理，所述圖像處理取決于至主體的距離。
文檔編號H04N5/232GK102843509SQ20121019492
公開日2012年12月26日 申請日期2012年6月13日 優(yōu)先權(quán)日2011年6月14日
發(fā)明者上原広靖 申請人:賓得理光映像有限公司