用于圖像處理的帶皮膚色調(diào)校正的自動(dòng)白平衡的制作方法
【專利說明】用于圖像處理的帶皮膚色調(diào)校正的自動(dòng)白平衡
【背景技術(shù)】
[0001] 數(shù)字圖像處理設(shè)備（諸如數(shù)字相機(jī)）使用自動(dòng)白平衡（AWB)W便為從所捕捉的圖 像重現(xiàn)的圖片提供準(zhǔn)確的顏色。AWB是發(fā)現(xiàn)或定義圖片中稱為白點(diǎn)的白顏色的過程。圖片 中的其他顏色是相當(dāng)于白點(diǎn)來確定的。AWB調(diào)整不同顏色分量（例如，紅色、綠色和藍(lán)色） 關(guān)于彼此的增益W便將白物體呈現(xiàn)為白色，而無論圖像場(chǎng)景的色溫差或顏色分量的不同敏 感度。然而，當(dāng)白點(diǎn)不正確時(shí)，重現(xiàn)的圖像可能包括錯(cuò)誤的顏色。無論是在硬件中還是軟件 中，運(yùn)些顏色錯(cuò)誤可能由于相機(jī)中的生產(chǎn)變化而發(fā)生，運(yùn)會(huì)導(dǎo)致色度響應(yīng)或顏色漸變的變 化。而且，可存在將偽顏色引入到圖像中的殘留漸變問題。運(yùn)可由于困難的光照（照明） 情形（例如，諸如日光和其他人造光源的混合）而發(fā)生。隨后AWB模塊可在其計(jì)算中使用 偽顏色，從而導(dǎo)致重現(xiàn)圖像更進(jìn)一步的降級(jí)。另外，當(dāng)圖像中不存在清楚的白點(diǎn)時(shí)，單色圖 像也傾向于使AWB算法難W處理從而導(dǎo)致錯(cuò)誤的顏色。
[0002] 由錯(cuò)誤的白點(diǎn)導(dǎo)致的一類顏色錯(cuò)誤叫做偏色，其中整個(gè)圖像、圖像的一部分、或圖 像內(nèi)的某些物體有相同的錯(cuò)誤漸變。對(duì)于人臉或皮膚，即使皮膚顏色或皮膚色調(diào)的輕微錯(cuò) 誤也能容易地被查看圖像的普通人所檢測(cè)到。因此，當(dāng)圖片中人臉或皮膚的其他區(qū)域上存 在偏色時(shí)，臉或皮膚可能顯得例如太紫、太藍(lán)、太紅、太綠、太粉、太灰、或太黃。
[0003] 附圖簡(jiǎn)沐
[0004] 本文所描述的內(nèi)容是作為示例的方式而不是作為限制的方式在附圖中示出的。為 了圖示的簡(jiǎn)明和清晰起見，圖中示出的元素不必按尺寸繪制。例如，為了清晰，可W將一些 元素的尺寸相對(duì)于其它元素放大。而且，在認(rèn)為合適的地方，在圖中重復(fù)了引用標(biāo)簽W指示 相對(duì)應(yīng)的或類似的元素。在附圖中： 陽〇化]圖1是建立人類皮膚色調(diào)的光譜反射率的說明性圖；
[0006] 圖2是示例性自動(dòng)白平衡配置的說明性圖；
[0007] 圖3是示出示例圖像處理方法的流程圖；
[0008] 圖4是操作中的示例圖像處理系統(tǒng)的說明性圖；
[0009] 圖5是示例圖像處理系統(tǒng)的說明性圖；
[0010] 圖6是示出總體的示例圖像處理方法的流程圖； W11] 圖7是示出具體的實(shí)力自動(dòng)白平衡過程的流程圖；
[0012] 圖8是示出示例聚類形成過程的流程圖；
[0013] 圖9是示例系統(tǒng)的說明性圖；W及
[0014] 圖10是示例設(shè)備的說明性圖，全部是至少根據(jù)本發(fā)明的一些實(shí)現(xiàn)而安排的。
【具體實(shí)施方式】
[0015] 現(xiàn)在參考附圖描述了一個(gè)或多個(gè)實(shí)施例或?qū)崿F(xiàn)。盡管討論了具體配置和安排，但 應(yīng)當(dāng)理解，運(yùn)僅是出于說明的目的。相關(guān)領(lǐng)域的技術(shù)人員將意識(shí)到可W采用其它配置和安 排而不背離本描述的精神和范圍。對(duì)于相關(guān)領(lǐng)域的技術(shù)人員顯而易見的是，本文所描述的 技術(shù)和/或安排也可W在本文所描述的那些之外的各種其它系統(tǒng)和應(yīng)用中采用。
[0016] 盡管W下描述闡述了可W表現(xiàn)在例如片上系統(tǒng)（SoC)架構(gòu)的架構(gòu)中的各種實(shí)現(xiàn)， 但此處所描述的技術(shù)和/或安排的實(shí)現(xiàn)不限于特定架構(gòu)和/或計(jì)算系統(tǒng)，并可W通過出于 類似目的的任何架構(gòu)和/或計(jì)算系統(tǒng)來實(shí)現(xiàn)。例如，采用例如多個(gè)集成電路（IC)忍片和/ 或包的各種架構(gòu)和/或諸如機(jī)頂盒、智能電話等等的各種計(jì)算設(shè)備和/或消費(fèi)電子（C巧設(shè) 備可W實(shí)現(xiàn)本文所描述的技術(shù)和/或安排。而且，盡管W下描述可W闡述諸如邏輯實(shí)現(xiàn)、系 統(tǒng)組件的類型和相互關(guān)系、邏輯分區(qū)/集成選擇等的眾多具體細(xì)節(jié)，但沒有運(yùn)些具體細(xì)節(jié) 也可W實(shí)踐所要求保護(hù)的主題。在其它實(shí)例中，諸如例如控制結(jié)構(gòu)和完整軟件指令序列的 一些內(nèi)容，可W不詳細(xì)示出W便不妨礙本文所公開的內(nèi)容。
[0017] 此處所公開的內(nèi)容可W用硬件、固件、軟件或其任何組合來實(shí)現(xiàn)。此處所公開的內(nèi) 容也可W實(shí)現(xiàn)為存儲(chǔ)在機(jī)器可讀介質(zhì)上的指令，該指令可W由一個(gè)或多個(gè)處理器讀取和執(zhí) 行。機(jī)器可讀介質(zhì)可W包括用于W可由機(jī)器（例如計(jì)算機(jī)設(shè)備）讀的形式存儲(chǔ)或傳輸信 息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀介質(zhì)可W包括只讀存儲(chǔ)器（ROM);隨機(jī)訪問存儲(chǔ) 器（RAM);磁盤存儲(chǔ)介質(zhì)；光存儲(chǔ)介質(zhì)；閃存設(shè)備；電子、光學(xué)、聲學(xué)或其它形式的傳播信號(hào) (例如載波、紅外信號(hào)、數(shù)字信號(hào)等）及其它。在另一種形式中，非瞬態(tài)物品（諸如非瞬態(tài)計(jì) 算機(jī)可讀介質(zhì)）可與W上述及的示例或其他示例中的任何一個(gè)一起使用，只除了它不包括 瞬態(tài)信號(hào)。它包括可W用"瞬態(tài)"方式暫時(shí)持有數(shù)據(jù)的除了所述信號(hào)之外的那些元素，諸如 RAM等。
[001引說明書中對(duì)"一個(gè)實(shí)施例"、"實(shí)施例"、"示例實(shí)施例"等的引用表示所描述的實(shí)現(xiàn) 可W包括特定特征、結(jié)構(gòu)或特性，但是，每一個(gè)實(shí)現(xiàn)可W不必包括該特定特征、結(jié)構(gòu)，或特 征。此外，運(yùn)些短語不必指同一實(shí)現(xiàn)。而且，當(dāng)結(jié)合實(shí)現(xiàn)描述特定特征、結(jié)構(gòu)或特性時(shí)，不管 是否在本文明確描述，結(jié)合其它實(shí)現(xiàn)來實(shí)現(xiàn)運(yùn)樣的特征、結(jié)構(gòu)或特性被認(rèn)為是在本領(lǐng)域技 術(shù)人員的知識(shí)范圍內(nèi)。
[0019] 下面描述了包括用于圖像處理的帶皮膚色調(diào)校正的自動(dòng)白平衡的系統(tǒng)、制品和方 法。
[0020] 如上所述，用于圖像處理設(shè)備（作為一個(gè)非限制性示例，諸如數(shù)碼相機(jī)）的自動(dòng)白 平衡用來校正圖像的白點(diǎn)，和由此圖像上所有其他顏色的顏色參考點(diǎn)。AWB算法用來設(shè)置白 點(diǎn)，但運(yùn)個(gè)過程對(duì)于無論是來自傳感器處的制造容限、照明效果或形成偽顏色的圖像內(nèi)容 等的錯(cuò)誤是易受影響的。當(dāng)錯(cuò)誤導(dǎo)致圖像中人臉或皮膚上的偏色使得人臉看起來太紫、綠、 藍(lán)、或黃、或一些其他非正常顏色時(shí)，運(yùn)些錯(cuò)誤特別明顯。
[0021] 為了避免運(yùn)些錯(cuò)誤，一個(gè)方案是使用臉檢測(cè)技術(shù)。例如，一旦確定了圖像上的某個(gè) 區(qū)域應(yīng)該是人臉或者人皮膚區(qū)時(shí)，就確定了圖像上的該區(qū)域是否有位于顏色空間上的皮膚 色調(diào)的單個(gè)已知色度集群內(nèi)的皮膚色度。通過例如，通過用G將R和B傳感器組件歸一化 來在色度空間中定義此集群。如果皮膚色度不在該集群內(nèi)，則將它移到集群中，并計(jì)算白點(diǎn) 的相應(yīng)變化。隨后基于此新白點(diǎn)而確定圖像中的其他顏色。然而，已經(jīng)證實(shí)了單個(gè)皮膚色 調(diào)或皮膚類型集群太不準(zhǔn)確，使得皮膚色調(diào)中明顯的錯(cuò)誤（例如偏色）仍可發(fā)生。
[0022] 參考圖1-2,已經(jīng)建立了人皮膚色調(diào)的更準(zhǔn)確的表示，并且本文所公開的系統(tǒng)利 用此表示。具體而言，已經(jīng)發(fā)現(xiàn)可在色度空間中建立兩個(gè)皮膚類型色度集群，至少一個(gè)是 較暗皮膚類型，和至少一個(gè)是基于光譜反射率的較亮皮膚類型。見Q.Sun、M.化化irchild 的《臉光譜反射率的統(tǒng)計(jì)表征及其對(duì)人像寫真光譜估計(jì)的應(yīng)用》，Mubsell顏色科學(xué)實(shí)驗(yàn)室 (2002)，第27頁。提供了示出400-700皿可見波長(zhǎng)區(qū)域內(nèi)的亞洲和非洲（也稱為黑色）皮 膚類型的光譜反射率相似的圖，從而定義了較暗皮膚類型群，并在圖1上注釋為皮膚類型 群A。類似的，白人、亞太、拉美及總體平均皮膚類型有相似的光譜反射率，并形成第二個(gè)較 亮皮膚類型色度群，在圖1上注釋為皮膚類型群B。
[0023] 通過圖2中解說的一個(gè)示例方案，兩個(gè)已知的光譜反射率群A和B可用來在色度 空間200中形成相應(yīng)的、不同的、皮膚類型專用色度集群。所解說的示例用由綠色（G)分隔 的紅色（R)和藍(lán)色度）分量在線性SRGB空間中示出了集群。應(yīng)理解，集群可存在于許多 不同的顏色空間中供本文所公開的系統(tǒng)和方法使用，顏色空間諸如YUV顏色空間的UV面、 YCb化顏色空間的Cb化面、L油顏色空間的油面、或HSV顏色空間的服、其他示例、或其任 何組合。集群也可在=維空間中形成，而不是如所解說的示例中在兩維空間中形成。本文中 群A形成較暗皮膚類型色度集群202,標(biāo)記為ST-A。群B形成較亮皮膚類型色度集群204， 標(biāo)記為ST-B。應(yīng)注意，本文中所討論的術(shù)語暗和亮，包括例如較暗皮膚類型或色調(diào)（諸如黑 色）對(duì)比較亮皮膚類型或色調(diào)（諸如白人），指皮膚類型的色度（例如，紅色、綠色和藍(lán)色 的組合），并且是W由集群分組或定義的一種形式，而不是光亮度或亮度，除非另外地述及。 因此，至少在本說明書中較暗皮膚類型集群ST-A指包括黑色或非洲皮膚類型，而較亮皮膚 類型集群ST-B指包括白人皮膚類型，無論一個(gè)集群中的任何皮膚類型是否比另一個(gè)集群 中的皮膚類型有更多亮度。
[0024] 如下面將更詳細(xì)描述的，用于自動(dòng)白平衡和增加圖像上皮膚色調(diào)準(zhǔn)確性的操作可 通過確定與圖像上的點(diǎn)或經(jīng)檢測(cè)到的皮膚相關(guān)的對(duì)象相關(guān)聯(lián)的、顏色空間上點(diǎn)208的色度 應(yīng)該在色度集群ST-A中的可能性或概率，W及單獨(dú)地色度點(diǎn)208應(yīng)該在色度集群ST-B中 的可能性來實(shí)現(xiàn)。點(diǎn)208還可W被稱為皮膚色度點(diǎn)。取決于可能性中的至少一個(gè)，本系統(tǒng) 有能力使用ST-A、ST-B、或經(jīng)計(jì)算的、獨(dú)特目標(biāo)皮膚類型色度集群206,該集群標(biāo)記為ST-C， 并且是ST-A和ST-B按比例（也可能取決于可能性）的組合。一旦建立了ST-C，圖像的初 始色度點(diǎn)208的位置和在顏色空間200中的映射可通過校正而在顏色空間200中移動(dòng)到集 群ST-C206上的新色度點(diǎn)210。一旦建立了，該校正也可用來計(jì)算對(duì)應(yīng)于新色度點(diǎn)210并 可隨后用來確定同一圖像中其他點(diǎn)的顏色的新白點(diǎn)。
[00巧]參考圖3,根據(jù)本公開的至少一些實(shí)現(xiàn)安排了本文所述的圖像處理系統(tǒng)的示例過 程300。在所解說的實(shí)現(xiàn)中，過程300可包括如由操作302、304和/或306的一個(gè)或多個(gè)所 解說的一個(gè)或多個(gè)操作、功能或動(dòng)作。作為非限制性示例，本文將參考圖2和4的示例顏色 處理系統(tǒng)來描述過程300。
[00%] 過程300可用作用于自動(dòng)白平衡的計(jì)算機(jī)實(shí)現(xiàn)的方法。過程300可包括"確定圖 像的至少一個(gè)點(diǎn)的皮膚色度應(yīng)該位于顏色空間的第一或第二皮膚色度集群內(nèi)的至少一個(gè) 可能性"302,其中至少一個(gè)可能性是按照?qǐng)D像上經(jīng)檢測(cè)來描繪人皮膚的點(diǎn)的色度是應(yīng)該位 于顏色空間的第一皮膚色度集群內(nèi)還是位于該顏色空間的第二皮膚色度集群內(nèi)來確定的。 例如，由此，運(yùn)也包括另外的可能性，從而可計(jì)算一個(gè)可能性來對(duì)應(yīng)較暗皮膚類型（或簡(jiǎn)稱 較暗）集群ST-A，和計(jì)算另一個(gè)可能性來對(duì)應(yīng)較亮皮膚類型（或簡(jiǎn)稱較亮）集群ST-B。運(yùn) 樣的多個(gè)可能性在使用時(shí)可加起來等于100%。
[0027]隨后，過程300可包括"取決于該至少一個(gè)可能性，形成目標(biāo)色度集群"304,其中 目標(biāo)色度集群可基于第一和第二集群中的至少一個(gè)來形成。在一種方案中，目標(biāo)色度集群 是根據(jù)第一或較暗皮膚類型色度集群的至少一部分和第二或較亮皮膚類型色度集群的至 少一部分二者來形成的。運(yùn)可包括在例如可能性處于、或高于、或低于某個(gè)百分比時(shí)形成目 標(biāo)色度集群ST-C(圖2中的206)。根據(jù)一種方案，運(yùn)可在ST-A可能性和ST-B可能性都不 是100%時(shí)發(fā)生。在一種形式中，當(dāng)可能性高于50%時(shí)，則相對(duì)應(yīng)的集群ST-A或ST-B的大 概100%在集群ST-C中使用。在此情況中，另一個(gè)集群ST-A或ST-B將有低于50%的可能 性。此另一個(gè)集群與可能性成比例的一部分也添加到集群ST-C中。例如，如果皮膚色度點(diǎn) 位于集群ST-A內(nèi)的可能性是70%且該皮膚色度點(diǎn)位于集群ST-B內(nèi)的可能性是30%，那么 集群ST-A的大約100%在集群ST-C中使用，且集群ST-B的大約30%在集群ST-C中使用。 還是在此示例形式中，ST-B的30%部分是ST-B可能物理地（或換言之幾何地）在色度空 間上、最接近色度空間200中的集群ST-A的那部分。
[0028] 從此配置將理解，當(dāng)較小可能性接近50%時(shí)目標(biāo)集群ST-C變得更大。因此，在一 種形式中，當(dāng)ST-A和ST-B二者的可能性都是大概50%時(shí)，集群ST-C是集群ST-A和ST-B 二者的合集。因此，當(dāng)可能性是50/50時(shí)，ST-A和ST-B的可能色度沒有一個(gè)被消除，且該 點(diǎn)的色度可在任一集群中同樣地存在。
[0029] 而且，過程300可包括"至少部分地基于目標(biāo)色度集群上的點(diǎn)的皮膚色度而設(shè)置 圖像的白點(diǎn)"306。作為一個(gè)示例，確定了初始白點(diǎn)，應(yīng)用了傳統(tǒng)自動(dòng)白平衡來計(jì)算RGB增益 W調(diào)整皮膚色度點(diǎn)的位置至目標(biāo)色度集群ST_C。用來將皮膚色度點(diǎn)移動(dòng)到集群ST-C的校 正或多個(gè)校正隨后被用來修改或重計(jì)算新白點(diǎn)和新RGB增益。在一個(gè)形式中，皮膚色度點(diǎn) 從其初始位置208移動(dòng)到色度空間200上的目標(biāo)集群ST-C206上的最近位置210。下面解 釋了移動(dòng)皮膚色度點(diǎn)的替換性方法。
[0030] 參考圖4,根據(jù)本公開的至少一些實(shí)現(xiàn)，示例圖像處理系統(tǒng)500操作自動(dòng)白平衡過 程400。更詳細(xì)地，在所解說的形式中，過程400可包括如由偶數(shù)編號(hào)的操作402到426的 一個(gè)或多個(gè)所解說的一個(gè)或多個(gè)操作、功能或動(dòng)作。作為非限制性示例，本文將參考圖5的 示例圖像處理系統(tǒng)500來描述過程400。
[0031] 在一種形式中，圖像處理系統(tǒng)500可包括邏輯模塊504之類和/或其組合。例如， 邏輯模塊504可包括自動(dòng)白平衡控制506，且該自動(dòng)白平衡控制506可包括AWB模塊510、 皮膚類型檢測(cè)模塊512和AWB調(diào)整模塊514。邏輯模塊504也可由臉/皮膚檢測(cè)模塊