專利名稱：閃光檢測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理信號(hào)的方法和系統(tǒng)。該處理提供閃光檢測(cè)且其輸出能夠 被用于改進(jìn)內(nèi)容分析算法。
背景技術(shù)：
看電視和從事包括視覺(jué)內(nèi)容的其他活動(dòng)諸如觀看DVD都是人們常做的事情。與觀 看這種視頻內(nèi)容有關(guān)聯(lián)的用戶體驗(yàn)將在未來(lái)發(fā)生改變。例如在飛利浦(Philips)的電視機(jī) 產(chǎn)品中已經(jīng)可以看到最初的跡象，其中增添了燈具以增加看電視的體驗(yàn)。為了增強(qiáng)諸如看 電影那樣的娛樂(lè)體驗(yàn)而添加另外的設(shè)備和其他的功能的這個(gè)處理正在增長(zhǎng)。通過(guò)將腳本與 原始音頻/視覺(jué)內(nèi)容一起播放，“amBX”這個(gè)企業(yè)(參見(jiàn)例如，www.ambx. com)正在準(zhǔn)備接下 來(lái)的步驟以更進(jìn)一步地增加諸如看電視那樣的體驗(yàn)，所述腳本包括能夠使用適當(dāng)?shù)脑鰪?qiáng)系 統(tǒng)來(lái)提供給用戶的效果描述。在用戶娛樂(lè)空間中的另外的設(shè)備為視頻內(nèi)容提供增強(qiáng)。例如，美國(guó)專利申請(qǐng)公開(kāi)US2002169817公開(kāi)了包括一組設(shè)備的真實(shí)世界展示系 統(tǒng)，每個(gè)設(shè)備都被設(shè)置成提供一個(gè)或多個(gè)真實(shí)世界參數(shù)，例如音頻和視覺(jué)特性。至少一個(gè)設(shè) 備被設(shè)置成接收標(biāo)記語(yǔ)言指令集形式的真實(shí)世界描述并且根據(jù)該描述來(lái)操作這些設(shè)備。通 過(guò)本地服務(wù)器或分布式瀏覽器來(lái)解釋在該語(yǔ)言中表達(dá)的通用術(shù)語(yǔ)，以操作這些設(shè)備來(lái)為用 戶呈現(xiàn)真實(shí)世界的體驗(yàn)。通過(guò)這種方式，被用于控制其他設(shè)備的腳本就隨著遞送原始內(nèi)容 的電視一起被遞送了。但是，必須要編寫能夠被用于在其他設(shè)備中創(chuàng)建其他效果的腳本。為了輔助編寫 過(guò)程，許多應(yīng)用使用內(nèi)容分析來(lái)使該過(guò)程自動(dòng)化以避免手動(dòng)地進(jìn)行。關(guān)于例如amBX腳本的 內(nèi)容創(chuàng)建，得到良好訓(xùn)練的編寫者逐幀瀏覽電影并選擇他們想要開(kāi)始/停止光顯示的特定 幀。這個(gè)光的顏色與視頻序列中的某些事物(背景、爆炸、物體)相適應(yīng)。為了創(chuàng)建電影的amBX腳本，許多時(shí)間都花在了準(zhǔn)確地確定視頻中的時(shí)間位置和 在特定的時(shí)間場(chǎng)合匹配被用于創(chuàng)建光效的顏色。內(nèi)容分析能夠?yàn)槟_本編寫者提供更大幫 助。例如，鏡頭切換能夠被自動(dòng)地檢測(cè)到以為編寫者提供光可能發(fā)生改變的時(shí)間位置。此外 能夠?yàn)殓R頭或被采樣幀的選集中的每個(gè)幀提取主色，從所述主色中能夠提出一組將與特定 鏡頭或時(shí)間間隔中的顏色相匹配的顏色。后者的例子可以是使用MPEG 7主色描述器，該描 述器為一幀給出多達(dá)八種顏色。為了確定這種(MPEG 7主色)描述器的平均值，可以使用在 發(fā)明人為 Marc A. Peters, Pedro Μ· F. S. Fonseca、名禾爾為"Dominant color descriptors，， 的專利申請(qǐng)PH006244(ID685945)中提出的方法。當(dāng)然還能使用用于選擇顏色的其他方法， 例如直方圖。已經(jīng)知道的是，視頻序列中的閃光能夠影響任何內(nèi)容分析過(guò)程的結(jié)果。閃光的現(xiàn) 象能夠生成錯(cuò)誤的鏡頭切換，而且它能夠非常強(qiáng)烈地影響出現(xiàn)閃光的特定幀的顏色，給出 任何顏色分析的不正確的結(jié)果，這些顏色是相關(guān)聯(lián)的。尤其是對(duì)于特定類型的內(nèi)容，例如帶 有許多爆炸的動(dòng)作電影，或者帶有許多搖曳燈光的電影，內(nèi)容分析過(guò)程的結(jié)果能夠與腳本 編寫者期望的相去甚遠(yuǎn)。通過(guò)與視頻內(nèi)容中的閃光準(zhǔn)確對(duì)應(yīng)的分析算法將生成鏡頭切換。
為了解決這個(gè)已知的問(wèn)題，美國(guó)專利5642294描述了一種基于比較幀間強(qiáng)度差的 鏡頭切換檢測(cè)方法。這份文檔描述了聲稱要杜絕將視頻中的閃光作為切換的錯(cuò)誤檢測(cè)的可 能性的系統(tǒng)。假設(shè)包括閃光的圖像數(shù)據(jù)序列是由圖像A，B，*，D，E，...組成的并且由于閃 光的原因圖像*比其他圖像A，B，D和E更亮，圖像A和B之間的距離d(A，B)很小，但是由 于圖像*的強(qiáng)度等級(jí)比圖像B和D的強(qiáng)度等級(jí)要高，所以距離d(B，*)和d(*，D)具有較大 的值。一些慣用方法根據(jù)距離d(B，*)是否大于某個(gè)閾值來(lái)決定切換點(diǎn)，并因此具有將閃光 錯(cuò)誤地檢測(cè)為切換點(diǎn)的缺點(diǎn)。距離d(B，*)在切換點(diǎn)處也很大，但是閃光的特征就是距離 d(*，D)具有較大的值；這個(gè)特性的使用將允許在切換點(diǎn)和閃光之間加以區(qū)分，并因此將防 止對(duì)切換點(diǎn)的誤識(shí)別。但是，這種方法有一些缺陷。首先，閃光不一定僅在單個(gè)幀顯現(xiàn)，在許多情況下需 要兩或三幀來(lái)逐漸增加(或減少)到光源/從光源逐漸增加(或減少)。幀間強(qiáng)度的變化 單獨(dú)來(lái)看不一定是特別大的。其次，當(dāng)考慮各幀之間的運(yùn)動(dòng)問(wèn)題時(shí)，這份文檔的原理，如上 所述，就不再有效了。這是因?yàn)樵陂W光之后，所述幀就被作為已經(jīng)返回到該閃光之前的狀態(tài) 來(lái)處理。但對(duì)于一些顯著的運(yùn)動(dòng)而言情況就不是這樣了。確實(shí)，當(dāng)考慮到閃光能夠持續(xù)比 一幀更長(zhǎng)的時(shí)候，這個(gè)問(wèn)題將變得更嚴(yán)重，因?yàn)槔鄯e的運(yùn)動(dòng)將產(chǎn)生更大的影響。再次，在這 份文檔中的閃光檢測(cè)是基于帶有閃光的幀是更亮的幀這個(gè)概念的。當(dāng)然這不總是正確的。 例如，簡(jiǎn)單地拿個(gè)漂亮的白色背景并且在其上閃爍深藍(lán)色的光。該圖像幀將不會(huì)變得更亮， 但那里已經(jīng)出現(xiàn)了閃光。類似地，美國(guó)專利6014183涉及一種監(jiān)控?cái)?shù)字化視頻數(shù)據(jù)流并檢測(cè)在視頻流中何 時(shí)發(fā)生場(chǎng)景改變的設(shè)備。該設(shè)備通過(guò)從幀到幀地比較幀中的每個(gè)像素顏色來(lái)檢測(cè)場(chǎng)景改 變。當(dāng)從一幀到下一幀中檢測(cè)到像素顏色的高程度改變時(shí)，這就被識(shí)別為場(chǎng)景改變。該設(shè)備被這樣配置，以使得通過(guò)復(fù)合顏色數(shù)據(jù)越過(guò)靈敏度邊界不一定導(dǎo)致由軟件 程序檢測(cè)到的場(chǎng)景改變。閾值命令可以被用于檢查跟在超過(guò)靈敏度界限的幀之后的預(yù)確數(shù) 量的幀。例如，在顏色數(shù)據(jù)超過(guò)靈敏度邊界之一以后(潛在的場(chǎng)景改變)，場(chǎng)景檢測(cè)程序可 以將下十個(gè)幀與所述初始幀(在越過(guò)靈敏度邊界的所述幀之前的幀)做比較，以確定場(chǎng)景 是否已經(jīng)真地改變。如果當(dāng)與這個(gè)初始幀做比較時(shí)，在閾值窗口之內(nèi)的多數(shù)幀都不超過(guò)靈 敏度邊界，那么就很可能沒(méi)有場(chǎng)景改變并且視頻數(shù)據(jù)流中沒(méi)有引起復(fù)合顏色值數(shù)據(jù)瞬間超 過(guò)靈敏度界限(例如視頻中的閃光燈泡熄滅，但場(chǎng)景不改變)的孤立事件。這項(xiàng)對(duì)顏色做 比較的技術(shù)的主要問(wèn)題是在一些幀以后，一些運(yùn)動(dòng)能夠劇烈地改變顏色，并且在被檢查的 幀中的任意孤立事件都將不能像這樣被檢測(cè)到。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是基于現(xiàn)有技術(shù)進(jìn)行改進(jìn)。根據(jù)本發(fā)明的第一方面，提供了一種處理圖像信號(hào)的方法，包括接收包括一系列 幀的圖像信號(hào)，對(duì)每個(gè)幀執(zhí)行光源檢測(cè)，以及當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀η處檢測(cè)長(zhǎng)為m個(gè)幀的 閃光在幀n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，在幀n+m-1和幀n+m 中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，以及在幀n-1和幀n+m中檢測(cè)到的光源之 間的差異低于第二預(yù)定閾值。根據(jù)本發(fā)明的第二方面，提供了一種處理圖像信號(hào)的系統(tǒng)，包括被設(shè)置成接收包
4括一系列幀的圖像信號(hào)的接收器，以及處理器，該處理器被設(shè)置成對(duì)每個(gè)幀執(zhí)行光源檢測(cè)， 以及當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀η處檢測(cè)長(zhǎng)為m個(gè)幀的閃光在幀n-1和幀η中檢測(cè)到的光源 之間的差異高于第一預(yù)定閾值，在幀n+m-1和幀n+m中檢測(cè)到的光源之間的差異高于第一 預(yù)定閾值，以及在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。根據(jù)本發(fā)明的第三方面，提供了一種計(jì)算機(jī)可讀介質(zhì)上的用于處理圖像信號(hào)的計(jì) 算機(jī)程序產(chǎn)品，該產(chǎn)品包括指令用于接收包括一系列幀的圖像信號(hào)，對(duì)每個(gè)幀執(zhí)行光源檢 測(cè)，以及當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀η處檢測(cè)長(zhǎng)為m個(gè)幀的閃光在幀n-1和幀η中檢測(cè)到的光 源之間的差異高于第一預(yù)定閾值，在幀n+m-1和幀n+m中檢測(cè)到的光源之間的差異高于第 一預(yù)定閾值，以及在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。出于本發(fā)明的原因，可以用不受處理過(guò)的幀中的運(yùn)動(dòng)或者處理過(guò)的幀中由物體的 運(yùn)動(dòng)導(dǎo)致的顏色變化所影響的魯棒的方法來(lái)在視頻序列中準(zhǔn)確并且高效地檢測(cè)閃光。視頻 內(nèi)容中的閃光能夠影響許多應(yīng)用的結(jié)果。如上所述，閃光能夠產(chǎn)生不正確的鏡頭切換。此 外，鏡頭或場(chǎng)景的(平均)顏色能夠因?yàn)殚W光的結(jié)果而被改變。這種改變常常是不想要的。 并且，該提議還檢測(cè)閃光的種類，即，它的顏色和它的強(qiáng)度。這種信息對(duì)諸如確定鏡頭中的 顏色或者閃光的顏色那樣的應(yīng)用來(lái)說(shuō)是非常有用的。這種信息例如對(duì)amBX腳本編寫者來(lái) 講是非常重要的。有利地，被檢測(cè)的幀的光源包括顏色空間中的點(diǎn)。確定幀中的光源能夠使用諸如 主成分分析(PCA)那樣的算法來(lái)執(zhí)行，該分析將幀內(nèi)像素的光估計(jì)提供為一矢量。這個(gè)算 法的輸出能夠被配置成顏色空間中的3維矢量，該矢量能夠隨后被用于計(jì)算顏色空間中的 點(diǎn)，該點(diǎn)隨后被用在對(duì)兩個(gè)幀之間的光源改變做決定時(shí)的比較過(guò)程中。被檢測(cè)的光源是在 幀中像素的主要成分矢量上的點(diǎn)。優(yōu)選地，本發(fā)明進(jìn)一步包括保持η個(gè)幀的查找表，其中在幀n-1和幀η中檢測(cè)到的 光源之間的差高于第一預(yù)定閾值。這極大地簡(jiǎn)化了幀序列中的閃光檢測(cè)。每當(dāng)在兩個(gè)連續(xù) 幀之間的光源的大改變被檢測(cè)到(高于第一閾值)，隨后那個(gè)幀η被作為幀數(shù)目存儲(chǔ)到查找 表中。這意味著每當(dāng)在兩個(gè)連續(xù)幀之間的光源中檢測(cè)到另一大改變，隨后這就能回過(guò)來(lái)與 在查找表中存儲(chǔ)的較早的幀做比較以確定是否是閃光的開(kāi)端。只有當(dāng)閃光已經(jīng)結(jié)束時(shí)才能 檢測(cè)到它們，返回去查找閃光的開(kāi)端。理想地，本方法進(jìn)一步包括如果被檢測(cè)閃光的幀長(zhǎng)度(值m)高于預(yù)定數(shù)字，則對(duì) 閃光的檢測(cè)進(jìn)行抑制。為了避免對(duì)虛假閃光的檢測(cè)，在閃光的開(kāi)端和結(jié)束之間的最大可允 許間隔(以幀為單位)上設(shè)置限制。該預(yù)定數(shù)字可以是例如五。這意味著如果在幀η處檢 測(cè)到長(zhǎng)度m為八個(gè)幀的閃光，那么這個(gè)閃光就被當(dāng)作錯(cuò)誤結(jié)果而被丟棄。閃光的檢測(cè)由此 被與這個(gè)數(shù)據(jù)集相關(guān)聯(lián)地抑制了。


現(xiàn)在將參照附圖，僅以舉例的方式來(lái)描述本發(fā)明的實(shí)施例，其中圖1是視頻信號(hào)的示意圖，圖2是圖像幀的視圖，圖3是圖2的圖像幀的用于比較的另一視圖，帶有顯示在幀的周圍的預(yù)測(cè)光源，圖4和5是顏色空間的示圖，
圖6是一系列圖像幀的示意圖，圖7是處理信號(hào)的方法的流程圖，以及圖8是處理信號(hào)的系統(tǒng)的示意圖。
具體實(shí)施例方式圖1示出圖像信號(hào)10，該信號(hào)包括一系列12的幀14。圖像信號(hào)10是視頻信號(hào)， 例如用于電視廣播環(huán)境中的具有每秒二十五個(gè)幀14的信號(hào)10。下面公開(kāi)的是一種處理信 號(hào)10的方法，該方法將檢測(cè)在信號(hào)10中的閃光。這種閃光可以例如由在幀14內(nèi)捕獲的內(nèi) 容中的爆炸或者被擦出的火柴所引起。因?yàn)樵S多諸如鏡頭檢測(cè)和顏色檢測(cè)那樣的已知技術(shù) 都受到閃光存在的影響，而且如果閃光檢測(cè)沒(méi)有被成功執(zhí)行的話將返回錯(cuò)誤的結(jié)果，所以 對(duì)閃光的檢測(cè)是有用的。在所述系列12中標(biāo)定的閃光是通過(guò)參考數(shù)字16示出的。這個(gè)閃 光16始于幀n，并且持續(xù)m個(gè)幀。在這種情況下m等于四。為了檢測(cè)一序列12的幀14中閃光的存在，隨后需要對(duì)每個(gè)幀14執(zhí)行光源估 計(jì)。因此，當(dāng)檢測(cè)所述序列12中的閃光時(shí)，就需要確定進(jìn)入場(chǎng)景的光源。對(duì)所述處理中的 這個(gè)步驟，可能使用已知技術(shù)，主成分分析(PCA)。PCA的細(xì)節(jié)的例子能夠在K. V. Mardia, J.T.Kent, and J. Μ· Bibby 的“ Multivariate Analysis，，(Academic Press, London, 1979) 中找到。為了描述這個(gè)概念，將給出簡(jiǎn)短的介紹來(lái)作為背景信息。圖2示出圖像幀14的例子。在所使用的光估計(jì)過(guò)程背后的構(gòu)想是，在圖像的白色 部分上進(jìn)入圖像的光將被反射。根據(jù)亮度，圖像中的所有像素被光源的顏色進(jìn)行著色?？紤] 到圖像幀14中的所有像素，并且在(線性)RGB空間中的3維立方體中觀看它們，產(chǎn)生了一 3維空間，所述像素位于所述空間中。被解碼的視頻流的RGB值是伽瑪校正值，這些值不是 線性的。為了估計(jì)線性光，這些值首先被變換成線性RGB。伽瑪校正的細(xì)節(jié)能夠在Charles Poynton 的"Digital Video and HDTV，，中找到。上面提及的PCA算法使用這個(gè)數(shù)據(jù)并且進(jìn)行下列變換從作為原始點(diǎn)的平均值開(kāi) 始，所述各軸被變換成三條新軸以使得第一軸(主成分)負(fù)責(zé)該組像素中的大多數(shù)變化。也 可以將所述主軸作為最小平方估計(jì)的結(jié)果。最后的步驟是估計(jì)主軸上與實(shí)際光源相對(duì)于的 點(diǎn)。這能夠通過(guò)將像素投射到主軸上以及檢查哪里的貢獻(xiàn)是顯著的來(lái)完成(即避免采用單 個(gè)像素，因?yàn)樗赡苁怯捎诰幋a的原因才在那里)。圖3示出圖像幀14的結(jié)果，光源18示出為圍繞幀14的帶。需要注意的是光源本 身在圖像中不可見(jiàn)。此外需要注意的是這還可以對(duì)圖像幀14的部分來(lái)完成，以找到對(duì)于感 興趣區(qū)域的光源。在沒(méi)有可用光源的情況下，該算法將產(chǎn)生圖像的最占主導(dǎo)的顏色之一，這 是非常合理的。不幸的是，因?yàn)閳D2和3是用黑色和白色來(lái)呈現(xiàn)的，所以應(yīng)當(dāng)解釋的是照亮 舞臺(tái)上的表演者的聚光燈的光源是淺藍(lán)色的，并且這是已經(jīng)通過(guò)在幀14上執(zhí)行光源18檢 測(cè)的處理而確定的顏色。對(duì)組成信號(hào)10的所述系列12中的每個(gè)幀14執(zhí)行這個(gè)確定光源 18的處理。圖4和5示出圖2和3的幀14內(nèi)的各像素的顏色空間20的表示。該信息用于計(jì) 算幀內(nèi)的光源。首先，執(zhí)行PCA變換。一旦這個(gè)變換已經(jīng)被執(zhí)行，則在圖5的顏色空間20 中示出3維矢量22，該矢量是對(duì)圖像幀14中的主成分的計(jì)算。對(duì)于幀14內(nèi)的各像素來(lái)說(shuō)， PCA算法的輸出(矢量22)是穩(wěn)定的結(jié)果。這個(gè)矢量22被用作計(jì)算幀14內(nèi)光源18的一種方式。在一個(gè)實(shí)施例中，被檢測(cè)到的幀14內(nèi)光源是3維顏色空間20中的一點(diǎn)。該點(diǎn)被確 定成矢量22離開(kāi)由幀14內(nèi)的像素串定義的空間的位置，或者可以是所述串內(nèi)最后的像素， 其或者在矢量22上或者在距離矢量的起點(diǎn)最遠(yuǎn)的點(diǎn)處最接近于矢量22 (在預(yù)先定義的邊 界之內(nèi))。所確定的光源也可以是從所述起點(diǎn)(或者從幀14中的各像素的平均值)到如上 所確定的點(diǎn)的方向。一旦幀14的光源被確定好，就能夠執(zhí)行閃光檢測(cè)了。閃光檢測(cè)是基于光源估計(jì)的 結(jié)果而被執(zhí)行的。如上所述，對(duì)于幀的平均RGB值、主成分(歸一化到長(zhǎng)度1)的方向、以及 與其他2個(gè)軸相比對(duì)主成分變化的貢獻(xiàn)，PCA算法給出了非常穩(wěn)定的結(jié)果。但是，實(shí)際光源 的估計(jì)給出了關(guān)于光源的實(shí)際RGB值的信息。圖6示出了幀14的序列12的例子?？紤]到幀14的這個(gè)序列12，通過(guò)比較序列中 幀之間的差異，如果滿足下列標(biāo)準(zhǔn)，那么像下面這樣對(duì)幀η處的長(zhǎng)度為m的閃光進(jìn)行檢測(cè)是 可能的-幀n-1和幀η的光源差異顯著，-幀η+m-l和幀n+m的光源差異顯著，以及-幀n-1和幀n+m的光源非常類似。這三條標(biāo)準(zhǔn)在該圖中通過(guò)箭頭示出，其指出了哪些幀14被一起做比較，以及在各 自幀中檢測(cè)到的光源是否應(yīng)當(dāng)有差異或者是類似的。在幀序列中，η和m的值例如可以是 η = 20，并且m = 3。這意味著閃光在幀20處被檢測(cè)到，該閃光持續(xù)了 3個(gè)幀。幀19和20 具有顯著不同的光源。幀22和23具有顯著不同的光源，并且?guī)?9和23具有類似的光源。 組成閃光的幀，即幀20，21和22不一定具有類似的光源，這取決于閃光在幀期間是否增加 或者保持恒定。為了量化相關(guān)概念“差異”和“相似性”，提供了兩個(gè)不同的閾值來(lái)測(cè)量光源以通過(guò) 算法確定是否滿足所定義的標(biāo)準(zhǔn)。在幀n-1和幀η中檢測(cè)到的光源之間的差異必須高于第 一預(yù)定閾值并且類似地，在幀η+m-l和幀n+m中的檢測(cè)到的光源之間的差異也必須高于第 一預(yù)定閾值。在幀n-1和幀n+m中的檢測(cè)到的光源之間的差異必須低于第二預(yù)定閾值。使用來(lái)自PCA算法的信息，能夠輕易地定義光源之間的距離量度，例如在RGB值之 間的歐幾里得距離以及在軸方向之間的角度。閾值被用于指出改變是否顯著。幀的被檢測(cè) 到的光源包括顏色空間中的點(diǎn)。下表示出三個(gè)連續(xù)幀的一系列值
幀1幀2幀3R188.725128.333188.725G214. 344170.598213. 744B246. 433253. 512246.433R_平均10.568810.937710.5992
7 在這個(gè)表中，中間三行給出了每個(gè)幀中像素的平均值。如所示的那樣，按0到255 的尺度，這些值趨向?yàn)楹谏缭S多電影中常見(jiàn)的那樣，因?yàn)榇罅康膸呛谏鲗?dǎo)的。主 導(dǎo)為黑色的幀中的小部分亮色將不太影響平均值。但是，一旦PCA算法被用于產(chǎn)生(圖5 的矢量22所示那種類型的)主要矢量，那么就通過(guò)該表的頂部三行來(lái)表示光源確定(在一 個(gè)實(shí)施例中，該光源是矢量上的一點(diǎn))，該表給出了被檢測(cè)光源的RGB值。如上所述，這個(gè)值 是在PCA矢量上的點(diǎn)，因?yàn)槟莻€(gè)矢量離開(kāi)了 3維空間中表示幀中像素的像素“云”。在底部 三行，所述角度是通過(guò)由從平均RGB值到頂部三行的空間中的RGB點(diǎn)的方向得出的角度。上表給出了來(lái)自三個(gè)幀的光源檢測(cè)的值。該估計(jì)的光源從一些灰色的/淺藍(lán)色的 值(R = 188，G = 214，B = 246)變到純藍(lán)色值(R = 128，G = 170，B = 253)并再次變回 去。同樣，幀的平均顏色也改變。類似地，方向也顯著地改變，角度在(R_dir = 0.41，G_dir =0. 54，B_dir = 0. 72)到(0. 22，0. 40,0. 88)之間大約是19度。所以角度的改變是明顯 的，并且還很明顯的是第一和第三幀之間的角度是最小的。在這種情況下，將檢測(cè)到η = 2 且m = 1的閃光，該閃光始于幀2 (η值)并且持續(xù)僅一個(gè)幀(m值)。而且，有利的是對(duì)閃光能夠持續(xù)多長(zhǎng)應(yīng)當(dāng)有界限，例如達(dá)到幾個(gè)幀。如果檢測(cè)到的 閃光的幀長(zhǎng)度，值m，高于預(yù)定數(shù)字，則通過(guò)對(duì)閃光的檢測(cè)進(jìn)行抑制來(lái)實(shí)現(xiàn)。這防止檢測(cè)到虛 假閃光。為了檢測(cè)信號(hào)10的幀14中的閃光，圖7總結(jié)了處理信號(hào)10的方法的一個(gè)實(shí)施。 應(yīng)當(dāng)理解的是，本方法這樣被配置以使得閃光的末尾被檢測(cè)到，并且本方法返回去查看之 前的幀14以查找閃光的開(kāi)端。為了輔助這個(gè)末尾，所述處理包括保持具有η個(gè)幀的查找表， 其中幀η-1和幀η中的檢測(cè)到的光源之間的差異高于第一預(yù)定閾值。在流程圖中，第一步是在步驟Sl處檢測(cè)第一幀的光源。該處理隨后通過(guò)步驟S2 和S3持續(xù)循環(huán)。在步驟S2處完成對(duì)下一幀中的光源的檢測(cè)。在步驟S3處將當(dāng)前幀與緊 鄰的前一幀的光源的值做比較。如果在兩個(gè)值之間沒(méi)有顯著差異，則該處理返回到步驟S2。 但如果檢測(cè)到兩個(gè)值中的顯著差異，則該處理移動(dòng)到步驟S4。在步驟S4處，將當(dāng)前幀的數(shù) 字存儲(chǔ)在查找表中，作為閃光的潛在開(kāi)端或末尾。該處理隨后移動(dòng)到步驟S5，其中基于存儲(chǔ) 在查找表中的之前的幀做比較。當(dāng)前幀的光源被與緊鄰存儲(chǔ)在查找表中的幀之前的那些幀 中的光源做比較以確定它們之間的差異是否低于第二閾值(類似度)。如果是則檢測(cè)到閃 光，如果不是則沒(méi)有檢測(cè)到閃光，并且該處理繼續(xù)在整個(gè)幀14中循環(huán)。閃光檢測(cè)能夠被用于一些處理。例如，它能夠被用于改進(jìn)鏡頭切換檢測(cè)。強(qiáng)烈的 閃光能夠被當(dāng)作鏡頭切換。使用閃光檢測(cè)能夠消除這些虛假的鏡頭切換。該處理還能夠被用于改進(jìn)表示各幀的間隔的主色。尤其是當(dāng)在間隔中有相對(duì)較多閃光時(shí)，或者當(dāng)使用了子 采樣時(shí)，閃光對(duì)平均顏色的影響就能夠顯著改變。通過(guò)避開(kāi)屬于閃光的幀，對(duì)特定間隔的總 顏色可以給出非常準(zhǔn)確的描述。此外，檢測(cè)到的閃光本身能夠被用于在特定場(chǎng)合產(chǎn)生光效， 例如在爆炸時(shí)房間能用完美的顏色照亮。如上所述，這些應(yīng)用是為諸如amBX腳本那樣的應(yīng) 用改進(jìn)內(nèi)容分析結(jié)果的質(zhì)量的應(yīng)用。任何使用視頻中光源或者顏色信息的應(yīng)用都能從中得 到益處。圖8示出處理圖像信號(hào)10的系統(tǒng)。該系統(tǒng)包括接收器24以及處理器26，該接收 器24被設(shè)置成接收包括一系列12的幀14的圖像信號(hào)10。該處理器包括被設(shè)置成在每個(gè) 幀14上執(zhí)行光源檢測(cè)的光源檢測(cè)組件28，以及被設(shè)置成當(dāng)滿足必要標(biāo)準(zhǔn)時(shí)在幀η處檢測(cè)長(zhǎng) 為m個(gè)幀的閃光的閃光檢測(cè)組件30。如上面詳細(xì)介紹的那樣，這發(fā)生在當(dāng)在幀n-1和幀η 中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，在幀η+m-l和幀n+m中檢測(cè)到的光源之間 的差異高于第一預(yù)定閾值，以及在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù) 定閾值時(shí)。除了通過(guò)處理器26執(zhí)行閃光檢測(cè)以外，視頻信號(hào)12還在組件32處被分析并且檢 測(cè)鏡頭切換。同時(shí)，針對(duì)所述光源來(lái)分析幀14，并且還為了主色而分析幀14。光源檢測(cè)的 結(jié)果被用于檢測(cè)閃光，并且在組件34處閃光被用于移除被錯(cuò)誤地識(shí)別的鏡頭切換。最后， 對(duì)于每個(gè)鏡頭，處理器26被設(shè)置成確定總的主色，在組件36處使用鏡頭中的所有(或被子 采樣的集合的)幀的主色。使用來(lái)自組件34的信息，組件38能夠被用于確定鏡頭中的主 色。閃光檢測(cè)本身馬上就給出閃光的顏色。上面描述的檢測(cè)視頻序列中閃光的系統(tǒng)是對(duì)現(xiàn)有技術(shù)的顯著改進(jìn)。它是能夠檢測(cè) 持續(xù)多于單個(gè)幀的閃光，并且不受閃光期間的幀內(nèi)運(yùn)動(dòng)的影響的魯棒且高效的系統(tǒng)。確實(shí)， 如果實(shí)際光源正在幀中移動(dòng)，那么該處理將仍然正常運(yùn)作。甚至光源微弱時(shí)，方向?qū)@著改 變。這能夠通過(guò)在兩個(gè)幀的主成分之間的角度來(lái)測(cè)量。該處理看的是光源而不是幀差異。 光源將不會(huì)由于幀中對(duì)象運(yùn)動(dòng)或移動(dòng)的緣故而改變。
權(quán)利要求
一種處理圖像信號(hào)(10)的方法，包括 接收包括一系列(12)幀(14)的圖像信號(hào)(10)， 對(duì)每個(gè)幀(14)執(zhí)行光源檢測(cè)，以及 當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀n處檢測(cè)長(zhǎng)為m個(gè)幀的閃光(16) 在幀n 1和幀n中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值， 在幀n+m 1和幀n+m中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，以及 在幀n 1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。
2.根據(jù)權(quán)利要求1的方法，其中幀(14)被檢測(cè)到的光源包括顏色空間(20)中的點(diǎn)。
3.根據(jù)權(quán)利要求1或2的方法，并且進(jìn)一步包括保持具有η個(gè)幀的查找表，其中在幀 n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值。
4.根據(jù)權(quán)利要求1，2或3的方法，并且進(jìn)一步包括如果檢測(cè)到的閃光(16)的幀(14) 長(zhǎng)度，值m，高于預(yù)定數(shù)字，則對(duì)閃光(16)的檢測(cè)進(jìn)行抑制。
5.一種用于處理圖像信號(hào)(10)的系統(tǒng)，包括_接收器(24)，被設(shè)置成接收包括一系列(12)幀(14)的圖像信號(hào)(10)，以及 -處理器(26)，被設(shè)置成對(duì)每個(gè)幀(14)執(zhí)行光源檢測(cè)，以及當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀η 處檢測(cè)長(zhǎng)為m個(gè)幀的閃光(16)-在幀n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值， -在幀n+m-1和幀n+m中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，以及 -在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。
6.根據(jù)權(quán)利要求5的系統(tǒng)，其中幀(14)被檢測(cè)到的光源包括顏色空間(20)中的點(diǎn)。
7.根據(jù)權(quán)利要求5或6的系統(tǒng)，并且處理器(26)被進(jìn)一步設(shè)置成保持具有η個(gè)幀的查 找表，其中在幀n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值。
8.根據(jù)權(quán)利要求5，6或7的系統(tǒng)，并且處理器(26)被進(jìn)一步設(shè)置成如果檢測(cè)到的閃光 (16)的幀(14)長(zhǎng)度，值m，高于預(yù)定數(shù)字，則對(duì)閃光(16)的檢測(cè)進(jìn)行抑制。
9.一種在計(jì)算機(jī)可讀介質(zhì)上的、用于處理圖像信號(hào)(10)的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品包 括指令，用于-接收包括一系列(12)幀(14)的圖像信號(hào)(10)，-對(duì)每個(gè)幀(14)執(zhí)行光源檢測(cè)，以及-當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀η處檢測(cè)長(zhǎng)為m個(gè)幀的閃光(16)-在幀n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，-在幀n+m-1和幀n+m中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，以及-在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。
10.根據(jù)權(quán)利要求9的計(jì)算機(jī)程序產(chǎn)品，其中幀(14)被檢測(cè)到的光源包括顏色空間 (20)中的點(diǎn)。
11.根據(jù)權(quán)利要求9或10的計(jì)算機(jī)程序產(chǎn)品，并且進(jìn)一步包括用于保持具有η個(gè)幀的 查找表，其中在幀n-1和幀η中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值的指令。
12.根據(jù)權(quán)利要求9，10或11的計(jì)算機(jī)程序產(chǎn)品，并且進(jìn)一步包括用于如果檢測(cè)到的閃 光(16)的幀(14)長(zhǎng)度，值m，高于預(yù)定數(shù)字，則對(duì)閃光(16)的檢測(cè)進(jìn)行抑制的指令。
全文摘要
一種處理圖像信號(hào)的方法，包括接收包括一系列幀的圖像信號(hào)，對(duì)每個(gè)幀執(zhí)行光源檢測(cè)，以及當(dāng)滿足下列標(biāo)準(zhǔn)時(shí)在幀n處檢測(cè)長(zhǎng)為m個(gè)幀的閃光在幀n-1和幀n中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，在幀n+m-1和幀n+m中檢測(cè)到的光源之間的差異高于第一預(yù)定閾值，以及在幀n-1和幀n+m中檢測(cè)到的光源之間的差異低于第二預(yù)定閾值。
文檔編號(hào)G06T7/40GK101911121SQ200980102459
公開(kāi)日2010年12月8日 申請(qǐng)日期2009年1月12日 優(yōu)先權(quán)日2008年1月17日
發(fā)明者M·A·彼得斯 申請(qǐng)人:皇家飛利浦電子股份有限公司