彩色視頻處理系統(tǒng)和方法、以及相應(yīng)計算機程序的制作方法
【專利摘要】一種彩色視頻處理方法(200)包含：從彩色視頻的幀序列的每個幀中的背景中標出(202)對象，選擇(214)至少兩個相繼幀，從所選幀的背景中確定(216)全局顏色模板，針對每個所選幀以及針對標出的對象的顏色，以使調(diào)和顏色比原始顏色更接近全局顏色模板的方式，按照全局顏色模板確定(218)調(diào)和顏色。
【專利說明】彩色視頻處理系統(tǒng)和方法、以及相應(yīng)計算機程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及彩色視頻處理，尤其為了使彩色視頻在視覺上對觀眾具有吸引力。

【背景技術(shù)】
[0002] 彩色視頻的場景中的一些對象取決于它們的局部對比度、照度的變化，可能太顯 著（在視覺上具有吸引力），使得它們與整個場景不十分相配。
[0003] 不過，由于將產(chǎn)生的視覺不一致性，直接（基于幀）調(diào)和這樣的對象是不可想像 的。因此，當檢測到這樣的對象在一個場景內(nèi)不協(xié)調(diào)時，本發(fā)明建議從時間上平滑對象調(diào) 和。
[0004] 為了克服這個問題，N. Sawant 和 N. J. Mitra 的論文 "Color Harmonization for Videos" （Indian Conference on Computer Vision,Graphics and Image Processing，2008年）描述了產(chǎn)生調(diào)和的和使觀眾感到舒服的視頻序列的技術(shù)。
[0005] 在一種簡單做法中，分別調(diào)和視頻的幀。但是，這種解決方案引起了從一個幀到另 一個幀的視頻不一致性。
[0006] 在另一種做法中，成群地而不是分別地處理幀。確定公用顏色模板并將幀進行處 理使得它們的顏色接近公用顏色模板。
[0007] 這種方法存在可能改變巾貞的全局色魄（global color spirit)的處理整個巾貞的缺 點。調(diào)和的幀因此顯著不同于原始幀。
[0008] 此外，專利申請公告US 2010/092085A1描述了調(diào)和幀序列的方法。在前景和背景 之間劃分每個幀。然后，在幀的前景當中選擇一個參考前景，并利用這個參考前景調(diào)和其它 前景。類似地，在幀的背景當中選擇一個參考背景，并利用這個參考背景調(diào)和其它背景。
[0009] 這種方法存在未考慮到每個幀內(nèi)，S卩，幀的前景與背景之間的調(diào)和的缺點。
[0010] 因此，需要一種能夠通過對原始彩色視頻保持忠誠和從一個幀到另一個幀保持一 致性來調(diào)和彩色視頻的幀序列的每個幀的彩色視頻處理方法。


【發(fā)明內(nèi)容】

[0011] 本發(fā)明提出了一種彩色視頻處理方法，其包含：
[0012]-從幀序列的每個幀中的背景中標出對象；
[0013] -選擇至少兩個相繼幀；
[0014] -從所選幀的背景中確定全局顏色模板；以及
[0015] -針對每個所選幀以及針對標出的對象的顏色，以使調(diào)和顏色比原始顏色更接近 全局顏色模板的方式，按照全局顏色模板確定調(diào)和顏色。
[0016] 可選的是，標出對象包含定義包圍該對象的窗口。
[0017] 可選的是，從每個幀中的背景中標出對象包含：
[0018]-對于該序列接在第一幀之后的每個幀，從（多個）先前幀開始跟蹤該對象并標出 跟蹤的對象。
[0019] 可選的是，該方法進一步包含，對于該序列的每個幀：
[0020] -將該幀的每個像素與顯著值相關(guān)聯(lián)；
[0021] -從顯著值中確定標出對象的吸引力；
[0022] -確定標出對象的吸引力是否滿足指示標出對象協(xié)調(diào)的條件，該條件在下文中被 稱為"調(diào)和條件"；以及
[0023] -如果標出對象的吸引力不滿足調(diào)和條件，則從背景中確定幀顏色模板，該幀在下 文中被稱為"非協(xié)調(diào)幀"，
[0024] 其中每個所選幀都是非協(xié)調(diào)幀，并且從所選幀的顏色模板中確定全局顏色模板。
[0025] 可選的是，該吸引力包含標出對象的像素的顯著值的均值和偏差。
[0026] 可選的是，該調(diào)和條件包含：該均值小于預(yù)定義的均值閾值并且該偏差小于預(yù)定 義的偏差閾值。
[0027] 可選的是，選擇至少兩個相繼幀包含：
[0028] -確定相繼非協(xié)調(diào)幀在數(shù)量上是否等于或大于預(yù)定義的閾值，該預(yù)定義的閾值至 少等于-;
[0029] -如果是這樣的話，則選擇相繼非協(xié)調(diào)幀。
[0030] 可選的是，從幀的背景中確定幀顏色模板包含：
[0031] -在預(yù)定義的顏色模板當中選擇一個，每個預(yù)定義的顏色模板指示循環(huán)顏色序列 中的至少一個顏色范圍；
[0032] _確定巾貞模板偏移；
[0033]-將幀模板偏移應(yīng)用于所選預(yù)定義的顏色模板的每個顏色范圍，以便獲得幀顏色 模板。
[0034] 可選的是，確定全局顏色模板包含：
[0035] -在預(yù)定義的顏色模板當中選擇一個，每個預(yù)定義的顏色模板指示循環(huán)顏色序列 中的至少一個顏色范圍；
[0036] -確定全局模板偏移；
[0037] -將全局模板偏移應(yīng)用于所選預(yù)定義的顏色模板的每個顏色范圍，以便獲得全局 顏色模板。
[0038] 可選的是，從所選幀的幀顏色模板中確定全局顏色模板包含：
[0039] -選擇所選幀的預(yù)定義的顏色模板；以及
[0040] -從所選巾貞的巾貞模板偏移中確定全局模板偏移。
[0041] 可選的是，該全局模板偏移是該巾貞模板偏移的均值。
[0042] 可選的是，選擇預(yù)定義的顏色模板包含：
[0043]-選擇最常用于獲取所選幀的幀顏色模板的預(yù)定義的顏色模板。
[0044] 本發(fā)明進一步提出了一種包含當被計算機執(zhí)行時，使計算機實現(xiàn)按照本發(fā)明的彩 色視頻處理方法的指令的計算機程序。
[0045] 本發(fā)明進一步提出了一種彩色視頻處理系統(tǒng)，其包含：
[0046] -從幀序列的每個幀中的背景中標出對象的組件；
[0047] -選擇至少兩個相繼幀的組件；
[0048]-從所選幀的背景中確定全局顏色模板的組件；
[0049] -針對每個所選幀以及針對標出的對象的顏色，以使調(diào)和顏色比原始顏色更接近 全局顏色模板的方式，按照全局顏色模板確定調(diào)和顏色的組件。

【專利附圖】

【附圖說明】
[0050] 現(xiàn)在將只通過舉例的方式以及參考附圖描述本發(fā)明的實施例。
[0051] 圖1例示了彩色視頻處理系統(tǒng)；
[0052] 圖2例示了，例如，通過圖1的彩色視頻處理系統(tǒng)實現(xiàn)的彩色視頻處理方法；
[0053] 圖3例示了可以用在圖2的彩色視頻處理方法中的預(yù)定義的顏色模板；以及
[0054] 圖4例示了實現(xiàn)圖2的彩色視頻處理方法的簡單例子。

【具體實施方式】
[0055] 參考圖1，現(xiàn)在描述形成本發(fā)明的示例性實施例的彩色視頻處理系統(tǒng)100。
[0056] 彩色視頻處理系統(tǒng)100包含計算機102,該計算機102包括中央處理單元104、存 儲器106和包括，例如，顯示設(shè)備、鍵盤和鼠標的人機接口 108。
[0057] 彩色視頻處理系統(tǒng)100進一步包含存儲在存儲器106中的計算機程序110。計算 機程序110包含當被計算機102,尤其被中央處理單元104執(zhí)行時，使計算機102實現(xiàn)參考 圖2所述的彩色視頻處理方法的指令。
[0058] 彩色視頻處理系統(tǒng)100進一步包含存儲在存儲器106中的彩色視頻112。彩色視 頻112包含旨在一個接著一個地顯示在諸如人機接口 108的顯示設(shè)備那樣的顯示設(shè)備上的 連續(xù)幀。每個幀包含像素，每個像素具有顏色。在所述的例子中，像素的顏色用色調(diào)值表示。
[0059] 參考圖2,現(xiàn)在描述圖1的彩色視頻處理系統(tǒng)100實現(xiàn)的并且形成本發(fā)明的示例性 實施例的彩色視頻處理方法200。在所述的例子中，如下步驟由執(zhí)行計算機程序110的指令 的計算機102執(zhí)行。
[0060] 計算機102針對彩色視頻112的幀序列的每個幀進行第一路徑。該幀序列可以是 整個彩色視頻112。第一路徑包含如下步驟：
[0061] 在步驟202期間，計算機102從幀中的背景中標出對象。
[0062] 在所述的例子中，步驟202包含定義包圍該對象的窗口，例如，長方形窗口。更進 一步，在所述的例子中，步驟202包含，對于該序列的第一幀，計算機102通過人機接口 108 從用戶接收指令以標出對象，以及對于該序列接在第一幀之后的每個幀，計算機102從一 個或幾個先前的幀開始自動跟蹤該對象并自動標出跟蹤的對象。這種實現(xiàn)的一個例子描述 在 B. D. Lucas 和 T. Kanade 的論文 "An Iterative Image Registration Technique with an Application To Stereo Vision" （Joint Conference on Artificial Intelligence, 第674至679頁，1981年）中。這篇論文描述了自動檢測具有足以可靠跟蹤它們的紋理的 一組稀疏特征點的"KLT算法"。隨后，通過對每個點估計使中心在當前特征點位置和平移 后位置上的窗口之間的總平方差的差異最小的平移來跟蹤檢測點。
[0063] 在步驟204期間，計算機102通過將幀的每個像素與顯著值相關(guān)聯(lián)來確定幀的顯 著圖。例如，這可以按照描述在專利申請公告EP 1695288中的方法來實現(xiàn)。所述方法創(chuàng)建 利用從0到255的數(shù)值描繪視覺上最具吸引力的像素的顯著圖。它基于視覺系統(tǒng)的模擬。
[0064] 在步驟206期間，計算機102從標出對象的顯著圖中，S卩，在所述的例子中，從包圍 該對象的窗口內(nèi)部的像素中確定標出對象MO的吸引力。更進一步，在所述的例子中，與背 景的顯著值無關(guān)地，即，不考慮那些數(shù)值地實現(xiàn)標出對象MO的吸引力的確定。
[0065] 在所述的例子中，標出對象的吸引力包含標出對象的像素的顯著值的均值和偏 差。
[0066] 在步驟208期間，計算機102確定標出對象MO的吸引力是否滿足指示標出對象MO 在幀中協(xié)調(diào)的條件，該條件在下文中被稱為"調(diào)和條件"。
[0067] 在所述的例子中，該調(diào)和條件包含：該均值小于預(yù)定義的均值閾值和該偏差小于 預(yù)定義的偏差閾值。
[0068] 在步驟210期間，如果標出對象MO的吸引力不滿足調(diào)和條件，則計算機102與標 出對象的顏色無關(guān)地從幀的背景中確定幀顏色模板FCT。一般說來，顏色模板指示顏色序列 中的至少一個顏色范圍。在所述的例子中，該顏色模板是循環(huán)的。當其所有顏色被限定在顏 色模板內(nèi)時，即，當其所有顏色屬于顏色模板的一個顏色范圍時，假設(shè)一個幀是協(xié)調(diào)的。在 下文中，將包括吸引力不滿足調(diào)和條件的標出對象MO的幀稱為"非協(xié)調(diào)幀"。
[0069] 在所述的例子中，步驟210首先包含在預(yù)定義的顏色模板PCT中選擇一個模板，并 確定作為如下文所述，旨在移動所選預(yù)定義的顏色模板PCT的每個顏色范圍的數(shù)值的幀模 板偏移FTS。
[0070] 在所述的例子中，選擇預(yù)定義的顏色模板PCT和確定幀模板偏移FTS包含，例如， 在HSV(色調(diào)-飽和度-數(shù)值）空間中確定幀的背景的顏色直方圖。例如，該顏色直方圖等 于通過飽和度和數(shù)值加權(quán)的歸一化色調(diào)分布（從HSV顏色模型的意義上來講）。在所述的 例子中，從如下方程中計算顏色直方圖：

【權(quán)利要求】
1. 一種彩色視頻處理方法（200)，包含： -從峽序列的每個峽中的背景中標出（202)對象， -選擇（214)至少兩個相繼中貞， -從所選峽的背景中確定（216)全局顏色模板， -針對每個所選峽W及針對標出的對象的顏色，W使調(diào)和顏色比原始顏色更接近全局 顏色模板的方式，按照全局顏色模板確定（218)調(diào)和顏色。
2. 按照權(quán)利要求1所述的彩色視頻處理方法（200)，進一步包含按照所述相應(yīng)調(diào)和顏 色修改標出對象的所述顏色。
3. 按照權(quán)利要求1或2所述的彩色視頻處理方法（200)，其中標出（202)對象包含定 義包圍該對象的窗口。
4. 按照權(quán)利要求1到3的任何一項所述的彩色視頻處理方法（200)，其中從每個峽中 的背景中標出（202)對象包含： -對于該序列接在第一峽之后的每個峽，從先前峽的一個或多個開始跟蹤該對象并標 出跟蹤的對象。
5. 按照權(quán)利要求1到4的任何一項所述的彩色視頻處理方法（200)，進一步包含，對于 該序列的每個巾貞： -將該峽的每個像素與顯著值相關(guān)聯(lián)（204)， -從顯著值中確定（206)標出對象的吸引力， -確定（208)標出對象的吸引力是否滿足指示標出對象協(xié)調(diào)的條件，該條件在下文中 被稱為"調(diào)和條件"， -如果標出對象的吸引力不滿足調(diào)和條件，則從背景中確定（210)峽顏色模板，該峽在 下文中被稱為"非協(xié)調(diào)峽"， 其中每個所選峽都是非協(xié)調(diào)峽，并且其中從所選峽的顏色模板中確定全局顏色模板。
6. 按照權(quán)利要求5所述的彩色視頻處理方法（200)，其中該吸引力包含標出對象的像 素的顯著值的均值和偏差。
7. 按照權(quán)利要求6所述的彩色視頻處理方法（200)，其中該調(diào)和條件包含：該均值小于 預(yù)定義的均值闊值和該偏差小于預(yù)定義的偏差闊值。
8. 按照權(quán)利要求5到7的任何一項所述的彩色視頻處理方法（200)，其中選擇至少兩 個相繼峽包含： -確定相繼非協(xié)調(diào)峽在數(shù)量上是否等于或大于預(yù)定義的闊值，該預(yù)定義的闊值至少等 于二， -如果是該樣的話，則選擇相繼非協(xié)調(diào)峽。
9. 按照權(quán)利要求5到8的任何一項所述的彩色視頻處理方法（200)，其中從峽的背景 中確定（210)峽顏色模板包含： -在預(yù)定義的顏色模板當中選擇一個，每個預(yù)定義的顏色模板指示循環(huán)顏色序列中的 至少一個顏色范圍， -確定巾貞模板偏移， -將峽模板偏移應(yīng)用于所選預(yù)定義的顏色模板的每個顏色范圍，W便獲得峽顏色模板。
10. 按照權(quán)利要求1到9的任何一項所述的彩色視頻處理方法（200)，其中確定（216) 全局顏色模板包含： -在預(yù)定義的顏色模板當中選擇一個，每個預(yù)定義的顏色模板指示循環(huán)顏色序列中的 至少一個顏色范圍， -確定全局模板偏移， -將全局模板偏移應(yīng)用于所選預(yù)定義的顏色模板的每個顏色范圍，W便獲得全局顏色 模板。
11. 按照權(quán)利要求9和10所述的彩色視頻處理方法（200)，其中從所選峽的峽顏色模 板中確定全局顏色模板包含： -選擇所選峽的預(yù)定義的顏色模板， -從所選峽的峽模板偏移中確定全局模板偏移。
12. 按照權(quán)利要求11所述的彩色視頻處理方法（200)，其中該全局模板偏移是該峽模 板偏移的均值。
13. 按照權(quán)利要求11或12所述的彩色視頻處理方法（200)，其中選擇預(yù)定義的顏色模 板包含： -選擇最常用于獲取所選峽的峽顏色模板的預(yù)定義的顏色模板。
14. 一種包含當被計算機執(zhí)行時，使計算機實現(xiàn)按照權(quán)利要求1到13的任何一項所述 的彩色視頻處理方法（200)的指令的計算機程序（110)。
15. -種彩色視頻處理系統(tǒng)（100)，包含： -配置成從峽序列的每個峽中的背景中標出對象的組件， -配置成選擇至少兩個相繼峽的組件， -配置成從所選峽的背景中確定全局顏色模板的組件， -配置成針對每個所選峽W及針對標出的對象的顏色，W使調(diào)和顏色比原始顏色更接 近全局顏色模板的方式，按照全局顏色模板確定調(diào)和顏色的組件。
16. 按照權(quán)利要求15所述的彩色視頻處理系統(tǒng)（100)，進一步包含配置成按照所述相 應(yīng)調(diào)和顏色修改標出對象的所述顏色的組件。
【文檔編號】G06T11/60GK104463838SQ201410471752
【公開日】2015年3月25日 申請日期:2014年9月16日 優(yōu)先權(quán)日:2013年9月16日
【發(fā)明者】C.查馬雷特, Y.貝弗耶, F.厄本 申請人:湯姆遜許可公司