專利名稱：基于輪廓跟蹤的車載紅外視頻彩色化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種快速的車載紅外視頻彩色化方法，通過本方法可賦予車載紅外圖像較自然感的彩色，同時(shí)提高處理速度，實(shí)現(xiàn)車載紅外視頻的快速彩色化。
背景技術(shù)：
車載夜視系統(tǒng)可以在夜晚輔助駕駛，提高行車安全。在駕駛室中的夜視系統(tǒng)屏幕上，可以顯示僅憑人眼或普通可見 光攝像設(shè)備無法獲取的路況及路旁的樹木建筑等的夜視圖像。但是，由于夜間獲得的夜視圖像較模糊，再加上夜視儀所監(jiān)視或探測的目標(biāo)距離較遠(yuǎn)，因此對夜視圖像中的內(nèi)容理解往往難以如白天的自然光圖像那樣作出快速準(zhǔn)確的判斷。由于人眼能分辨的顏色等級是灰度等級的幾百倍，若將夜視圖像彩色化，將大大提高夜視圖像的視覺理解效果，幫助駕駛員對夜視圖像內(nèi)容迅速作出正確的理解和判斷，從而大大地提高夜間行駛安全。目前彩色夜視領(lǐng)域主要研究對靜態(tài)夜視圖像的彩色化，為達(dá)到較好的彩色圖像效果，往往設(shè)計(jì)的算法時(shí)間復(fù)雜度很高，該類算法無法實(shí)時(shí)地對動(dòng)態(tài)夜視圖像實(shí)現(xiàn)彩色化。而針對動(dòng)態(tài)夜視彩色化的實(shí)時(shí)算法相對較少，相關(guān)文獻(xiàn)直接采用從視頻編碼中提取運(yùn)動(dòng)矢量的方法用于彩色化，由于運(yùn)動(dòng)矢量主要用于視頻壓縮，并不能反映真實(shí)的運(yùn)動(dòng)場，往往存在誤差，進(jìn)行多次色彩傳遞之后，這種誤差會(huì)逐漸擴(kuò)大，從而得到失敗的彩色化圖像效果。代中華等提出采用關(guān)鍵幀分割，以所得固定閾值進(jìn)行后續(xù)幀的分割，并采用先驗(yàn)知識上色的方法，速度有所提高，但后續(xù)幀采用固定閾值很難獲得理想的分割效果，易導(dǎo)致后續(xù)幀的上色處理出現(xiàn)錯(cuò)誤。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種快速對動(dòng)態(tài)夜視圖像進(jìn)行彩色化的方法，通過該方法可較為準(zhǔn)確地賦予車載紅外視頻較自然感的彩色。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種基于輪廓跟蹤的車載紅外視頻彩色化方法，其特征在于步驟為步驟I、獲取具有不同景物類別的多個(gè)自然彩色圖像塊，每個(gè)自然彩色圖像塊僅具有一個(gè)景物類別，將每個(gè)自然彩色圖像塊轉(zhuǎn)至YCbCr空間，計(jì)算其Cb通道及Cr通道的均值d及&作為各景物類別的特征色彩；步驟2、在獲得的車載紅外視頻中選取一幀圖像作為關(guān)鍵幀，采用K-均值聚類算法對關(guān)鍵幀的灰度進(jìn)行聚類，得到分割圖像，分割圖像中每個(gè)類別區(qū)域?qū)?yīng)一個(gè)景物類別，將關(guān)鍵幀轉(zhuǎn)為YCbCr空間，根據(jù)得到的分割圖像，將轉(zhuǎn)換后關(guān)鍵幀的所有像素按位置分別劃分到相應(yīng)的類別區(qū)域中，為每個(gè)類別區(qū)域賦予與其相對應(yīng)的景物類別的特征色彩，得到關(guān)鍵幀彩色圖像；步驟3、從車載紅外視頻中與關(guān)鍵幀相鄰的下一幀圖像開始為每一幀圖像賦予色彩，從而將車載紅外視頻彩色化，對于第i幀圖像而言，其彩色化步驟為步驟3. I、利用KLT特征跟蹤算法得到與第i幀圖像相鄰的第i_l幀圖像的特征點(diǎn)，并得到這些特征點(diǎn)在第i幀圖像中的位置；步驟3. 2、利用Canny邊緣檢測算法得到第i幀圖像的物體邊緣點(diǎn)，搜索與每個(gè)特征點(diǎn)最近鄰的物體邊緣點(diǎn)作為修正后的特征點(diǎn)，修正后的特征點(diǎn)分布在第i幀圖像各類別區(qū)域的邊緣上；步驟3. 3、采用輪廓復(fù)原的方法把修正后的特征點(diǎn)用光滑曲線按類別區(qū)域順序連接起來，從而生成各類別區(qū)域的閉合區(qū)域輪廓曲線，為每個(gè)類別區(qū)域賦予與其相對應(yīng)的景、物類別的特征色彩，得到第i幀彩色圖像。優(yōu)選地，步驟2中所述K-均值聚類算法為改進(jìn)的K-均值聚類算法，其步驟為步驟2. I、K值為景物類別的總個(gè)數(shù)；步驟2. 2、統(tǒng)計(jì)記錄不同灰度值A(chǔ)及其灰度點(diǎn)個(gè)數(shù)Ni, i = 1,2, . . . , n,且
= 其中，n為出現(xiàn)灰度級的總個(gè)數(shù)，N為圖像中所有像素點(diǎn)總個(gè)數(shù)，L為
1=1
關(guān)鍵幀的寬度，H為關(guān)鍵幀的高度；步驟2. 3、對不同灰度值&從小到大進(jìn)行排序；步驟2. 4、依次取初始聚類中心為 Zj (I) = Zc^fjxintfe7K),其中，j = 1，2，...，K，int表示取整運(yùn)算，Z0 G [f/ 1 f/ int(n/K)]，f/ !為最小的灰度值，f' int(n/K)為排序后的第n/K個(gè)灰度值；步驟2. 5、計(jì)算每個(gè)灰度值&與聚類中心Zj (I)的距離D(LZjd))，i = 1,2,...,
Dif^Zk(I))= min {D(X,Z7(/)),/= 1,2,.
n，j = 1，2，…，K，右.>i2, . K則 fi G wk, wk 為兎 k
簇集合；步驟2.6、重新調(diào)整聚類中心2/(/ + 1) = 1&//))，j = 1,2, ...，K，其中Hij為第
mj A=I
j簇的灰度元素總個(gè)數(shù)，為屬于第j簇的第k個(gè)灰度值；步驟2. 7、若 Zj (1+1)幸 Zj(I), j = 1，2， ，K，則 I = 1+1，返回步驟 2. 5，否則，
算法結(jié)束。優(yōu)選地，在所述步驟3. I之前還包括利用Canny邊緣檢測算法得到第i_l幀圖像的物體邊緣點(diǎn)，將這些物體邊緣點(diǎn)作為步驟3. I所述KLT特征跟蹤算法的候選特征點(diǎn)集合。優(yōu)選地，步驟3. 3所述輪廓復(fù)原的方法為采用三次B樣條插值以及平滑調(diào)整進(jìn)行輪廓復(fù)原。本發(fā)明提出了一種基于輪廓跟蹤的車載紅外視頻彩色化方法。通過構(gòu)建景物類別色彩數(shù)據(jù)集，作為彩色化的色彩信息；將全局分割引入幀間顏色傳遞，使顏色傳遞的單位從像素變?yōu)閰^(qū)域；采用改進(jìn)的KLT運(yùn)動(dòng)估計(jì)方法提取和跟蹤特征點(diǎn)，獲得跟蹤點(diǎn)在處理幀的位置；提取物體在處理幀中的輪廓，最后將跟蹤結(jié)束的處理幀作為參考幀，后續(xù)一幀作為處理幀連續(xù)跟蹤物體輪廓，從而提高了物體輪廓跟蹤的效率，同時(shí)按類別區(qū)域分別上色，增強(qiáng)了紅外視頻彩色化的實(shí)時(shí)性。
本發(fā)明通過構(gòu)建景物類別色彩數(shù)據(jù)集，提供彩色化中顏色信息的來源。將全局分割引入幀間顏色傳遞，使顏色傳遞的單位從像素變?yōu)閰^(qū)域以及采用改進(jìn)的KLT運(yùn)動(dòng)估計(jì)方法提取和跟蹤特征點(diǎn)，提高了處理速度。提取物體在處理幀中的輪廓，最后將跟蹤結(jié)束的處理幀作為參考幀，后續(xù)一幀作為處理幀連續(xù)跟蹤物體輪廓，從而提高了物體輪廓跟蹤的效率，同時(shí)按類別區(qū)域分別上色，增強(qiáng)了紅外視頻彩色化的實(shí)時(shí)性，可為駕駛員提供較好視覺效果的彩色化紅外視頻。


圖I是本發(fā)明的算法流程圖。
具體實(shí)施例方式為使本發(fā)明更明顯易懂，茲以一優(yōu)選實(shí)施例，并配合附圖作詳細(xì)說明如下。
如圖I所示，本發(fā)明提供了一種基于輪廓跟蹤的車載紅外視頻彩色化方法，其步驟為步驟I、構(gòu)建景物類別特征色彩數(shù)據(jù)集可預(yù)先選取具有天空、樹木、草地、道路等景物類別的自然彩色圖像塊。每個(gè)自然彩色圖像塊僅具有一種景物類別。將各類景物做標(biāo)記，在本實(shí)施例中，將天空標(biāo)記為I，將樹木標(biāo)記為2，將道路標(biāo)記為3，將草地標(biāo)記為4。設(shè)每個(gè)自然彩色圖像塊的規(guī)格為MXN，其中M為寬度，N為高度，將該自然彩色圖像塊由RGB空間轉(zhuǎn)為YCbCr空間，計(jì)算圖像的兩個(gè)色差通道的均值
剛⑴ rr=j) ⑵其中Cb(i，j)、Cr(i，j)分別為自然彩色圖像塊中的第i行第j列像素點(diǎn)的Cb值、Cr值，得到各種景物類別Cb通道及Cr通道的均值(巧，作為各種景物類別的特征色彩。在本實(shí)施例中，四種景物類別的特征色彩的具體數(shù)值如下表所示
息 — 二景Cb__Cr
_______天空113.259145.503--------
___116.039105.365
草地129.29463.458
道路. 135.431__123.976步驟2、在獲得的車載紅外視頻中選取一幀圖像作為關(guān)鍵幀，在本實(shí)施例中，將車載紅外視頻中的第一幀作為關(guān)鍵幀，對關(guān)鍵幀采用如下步驟進(jìn)行處理步驟2. I、關(guān)鍵幀的分割本發(fā)明采用改進(jìn)的K-均值聚類算法實(shí)現(xiàn)對關(guān)鍵幀快速準(zhǔn)確的全局分割，得到準(zhǔn)確的分割效果，為后續(xù)實(shí)現(xiàn)視頻序列的較好彩色化效果提供支持。首先對紅外灰度圖像的灰度數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，產(chǎn)生初始聚類中心，然后根據(jù)初始聚類中心對該圖像的灰度進(jìn)行聚類。具體步驟如下步驟2. I. I、將K值取為景物類別的總個(gè)數(shù)，在本實(shí)施例中，由于有天空、樹木、草地、道路四種景物類別，因此K = 4 ；步驟2. I. 2、統(tǒng)計(jì)記錄不同灰度值&及其灰度點(diǎn)個(gè)數(shù)Ni, i = 1,2, . . .，n，且
YjNi=N = LxH，其中，n為出現(xiàn)灰度級的總個(gè)數(shù),N為圖像中所有像素點(diǎn)總個(gè)數(shù),L為關(guān)/=1
鍵幀的寬度，H為關(guān)鍵幀的高度；步驟2. I. 3、對不同灰度值&從小到大進(jìn)行排序；步驟2. I. 4、依次取初始聚類中心為 Zj(I) = ZQ+fjXint(n/K)，其中，j = 1，2， ，K，int表示取整運(yùn)算，Z0 G [f/ 1 f/ int(n/K)], f/ !為最小的灰度值，f' int(n/K)為排序后的第n/K個(gè)灰度值；步驟2. I. 5、計(jì)算每個(gè)灰度值^與聚類中心Zj(I)的距離D(fi，Zj⑴)，i = 1，2， ，n，j = 1，2， ，K，若啦石⑴)== U."，”} ’則 fi G Wk，Wk
為第k簇集合；
I步驟2.I. 6、重新調(diào)整聚類中心4(7 + 1) = —Yjt、，7 = 1，2，…，[，其中％為第j
簇的灰度元素總個(gè)數(shù)，為屬于第j簇的第k個(gè)灰度值；步驟2. I. 7、若 Z」(I+1)幸 Zj(I), j = 1,2,. . ，K，則 I = 1+1，返回步驟 2. 5，否則，
算法結(jié)束。在步驟2. I. 5 步驟2. I. 7的聚類迭代中，僅對不同灰度的樣本數(shù)據(jù)fi; i = I,2，...，n進(jìn)行迭代，通常n<< N，N為圖像中所有像素點(diǎn)總個(gè)數(shù)，簡化了參與迭代的數(shù)據(jù)量，因此較原K-均值聚類算有較快的響應(yīng)速度。步驟2. 2、關(guān)鍵幀的上色使用一個(gè)與關(guān)鍵幀圖像同維的矩陣Mark來記錄目標(biāo)圖像各像素點(diǎn)所屬的景物類另IJ，對應(yīng)原始的關(guān)鍵幀，根據(jù)前面得到的分割圖像，所有像素按位置分別劃分到相應(yīng)類別中。將各個(gè)類別區(qū)域賦予對應(yīng)的特征色彩，從而得到較自然的彩色圖像。具體步驟如下步驟2. 2. I、將關(guān)鍵幀It由RGB空間轉(zhuǎn)換至YCbCr空間；步驟2. 2. 2、根據(jù)分割圖像中各景物類別區(qū)域位置，將對應(yīng)的景物類別的色彩特征賦予該區(qū)域，同時(shí)保留該區(qū)域的亮度信息保持不變。即對于It(i，j)，如果Mark(i，j) Gm,
m表示景物類別，則 Y_r(i, j) = Y_t(i, j) ,Cb_r(i,j) = Cb(m) , Cr_r(i,j) = Cr(m)。步驟2. 2. 3、將完成的結(jié)果圖像I^YCbCr由YCbCr空間轉(zhuǎn)換到RGB空間，用以顯示關(guān)鍵幀的彩色圖像L_RGB。從車載紅外視頻中與關(guān)鍵幀相鄰的下一幀圖像開始為每一幀圖像賦予色彩，從而將車載紅外視頻彩色化，對于第i幀圖像而言，其彩色化步驟為
步驟3、輪廓特征點(diǎn)提取與跟蹤對第i_l幀圖像的分割圖像進(jìn)行Canny邊緣檢測，以邊界點(diǎn)作為候選特征點(diǎn)集合，減小選取范圍。利用KLT特征跟蹤算法，選取特征點(diǎn)并跟蹤，得到各點(diǎn)在每一幀的跟蹤位置。這樣特征點(diǎn)在相鄰兩幀的位移就構(gòu)成了運(yùn)動(dòng)信息，我們正是以此運(yùn)動(dòng)信息為基礎(chǔ)進(jìn)行后續(xù)算法的處理的。步驟3. I、特征點(diǎn)提取KLT特征跟蹤算法在特征點(diǎn)選擇過程中會(huì)計(jì)算圖像中所有的像素點(diǎn)，為加快選取的處理速度，我們提出一種利用圖像區(qū)域輪廓線作為候選特征點(diǎn)選取的方法，減小候選特征點(diǎn)范圍，從而減少特征點(diǎn)選取時(shí)的計(jì)算量。具體步驟如下步驟3. I. I、對第i-1幀圖像的分割圖像進(jìn)行Canny邊緣檢測，以邊界點(diǎn)作為候選特征點(diǎn)集合M。步驟3. I. 2、按照KLT特征跟蹤算法計(jì)算候選特征點(diǎn)集合M中像素點(diǎn)的特征值，也就是以該像素點(diǎn)為中心的特征窗口 W(本實(shí)例中的特征窗口設(shè)定為7*7個(gè)大小的像素塊)的特征值Feature,計(jì)算公式為

權(quán)利要求
1.ー種基于輪廓跟蹤的車載紅外視頻彩色化方法，其特征在于步驟為 步驟I、獲取具有不同景物類別的多個(gè)自然彩色圖像塊，每個(gè)自然彩色圖像塊僅具有ー個(gè)景物類別，將每個(gè)自然彩色圖像塊轉(zhuǎn)為YCbCr空間，計(jì)算其Cb通道及Cr通道的均值巧及.己:作為各景物類別的特征色彩； 步驟2、在獲得的車載紅外視頻中選取ー幀圖像作為關(guān)鍵幀，采用K-均值聚類算法對關(guān)鍵幀的灰度進(jìn)行聚類，得到分割圖像，分割圖像中每個(gè)類別區(qū)域?qū)?yīng)ー個(gè)景物類別，將關(guān)鍵幀轉(zhuǎn)為YCbCr空間，根據(jù)得到的分割圖像，將轉(zhuǎn)換后關(guān)鍵幀的所有像素按位置分別劃分到相應(yīng)的類別區(qū)域中，為每個(gè)類別區(qū)域賦予與其相對應(yīng)的景物類別的特征色彩，得到關(guān)鍵幀彩色圖像； 步驟3、從車載紅外視頻中與關(guān)鍵幀相鄰的下ー幀圖像開始為每ー幀圖像賦予色彩，從而將車載紅外視頻彩色化，對于第i幀圖像而言，其彩色化步驟為 步驟3. I、利用KLT特征跟蹤算法得到與第i幀圖像相鄰的第i-Ι幀圖像的特征點(diǎn)，并得到這些特征點(diǎn)在第i幀圖像中的位置； 步驟3. 2、利用Canny邊緣檢測算法得到第i幀圖像的物體邊緣點(diǎn)，捜索與每個(gè)特征點(diǎn)最近鄰的物體邊緣點(diǎn)作為修正后的特征點(diǎn)，修正后的特征點(diǎn)分布在第i幀圖像各類別區(qū)域的邊緣上； 步驟3. 3、采用輪廓復(fù)原的方法把修正后的特征點(diǎn)用光滑曲線按類別區(qū)域順序連接起來，從而生成各類別區(qū)域的閉合區(qū)域輪廓曲線，為每個(gè)類別區(qū)域賦予與其相對應(yīng)的景物類別的特征色彩，得到第i幀彩色圖像。
2.如權(quán)利要求I所述的ー種基于輪廓跟蹤的車載紅外視頻彩色化方法，其特征在于步驟2中所述K-均值聚類算法為改進(jìn)的K-均值聚類算法，其步驟為 步驟2. I、將K值取為景物類別的總個(gè)數(shù)； 步驟2. 2、統(tǒng)計(jì)記錄不同灰度值及其灰度點(diǎn)個(gè)數(shù)Ni, i = 1，2，. . .，n，且YjNi=N = LxH,^, η為出現(xiàn)灰度級的總個(gè)數(shù)，N為圖像中所有像素點(diǎn)總個(gè)數(shù)，L為關(guān)鍵幀的寬度，H為關(guān)鍵幀的高度； 步驟2. 3、對不同灰度值も從小到大進(jìn)行排序； 步驟2. 4、依次取初始聚類中心為Zj(I) = ZQ+fjXint(n/K)，其中，j = 1，2，·K，int表示取整運(yùn)算，Z0 e [f' 17 f' int(n/K)]，f' 最小的灰度值，f/ int(n/K)為排序后的第n/K個(gè)灰度值； 步驟2. 5、計(jì)算每個(gè)灰度值も與聚類中心も(I)的距離D(fi; Zj.(I))，i = 1,2, ... ,η,j = 1，2，…，κ，若の(んZ*(J)) == ι，2，·..，《},則 f. e Wk, Wk 為第 k簇集合； 步驟2. 6、重新調(diào)整聚類中心ろ(J + l) = ll；/tw，j = 1，2，. . .，K，其中HIj為第j簇的mi Ar=I灰度元素總個(gè)數(shù)，Λω為屬于第j簇的第k個(gè)灰度值； 步驟 2. 7、若 Zj (1+1) Zj(I), j = 1，2，· · ·，K，則 I = 1+1，返回步驟 2. 5，否則，算法結(jié)束。
3.如權(quán)利要求I所述的一種基于輪廓跟蹤的車載紅外視頻彩色化方法，其特征在于在所述步驟3. I之前還包括利用Canny邊緣檢測算法得到第i_l幀圖像的物體邊緣點(diǎn)，將這些物體邊緣點(diǎn)作為步驟3. I所述KLT特征跟蹤算法的候選特征點(diǎn)集合。
4.如權(quán)利要求I所述的一種基于輪廓跟蹤的車載紅外視頻彩色化方法，其特征在于步驟3. 3所述輪廓復(fù)原的方法為采用三次B樣條插值以及平滑調(diào)整進(jìn)行輪廓復(fù)原。
全文摘要
本發(fā)明提出一種車載紅外視頻快速彩色化的方法，利用輪廓特征點(diǎn)跟蹤來獲取每幀物體類別的輪廓區(qū)域，采用類別特征色彩對各區(qū)域傳遞色彩。首先構(gòu)建各景物樣本特征色彩集，以各類景物在自然彩色圖像中表現(xiàn)出來的特征色彩；接著利用改進(jìn)的高效K-Means方法對紅外關(guān)鍵幀進(jìn)行聚類，得到分割區(qū)域，提取輪廓特征點(diǎn)；然后通過KLT算法跟蹤特征點(diǎn)，得到其在下一幀中的位置并同時(shí)修正，采用B樣條插值進(jìn)行輪廓復(fù)原，得到該幀的各類別輪廓區(qū)域；最后對每幀區(qū)分好的類別區(qū)域，將特征色彩按類別賦予該區(qū)域，從而給物體著上合適的顏色，實(shí)現(xiàn)紅外視頻序列的快速彩色化。實(shí)驗(yàn)結(jié)果表明，該方法提高了處理的速度，能夠得到較理想的效果。
文檔編號G06T7/00GK102663729SQ20121006276
公開日2012年9月12日 申請日期2012年3月11日 優(yōu)先權(quán)日2012年3月11日
發(fā)明者孫韶媛, 譙帥 申請人:東華大學(xué)