礦井無線分布式視頻編碼中的關(guān)鍵幀實(shí)時(shí)選取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種關(guān)鍵幀實(shí)時(shí)選取方法，特別是關(guān)于一種礦井無線分布式視頻編碼 中的關(guān)鍵幀實(shí)時(shí)選取方法。
【背景技術(shù)】
[0002] 隨著礦井采深增加，煤礦災(zāi)害日趨嚴(yán)重，對煤礦安全保障水平和應(yīng)急處置能力提 出新的要求。無線視頻傳感網(wǎng)絡(luò)利用大量能量受限的微型節(jié)點(diǎn)，采集、傳輸與處理礦井環(huán)境 實(shí)時(shí)圖像信息，使地面專家和決策人員實(shí)時(shí)了解救援現(xiàn)場情況，進(jìn)行科學(xué)決策和指揮。在無 線視頻傳感網(wǎng)絡(luò)中，分布式視頻編碼采用"幀內(nèi)編碼+幀間解碼"技術(shù)，通過在解碼端發(fā)掘 視頻信號的相關(guān)性進(jìn)行"幀間預(yù)測解碼"，從而去掉了編碼端復(fù)雜的幀間預(yù)測，具有低復(fù)雜 度編碼的特性，能較好地滿足終端視頻編碼與通信的需求。尤其，針對礦井下充滿噪聲和電 磁干擾的無線傳輸環(huán)境，分布式視頻編碼與傳統(tǒng)的視頻編碼相比，具有與生俱來的抗信道 誤碼的特性。
[0003] 解碼端邊信息的預(yù)測精度是影響分布式視頻編碼的率失真性能的重要因素，在 Wyner-Ziv編碼框架下，分布式視頻編碼中解碼關(guān)鍵幀的選取，會(huì)極大影響邊信息生成質(zhì) 量，從而影響分布式視頻編碼的解碼效果?，F(xiàn)有的關(guān)鍵幀選取方法在在礦井巷道高噪聲、丟 包信道下的應(yīng)用受到挑戰(zhàn)，表現(xiàn)為：在礦井分布式視頻編碼中，關(guān)鍵幀的選取不僅要反映監(jiān) 控區(qū)域視頻的主要信息內(nèi)容變化，也要避免提取過多的冗余關(guān)鍵幀在編碼傳輸過程中對礦 井帶寬受限無線網(wǎng)絡(luò)帶來額外的網(wǎng)絡(luò)負(fù)荷；此外，考慮到礦井爆炸性的工礦環(huán)境，還必須具 有較低的計(jì)算復(fù)雜度，滿足礦井低功耗硬件在易燃易爆環(huán)境中的實(shí)時(shí)處理。
[0004] 關(guān)鍵幀選取主要應(yīng)用視頻內(nèi)容檢索和分布式視頻編碼中，主要方法有：基于鏡頭 分割的方法、基于圖像內(nèi)容分析的方法、基于運(yùn)動(dòng)分析的方法、基于聚類的方法。其中，基于 鏡頭分割的方法對于內(nèi)容變化大，運(yùn)動(dòng)較劇烈的視頻內(nèi)容，單一的圖像幀不能全面有效的 描述鏡頭的內(nèi)容，會(huì)丟失視頻中一些重要的內(nèi)容；基于圖像內(nèi)容分析的方法會(huì)選擇過多的 關(guān)鍵幀，造成幾余，此外，關(guān)鍵幀的篩選閾值的選擇以及底層特征的選擇也對關(guān)鍵幀的選擇 性能有影響；基于運(yùn)動(dòng)分析的方法需要計(jì)算視頻中運(yùn)動(dòng)量時(shí)需要非常大的計(jì)算量，此外，依 據(jù)局部信息來選取關(guān)鍵幀，魯棒性不強(qiáng)；基于聚類的方法，將圖像幀按照某一相似度分到不 同的類中，使得選擇的關(guān)鍵幀沒有保留在時(shí)間上的先后順序，導(dǎo)致通過觀察關(guān)鍵幀無法了 解視頻的動(dòng)態(tài)信息，并在分布式視頻編碼中的應(yīng)用受到限制。由此可知，在當(dāng)前分布式視頻 編碼中，為提高編碼的實(shí)時(shí)性，在關(guān)鍵幀選取中主要通過周期選取關(guān)鍵幀的方法，沒有考慮 幀間的相關(guān)性，不利于在礦井帶寬受限、高噪聲環(huán)境中的高效視頻編碼，主要表現(xiàn)為：對于 視頻序列中運(yùn)動(dòng)相對平緩的部分，選取過多的關(guān)鍵幀，消耗了大量的礦井無線網(wǎng)絡(luò)資源，并 對傳輸節(jié)點(diǎn)帶來極大的處理負(fù)擔(dān)；而對于運(yùn)動(dòng)劇烈或者畫面突變的情況，周期選取關(guān)鍵幀 又不足以生成高質(zhì)量的邊信息幀，降低了解碼端的圖像重建質(zhì)量。

【發(fā)明內(nèi)容】

[0005] 針對上述問題，本發(fā)明的目的是提供一種礦井無線分布式視頻編碼中的關(guān)鍵幀實(shí) 時(shí)選取方法，該方法能實(shí)現(xiàn)快速、低復(fù)雜度的反映監(jiān)控圖像內(nèi)容動(dòng)態(tài)變化，有效解決了礦井 無線分布式視頻編碼中的關(guān)鍵幀實(shí)時(shí)選取問題。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種礦井無線分布式視頻編碼中的 關(guān)鍵幀實(shí)時(shí)選取方法，其特征在于，所述方法包括以下步驟：1)構(gòu)建幀間特性的增量變化 曲線：1. 1)獲取視頻序列，并提取圖像的全局特征和局部特征；其中，采用圖像的顏色特征 作為衡量圖像全局特征的指標(biāo)；采用特征點(diǎn)作為圖像局部特征；1. 2)根據(jù)圖像的全局特征 和局部特征計(jì)算圖像綜合特征相似度；1. 3)根據(jù)圖像綜合特征相似度構(gòu)建幀間特征差增 量變化曲線：以幀號I為橫坐標(biāo)，以圖像幀間的綜合特征相似度的累加值D為縱坐標(biāo)，繪制 圖像幀間特征差增量變化曲線；2)得到幀間特征差增量變化曲線后，利用礦井無線分布式 視頻編碼中的關(guān)鍵幀實(shí)時(shí)選取算法，實(shí)現(xiàn)關(guān)鍵幀快速的自適應(yīng)選取。
[0007] 所述步驟1. 1)中，優(yōu)選采用顏色直方圖描述圖像的全局特征，簡化的SURF特征描 述圖像的局部特征。
[0008] 所述步驟1. 2)中，全局特征相識度計(jì)算方法如下：（i)采用面向視覺感知的HSV 顏色模型，在分布式視頻編碼中，圖像經(jīng)過HSV顏色空間變換后，將色調(diào)H、飽和度S和亮度 V非等間隔量化；（ii)將非等間隔量化后的色調(diào)H、飽和度S和亮度V，再將HSV三個(gè)顏色 分量合成一維特征矢量G:G=QsQvH+QvS+V，式中，Qs表示飽和度S的量化級數(shù)；〇7表示亮度 V的量化級數(shù)；（iii)利用歸一化直方圖相交法，求解兩幀圖像的HSV顏色空間的相似度，來 描述兩幅圖像的全局特征相似度：
[0009]
[0010] 其中，L表不一維直方圖矢量的位數(shù)，〃/;(?)和//&(?)分別表不序列中第k幀和第 k_l幀圖像的HSV直方圖中某等級出現(xiàn)的個(gè)數(shù)，mir^//, (/).//,"Oj表示兩個(gè)直方圖在同等級 共有的個(gè)數(shù)，d'為歸一化的顏色特征相似度。
[0011] 所述步驟1.2)中，局部特征相識度計(jì)算方法如下：（i)通過原來圖像中每個(gè)像 素的Hessian矩陣行列式的近似值確定對應(yīng)的變換圖像，并在這個(gè)變換圖像上尋找特征 點(diǎn)，將找到的特征點(diǎn)的位置反映射到原來的圖像中；（ii)利用非極大值抑制方法初步確定 特征點(diǎn)；（iii)利用三維線性插值法對已知的離散空間點(diǎn)進(jìn)行插值得到連續(xù)空間的極值點(diǎn)， 并利用Harr小波特性來選取特征點(diǎn)的主方向；（iv)構(gòu)造特征點(diǎn)描述算子，以特征點(diǎn)為中 心，把大小為20 〇的區(qū)域劃分為4*4個(gè)子區(qū)域，統(tǒng)計(jì)每個(gè)子區(qū)域中的25個(gè)像素的水平和垂 直方向的Haar小波響應(yīng)dx、dy，從而得到一個(gè)4維向量（Edx,Edy,E|dx|,E|dy|)， 由于一共16個(gè)子區(qū)域，所以最終形成16*4 = 64維向量，用此向量作為特征點(diǎn)特征描述；其 中〇是特征點(diǎn)所在的尺度；（v)利用簡化的SURF特征點(diǎn)及其特征描述，計(jì)算當(dāng)前幀圖像 與前一幀圖像能匹配的特征點(diǎn)數(shù)目占當(dāng)前幀圖像特征點(diǎn)總數(shù)的比例d"，進(jìn)而度量兩幀圖像 局部特征相似度。
[0012] 所述步驟1. 2)中，所述圖像綜合特征相似度d求解如下：將全局特征與局部特征 融合，將圖像的全局相似度和局部相似度加權(quán)求取圖像綜合特征相似度d= 0. 6d' +0. 4d" ； 式中，0. 6為全局特征相似度權(quán)重，0. 4為局部特征相似度權(quán)重。
[0013]所述步驟2)中，所述關(guān)鍵幀實(shí)時(shí)選取算法包括以下步驟：2. 1)在編碼起始階段， 初始化第一幀作為關(guān)鍵幀，并根據(jù)初始的關(guān)鍵幀選擇滑動(dòng)窗口寬度，即所能容納的最大視 頻幀數(shù)N_;2. 2)依次把隨后視頻幀送入滑動(dòng)窗口，計(jì)算其圖像幀間特征累積平均變化增 量，根據(jù)該增量與相鄰兩幀的幀間綜合相似度關(guān)系選取關(guān)鍵幀并輸出。
[0014] 所述幀間特征累積平均變化增量d_(k)為：
[0015]
[0016] 其中，屯#為第i幀和其前一幀的幀間綜合相似度，d_(k)為當(dāng)前關(guān)鍵幀到隨后 的第k幀，所有幀的幀間特征累積平均變化增量。
[0017] 進(jìn)一步，若duYcUGO，則說明第k幀和其前一幀的幀間綜合相似度較高，需要繼 續(xù)向后進(jìn)行關(guān)鍵幀判斷，滑動(dòng)窗口寬度增加1，并返回步驟2. 2);如果達(dá)到滑動(dòng)窗口寬度最 大值N_，duYcU(k)依然成立，則說明視頻圖像內(nèi)容緩慢變化或者靜止的畫面，根據(jù)幀間 綜合相似度得其幀間特征差增量變化曲線的變化規(guī)律。
[0018] 進(jìn)一步，若c^JcUGO,則說明在當(dāng)前圖像內(nèi)容發(fā)送較大變化，其幀間特征差增 量變化曲線的變化規(guī)律；選擇當(dāng)前處理的第k幀為關(guān)鍵幀，并初始化滑動(dòng)窗口寬度N= 1， 返回步驟2. 2)。
[0019] 本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點(diǎn)：1、本發(fā)明利用圖像的全局特征 和局部特征共同描述視頻幀序列中相鄰幀之間相似度，從而在反映監(jiān)控區(qū)域視頻的主要信 息內(nèi)容變化的同時(shí)，避免提取過多的冗余關(guān)鍵幀在編碼傳輸過程中對礦井帶寬受限無線網(wǎng) 絡(luò)帶來額外的網(wǎng)絡(luò)負(fù)荷。