一種視頻顯著圖提取方法
【專利摘要】本發(fā)明公開了一種視頻顯著圖提取方法，其首先通過對二維視頻在時域上、在水平方向及在垂直方向進(jìn)行采樣，分別得到X-Y截面圖像、X-T截面圖像和Y-T截面圖像，然后通過對X-T截面圖像和Y-T截面圖像進(jìn)行低秩矩陣分解提取出X-Y截面圖像的運動顯著圖，對X-Y截面圖像的特征矢量進(jìn)行低秩矩陣分解提取出X-Y截面圖像的空間顯著圖，最后對運動顯著圖和空間顯著圖進(jìn)行融合，得到最終的視頻顯著圖，優(yōu)點是所獲得的視頻顯著圖能夠較好地反映視頻的靜態(tài)和動態(tài)區(qū)域的顯著變化情況，符合人眼運動顯著語義的特征。
【專利說明】一種視頻顯著圖提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻信號的處理方法，尤其是涉及一種視頻顯著圖提取方法。
【背景技術(shù)】
[0002]在人類視覺接收與信息處理中，由于大腦資源有限以及外界環(huán)境信息重要性區(qū)另IJ，因此在處理過程中人腦對外界環(huán)境信息并不是一視同仁的，而是表現(xiàn)出選擇特征。人們在觀看圖像或者視頻片段時注意力并非均勻分布到圖像的每個區(qū)域，而是對某些顯著區(qū)域關(guān)注度更高。如何將視頻中視覺注意度高的顯著區(qū)域檢測并提取出來是計算機(jī)視覺以及基于內(nèi)容的視頻檢索領(lǐng)域的一個重要的研究內(nèi)容。
[0003]目前，通常采用視頻分割、光流法、運動估計等方法來提取視頻顯著區(qū)域，然而這些方法并不能很好地將運動的物體和靜態(tài)背景進(jìn)行分離，這是因為:一方面，通過運動估計或幀差法得到的運動信息只反映運動趨勢，并不能很好地反映運動顯著語義特征；另一方面，視頻中的靜態(tài)場景也會影響視覺注意力的判斷，在某些情況下，空間顯著圖會起主要的作用，因此，如何提取反映運動顯著語義特征的運動顯著圖，如何對運動顯著圖和空間顯著圖進(jìn)行結(jié)合，都是視頻顯著圖提取中需要研究解決的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種符合人眼運動顯著語義特征，且提取精度高的視頻顯著圖提取方法。
[0005]本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為:一種視頻顯著圖提取方法，其特征在于包括以下步驟:
[0006]①對呈三維立方體的二維視頻在時域上進(jìn)行采樣，得到二維視頻的T個X-Y截面圖像，即得到二維視頻的T個時刻的視頻幀，將二維視頻中的t時刻的視頻幀記為{It(x，y)}，將{It(x，y)}中坐標(biāo)位置為(x，y)的像素點的像素值記為It(x，y)，其中，T表示二維視頻中包含的視頻幀的總幀數(shù)，l^t^T,l^x^ff, l^y^H, W表示二維視頻中各時刻的視頻幀的寬，H表示二維視頻中各時刻的視頻幀的高；
[0007]同樣，對呈三維立方體的二維視頻在X方向上進(jìn)行采樣,得到二維視頻的W個Y-T截面圖像，將二維視頻中的第X個Y-T截面圖像記為{Ix(y，t)}，將{Ix(y，t)}中坐標(biāo)位置為(y，t)的像素點的像素值記為Ix (y, t), Ix (y, t)=It(x, y)；
[0008]同樣，對呈三維立方體的二維視頻在Y方向上進(jìn)行采樣,得到二維視頻的H個X-T截面圖像，將二維視頻中的第y個X-T截面圖像記為{Iy(x，t)}，將{Iy(x，t)}中坐標(biāo)位置為(X，t)的像素點的像素值記為Iy (X，t), Iy (X，t)=It(x, y)；
[0009]②對二維視頻中的每個Y-T截面圖像進(jìn)行低秩矩陣分解，并獲取二維視頻中的每個Y-T截面圖像的最優(yōu)垂直方向運動矩陣，同樣對二維視頻中的每個X-T截面圖像進(jìn)行低秩矩陣分解，并獲取二維視頻中的每個X-T截面圖像的最優(yōu)水平方向運動矩陣；然后根據(jù)二維視頻中的每個Y-T截面圖像的最優(yōu)垂直方向運動矩陣和每個X-T截面圖像的最優(yōu)水平方向運動矩陣，獲取二維視頻中每個時刻的視頻幀的運動顯著圖，將二維視頻中的t時刻的視頻幀{It(x, y)}的運動顯著圖記為{St，m()tim(x，y)},其中，St，m(rti()n(x，y)表示{St；motion(x, y)}中坐標(biāo)位置為(x，y)的像素點的像素值；
[0010]③提取二維視頻中每個時刻的視頻幀中的每個像素點的特征矢量；然后對提取得到的所有像素點的特征矢量構(gòu)成的矩陣進(jìn)行低秩矩陣分解，并獲取二維視頻中每個時刻的視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的最優(yōu)背景矩陣和最優(yōu)運動矩陣；再根據(jù)二維視頻中每個時刻的視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的最優(yōu)運動矩陣，獲得二維視頻中每個時刻的視頻幀的空間顯著圖，將二維視頻中的t時刻的視頻幀{It(x，y)}的空間顯著圖記為表示{St,spatial(x，y)}中坐標(biāo)位置為(X，y)的像素點的像素值；
[0011]④對二維視頻中每個時刻的視頻幀的運動顯著圖和空間顯著圖進(jìn)行融合，得到二維視頻中每個時刻的視頻幀的視頻顯著圖，將二維視頻中t時刻的視頻幀{It(x，y)}的視頻顯著圖記為{SvidOT(x，y)}，將{SvidOT(x，y)}中坐標(biāo)位置為(x，y)的像素點的像素值記為
【權(quán)利要求】
1.一種視頻顯著圖提取方法，其特征在于包括以下步驟: ①對呈三維立方體的二維視頻在時域上進(jìn)行采樣，得到二維視頻的T個X-Y截面圖像，即得到二維視頻的T個時刻的視頻幀，將二維視頻中的t時刻的視頻幀記為{It (X，y)}，將{It(x, y)}中坐標(biāo)位置為(x，y)的像素點的像素值記為It(x，y)，其中，T表示二維視頻中包含的視頻幀的總幀數(shù)，l^y^H, W表示二維視頻中各時刻的視頻幀的寬，H表示二維視頻中各時刻的視頻幀的高； 同樣，對呈三維立方體的二維視頻在X方向上進(jìn)行采樣，得到二維視頻的W個Y-T截面圖像，將二維視頻中的第X個Y-T截面圖像記為{Ix(y，t)}，將{Ix(y，t)}中坐標(biāo)位置為(y, t)的像素點的像素值記為 Ix (y, t), Ix (y, t)=It(x, y)； 同樣，對呈三維立方體的二維視頻在Y方向上進(jìn)行采樣，得到二維視頻的H個X-T截面圖像，將二維視頻中的第y個X-T截面圖像記為{Iy(x，t)}，將{Iy(x，t)}中坐標(biāo)位置為(X，t)的像素點的像素值記為Iy (X，t), Iy (X，t)=It(x, y)； ②對二維視頻中的每個Y-T截面圖像進(jìn)行低秩矩陣分解，并獲取二維視頻中的每個Y-T截面圖像的最優(yōu)垂直方向運動矩陣，同樣對二維視頻中的每個X-T截面圖像進(jìn)行低秩矩陣分解，并獲取二維視頻中的每個X-T截面圖像的最優(yōu)水平方向運動矩陣；然后根據(jù)二維視頻中的每個Y-T截面圖像的最優(yōu)垂直方向運動矩陣和每個X-T截面圖像的最優(yōu)水平方向運動矩陣，獲取二維視頻中每個時刻的視頻幀的運動顯著圖，將二維視頻中的t時刻的視頻幀{It(x, y)}的運動顯著圖記為{St，m()tim(x，y)},其中，St，m(rti()n(x，y)表示{St；motion(x, y)}中坐標(biāo)位置為(x，y)的像素點的像素值； ③提取二維視頻中每個時刻的視頻幀中的每個像素點的特征矢量；然后對提取得到的所有像素點的特征矢量構(gòu)成的矩陣進(jìn)行低秩矩陣分解，并獲取二維視頻中每個時刻的視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的最優(yōu)背景矩陣和最優(yōu)運動矩陣；再根據(jù)二維視頻中每個時刻的視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的最優(yōu)運動矩陣，獲得二維視頻中每個時刻的視頻幀的空間顯著圖，將二維視頻中的t時刻的視頻幀{It(x，y)}的空間顯著圖記為{St,spatial(x，y)}，其中，St,spatial(x，y)表示{St,spatial (x，y)}中坐標(biāo)位置為(X，y)的像素點的像素值； ④對二維視頻中每個時刻的視頻幀的運動顯著圖和空間顯著圖進(jìn)行融合，得到二維視頻中每個時刻的視頻幀的視頻顯著圖，將二維視頻中t時刻的視頻幀{It(x，y)}的視頻顯著圖記為{SvidOT(x，y)}，將{SvidOT(x，y)}中坐標(biāo)位置為(x，y)的像素點的像素值記為Svideo (χ, y)， Svideo (X，Y) ^t, motion

(x，y)) ° X (Supatial(Xj))1^,其中，α 為權(quán)重系數(shù)。
2.根據(jù)權(quán)利要求1所述的一種視頻顯著圖提取方法，其特征在于所述的步驟②的具體過程為: ②-1、對二維視頻中的每個Y-T截面圖像進(jìn)行低秩矩陣分解，得到二維視頻中的每個Y-T截面圖像的所有垂直方向背景矩陣和所有垂直方向運動矩陣； ②-2、利用最小化概率密度函數(shù)，獲取二維視頻中的每個Y-T截面圖像的最優(yōu)垂直方向背景矩陣和最優(yōu)垂直方向運動矩陣，將二維視頻中的第χ個Y-T截面圖像{Ix (y，t)}的最優(yōu)垂直方向背景矩陣和最優(yōu)垂直方向運動矩陣對應(yīng)記為B!和M=，將和M=的組合記為
3.根據(jù)權(quán)利要求2所述的一種視頻顯著圖提取方法，其特征在于所述的步驟②-2和所述的步驟②-5中取λ =0.06 ;所述的步驟②-8中取σ =5。
4.根據(jù)權(quán)利要求1至3中任一項所述的一種視頻顯著圖提取方法，其特征在于所述的步驟③的具體過程為: ③-1、將當(dāng)前正在處理的二維視頻中的t時刻的視頻幀{It(X，y)}定義為當(dāng)前視頻幀； ③-2、提取當(dāng)前視頻幀中的每個像素點的紅顏色分量、綠顏色分量、藍(lán)顏色分量、色調(diào)分量和飽和度分量，由提取出的每個像素點的紅顏色分量、綠顏色分量、藍(lán)顏色分量、色調(diào)分量和飽和度分量構(gòu)成對應(yīng)像素點的第一特征矢量，其中，當(dāng)前視頻幀中的每個像素點的第一特征矢量的維數(shù)為5 X (WXH)； ③_3、提取當(dāng)前視頻幀中的每個像素點經(jīng)4個方向和3個尺度的可控金字塔濾波后得到的振幅，由提取出的每個像素點對應(yīng)的12個振幅構(gòu)成對應(yīng)像素點的第二特征矢量，其中，當(dāng)前視頻幀中的每個像素點的第二特征矢量的維數(shù)為12X (WXH)； ③-4、提取當(dāng)前視頻幀中的每個像素點經(jīng)12個方向和3個尺度的Gabor濾波后得到的振幅，由提取出的每個像素點對應(yīng)的36個振幅構(gòu)成對應(yīng)像素點的第三特征矢量，其中，當(dāng)前視頻幀中的每個像素點的第三特征矢量的維數(shù)為36 X (WXH)； ③-5、將當(dāng)前視頻幀中的每個像素點的第一特征矢量、第二特征矢量和第三特征矢量按序重組構(gòu)成對應(yīng)像素點的特征矢量，然后對當(dāng)前視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣進(jìn)行低秩矩陣分解，得到當(dāng)前視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的所有背景矩陣和所有運動矩陣； ③-6、利用最小化概率密度函數(shù)，獲取當(dāng)前視頻幀中的所有像素點的特征矢量構(gòu)成的矩陣的最優(yōu)背景矩陣和最優(yōu)運動矩陣，對應(yīng)記為
5.根據(jù)權(quán)利要求4所述的一種視頻顯著圖提取方法，其特征在于所述的步驟③-6中取λ =0.06 ;所述的步驟③-7中取Μ=200。
6.根據(jù)權(quán)利要求5所述的一種視頻顯著圖提取方法，其特征在于所述的步驟④中取α =0.3。`
【文檔編號】G06T7/00GK103632372SQ201310651561
【公開日】2014年3月12日 申請日期:2013年12月5日 優(yōu)先權(quán)日:2013年12月5日
【發(fā)明者】邵楓, 潘云峰, 蔣剛毅, 郁梅, 李福翠, 彭宗舉 申請人:寧波大學(xué)