專利名稱：基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于語義的細縫裁剪和非均勻映射 相結(jié)合的圖像自適應(yīng)的方法的研究及實現(xiàn)。
背景技術(shù)：
隨著移動設(shè)備的普及，電視、筆記本電腦、PDA、手機等適用于不同網(wǎng)絡(luò)的終端設(shè)備 不斷換代更新，不同類型不同尺寸的顯示終端不斷涌現(xiàn)以適應(yīng)各種不用的用戶需求。為了 保證持不同設(shè)備的用戶都能夠舒適地觀看同樣的圖像內(nèi)容，這就要求圖像內(nèi)容能夠自適應(yīng) 于不同尺寸、不同比例的用戶終端，研究保持圖像主要內(nèi)容的自適應(yīng)技術(shù)具有重要的應(yīng)用
眉、ο目前主要的圖像大小自適應(yīng)方法有線性變形(Scaling)方法，裁切(Cropping)方 法，非均勻映射(Non-homogeneous Warping)方法，基于細縫裁切的方法、基于前景對象的
方法等。線性變形方法是最簡單的圖像大小自適應(yīng)方法，該方法沒有考慮圖片內(nèi)容，一旦 由不同比例縮放，往往會造成圖片的變形，或者關(guān)鍵對象由于擠壓或拉長帶來的比例失真寸。裁切方法是將圖像的重要區(qū)域標定后再進行等比例縮放。這一方法通常和圖像感 興趣區(qū)檢測相結(jié)合，先確定出哪些區(qū)域?qū)儆谥匾獏^(qū)域，然后裁切并移除不重要的內(nèi)容，使感 興趣區(qū)域的比例變大。其中重要內(nèi)容區(qū)域的檢測十分重要，臉部的檢測等常作為檢測的重 點。另外，該方法只能保留局部內(nèi)容，當重要區(qū)域位于圖像兩端時，其必然要保留一邊而舍 棄另一邊，導(dǎo)致重要信息丟失。二維的非均勻映射方法首先由用戶設(shè)定一些需要保持形狀的感興趣區(qū)域，在進行 圖像縮放時，感興趣區(qū)基本上采取相似變換，而其它區(qū)域則采取非線性變換，當然感興趣區(qū) 形狀保持的代價是其它背景區(qū)域更大的變形?；诩毧p裁減方法是自動尋找圖像中的水平或垂直方向單調(diào)、連通的最低能量 線，通過去除/增加最低能量線來壓縮/放大圖像，這一方法的特點是能夠最大限度的保持 圖像中的重要區(qū)域，去除最低能量區(qū)域。在此基礎(chǔ)上，2008年Rubinstein等人提出了改進 方案，將能量計算由原來的后向能量改為前向能量，這一改進較好的保持了圖像中的邊緣 和細節(jié)?；趯ο蟮?Object-Based)圖像或視頻的編輯方法，分離出圖像中的前景和背 景分別進行縮放后再合成新的圖像。這類方法的瓶頸在于普適的對象分割技術(shù)和魯棒性的 前景背景分類技術(shù)還不成熟，這也導(dǎo)致該類方法推廣應(yīng)用存在局限性。目前各種方法有各自的優(yōu)缺點和局限性，我們發(fā)明一種圖像大小自適應(yīng)方法，它 融合了細縫裁切方法和非均勻映射方法的優(yōu)點，首先采取細縫裁減方法，同時監(jiān)測重要信 息變形的度量值，當變形超過設(shè)定指標時，終止細縫裁減方法，切換為非均勻映射方法，不僅能夠?qū)崿F(xiàn)圖像大小的自適應(yīng)，同時能夠更多的保持圖像的語義內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明的目的在于，通過提供一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖 像自適應(yīng)方法，適用于不同尺寸用戶終端的圖像自適應(yīng)技術(shù)，使圖像能夠自適應(yīng)地在不同 終端上顯示圖像內(nèi)容，盡可能多的保持原始圖像中語義內(nèi)容，保持關(guān)鍵對象無畸變，保持圖 像中的重要結(jié)構(gòu)即空間位置關(guān)系相對不變，以保證最佳主觀觀賞質(zhì)量。本發(fā)明是采用以下技術(shù)手段實現(xiàn)的本發(fā)明提供了一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法。 該方法包括A、讀入視頻序列圖像，接下來分別對每一幀M*N大小的圖像做細縫裁切和非均勻映。B、針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底 層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)。進一步地，所述步驟B具體包括Bi、對輸入的當前圖像幀劃分語義區(qū)域并標定重要區(qū)和非重要區(qū)的語義邊緣。語 義區(qū)域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、關(guān)鍵對象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常 用體育視頻語義區(qū)域。然后根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán) 值，得到當前幀的語義權(quán)值函數(shù)。語義邊緣用來檢測重要信息變形以判定何時結(jié)束細縫裁 切方法。B2、計算當前圖像幀中每一個像素點的灰度值，得到圖像幀的灰度函數(shù)。計算源圖 像每一個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計算源圖像每一個像素點的能量值，能量值采用梯度能量來計算，得到幀圖像 的能量函數(shù)。根據(jù)梯度能量值計算前向能量值。計算當前圖像幀中每一個像素點前向能量 值和語義權(quán)值的乘積，得到當前圖像幀的加權(quán)能量函數(shù)。進一步地，所述步驟Bl具體包括31、請用戶給各語義區(qū)域重要性打分(1-10)，統(tǒng)計共m處語義區(qū)域重要性的分布
Psi (Im), i = 1, 2, . . . m,并計算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImSm}禾口方差{vmsl,
vmS2,......vmSm}。確定語義區(qū)域 Si 的有效范圍[Ave_ImSi_3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語義重要性自動確定語義加權(quán)值。設(shè)底層能量函數(shù)計算公式Φ (ρ)，隨機 選取一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)語義區(qū)域Si的重要性權(quán)值通過如下公式計算
至此，我們得到圖像中的相應(yīng)像素點的語義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、逐步去除或者增加當前圖像幀中的細縫即低能量線來實現(xiàn)圖像大小的自適應(yīng)。 根據(jù)重要區(qū)和非重要區(qū)的語義邊緣隨時監(jiān)測重要信息變形，當這一度量達到某個閾值時即 停止細縫算法。
5
進一步地，所述步驟C具體包括Cl、設(shè)定輸出目標圖像的長寬大小。C2、初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進行第k次迭代，計算圖像的行 代價函數(shù)和列代價函數(shù)。將所有行/列的代價函數(shù)進行對比，得到最小代價函數(shù)，設(shè)第1行 為CostK1。代價函數(shù)CostK1對應(yīng)的路徑path(xy，y)即為低能量線，去除圖像I (x，y)和語 義加權(quán)圖w(i，j)中低能量線對應(yīng)位置的像素點。C3、進一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對重要邊緣Edgejmt 的第k個點(Sk，yk)，如果y = yk且Xk = Xy則刪除該點，邊緣長度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計算重要信息變形的度量值。如果重要信息變形的度量值超過設(shè)定閾值指標， 則終止細縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進行第k+1 次迭代計算。進一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場地邊緣變形來度量。設(shè)場地邊緣描述子為Edge_imt = {(x1 Y1), (x2, y2),......，(χη, yn)}, t = 1,2. .. T隨著圖像放大或縮小，邊緣Edgejmt的方向應(yīng)該保持不變，而是平行移動。換句 話講，在邊緣對應(yīng)的直線方程Lt :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放 而變化。用當前圖像中邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct即可 確定直線方程。進一步，計算邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合 直線的偏移量)
(6)尋找最大偏移量作為重要信息變形指標
(7)變形度量準則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值。如果重 要信息的度量值變形大于設(shè)定閾值，停止細縫裁減。D、當重要信息變形的度量值大于設(shè)定閾值時細縫裁減停止，接下來采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標。非均勻映射過程分 為兩個層次，先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記分牌 圖像。細縫裁減方法的隨機變形對以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域直接 從原始圖像的記分牌圖像進行映射。自然圖像則從細縫裁減后的圖像進行映射。 進一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標大小。以此為目標，采用相同的方法對原始記分牌圖像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進一步地，所述步驟D3具體包括D31、圖像共包含d個重要區(qū)域F = F1 U F2 U，...UFd。將圖像分為K個矩形柵格 區(qū)域，自然圖像對應(yīng)的柵格較大，記分牌圖像對應(yīng)的柵格較小。D32、設(shè)原始柵格頂點經(jīng)過非均勻映射后為V' =Iv' 1； ν' 2, ...ν' Ν}，重要區(qū) 域比例因子為SFlm，不重要區(qū)域比例因子為SFNIm。結(jié)合兩個比例因子和重要區(qū)域F，得到相 應(yīng)頂點的重要性權(quán)值SI (Vi)。D33、計算V' =Iv' 1； ν' 2，···ν' Ν}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點V = Iv1, V2, . . . νΝ}。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢和有益效果。本發(fā)明一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，將目前 比較好的兩種方法——細縫裁減方法和非均勻映射方法有機結(jié)合，充分發(fā)揮各自的優(yōu)點， 實現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語義加權(quán)的能量函數(shù)計算，實現(xiàn)基于語 義內(nèi)容的圖像大小自適應(yīng)。使圖像能夠自適應(yīng)地在不同終端上顯示圖像內(nèi)容，盡可能多的 保持了原始圖像中語義內(nèi)容，保持關(guān)鍵對象無畸變，保持圖像中的重要結(jié)構(gòu)即空間位置關(guān) 系相對不變，保證了最佳的主觀觀賞質(zhì)量。


圖1為實施例中基于語義的細縫與非均勻映射方法結(jié)合方法的流程圖；圖2為實施例中方法的詳細流程圖；圖3為實施例中前向能量三種可能的路徑和相應(yīng)能量值變化；圖4為實施例中細縫方法操作步驟；圖5為實施例中輸入圖像幀。
具體實施例方式下面將結(jié)合附圖及實施例對本發(fā)明的技術(shù)方案進行更詳細的說明。技術(shù)方案的整體流程如說明書附圖1所示，本實施例是針對體育視頻中的籃球視 頻進行的，源籃球圖像幀大小為288*352像素的BMP位圖。結(jié)合體育視頻中間層語義分析 結(jié)果，針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特 征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)。接下來利用前向能量的細縫裁減方法 去除圖像中的不重要信息，同時用重要語義邊緣的變化度量重要信息變形，當變形超過設(shè) 定指標時終止細縫裁減方法，采用非均勻映射方法得到目標大小的圖像。技術(shù)方案的詳細 流程圖如說明書附圖2所示。A、讀入籃球視頻序列圖像，其高為288像素，寬為352像素。B、語義加權(quán)能量函數(shù)計算。首先闡述一下語義的概念。人們提出了體育視頻的三層語義結(jié)構(gòu)底層特征、中間 層特征和高層語義。此底層特征就是直接由圖像像素值提取的顏色、形狀、紋理等特征及其 組合。高層語義即人們理解的圖像內(nèi)容，目前還沒有達到自動提取的程度。中間層特征可以歸結(jié)為簡單的語義特征，他們基于底層特征、結(jié)合領(lǐng)域知識而得到，一般可以自動提取。本實施例中采用的是中間層語義。體育視頻中比賽場地一般都包含較少細節(jié)信 息，用傳統(tǒng)的能量函數(shù)往往會產(chǎn)生與人們的理解不完全一致的結(jié)果。我們提出了一種語義 加權(quán)能量函數(shù)計算方法，結(jié)合中間層語義特征對傳統(tǒng)的能量函數(shù)進行修正，以得到的能量 函數(shù)能夠更好的表示圖像語義。所述步驟B具體包括Bi、對輸入的當前圖像幀劃分語義區(qū)域并標定重要區(qū)和非重要區(qū)的語義邊緣。本 實施例中語義區(qū)域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、觀眾區(qū)和廣告牌區(qū)域，見說明 書附圖5 (黑色三角和白色三角為兩隊球員，黑色圓點為籃球，白色菱形為裁判人員)。然后 根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，場地區(qū)域權(quán)值為5、運動員 區(qū)域權(quán)值為6、記分牌區(qū)域為7、觀眾區(qū)和廣告牌區(qū)域為1，得到當前幀的語義權(quán)值函數(shù)。B2、根據(jù)當前圖像幀中每一個像素點的R、G、B分量值計算灰度值，根據(jù)灰度計算 公式為gray = 0. 299*R+0. 587*G+0. 114*B，可以得到圖像幀的灰度函數(shù)。計算源圖像每一 個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)。B3、計算源圖像每一個像素點的能量值，我們希望能量值能夠表征圖像中 像素點的重要程度，本實施方式采用梯度值這種簡單有效的方式來計算能量值并再 進一步用語義權(quán)值對其修正。圖像中像素的灰度值為I(i，j)，該點的梯度能量即 <i,j) =I il(i,j) I +1 il(i,j I。梯度值越大，能量值越大。為了更好的表征像素點的重要程度，我們提出采用語義加權(quán)的能量函數(shù)改進算 法，在圖像大小縮放的過程中更加有助于保護圖像當中的重要語義區(qū)域及邊緣。計算當前 圖像幀中每一個像素點能量值和語義權(quán)值的乘積，得到當前圖像幀的加權(quán)能量函數(shù)。語義 加權(quán)能量值=梯度能量值*語義權(quán)值進一步地，所述步驟Bl具體包括31、人們對于不同語義區(qū)域重要性理解有一定的共性，但也存在差別。忽略較小差 別，提取共性，并將其與圖像內(nèi)容重要性關(guān)聯(lián)起來以得到與人類理解相符合的結(jié)果?；诖?我們發(fā)放調(diào)查問卷請用戶給各語義區(qū)域重要性打分(1-10)，統(tǒng)計共m處語義區(qū)域重要性的
分布 pSi(Im)，i = 1，2，...m，并計算其均值{Ave_Imsl, Ave_ImS2,......Ave_ImsJ 和方差
{vmsl, vmS2,......vmsJ。確定語義區(qū)域 Si 的有效范圍[Ave_ImSi-3vmSi, Ave_ImSi+3vmSi]。32、根據(jù)語義重要性自動確定語義加權(quán)值。設(shè)底層能量函數(shù)計算公式Φ (ρ)，隨機 選取一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)語義區(qū)域Si的重要性權(quán)值通過公式(1)計算 至此，得到圖像中的相應(yīng)像素點的語義重要性權(quán)值w(i, j) = Iffeightsi, (i，j) e Si}。C、采用細縫增刪方法逐步去除或者增加當前圖像幀中的細縫即低能量線來實現(xiàn) 圖像大小的自適應(yīng)。隨時監(jiān)測重要信息變形的度量值，當這一度量達到某個閾值時即停止 細縫算法，方法如說明書附圖4所示，具體說明見下面步驟。
進一步地，所述步驟C具體包括Cl、設(shè)定輸出目標圖像的長寬大小。通過目標圖像和源圖像長寬的比對，我們可 以得到我們將在水平方向和垂直方向改變多少尺寸。本實施例設(shè)定輸出目標圖像大小為 176*144，即長度和寬度各減少一半。C2、細縫方法的思想是從圖像中尋找一條能量最小的垂直或水平縫隙，將找到的 縫隙上所有的像素點刪除或復(fù)制以實現(xiàn)圖像尺寸減小或增大。其中垂直或水平縫隙是指圖像中一條自頂向下或自左向右的曲線，圖像中的每一 行或列有且僅有一個像素點在這條曲線上，且曲線上任何相鄰兩行的像素點是鄰接的。縫 隙的能量被定義為縫隙上所有像素點的能量之和。如何尋找這條細縫是很重要的一個步驟。以尋找垂直方向細縫為例，基于內(nèi)容的 一般方法采用的是，尋找一條自頂向下的曲線即細縫，它的能量為所有它上面能量的和，刪
除或者復(fù)制它。我們計算圖像中所有像素點的能量的平均值為‘萬ζΙ μ〗，·/)，當我
my.n
們?nèi)我庖瞥鱿袼氐臅r候，這個圖像中的能量平均值;^應(yīng)該保持不變。當移出地能量線上 的像素的時候，基于內(nèi)容的一般方法會使能量平均值增加?；趦?nèi)容的一般方法對大部分 圖像是可用的，但是忽略了能量的增加。我們注意到這樣的變化，當細縫移出了，原來不相 鄰的像素變成了鄰居，新的鄰居產(chǎn)生了新的邊緣。于是本實施例采用了如下方法，即前向能
量方法。尋找細縫，當它移出后圖像增加的能量最小。這樣的細縫的能量不一定是最小的， 但是當它刪除或者復(fù)制后引起最小的假象，更好的保護圖像的語義內(nèi)容。新的邊緣的能量為新鄰居的能量差?？紤]到細縫的連續(xù)性，以及算垂直細縫為例 列出了所有的三種情況，如說明說附圖3所示移出像素Piij有三種路徑可以實現(xiàn)，從PiH1P^j或者PH, j+1到Pi,」即從左上方、 正上方、右上方到Pi,」三種路徑。當移出兩個像素點后，產(chǎn)生新的邊緣，邊緣值分別為CLeft (i，j) = I(i, j+1) -I (i，j-1) I +1) I (i-1，j) -I (i，j-1)Cup (i，j) = I I (i，j+1) "I (i，j-1)CEight (i，j) = I (i，j+1) -I (i，j-1) I +11 (i-1，j) -I (i，j+1)當然，會將上述的語義權(quán)值與其加權(quán)，來更好的保護圖像的語義內(nèi)容，即將像素的 每一點的語義權(quán)值w(i，j)與該點的邊緣值點積，如下CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j-l)I(i，j-1)Cup(i，j) = w(i, j+1) I (i，j+1)-w(i，j-1) I (i，j-1)CEight (i，j) = |w(i, j+1) I (i，j+1) -w (i，j-1) I (i，j-1) | +1 w (i-1，j) I (i-1，j) ι (i， j+l)I(i，j+1)需要說明的是，要特別考慮一些特殊的點，當計算水平的縫隙時，圖像的起始點、 第一行、第一列以及最后一行；當計算垂直的縫隙的時候，圖像的起始點、第一行、第一列以 及最后一列。例如在計算垂直縫隙的時候，圖像的第一行，用相鄰的點的權(quán)值和灰度值代替 不存在的鄰居點的權(quán)值和灰度值。即 CLeft (i，j) = w(i, j+1) I (i，j+1) -w (i，j) I (i，j) I +1 w (i-1，j) I (i-1，j) ι (i，j)I(i，j)Cup (i，j) = w(i, j+1) I (i，j+1) -w(i，j) I (i，j)CEight(i, j) = w(i, j+l)I(i, j+l)-w(i, j)I(i，j) +|w(i-l, j)I(i_l，j)_w(i， j+l)I(i，j+1)三條路徑中的Qeft (i，j)，Cup (i，j)，CEight(i, j)，接下來就要尋找一條水平或者垂 直的細縫，這條細縫上的能量值為自頂向下或者自左向右的Qrft(i，j)，CUp(i，j), CEight(i, j)的疊加的最小值記為M(i，j)。即采用動態(tài)規(guī)劃的方法求解前向能量最小細縫，具體做法 為初始化圖像寬度和高度，迭代次數(shù)k = 0。然后進行第k次迭代，計算圖像的行代 價函數(shù)和列代價函數(shù)，以列為例，代價函數(shù)的計算通過以下公式循環(huán)迭代得到 求解后我們得到最小的列代價函數(shù)，我們記住它的列號。同理計算水平方向的細 縫的代價函數(shù)，記住它得行號。將所有行/列的代價函數(shù)進行對比，得到最小代價函數(shù)，設(shè) 第1行為Costlil，設(shè)第1行為CostK1。代價函數(shù)CostK1對應(yīng)的路徑path(xy，y)即為低能量 線，去除圖像I(x，y)和語義加權(quán)圖w(i，j)中低能量線對應(yīng)位置的像素點。C3、進一步根據(jù)低能量線path (xy，y)修正重要邊緣描述子。對重要邊緣Edgejmt 的第k個點(Xk，yk)，如果y = yk且Xk = Xy則刪除該點，邊緣長度減1 ;如果y = yk且Xk > xyJJ xk = xk-l °C4、計算重要信息變形的度量值。如果重要信息變形的度量值超過設(shè)定閾值指標， 則終止細縫裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Cl中進行第k+1 次迭代計算。進一步地，所述步驟C4具體包括重要信息變形采取重要區(qū)域邊緣即場地邊緣變形來度量。設(shè)場地邊緣描述子為Edge_imt = {(x1 J1), (x2, y2),......, (χη, yn)}, t = 1,2. ·· T根據(jù)本實施例中采用的圖像的特點，我們采用兩條場地邊緣Edgejm1和Edge_ im2，他們的坐標點分別為:A(119,102)，B(351，131) ；C(0,169)，A(119，102)。根據(jù)坐標點A，B, C我們計算得到直線AB即L1 =A1WByC1 = 0，直線AC即L2 A2x+B2y+C2 = 0。隨著圖像放大或縮小，兩條邊緣的方向保持不變，而是平行移動。換句話講，在邊 緣對應(yīng)的直線方程 L1 -Λ,χ+^y+C, = 0，L2 :A2x+B2y+C2 = 0 中，A1, A2 和 B1, B2 保持不變，C1,， C2隨著圖像的縮放而變化。用當前圖像中邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct確定 直線方程。進一步，計算邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合直線的 偏移量)
Γ η , \A^m+Btym+c\ 尋找最大偏移量作為重要信息變形指標^ = maxWl \t = \,..T,m = \,..n}變形度量準則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值。本實施 例中的閾值通過實驗設(shè)定為1.5。如果重要信息變形的度量值大于設(shè)定閾值，停止細縫裁 減。D、當重要信息變形的度量值大于設(shè)定閾值時細縫裁減停止，接下來采用非均勻映 射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為Cl中設(shè)定的目標。將非均勻映射過程 分為兩個層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，然后處理記分牌區(qū)域即記 分牌圖像。細縫裁減方法的隨機變形對以文字為主的記分牌區(qū)域有很大影響，記分牌區(qū)域 直接從原始圖像的記分牌圖像進行映射。自然圖像則從細縫裁減后的圖像進行映射。進一步地，所述步驟D具體包括D1、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū) 域，設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域。D2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分 牌圖像的非重要區(qū)域。D3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映 射。先處理自然圖像，得到記分牌區(qū)域的目標大小。以此為目標，采用相同的方法對原始記 分牌圖像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)。最后將其疊加到自然圖像的自適應(yīng)結(jié) 果中，得到最終的自適應(yīng)圖像。進一步地，所述步驟D3具體包括D31、圖像共包含d個重要區(qū)域F = F1UF2U，... U Fd。將圖像分為K個矩形柵 格區(qū)域，自然圖像對應(yīng)的柵格較大，記分牌圖像對應(yīng)的柵格較小。D32、設(shè)原始柵格頂點經(jīng)過非均勻映射后為V' ={ν' ι;ν' 2.v' N}，重要區(qū)域比 例因子為SFlm，不重要區(qū)域比例因子為SFNIm。重要區(qū)域的比例因子分為行重要比例因子和 列重要比例因子；行重要比例因子為目標圖像寬度除以每行的重要區(qū)域象素數(shù)，列重要比 例因子為目標圖像高度除以每列的重要區(qū)域象素數(shù)。綜合行與列重要比例因子綜合求最大 得到重要區(qū)域比例因子為SFlm，同理得到不重要區(qū)域比例因子。結(jié)合兩個比例因子和重要 區(qū)域F，得到相應(yīng)頂點的重要性權(quán)值SI (Vi)。D33、計算V' =Iv' 1； ν' 2,...v' N}，使其在重要性權(quán)值SI (Vi)的作用下盡可 能接近原始圖像中的柵格頂點V = Iv1, V2, . . . vN}。
權(quán)利要求
一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，包括以下步驟A、讀入視頻序列圖像，對當前圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)；B、采用細縫裁剪方法逐步去除或者增加當前語義加權(quán)的圖像幀中的細縫即低能量線來實現(xiàn)圖像大小的自適應(yīng)；隨時監(jiān)測重要信息變形，當這一度量達到某個閾值時即停止細縫算法；C、當重要信息變形大于設(shè)定閾值時細縫裁減停止，采用非均勻映射方法完成圖像大小的自適應(yīng)，使圖像大小自適應(yīng)為設(shè)定的目標；非均勻映射過程分為兩個層次，首先處理不包含記分牌的圖像區(qū)域即自然圖像，從細縫裁減后的圖像進行映射；然后處理記分牌區(qū)域即記分牌圖像，直接從原始圖像的記分牌圖像進行映射。
2.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟A具體包括Al、對輸入的當前圖像幀劃分語義區(qū)域并標定重要區(qū)和非重要區(qū)的語義邊緣；語義區(qū) 域包括場地區(qū)域、運動員區(qū)域、記分牌區(qū)域、關(guān)鍵對象區(qū)域、觀眾區(qū)域、廣告牌區(qū)域等常用體 育視頻語義區(qū)域；根據(jù)語義重要性自動確定各個不同的語義區(qū)及邊緣區(qū)內(nèi)的權(quán)值，得到當 前幀的語義權(quán)值函數(shù)；A2、計算當前圖像幀中每一個像素點的灰度值，得到圖像幀的灰度函數(shù)；計算源圖像每 一個像素點灰度值和加權(quán)值的乘積，得到幀圖像的加權(quán)灰度函數(shù)；A3、計算源圖像每一個像素點的能量值，能量值采用梯度能量來計算，得到幀圖像的能 量函數(shù)；根據(jù)梯度能量值計算前向能量值；計算當前圖像幀中每一個像素點前向能量值和 語義權(quán)值的乘積，得到當前圖像幀的加權(quán)能量函數(shù)。
3.根據(jù)權(quán)利要求2所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟Al具體包括31、請用戶給各語義區(qū)域重要性打分，統(tǒng)計共m處語義區(qū)域重要性的分布，并計算其均 值和方差，根據(jù)均值和方差確定語義區(qū)域Si的有效范圍；32、根據(jù)語義重要性自動確定語義加權(quán)值；設(shè)底層能量函數(shù)計算公式Φ(ρ)，隨機選取 一些訓(xùn)練視頻幀，統(tǒng)計語義區(qū)域Si的能量分布值pSi (Eng)，語義區(qū)域Si的重要性權(quán)值通過公式計算，i4ve_ImSl-+3v7Ma OOWeightsi = J \pSi (Im)jPs, (Eng)(lm/ Eng)d]mdEngAve_]mSi Svmsj 0求出圖像中的相應(yīng)像素點的語義重要性權(quán)值為W(i，j)。
4.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B具體包括Bi、設(shè)定輸出目標圖像的長寬大?。籅2、計算圖像的行代價函數(shù)和列代價函數(shù)；將所有行/列的代價函數(shù)進行對比，得到最 小代價函數(shù)，其對應(yīng)的路徑即為低能量線，去除圖像和語義加權(quán)圖w(i，j)中低能量線對應(yīng) 位置的像素點；B3、根據(jù)低能量線path(Xy，y)修正重要邊緣描述子；對重要邊緣Edgejmt的第k個點(xk, yk)，如果y = yk且xk = xy則刪除該點，邊緣長度減1 ；如果y = yk且xk > xy，則xk = Xk-I ；B4、計算重要信息變形的度量值；如果重要信息度量值超過設(shè)定閾值指標，則終止細縫 裁減算法，否則迭代次數(shù)k = k+Ι，修改圖像寬度或高度，跳至Bl中進行第k+Ι次迭代計算。
5.根據(jù)權(quán)利要求4所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟B4具體包括重要信息變形的度量值采取重要區(qū)域邊緣即場地邊緣變形來度量；設(shè)場地邊緣描述子為Edge_imt = {(X1, Y1), (x2, y2),......, (χη, yn)}, t = 1, 2. . . T隨著圖像放大或縮小，邊緣Edgejmt的方向保持不變，而是平行移動；在邊緣對應(yīng)的直 線方程It :Atx+Bty+Ct = 0中，At和Bt保持不變，Ct隨著圖像的縮放而變化；用當前圖像中 邊緣Edgejmt上的所有象素點采用最小均方誤差方法計算Ct確定直線方程；進一步，計算 邊緣Edgejmt所有點與擬合直線Lt的垂直距離(即點與擬合直線的偏移量)d, JA^Btym+Ct\尋找最大偏移量作為重要信息變形指標χ = md^{d'm \ t = \,..T,m-\,..n}變形度量準則采用閾值法，通過綜合各種類型的直線變形訓(xùn)練得到閾值；如果重要信 息變形大于設(shè)定閾值，停止細縫裁減。
6.根據(jù)權(quán)利要求1所述的基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方 法，其特征在于，所述步驟C具體包括Cl、根據(jù)A步驟中得到的語義重要性統(tǒng)計值將自然圖像分為重要區(qū)域和不重要區(qū)域， 設(shè)定閾值將各語義區(qū)域重要性值二值化為重要區(qū)域和不重要區(qū)域；C2、通過邊緣檢測來得到記分牌圖像的重要區(qū)域即文字區(qū)域，剩下的部分為記分牌圖 像的非重要區(qū)域；C3、對包含重要區(qū)域和非重要區(qū)域的自然圖像和記分牌圖像分別進行非均勻映射；先 處理自然圖像，得到記分牌區(qū)域的目標大小；以此為目標，采用相同的方法對原始記分牌圖 像進行非均勻映射，實現(xiàn)記分牌圖像自適應(yīng)；最后將其疊加到自然圖像的自適應(yīng)結(jié)果中，得 到最終的自適應(yīng)圖像。
全文摘要
一種基于語義的細縫裁剪和非均勻映射相結(jié)合的圖像自適應(yīng)方法，該方法包括結(jié)合體育視頻中間層語義分析結(jié)果，針對圖像幀提取用戶對語義區(qū)域重要性主觀評價的統(tǒng)計特征，并用來對基于底層特征的能量函數(shù)進行加權(quán)，得到語義加權(quán)的能量函數(shù)；利用前向能量的細縫裁減方法去除圖像中的不重要信息，同時用重要語義邊緣的變化度量重要信息變形，當變形超過設(shè)定指標時終止細縫裁減方法，采用非均勻映射方法得到目標大小的圖像。方法框架如摘要附圖所示。本發(fā)明將目前比較好的兩種方法——細縫裁減方法和非均勻映射方法有機結(jié)合，充分發(fā)揮各自的優(yōu)點，實現(xiàn)綜合最優(yōu)的圖像視頻自適應(yīng)結(jié)果；并且引入了語義加權(quán)的能量函數(shù)計算，實現(xiàn)基于語義內(nèi)容的圖像大小自適應(yīng)。
文檔編號G06T7/00GK101923703SQ201010264739
公開日2010年12月22日 申請日期2010年8月27日 優(yōu)先權(quán)日2010年8月27日
發(fā)明者劉書琴, 宮玉, 毋立芳, 王紅, 鄧亞麗 申請人:北京工業(yè)大學(xué)