基于顯式和隱含信息的圖像視覺顯著度計算方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖形學(xué)技術(shù)領(lǐng)域，具體涉及一種基于顯式和隱含信息的圖像視覺顯著度計算方法和裝置。
【背景技術(shù)】
[0002]使計算機像人類視覺系統(tǒng)那樣感知、分析圖像內(nèi)容為目標(biāo)的感知圖像處理是近年來的熱門研宄領(lǐng)域。其第一步是模擬人類的視覺注意機制來定位輸入圖像中的重要內(nèi)容，即估計顯著的目標(biāo)(重要內(nèi)容)同時抑制干擾物(不重要的內(nèi)容)。
[0003]目前，有許多關(guān)于預(yù)測靜態(tài)圖像顯著度的方法，大致分為兩類:自底向上方法和自頂向下方法。自底向上方法主要從圖像數(shù)據(jù)內(nèi)容本身來分析并計算顯著度，通常這些方法認為具有局部高對比度、全局稀有性和不規(guī)則性的圖像內(nèi)容是顯著的。自頂向下的方法除了從圖像本身的信息出發(fā)還利用了一些先驗知識來調(diào)整顯著度，例如，使用各種對象檢測器來檢測對象從而增加檢測到的對象的顯著度、認為在新的子空間中能更好地區(qū)分目標(biāo)和干擾物并用線下訓(xùn)練好的碼本來重新表示圖像內(nèi)容、學(xué)習(xí)從特征到顯著度的映射函數(shù)等。
[0004]上述自底向上方法和自頂向下方法在僅靠圖像數(shù)據(jù)無法區(qū)分目標(biāo)和干擾物時，不能很好地預(yù)測圖像顯著度。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實施例提供了一種基于顯式和隱含信息的圖像視覺顯著度計算方法和裝置，以實現(xiàn)有效地計算出圖像的視覺顯著度。
[0006]為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。
[0007]根據(jù)本發(fā)明實施例的一個方面，提供了一種基于顯式和隱含信息的圖像視覺顯著度計算方法，包括:
[0008]從圖像中提取視覺詞匯，建立任意兩個視覺詞匯之間的隱含關(guān)系模型；
[0009]根據(jù)所述隱含關(guān)系模型獲取所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)，在不同顏色通道上分別提取每個宏塊的顯式顯著度；
[0010]根據(jù)所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)和每個宏塊的顯式顯著度建立圖模型，根據(jù)所述圖模型計算出所述圖像的視覺顯著度。
[0011]優(yōu)選地，所述的從圖像中提取視覺詞匯，建立任意兩個視覺詞匯之間的隱含關(guān)系模型，包括:
[0012]將圖像縮放到統(tǒng)一大小，提取縮放后的圖像中不重疊的宏塊，并對每個宏塊提取視覺特征；
[0013]對圖像中所有的視覺特征使用聚類算法聚類，得到若干視覺詞匯，計算出任意兩個視覺詞匯之間的相關(guān)性，得到任意兩個視覺詞匯之間的隱含關(guān)系模型，并對隱含關(guān)系模型進行歸一化處理。
[0014]優(yōu)選地，所述的計算出任意兩個視覺詞匯之間的相關(guān)性，包括:
[0015]計算出每個視覺詞匯的單獨出現(xiàn)頻率、任意兩個視覺詞匯的共同出現(xiàn)頻率和兩個視覺詞匯之間的相關(guān)性；
[0016]每個視覺詞匯的單獨出現(xiàn)頻率=包含這個視覺詞匯的圖像數(shù)目/所有圖像的數(shù)目；
[0017]任意兩個視覺詞匯的共同出現(xiàn)頻率=同時包含這兩個視覺詞匯的圖像數(shù)目/所有圖像的數(shù)目；
[0018]兩個視覺詞匯之間的相關(guān)性=log(共同出現(xiàn)頻率/兩個詞匯的單獨出現(xiàn)頻率的乘積)。
[0019]優(yōu)選地，所述的根據(jù)所述隱含關(guān)系模型獲取所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)，在不同顏色通道上分別提取每個宏塊的顯式顯著度，包括:
[0020]將圖像縮放到統(tǒng)一大小，提取縮放后的圖像中不重疊的宏塊，并對每個宏塊提取視覺特征；
[0021]用聚類算法將視覺特征歸類到視覺詞匯，并根據(jù)所述任意兩個視覺詞匯之間的隱含關(guān)系模型提取圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)；
[0022]在不同顏色通道上分別提取宏塊的顯式顯著度。
[0023]優(yōu)選地，所述的根據(jù)所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)和每個宏塊的顯式顯著度建立圖模型，根據(jù)所述圖模型計算出所述圖像的視覺顯著度，包括:
[0024]分別計算出不同宏塊之間的有向圖，宏塊A指向任意其他的宏塊B的有向圖由宏塊A的類型、宏塊B的顯式顯著度、宏塊AB間的隱含關(guān)系系數(shù)和高斯距離決定，所述宏塊A的類型包括干擾宏塊類別的宏塊、目標(biāo)類別的宏塊和無法確定類別的宏塊；
[0025]在每個有向圖上隨機游走，在隨機游走結(jié)束后，將每個宏塊的訪問次數(shù)作為該宏塊的圖像顯著度，并對宏塊的圖像顯著度進行歸一化處理；
[0026]將所有宏塊的圖像顯著度加權(quán)平均之后的值作為最終的圖像視覺顯著度。
[0027]根據(jù)本發(fā)明實施例的另一個方面，提供了一種基于顯式和隱含信息的圖像視覺顯著度計算裝置，其特征在于，包括:
[0028]隱含關(guān)系模型建立模塊，用于從圖像中提取視覺詞匯，建立任意兩個視覺詞匯之間的隱含關(guān)系模型；
[0029]宏塊的隱含關(guān)系和顯式顯著度獲取模塊，用于根據(jù)所述隱含關(guān)系模型獲取所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)，在不同顏色通道上分別提取每個宏塊的顯式顯著度；
[0030]圖像的視覺顯著度計算模塊，用于根據(jù)所述圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)和每個宏塊的顯式顯著度建立圖模型，根據(jù)所述圖模型計算出所述圖像的視覺顯著度。
[0031]優(yōu)選地，所述的隱含關(guān)系模型建立模塊，具體用于將圖像縮放到統(tǒng)一大小，提取縮放后的圖像中不重疊的宏塊，并對每個宏塊提取視覺特征；
[0032]對圖像中所有的視覺特征使用聚類算法聚類，得到若干視覺詞匯，計算出任意兩個視覺詞匯之間的相關(guān)性，得到任意兩個視覺詞匯之間的隱含關(guān)系模型，并對隱含關(guān)系模型進行歸一化處理。
[0033]優(yōu)選地，所述的隱含關(guān)系模型建立模塊，具體用于計算出每個視覺詞匯的單獨出現(xiàn)頻率、任意兩個視覺詞匯的共同出現(xiàn)頻率和兩個視覺詞匯之間的相關(guān)性；
[0034]每個視覺詞匯的單獨出現(xiàn)頻率=包含這個視覺詞匯的圖像數(shù)目/所有圖像的數(shù)目；
[0035]任意兩個視覺詞匯的共同出現(xiàn)頻率=同時包含這兩個視覺詞匯的圖像數(shù)目/所有圖像的數(shù)目；
[0036]兩個視覺詞匯之間的相關(guān)性=log(共同出現(xiàn)頻率/兩個詞匯的單獨出現(xiàn)頻率的乘積)。
[0037]優(yōu)選地，所述的宏塊的隱含關(guān)系和顯式顯著度獲取模塊，具體用于將圖像縮放到統(tǒng)一大小，提取縮放后的圖像中不重疊的宏塊，并對每個宏塊提取視覺特征；
[0038]用聚類算法將視覺特征歸類到視覺詞匯，并根據(jù)所述任意兩個視覺詞匯之間的隱含關(guān)系模型提取圖像上任意兩個宏塊之間的隱含關(guān)系系數(shù)；
[0039]在不同顏色通道上分別提取宏塊的顯式顯著度。
[0040]優(yōu)選地，所述的圖像的視覺顯著度計算模塊，具體用于分別計算出不同宏塊之間的有向圖，宏塊A指向任意其他的宏塊B的有向圖由宏塊A的類型、宏塊B的顯式顯著度、宏塊AB間的隱含關(guān)系系數(shù)和高斯距離決定，所述宏塊A的類型包括干擾宏塊類別的宏塊、目標(biāo)類別的宏塊和無法確定類別的宏塊；
[0041]在每個有向圖上隨機游走，在隨機游走結(jié)束后，將每個宏塊的訪問次數(shù)作為該宏塊的圖像顯著度，并對宏塊的圖像顯著度進