一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果融合方法
【專利摘要】本發(fā)明涉及一種基于秩最小化優(yōu)化算法的多標(biāo)簽圖像標(biāo)注結(jié)果融合方法，包括如下步驟：1)抽取訓(xùn)練集圖像的多種特征表示,訓(xùn)練集圖像帶有事先給定的語義標(biāo)注詞；2）在不同的特征表示下，訓(xùn)練各自的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型；3）對于一幅新的沒有語義標(biāo)注詞的圖像，用同樣的方法抽取該圖像的多種特征，使用這些特征分別輸入到對應(yīng)的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型來預(yù)測多標(biāo)簽結(jié)果；4）利用秩最小化算法將多個模型輸出的多標(biāo)簽結(jié)果融合，得到一個更準(zhǔn)確的標(biāo)注結(jié)果。本發(fā)明充分利用了不同特征表示下的圖像標(biāo)注模型的互補(bǔ)性，利用秩最小化算法減少融合的標(biāo)注結(jié)果中的預(yù)測錯誤，從而使得最終的圖像標(biāo)注結(jié)果更準(zhǔn)確。
【專利說明】一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果融合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像標(biāo)注結(jié)果融合方法，特別涉及一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法。
【背景技術(shù)】
[0002]隨著數(shù)碼相機(jī)和社交網(wǎng)絡(luò)應(yīng)用的普及，人們越來越習(xí)慣于將自己拍攝的圖像發(fā)布在互聯(lián)網(wǎng)上。為了更方便地管理和檢索互聯(lián)網(wǎng)上的海量圖像，自動圖像標(biāo)注是一個有效的工具。圖像標(biāo)注程序的基本任務(wù)是建模圖像底層視覺特征與高層語義標(biāo)注詞之間的關(guān)系。監(jiān)督學(xué)習(xí)圖像標(biāo)注模型是以已經(jīng)帶有語義標(biāo)注詞的圖像作為訓(xùn)練圖像，先抽取訓(xùn)練圖像的底層視覺特征，再以這些特征表示和對應(yīng)的語義標(biāo)注詞為輸入訓(xùn)練出監(jiān)督學(xué)習(xí)圖像標(biāo)注模型。當(dāng)對一幅新的沒有語義標(biāo)注詞的圖像進(jìn)行自動標(biāo)注時，首先使用與訓(xùn)練圖像特征抽取同樣的方式提取新圖像的底層視覺特征，然后將提取的新圖像的特征表示輸入到監(jiān)督學(xué)習(xí)圖像標(biāo)注模型來預(yù)測新圖像的語義標(biāo)注詞。一幅圖像通常包含有多種語義，所以監(jiān)督學(xué)習(xí)圖像標(biāo)注模型的預(yù)測結(jié)果中有多個語義標(biāo)注詞，或者說這是一個多標(biāo)簽的結(jié)果。
[0003]在圖像標(biāo)注問題中，從圖像抽取的底層視覺特征表示多種多樣，它們可以用來描述視覺特征的多個方面，例如顏色直方圖可以描述圖像顏色的統(tǒng)計信息，Gabor變換結(jié)果可以來描述灰度圖像的紋理信息，局部二元模式可以對灰度圖像中局部鄰近區(qū)域的紋理信息進(jìn)行度量。不同的特征表示有著不同的表達(dá)能力，而且對于圖像語義的區(qū)分能力也不盡相同，甚至有互補(bǔ)的特性。因此，融合多種互補(bǔ)特征有助于區(qū)分圖像的高層語義。
[0004]融合多種互補(bǔ)特征通常在兩個階段實(shí)現(xiàn):特征級融合和決策級融合。特征級融合在訓(xùn)練模型的過程中將多種特征融合在一起，然后訓(xùn)練出一個判別模型，例如多核學(xué)習(xí)算法同時學(xué)習(xí)多種特征的比例系數(shù)和模型參數(shù)。決策級融合則是分別使用不同的特征表示訓(xùn)練多個判別模型，最后把多個判別模型的決策結(jié)果融合成一個最終的決策結(jié)果。決策級融合由于其簡單有效性常常在圖像標(biāo)注問題中被采用。
[0005]傳統(tǒng)的決策級融合方法是先將多個判別模型的結(jié)果歸一化到同一個數(shù)值范圍，然后使用求和、求乘積、取最大或取最小等規(guī)則的方式融合成一個最終的結(jié)果?？紤]到不同模型的結(jié)果會在不同的數(shù)值范圍內(nèi)，因而歸一化方法對于不同模型會不同，增加了決策級融合的復(fù)雜性。再者，不同的融合規(guī)則的融合效果不盡相同，因而會產(chǎn)生哪些模型融合用何種融合規(guī)則效果最好的疑問。另外，由于單個判別模型都有自己的預(yù)測誤差，盲目地使用規(guī)則融合多個模型的結(jié)果也會同時引入它們各自的誤差。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種通過利用秩最小化的優(yōu)化方法建模多個監(jiān)督學(xué)習(xí)圖像標(biāo)注模型的多標(biāo)簽結(jié)果的融合，得到一個更準(zhǔn)確更魯棒的標(biāo)注結(jié)果的方法。
[0007]本發(fā)明為解決其技術(shù)問題采用的技術(shù)方案如下:
[0008]一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，包括以下步驟:[0009]I)抽取訓(xùn)練集圖像的多種特征表示，訓(xùn)練集中的每幅圖像都帶有事先給定的語義標(biāo)注詞；
[0010]2)在不同的特征表示下，分別訓(xùn)練各自的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型；
[0011]3)對于一幅新的沒有語義標(biāo)注詞的圖像，用同樣的方法抽取該圖像的多種特征表示，使用這些特征表示分別輸入到對應(yīng)的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型來預(yù)測新圖像的多標(biāo)簽標(biāo)注結(jié)果；
[0012]4)利用秩最小化優(yōu)化算法將多個模型輸出的多標(biāo)簽結(jié)果融合:對于不同特征表示下模型預(yù)測的結(jié)果向量，先把每一個結(jié)果向量轉(zhuǎn)換為一個反對稱的秩為2的關(guān)系矩陣，然后用這些關(guān)系矩陣建模一個秩最小化優(yōu)化問題，解這個優(yōu)化問題得到一個融合的關(guān)系矩陣，再由融合的關(guān)系矩陣構(gòu)造融合的結(jié)果向量，最終由融合的結(jié)果向量得到融合的標(biāo)注結(jié)果O
[0013]優(yōu)選的，抽取訓(xùn)練集圖像的多種特征表示的步驟如下:
[0014]I)圖像分塊:使用滑動窗口的策略，按照給定步長，將圖像分成相互重疊的小塊；
[0015]2)分別計算每一個小塊內(nèi)圖像的特征向量(可以是RGB顏色直方圖、HSV顏色直方圖、LAB顏色直方圖、ΟΡΡΟΝΕΤ顏色直方圖、rg顏色直方圖、Gabor紋理特征、Haar紋理特征、局部二元模式紋理特征、詞包模型表示的SIFT形狀特征等多種特征)，整幅圖像的特征表示即由這些圖像塊的特征向量組成；設(shè)第i幅訓(xùn)練圖像Ii的語義標(biāo)注向量為Wi= (wn, wi2,...，wiT)T e {O, 1}τ,其中T是數(shù)據(jù)集的語義標(biāo)注詞的總數(shù),Wij=I表示第i幅圖像有第j個標(biāo)注詞，Wij=O表示第i幅圖像沒有第j個標(biāo)注詞；若將第i幅圖像分成M塊，每塊可計算一個特征向量Xik, k=l, 2，...，Μ,那么第i幅圖像的特征表示為Ai=Ixil, Xi2,...，XilI。
[0016]優(yōu)選的，在不同特征表示下分別訓(xùn)練各自監(jiān)督學(xué)習(xí)圖像標(biāo)注模型步驟如下:
[0017]I)對每一幅訓(xùn)練圖像，利用高斯混合模型對圖像層條件概率密度建模，然后使用期望最大化算法計算模型參數(shù)得到該圖像的條件概率密度；
[0018]2)對每一個語義標(biāo)注詞，找出訓(xùn)練圖像集合中含有該標(biāo)注詞的所有圖像，以這些圖像在圖像層的條件概率密度為基礎(chǔ)，利用高斯混合模型對語義層條件概率密度建模，然后使用層次期望最大化算法計算模型參數(shù)得到該語義標(biāo)注詞的條件概率密度。
[0019]具體步驟如下:
[0020]I)第i幅圖像的某一種特征表示為
【權(quán)利要求】
1.一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，其特征在于，包括以下步驟: 1)抽取訓(xùn)練集圖像的多種特征表示，訓(xùn)練集中的每幅圖像都帶有事先給定的語義標(biāo)注詞； 2)在不同的特征表示下，分別訓(xùn)練各自的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型； 3)對于一幅新的沒有語義標(biāo)注詞的圖像，用同樣的方法抽取該圖像的多種特征表示，使用這些特征表示分別輸入到對應(yīng)的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型來預(yù)測新圖像的多標(biāo)簽標(biāo)注結(jié)果; 4)利用秩最小化優(yōu)化算法將多個模型輸出的多標(biāo)簽結(jié)果融合:對于不同特征表示下模型預(yù)測的結(jié)果向量，先把每一個結(jié)果向量轉(zhuǎn)換為一個反對稱的秩為2的關(guān)系矩陣，然后用這些關(guān)系矩陣建模一個秩最小化優(yōu)化問題，解這個優(yōu)化問題得到一個融合的關(guān)系矩陣，再由融合的關(guān)系矩陣 構(gòu)造融合的結(jié)果向量，最終由融合的結(jié)果向量得到融合的標(biāo)注結(jié)果。
2.根據(jù)權(quán)利要求1所述的一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，其特征在于，抽取訓(xùn)練集圖像的多種特征表示的步驟為: O圖像分塊:使用滑動窗口的策略，按照給定步長，將圖像分成相互重疊的小塊； 2)分別計算每一個小塊內(nèi)圖像的特征向量，整幅圖像的特征表示即由這些圖像塊的特征向量組成。
3.根據(jù)權(quán)利要求2所述的一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，其特征在于，所述特征向量是RGB顏色直方圖或HSV顏色直方圖或LAB顏色直方圖或OPPONET顏色直方圖或rg顏色直方圖或Gabor紋理特征或Haar紋理特征或局部二元模式紋理特征或詞包模型表示的SIFT形狀特征。
4.根據(jù)權(quán)利要求1或2或3所述的一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，其特征在于，在不同特征表示下分別訓(xùn)練各自的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型的步驟為: 1)對每一幅訓(xùn)練圖像，利用高斯混合模型對圖像層條件概率密度建模，然后使用期望最大化算法計算模型參數(shù)得到該圖像的條件概率密度； 2)對每一個語義標(biāo)注詞，找出訓(xùn)練圖像集合中含有該標(biāo)注詞的所有圖像，以這些圖像在圖像層的條件概率密度為基礎(chǔ)，利用高斯混合模型對語義層條件概率密度建模，然后使用層次期望最大化算法計算模型參數(shù)得到該語義標(biāo)注詞的條件概率密度。
5.根據(jù)權(quán)利要求4所述的一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果的融合方法，其特征在于，對一幅新的沒有語義標(biāo)注詞的圖像，用同樣地方法抽取該圖像的多種特征表示，使用這些特征分別輸入到對應(yīng)的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型來預(yù)測其多標(biāo)簽標(biāo)注結(jié)果，其步驟為: 1)使用與訓(xùn)練圖像同樣的特征抽取技術(shù)計算新輸入圖像的多種特征表示； 2)使用每一種特征表示對應(yīng)的監(jiān)督學(xué)習(xí)圖像標(biāo)注模型預(yù)測輸入圖像的語義標(biāo)注詞并得到一個結(jié)果向量。
6.根據(jù)權(quán)利要求5所述的一種對多個監(jiān)督學(xué)習(xí)圖像標(biāo)注模型的多標(biāo)簽結(jié)果的融合方法，其特征在于，利用秩最小化優(yōu)化算法將不同特征表示下的多個模型輸出的多標(biāo)簽結(jié)果融合的步驟為: I)將各個結(jié)果向量分別轉(zhuǎn)換為反對稱的秩為2的關(guān)系矩陣的表示形式，這些關(guān)系矩陣都分別等于融合的關(guān)系矩陣加上一個對應(yīng)誤差矩陣； 2)在I)的約束下，通過最小化融合的關(guān)系矩陣的奇異值之和使得融合的關(guān)系矩陣的秩逐漸減小到2，通過最小化所有誤差矩陣之和使得融合的關(guān)系矩陣能充分正確地結(jié)合各個模型的預(yù)測結(jié)果； 3)使用非精確的增廣拉格朗日乘子法迭代解出融合的關(guān)系矩陣的最優(yōu)解，迭代過程中使用奇異值截取的方式使得融合的關(guān)系矩陣的秩逐漸收斂到2 ； 4)使用融合的關(guān)系矩陣反向計算出的融合的結(jié)果向量，根據(jù)融合的結(jié)果向量最終確定輸入圖像的語義標(biāo) 注詞。
【文檔編號】G06T7/00GK103440651SQ201310375976
【公開日】2013年12月11日 申請日期:2013年8月26日 優(yōu)先權(quán)日:2013年8月26日
【發(fā)明者】郭平, 姚垚, 辛欣 申請人:北京理工大學(xué)