本發(fā)明涉及一種圖像標(biāo)注技術(shù)，特別是一種可同時(shí)挖掘視覺(jué)和語(yǔ)義相似性的基于KNN的圖像標(biāo)注方法。

背景技術(shù)：

隨著網(wǎng)絡(luò)圖片呈現(xiàn)出爆炸式的增長(zhǎng)，媒體數(shù)據(jù)庫(kù)的規(guī)模也不斷擴(kuò)大?，F(xiàn)如今，許多搜索引擎利用關(guān)鍵詞檢索圖像，因此，如何為圖像分配相關(guān)關(guān)鍵詞成為了一個(gè)重要研究課題。然而，圖像標(biāo)注是一項(xiàng)具有挑戰(zhàn)的任務(wù)。首先，在底層視覺(jué)特征和高層語(yǔ)義之間存在的語(yǔ)義鴻溝問(wèn)題使得該任務(wù)變得十分困難。其次，早先所使用的人工標(biāo)注是費(fèi)時(shí)費(fèi)力的，在大數(shù)據(jù)時(shí)代，利用人工標(biāo)注顯然是不現(xiàn)實(shí)的。

近年來(lái)，為解決上述問(wèn)題，研究者提出了各種各樣的方法，如稀疏編碼法、圖學(xué)習(xí)法、決策樹法等。然而，這些方法都不能解決由于人工標(biāo)注的訓(xùn)練數(shù)據(jù)不足，導(dǎo)致不能完全利用圖像的視覺(jué)和語(yǔ)義相似性的問(wèn)題。而本發(fā)明所提出的方法可以很好地解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種可同時(shí)挖掘視覺(jué)和語(yǔ)義相似性的基于KNN的圖像標(biāo)注方法，該方法包括以下步驟：

從圖像集中獲取訓(xùn)練圖像子集；

對(duì)測(cè)試圖像在每個(gè)訓(xùn)練圖像子集中獲取K1各視覺(jué)近鄰的圖像并組成集合T；

對(duì)測(cè)試圖像的每個(gè)視覺(jué)近鄰圖像在其相應(yīng)的訓(xùn)練圖像子集中，獲取除集合T外與其既視覺(jué)相似又語(yǔ)義相似的K2個(gè)近鄰圖像并組合成集合P；

利用集合T和P，為每個(gè)標(biāo)簽在標(biāo)注測(cè)試圖像過(guò)程中分配其重要性。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：(1)本發(fā)明可以同時(shí)挖掘出圖像的視覺(jué)和語(yǔ)義相似性，從而可以獲取圖像更全面的信息；(2)本發(fā)明可以使得網(wǎng)上下載的圖像標(biāo)簽具有完整性且噪聲小。

下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明做進(jìn)一步描述。

附圖說(shuō)明

圖1是本發(fā)明方法流程圖。

圖2是本發(fā)明一種典型的圖像集合的示意圖。

具體實(shí)施方式

一種可同時(shí)挖掘視覺(jué)和語(yǔ)義相似性的基于KNN的圖像標(biāo)注方法，包括以下步驟：

步驟1，輸入測(cè)試圖像(如圖2所示)；

步驟2，從測(cè)試圖像的圖像集中獲取訓(xùn)練圖像子集；

步驟3，對(duì)測(cè)試圖像在每個(gè)訓(xùn)練圖像子集中獲取K1各視覺(jué)近鄰的圖像并組成集合T；

步驟4，對(duì)測(cè)試圖像的每個(gè)視覺(jué)近鄰圖像在其相應(yīng)的訓(xùn)練圖像子集中，獲取除集合T外與其既視覺(jué)相似又語(yǔ)義相似的K2個(gè)近鄰圖像并組合成集合P；

步驟5，利用集合T和P，為每個(gè)標(biāo)簽在標(biāo)注測(cè)試圖像過(guò)程中分配其重要性。

步驟2的具體過(guò)程為：

步驟S101，建立圖像集X＝{x₁,x₂,...,x_n}∈R^n×d，其中x_i∈R^d(1≤i≤n)為第i張圖像，d為圖像維數(shù)；

步驟S102，建立一個(gè)包括c個(gè)標(biāo)簽的詞典L＝{l₁,l₂,...,l_c}∈{0,1}^n×c；

步驟S103，建立訓(xùn)練集T＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}用于表示成對(duì)的圖像x_i和該圖像相應(yīng)標(biāo)簽集y_i，其中y_i∈{0,1}^c；

步驟S104，若圖像x_i被第k個(gè)標(biāo)簽標(biāo)記，則y_i(k)＝1，否則y_i(k)＝0；

步驟S105，建立包含所有被同一標(biāo)簽l_i'標(biāo)記的圖像集合為訓(xùn)練圖像子集。

步驟3的具體過(guò)程為：

步驟S201，對(duì)測(cè)試圖像I，獲取其與每個(gè)訓(xùn)練圖像子集中的每一幅圖像間的視覺(jué)距離；

步驟S202，選取每一訓(xùn)練子集中與測(cè)試圖像I最近鄰的K1個(gè)圖像形成集合T_I,i”，i”∈[1,...,c]；

步驟S203，將測(cè)試圖像I的所有最近鄰圖像合并為集合T，T＝{T_I,1∪T_I,2∪...∪T_I,c}＝∪_{i”∈[1,...,c]}T_I,i″。

步驟4的具體過(guò)程為：

獲取集合P的具體過(guò)程為：

步驟S301，將訓(xùn)練圖像的每個(gè)子集T_i'中除測(cè)試圖像I的最近鄰圖像集合T_I,i”外的其它圖像表示為Tother_I,i”'，i”'∈[1,...,c]；

步驟S302，獲取集合Tother_I,i”'中的每幅圖像與集合T_I,i”中的每幅圖像間的視覺(jué)和語(yǔ)義的相似性

S(j,k)＝αD(x_j,x_k)+(1-α)dis(tag)

s.t.j∈T_I,i

k∈Tother_I,i

其中，D(x_j,x_k)為T_I,i”中圖像x_j與Tother_I,i”'中圖像x_k之間的視覺(jué)距離；dis(tag)＝D(y_j,y_k)為T_I,i”中圖像x_j的標(biāo)簽集y_j與Tother_I,i”'中圖像x_k的標(biāo)簽集y_k之間的距離，dis(tag)用于表示圖像x_j與圖像x_k之間的語(yǔ)義距離；

步驟S303，選取Tother_I,i”'中與圖像x_j最相似的前K2個(gè)圖像形成子集P_I,i,j；

步驟S304，執(zhí)行步驟S302和S303直至集合Tother_I,i”'和集合T_I,i”中的每幅圖像之間均計(jì)算完相似性且形成子集，將所有子集合并獲得集合P。

步驟5的具體過(guò)程為：

為每個(gè)標(biāo)簽在標(biāo)注測(cè)試圖像過(guò)程中分配其重要性的具體過(guò)程為：

步驟S401，對(duì)于每一標(biāo)簽l_m，獲取測(cè)試圖像I在集合T、P中的后驗(yàn)概率

其中，Y是測(cè)試圖像I相應(yīng)標(biāo)簽的集合，表示對(duì)于圖像x_i當(dāng)用來(lái)預(yù)測(cè)標(biāo)簽l_m時(shí)它所做的貢獻(xiàn)；δ(l_m∈Y)表示標(biāo)簽l_m在測(cè)試圖像I是否出現(xiàn)，如果出現(xiàn)，則δ(l_m∈Y)＝1，否則δ(l_m∈Y)＝0；

步驟S402，對(duì)于每一標(biāo)簽，獲取測(cè)試圖像I的后驗(yàn)概率

P(I|l_m)＝θ·P_T(I|l_m)+(1-θ)·P_P(I|l_m)

其中，θ為集合T在決策中的權(quán)重，則(1-θ)為集合P在決策中的權(quán)重；

步驟S403，根據(jù)貝葉斯公式獲得測(cè)試圖像I的標(biāo)簽l_m的后驗(yàn)概率為

步驟S404，獲得檢測(cè)圖像I的標(biāo)簽

實(shí)施例

步驟1：假設(shè)現(xiàn)有包括20幅圖像的圖像集Image＝{image₁,...,image₂₀}，該圖像集有包括15個(gè)標(biāo)簽的詞典Label＝{label₁,...,label₁₅}，則所獲得的第1個(gè)子集為所有被標(biāo)簽label₁標(biāo)注的圖像形成的集合subset₁，以此類推，可以獲得15個(gè)子集{subset₁,...,subset₁₅}。

步驟2：已知一個(gè)測(cè)試圖像Test，在第一個(gè)子集subset₁中，計(jì)算Test與subset₁中每個(gè)圖像之間的視覺(jué)距離，找到Test的K1視覺(jué)近鄰，形成集合subset₁_neighbor，以此類推，得到15個(gè)集合，將所有集合合并即可得到Test在所有子集上的視覺(jué)近鄰

subset_neighbor＝{subset₁_neighbor∪...∪subset₁₅_neighbor}。

步驟3：對(duì)于第一個(gè)子集subset₁，將其中沒(méi)有出現(xiàn)在subset_neighbor中的圖像作為集合subset₁_neighbor_other，根據(jù)上步驟3中相似性公式計(jì)算出subset_neighbor中每幅圖像在subset₁_neighbor_other中的前K2個(gè)最相似圖像，形成一個(gè)集合。以此類推，將所有子集所形成的集合進(jìn)行合并即可獲得相似集合similarity_subset。

步驟4：根據(jù)上步驟4中的公式，即可獲得測(cè)試圖像Test的預(yù)測(cè)標(biāo)簽。