1.一種可同時(shí)挖掘視覺(jué)和語(yǔ)義相似性的圖像標(biāo)注方法,其特征在于,包括以下步驟:
從圖像集中獲取訓(xùn)練圖像子集;
對(duì)測(cè)試圖像在每個(gè)訓(xùn)練圖像子集中獲取K1各視覺(jué)近鄰的圖像并組成集合T;
對(duì)測(cè)試圖像的每個(gè)視覺(jué)近鄰圖像在其相應(yīng)的訓(xùn)練圖像子集中,獲取除集合T外與其既視覺(jué)相似又語(yǔ)義相似的K2個(gè)近鄰圖像并組合成集合P;
利用集合T和P,為每個(gè)標(biāo)簽在標(biāo)注測(cè)試圖像過(guò)程中分配其重要性。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,通過(guò)以下過(guò)程獲取訓(xùn)練圖像子集:
步驟S101,建立圖像集X={x1,x2,...,xn}∈Rn×d,其中xi∈Rd(1≤i≤n)為第i張圖像,d為圖像維數(shù);
步驟S102,建立一個(gè)包括c個(gè)標(biāo)簽的詞典L={l1,l2,...,lc}∈{0,1}n×c;
步驟S103,建立訓(xùn)練集T={(x1,y1),(x2,y2),...,(xn,yn)}用于表示成對(duì)的圖像xi和該圖像相應(yīng)標(biāo)簽集yi,其中yi∈{0,1}c;
步驟S104,若圖像xi被第k個(gè)標(biāo)簽標(biāo)記,則yi(k)=1,否則yi(k)=0;
步驟S105,建立包含所有被同一標(biāo)簽li'標(biāo)記的圖像集合為訓(xùn)練圖像子集。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,獲取集合T的具體過(guò)程為:
步驟S201,對(duì)測(cè)試圖像I,獲取其與每個(gè)訓(xùn)練圖像子集中的每一幅圖像間的視覺(jué)距離;
步驟S202,選取每一訓(xùn)練子集中與測(cè)試圖像I最近鄰的K1個(gè)圖像形成集合TI,i”,i”∈[1,...,c];
步驟S203,將測(cè)試圖像I的所有最近鄰圖像合并為集合T,T={TI,1∪TI,2∪...∪TI,c}=∪i”∈[1,...,c]TI,i”。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,獲取集合P的具體過(guò)程為:
步驟S301,將訓(xùn)練圖像的每個(gè)子集Ti'中除測(cè)試圖像I的最近鄰圖像集合TI,i”外的其它圖像表示為T(mén)otherI,i”',i”'∈[1,...,c];
步驟S302,獲取集合TotherI,i”'中的每幅圖像與集合TI,i”中的每幅圖像間的視覺(jué)和語(yǔ)義的相似性
S(j,k)=αD(xj,xk)+(1-α)dis(tag)
s.t.j∈TI,i
k∈TotherI,i
其中,D(xj,xk)為T(mén)I,i”中圖像xj與TotherI,i”'中圖像xk之間的視覺(jué)距離;dis(tag)=D(yj,yk)為T(mén)I,i”中圖像xj的標(biāo)簽集yj與TotherI,i”'中圖像xk的標(biāo)簽集yk之間的距離,dis(tag)用于表示圖像xj與圖像xk之間的語(yǔ)義距離;
步驟S303,選取TotherI,i”'中與圖像xj最相似的前K2個(gè)圖像形成子集PI,i,j;
步驟S304,執(zhí)行步驟S302和S303直至集合TotherI,i”'和集合TI,i”中的每幅圖像之間均計(jì)算完相似性且形成子集,將所有子集合并獲得集合P。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,為每個(gè)標(biāo)簽在標(biāo)注測(cè)試圖像過(guò)程中分配其重要性的具體過(guò)程為:
步驟S401,對(duì)于每一標(biāo)簽lm,獲取測(cè)試圖像I在集合T、P中的后驗(yàn)概率
其中,Y是測(cè)試圖像I相應(yīng)標(biāo)簽的集合,表示對(duì)于圖像xi當(dāng)用來(lái)預(yù)測(cè)標(biāo)簽lm時(shí)它所做的貢獻(xiàn);δ(lm∈Y)表示標(biāo)簽lm在測(cè)試圖像I是否出現(xiàn),如果出現(xiàn),則δ(lm∈Y)=1,否則δ(lm∈Y)=0;
步驟S402,對(duì)于每一標(biāo)簽,獲取測(cè)試圖像I的后驗(yàn)概率
P(I|lm)=θ·PT(I|lm)+(1-θ)·PP(I|lm)
其中,θ為集合T在決策中的權(quán)重,則(1-θ)為集合P在決策中的權(quán)重;
步驟S403,根據(jù)貝葉斯公式獲得測(cè)試圖像I的標(biāo)簽lm的后驗(yàn)概率為
步驟S404,獲得檢測(cè)圖像I的標(biāo)簽