一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法
【專利摘要】本發(fā)明公開了一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,屬于圖像處理技術(shù)領(lǐng)域。所述提取方法包括對(duì)原始圖像進(jìn)行超像素分割,得到K個(gè)超像素塊;分別計(jì)算每?jī)蓚€(gè)超像素塊間的距離形成距離矩陣;采用置信傳播算法,得到優(yōu)化后的距離矩陣,據(jù)此生成隨機(jī)游走的轉(zhuǎn)移概率矩陣,并計(jì)算隨機(jī)游走的平穩(wěn)分布,映射到顏色空間,獲得顯著度圖。本發(fā)明利用隨機(jī)游走理論作為整體框架,模擬人眼在圖像像素間的游走,在模型選擇上具有一定科學(xué)性;自定義超像素塊鄰域,使得距離矩陣的計(jì)算在降低計(jì)算復(fù)雜度的同時(shí)兼顧信息可靠度。利用置信傳播理論對(duì)稀疏的距離矩陣進(jìn)行優(yōu)化,進(jìn)一步提高矩陣內(nèi)元素可靠度,使得整個(gè)計(jì)算結(jié)果更加準(zhǔn)確。
【專利說明】
一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,具體是指一種基于隨機(jī)游走的圖像顯著區(qū)域提取 方法,所述的圖像顯著區(qū)域是指對(duì)于人眼來說較為顯著的區(qū)域。
【背景技術(shù)】
[0002] 人類獲取的大部分信息都來源于視覺,在海量的視覺信息中,人眼能自動(dòng)識(shí)別較 易引起關(guān)注的部分,進(jìn)而為其分配更多注意。隨著計(jì)算機(jī)視覺的不斷發(fā)展,顯著區(qū)域提取技 術(shù)能模擬人眼的這種能力,使得更重要的視覺信息能獲得更快速、優(yōu)質(zhì)的資源,提高了機(jī)器 視覺領(lǐng)域的計(jì)算效率。因而,如何更為科學(xué)地模擬人眼的注意機(jī)制,準(zhǔn)確提取出圖像的顯著 區(qū)域,引起了業(yè)內(nèi)越來越廣泛的關(guān)注。
[0003] 圖像顯著區(qū)域提取方法包含多種類型的模型(A.Bor ji and L. Itti,"State-of-the-art in visual attention modeling,,! Pattern Analysis and Machine Intelligence, IEEE Transactions οη,νο?.35,no.1,pp.185-207,Jan 2013·)〇L.Itti等 人首次結(jié)合顏色、亮度和方向構(gòu)成特征圖,用于特征提取,是認(rèn)知模型的代表(L. Itti, C.Koch,and E·Niebur,"A model of saliency-based visual attention for rapid scene analysis /'Pattern Analysis and Machine Intelligence, IEEE Transactions on,vol.20,no.ll,pp.l254-1259,N〇V 1998.),但由于其采用中央-周邊濾波方式,使得圖 像中非高斯冗余信息不能被過濾;貝葉斯模型主要利用場(chǎng)景信息和先驗(yàn)約束;信息論模型 則選取熵較大的部分作為顯著區(qū)域;圖模型利用圖論相關(guān)理論模擬人眼功能,提取顯著區(qū) 域,主要研究點(diǎn)在對(duì)提取特征的處理方式及圖表示方式上;頻譜分析模型(X.Hou and L.Zhang,"Saliency detection:A spectral residual approach,''in Computer Vision and Pattern Recognition,2007.CVPR'07.IEEE Conference on,June 2007,pp.1-8.)則 在頻域通過對(duì)信號(hào)的數(shù)學(xué)分析實(shí)現(xiàn)對(duì)顯著區(qū)域的提取,但其是否能表達(dá)圖像顯著性有待商 榷。相較于其他模型,圖模型能夠?qū)^為復(fù)雜的注意機(jī)制建模。
[0004] 圖模型利用各種概率方式來提取顯著區(qū)域,常見的如:條件隨機(jī)場(chǎng)、隱馬爾科夫模 型等。當(dāng)人眼觀察圖像時(shí),視線可被視為在顯著區(qū)域上隨機(jī)游走的一個(gè)點(diǎn)(G.Boccignone and M.Ferraro,"Modelling gaze shift as a constrained random walk,"Physica A: Statistical Mechanics and its Applications,vol.331,no.1-2,pp.207-218,2004.), 且區(qū)域的顯著度已被證明能通過隨機(jī)游走的平穩(wěn)分布測(cè)量(da Fontoura Costa and Luciano,"Visual saliency and attention as random walks on complex networks," 2006·)〇GBVS(J·Harel,C·Koch,and P·Perona,"Graph-based visual saliency,"in Proceedings of Neural Information Processing Systems(NIPS),2006.)是最具代表性 的圖模型方法,但其對(duì)圖像特征的提取較為粗糙,使得最終顯著區(qū)域不夠精確,包含較多冗 余。J.Hare等人利用L. Itti等人提出的特征圖構(gòu)建方式,再用隨機(jī)游走理論求解出顯著區(qū) 域,但由于缺少對(duì)全局信息的考慮,其對(duì)目標(biāo)邊緣的提取效果不理想。
[0005]總而言之,已有圖像顯著區(qū)域提取方法雖然能模擬人眼的一部分注意機(jī)制,但并 不夠科學(xué)、準(zhǔn)確,輸出的顯著圖大多邊緣模糊,或顯著度集中在目標(biāo)邊緣或顏色紋理明顯變 化的地方。這使得二值化后得到的目標(biāo)區(qū)域包含較多冗余,不能準(zhǔn)確提取目標(biāo)的整體輪廓。 因此,科學(xué)地模擬人眼注意機(jī)制,優(yōu)化圖像特征信息并合理利用,是提高提取準(zhǔn)確度行之有 效的方法,也是圖像顯著區(qū)域提取領(lǐng)域值得研究的課題。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明采用隨機(jī)游走理論提取圖像中的顯著區(qū)域,通過超像素分割、二層鄰域及 置信傳播,使得在降低計(jì)算復(fù)雜度的同時(shí),提高了提取區(qū)域的準(zhǔn)確度。
[0007] 本發(fā)明提供一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,包括以下步驟:
[0008] 步驟1:輸入的原始圖像,用簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering,SLIC)對(duì)原始圖像進(jìn)行超像素分割,得到K個(gè)超像素塊;K為整數(shù),K取值優(yōu)選為 200 〇
[0009] 步驟2:在CIE-Lab空間中,分別計(jì)算每個(gè)超像素塊內(nèi)所有像素亮度的平均值,作為 每個(gè)超像素塊的特征I(i);
[0010] 步驟3:計(jì)算每?jī)蓚€(gè)超像素塊間的距離Wij,形成距離矩陣WKXK={Wij彡0}(以下簡(jiǎn)寫 為胃),其中1,」為超像素塊的編號(hào),1 = 1,2,~,1(,」=1,2-_,1(;距離計(jì)算公式為:
[0012]其中σ是控制參數(shù),為常量;
[0013] 步驟4:采用置信傳播算法,利用距離矩陣W中非零數(shù)據(jù),估計(jì)人工置零的部分,得 到優(yōu)化后的距離矩陣
[0014] 步驟5:根據(jù)優(yōu)化后的距離矩陣f生成隨機(jī)游走的轉(zhuǎn)移概率矩陣P={Plj>0},計(jì)算 公式為:
[0016] 其中,為隨機(jī)游走理論中,在距離矩陣^中,對(duì)應(yīng)于結(jié)點(diǎn)i (即第i個(gè)超 像素塊)的總度數(shù); < 為優(yōu)化后的距離矩陣f中的矩陣元素,Plj為轉(zhuǎn)移概率矩陣P中的矩陣 元素。
[0017] 步驟6:由轉(zhuǎn)移概率矩陣計(jì)算隨機(jī)游走的平穩(wěn)分布Π = {~>〇},πι為第i個(gè)超像素 塊的概率值,通過求解以下方程組獲得:
[0019] 步驟7:將3U映射到[0,255],獲得顯著度圖;可在此基礎(chǔ)上進(jìn)一步操作,如二值化 后與原始圖像點(diǎn)乘,以獲得原始圖像中顯著目標(biāo)的區(qū)域。
[0020] 所述步驟3中,使用自定義的超像素鄰域:定義圖像邊緣的所有超像素塊為相鄰 塊,定義與當(dāng)前超像素塊相鄰的塊的相鄰塊也與當(dāng)前塊相鄰(即二層鄰域);
[0021 ]所述步驟4中,置信傳播算法迭代規(guī)則為:
[0022] F(t+l)=aSF(t) + (l-a)Y
[0023] 其中,F(xiàn):Wlj-Rn是為分配置信度的中間量,F(xiàn)中的元素對(duì)應(yīng)表示W(wǎng)中元素的可信 度,1^表示實(shí)數(shù)空間;括號(hào)內(nèi)索引t表示對(duì)F的迭代次數(shù);ae(〇,l]為控制前次迭代對(duì)當(dāng)前迭 代影響程度的參數(shù);
是初始置信度矩陣,設(shè)置W矩陣中非零值相應(yīng) 初始置信度為1,零值對(duì)應(yīng)初始置信度為〇;3 =『1/、『1/2為歸一化的1矩陣;0 = (^&8 {cU,...,dK}為W的度矩陣。令收斂時(shí)的F為產(chǎn)則有:
[0031] 其中(D-aW)-bff*。
[0032] 以上技術(shù)方法可以看出,本發(fā)明一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法的優(yōu) 點(diǎn)在于:
[0033] (1)利用隨機(jī)游走理論作為整體框架,模擬人眼在圖像像素間的游走,在模型選擇 上具有一定科學(xué)性;
[0034] (2)自定義超像素塊鄰域,使得距離矩陣的計(jì)算在降低計(jì)算復(fù)雜度的同時(shí)兼顧信 息可靠度。
[0035] (3)利用置信傳播理論對(duì)稀疏的距離矩陣進(jìn)行優(yōu)化,進(jìn)一步提高矩陣內(nèi)元素可靠 度,使得整個(gè)計(jì)算結(jié)果更加準(zhǔn)確。
【附圖說明】
[0036] 圖1為本發(fā)明一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法的流程圖。
[0037] 圖2是二層鄰域定義示意圖,顏色填充超像素塊為中間像素塊的鄰域,斜線填充超 像素塊為自定義的邊緣相鄰區(qū)域。
[0038] 圖3是本方法與目前流行的四種方法的實(shí)驗(yàn)評(píng)測(cè)結(jié)果對(duì)比圖。
【具體實(shí)施方式】
[0039] 本發(fā)明在于提供一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,為將本發(fā)明的技術(shù) 方法優(yōu)勢(shì)描述的更加清楚,下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)闡述, 本實(shí)例在配備4GB RAM的Intel Core 3.4GHz CPU上實(shí)施。
[0040] 如圖1所示,本實(shí)例的方法分以下步驟:
[0041] 步驟1:輸入原始圖像,用SLIC分割程序生成基于原圖像的K個(gè)超像素塊,在后續(xù)計(jì) 算中則以超像素塊代替像素作為執(zhí)行單元,減少計(jì)算復(fù)雜度;根據(jù)實(shí)驗(yàn)的原始圖像大小, SLIC分割中超像素塊數(shù)目參數(shù)設(shè)為K = 200,控制距離權(quán)值的參數(shù)m設(shè)為10;
[0042]步驟2:由于CIE-Lab能較好反映人眼對(duì)色彩的感知,提取原始圖像在此空間中的 亮度L、紅綠對(duì)抗色a、藍(lán)黃對(duì)抗色b三個(gè)顏色分量,再對(duì)每個(gè)超像素塊計(jì)算一個(gè)三維顏色特 征I(i):超像素塊內(nèi)包含的所有像素,分別在L、a、b三個(gè)通道內(nèi)求平均;將I(i)作為每個(gè)超 像素塊的特征。
[0043]步驟3:計(jì)算K個(gè)超像素塊的特征兩兩間的距離Wij,生成距離矩陣WKXK,按如下公式 計(jì)算:
[0045] 其中,Wij為距咼矩陣Wkxk中的兀素 ,i = l,2,…,K;j = l,2,···,K; I (i)和I( j)分別 為第i個(gè)超像素塊和第j個(gè)超像素塊的特征。所述的第i個(gè)超像素塊和第j個(gè)超像素塊相鄰, 如圖2所示,按二層鄰域定義,且圖像邊緣超像素塊皆視為相鄰,按最大值最小 值歸一化到區(qū)間[0,1 ],控制參數(shù)σ滿足σ2 = 〇 . 1;
[0046] 步驟4:步驟3所得距離矩陣W較為稀疏,設(shè)定距離矩陣W中非0元素置信度為1,0元 素置信度為0,為提高其可靠度,利用置信傳播算法,優(yōu)化距離矩陣W,得到新的優(yōu)化后的距 離矩陣 1,其中D為距離矩陣W的度矩陣,α = 0.99,為避免超像素塊自干擾, 優(yōu)化后的距離矩陣f對(duì)角線上元素置零;
[0047]步驟5:根據(jù)隨機(jī)游走理論,計(jì)算基于優(yōu)化后的距離矩陣f的轉(zhuǎn)移概率矩陣
,表征人眼在各個(gè)超像素塊間游走的概率,其中;
[0048]步驟6:按以下方程組求解基于P的平穩(wěn)分布Π ,表征人眼長(zhǎng)時(shí)間觀看圖像后,視線 停留在各個(gè)超像素塊上的概率:
[0050]步驟7:將步驟6中計(jì)算所得每個(gè)超像素塊的概率值3U映射到[0,255]灰度空間中, 得到顯著度圖像,其中越亮的區(qū)域代表了更高的顯著度。
[0051 ] 結(jié)果表示:
[0052] 選擇四種目前流行的顯著區(qū)域提取方法(SR、GBVS、SUN和CA),與本方法按照測(cè)試 領(lǐng)域公認(rèn)的P、R、F參數(shù)進(jìn)行比較;在實(shí)驗(yàn)使用的圖像庫(kù)上,根據(jù)圖3的實(shí)驗(yàn)結(jié)果可以看出:在 F參數(shù)大致相同的情況下,本發(fā)明方法(圖中RW)的準(zhǔn)確度(圖中precision)遠(yuǎn)高于其余四種 方法,而召回率(recall)偏低的原因是,只賦予較明顯區(qū)域較高顯著度使得提取區(qū)域面積 較小,并不像其余方法提取顯著區(qū)域面積較大,其中包含較多非顯著冗余區(qū)域。
【主權(quán)項(xiàng)】
1. 一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,其特征在于:所述提取方法包括W下 步驟, 步驟1:輸入的原始圖像,對(duì)原始圖像進(jìn)行超像素分割,得到K個(gè)超像素塊;K為整數(shù); 步驟2:在CIE-Lab空間中,分別計(jì)算每個(gè)超像素塊內(nèi)所有像素亮度的平均值,作為每個(gè) 超像素塊的特征I(i),i = l,2,…,K; 步驟3:計(jì)算每?jī)蓚€(gè)超像素塊間的距離wij,形成距離矩陣WKXK={wij>0},其中i,j為超 像素塊的編號(hào),i = l,2,…,K,j = l,2-',K;距離計(jì)算公式為:其中0是控制參數(shù),為常量; 步驟4:采用置信傳播算法,利用距離矩陣W中非零數(shù)據(jù),估計(jì)人工置零的部分,得到優(yōu) 化后的距離矩陣r; 步驟5:根據(jù)優(yōu)化后的距離矩陣r生成隨機(jī)游走的轉(zhuǎn)移概率矩陣P={pu>0},計(jì)算公式 為:其中^隨機(jī)游走理論中,在距離矩陣r中,對(duì)應(yīng)于第i個(gè)超像素塊的總度 數(shù);為優(yōu)化后的距離矩陣r中的矩陣元素,PU為轉(zhuǎn)移概率矩陣P中的矩陣元素; 步驟6:由轉(zhuǎn)移概率矩陣計(jì)算隨機(jī)游走的平穩(wěn)分布Π = ,jTi為第i個(gè)超像素塊的 概率值,通過求解W下方程組獲得:步驟7:將町映射到[0,255 ],獲得顯著度圖。2. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,其特征在于:在 獲得顯著度圖后,二值化后與原始圖像點(diǎn)乘,W獲得原始圖像中顯著目標(biāo)的區(qū)域。3. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,其特征在于:所 述兩個(gè)超像素塊相鄰采用二層鄰域定義,是指圖像邊緣的所有超像素塊為相鄰塊,與當(dāng)前 超像素塊相鄰的超像素塊的相鄰超像素塊也與當(dāng)前超像素塊相鄰。4. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,其特征在于:所 述的優(yōu)化后的距離矩陣r = (D-aWri,其中W為距離矩陣,D為距離矩陣W的度矩陣,α e (0, 1]為控制前次迭代對(duì)當(dāng)前迭代影響程度的參數(shù)。5. 根據(jù)權(quán)利要求4所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法,其特征在于:所 述的參數(shù)α = 0.99。
【文檔編號(hào)】G06T7/00GK106096615SQ201610407280
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月12日
【發(fā)明人】陸鏡宇, 邵華, 路兆銘, 溫向明, 陳亞文, 席澤國(guó), 曾艷, 焦儒軒
【申請(qǐng)人】北京郵電大學(xué)