一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法
【專利摘要】本發(fā)明公開了一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，屬于圖像處理技術(shù)領(lǐng)域。所述提取方法包括對(duì)原始圖像進(jìn)行超像素分割，得到K個(gè)超像素塊；分別計(jì)算每?jī)蓚€(gè)超像素塊間的距離形成距離矩陣；采用置信傳播算法，得到優(yōu)化后的距離矩陣，據(jù)此生成隨機(jī)游走的轉(zhuǎn)移概率矩陣，并計(jì)算隨機(jī)游走的平穩(wěn)分布，映射到顏色空間，獲得顯著度圖。本發(fā)明利用隨機(jī)游走理論作為整體框架，模擬人眼在圖像像素間的游走，在模型選擇上具有一定科學(xué)性；自定義超像素塊鄰域，使得距離矩陣的計(jì)算在降低計(jì)算復(fù)雜度的同時(shí)兼顧信息可靠度。利用置信傳播理論對(duì)稀疏的距離矩陣進(jìn)行優(yōu)化，進(jìn)一步提高矩陣內(nèi)元素可靠度，使得整個(gè)計(jì)算結(jié)果更加準(zhǔn)確。
【專利說明】
一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體是指一種基于隨機(jī)游走的圖像顯著區(qū)域提取 方法，所述的圖像顯著區(qū)域是指對(duì)于人眼來說較為顯著的區(qū)域。
【背景技術(shù)】
[0002] 人類獲取的大部分信息都來源于視覺，在海量的視覺信息中，人眼能自動(dòng)識(shí)別較 易引起關(guān)注的部分，進(jìn)而為其分配更多注意。隨著計(jì)算機(jī)視覺的不斷發(fā)展，顯著區(qū)域提取技 術(shù)能模擬人眼的這種能力，使得更重要的視覺信息能獲得更快速、優(yōu)質(zhì)的資源，提高了機(jī)器 視覺領(lǐng)域的計(jì)算效率。因而，如何更為科學(xué)地模擬人眼的注意機(jī)制，準(zhǔn)確提取出圖像的顯著 區(qū)域，引起了業(yè)內(nèi)越來越廣泛的關(guān)注。
[0003] 圖像顯著區(qū)域提取方法包含多種類型的模型(A.Bor ji and L. Itti，"State-of-the-art in visual attention modeling,，! Pattern Analysis and Machine Intelligence, IEEE Transactions οη,νο?.35,no.1,pp.185-207,Jan 2013·)〇L.Itti等 人首次結(jié)合顏色、亮度和方向構(gòu)成特征圖，用于特征提取，是認(rèn)知模型的代表（L. Itti， C.Koch,and E·Niebur,"A model of saliency-based visual attention for rapid scene analysis /'Pattern Analysis and Machine Intelligence, IEEE Transactions on，vol.20，no.ll，pp.l254-1259，N〇V 1998.)，但由于其采用中央-周邊濾波方式，使得圖 像中非高斯冗余信息不能被過濾；貝葉斯模型主要利用場(chǎng)景信息和先驗(yàn)約束;信息論模型 則選取熵較大的部分作為顯著區(qū)域；圖模型利用圖論相關(guān)理論模擬人眼功能，提取顯著區(qū) 域，主要研究點(diǎn)在對(duì)提取特征的處理方式及圖表示方式上；頻譜分析模型（X.Hou and L.Zhang,"Saliency detection:A spectral residual approach，''in Computer Vision and Pattern Recognition,2007.CVPR'07.IEEE Conference on,June 2007，pp.1-8.)則 在頻域通過對(duì)信號(hào)的數(shù)學(xué)分析實(shí)現(xiàn)對(duì)顯著區(qū)域的提取，但其是否能表達(dá)圖像顯著性有待商 榷。相較于其他模型，圖模型能夠?qū)^為復(fù)雜的注意機(jī)制建模。
[0004] 圖模型利用各種概率方式來提取顯著區(qū)域，常見的如:條件隨機(jī)場(chǎng)、隱馬爾科夫模 型等。當(dāng)人眼觀察圖像時(shí)，視線可被視為在顯著區(qū)域上隨機(jī)游走的一個(gè)點(diǎn)（G.Boccignone and M.Ferraro，"Modelling gaze shift as a constrained random walk,"Physica A: Statistical Mechanics and its Applications,vol.331,no.1-2,pp.207-218,2004.), 且區(qū)域的顯著度已被證明能通過隨機(jī)游走的平穩(wěn)分布測(cè)量（da Fontoura Costa and Luciano,"Visual saliency and attention as random walks on complex networks," 2006·)〇GBVS(J·Harel,C·Koch,and P·Perona,"Graph-based visual saliency,"in Proceedings of Neural Information Processing Systems(NIPS),2006.)是最具代表性 的圖模型方法，但其對(duì)圖像特征的提取較為粗糙，使得最終顯著區(qū)域不夠精確，包含較多冗 余。J.Hare等人利用L. Itti等人提出的特征圖構(gòu)建方式，再用隨機(jī)游走理論求解出顯著區(qū) 域，但由于缺少對(duì)全局信息的考慮，其對(duì)目標(biāo)邊緣的提取效果不理想。
[0005]總而言之，已有圖像顯著區(qū)域提取方法雖然能模擬人眼的一部分注意機(jī)制，但并 不夠科學(xué)、準(zhǔn)確，輸出的顯著圖大多邊緣模糊，或顯著度集中在目標(biāo)邊緣或顏色紋理明顯變 化的地方。這使得二值化后得到的目標(biāo)區(qū)域包含較多冗余，不能準(zhǔn)確提取目標(biāo)的整體輪廓。 因此，科學(xué)地模擬人眼注意機(jī)制，優(yōu)化圖像特征信息并合理利用，是提高提取準(zhǔn)確度行之有 效的方法，也是圖像顯著區(qū)域提取領(lǐng)域值得研究的課題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明采用隨機(jī)游走理論提取圖像中的顯著區(qū)域，通過超像素分割、二層鄰域及 置信傳播，使得在降低計(jì)算復(fù)雜度的同時(shí)，提高了提取區(qū)域的準(zhǔn)確度。
[0007] 本發(fā)明提供一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，包括以下步驟：
[0008] 步驟1:輸入的原始圖像，用簡(jiǎn)單線性迭代聚類（Simple Linear Iterative Clustering，SLIC)對(duì)原始圖像進(jìn)行超像素分割，得到K個(gè)超像素塊;K為整數(shù)，K取值優(yōu)選為 200 〇
[0009] 步驟2:在CIE-Lab空間中，分別計(jì)算每個(gè)超像素塊內(nèi)所有像素亮度的平均值，作為 每個(gè)超像素塊的特征I(i);
[0010] 步驟3:計(jì)算每?jī)蓚€(gè)超像素塊間的距離Wij，形成距離矩陣WKXK={Wij彡0}(以下簡(jiǎn)寫 為胃），其中1，」為超像素塊的編號(hào)，1 = 1，2，~，1(，」=1，2-_，1(;距離計(jì)算公式為：
[0012]其中σ是控制參數(shù)，為常量；
[0013] 步驟4:采用置信傳播算法，利用距離矩陣W中非零數(shù)據(jù)，估計(jì)人工置零的部分，得 到優(yōu)化后的距離矩陣
[0014] 步驟5:根據(jù)優(yōu)化后的距離矩陣f生成隨機(jī)游走的轉(zhuǎn)移概率矩陣P={Plj>0}，計(jì)算 公式為：
[0016] 其中，為隨機(jī)游走理論中，在距離矩陣^中，對(duì)應(yīng)于結(jié)點(diǎn)i (即第i個(gè)超 像素塊）的總度數(shù); < 為優(yōu)化后的距離矩陣f中的矩陣元素，Plj為轉(zhuǎn)移概率矩陣P中的矩陣 元素。
[0017] 步驟6:由轉(zhuǎn)移概率矩陣計(jì)算隨機(jī)游走的平穩(wěn)分布Π = {~>〇}，πι為第i個(gè)超像素 塊的概率值，通過求解以下方程組獲得：
[0019] 步驟7:將3U映射到[0，255]，獲得顯著度圖；可在此基礎(chǔ)上進(jìn)一步操作，如二值化 后與原始圖像點(diǎn)乘，以獲得原始圖像中顯著目標(biāo)的區(qū)域。
[0020] 所述步驟3中，使用自定義的超像素鄰域：定義圖像邊緣的所有超像素塊為相鄰 塊，定義與當(dāng)前超像素塊相鄰的塊的相鄰塊也與當(dāng)前塊相鄰(即二層鄰域）；
[0021 ]所述步驟4中，置信傳播算法迭代規(guī)則為：
[0022] F(t+l)=aSF(t) + (l-a)Y
[0023] 其中，F(xiàn):Wlj-Rn是為分配置信度的中間量，F(xiàn)中的元素對(duì)應(yīng)表示W(wǎng)中元素的可信 度，1^表示實(shí)數(shù)空間;括號(hào)內(nèi)索引t表示對(duì)F的迭代次數(shù);ae(〇，l]為控制前次迭代對(duì)當(dāng)前迭 代影響程度的參數(shù)；
是初始置信度矩陣，設(shè)置W矩陣中非零值相應(yīng) 初始置信度為1，零值對(duì)應(yīng)初始置信度為〇;3 =『1/、『1/2為歸一化的1矩陣；0 = (^&8 {cU，...，dK}為W的度矩陣。令收斂時(shí)的F為產(chǎn)則有：
[0031] 其中(D-aW)-bff*。
[0032] 以上技術(shù)方法可以看出，本發(fā)明一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法的優(yōu) 點(diǎn)在于：
[0033] (1)利用隨機(jī)游走理論作為整體框架，模擬人眼在圖像像素間的游走，在模型選擇 上具有一定科學(xué)性；
[0034] (2)自定義超像素塊鄰域，使得距離矩陣的計(jì)算在降低計(jì)算復(fù)雜度的同時(shí)兼顧信 息可靠度。
[0035] (3)利用置信傳播理論對(duì)稀疏的距離矩陣進(jìn)行優(yōu)化，進(jìn)一步提高矩陣內(nèi)元素可靠 度，使得整個(gè)計(jì)算結(jié)果更加準(zhǔn)確。
【附圖說明】
[0036] 圖1為本發(fā)明一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法的流程圖。
[0037] 圖2是二層鄰域定義示意圖，顏色填充超像素塊為中間像素塊的鄰域，斜線填充超 像素塊為自定義的邊緣相鄰區(qū)域。
[0038] 圖3是本方法與目前流行的四種方法的實(shí)驗(yàn)評(píng)測(cè)結(jié)果對(duì)比圖。
【具體實(shí)施方式】
[0039] 本發(fā)明在于提供一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，為將本發(fā)明的技術(shù) 方法優(yōu)勢(shì)描述的更加清楚，下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)闡述， 本實(shí)例在配備4GB RAM的Intel Core 3.4GHz CPU上實(shí)施。
[0040] 如圖1所示，本實(shí)例的方法分以下步驟：
[0041] 步驟1:輸入原始圖像，用SLIC分割程序生成基于原圖像的K個(gè)超像素塊，在后續(xù)計(jì) 算中則以超像素塊代替像素作為執(zhí)行單元，減少計(jì)算復(fù)雜度;根據(jù)實(shí)驗(yàn)的原始圖像大小， SLIC分割中超像素塊數(shù)目參數(shù)設(shè)為K = 200，控制距離權(quán)值的參數(shù)m設(shè)為10;
[0042]步驟2:由于CIE-Lab能較好反映人眼對(duì)色彩的感知，提取原始圖像在此空間中的 亮度L、紅綠對(duì)抗色a、藍(lán)黃對(duì)抗色b三個(gè)顏色分量，再對(duì)每個(gè)超像素塊計(jì)算一個(gè)三維顏色特 征I(i):超像素塊內(nèi)包含的所有像素，分別在L、a、b三個(gè)通道內(nèi)求平均;將I(i)作為每個(gè)超 像素塊的特征。
[0043]步驟3:計(jì)算K個(gè)超像素塊的特征兩兩間的距離Wij，生成距離矩陣WKXK，按如下公式 計(jì)算：
[0045] 其中，Wij為距咼矩陣Wkxk中的兀素 ，i = l，2,…，K;j = l，2，···，K; I (i)和I( j)分別 為第i個(gè)超像素塊和第j個(gè)超像素塊的特征。所述的第i個(gè)超像素塊和第j個(gè)超像素塊相鄰， 如圖2所示，按二層鄰域定義，且圖像邊緣超像素塊皆視為相鄰，按最大值最小 值歸一化到區(qū)間[0，1 ]，控制參數(shù)σ滿足σ2 = 〇 . 1;
[0046] 步驟4:步驟3所得距離矩陣W較為稀疏，設(shè)定距離矩陣W中非0元素置信度為1，0元 素置信度為0,為提高其可靠度，利用置信傳播算法，優(yōu)化距離矩陣W，得到新的優(yōu)化后的距 離矩陣 1，其中D為距離矩陣W的度矩陣，α = 0.99,為避免超像素塊自干擾， 優(yōu)化后的距離矩陣f對(duì)角線上元素置零；
[0047]步驟5:根據(jù)隨機(jī)游走理論，計(jì)算基于優(yōu)化后的距離矩陣f的轉(zhuǎn)移概率矩陣
，表征人眼在各個(gè)超像素塊間游走的概率，其中;
[0048]步驟6:按以下方程組求解基于P的平穩(wěn)分布Π ，表征人眼長(zhǎng)時(shí)間觀看圖像后，視線 停留在各個(gè)超像素塊上的概率：
[0050]步驟7:將步驟6中計(jì)算所得每個(gè)超像素塊的概率值3U映射到[0,255]灰度空間中， 得到顯著度圖像，其中越亮的區(qū)域代表了更高的顯著度。
[0051 ] 結(jié)果表示：
[0052] 選擇四種目前流行的顯著區(qū)域提取方法（SR、GBVS、SUN和CA)，與本方法按照測(cè)試 領(lǐng)域公認(rèn)的P、R、F參數(shù)進(jìn)行比較;在實(shí)驗(yàn)使用的圖像庫(kù)上，根據(jù)圖3的實(shí)驗(yàn)結(jié)果可以看出：在 F參數(shù)大致相同的情況下，本發(fā)明方法（圖中RW)的準(zhǔn)確度（圖中precision)遠(yuǎn)高于其余四種 方法，而召回率(recall)偏低的原因是，只賦予較明顯區(qū)域較高顯著度使得提取區(qū)域面積 較小，并不像其余方法提取顯著區(qū)域面積較大，其中包含較多非顯著冗余區(qū)域。
【主權(quán)項(xiàng)】
1. 一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，其特征在于:所述提取方法包括W下 步驟， 步驟1:輸入的原始圖像，對(duì)原始圖像進(jìn)行超像素分割，得到K個(gè)超像素塊;K為整數(shù)； 步驟2:在CIE-Lab空間中，分別計(jì)算每個(gè)超像素塊內(nèi)所有像素亮度的平均值，作為每個(gè) 超像素塊的特征I(i)，i = l，2,…，K; 步驟3:計(jì)算每?jī)蓚€(gè)超像素塊間的距離wij，形成距離矩陣WKXK={wij>0}，其中i，j為超 像素塊的編號(hào)，i = l，2,…，K，j = l，2-'，K;距離計(jì)算公式為：其中0是控制參數(shù)，為常量； 步驟4:采用置信傳播算法，利用距離矩陣W中非零數(shù)據(jù)，估計(jì)人工置零的部分，得到優(yōu) 化后的距離矩陣r; 步驟5:根據(jù)優(yōu)化后的距離矩陣r生成隨機(jī)游走的轉(zhuǎn)移概率矩陣P={pu>0}，計(jì)算公式 為：其中^隨機(jī)游走理論中，在距離矩陣r中，對(duì)應(yīng)于第i個(gè)超像素塊的總度 數(shù);為優(yōu)化后的距離矩陣r中的矩陣元素，PU為轉(zhuǎn)移概率矩陣P中的矩陣元素； 步驟6:由轉(zhuǎn)移概率矩陣計(jì)算隨機(jī)游走的平穩(wěn)分布Π = ，jTi為第i個(gè)超像素塊的 概率值，通過求解W下方程組獲得：步驟7:將町映射到[0，255 ]，獲得顯著度圖。2. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，其特征在于:在 獲得顯著度圖后，二值化后與原始圖像點(diǎn)乘，W獲得原始圖像中顯著目標(biāo)的區(qū)域。3. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，其特征在于:所 述兩個(gè)超像素塊相鄰采用二層鄰域定義，是指圖像邊緣的所有超像素塊為相鄰塊，與當(dāng)前 超像素塊相鄰的超像素塊的相鄰超像素塊也與當(dāng)前超像素塊相鄰。4. 根據(jù)權(quán)利要求1所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，其特征在于:所 述的優(yōu)化后的距離矩陣r = (D-aWri，其中W為距離矩陣，D為距離矩陣W的度矩陣，α e (0， 1]為控制前次迭代對(duì)當(dāng)前迭代影響程度的參數(shù)。5. 根據(jù)權(quán)利要求4所述的一種基于隨機(jī)游走的圖像顯著區(qū)域提取方法，其特征在于:所 述的參數(shù)α = 0.99。
【文檔編號(hào)】G06T7/00GK106096615SQ201610407280
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月12日
【發(fā)明人】陸鏡宇, 邵華, 路兆銘, 溫向明, 陳亞文, 席澤國(guó), 曾艷, 焦儒軒
【申請(qǐng)人】北京郵電大學(xué)