圖像處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，并且特別地，涉及一種圖像處理方法和裝置。
【背景技術(shù)】
[0002] 顯著區(qū)域與背景區(qū)域的區(qū)分一直是圖像處理領(lǐng)域內(nèi)非常關(guān)鍵的一環(huán)。論文《A model for saliency-based visual attention for rapid scene analysis〉〉是該令頁±或的 早期工作，也是引用非常廣泛的論文之一。作者在這篇論文中，運(yùn)用了數(shù)量龐大的特征來模 擬人類對于顯著物體的視覺感知，這些特征共有42個(gè)特征圖譜（feature map),分別為12 種顏色的feature map，即，在R，G，B各通道的強(qiáng)度信息的基礎(chǔ)上利用不同的尺度的高斯金 字塔模型與下采樣方法構(gòu)造12種顏色的feature map ;并且，該論文還提出了 6種圖像像 素灰度強(qiáng)度信息、以及四方向六尺度下構(gòu)造的24種Gabor紋理方向feature map。在獲得 這些feature map的基礎(chǔ)上，作者提出中心區(qū)域與周圍區(qū)域的差異（center surrounding difference)方法，計(jì)算同類型不同尺度feature map之間中心區(qū)域同周圍區(qū)域的差異度， 最終通過線性組合的方式將不同類型的feature map利用權(quán)重的方式進(jìn)行組合獲得最終的 顯著圖（saliency map) 〇
[0003] 但是，該算法在實(shí)際應(yīng)用中存在以下缺點(diǎn)：
[0004] (1)檢測精度低，僅僅能檢測到顯著目標(biāo)（salient object)的一小部分；
[0005] (2)該方法基于簡單的視覺特征，如像素強(qiáng)度、灰度等信息，而沒有考慮saliency 的本身特性；
[0006] (3)由于該方法使用多種特征計(jì)算saliency map,所以在特征之間將存在信息冗 余，同時(shí)加大了算法的計(jì)算量；
[0007] (4)該算法僅采用權(quán)重組合的簡單方式獲得saliency map，因此檢測的魯棒性差。
[0008] 此外，在論文《Contrast Approach:Frequency-tuned Salient Region Detection》中，提出了僅使用一種特征來構(gòu)造 saliency map,作者通過對圖像進(jìn)行頻域低 通濾波的方式去除圖像中的噪聲以及過細(xì)的紋理信息，利用原始圖像減去濾波后的圖像獲 得一張簡單的saliency map。在這個(gè)saliency map上利用自適應(yīng)閾值將saliency map 劃分為顯著區(qū)域（saliency區(qū)域）與背景區(qū)域。同時(shí)，在原始圖像上，利用mean shift算 法對圖像進(jìn)行分割。最后，利用saliency map上對應(yīng)位置處像素的標(biāo)簽（saliency或者背 景），對于分割區(qū)域進(jìn)行判斷，獲得更加完整的分割結(jié)果。
[0009] 該算法雖然能夠克服特征冗余的問題，但是仍然存在以下缺點(diǎn)：
[0010] (1)僅利用一種saliency map,-旦特征出現(xiàn)問題，將很容易導(dǎo)致最終的檢測結(jié)果 出現(xiàn)差錯(cuò)；
[0011] (2)該方法需要使用復(fù)雜的圖像分割方法對圖像進(jìn)行分割，盡管作者希望利用圖 像分割的結(jié)果，來提升saliency map的性能，但是，這種復(fù)雜的圖像分割方法本身的計(jì)算復(fù) 雜度較高，因此很難用于資源有限的平臺(tái)（如DSP等），導(dǎo)致其使用的范圍受到很大限制。
[0012] 此外，在論文《Main Sub ject Detection via Adaptive Feature Selection》中， 作者選用了具有50% overlap的滑動(dòng)窗口，在圖像中選擇像素，計(jì)算窗口中的像素與窗口 外像素的亮度、顏色、對比度、銳利度以及邊緣強(qiáng)度的差異性，構(gòu)成五種feature map，同時(shí) 假設(shè)靠近圖像中心區(qū)域的窗口更加的重要，將這些窗口賦予高權(quán)重?；谏鲜鎏卣饕约皺?quán) 重計(jì)算方法，利用線性組合的方式，將feature map進(jìn)行組合得到初步的saliency map。在 saliency map的基礎(chǔ)上，利用閾值選取saliency value大于一定閾值的點(diǎn)，以這些點(diǎn)的邊 界作為初始的bounding box的位置，隨后利用cluster density自動(dòng)優(yōu)化bounding box, 最終再次通過閾值選擇合適的bounding box位置。
[0013] 雖然該算法在理論上來說也具有一定的準(zhǔn)確性，但是，該算法具有以下缺點(diǎn)：
[0014] (1)該算法是在微軟公開的實(shí)驗(yàn)數(shù)據(jù)集上進(jìn)行的算法設(shè)計(jì)，未考慮實(shí)際用戶所拍 攝照片的復(fù)雜度，在實(shí)現(xiàn)時(shí)，考慮到的特征過于簡單，很難直接用于實(shí)際拍攝得到的圖像數(shù) 據(jù)；
[0015] ⑵使用多種特征計(jì)算saliency map,例如，光照、對比度以及顏色特征都屬于圖 像像素在不同顏色空間中的不同表達(dá)，將會(huì)導(dǎo)致多種特征之間存在冗余性；
[0016] (3)算法采用50%的滑動(dòng)窗口進(jìn)行掃描，加大了計(jì)算量；
[0017] (4)假設(shè)顯著目標(biāo)位于圖像的中心。這種假設(shè)過于主觀。部分圖像符合該假設(shè)，但 仍有大部分圖像不符合。
[0018] 綜上所述，目前對于顯著區(qū)域和背景區(qū)域的檢測方法只要存在檢測精度不高、難 以適應(yīng)實(shí)際拍攝圖像的復(fù)雜度、算法復(fù)雜（計(jì)算量大、計(jì)算速度慢）、特征之間存在冗余而 導(dǎo)致程序結(jié)構(gòu)復(fù)雜等問題。但是，針對上述問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0019] 針對相關(guān)技術(shù)中的問題，本發(fā)明提出一種圖像處理方法和裝置，能夠提高檢測的 準(zhǔn)確性和效率，并且適用于實(shí)際應(yīng)用中的各種復(fù)雜情況。
[0020] 為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了 一種圖像處理方法。
[0021] 該方法包括：
[0022] 根據(jù)待處理的圖像中像素的參數(shù)，確定像素的顯著性；
[0023] 根據(jù)確定的顯著性確定相應(yīng)的像素屬于顯著區(qū)域或背景區(qū)域；
[0024] 根據(jù)圖像中像素所屬的區(qū)域確定圖像中的顯著區(qū)域和/或背景區(qū)域。
[0025] 其中，確定圖像中像素的顯著性包括以下至少之一：
[0026] 對于每個(gè)需要確定顯著性的像素，確定該像素到達(dá)圖像邊界處的參數(shù)變化最小路 徑，并確定該像素的參數(shù)相對于該路徑上位于圖像邊界處像素的參數(shù)的變化情況，將該確 定的參數(shù)變化情況作為該像素的第一顯著性；和/或
[0027] 對于每個(gè)需要確定顯著性的像素，確定該像素的參數(shù)與圖像中預(yù)先確定的參考背 景區(qū)域中像素的參數(shù)之間的相似程度，將該相似程度作為該像素的第二顯著性。
[0028] 并且，上述參考背景區(qū)域可以包括圖像的至少部分邊緣區(qū)域。
[0029] 并且，在確定每個(gè)需要確定顯著性的像素到達(dá)圖像邊界處的參數(shù)變化最小路徑 時(shí)，對圖像進(jìn)行多次掃描，確定每個(gè)像素的參數(shù)變化最小路徑值，每次掃描時(shí)采用的掃描順 序不同。
[0030] 其中，上述多次掃描包括第一掃描和第二掃描，并且，第一掃描和第二掃描的掃描 順序相反。
[0031 ] 此外，確定該像素的參數(shù)與圖像中預(yù)先確定的參考背景區(qū)域中像素的參數(shù)之間的 相似程度包括：
[0032] 對圖像中所有像素的顏色進(jìn)行劃分，得到多個(gè)顏色區(qū)間；
[0033] 根據(jù)參考背景區(qū)域中像素的顏色區(qū)間分布、以及圖像中需要確定顯著性的像素的 所在的顏色區(qū)間，確定每個(gè)需要確定顯著性的像素與參考背景區(qū)域的像素之間的相似程 度。
[0034] 其中，可選地，對所有像素進(jìn)行劃分，得到多個(gè)顏色區(qū)間的方法包括以下至少之 一：中位切分算法、流行色算法、八叉樹顏色量化算法。
[0035] 此外，該方法可以進(jìn)一步包括：
[0036] 確定圖像中各種顏色的分布情況；
[0037] 根據(jù)圖像中每個(gè)像素的顏色、每種顏色的分布情況以及像素的顯著性，確定圖像 中是否包含顯著目標(biāo)。
[0038] 另外，在確定了第一和第二顯著性的情況下，該方法可以進(jìn)一步包括：
[0039] 確定圖像中各種顏色的分布情況，并對圖像進(jìn)行劃分，得到多個(gè)圖像塊；
[0040] 對于每個(gè)圖像塊，根據(jù)該圖像塊中的顏色分布、該圖像塊中像素的第一顯著性、以 及第二顯著性，確定圖像中是否包含顯著目標(biāo)；
[0041] 確定圖像中顯著目標(biāo)的位置。
[0042] 根據(jù)本發(fā)明的另一方面，提供了 一種圖像處理裝置。
[0043] 該裝置包括：
[0044] 第一確定模塊，用于根據(jù)待處理的圖像中像素的參數(shù)，確定像素的顯著性；
[0045] 第二確定模塊，用于根據(jù)確定的顯著性確定相應(yīng)的像素屬于顯著區(qū)域或背景區(qū) 域；
[0046] 第三確定模塊，用于根據(jù)圖像中像素所屬的區(qū)域確定圖像中的顯著區(qū)域和/或背 景區(qū)域。
[0047] 其中，在確定圖像中像素的顯著性時(shí)，第二確定模塊用于對每個(gè)需要確定顯著性 的像素，確定該像素到達(dá)圖像邊界處的參數(shù)變化最小路徑，并確定該像素的參數(shù)相對于該 路徑上位于圖像邊界處像素的參數(shù)的變化情況，將該確定的參數(shù)變化情況作為該像素的第 一顯著性；和/或
[0048] 第二確定模塊用于對每個(gè)需要確定顯著性的像素，確定該像素的參數(shù)與圖像中預(yù) 先確定的參考背景區(qū)域中像素的參數(shù)之間的相似程度，將該相似程度作為該像素的第二顯 著性。
[0049] 可選地，參考背景區(qū)域包括圖像的至少部分邊緣區(qū)域。
[0050] 此外，在確定每個(gè)需要確定顯著性的