本申請涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種陰影去除方法。本申請同時還涉及一種陰影去除裝置。
背景技術(shù):
視頻監(jiān)控是道路安全防范系統(tǒng)的重要組成部分。傳統(tǒng)的監(jiān)控系統(tǒng)包括前端攝像機(jī)、傳輸線纜、視頻監(jiān)控平臺。攝像機(jī)可分為網(wǎng)絡(luò)數(shù)字?jǐn)z像機(jī)和模擬攝像機(jī),可作為前端視頻圖像信號的采集。它是一種防范能力較強(qiáng)的綜合系統(tǒng)。視頻監(jiān)控以其直觀、準(zhǔn)確、及時和信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。
對于目前越來越受重視的智能交通系統(tǒng)來說,視頻監(jiān)控是其中一個必不可少的重要組成部分。在道路、園區(qū)監(jiān)控的實際應(yīng)用中,擾動的陰影,如樹蔭、目標(biāo)(車輛、行人等)自身的影子經(jīng)常會被誤認(rèn)為目標(biāo)或目標(biāo)的一部分,從而影響目標(biāo)大小和位置的定位,以及影響智能交通系統(tǒng)的正確控制。舉例來說,一塊擾動的樹蔭可能導(dǎo)致上百次的虛警,無論是對存儲還是事件查看都會造成很大的干擾。而在陰影中移動的目標(biāo)則可能因為與陰影連成一片致使目標(biāo)漏報。
申請人在實現(xiàn)本申請的過程中發(fā)現(xiàn),應(yīng)用目前的陰影去除方法的重要前提是能夠提取出可靠的背景,才能利用前景和背景提取有效的特征向量,對于實際場景的監(jiān)控,由于環(huán)境的復(fù)雜性,往往會導(dǎo)致傳統(tǒng)的背景建模方法建立的背景不準(zhǔn)確,影響最終的分類判斷。如現(xiàn)有技術(shù)中所述的混合高斯背景模型就只適用于低速的遠(yuǎn)距離大場景,對于近距離的實時小場景監(jiān)控的背景可靠性大大降低,此外,現(xiàn)有技術(shù)中針對單一的或顯著性不強(qiáng)的陰影特征會影響陰影判斷的準(zhǔn)確性,并且較難保證最終目標(biāo)提取的完整性,從而影響物體準(zhǔn)確位置的定位。
技術(shù)實現(xiàn)要素:
本申請實施例提供一種基于超像素的陰影去除方法和裝置,以實現(xiàn)不需考慮背景信息,直接將圖像中的素材分解為超像素,融合多種特征對各超像素塊進(jìn)行描述,最后將陰影超像素從中分類出來并去除,從素材中提取出目標(biāo)的準(zhǔn)確位置,對陰影區(qū)域的定位更準(zhǔn)確,場景適應(yīng)性更佳,目標(biāo)提取的完整性更好。
為了達(dá)到上述技術(shù)目的,本申請?zhí)峁┝艘环N陰影去除方法,所述方法包括:
利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割,得到預(yù)分割超像素,為各所述預(yù)分割超像素分配種子點;
獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點;
利用顏色距離和空間距離的權(quán)值對所述距離度量進(jìn)行迭代計算,直至所述新的種子點不再變化,確定所述新的種子點為最終種子點,并根據(jù)所述最終種子點確定所述超像素;
利用預(yù)設(shè)的素材分類器對所述超像素進(jìn)行素材分類,將分類為陰影素材所對應(yīng)的超像素去除,在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正。
優(yōu)選的,在所述利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割之前,還包括:
對輸入的各圖像進(jìn)行超像素分割,獲取各素材超像素作為訓(xùn)練樣本;
根據(jù)所述訓(xùn)練樣本中圖像的像素值直方圖和梯度方向直方圖,獲取聯(lián)合特征;
將所述聯(lián)合特征輸入到SVM訓(xùn)練器中進(jìn)行訓(xùn)練,獲得各素材分類器。
優(yōu)選的,所述利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割,得到預(yù)分割超像素,為各所述預(yù)分割超像素分配種子點,具體包括:
根據(jù)輸入待檢測圖像,獲取圖像坐標(biāo);
使用超像素算法對圖像進(jìn)行預(yù)分割,分割為若干相同尺寸的預(yù)分割超像素,在所述預(yù)分割超像素的圖像內(nèi)均勻的分配種子點,并為各預(yù)分割超像素內(nèi)的各像素點分配類標(biāo)簽。
優(yōu)選的,獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點,具體包括:
根據(jù)種子點的個數(shù)獲取各所述預(yù)分割超像素中所有像素點的梯度值,將各所述預(yù)分割超像素中的種子點移到梯度最小的地方;
獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,更新所述各像素點的類標(biāo)簽并進(jìn)行聚類,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點。
優(yōu)選的,所述利用預(yù)設(shè)的素材分類器對所述超像素進(jìn)行素材分類,將分類為陰影素材所對應(yīng)的超像素去除,在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正,具體包括:
利用數(shù)學(xué)相關(guān)性、形狀信息去除所述各素材中分類異常的素材,對所述目標(biāo)的位置和形狀進(jìn)行初步校正;
利用運動信息獲取所述超像素的目標(biāo)運動信息直方圖,根據(jù)所述目標(biāo)運動信息直方圖,并利用最大類間方差法從所述各素材中去除目標(biāo)邊界無運動信息的陰影素材;
在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正,展示校正后的目標(biāo)位置。
另外,本申請還提供一種陰影去除裝置,其特征在于,所述裝置包括:
提取模塊,用于利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割,得到預(yù)分割超像素,為各所述預(yù)分割超像素分配種子點;
獲取模塊,用于獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點;
處理模塊,用于利用顏色距離和空間距離的權(quán)值對所述距離度量進(jìn)行迭代計算,直至所述新的種子點不再變化,確定所述新的種子點為最終種子點,并根據(jù)所述最終種子點確定所述超像素;
定位模塊,用于利用預(yù)設(shè)的素材分類器對所述超像素進(jìn)行素材分類,將分類為陰影素材所對應(yīng)的超像素去除,在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正。
優(yōu)選的,還包括分類模塊,用于:
對輸入的各圖像進(jìn)行超像素分割,獲取各素材超像素作為訓(xùn)練樣本;
根據(jù)所述訓(xùn)練樣本中圖像的像素值直方圖和梯度方向直方圖,獲取聯(lián)合特征;
將所述聯(lián)合特征輸入到SVM訓(xùn)練器中進(jìn)行訓(xùn)練,獲得各素材分類器。
優(yōu)選的,所述提取模塊,具體用于:
根據(jù)輸入待檢測圖像,獲取圖像坐標(biāo);
使用超像素算法對圖像進(jìn)行預(yù)分割,分割為若干相同尺寸的預(yù)分割超像素,在所述預(yù)分割超像素的圖像內(nèi)均勻的分配種子點,并為各預(yù)分割超像素內(nèi)的各像素點分配類標(biāo)簽。
優(yōu)選的,所述獲取模塊,具體用于:
根據(jù)種子點的個數(shù)獲取各所述預(yù)分割超像素中所有像素點的梯度值,將各所述預(yù)分割超像素中的種子點移到梯度最小的地方;
獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,更新所述各像素點的類標(biāo)簽并進(jìn)行聚類,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點。
優(yōu)選的,所述定位模塊,具體用于:
利用數(shù)學(xué)相關(guān)性、形狀信息去除所述各素材中分類異常的素材,對所述目標(biāo)的位置和形狀進(jìn)行初步校正;
利用運動信息獲取所述超像素的目標(biāo)運動信息直方圖,根據(jù)所述目標(biāo)運動信息直方圖,并利用最大類間方差法從所述各素材中去除目標(biāo)邊界無運動信息的陰影素材;
在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正,展示校正后的目標(biāo)位置。
與現(xiàn)有技術(shù)相比,本申請實施例所提出的技術(shù)方案的有益技術(shù)效果包括:
本申請實施例公開了一種陰影去除方法和裝置,該方法利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割并為各預(yù)分割超像素分配種子點;獲取預(yù)分割超像素中的各像素點與相鄰預(yù)分割超像素的種子點的距離度量,以距離度量的最小值為各像素點的類標(biāo)簽,獲取各類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以坐標(biāo)平均值為新的種子點;利用顏色距離和空間距離的權(quán)值對距離度量進(jìn)行迭代計算,直至新的種子點不再變化,確定新的種子點為最終種子點并以其為超像素;對超像素進(jìn)行素材分類,將陰影素材去除。該方法不需考慮背景信息的復(fù)雜度,直接將圖像中的素材分解為超像素,融合多種特征對各超像素進(jìn)行描述,最后將包含陰影的超像素從分類中去除,從而獲得目標(biāo)的精確坐標(biāo)位置。
附圖說明
為了更清楚地說明本申請的技術(shù)方案,下面將對實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明所提出的一種陰影去除方法的流程示意圖;
圖2為本申請實施例所提出的一種陰影去除方法的流程示意圖;
圖3為本申請實施例所提出的一種超像素分割模塊的流程示意圖;
圖4為本申請實施例所提出的一種陰影、目標(biāo)、路面分類器離線訓(xùn)練模塊的流程示意圖;
圖5為本申請實施例所提出的一種目標(biāo)重定位模塊的流程示意圖;
圖6為本申請實施例所提出的一種陰影去除結(jié)果示意圖;
圖7為本申請實施例所提出的一種陰影去除裝置的示意圖。
具體實施方式
由于陰影問題已經(jīng)成為視頻監(jiān)控中影響監(jiān)控效果的重要因素之一,因此,現(xiàn)有技術(shù)存在基于超像素(The super pixel)和支持向量機(jī)(Support Vector Machine,SVM)的圖像陰影檢測方法,超像素一般是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的圖像塊。超像素在圖像分割(Segmentation)領(lǐng)域及目標(biāo)識別領(lǐng)域被廣泛的使用。與傳統(tǒng)的像素級別相比,超像素能夠簡化原始圖片,提高表征圖像的效率。在執(zhí)行目標(biāo)識別任務(wù)時,使用超像素處理圖像更加方便高效,可以大幅度簡化任務(wù),形成對圖像更簡潔的表征。
正如本發(fā)明背景技術(shù)所述,針對現(xiàn)有技術(shù)中基于超像素和支持向量機(jī)(Support Vector Machine,SVM)的圖像陰影檢測方法通常會存在如下的問題:
1、應(yīng)用該類方法的重要前提是能夠提取出可靠的背景,才能利用前景和背景提取有效的特征向量,對于實際場景的監(jiān)控,由于環(huán)境的復(fù)雜性,往往會導(dǎo)致傳統(tǒng)的背景建模方法建立的背景不準(zhǔn)確,影響最終的分類判斷。
2、混合高斯背景模型僅適用于低速的遠(yuǎn)距離大場景,對于近距離的實時小場景監(jiān)控,則背景的可靠性大大降低。
3、需要認(rèn)識并區(qū)別陰影與目標(biāo)的各種特征類型,單一的或顯著性不強(qiáng)的特征會影響陰影判斷的準(zhǔn)確性。
4、較難保證最終目標(biāo)提取的完整性。
因此,現(xiàn)有的技術(shù)仍無法精確將干擾陰影從圖像中有效的去除出去并最終確定物體的精確位置。
有鑒于以上現(xiàn)有技術(shù)中的問題,本發(fā)明提出了一種陰影去除方法。該方法將待檢測圖像中的目標(biāo)、陰影和背景分解為超像素,融合多種特征對各超像素進(jìn)行描述,最后將陰影超像素塊從分類中分離去除。這種方法對復(fù)雜環(huán)境的適應(yīng)性更佳。
如圖1所示,為本發(fā)明所提出的一種陰影去除方法的流程示意圖,其中:
步驟101、利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割,為各所述預(yù)分割超像素分配種子點。
在具體的實施例中,在進(jìn)行本步驟之前,還需要進(jìn)行SVM訓(xùn)練得到各素材的分類器,用于對圖像進(jìn)行分割之后的超像素所包含的素材進(jìn)行分類,具體為,首先對輸入的各圖像進(jìn)行超像素分割,并獲取各素材超像素作為訓(xùn)練樣本,然后根據(jù)該訓(xùn)練樣本中圖像的像素值直方圖和梯度方向直方圖,獲取聯(lián)合特征,最后將該聯(lián)合特征輸入到SVM中進(jìn)行訓(xùn)練,獲得各素材分類器。
當(dāng)然獲取該分類器所使用的圖像可以是當(dāng)前待檢測的圖像也可以是從提前輸入的若干張圖像中進(jìn)行分割、篩選、訓(xùn)練得到的,這并不會影響本發(fā)明的保護(hù)范圍。
進(jìn)一步的,根據(jù)輸入待檢測圖像,獲取圖像坐標(biāo);
使用超像素算法對圖像進(jìn)行預(yù)分割,分割為若干相同尺寸的預(yù)分割超像素,在該預(yù)分割超像素的圖像內(nèi)均勻的分配種子點,并為各預(yù)分割超像素內(nèi)的各像素點分配類標(biāo)簽。
步驟102、獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點。
該步驟旨通過距離度量確定出新的種子點,并通過加入的顏色距離和空間距離的權(quán)值對該距離度量進(jìn)行迭代計算,直至該新的種子點不再變化,確定該新的種子點為最終種子點,并根據(jù)該最終種子點確定所需超像素。
在本發(fā)明的具體實施例中,首先根據(jù)種子點的個數(shù)獲取各該預(yù)分割超像素中所有像素點的梯度值,將各該預(yù)分割超像素中的種子點移到梯度最小的地方,然后獲取該預(yù)分割超像素中的各像素點與相鄰該預(yù)分割超像素的種子點的距離度量,以該距離度量的最小值為該各像素點的類標(biāo)簽,更新該各像素點的類標(biāo)簽并進(jìn)行聚類,獲取各該類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以該坐標(biāo)平均值為新的種子點,最后利用顏色距離和空間距離的權(quán)值對該距離度量進(jìn)行迭代計算,最終確定出所需的超像素。
步驟103、利用顏色距離和空間距離的權(quán)值對所述距離度量進(jìn)行迭代計算,直至所述新的種子點不再變化,確定所述新的種子點為最終種子點,并根據(jù)所述最終種子點確定所述超像素。
該步驟旨在通過加入的顏色距離和空間距離的權(quán)值使距離度量收斂更快,進(jìn)一步確定出精確的種子點和所需的超像素,利用權(quán)值變化將像素間由顏色距離主導(dǎo)的聚類問題轉(zhuǎn)化為由空間距離主導(dǎo)的聚類問題。具體的,利用顏色距離和空間距離的權(quán)值對該距離度量進(jìn)行迭代計算,直至該新的種子點不再變化,確定該新的種子點為最終種子點,并根據(jù)該最終種子點確定該超像素。
步驟104、利用預(yù)設(shè)的素材分類器對所述超像素進(jìn)行素材分類,并將所述各素材中的陰影素材去除。
本步驟中將步驟103中確定的超像素放入分類器中進(jìn)行分類,首先利用數(shù)學(xué)相關(guān)性、形狀信息去除各素材中分類異常的素材,對目標(biāo)的位置和形狀進(jìn)行初步校正;利用運動信息獲取超像素的目標(biāo)運動信息直方圖,根據(jù)目標(biāo)運動信息直方圖,并利用最大類間方差法從各素材中去除目標(biāo)邊界無運動信息的陰影素材,進(jìn)而得到所需目標(biāo)的精確坐標(biāo)位置。
由此可見,與現(xiàn)有技術(shù)相比,本發(fā)明實施例所提出的技術(shù)方案的有益技術(shù)效果包括:
利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割并為各預(yù)分割超像素分配種子點;獲取預(yù)分割超像素中的各像素點與相鄰預(yù)分割超像素的種子點的距離度量,以距離度量的最小值為各像素點的類標(biāo)簽,獲取各類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以坐標(biāo)平均值為新的種子點;利用顏色距離和空間距離的權(quán)值對距離度量進(jìn)行迭代計算,直至新的種子點不再變化,確定新的種子點為最終種子點并以其為超像素;對超像素進(jìn)行素材分類,將陰影素材去除。該方法不需考慮背景信息的復(fù)雜度,直接將圖像中的素材分解為超像素,融合多種特征對各超像素進(jìn)行描述,最后將包含陰影的超像素從分類中去除,從而獲得目標(biāo)的精確坐標(biāo)位置。
下面將結(jié)合本發(fā)明中的附圖,對本發(fā)明中的技術(shù)方案進(jìn)行清楚、完整的描述,顯然,所描述的實施例是本發(fā)明的一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。
如上所述,現(xiàn)有技術(shù)中已知的圖像陰影檢測方法是先通過混合高斯背景模型提取前景區(qū)域,然后對前景區(qū)域進(jìn)行超像素分割,統(tǒng)計超像素內(nèi)前景與背景的亮度、顏色及梯度差值平均值,以此組合成二十維的特征向量,最后利用支持向量機(jī)來對待檢測圖像進(jìn)行分類,最終提取出所需目標(biāo)。但是由于高斯背景模型的使用場景、特征向量提取的便捷性以及目標(biāo)提取的完整性都會影響到該方法的實際操作的效果,降低用戶體驗。
本發(fā)明實施例為了解決上述的問題,針對超像素分割策略進(jìn)行重點優(yōu)化,提出了如圖2所示的方法,該方法包括以下步驟:
步驟201、超像素分割。
在實際的應(yīng)用場景中,本步驟中需要對圖像進(jìn)行分割,并為其分配種子點,即聚類中心,為了能夠充分說明本法的實施方式,以下均按照步驟的方式進(jìn)行詳細(xì)闡述。
S11,輸入待檢測圖像fsrc(x,y),獲取圖像坐標(biāo)ObjLoc:(Xp,Yp,Width,Height),在這里獲取的坐標(biāo)分為兩種情況:
情況一,根據(jù)輸入的圖像,獲取該圖像的所有區(qū)域,并以該所有區(qū)域的坐標(biāo)值為圖像坐標(biāo)ObjLoc:(Xp,Yp,Width,Height);
情況二,根據(jù)輸入的圖像,獲取該圖像的興趣區(qū)域,并進(jìn)一步獲取該興趣區(qū)域的坐標(biāo)ObjLoc:(Xp,Yp,Width,Height)。
需要說明的是,在以上情況中,選擇坐標(biāo)ObjLoc:(Xp,Yp,Width,Height)的具體數(shù)值根據(jù)圖像區(qū)域不同而變化,具體的選擇方式的不同并不影響本發(fā)明的保護(hù)范圍。
S12,使用SLIC超像素算法對圖像進(jìn)行超像素分割,分割為K個相同尺寸的超像素,在圖像內(nèi)均勻的分配種子點,并為各分割超像素內(nèi)的像素點分配類標(biāo)簽,其中,圖像內(nèi)像素點個數(shù)為N=Width*Height,各超像素的大小為N/K,相鄰種子點的距離為S=sqrt(N/K)。具體做法是按照設(shè)定的超像素個數(shù),在圖像內(nèi)均勻的分配種子點,并為各分割塊內(nèi)的像素點分配類標(biāo)簽(即屬于哪個聚類中心)。在興趣區(qū)域內(nèi)像素點個數(shù)為N=Width*Height,預(yù)分割為K個相同尺寸的超像素,那么每個超像素的大小為N/K,則相鄰種子點的距離(步長)近似為S=sqrt(N/K)。
S13,需要對種子點進(jìn)行校正。在種子點個數(shù)為n*n鄰域內(nèi)計算所有像素點的梯度值,將種子點移到梯度最小的地方,具體為在種子點n*n鄰域內(nèi)(本發(fā)明中為了方便計算取n=3)計算所有像素點的梯度值,將種子點移到梯度最小的地方,避免種子點落在梯度較大的輪廓邊界上,以免影響后續(xù)聚類效果。
S14,在相鄰種子點距離為2S*2S(本發(fā)明中為了方便計算取2S*2S)范圍內(nèi),確定每個像素點與種子點間的距離度量D:
其中,dc代表顏色距離,表示為像素點與種子點的rgb顏色的差值,ds代表空間距離,表示為像素點與種子點之間的歐式距離:
其中,Nc和Ns為歸一化參數(shù);Nc隨圖片不同而不同,也隨聚類不同而不同,一般取固定常數(shù)10。Ns為類內(nèi)最大空間距離,定義為Ns=S。
S15,在預(yù)分割塊內(nèi)進(jìn)行聚類。具體為對每個像素點取該點與相鄰種子點的距離度量D的最小值作為該點新的類標(biāo)簽,對各類內(nèi)像素點坐標(biāo)取均值,獲得新的種子點,也即新的聚類中心。
S16,重復(fù)步驟S14、S15進(jìn)行迭代優(yōu)化,至種子點不再變化,即獲得最終的超像素分割結(jié)果,本發(fā)明的迭代次數(shù)取為10且能得到較理想的超像素分割結(jié)果,需要說明的是,在實際的使用場景中,具體的迭代次數(shù)也可以是根據(jù)實際情況選擇的,具體選擇內(nèi)容的變化并不會影響本發(fā)明的保護(hù)范圍。
在本發(fā)明中通過調(diào)整顏色距離和空間距離的權(quán)值,可以使得迭代更快收斂。具體為加入權(quán)值αl(其值隨迭代次數(shù)的變化而變化),把公式3改為公式4,只需要迭代3次即可達(dá)到最優(yōu)化超像素分割,總體分割時間減少約40%。權(quán)值αl由統(tǒng)計數(shù)據(jù)擬合可用公式5確定:
αl=λ1*atan(λ2*l),(l=1,2,3,...) (5)
其中,λ1、λ2可由迭代結(jié)果數(shù)據(jù)統(tǒng)計學(xué)習(xí)得到,且λ1>0,λ2>0。
需要說明的是,αl隨迭代次數(shù)增大而增大,最后趨近于1。這與常規(guī)認(rèn)知是相符的,即開始時通過顏色信息快速聚類,而隨著迭代的進(jìn)行,相同顏色的像素間距離起主要作用,轉(zhuǎn)化為由距離主導(dǎo)的聚類問題,在本步驟中的具體數(shù)值的選取均是為了方便計算而取的最優(yōu)的數(shù)值,具體選取其他的數(shù)值并不會改變本發(fā)明的保護(hù)范圍。
以上闡述的步驟具體如圖3所示,為本申請實施例所提出的一種超像素分割模塊的流程示意圖,首先通過對圖像初始化種子點和校正種子點,然后利用顏色距離和空間距離計算距離度量,在通過聚類和更新權(quán)值對距離度量進(jìn)行聚類得到聚類中心。
步驟202、特征提取。
本步驟旨在通過特征值的提取,將其與訓(xùn)練器中的分類圖片進(jìn)行快速的對比,從而快速的篩選出需要的超像素。
根據(jù)步驟201的方法獲取的每個超像素塊圖像作為訓(xùn)練樣本,首先,以像素差值32為區(qū)間,統(tǒng)計樣本圖像rgb各通道像素值的直方圖,每一個通道可獲得256/32=8維的直方圖,rgb共3個通道則可獲得24維的直方圖特征。其次,以角度差值20°為區(qū)間,統(tǒng)計樣本圖像的梯度方向直方圖,可獲得180°/20°=9維的直方圖特征。最后,將顏色直方圖和梯度方向直方圖聯(lián)合起來,合成一個33維的聯(lián)合特征。
需要說明的的是,在本步驟中所使用的分類器可以是預(yù)先通過各圖像進(jìn)行訓(xùn)練得到的,具體可以由若干張輸入圖像中進(jìn)行分割篩選出若干目標(biāo)超像素、陰影超像素塊以及路面超像素塊圖像作為訓(xùn)練樣本,訓(xùn)練成分類器,這并不會影響本發(fā)明的保護(hù)范圍。
步驟203、超像素分類。
在本步驟對超像素進(jìn)行分類之前還需要得到一個分類器,具體為:
S21,準(zhǔn)備數(shù)據(jù)。根據(jù)步驟S11~S16方法獲取的每個超像素塊圖像作為訓(xùn)練樣本,由2000張輸入圖像中分割篩選出1萬目標(biāo)超像素塊(包括人、車輛等),3萬陰影超像素塊,3萬路面超像素塊圖像作為訓(xùn)練樣本,并分別打上類標(biāo)簽{-1,0,1}。
S22,提取特征。首先,以像素差值32為區(qū)間,統(tǒng)計樣本圖像rgb各通道像素值的直方圖,每一個通道可獲得256/32=8維的直方圖,rgb共3個通道則可獲得24維的直方圖特征。其次,以角度差值20°為區(qū)間,統(tǒng)計樣本圖像的梯度方向直方圖,可獲得180°/20°=9維的直方圖特征。最后,將顏色直方圖和梯度方向直方圖聯(lián)合起來,合成一個33維的聯(lián)合特征。
S23,訓(xùn)練分類器。將步驟S22提取的特征分別打上對應(yīng)的類標(biāo)簽,輸入到SVM中進(jìn)行訓(xùn)練,獲得目標(biāo)、陰影、路面分類器。
在本發(fā)明的具體實施例中,本步驟中通過訓(xùn)練樣本圖像的特征獲得的分類器,更加適用當(dāng)前的圖像,當(dāng)然,也可以在系統(tǒng)中預(yù)設(shè)多個分離器,對不同的圖像選用不同的分類器,這樣的變化并不會影響本發(fā)明的保護(hù)范圍。
以上闡述的步驟中的訓(xùn)練分類器具體如圖4所示,為本申請實施例所提出的一種陰影、目標(biāo)、路面分類器離線訓(xùn)練模塊的流程示意圖,通過提取RGB顏色信息和梯度方向信息對陰影、目標(biāo)、路面正負(fù)樣本進(jìn)行SVM訓(xùn)練得到分類器。
在得到目標(biāo)、陰影、路面分類器之后,將每個超像素塊的聯(lián)合特征,輸入到目標(biāo)、陰影、路面分類器中進(jìn)行SVM分類。需要注意的是,SVM只能進(jìn)行二分類,而我們需要分三個類別(目標(biāo)、陰影、路面),可以采用兩兩分類后,取最大分類置信度方法來判斷該超像素塊的類別。在測試集上,目標(biāo)檢出率為90.3%,陰影檢出率為96.4%,路面檢出率為95.6%。
步驟204、目標(biāo)重定位。
本步驟旨在通過利用數(shù)學(xué)相關(guān)性、形狀信息以及運動信息對分類出的目標(biāo)進(jìn)行精確定位,具體為:
S31,根據(jù)相關(guān)性對分類結(jié)果進(jìn)行初步校正。超像素塊不是獨立的,即如目標(biāo)的某一超像素塊的必然與目標(biāo)其中的另一超像素塊相鄰,陰影和背景超像素塊亦然。設(shè)某超像素塊的分類結(jié)果為P,其周圍8鄰域超像素塊的分類結(jié)果為Pi,(i=0,1,...,7),如果P≠Pi,那么就可以認(rèn)為該超像素分類是錯誤的,將其置為8領(lǐng)域中統(tǒng)計最大的那一類。利用這一先驗知識,可以將分類結(jié)果與相鄰超像素塊結(jié)果均不相同的進(jìn)行初步校正。
S32,根據(jù)形狀信息對目標(biāo)形狀進(jìn)行校正。通過步驟S31就可將確定目標(biāo)的大致位置了,但是仍會存在一些難以判斷的超像素會使得目標(biāo)的形狀出現(xiàn)異常。如車輛一般為正方形,非機(jī)動車、行人一般為長方形,即目標(biāo)的寬高比和大小在一定范圍內(nèi)。通過統(tǒng)計可得一般目標(biāo)的寬高比處于[β1,β2]區(qū)間,在一個優(yōu)選例中,取[0.4,1.2],如果寬高比異常,則可判斷目標(biāo)邊界的超像素中其領(lǐng)域結(jié)果分類為陰影或路面最多的為分類錯誤,將其置為8領(lǐng)域中統(tǒng)計最大的那一類,校正目標(biāo)形狀。
S33,根據(jù)運動信息對目標(biāo)位置進(jìn)行精定位。通過步驟S32已經(jīng)可以確定目標(biāo)較準(zhǔn)確的位置和大小了,但是仍不夠精確,尤其是對于摩托車、自行車、行人等細(xì)化分類以及目標(biāo)子特征屬性(如帽子、衣服、背包等)檢測等應(yīng)用來說,目標(biāo)位置的精確定位至關(guān)重要。為此,可通過統(tǒng)計目標(biāo)運動信息(如幀間差分信息)直方圖,利用最大類間方差法來消除邊界無運動信息超像素干擾,對目標(biāo)的上下左右位置進(jìn)行進(jìn)一步校正,最終輸出目標(biāo)去除陰影干擾后的精確坐標(biāo)位置:ObjLoc':(Xp',Yp',Width',Height')。
以上闡述的步驟具體如圖5所示,為本申請實施例所提出的一種目標(biāo)重定位模塊的流程示意圖,通過利用數(shù)學(xué)相關(guān)性、形狀信息以及運動信息對分類出的目標(biāo)進(jìn)行精確定位。最終在圖像中將精確定位的目標(biāo)分離出來,如圖6所示,為本申請實施例所提出的一種陰影去除結(jié)果示意圖。
基于與上述方法同樣的發(fā)明構(gòu)思,本申請實施例還提出了一種陰影去除裝置,其特征在于,所述裝置包括:
提取模塊71,用于利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割,得到預(yù)分割超像素,為各所述預(yù)分割超像素分配種子點;
獲取模塊72,用于獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點;
處理模塊73,用于利用顏色距離和空間距離的權(quán)值對所述距離度量進(jìn)行迭代計算,直至所述新的種子點不再變化,確定所述新的種子點為最終種子點,并根據(jù)所述最終種子點確定所述超像素;
定位模塊74,用于利用預(yù)設(shè)的素材分類器對所述超像素進(jìn)行素材分類,將分類為陰影素材所對應(yīng)的超像素去除,在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正。
優(yōu)選的,還包括分類模塊75,用于:
對輸入的各圖像進(jìn)行超像素分割,獲取各素材超像素作為訓(xùn)練樣本;
根據(jù)所述訓(xùn)練樣本中圖像的像素值直方圖和梯度方向直方圖,獲取聯(lián)合特征;
將所述聯(lián)合特征輸入到SVM訓(xùn)練器中進(jìn)行訓(xùn)練,獲得各素材分類器。
優(yōu)選的,所述提取模塊71,具體用于:
根據(jù)輸入待檢測圖像,獲取圖像坐標(biāo);
使用超像素算法對圖像進(jìn)行預(yù)分割,分割為若干相同尺寸的預(yù)分割超像素,在所述預(yù)分割超像素的圖像內(nèi)均勻的分配種子點,并為各預(yù)分割超像素內(nèi)的各像素點分配類標(biāo)簽。
優(yōu)選的,所述獲取模塊72,具體用于:
根據(jù)種子點的個數(shù)獲取各所述預(yù)分割超像素中所有像素點的梯度值,將各所述預(yù)分割超像素中的種子點移到梯度最小的地方;
獲取所述預(yù)分割超像素中的各像素點與相鄰所述預(yù)分割超像素的種子點的距離度量,以所述距離度量的最小值為所述各像素點的類標(biāo)簽,更新所述各像素點的類標(biāo)簽并進(jìn)行聚類,獲取各所述類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以所述坐標(biāo)平均值為新的種子點。
優(yōu)選的,所述定位模塊74,具體用于:
利用數(shù)學(xué)相關(guān)性、形狀信息去除所述各素材中分類異常的素材,對所述目標(biāo)的位置和形狀進(jìn)行初步校正;
利用運動信息獲取所述超像素的目標(biāo)運動信息直方圖,根據(jù)所述目標(biāo)運動信息直方圖,并利用最大類間方差法從所述各素材中去除目標(biāo)邊界無運動信息的陰影素材;
在所述待檢測圖像中對去除所述陰影素材所對應(yīng)的超像素之后的目標(biāo)的位置進(jìn)行校正,展示校正后的目標(biāo)位置。
在本發(fā)明具體實施例中各個模塊可以集成于一體,也可以分離部署,上述模塊合并為一個模塊,也可以進(jìn)一步拆分成多個子模塊。
由此可見,通過應(yīng)用本申請的技術(shù)方案,利用超像素算法對輸入的待檢測圖像進(jìn)行預(yù)分割并為各預(yù)分割超像素分配種子點;獲取預(yù)分割超像素中的各像素點與相鄰預(yù)分割超像素的種子點的距離度量,以距離度量的最小值為各像素點的類標(biāo)簽,獲取各類標(biāo)簽內(nèi)的像素點的坐標(biāo)平均值,以坐標(biāo)平均值為新的種子點;利用顏色距離和空間距離的權(quán)值對距離度量進(jìn)行迭代計算,直至新的種子點不再變化,確定新的種子點為最終種子點并以其為超像素;對超像素進(jìn)行素材分類,將陰影素材去除。該方法不需考慮背景信息的復(fù)雜度,直接將圖像中的素材分解為超像素,融合多種特征對各超像素進(jìn)行描述,最后將包含陰影的超像素從分類中去除,從而獲得目標(biāo)的精確坐標(biāo)位置。
通過以上的實施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明實施例可以通過硬件實現(xiàn),也可以借助軟件加必要的通用硬件平臺的方式來實現(xiàn)?;谶@樣的理解,本發(fā)明實施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM,U盤,移動硬盤等)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī),服務(wù)器,或網(wǎng)絡(luò)側(cè)設(shè)備等)執(zhí)行本發(fā)明實施例各個實施場景所述的方法。
本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施場景的示意圖,附圖中的模塊或流程并不一定是實施本發(fā)明實施例所必須的。
本領(lǐng)域技術(shù)人員可以理解實施場景中的裝置中的模塊可以按照實施場景描述進(jìn)行分布于實施場景的裝置中,也可以進(jìn)行相應(yīng)變化位于不同于本實施場景的一個或多個裝置中。上述實施場景的模塊可以合并為一個模塊,也可以進(jìn)一步拆分成多個子模塊。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施場景的優(yōu)劣。
以上公開的僅為本發(fā)明實施例的幾個具體實施場景,但是,本發(fā)明實施例并非局限于此,任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明實施例的業(yè)務(wù)限制范圍。