一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法
【專利摘要】本發(fā)明公開了一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，包括以下步驟：步驟1：獲取圖像，并對圖像進行預(yù)處理構(gòu)成圖像金字塔；步驟2：從圖像金字塔中提取聚合通道特征金字塔；步驟3：在聚合通道特征金字塔上按照設(shè)定的步長滑動檢測窗口，獲得檢測塊；步驟4：使用已訓(xùn)練好的多個軟級聯(lián)分類器將步驟3獲得的檢測塊依次分類為含有行人或不含行人的檢測塊；步驟5：被分類為含有行人的檢測塊標(biāo)記為行人候選窗口，并記錄每個行人候選窗口的分類得分；步驟6：去除重疊行人候選窗口；步驟7：輸出行人檢測結(jié)果。聚合通道特征有效描述了行人類的外觀共性。多個軟級聯(lián)分類器組成檢測器的方式較好處理了訓(xùn)練數(shù)據(jù)不平衡問題，提高了檢測能力。
【專利說明】 一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺的目標(biāo)檢測【技術(shù)領(lǐng)域】，特別涉及一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法。
【背景技術(shù)】
[0002]因為在安保監(jiān)控、自動駕駛和智能機器人等領(lǐng)域中的關(guān)鍵作用，多年來行人檢測一直是計算機視覺領(lǐng)域的熱門研究課題。隨著描述圖像區(qū)域信息的更有效底層特征的出現(xiàn)和更好的行人表示模型的設(shè)計，近年來行人檢測的性能得到了很大提高，但離實用要求仍有不小差距。
[0003]在計算機視覺技術(shù)中進行行人檢測通常采用滑動窗口的方式。即，確定固定大小的矩形，依次從左到右，從上到下選擇矩形區(qū)域；然后提取矩形區(qū)域中的特征，并將得到的特征輸入分類器或者檢測器進行判斷，最后輸出檢測到行人的矩形區(qū)域。因此，影響行人檢測的兩個關(guān)鍵因素分別是底層特征和分類器或檢測器。在現(xiàn)有最好的行人檢測方法中，底層特征一般都使用獲取局部信息的特征。這里將現(xiàn)有最好性能檢測器歸為以下四類:一、單一剛性模版檢測器；二、單一部件結(jié)構(gòu)模型檢測器；三、多剛性模版檢測器；四、多部件結(jié)構(gòu)模型檢測器。
[0004]對常用的底層特征及這四種檢測器分析如下:
[0005]單純使用像素灰度值的類Haar矩形特征因其簡單性，并且可以使用積分圖技術(shù)加速特征的提取，在人臉檢測中得到了成功的應(yīng)用。因灰度值受光照等外部影響很大，加之行人外觀的復(fù)雜多變性，在行人檢測中，類Harr特征的表達能力就太弱了，因此一般只用來預(yù)先大致確定包含行人的感興趣區(qū)域，再進行后續(xù)處理。
[0006]像素梯度能獲得較好的光照不變性，獲取矩形區(qū)域梯度直方圖的HOG特征在行人檢測上表現(xiàn)出了很好的性能。因為采用了區(qū)域部分重疊、直方圖計算三線性插值消除走樣等獲得不變性的措施，HOG特征的維度比較高，計算量也比較大，這些是其在實時應(yīng)用中的障礙。積分通道特征可以看作是HOG特征的積分圖化。該特征除了利用像素梯度之外，還使用了 LUV的像素值，這樣的處理使得該特征具有了較好的表達能力，并且引入積分圖讓計算量降低到了可接受的程度?；谌サ艉苄^(qū)域和很大區(qū)域的直方圖不太會影響行人檢測效果的事實，聚合通道特征只計算固定大小正方形區(qū)域的直方圖，采用了積分通道特征相同的通道，這樣使特征的維度大大降低了，同時表達能力相對于積分通道特征還有了提高。
[0007]剛性模板將行人當(dāng)作一個整體，相當(dāng)于行人集外觀的平均值表示。單一剛性模板檢測器使用一個剛性模板描述整個行人類別，其訓(xùn)練是一個全局優(yōu)化問題，有多種可選的優(yōu)化方法、訓(xùn)練起來比較簡單是其最大優(yōu)點。但是，由于行人外觀的復(fù)雜多邊性，剛性模板表達能力不太好，從而造成最后的行人檢測效果無法達到最佳。
[0008]部件結(jié)構(gòu)模型是復(fù)雜模型的代表，它考慮到了行人可以看作多個相對獨立的部件構(gòu)成這個事實，不但表達各部件的外觀，也表達部件之間的關(guān)系和行人的整體外觀。這種模型的表達能力很強，也更符合行人的生理結(jié)構(gòu)，這是其突出優(yōu)點。相對于剛體模型，訓(xùn)練部件結(jié)構(gòu)模型需要很多額外的信息，而這些信息很多是隱含的，在訓(xùn)練時并不能獲得。隱含信息的使用造成了訓(xùn)練的困難，從而得到的部件結(jié)構(gòu)模型往往不是最優(yōu)的。
[0009]由于行人具有極大的類內(nèi)差別，使用單一模型不足以描述行人這個類別。多剛性模板檢測器和多部件結(jié)構(gòu)模板檢測器都基于將行人分解成多個較單純的子類處理的想法。同一子類行人的外觀具有較好的相似性，可以更好的描述，多模型檢測器正是利用了這個優(yōu)點。但是，首先要將行人劃分為多個子類才可能訓(xùn)練出多模型檢測器，這個子類劃分尚是未解決的開放課題。

【發(fā)明內(nèi)容】

[0010]本發(fā)明提供了一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其目的在于克服上述現(xiàn)有技術(shù)的不足，擬避開子類劃分、降低訓(xùn)練難度、充分利用多模型的表達能力、同時維持較快的檢測速度。
[0011]一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，包括以下步驟:
[0012]步驟1:獲取圖像，并對圖像進行預(yù)處理構(gòu)成圖像金字塔；
[0013]步驟2:從圖像金字塔中提取聚合通道特征金字塔；
[0014]步驟3:在聚合通道特征金字塔上按照設(shè)定的步長滑動檢測窗口，獲得檢測塊；
[0015]步驟4:使用已訓(xùn)練好的多個軟級聯(lián)分類器將步驟3獲得的檢測塊依次分類為含有行人或不含行人的檢測塊；
[0016]步驟5:被分類為含有行人的檢測塊標(biāo)記為行人候選窗口，并記錄每個行人候選窗口的分類得分；
[0017]步驟6:去除重疊行人候選窗口 ；
[0018]將行人候選窗口按照分類得分進行降序排列，依次計算相鄰的兩個行人候選窗口
的重疊面積A與相鄰兩個行人候選窗口中較小行人候選窗口面積B的比值i，如果比值*
BB
大于0.65,則去掉分類得分較小的行人候選窗口，直到?jīng)]有任何相鄰的兩個行人窗口的重疊比值大于0.65為止；
[0019]步驟7:輸出行人檢測結(jié)果。
[0020]所述步驟I中對圖像進行預(yù)處理是指將RGB圖像變換為LUV顏色空間圖像，并對LUV顏色空間圖像進行邊緣填充使得圖像的高度和寬度均為步驟3中設(shè)定步長的整數(shù)倍；按照設(shè)定的縮放系數(shù)對圖像進行縮小，得到多幅尺寸依次遞減的圖像，形成圖像金字塔；
[0021]所述縮放系數(shù)為1.01-1.05之間的實數(shù)，按照縮放系數(shù)對圖像進行縮小是指縮小前的圖像大小是縮小后的圖像大小的1.01-1.05倍。
[0022]所述步驟2中聚合通道特征的提取過程如下:
[0023]首先，計算圖像金字塔中每一幅圖像的每個像素點的LUV三顏色像素梯度，取最大值作為當(dāng)前像素點的像素梯度； [0024]其次，按6個梯度方向獲得每個像素點的梯度方向直方圖；
[0025]所述6個梯度方向是指在梯度角度變化范圍內(nèi)等分為六個區(qū)間，每個梯度方向為其中一個區(qū)間；所述梯度角度變化范圍為180度或360度；
[0026]比如[0-30]為第一個角度方向，…；也可以考慮為360度，則區(qū)間為60度即可。[0027]最后，將每個像素點的LUV三顏色值、像素梯度大小以及6個梯度方向的梯度大小作為每個像素點的聚合通道特征；
[0028]單幅圖像所有像素點的聚合通道特征構(gòu)成了聚合通道特征矩陣，圖像金字塔中每幅圖像的聚合通道特征矩陣構(gòu)成聚合通道特征金字塔。
[0029]所述步驟3中的滑動檢測窗口是指在聚合通道特征矩陣上依次從左到右、從上到下按設(shè)定步長滑動檢測窗口，設(shè)定步長小于檢測窗口的長和寬，檢測窗口在聚合通道特征矩陣形成若干個與檢測窗口大小相同的矩形塊。
[0030]所述步驟4中已訓(xùn)練好的多個軟級聯(lián)分類器的訓(xùn)練過程如下:
[0031]利用聚合通道特征和軟級聯(lián)分類器，對訓(xùn)練樣本集進行訓(xùn)練以得到多個軟級聯(lián)分類器；
[0032]訓(xùn)練樣本集包括:正樣本集和負樣本集,所述正樣本集包括不少于3000個包含行人且像素大小為64X32的圖像區(qū)域，所述負樣本集包括不少于10萬個不包含行人且像素大小為64X32的圖像區(qū)域；
[0033]所述多個軟級聯(lián)分類器的第一個軟級聯(lián)分類器使用了全部正樣本集和隨機抽取的數(shù)量與正樣本一樣的負樣本子集，之后的每一個軟級聯(lián)行人分類使用了全部正樣本集和相同數(shù)目的隨機抽取的負樣本子集，但是能被已經(jīng)訓(xùn)練出的軟級聯(lián)分類器的組合正確分類的負樣本被排除在抽樣范圍之外，直到所有的負樣本都能被所訓(xùn)練出的軟級聯(lián)分類器正確分類，則結(jié)束訓(xùn)練。
[0034]所述步驟5中的分類得分由以下公式計算:
[0035]
【權(quán)利要求】
1.一種使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，包括以下步驟: 步驟1:獲取圖像，并對圖像進行預(yù)處理構(gòu)成圖像金字塔； 步驟2:從圖像金字塔中提取聚合通道特征金字塔； 步驟3:在聚合通道特征金字塔上按照設(shè)定的步長滑動檢測窗口，獲得檢測塊； 步驟4:使用已訓(xùn)練好的多個軟級聯(lián)分類器將步驟3獲得的檢測塊依次分類為含有行人或不含行人的檢測塊； 步驟5:被分類為含有行人的檢測塊標(biāo)記為行人候選窗口，并記錄每個行人候選窗口的分類得分； 步驟6:去除重疊行人候選窗口 ； 將行人候選窗口按照分類得分進行降序排列，依次計算相鄰的兩個行人候選窗口的重疊面積A與相鄰兩個行人候選窗口中較小行人候選窗口面積B的比值A(chǔ)/B如果比值A(chǔ)/B大于0.65，則去掉分類得分較小的行人候選窗口，直到?jīng)]有任何相鄰的兩個行人窗口的重疊比值大于0.65為止； 步驟7:輸出行人檢測結(jié)果。
2.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述步驟I中對圖像進行預(yù)處理是指將RGB圖像變換為LUV顏色空間圖像，并對LUV顏色空間圖像進行邊緣填充使得圖像的高度和寬度均為步驟3中設(shè)定步長的整數(shù)倍；按照設(shè)定的縮放系數(shù)對圖像進行縮小，得到多幅尺寸依次遞減的圖像，形成圖像金字塔； 所述縮放系數(shù)為1.01-1.05之間的實數(shù)，按照縮放系數(shù)對圖像進行縮小是指縮小前的圖像大小是縮小后的圖像大小的1.01-1.05倍。
3.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述步驟2中聚合通道特征的提取過程如下: 首先，計算圖像金字塔中每一幅圖像的每個像素點的LUV三顏色像素梯度，取最大值作為當(dāng)前像素點的像素梯度； 其次，按6個梯度方向獲得每個像素點的梯度方向直方圖； 所述6個梯度方向是指在梯度角度變化范圍內(nèi)等分為六個區(qū)間，每個梯度方向為其中一個區(qū)間；所述梯度角度變化范圍為180度或360度； 最后，將每個像素點的LUV三顏色值、像素梯度大小以及6個梯度方向的梯度大小作為每個像素點的聚合通道特征； 單幅圖像所有像素點的聚合通道特征構(gòu)成了聚合通道特征矩陣，圖像金字塔中每幅圖像的聚合通道特征矩陣構(gòu)成聚合通道特征金字塔。
4.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述步驟3中的滑動檢測窗口是指在聚合通道特征矩陣上依次從左到右、從上到下按設(shè)定步長滑動檢測窗口，設(shè)定步長小于檢測窗口的長和寬，檢測窗口在聚合通道特征矩陣形成若干個與檢測窗口大小相同的矩形塊。
5.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述步驟4中已訓(xùn)練好的多個軟級聯(lián)分類器的訓(xùn)練過程如下:利用聚合通道特征和軟級聯(lián)分類器，對訓(xùn)練樣本集進行訓(xùn)練以得到多個軟級聯(lián)分類器； 訓(xùn)練樣本集包括:正樣本集和負樣本集，所述正樣本集包括不少于3000個包含行人且像素大小為64X32的圖像區(qū)域，所述負樣本集包括不少于10萬個不包含行人且像素大小為64X32的圖像區(qū)域； 所述多個軟級聯(lián)分類器的第一個軟級聯(lián)分類器使用了全部正樣本集和隨機抽取的數(shù)量與正樣本一樣的負樣本子集，之后的每一個軟級聯(lián)行人分類使用了全部正樣本集和相同數(shù)目的隨機抽取的負樣本子集，但是能被已經(jīng)訓(xùn)練出的軟級聯(lián)分類器的組合正確分類的負樣本被排除在抽樣范圍之外，直到所有的負樣本都能被所訓(xùn)練出的軟級聯(lián)分類器正確分類，則結(jié)束訓(xùn)練。
6.根據(jù)權(quán)利要求1所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述步驟5中的分類得分由以下公式計算:
7.根據(jù)權(quán)利要求5所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述多個軟級聯(lián)分類器的個數(shù)是訓(xùn)練時自動確定的，無需事先指定。
8.根據(jù)權(quán)利要求6所述的使用聚合通道特征和軟級聯(lián)分類器的行人檢測方法，其特征在于，所述多個軟級聯(lián)分類器具有相同的復(fù)雜度，相互之間是完全平等，沒有使用的先后順序。
9.根據(jù)權(quán)利要求6所述的使用聚合通道特征和多個軟級聯(lián)分類器的行人檢測方法，其特征在于，所述多個軟級聯(lián)分類器對檢測塊的判斷采用了級聯(lián)方式，即，如果某個分類器給出一個檢測塊無行人的判斷，則不再使用其他分類器，從而放棄該塊進行下一個檢測塊的判斷。
【文檔編號】G06K9/00GK103886308SQ201410150661
【公開日】2014年6月25日 申請日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】鄒北驥, 傅紅普, 王磊, 粱毅雄, 陳再良, 朱承璋, 劉晴, 乃科 申請人:中南大學(xué)