本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于機(jī)器視覺的負(fù)樣本采集方法。

背景技術(shù)：

目前，在用機(jī)器學(xué)習(xí)算法進(jìn)行目標(biāo)分類時，需要用到大量圖像樣本來訓(xùn)練分類器，如深度學(xué)習(xí)算法對圖像樣本的需求量一般以萬張為單位。圖像樣本大多數(shù)都是通過攝像頭采集的，如：車載攝像頭或行車記錄儀等。為了獲得更優(yōu)的算法魯棒性，機(jī)器學(xué)習(xí)算法對負(fù)樣本的需求量則更大，如：在訓(xùn)練cascade分類器時，默認(rèn)情況下，正負(fù)樣本量之比在1:3到1:5之間。

相對于正樣本來說，負(fù)樣本是非常難以采集的，尤其特定應(yīng)用場景的負(fù)樣本。如果用理想的背景圖像作為負(fù)樣本，則更難辦到，因為或多或少存在著待檢測目標(biāo)的干擾。

在一張視頻圖像中，目標(biāo)前景在其中所占的比例通常非常小，而非目標(biāo)區(qū)域則占據(jù)著非常大的圖像區(qū)域。并且，在用車載攝像頭進(jìn)行樣本采集時，目標(biāo)前景在連續(xù)幾幀、十幾幀甚至幾十幀的情況下，狀態(tài)改變非常小，而非目標(biāo)區(qū)域相對于目標(biāo)前景而言，則變化要快很多。所以，將圖片中的非目標(biāo)區(qū)域裁剪出來作為負(fù)樣本，則既可滿足負(fù)樣本的復(fù)雜性、多樣性和與應(yīng)用場景一致性要求，也容易實現(xiàn)，同時可提高視頻樣本的使用率。

現(xiàn)在，對負(fù)樣本的收集，主要是通過樣本公開庫、人工裁剪和基于深度學(xué)習(xí)等方式。

網(wǎng)絡(luò)上提供的免費樣本公開庫一般提供的樣本量是非常有限的，而且有的公開庫直接提供未標(biāo)注和未裁剪的原始視頻，根本無法滿足分類器訓(xùn)練的需求。

人工裁剪一般都是通過眾包的方式或科研企事業(yè)單位自己通過攝像頭進(jìn)行日復(fù)一日的采集，然后通過人工標(biāo)注和裁剪來獲取訓(xùn)練樣本。人工進(jìn)行樣本收集的工作量非常大，效率非常低，很耗時。由于人完全參與，導(dǎo)致最終的負(fù)樣本很隨意，什么場景的都有，很可能給機(jī)器學(xué)習(xí)系統(tǒng)引入人為誤差。

基于深度學(xué)習(xí)進(jìn)行樣本裁剪，主要是先基于深度學(xué)習(xí)網(wǎng)絡(luò)對樣本進(jìn)行自動化裁剪，然后基于裁剪結(jié)果進(jìn)行人工篩選。雖然一定程度上減少了人的參與，但是一方面，這種方式主要是用于正樣本采集；另一方面，眾所周知，深度學(xué)習(xí)對硬件的要求非常高，且計算量非常大，對硬件的計算能力和存儲能力等有一定的要求，從而會增加前期成本的投入。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種基于機(jī)器視覺的負(fù)樣本采集方法，旨在解決現(xiàn)有技術(shù)中的缺陷，實現(xiàn)在保證負(fù)樣本與應(yīng)用場景一致，數(shù)量上滿足分類器訓(xùn)練需求的情況下，降低人工成本。

為達(dá)到上述目的，本發(fā)明所采取的技術(shù)方案為：

本發(fā)明提供一種基于機(jī)器視覺的負(fù)樣本采集方法，包括：

訓(xùn)練分類器的步驟：利用樣本公開庫中的樣本訓(xùn)練分類器；

讀取視頻幀圖像的步驟：每間隔預(yù)設(shè)幀f讀取一次視頻幀圖像；

設(shè)置roi的步驟：在視頻幀圖像中設(shè)置合適的roi；

獲取目標(biāo)矩形框位置的步驟：用所述訓(xùn)練后的分類器對所述視頻幀圖像進(jìn)行目標(biāo)檢測，并用目標(biāo)矩形框進(jìn)行標(biāo)識，同時記錄所述目標(biāo)矩形框位置ri；

獲取裁剪矩形框位置的步驟：在該視頻幀圖像上，利用預(yù)設(shè)大小的滑行窗口獲取候選負(fù)樣本圖像塊的裁剪矩形框位置rect；

計算重疊面積的步驟：將所述裁剪矩形框位置rect依次與所述目標(biāo)矩形框位置ri兩兩之間進(jìn)行重疊檢測，并計算重疊面積slap；

計算重疊面積比的步驟；

選擇裁剪矩形框的步驟：將所述重疊面積比sr與預(yù)設(shè)閾值st進(jìn)行比較，若所述重疊面積比sr大于所述預(yù)設(shè)閾值st，則舍棄該裁剪矩形框；否則保留裁剪矩形框，并返回計算重疊面積的步驟；

裁剪負(fù)樣本的步驟：根據(jù)所述裁剪矩形框位置，在該幀圖片上進(jìn)行裁剪，作為負(fù)樣本。

進(jìn)一步地，所述基于機(jī)器視覺的負(fù)樣本采集方法，還包括：

篩選負(fù)樣本的步驟：當(dāng)全部視頻序列處理完畢后，對最后裁剪得到的負(fù)樣本進(jìn)行人工篩選，剔除掉不合格的負(fù)樣本。

具體地，所述預(yù)設(shè)幀f為15～20幀。

具體地，所述滑行窗口的像素為130*130。

具體地，所述閾值范圍st＝0.3～0.5。

具體地，所述閾值范圍st＝0.4。

具體地，所述計算重疊面積slap包括如下步驟：

獲取兩矩形的左上角行坐標(biāo)y1、y2，以及列坐標(biāo)x1、x2，兩矩形的寬w1、w2以及兩矩形的高h(yuǎn)1、h2；

確定最小的起始列start_col和最大的終止列end_col、最小的起始行start_row和最大的終止行end_row；

判斷兩矩形在行列方向上是否發(fā)生重疊，是則進(jìn)入下一步；

計算其重疊面積slap。

具體地，所述判斷兩矩形在行列方向上是否發(fā)生重疊包括：

若w＝w1+w2-(end_col-start_col)>0則表示兩矩形在列方向發(fā)生了重疊，否則表示沒有發(fā)生重疊；

若h＝h1+h2-(end_row-start_row)>0則表示兩矩形在行方向發(fā)生了重疊，否則表示沒有發(fā)生重疊。

具體地，所述重疊面積slap＝h*w。

本發(fā)明的有益效果在于：本發(fā)明通過傳統(tǒng)機(jī)器學(xué)習(xí)算法，利用網(wǎng)絡(luò)上樣本公開庫提供的樣本就可實現(xiàn)負(fù)樣本的自動裁剪，節(jié)約了硬件、人力和時間等前期成本。而且，對于一幀視頻圖像裁剪多個樣本(包括正負(fù)樣本)，有利于提高視頻樣本的利用率，從而降低了單位成本；再者，裁剪到的負(fù)樣本與正樣本來自同一應(yīng)用場景，有利于提高分類器的泛化能力。

附圖說明

圖1是本發(fā)明的基于機(jī)器視覺的負(fù)樣本采集方法的流程示意圖。

具體實施方式

下面結(jié)合附圖具體闡明本發(fā)明的實施方式，附圖僅供參考和說明使用，不構(gòu)成對本發(fā)明專利保護(hù)范圍的限制。

請參看圖1，本發(fā)明的實施例提供一種基于機(jī)器視覺的負(fù)樣本采集方法，包括：

第1步、訓(xùn)練分類器的步驟：利用樣本公開庫中的樣本訓(xùn)練分類器。

例如，在車輛檢測中，可用kitti、inriacardataset、mitcardataset、uiucimagedatabaseforcardetection、imagenet等樣本公開庫中的樣本訓(xùn)練hog+svm或haar+cascade等檢測系統(tǒng)。

第2步、讀取視頻幀圖像的步驟：每間隔預(yù)設(shè)幀f讀取一次視頻幀圖像。

例如，所述預(yù)設(shè)幀f為15～20幀。

由于實際情況下，在一組視頻序列中，由于攝像頭幀率與目標(biāo)移動速度之間存在差異，導(dǎo)致非目標(biāo)區(qū)域可能在連續(xù)十幾幀或幾十幀中狀態(tài)的改變非常小，所以為了避免重復(fù)裁剪同一區(qū)域，加快自動化裁剪速度，減少后面人工篩選的工作量，可以每隔若干幀讀取一次視頻幀圖像。

第3步、設(shè)置roi的步驟：在視頻幀圖像中設(shè)置合適的roi。

roi是regionofinterest的縮寫，意為“感興趣區(qū)域”。在機(jī)器視覺、圖像處理中，rio是從被處理的圖像中以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出需要處理的區(qū)域。

所述roi是通過下采樣(對圖像進(jìn)行縮小)或人為設(shè)定的方式來進(jìn)行。例如：對于存在畸變的圖像，則取中間區(qū)域部分作為roi。

第4步、獲取目標(biāo)矩形框位置的步驟：用第1步中訓(xùn)練后的分類器對所述視頻幀圖像進(jìn)行目標(biāo)檢測，并用目標(biāo)矩形框進(jìn)行標(biāo)識，同時記錄所述目標(biāo)矩形框位置ri。

在本步驟中，所述目標(biāo)可能不止一個。

第5步、獲取裁剪矩形框位置的步驟：在該視頻幀圖像上，利用預(yù)設(shè)大小的滑行窗口獲取候選負(fù)樣本圖像塊的裁剪矩形框位置rect。

例如，所述滑行窗口的像素為130*130。

第6步、計算重疊面積的步驟：將所述裁剪矩形框位置rect依次與第4步中的目標(biāo)矩形框位置ri兩兩之間進(jìn)行重疊檢測，并計算重疊面積slap。

在本實施例中，所述計算重疊面積slap包括如下步驟：

首先，假設(shè)兩個矩形為rect_1(x1,y1,w1,h1)、rect_2(x2,y2,w2,h2)，其中，x1、x2分別對應(yīng)兩矩形左上角坐標(biāo)的列，y1、y2分別對應(yīng)兩矩形左上角坐標(biāo)的行，w1、w2分別對應(yīng)兩矩形的寬，h1、h2則分別對應(yīng)兩矩形的高。

第601步、獲取兩矩形的左上角行坐標(biāo)y1、y2，以及列坐標(biāo)x1、x2，兩矩形的寬w1、w2以及兩矩形的高h(yuǎn)1、h2。

第602步、確定最小的起始列start_col和最大的終止列end_col、最小的起始行start_row和最大的終止行end_row。

具體地，start_col＝min(x1,x2)，end_col＝max(x1+w1,x2+w2)；

start_row＝min(y1,y2)，end_row＝max(y1+h1,y2+h2)。

其中，min(x,y)表示取兩者中的較小者，max(x,y)表示取兩者中的較大者。

第603步、判斷兩矩形在行列方向上是否發(fā)生重疊，是則進(jìn)入下一步。

在本實施例中，所述判斷兩矩形在行列方向上是否發(fā)生重疊包括：

若w＝w1+w2-(end_col-start_col)>0則表示兩矩形在列方向發(fā)生了重疊，否則表示沒有發(fā)生重疊；

若h＝h1+h2-(end_row-start_row)>0則表示兩矩形在行方向發(fā)生了重疊，否則表示沒有發(fā)生重疊。

第604步、計算其重疊面積slap。

在本實施例中，所述重疊面積slap＝h*w。

第7步、計算重疊面積比的步驟。

具體地，所述重疊面積比sr＝slap/{min[area(rect),area(ri)]}，其中，min[area(rect),area(ri)]表示area(rect)與area(ri)中的較小者。

第8步、選擇裁剪矩形框的步驟：將所述重疊面積比sr與預(yù)設(shè)閾值st進(jìn)行比較，若所述重疊面積比sr大于所述預(yù)設(shè)閾值st，則舍棄該裁剪矩形框；否則保留裁剪矩形框，并返回第6步。

具體地，所述閾值范圍st＝0.3～0.5，在本例中，st＝0.4。

第9步、裁剪負(fù)樣本的步驟：根據(jù)第8步中得到的裁剪矩形框位置，在該幀圖片上進(jìn)行裁剪，作為負(fù)樣本。

第10步、篩選負(fù)樣本的步驟：當(dāng)全部視頻序列處理完畢后，對最后裁剪得到的負(fù)樣本進(jìn)行人工篩選，剔除掉不合格的負(fù)樣本。

由于第1步中訓(xùn)練出的分類器存在一定的檢測誤差，會導(dǎo)致裁剪出來的少量負(fù)樣本圖像中存在檢測目標(biāo)的情況，這些負(fù)樣本是不合格的，需要剔除掉。

以上所揭露的僅為本發(fā)明的較佳實施例，不能以此來限定本發(fā)明的權(quán)利保護(hù)范圍，因此依本發(fā)明申請專利范圍所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。