一種人車分類方法及裝置制造方法
【專利摘要】本申請公開了一種人車分類方法及裝置，其過程為：讀取訓練樣本集；計算訓練樣本集的類內差異性和類間差異性，計算差異性比值，差異性比值為類內差異性和類間差異性的比值；將差異性比值與預設閾值進行比較，根據比較的結果確定深度卷積神經網絡的卷積層數；初始化深度卷積神經網絡；結合卷積層數對初始化后的深度卷積神經網絡進行訓練，得到深度卷積神經網絡模型；對輸入的待測試圖像，利用深度卷積神經網絡模型進行分類。本方法避免了傳統(tǒng)方式直接設置錯誤的卷積層數從而導致方法的實現在速度與精度方面出現不適當的偏重的問題，能更好的滿足速度與精度的平衡。
【專利說明】一種人車分類方法及裝置

【技術領域】
[0001] 本申請涉及一種人車分類方法及裝置。

【背景技術】
[0002] 隨著我國經濟的發(fā)展，城市化水平進一步提高。智慧城市已經成為城市現代化發(fā) 展的重要方向。視頻監(jiān)控系統(tǒng)作為智慧城市的重要組成部分，也正朝著智能化和網絡化方 向發(fā)展。在智能視頻監(jiān)控中，行人和車輛的分類是公安圖像偵查和交通狀態(tài)分析的前期處 理過程的重要問題。因此，基于圖像處理和機器學習的人車分類方法是智能視頻監(jiān)控的關 鍵技術，已成為國內外相關領域的研究熱點。
[0003] 人車分類系統(tǒng)的傳統(tǒng)流程包括圖像獲取、特征提取、分類器判別三個步驟。在特征 提取方面，HOG算子、LBP算子、SIFT等方法用于對圖像的特征進行提取。但是，每一種特 征算子都有自己的應用范圍，沒有一種算法可以同時處理智能監(jiān)控視頻中的光照、外觀和 尺寸大幅變化的問題；SVM、神經網絡、貝葉斯分類器等理論在圖像分類領域廣泛應用。其 中，對于小樣本、類內差異比較小的圖像樣本集，使用SVM能夠取得比較好的效果，但是，對 于監(jiān)控視頻中的人車這樣的類內差異大、數據量多的圖像樣本集，SVM并不能取得很好的效 果。監(jiān)控視頻中行人和車輛本身具有復雜性和多變性，不同的時間段同一個攝像頭獲得的 行人和車輛的圖像可能會千差萬別，在不同路段獲得的行人和車輛，也會存在很大差異，因 此采用傳統(tǒng)的分類器方法難以達到較高的分類正確率。那么為了準確地判斷某一圖像樣本 所屬類別，需要對大量樣本進行學習，以提高系統(tǒng)的正確識別率。近兩年，基于深度學習的 圖像樣本分類技術，在對大樣本的數據集的處理上取得了巨大成功。人車分類數據集也是 一個較為龐大的數據集，基于深度學習的理論和方法有望獲得令人滿意的效果。同時，由于 監(jiān)控視頻中物體的多樣性，在不同的需求下，需要按照不同的類別進行分類，這就要求用于 人車分類的系統(tǒng)能夠有較好的拓展性，能夠在不同的場合下，根據實際情況對類別的個數 進行拓展。
[0004] 因此，如何設計出一種能夠基于訓練樣本集的復雜程度和任務的要求實現自適應 拓展的基于深度卷積神經網絡的人車分類方法，成為新的研究方向。傳統(tǒng)方式直接拓展卷 積層數，可能拓展出不合適的層數從而導致方法的實現在速度與精度方面出現不適當的偏 重的問題，即傳統(tǒng)方式有可能在精度要求高的情況下拓展的層數太少從而影響精度，或者 在精度要求不高的情況下拓展的層數太多從而影響速度。


【發(fā)明內容】

[0005] 本申請?zhí)峁┝艘环N人車分類方法，能避免傳統(tǒng)方式直接拓展錯誤的層數從而導致 方法的實現在速度與精度方面出現不適當的偏重的問題，本方法包括訓練過程和分類過 程。
[0006] 訓練過程包括：
[0007] 讀取訓練樣本集；
[0008] 計算訓練樣本集的類內差異性和類間差異性，計算差異性比值，差異性比值為類 內差異性和類間差異性的比值；
[0009] 將差異性比值與預設閾值進行比較，根據比較的結果確定深度卷積神經網絡的卷 積層數；
[0010] 初始化深度卷積神經網絡；
[0011] 結合卷積層數對初始化后的深度卷積神經網絡進行訓練，得到深度卷積神經網絡 模型，具體為：將訓練樣本轉換為灰度圖像，對轉換為灰度圖像后的訓練樣本進行N次卷積 運算，N為卷積層數，每次卷積運算的過程為：使用當前卷積運算的卷積模板對輸入圖像進 行卷積，形成當前卷積運算的卷積后細節(jié)特征圖，輸入圖像為前一次卷積運算的輸出，第一 次卷積運算的輸入圖像為灰度圖像；對當前卷積運算的卷積后細節(jié)特征圖，使用當前卷積 運算的池化（Pooling)層進行降采樣，形成當前卷積運算的降采樣后細節(jié)特征圖并輸出； 以最后一次卷積運算所得的降采樣后細節(jié)特征圖作為輸入，2個基點作為輸出層形成全連 接網絡層；在全連接網絡層的輸出層輸出計算結果；
[0012] 分類過程包括：對輸入的待測試圖像，利用深度卷積神經網絡模型進行分類。
[0013] 本申請還提供了一種人車分類裝置，包括訓練模塊和分類模塊。
[0014] 其中，訓練模塊用于讀取訓練樣本集，計算訓練樣本集的類內差異性和類間差異 性，計算差異性比值，差異性比值為類內差異性和類間差異性的比值；將差異性比值與預設 閾值進行比較，根據比較的結果確定深度卷積神經網絡的卷積層數；初始化深度卷積神經 網絡；結合卷積層數對初始化后的深度卷積神經網絡進行訓練，得到深度卷積神經網絡模 型；
[0015] 分類模塊用于對輸入的待測試圖像，利用所述深度卷積神經網絡模型進行分類。
[0016] 本申請的有益效果是，通過比較訓練樣本集的差異性比值和閾值，自適應拓展深 度卷積神經網絡的卷積層數，用這種方式拓展所得的卷積層數和傳統(tǒng)方式直接拓展的卷積 層數相比，避免了傳統(tǒng)方式直接拓展出不合適的層數從而導致方法的實現在速度與精度方 面出現不適當的偏重的問題，即避免了傳統(tǒng)方式在精度要求高的情況下拓展的層數太少從 而影響精度，或者在精度要求不高的情況下拓展的層數太多從而影響速度，本申請的方法 能更好的滿足速度與精度的平衡。

【專利附圖】

【附圖說明】
[0017] 圖1為本發(fā)明實施例1的訓練過程的流程圖；
[0018] 圖2為本發(fā)明實施例1的訓練過程中步驟①至④的示意圖；
[0019] 圖3為本發(fā)明實施例1的訓練過程中步驟⑤至⑩的示意圖；
[0020] 圖4為本發(fā)明實施例1的分類過程的流程圖；
[0021] 圖5為本發(fā)明實施例1的分類過程中步驟①至⑩的示意圖；
[0022] 圖6為本發(fā)明實施例3的訓練過程的流程圖；
[0023] 圖7為本發(fā)明實施例3的分類過程的流程圖。

【具體實施方式】
[0024] 下面通過【具體實施方式】結合附圖對本發(fā)明作進一步詳細說明。
[0025] 實施例一：
[0026] 基于深度卷積神經網絡的人車分類方法的一個很重要的方面就是神經網絡層數 的拓展，如果卷積層數拓展得太多，則運行人車分類方法的速度就會變慢，影響工作效率； 如果卷積層數拓展得太少，則計算精度就會降低，影響工作質量。在實際的應用中，卷積層 數通常拓展為3、4或者5層。卷積層數的增加通常有利于精度的提高，但是卻會減慢運行 速度。如何權衡速度與精度，對方法的實現具有重大影響，實際工作中傳統(tǒng)方式對層數的拓 展可能并不是最合適的選擇，比如，在層數拓展為5層為最優(yōu)的情況下卻拓展為3層，從而 影響到精度；在層數拓展為3層為最優(yōu)的情況下卻拓展為5層，從而影響到速度；在層數拓 展為4層為最優(yōu)的情況下卻拓展為3層或5層，從而影響到精度與速度的平衡。
[0027] 本實施例的人車分類方法分為兩個過程：訓練過程（1)和分類過程（2)，以下是每 個過程的詳細步驟。
[0028] 如圖1所示為訓練過程⑴的流程圖，以下內容詳細描述了訓練過程的具體步驟 (a)?（g)。
[0029] (a)離線讀取訓練樣本集，訓練樣本集包含多幅圖像樣本；
[0030] (b)對訓練樣本集的圖像樣本進行預處理，經過預處理后的圖像樣本為訓練樣本； 圖像樣本一般會受到光照環(huán)境、成像條件的影響，預處理可以在縮小類別內部差異性的同 時避免放大噪聲，使得訓練的深度卷積神經網絡具有較好的環(huán)境適應性，預處理具體步驟 ⑷?（G)如下：
[0031] ⑷將訓練樣本集的每一幅圖像樣本都轉換成灰度圖像,并縮放到同一尺寸；
[0032] (B)用網格將縮放后的每一幅圖像樣本都平分成mlXml個子圖像塊U1，子圖像塊 Ul為用網格將縮放后的每一幅圖像樣本按ml Xml方式進行平分后得到的子圖像塊；
[0033] (C)分別統(tǒng)計各個子圖像塊Ul的灰度值概率分布函數pi (r)，其中r為灰度值；
[0034] (D)對各個子圖像塊Ul的pi (r)進行調整從而得到調整后的灰度值概率分布函數 p2 (r)，即將pi (r)大于pO的部分設置為等于p0,并進行歸一化處理，對pi (r)小于pO的部 分只進行歸一化處理，具體公式如下：

【權利要求】
1. 一種人車分類方法，其特征在于，包括訓練過程和分類過程： 所述訓練過程包括： 讀取訓練樣本集； 計算訓練樣本集的類內差異性和類間差異性，計算差異性比值，所述差異性比值為類 內差異性和類間差異性的比值； 將所述差異性比值與預設閾值進行比較，根據比較的結果確定所述深度卷積神經網絡 的卷積層數； 初始化深度卷積神經網絡； 結合所述卷積層數對初始化后的深度卷積神經網絡進行訓練，得到深度卷積神經網絡 模型； 所述分類過程包括： 對輸入的待測試圖像，利用所述深度卷積神經網絡模型進行分類。
2. 如權利要求1所述的方法，其特征在于，所述訓練過程還包括在計算訓練樣本集的 類內差異性和類間差異性之前，對訓練樣本集進行圖像預處理；所述分類過程還包括在利 用所述深度卷積神經網絡模型進行分類之前，對輸入的待測試圖像進行圖像預處理。
3. 如權利要求2所述的方法，其特征在于，所述圖像預處理步驟包括： 將訓練樣本集的每一幅圖像樣本進行灰度轉換，將轉換后的灰度圖像進行縮放，得到 統(tǒng)一尺寸的灰度圖像； 用網格將所述統(tǒng)一尺寸的灰度圖像都劃分成mlXml個子圖像塊Ul，ml為正整數； 分別統(tǒng)計各個子圖像塊Ul的灰度值概率分布函數； 對各個子圖像塊Ul的灰度值概率分布函數按如下公式進行歸一化調整：
其中，P(O)為預設概率閾值，pl(r)為調整前的灰度值概率分布函數，p2(r)為調整后 的灰度值概率分布函數，a是歸一化系數，r為灰度值； 用網格將所述統(tǒng)一尺寸的灰度圖像都劃分成m2Xm2個子圖像塊U2,其中，m2為正整數 且m2大于ml; 按如下公式計算每個子圖像塊U2的像素點共享灰度值概率分布函數：
其中，p3(r)為像素點共享灰度值概率分布函數，η為與當前子圖像塊U2發(fā)生重疊的 子圖像塊Ul的個數，h為與當前子圖像塊U2發(fā)生重疊的η個子圖像塊Ul中的第i個子圖 像塊Ul的重疊率，i為正整數且i<n，p2i(r)為η個子圖像塊Ul中的第i個子圖像塊Ul 的調整后的灰度值概率分布函數p2(r); 對于每個子圖像塊U2,利用灰度值映射函數對所述轉換后的灰度圖像的灰度值進行自 適應調整，得到調整后的圖像樣本的灰度值，所述自適應調整的公式如下：
其中，f(rl)為灰度值映射函數,rl為所述轉換后的灰度圖像的灰度值,r2為調整后的 圖像樣本的灰度值。
4. 如權利要求1至3任一項所述的方法，其特征在于，所述預設閾值包括第一閾值和大 于所述第一閾值的第二閾值，根據所述差異性比值與預設閾值的比較結果確定所述深度卷 積神經網絡的卷積層數的步驟包括 ： 若所述差異性比值大于或等于第二閾值，則所述卷積層數為一號層數； 若所述差異性比值大于或等于第一閾值且小于第二閾值，則所述卷積層數為二號層 數； 若所述差異性比值小于第一閾值，則所述卷積層數為三號層數； 其中，所述一號層數大于所述二號層數，所述二號層數大于所述三號層數。
5. 如權利要求4所述的方法，其特征在于，所述類內差異性和類間差異性的計算過程 為
其中，si為類內差異性，η是訓練樣本的類別總數，m表示各個類別的訓練樣本的數量，A表示第k個類別的灰度均值，Xkh表示第k個類別中第h個訓練樣本的灰度值；s2為類間 差異性，巧表示第i個類別的灰度均值，A表示第j個類別的灰度均值。
6. 如權利要求5所述的方法，其特征在于，所述結合所述卷積層數對初始化后的深度 卷積神經網絡進行訓練的步驟包括： 將訓練樣本轉換為灰度圖像，對轉換為灰度圖像后的訓練樣本進行N次卷積運算，N為 所述卷積層數，每次所述卷積運算的過程為：使用當前卷積運算的卷積模板對輸入圖像進 行卷積，形成當前卷積運算的卷積后細節(jié)特征圖，所述輸入圖像為前一次卷積運算的輸出， 第一次卷積運算的輸入圖像為所述灰度圖像；對當前卷積運算的卷積后細節(jié)特征圖，使用 當前卷積運算的池化層進行降采樣，形成當前卷積運算的降采樣后細節(jié)特征圖并輸出； 以最后一次卷積運算所得的降采樣后細節(jié)特征圖作為輸入，2個基點作為輸出層形成 全連接網絡層； 在所述全連接網絡層的輸出層輸出計算結果。
7. 如權利要求5所述的方法，其特征在于，所述結合所述卷積層數對初始化后的深度 卷積神經網絡進行訓練為：使用誤差反向傳播算法對初始化后的深度卷積神經網絡進行訓 練。
8. -種人車分類裝置，其特征在于，包括： 訓練模塊，所述訓練模塊 用于讀取訓練樣本集， 計算訓練樣本集的類內差異性和類間差異性，計算差異性比值，所述差異性比值為類 內差異性和類間差異性的比值， 將所述差異性比值與預設閾值進行比較，根據比較的結果確定所述深度卷積神經網絡 的卷積層數， 初始化深度卷積神經網絡， 結合所述卷積層數對初始化后的深度卷積神經網絡進行訓練，得到深度卷積神經網絡 模型； 分類模塊，所述分類模塊用于對輸入的待測試圖像，利用所述深度卷積神經網絡模型 進行分類。
9. 如權利要求8所述的裝置，其特征在于，所述訓練模塊還用于在計算訓練樣本集的 類內差異性和類間差異性之前，對訓練樣本集進行圖像預處理；所述分類模塊還用于在利 用所述深度卷積神經網絡模型進行分類之前，對輸入的待測試圖像進行圖像預處理。
10. 如權利要求8所述的裝置，其特征在于，所述預設閾值包括第一閾值和大于所述第 一閾值的第二閾值，所述根據比較的結果確定所述深度卷積神經網絡的卷積層數包括： 若所述差異性比值大于或等于第二閾值，則所述卷積層數為一號層數； 若所述差異性比值大于或等于第一閾值且小于第二閾值，則所述卷積層數為二號層 數； 若所述差異性比值小于第一閾值，則所述卷積層數為三號層數； 其中，所述一號層數大于所述二號層數，所述二號層數大于所述三號層數。
【文檔編號】G06K9/62GK104463194SQ201410614063
【公開日】2015年3月25日 申請日期:2014年11月4日 優(yōu)先權日:2014年11月4日
【發(fā)明者】劉凱, 吳偉華 申請人:深圳市華尊科技有限公司