本發(fā)明涉及檢測技術領域，具體涉及一種建立檢測模型、檢測接打手機行為的方法和裝置。

背景技術：

智能交通系統(tǒng)是未來交通系統(tǒng)的發(fā)展方向，也是目前世界交通運輸領域的前沿研究課題。隨著計算機視覺技術、嵌入式技術、網(wǎng)絡通信技術的發(fā)展，研究車輛違章行為自動檢測系統(tǒng)已經(jīng)成為當前智能交通中的一個研究熱點。作為保障司機安全駕駛和降低交通事故中死傷率的一項重要措施，而隨著現(xiàn)代通信技術的發(fā)展，駕駛員在行駛過程中打手機的行為越來越成為交通事故的重大誘因，每年因駕駛員打手機造成的交通死亡率的升高令人痛惜，因此交管部門嚴格要求汽車司機在行駛過程中禁用手機。但是智能交通系統(tǒng)還無法自動檢測到駕駛員在行車過程中是否具有打手機的行為，這使得智能交通系統(tǒng)隱藏著巨大的安全隱患。

因此，如何自動檢測駕駛員在行車過程中是否有打手機行為，成為一個亟待解決的技術問題。

技術實現(xiàn)要素：

因此，本發(fā)明要解決的技術問題在于現(xiàn)有技術中無法自動檢測駕駛員在行車過程中是否有打手機行為，使得交通系統(tǒng)存在安全隱患。

從而提供一種建立檢測模型、檢測接打手機行為的方法和裝置。

有鑒于此，本發(fā)明實施例的第一方面提供了一種建立人臉和手部檢測模型的方法，包括：對樣本圖像中用戶未接打手機時的第一人臉信息、第一手部信息和用戶接打手機時的第二人臉信息、第二手部信息進行標注，生成標注后的訓練樣本，所述第一、二人臉信息分別包括人臉特征和人臉位置信息，所述第一、二手部信息包括手部特征和手部位置信息；采用五層卷積分別提取所述訓練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接；將所述特征圖輸入卷積神經(jīng)網(wǎng)絡進行訓練，得到人臉和手部檢測模型。

優(yōu)選地，所述將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接包括：將所述第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的所述第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行全連接。

本發(fā)明實施例的第二方面提供了一種檢測接打手機行為的方法，包括：獲取目標圖像；將所述目標圖像輸入采用本發(fā)明實施例的第一方面或第一方面任一優(yōu)選方案所述的建立人臉和手部檢測模型的方法建立的人臉和手部檢測模型進行檢測；根據(jù)所述人臉和手部檢測模型的輸出結果確定所述目標圖像中是否存在打手機行為。

優(yōu)選地，所述根據(jù)所述人臉和手部檢測模型的輸出結果確定所述目標圖像中是否存在打手機行為包括：在所述輸出結果為目標圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷所述人臉區(qū)域與所述手部區(qū)域是否存在交集區(qū)域；在所述人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域時，判斷所述交集區(qū)域是否達到預設交集閾值；在判定所述交集區(qū)域達到所述預設交集閾值時，確定所述目標圖像中存在打手機行為。

優(yōu)選地，獲取所述預設交集閾值的步驟包括：統(tǒng)計歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析所述交集區(qū)域樣本中交集區(qū)域的最小值；將所述最小值作為所述預設交集閾值。

本發(fā)明實施例的第三方面提供了一種建立人臉和手部檢測模型的裝置，包括：標注模塊，用于對樣本圖像中用戶未接打手機時的第一人臉信息、第一手部信息和用戶接打手機時的第二人臉信息、第二手部信息進行標注，生成標注后的訓練樣本，所述第一、二人臉信息分別包括人臉特征和人臉位置信息，所述第一、二手部信息包括手部特征和手部位置信息；提取模塊，用于采用五層卷積分別提取所述訓練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接；訓練模塊，用于將所述特征圖輸入卷積神經(jīng)網(wǎng)絡進行訓練，得到人臉和手部檢測模型。

優(yōu)選地，所述提取模塊包括：歸一化單元，用于將所述第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行歸一化處理；全連接單元，用于將經(jīng)過行歸一化處理的所述第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行全連接。

本發(fā)明實施例的第四方面提供了一種檢測接打手機行為的裝置包括：獲取模塊，用于獲取目標圖像；檢測模塊，用于將所述目標圖像輸入采用本發(fā)明實施例的第一方面或第一方面任一優(yōu)選方案所述的建立人臉和手部檢測模型的方法建立的人臉和手部檢測模型進行檢測；確定模塊，用于根據(jù)所述人臉和手部檢測模型的輸出結果確定所述目標圖像中是否存在打手機行為。

優(yōu)選地，所述確定模塊包括：第一判斷單元，用于在所述輸出結果為目標圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷所述人臉區(qū)域與所述手部區(qū)域是否存在交集區(qū)域；第二判斷單元，用于在所述人臉區(qū)域與所述手部區(qū)域存在交集區(qū)域時，判斷所述交集區(qū)域是否達到預設交集閾值；確定單元，用于在判定所述交集區(qū)域達到所述預設交集閾值時，確定所述目標圖像中存在打手機行為。

優(yōu)選地，獲取所述預設交集閾值的步驟包括：統(tǒng)計歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析所述交集區(qū)域樣本中交集區(qū)域的最小值；將所述最小值作為所述預設交集閾值。

本發(fā)明的技術方案具有以下優(yōu)點：

1、本發(fā)明實施例提供的建立檢測模型、檢測接打手機行為的方法和裝置，通過將樣本圖像中用戶未接打電話時和接打電話時的人臉信息和手部信息進行標注生成訓練樣本對卷積神經(jīng)網(wǎng)絡進行訓練，獲得人臉和手部檢測模型，該模型可以檢測出目標圖像中是否同時存在人臉和手部，其中采用五層卷積進行特征提取，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接，既保證了特征圖的全局特性，也保證了特征圖的局部特性，使特征圖更加全面準確的表征訓練樣本的特征，提高了人臉和手部檢測模型的準確率。

2、采用該人臉和手部檢測模型對目標圖像進行檢測，可以準確地獲得目標人臉與目標手部是否同時存在，并判斷同時存在的人臉與手部是否有交集區(qū)域，根據(jù)存在的交集區(qū)域的大小確定用戶是否在接打手機，提高了接打手機行為檢測的準確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術中的技術方案，下面將對具體實施方式或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例1的建立人臉和手部檢測模型的方法的一個流程圖；

圖2為本發(fā)明實施例2的檢測接打手機行為的方法的一個流程圖；

圖3為本發(fā)明實施例3的建立人臉和手部檢測模型的裝置的一個框圖；

圖4為本發(fā)明實施例4的檢測接打手機行為的裝置的一個框圖。

具體實施方式

下面將結合附圖對本發(fā)明的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

在本發(fā)明的描述中，需要說明的是，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。

此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術特征只要彼此之間未構成沖突就可以相互結合。

實施例1

本實施例提供一種建立人臉和手部檢測模型的方法，可用于識別駕駛員是否在行車過程中有接打手機行為的相關模型建立，如圖1所示，包括如下步驟：

S11：對樣本圖像中用戶未接打手機時的第一人臉信息、第一手部信息和用戶接打手機時的第二人臉信息、第二手部信息進行標注，生成標注后的訓練樣本，第一、二人臉信息分別包括人臉特征和人臉位置信息，第一、二手部信息包括手部特征和手部位置信息。比如對于用戶為駕駛員，圖像可以采集駕駛艙內的歷史視頻流獲得，一般地，車內裝有攝像頭，由于將攝像頭安裝在車內的前擋風玻璃上，通過車內安裝的攝像頭對駕駛員座椅區(qū)域進行圖像采集，可以很清晰的拍攝到司機的行為，且不需其他電子器件輔助，不會影響到司機的正常行車。將圖像中駕駛員的人臉的大致位置從復雜的背景標注出來，即從圖像中找到駕駛員人臉的具體位置，對車窗區(qū)域內的駕駛員臉部區(qū)域位置信息和手部區(qū)域位置信息進行標注，并將人臉特征和人臉位置信息作為第一人臉信息、將手部特征和手部位置信息作為第一手部信息分別進行標注；同時，挑選正在打電話的圖像，并對其中駕駛員的手部區(qū)域和人臉區(qū)域進行標注，將手部特征和手部位置信息作為第二手部信息進行標注，將此情況下的人臉特征和人臉位置信息作為第二人臉信息進行標注，根據(jù)上述標注后的樣本圖像制作訓練樣本。

S12：采用五層卷積分別提取訓練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接。具體地，本實施例是基于卷積神經(jīng)網(wǎng)絡算法(convolutional neural network，簡稱CNN)來設計人臉和手部交集檢測模型的，優(yōu)選地，采用五層卷積層對訓練樣本進行特征圖提取。由于當完成第五層的特征圖提取之后，特征圖的尺寸偏小，以至于一些訓練樣本中的手部區(qū)域不完整，比如手部區(qū)域較小，那么手部區(qū)域信息在所有的特征圖中就會被弱化，致使檢測模型不能學習到該區(qū)域的有效信息，進而影響最終檢測結果的精確度。為了更好地提取圖像的全局特征和局部特征，本實施例將第三層、第四層、第五層卷積層的ROI(region of interest)池化特征圖進行全連接，以保證特征圖的全局特性和局部特性，使特征圖更加全面準確的表征訓練樣本的特征，從而提高人臉和手部交集檢測模型的準確率。

作為一種優(yōu)選方案，步驟S12可以包括：將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行歸一化處理；將經(jīng)過行歸一化處理的第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行全連接。具體地，鑒于各個ROI池化層輸出特征圖的大小不一致，為了計算結果的準確性，可以使用L2歸一化算法對各個層的池化特征圖進行尺寸歸一化，然后將經(jīng)過行歸一化處理的各個層對應的池化特征圖進行全連接，既保證了特征圖的全局特性，也保證了特征圖的局部特性，使特征圖更加全面準確的表征訓練樣本的特征，提高了人臉和手部交集檢測模型的準確率。

S13：將特征圖輸入卷積神經(jīng)網(wǎng)絡進行訓練，得到人臉和手部檢測模型。卷積神經(jīng)網(wǎng)絡利用深度學習框架，通過將步驟S12提取的訓練樣本的特征圖輸入至卷及神經(jīng)網(wǎng)絡進行訓練，以得到人臉和手部檢測模型，還可以從圖像中選擇相關的測試樣本對該模型進行測試優(yōu)化，進而提高該模型檢測準確率。

本實施例提供的建立人臉和手部檢測模型的方法，通過將樣本圖像中用戶未接打電話時和接打電話時的人臉信息和手部信息進行標注生成訓練樣本對卷積神經(jīng)網(wǎng)絡進行訓練，獲得人臉和手部檢測模型，該模型可以檢測出目標圖像中是否同時存在人臉和手部，其中采用五層卷積進行特征提取，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接，既保證了特征圖的全局特性，也保證了特征圖的局部特性，使特征圖更加全面準確的表征訓練樣本的特征，提高了人臉和手部檢測模型的準確率。

實施例2

本實施例提供一種檢測接打手機行為的方法，可用于識別駕駛員是否在行車過程中有接打手機行為，如圖2所示，包括如下步驟：

S21：獲取目標圖像。比如對于交通系統(tǒng)中對駕駛員的行為檢測過程，，目標圖像可以采集駕駛艙內的實時視頻流獲得，一般地，車內裝有攝像頭，由于將攝像頭安裝在車內的前擋風玻璃上，通過車內安裝的攝像頭對駕駛員座椅區(qū)域進行圖像采集，可以很清晰的拍攝到司機的行為，且不需其他電子器件輔助，不會影響到司機的正常行車。

S22：將目標圖像輸入采用實施例1的建立人臉和手部檢測模型的方法建立的人臉和手部檢測模型進行檢測。即要進行檢測之前，先建立人臉和手部檢測模型，模型的建立可以參見實施例1中的相關詳細描述，在此不再贅述。將目標圖像輸入預先建立的人臉和手部檢測模型進行檢測，以確定該目標圖像中駕駛員的目標人臉與目標手部是否同時存在，本實施例通過檢測目標人臉的位置信息與目標手部的位置信息是否有交集來確定目標人臉與目標手部是否有交集，檢測結果更加準確，數(shù)據(jù)計算簡單。

S23：根據(jù)人臉和手部檢測模型的輸出結果確定目標圖像中是否存在打手機行為。作為一種優(yōu)選方案，步驟S23可以包括：在輸出結果為目標圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷人臉區(qū)域與手部區(qū)域是否存在交集區(qū)域；在人臉區(qū)域與手部區(qū)域存在交集區(qū)域時，判斷交集區(qū)域是否達到預設交集閾值；在判定交集區(qū)域達到預設交集閾值時，確定目標圖像中存在打手機行為。具體地，在輸出結果為人臉區(qū)域與手部區(qū)域同時存在時，說明用戶可能在接打電話，也可能在做別的事情，然后進一步判斷該駕駛員的人臉區(qū)域和手部區(qū)域是否有交集區(qū)域，如果有，說明駕駛員在接打電話的可能性更大一點，則獲取交集區(qū)域，然后判斷交集區(qū)域是否達到預設交集閾值，如果人臉與手部沒有同時存在，說明該駕駛員沒有接打電話的行為，也就無需下一步的判斷，如此，不僅考慮了人臉與手部的位置關系，而且更進一步的考慮了兩者具有交集區(qū)域的大小，提高了接打手機行為檢測的準確度。此處預設交集閾值可以通過統(tǒng)計有接打手機行為的歷史圖像得到，具體地，可以選取有接打電話行為的人臉位置與手部位置的交集區(qū)域的最小值作為預設交集閾值，可以更加準確地確定存在交集區(qū)域的目標人臉與目標手部是否是在接打手機；如果判定交集區(qū)域達到預設交集閾值，說明檢測圖像中存在打手機行為，即用戶在接打手機，如果該用戶是駕駛員，那么就存在交通安全隱患，則可以根據(jù)實際情況對駕駛員發(fā)出提醒或警告，可以有效預防交通事故的發(fā)生，降低交通事故中的死亡率。

本實施例提供的檢測接打手機行為的方法，通過采用人臉和手部檢測模型對目標圖像進行檢測，以準確地獲得目標人臉與目標手部是否同時存在，如果同時存在，則進一步判斷兩者是否存在交集，在存在的交集區(qū)域達到預設交集閾值時，確定用戶在接打手機，提高了接打手機行為檢測的準確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

實施例3

本實施例供了一種建立人臉和手部檢測模型的裝置，可用于識別駕駛員是否在行車過程中有接打手機行為的相關模型建立，如圖3所示，包括：標注模塊31、提取模塊32和訓練模塊33，各模塊功能如下：

標注模塊31，用于對樣本圖像中用戶未接打手機時的第一人臉信息、第一手部信息和用戶接打手機時的第二人臉信息、第二手部信息進行標注，生成標注后的訓練樣本，第一、二人臉信息分別包括人臉特征和人臉位置信息，第一、二手部信息包括手部特征和手部位置信息，具體參見實施例1中對步驟S11的詳細描述。

提取模塊32，用于采用五層卷積分別提取訓練樣本的特征圖，其中，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接，具體參見實施例1中對步驟S12的詳細描述。

訓練模塊33，用于將特征圖輸入卷積神經(jīng)網(wǎng)絡進行訓練，得到人臉和手部檢測模型。具體參見實施例1中對步驟S13的詳細描述。

作為一種優(yōu)選方案，提取模塊32包括：歸一化單元331，用于將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行歸一化處理；全連接單元332，用于將經(jīng)過行歸一化處理的第三層卷積、第四層卷積和第五層卷積對應的池化特征圖進行全連接。具體參見實施例1中對步驟S13的優(yōu)選方的詳細描述。

本實施例提供的建立人臉和手部檢測模型的裝置，通過將樣本圖像中用戶未接打電話時和接打電話時的人臉信息和手部信息進行標注生成訓練樣本對卷積神經(jīng)網(wǎng)絡進行訓練，獲得人臉和手部檢測模型，該模型可以檢測出目標圖像中是否同時存在人臉和手部，其中采用五層卷積進行特征提取，將第三層卷積、第四層卷積和第五層卷積對應的池化特征圖全連接，既保證了特征圖的全局特性，也保證了特征圖的局部特性，使特征圖更加全面準確的表征訓練樣本的特征，提高了人臉和手部檢測模型的準確率。

實施例4

本實施例供了一種建立人臉和手部檢測模型的裝置，可用于識別駕駛員是否在行車過程中有接打手機行為，如圖4所示，包括：獲取模塊41、檢測模塊42和確定模塊43，各模塊功能如下：

獲取模塊41，用于獲取目標圖像，具體參見實施例2中對步驟S21的詳細描述。

檢測模塊42，用于將目標圖像輸入采用實施例1的建立人臉和手部檢測模型的方法建立的人臉和手部檢測模型進行檢測，具體參見實施例2中對步驟S22的詳細描述。

確定模塊43，用于根據(jù)人臉和手部檢測模型的輸出結果確定目標圖像中是否存在打手機行為。具體參見實施例2中對步驟S23的詳細描述。

作為一種優(yōu)選方案，確定模塊43包括：第一判斷單元431，用于在輸出結果為目標圖像中同時存在人臉區(qū)域與手部區(qū)域時，判斷人臉區(qū)域與手部區(qū)域是否存在交集區(qū)域；第二判斷單元432，用于在人臉區(qū)域與手部區(qū)域存在交集區(qū)域時，判斷交集區(qū)域是否達到預設交集閾值；確定單元433，用于在判定交集區(qū)域達到預設交集閾值時，確定目標圖像中存在打手機行為。具體參見實施例2中對步驟S23的優(yōu)選方案的詳細描述。

作為一種優(yōu)選方案，獲取預設交集閾值的步驟包括：統(tǒng)計歷史圖像中的用戶在接打手機時的歷史人臉和手部的交集區(qū)域樣本；分析交集區(qū)域樣本中交集區(qū)域的最小值；將最小值作為預設交集閾值。具體參見實施例2中的相關詳細描述。

本實施例提供的檢測接打手機行為的裝置，通過采用人臉和手部檢測模型對目標圖像進行檢測，以準確地獲得目標人臉與目標手部是否同時存在，如果同時存在，則進一步判斷兩者是否存在交集，在存在的交集區(qū)域達到預設交集閾值時，確定用戶在接打手機，提高了接打手機行為檢測的準確度，為交通系統(tǒng)檢測駕駛員是否在行車過程中接打手機提供了更加精確的參考方案。

顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。