基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，包括圖像采集裝置、圖像處理裝置和定位裝置，其特征在于所述圖像采集裝置，至少包括1個距離圖像傳感器、1個CMOS攝像頭和2個紅外攝像頭，用于實時采集駕駛員的強度圖像和距離圖像，并將采集的強度圖像和距離圖像傳輸給圖像處理裝置；所述圖像處理裝置用于對采集的駕駛員的強度圖像和距離圖像進行處理；所述定位裝置用于根據處理后強度圖像和距離圖像識別駕駛員的人臉位置和大小，并對人臉圖像進行跟蹤和駕駛員人臉位置定位。該系統(tǒng)基于距離圖像與強度圖像融合，提高了駕駛員人臉定位的精確性。
【專利說明】基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)
【技術領域】
[0001]本發(fā)明屬于智能交通【技術領域】，具體涉及一種基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)。
【背景技術】
[0002]隨著社會經濟的不斷發(fā)展，汽車保有量數據持續(xù)增長，汽車安全問題顯得尤為重要。汽車安全性可以分為被動安全和主動安全:被動安全指在交通事故發(fā)生后盡量減小乘客和行人的損傷；主動安全指通過事先防范避免事故的發(fā)生。被動安全技術發(fā)展早，如安全氣囊技術，早已進入技術成熟階段且已經被廣泛地應用；隨著計算機、機器視覺、電子、通信等技術的巨大進步，主動安全領域的研究也隨之快速發(fā)展，其中，由于駕駛員本身對行車安全幾乎有著決定性的作用，針對駕駛員的智能系統(tǒng)更是發(fā)展迅速，如駕駛員疲勞駕駛檢測系統(tǒng)、駕駛人注意力識別系統(tǒng)等。我們發(fā)現，這些系統(tǒng)所采用的技術方案中，無論是采用檢測上下眼瞼位置、檢測人眼睜閉狀態(tài)、跟蹤人眼視線還是估計頭部或面部姿態(tài)角變化等何種方法作為判別依據，都要首先獲得駕駛員的人臉圖像，即對駕駛員人臉定位是整個系統(tǒng)和算法的基本環(huán)節(jié)。
[0003]人臉定位是指在輸入圖像中確定人臉(如果存在)的位置與大小(邊界)的過程，若是視頻圖像序列，還包括對檢測到的人臉進行目標跟蹤的過程。人臉定位方法主要分為:基于幾何特征的方法、基于膚色模型的方法和基于統(tǒng)計理論的方法。
[0004]幾何特征指人臉面部器官在幾何上體現的特征，如人臉輪廓、灰度分布、器官特征、模板特征等，基于幾何特征的方法適用于簡單背景下的正面單個人臉檢測，在復雜光照或背景環(huán)境下或者面部有遮擋的情況很難獲得理想的檢測效果。
[0005]膚色模型是研究者在確立的色度空間基礎上用一種代數的表征形式來表達哪些像素的色彩屬于膚色，或者表征出某一像素的色彩與膚色的相似程度?；谀w色模型的方法在早期應用很廣泛，算法簡便快捷，對姿態(tài)不敏感，在單調背景下檢測率高，但是其在光照和復雜背景下效果不理想。
[0006]基于統(tǒng)計理論的人臉檢測方法是利用統(tǒng)計分析與機器學習的方法來尋找人臉樣本與非人臉樣本各自的統(tǒng)計特征，再構建區(qū)分各自特征的分類器，用分類器完成人臉檢測，主要方法有神經網絡、支持向量機、線性子空間、隱馬爾科夫模型、Boosting等方法。不依賴于人臉的先驗知識和參數模型，可以避免不精確或不完整的知識造成的錯誤。并且由于采用了實例學習的方法獲取模型的參數，統(tǒng)計意義上更為可靠，但也一定程度上受學習樣本數量和質量、光照變化、遮擋等因素的影響。本發(fā)明因此而來。

【發(fā)明內容】

[0007]本發(fā)明提供一種基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，該系統(tǒng)解決了現有技術中人臉定位過程存在受環(huán)境變化、光照變化、遮擋等因素影響較大的缺點等問題。
[0008]為了解決現有技術中的這些問題，本發(fā)明提供的技術方案是:[0009]一種基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，包括圖像采集裝置、圖像處理裝置和定位裝置，其特征在于所述圖像采集裝置，至少包括I個距離圖像傳感器、I個CMOS攝像頭和2個紅外攝像頭，用于實時采集駕駛員的強度圖像和距離圖像，并將采集的強度圖像和距離圖像傳輸給圖像處理裝置；所述圖像處理裝置用于對采集的駕駛員的強度圖像和距離圖像進行處理；所述定位裝置用于根據處理后強度圖像和距離圖像識別駕駛員的人臉位置和大小，并對人臉圖像進行跟蹤和駕駛員人臉位置定位。
[0010]優(yōu)選的技術方案是:所述距離圖像傳感器、CMOS攝像頭和紅外攝像頭的輸出端與圖像處理裝置的輸入端連接。
[0011]優(yōu)選的技術方案是:所述圖像處理裝置為DSP處理系統(tǒng)。
[0012]優(yōu)選的技術方案是:所述系統(tǒng)還包括數據存儲裝置，所述數據存儲裝置與定位裝置連接，接收定位裝置的讀取或存儲指令，用于讀取或存儲駕駛員的強度圖像和距離圖像。
[0013]優(yōu)選的技術方案是:所述系統(tǒng)還包括與定位裝置連接的輸入輸出裝置，所述輸入輸出裝置根據用戶的輸入操作將用戶指令傳遞給定位裝置，定位裝置根據用戶指令進行人臉定位，并將相關信息輸出提示用戶。
[0014]本發(fā)明的另一目的在于提供一種基于距離圖像和強度圖像的駕駛員人臉定位方法，其特征在于所述方法包括以下步驟:
[0015](I)根據駕駛員的人臉定位指令，開始采集駕駛員的距離圖像和強度圖像；
[0016](2)對采集的駕駛員的強度圖像和距離圖像進行處理，識別駕駛員的人臉位置和大小，并對人臉圖像進行跟蹤和駕駛員人臉位置定位。
[0017]優(yōu)選的技術方案是:所述方法步驟(2)具體包括以下步驟:
[0018]I)根據采集到的駕駛員的距離圖像灰度值的梯度變化進行邊緣提取，初步確定人臉的位置；
[0019]2)利用訓練好的人臉分類器對圖像預處理后的駕駛員的強度圖像進行人臉檢測；根據距離圖像的分析和同一時刻獲得的強度圖像精確確定人臉的位置；
[0020]3)根據距離圖像的分析和同一時刻獲得的強度圖像檢測出強度圖像中人臉位置和大小邊界；
[0021]4)對檢測到的人臉圖像進行跟蹤，在確定的人臉圖像上進行器官定位。
[0022]以往利用可見光圖像的單目檢測或識別方法，一直存在受環(huán)境變化、光照變化、遮擋等因素影響較大的缺點，距離圖像中像素的灰度值僅與物體到距離傳感器的物理距離有關，不會受環(huán)境變化、光照變化等因素的影響，因此，本發(fā)明提供了一種基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)，解決在復雜光照和復雜背景下人臉檢測效果不理想的問題，提高駕駛員人臉定位系統(tǒng)的精確性。
[0023]為了方便地描述本
【發(fā)明內容】
，首先對距離圖像進行定義。
[0024]距離圖像，即深度圖像。在三維計算機圖形學中，深度圖像指從觀察視角看去，圖像所包含的信息與場景物體表面距離相關的一種圖像或一個圖像通道。這樣，假設圖像深度值的變化方向(即攝像機拍攝方向)與所需要描述的三維場景的視場方向Z方向相同的話，那么就能夠很容易地描述整個三維場景。因此，深度圖像也稱為距離圖像。與彩色圖像相比，深度圖像能直接反映物體表面的三維特征，且不受光照、陰影和色度等因素的影響。本發(fā)明中，利用距離圖像傳感器、2個紅外攝像頭獲取距離圖像的成像原理為飛行時間法:通過給目標連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過計算光脈沖的往返飛行時間來得到目標物體的距離。
[0025]在距離圖像中，黑色代表無窮遠，白色代表無窮近，介于黑色和白色的灰度區(qū)域對應于物體到距離圖像傳感器的物理距離。無論在任何的照明光線下，它可以收集視野里每一個點的信息，并將其生成一張距離圖像用以代表環(huán)境信息。在距離圖像上的每一個點，都具有一個從O到255之間的數值，不同的數值代表這個點到紅外攝像頭的距離。因此，可以根據距離圖像上的每個點的數據值，得知它們到距離圖像傳感器的距離。時間飛行法是一種測量方法，其通過激光或者微波毫米波雷達放出的高速光波或聲波，當這些波遇到物體時會很快的被反射回來，通過這種反射可以計算出障礙物或者目標的位置。
[0026]廣義上，圖像就是所有具有視覺效果的畫面，它包括:紙介質上的、底片或照片上的、電視、投影儀或計算機屏幕上的，根據不同記錄方式可分為模擬圖像和數字圖像。模擬圖像可以通過某種物理量(如光、電等)的強弱變化來記錄圖像亮度信息，例如模擬電視圖像；而數字圖像則是用計算機存儲的數據來記錄圖像上各點的亮度信息。本發(fā)明中的強度圖像狹義地指由可見光攝像頭所獲得的用于圖像處理的數字圖像，它是二維圖像，由數組或矩陣表示，用數字任意描述像素點、強度和顏色。在計算機中常用的圖像存儲格式有BMP、TIFF、EPS、JPEG、GIF、PSD、PDF 等。
[0027]本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)包括圖像采集裝置、圖像處理裝置、定位裝置。其中圖像采集裝置包括距離圖像傳感器、2個紅外攝像頭、I個CMOS攝像頭，設備安裝在車輛儀表盤的上方，以可拍攝到駕駛人面對車輛正前方時的正面人臉圖像為基準，車輛啟動后，采用攝像頭得到距離圖像序列和強度圖像序列，以實時獲取駕駛員頭部及頭部附近的狀態(tài)信息。距離圖像傳感器和2個紅外攝像頭相結合用于獲取距離圖像序列；CM0S攝像頭，用于獲取強度圖像序列。
[0028]圖像處理裝置采用DSP處理系統(tǒng)，DSP處理系統(tǒng)采用基于圖像處理的方法對視頻、圖像進行處理分析。定位裝置用于融合距離圖像和強度圖像信息，檢測出強度圖像中人臉部分的位置和大小(邊界)，最終得到人臉定位結果。
[0029]定位裝置中設置圖像采集模塊、距離圖像傳感器應用模塊、人臉檢測模塊、人臉跟蹤模塊、數據管理模塊等模塊，其中圖像采集模塊，包含攝像頭采集到的視頻、圖像信息；距離圖像傳感器應用模塊，研究通過距離圖像傳感器獲取圖像深度信息，并將獲取到的深度信息與同一時間的強度圖像信息相結合，精確識別出人臉位置的方法；人臉檢測模塊，融合距離圖像和強度圖像信息，檢測出強度圖像中人臉部分的位置和大小(邊界)；人臉跟蹤模塊，對檢測到的人臉圖像進行跟蹤，以降低漏檢率和誤檢率；數據管理模塊，用于存儲每幀圖像上定位好的人臉圖像數據；輸入輸出模塊，用于輸入用戶的指令或者輸出人臉跟蹤模塊的結果。
[0030]相對于現有技術中的方案，本發(fā)明的優(yōu)點是:
[0031]1.為解決復雜光照和復雜背景下人臉定位效果不理想的問題，本發(fā)明提供了一種基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)，提高了駕駛員人臉定位系統(tǒng)的精確性。
[0032]2.本發(fā)明中基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)，所采用的人臉定位技術方法在人臉識別、人機交互、視頻會議、智能安全監(jiān)控、疲勞預警等領域有著廣泛的應用，發(fā)展前景巨大，為以后的進一步研究工作打下了基礎。
【專利附圖】

【附圖說明】
[0033]下面結合附圖及實施例對本發(fā)明作進一步描述:
[0034]圖1為本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)的結構框圖；
[0035]圖2為本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)定位裝置的軟件架構圖；
[0036]圖3為本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)的工作流程圖。
[0037]圖4為本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)距離圖像的處理流程圖；
[0038]圖5(a)為采集到的某幅距離圖像，(b)中白色部分為該距離圖像對應的輪廓提取結果。
【具體實施方式】
[0039]以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用于說明本發(fā)明而不限于限制本發(fā)明的范圍。實施例中采用的實施條件可以根據具體廠家的條件做進一步調整，未注明的實施條件通常為常規(guī)實驗中的條件。
[0040]實施例
[0041]如圖1所示，該基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)包括圖像采集裝置、圖像處理裝置、定位裝置。其中圖像采集裝置包括距離圖像傳感器、2個紅外攝像頭、I個CMOS攝像頭，設備安裝在車輛儀表盤的上方，以可拍攝到駕駛人面對車輛正前方時的正面人臉圖像為基準，車輛啟動后，采用攝像頭得到距離圖像序列和強度圖像序列，以實時獲取駕駛員頭部及頭部附近的狀態(tài)信息。距離圖像傳感器和2個紅外攝像頭相結合用于獲取距離圖像序列；CM0S攝像頭，用于獲取強度圖像序列。
[0042]圖像處理裝置采用DSP處理系統(tǒng)，DSP處理系統(tǒng)采用基于圖像處理的方法對視頻圖像進行處理。定位裝置用于融合距離圖像和強度圖像信息，檢測出強度圖像中人臉部分的位置和大小(邊界)，最終得到人臉定位結果。
[0043]如圖2所示，定位裝置中設置圖像采集模塊、距離圖像傳感器應用模塊、人臉檢測模塊、人臉跟蹤模塊、數據管理模塊等模塊，其中圖像采集模塊，用于接收處理后的攝像頭采集到的視頻、圖像信息；距離圖像傳感器應用模塊，研究通過距離圖像傳感器獲取圖像深度信息，并將獲取到的深度信息與同一時間的強度圖像信息相結合，精確識別出人臉位置的方法；人臉檢測模塊，融合距離圖像和強度圖像信息，檢測出強度圖像中人臉部分的位置和大小(邊界)；人臉跟蹤模塊，對檢測到的人臉圖像進行跟蹤，以降低漏檢率和誤檢率；數據管理模塊，用于存儲每幀圖像上定位好的人臉圖像數據；輸入輸出模塊，用于輸入用戶的指令或者輸出人臉跟蹤模塊的結果。
[0044]下面結合圖3給出本發(fā)明基于距離圖像與強度圖像融合的駕駛員人臉定位系統(tǒng)的工作流程:
[0045]1、車輛啟動后，駕駛員人臉定位系統(tǒng)開始工作。[0046]采用攝像頭得到距離圖像序列和強度圖像序列，以實時獲取駕駛員頭部及頭部附近的狀態(tài)信息。距離圖像傳感器和2個紅外攝像頭相結合用于獲取距離圖像序列；CM0S攝像頭，用于獲取強度圖像序列。
[0047]2、距離圖像的處理過程
[0048]距離傳感器和2個紅外攝像頭根據飛行時間原理獲得駕駛員面部及面部附近環(huán)境的距離圖像序列，每幅距離圖像上每一點的灰度值代表駕駛員及座椅等到攝像頭的物理距離，如圖5所示，為一副采集到的距離圖像。
[0049]如圖4所示，對于距離圖像，通過下列步驟初步確定駕駛員人臉部分的位置:采集到的距離圖像為彩色圖像，首先對其進行灰度化處理，然后轉換為二值圖像，并使用prewitt算子進行邊緣提取，為使接下來的外部輪廓提取結果更加平滑，先進行形態(tài)學膨脹和腐蝕運算，然后進行輪廓提取，最后進行寬度投影，并根據寬度投影曲線，找出從輪廓曲線的頂點(即頭頂處)開始第一次出現的極大值及極小值分別對應的像素位置，即可計算出人臉圖像的位置。
[0050]設圖像左上角的像素坐標為(0，O)，如圖5所示，(a)為采集到的某幅距離圖像，(b)中白色部分為該距離圖像對應的輪廓提取結果，P點為駕駛員人體輪廓曲線的頂點即頭頂處，Ml、M2對應從P點往下的第一個寬度極大值點，N1、N2對應從P點往下的第一個寬度極小值點，根據P、Ml、M2、N1、N2處的像素位置信息，即可提取出人體輪廓曲線中的駕駛員頭部位置EFGH，還原至原距離圖像時，為了確保位置信息的準確性，本實施例采取將EFGH向外擴展20個像素的距離的方法，這樣就得到了距離圖像中駕駛員的人臉位置信息。
[0051]3、強度圖像的處理過程
[0052]( I)訓練人臉檢測分類器
[0053]經過多次試驗，得到大量人臉圖像，為使訓練樣本多樣化，提高分類器的正確率，選取多表情、多角度、多光照變化情況下的人臉圖像(強度圖像)，進行預處理并歸一化為24X24大小的正樣本；從視頻序列中截取不同背景、不同光照變化情況下不含人臉任何部分的圖像，進行預處理并歸一化為24X24大小作為負樣本；然后提取樣本圖片的Harr特征，為了大大簡化計算的復雜度、提高了檢測速度，本實施例采用常用的邊緣、線性、對角線等6種形式的harr特征，并利用“積分圖”來快速計算特征值；最后基于Adaboost方法訓練人臉檢測分類器。
[0054](2)訓練人眼檢測分類器
[0055]訓練人眼檢測分類器的步驟與訓練人臉檢測分類器的步驟相同，只需更換訓練樣本即可:采集不同駕駛員在不同光照、是否戴眼鏡情況下的人眼圖像(強度圖像)及不含人眼任何部分的圖像(強度圖像)，進行預處理并歸一化為24X12大小的人眼樣本后，采用常用的harr特征與Adaboost相結合的方法訓練人眼檢測分類器。
[0056](3)對于最新獲取的強度圖像，采用如下步驟進行處理:
[0057]對通過CMOS攝像頭獲取的強度圖像，首先進行灰度化、光照補償等圖像預處理，然后使用訓練好的人臉檢測分類器進行人臉檢測，得到人臉部分的圖像的位置和大小(邊界)。
[0058]4、強度圖像和距離圖像信息的融合
[0059]經過上述步驟，在同一時刻采集到的距離圖像Il和強度圖像12上，分別初步獲得了人臉區(qū)域的位置和大小(邊界)，并用人臉區(qū)域左上角的像素坐標及人臉區(qū)域的寬度和長度來表示，分別記為 J(xl, yl)、wl、hl 和 Q(x2, y2)、w2、h2。
[0060]距離圖像Il和強度圖像12大小相同，在同一時刻，人臉區(qū)域在兩幅圖像上的相對位置也大致重合，當在兩幅圖像上都檢測出人臉區(qū)域，且人臉區(qū)域的位置和大小相對應時，即可按下式得到精確的人臉區(qū)域信息，作為人臉檢測結果，記為F (x, y)、W、h:..1 I x\-x21

[0061]
【權利要求】
1.一種基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，包括圖像采集裝置、圖像處理裝置和定位裝置，其特征在于所述圖像采集裝置，至少包括I個距離圖像傳感器、I個CMOS攝像頭和2個紅外攝像頭，用于實時采集駕駛員的強度圖像和距離圖像，并將采集的強度圖像和距離圖像傳輸給圖像處理裝置；所述圖像處理裝置用于對采集的駕駛員的強度圖像和距離圖像進行處理；所述定位裝置用于根據處理后強度圖像和距離圖像識別駕駛員的人臉位置和大小，并對人臉圖像進行跟蹤和駕駛員人臉位置定位。
2.根據權利要求1所述的基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，其特征在于距離圖像傳感器、CMOS攝像頭和紅外攝像頭的輸出端與圖像處理裝置的輸入端連接。
3.根據權利要求1所述的基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，其特征在于所述圖像處理裝置為DSP處理系統(tǒng)。
4.根據權利要求1所述的基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，其特征在于所述系統(tǒng)還包括數據存儲裝置，所述數據存儲裝置與定位裝置連接，接收定位裝置的讀取或存儲指令，用于讀取或存儲駕駛員的強度圖像和距離圖像。
5.根據權利要求1所述的基于距離圖像和強度圖像的駕駛員人臉定位系統(tǒng)，其特征在于所述系統(tǒng)還包括與定位裝置連接的輸入輸出裝置，所述輸入輸出裝置根據用戶的輸入操作將用戶指令傳遞給定位裝置，定位裝置根據用戶指令進行人臉定位，并將相關信息輸出提示用戶。
6.一種基于距離圖像和強度圖像的駕駛員人臉定位方法，其特征在于所述方法包括以下步驟: (1)根據駕駛員的人臉定位指令，開始采集駕駛員的距離圖像和強度圖像； (2)對采集的駕駛員的強度圖像和距離圖像進行處理，識別駕駛員的人臉位置和大小，并對人臉圖像進行跟蹤和駕駛員人臉位置定位。
7.根據權利要求6所述的駕駛員人臉定位方法，其特征在于所述方法步驟(2)具體包括以下步驟: 1)根據采集到的駕駛員的距離圖像灰度值的梯度變化進行邊緣提取，初步確定人臉的位置； 2)利用訓練好的人臉分類器對圖像預處理后的駕駛員的強度圖像進行人臉檢測；根據距離圖像的分析和同一時刻獲得的強度圖像精確確定人臉的位置； 3)根據距離圖像的分析和同一時刻獲得的強度圖像檢測出強度圖像中人臉位置和大小邊界； 4)對檢測到的人臉圖像進行跟蹤，在確定的人臉圖像上進行器官定位。
【文檔編號】G06K9/20GK103714321SQ201310731309
【公開日】2014年4月9日 申請日期:2013年12月26日 優(yōu)先權日:2013年12月26日
【發(fā)明者】張偉, 成波 申請人:蘇州清研微視電子科技有限公司, 清華大學蘇州汽車研究院（吳江）