專利名稱：機器人的主動視覺人臉跟蹤方法和跟蹤系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于移動機器人目標跟蹤與運動規(guī)劃技術領域，具體涉及一種快速魯棒的主動視覺人臉跟蹤方法和跟蹤系統(tǒng)。
背景技術：
目標跟蹤與運動規(guī)劃技術是一門交叉學科，它融合了圖像處理、模式識別、人工智能、自動控制、運動規(guī)劃等許多領域的關鍵技術?，F(xiàn)階段，目標跟蹤技術大多應用于視頻監(jiān)控、視頻編解碼、智能交通等領域，并且主要集中在基于PC平臺，然而面向人機交互機器人的目標跟蹤技術研究較少，特別是使用主動攝像機實現(xiàn)目標的跟蹤與運動規(guī)劃。在人機交互環(huán)境下，受日光和燈光的影響，光線變化較大；靜態(tài)障礙物和動態(tài)障礙物形態(tài)各異，且分布不均；人與人之間的運動較為復雜，且容易相互遮擋。面對這些困難，如何實現(xiàn)實時的穩(wěn)定的目標跟蹤，特別是人臉跟蹤；如何使移動機器人安全無碰撞的運動規(guī)劃，從而實現(xiàn)人與機器人友好安全的交互，具有重要的研究意義。

發(fā)明內容
本發(fā)明的目的是通過人臉的跟蹤與運動規(guī)劃實現(xiàn)人與機器人的安全友好交互。根據(jù)主動視覺的特點，建立移動機器人的感知運動環(huán)，實現(xiàn)魯棒性較好的人臉檢測和跟蹤。面對人機交互過程中，人作為動態(tài)障礙物具有速度和姿態(tài)不確定的難點，通過結合路徑搜索算法和模糊邏輯控制算法，實現(xiàn)了基于測距傳感器的實時運動規(guī)劃。本發(fā)明的技術內容一種機器人的主動視覺人臉跟蹤方法，包括如下步驟1、移動機器人通過主動攝像機獲取環(huán)境信息圖像并檢測圖像中是否有人臉目標；2、檢測到人臉后，機器人對人臉目標進行跟蹤，并通過主動攝像機和機器人的移動將人臉目標保持在攝像機獲取圖像的中心，也即攝像機的視角中心。
進一步的，本發(fā)明采用類Haar特征的Adaboost人臉檢測算法檢測人臉目標。人臉目標跟蹤的方法為(1)將攝像機采集的RGB圖像轉化為HSV圖像；(2)計算人臉目標區(qū)域的色彩直方圖；(3)根據(jù)色彩直方圖，計算HSV圖像中色彩的概率分布，獲得顏色概率直方圖；(4)通過顏色概率直方圖選取搜索窗的大小與初始位置，采用窗口自適應的 CamShift核密度估計算法對人臉目標進行跟蹤。所述將人臉目標保持在圖像中心的方法為(1)在圖像中心設定一個尺寸小于圖像大小的矩形限制區(qū)域，矩形限制區(qū)域到圖像邊緣設置為第一緩沖區(qū)域；人臉目標超出矩形限制區(qū)域進入第一緩沖區(qū)域時，主動攝像機移動使人臉目標保持在矩形限制區(qū)域內；
(2)在主動攝像機最大移動范圍到小于主動攝像機最大移動范圍的設定值之間設置第二緩沖區(qū)域，當人臉目標超出矩形限制區(qū)域且主動攝像機進入第二緩沖區(qū)域時，機器人旋轉使人臉目標保持在矩形限制區(qū)域內。如果上一步的主動攝像機移動無法使得人臉目標保持在矩形限制區(qū)域，機器人旋轉運動來補償，這個設定值是一個小于主動攝像機最大移動范圍的值，可以根據(jù)需要進行設定，設置第二緩沖區(qū)域的目的在于保證目標始終在圖像的中心位置，不會出現(xiàn)因主動攝像機已無法移動時機器人才開始旋轉導致的目標跟丟的情況。其中主動攝像機的移動為水平方向和/或垂直方向的運動。所述機器人旋轉運動的范圍為360°，機器人跟蹤到人臉目標且人臉目標靜止時機器人向人臉目標位置移動。機器人向人臉目標位置移動的方法為機器人的測距傳感器測量機器人與人臉目標之間的障礙物位置，建立動態(tài)柵格地圖；采用D*路徑搜索算法計算出機器人到人臉目標的最優(yōu)路徑；通過模糊邏輯控制算法控制機器人移動的速度；機器人按照計算出的速度和路徑向人臉目標移動。所述模糊邏輯控制算法為(1)從動態(tài)柵格地圖中獲取障礙物到機器人之間的距離D ；(2)對距離D和機器人速度V設定模糊語言和定義數(shù)值，設定論域，獲得障礙物距離D和機器人速度V的隸屬度函數(shù)；(3)根據(jù)障礙物遠近與速度快慢的對應關系，得到一組多重條件語句，即模糊控制規(guī)則；(4)根據(jù)隸屬度函數(shù)獲得障礙物距離D和機器人速度V的模糊關系矩陣R，得到模糊控制的決策公式V = D*R;(5)精確化計算過程中，由模糊控制的決策公式求得的模糊向量，按照最大隸屬度表決的方法，選擇相應的控制量，從而控制移動機器人的速度。本發(fā)明還提供一種機器人的主動視覺人臉跟蹤系統(tǒng)，包括主動攝像機、圖像跟蹤模塊、運動跟蹤模塊、層級緩沖模塊和狀態(tài)反饋模塊，主動攝像機獲取含有人臉目標的圖像；圖像跟蹤模塊對人臉目標進行跟蹤；層級緩沖模塊確定主動攝像機和機器人移動的范圍；運動跟蹤模塊根據(jù)層級緩沖模塊確定的主動攝像機和機器人移動的范圍控制主動攝像機和機器人的移動；狀態(tài)反饋模塊分別連接圖像跟蹤模塊和運動跟蹤模塊，向圖像跟蹤模塊和運動跟蹤模塊反饋人臉目標區(qū)域的圖像位置信息、主動攝像機的水平垂直角度信息和移動機器人的位姿信息。所述跟蹤系統(tǒng)還包括運動規(guī)劃控制模塊，該模塊根據(jù)人臉目標位置，控制機器人向人臉目標位置移動。運動規(guī)劃控制模塊包括測距傳感器，柵格地圖模塊、路徑搜索模塊、模糊邏輯控制模塊和機器人控制模塊，測距傳感器獲取機器人與障礙物的距離，柵格地圖模塊根據(jù)所述距離生成動態(tài)柵格地圖；路徑搜索模塊根據(jù)動態(tài)柵格地圖的信息利用D*圖搜索算法計算出從起始位置到目標位置的最優(yōu)路徑；模糊邏輯控制模塊根據(jù)機器人與障礙物的距離計算出機器人的移動速度；機器人控制模塊根據(jù)最優(yōu)路徑和機器人移動速度控制機器人向人臉目標位置移動。所述測距傳感器為聲納傳感器或激光測距儀。本發(fā)明的技術效果本發(fā)明實現(xiàn)了機器人的人臉自動檢測與跟蹤，通過圖像跟蹤和運動跟蹤的結合， 解決了圖像視角較小的局限性，建立了移動機器人基于主動視覺的感知-運動環(huán)。使得人臉跟蹤的移動范圍擴展到360°，從而保證了跟蹤范圍可以全方位擴展。兩層的緩沖區(qū)域保證了跟蹤的連續(xù)性，使得人臉目標始終在圖像中移動，最終保持在圖像中心。通過測距傳感器確定跟蹤人的目標位置，在運動規(guī)劃過程中實時建立動態(tài)柵格地圖，并通過模糊邏輯控制算法和D*路徑搜索算法實時運動規(guī)劃，躲避靜態(tài)和動態(tài)障礙物， 最終到達跟蹤目標人位置。


圖1是本發(fā)明的主動視覺人臉跟蹤系統(tǒng)結構示意圖；圖2是本發(fā)明的主動視覺人臉跟蹤方法流程圖；圖3是機器人跟蹤過程中的狀態(tài)反饋關系圖；圖4是層級緩沖模塊運行時的示意圖；圖5是實施例中的動態(tài)柵格地圖模型示意圖；圖6是實施例中的障礙物距離隸屬度函數(shù)曲線圖；圖7是實施例中的機器人速度隸屬度函數(shù)曲線圖。
具體實施例方式參考圖1，本發(fā)明面向人機交互機器人的主動視覺人臉跟蹤與運動規(guī)劃系統(tǒng)的具體設計如下(1)系統(tǒng)功能移動機器人通過主動攝像機獲取環(huán)境信息圖像并檢測是否有人臉，將人臉區(qū)域圈出并顯示在機器人的顯示器上，同時程序由人臉檢測轉向人臉跟蹤，隨著人的走動，通過主動攝像機水平垂直方向的運動和機器人的旋轉運動實時跟蹤人臉目標，并實時在顯示器上顯示。如果跟蹤目標停止，機器人通過運動規(guī)劃技術躲避人與機器人之間的障礙物，比如桌子或走動的人體，最終到達跟蹤人體的目標位置。(2)系統(tǒng)輸入攝像機獲取的圖像信息，聲納傳感器獲取的障礙物距離信息。(3)系統(tǒng)輸出顯示器輸出圖像，主動攝像機的運動，移動機器人的運動。(4)具體實現(xiàn)主要分為兩個階段，即人臉跟蹤階段和運動規(guī)劃階段，即向目標人臉移動的階段。 在人臉跟蹤階段，主動攝像機獲取圖像，通過圖像跟蹤模塊和運動跟蹤模塊實現(xiàn)人臉跟蹤， 利用層級緩沖模塊和狀態(tài)反饋模塊進行有效的通信和協(xié)調，增強跟蹤的有效性、平滑性和魯棒性。在運動規(guī)劃階段，根據(jù)測距傳感器的距離信息建立柵格地圖模塊建立動態(tài)柵格地圖模型，路徑搜索模塊、模糊邏輯控制模塊利用D*搜索算法和模糊邏輯控制算法計算出機器人安全無碰撞的路徑和速度，最后機器人控制模塊按照上述路徑和速度的運動規(guī)劃移動到人臉目標位置。參考圖2，人臉圖像跟蹤流程的步驟如下(1)利用主動攝像機獲取圖像信息；(2)通過AdaBoost人臉檢測算法從圖像中獲取人臉區(qū)域；(3)對人臉目標圖像計算顏色概率圖；(4)通過窗口自適應的Can^hift核密度估計算法對人臉目標進行跟蹤；(5)在跟蹤過程中，如果失效(即檢測不到人臉)，則進入第二步重新檢測人臉，否則進行圖像顯示。在跟蹤過程中通過主動攝像機的移動和機器人旋轉始終讓人臉目標位于圖像的中心。整個流程是循環(huán)過程，從攝像機中不斷的獲取圖像，經過算法處理在顯示器上顯示圖像。參考圖3，狀態(tài)反饋關系圖解釋如下狀態(tài)反饋模塊貫穿于整個跟蹤系統(tǒng)，為圖像跟蹤模塊和運動跟蹤模塊提供重要的反饋信息，因此狀態(tài)反饋模塊包括跟蹤目標區(qū)域的圖像位置信息、主動攝像機的水平垂直角度信息和移動機器人的位姿信息。參考圖4，層級反饋模塊解釋如下為了將跟蹤的目標區(qū)域始終保持在圖像的中心，我們采用了層級式緩沖模塊和緩沖機制，該機制采用兩層緩沖區(qū)，從高到低分別是圖像區(qū)域緩沖和主動攝像機角度緩沖。首先，在圖像中心設定一個尺寸小于圖像大小的矩形限制區(qū)域，使得感興趣區(qū)域即人臉目標可以在該矩形區(qū)域中自由移動，而圖像邊緣與矩形限制區(qū)域為第一次緩沖區(qū)， 即圖中顯示的圖像緩沖區(qū)；如果感興趣區(qū)域的移動超過了矩形限制區(qū)域并進入圖像緩沖區(qū)，那將開始利用主動攝像機角度移動進行補償，角度運動包括水平角度和垂直角度。其次，在主動攝像機的移動范圍之內設定一個角度運動緩沖區(qū)，即第二緩沖區(qū)，是一個小于主動攝像機最大移動范圍的一個設定值到主動攝像機最大移動范圍之間的區(qū)域， 第二緩沖區(qū)域的設置是保證主動攝像機移動到最大移動位置前具有一定的緩沖，不會到主動攝像機無法再移動時再啟動機器人旋轉而導致目標人臉離開矩形限制區(qū)域，從而脫離攝像機的攝像范圍，導致跟蹤失效。這個設定值為攝像機開始移動的原點到最大移動值之間的一個取值，該取值可以根據(jù)需要設定，即圖中顯示的角度運動緩沖區(qū)；當感興趣區(qū)域移動超過了矩形限制區(qū)域，且主動攝像機進入了角度運動緩沖區(qū)，則表明主動攝像機的移動開始不能滿足感興趣區(qū)域的移動范圍，那么將啟用移動機器人360°的旋轉，從而保證了跟蹤范圍的全方位擴展。具體從圖4中可以看到，虛線矩形內為矩形限制區(qū)域，人臉目標應該在該區(qū)域內； 虛線矩形到小實線矩形之間的范圍極為圖像緩沖區(qū)，即第一緩沖區(qū)；當人臉目標進入該圖像緩沖區(qū)時，主動攝像機開始水平或垂直移動，其移動的范圍為主動攝像機角度運動限制區(qū)域，即最大范圍到大實線矩形；取一個小于最大范圍的設定值，如圖中點劃線的位置，從點劃線到大實線矩形的位置就為第二緩沖區(qū)，即角度運動緩沖區(qū)，當主動攝像機移動到該范圍，且人臉目標要離開矩形限制區(qū)域時，啟動移動機器人旋轉。綜上所述，兩層的緩沖機制保證了跟蹤的連續(xù)性，使得跟蹤區(qū)域始終在圖像中移動，最終保持在圖像中心。參考圖5，動態(tài)柵格地圖模型解釋如下在環(huán)境信息完全未知或部分未知的情況下，為了對環(huán)境建模創(chuàng)建地圖，需要測距傳感器，比如聲納傳感器或激光測距儀。通過測距傳感器進行障礙物的檢測，并實時的創(chuàng)建柵格地圖。通過對動態(tài)障礙物的檢測，自動更新柵格地圖，從而構建動態(tài)柵格地圖。圖中黑塊顯示的是障礙物空間，灰色表示未知空間，白色為自由空間。圖5中，圖5 (a)顯示了 t-Ι時刻靜態(tài)地圖，圖5 (b)顯示t時刻觀察到的障礙物數(shù)據(jù)，用t時刻的觀察數(shù)據(jù)更新地圖可得到圖5(c)的更新靜態(tài)地圖和圖5(d)的更新動態(tài)地圖。圖5(c)中右上角的靜態(tài)障礙物通過t-Ι時刻數(shù)據(jù)不完整(包含未知空間)更新為t 時刻的新數(shù)據(jù)，且兩個時刻的右上角障礙物信息變化較小。圖5(d)中由于t-Ι時刻到t時刻自由空間變?yōu)檎系K物所以為動態(tài)障礙物。運動規(guī)劃如下人機交互環(huán)境下，人是重要的動態(tài)障礙物，移動機器人為了適應動態(tài)環(huán)境，求解動態(tài)最短路徑，采用D*算法，該算法能夠對已有的最優(yōu)路徑進行局部更新，縮短計算時間和減小空間復雜度。在動態(tài)環(huán)境下，為了避免與障礙物發(fā)生碰撞，移動機器人的運動速度主要由前進方向的障礙物距離來決定的，障礙物越近，速度降低甚至停止以避免碰撞，障礙物越遠，增加速度使機器人更快的到達目標位置。通過模糊邏輯控制算法來實現(xiàn)對移動機器人的速度的控制。模糊邏輯控制一般由四部分組成，分別是模糊化過程、知識庫(數(shù)據(jù)庫和規(guī)則庫)、 推理決策和精確化計算。(1)模糊化過程中，將障礙物距離作為輸入變量D，機器人的速度作為輸出變量V。 分別對他們設定模糊語言和定義數(shù)值，設定論域。D = {Danger, Near, Medium, Far}V = {VerySlow, Slow, Medium, Fast}得到輸入變量與輸出變量的隸屬度函數(shù)，從而實現(xiàn)障礙物距離與機器人速度的對應關系。參見圖6和圖7的障礙物距離隸屬度函數(shù)曲線和機器人速度隸屬度函數(shù)曲線。(2)根據(jù)障礙物遠近與速度快慢的對應關系，得到一組多重條件語句，即模糊控制規(guī)則，如表1所示。表1障礙物遠近與速度之間的模糊控制規(guī)則表
DDangerNearMediumFarVVerySlowSlowMediumFast(3)根據(jù)隸屬度函數(shù)得到輸入變量D與輸出變量V的模糊關系矩陣R，從而得到模糊控制的決策公式V = D*R;(4)精確化計算過程中，由模糊控制的決策公式求得的模糊向量，按照最大隸屬度表決的方法，選擇相應的控制量，從而控制移動機器人的速度。最后，根據(jù)計算出的機器人到目標人臉位置的最優(yōu)路徑和移動速度，機器人移動到目標人臉位置。 上述實例只是本發(fā)明的舉例，盡管為說明目的公開了本發(fā)明的最佳實施例和附圖，但是本領域的技術人員可以理解在不脫離本發(fā)明及所附的權利要求的精神和范圍內， 各種替換、變化和修改都是可能的。因此，本發(fā)明不應局限于最佳實施例和附圖所公開的內容。
權利要求
1.一種機器人的主動視覺人臉跟蹤方法，包括如下步驟(1)移動機器人通過主動攝像機獲取環(huán)境信息圖像并檢測圖像中是否有人臉目標；(2)檢測到人臉目標后，機器人對人臉目標進行跟蹤，并通過主動攝像機和機器人移動將人臉目標保持在圖像中心。
2.根據(jù)權利要求1所述的機器人的主動視覺人臉跟蹤方法，其特征在于，采用類Haar 特征的Adaboost人臉檢測算法檢測人臉目標。
3.根據(jù)權利要求1所述的機器人的主動視覺人臉跟蹤方法，其特征在于，所述將人臉目標保持在圖像中心的方法為A、在圖像中心設定一個尺寸小于圖像大小的矩形限制區(qū)域，矩形限制區(qū)域到圖像邊緣設置為第一緩沖區(qū)域；人臉目標超出矩形限制區(qū)域進入第一緩沖區(qū)域時，主動攝像機移動使人臉目標保持在矩形限制區(qū)域內；B、在主動攝像機最大移動范圍到一小于主動攝像機最大移動范圍的設定值之間設置第二緩沖區(qū)域，當人臉目標超出矩形限制區(qū)域且主動攝像機進入第二緩沖區(qū)域時，機器人旋轉使人臉目標保持在矩形限制區(qū)域內。
4.根據(jù)權利要求3所述的機器人的主動視覺人臉跟蹤方法，其特征在于，主動攝像機的移動為水平方向和/或垂直方向的運動。
5.根據(jù)權利要求3所述的機器人的主動視覺人臉跟蹤方法，其特征在于，所述機器人是360度范圍的旋轉。
6.根據(jù)權利要求1所述的機器人的主動視覺人臉跟蹤方法，其特征在于，對人臉目標進行跟蹤的方法為A、將主動攝像機采集的RGB圖像轉化為HSV圖像；B、計算人臉目標區(qū)域的色彩直方圖C、根據(jù)色彩直方圖，計算HSV圖像中色彩的概率分布，獲得顏色概率直方圖；D、通過顏色概率直方圖選取搜索窗的大小與初始位置，采用窗口自適應的Can^hift 核密度估計算法對人臉目標進行跟蹤。
7.根據(jù)權利要求1-6任一項所述的機器人的主動視覺人臉跟蹤方法，其特征在于，機器人在跟蹤到人臉目標后，移動到人臉目標位置。
8.根據(jù)權利要求7所述的機器人的主動視覺人臉跟蹤方法，其特征在于，機器人移動到人臉目標位置的方法為A、獲取機器人與人臉目標之間的障礙物位置，生成動態(tài)柵格地圖；B、采用D*路徑搜索算法計算出機器人到人臉目標的最優(yōu)路徑；C、根據(jù)最優(yōu)路徑機器人向人臉目標位置移動，并通過模糊邏輯控制算法控制機器人移動的速度。
9.根據(jù)權利要求8所述的機器人的主動視覺人臉跟蹤方法，其特征在于，所述模糊邏輯控制算法為(a)從動態(tài)柵格地圖中獲取障礙物到機器人之間的距離D；(b)對距離D和機器人速度V設定模糊語言和定義數(shù)值，設定論域，獲得障礙物距離D 和機器人速度V的隸屬度函數(shù)；(c)根據(jù)障礙物遠近與速度快慢的對應關系，得到機器人距離D和速度V的模糊控制規(guī)則；(d)根據(jù)隸屬度函數(shù)獲得距離D和機器人速度V的模糊關系矩陣R，得到模糊控制的決策公式V = D*R ；(e)由模糊控制的決策公式計算模糊向量，按照最大隸屬度表決的方法，選擇相應的機器人的速度。
10.一種機器人的主動視覺人臉跟蹤系統(tǒng)，其特征在于包括主動攝像機、圖像跟蹤模塊、運動跟蹤模塊、層級緩沖模塊和狀態(tài)反饋模塊，主動攝像機獲取含有人臉目標的圖像； 圖像跟蹤模塊對人臉目標進行跟蹤；層級緩沖模塊根據(jù)人臉目標離開圖像中心的距離確定主動攝像機和機器人移動的范圍；運動跟蹤模塊根據(jù)層級緩沖模塊確定的主動攝像機和機器人移動的范圍控制主動攝像機和機器人的移動；狀態(tài)反饋模塊分別連接圖像跟蹤模塊和運動跟蹤模塊，向圖像跟蹤模塊和運動跟蹤模塊反饋人臉目標區(qū)域的圖像位置信息、主動攝像機的水平垂直角度信息和移動機器人的位姿信息。
11.根據(jù)權利要求10所述的機器人的主動視覺人臉跟蹤系統(tǒng)，其特征在于所述跟蹤系統(tǒng)還包括運動規(guī)劃控制模塊，該模塊根據(jù)人臉目標位置，控制機器人向人臉目標位置移動。
12.根據(jù)權利要求11所述的機器人的主動視覺人臉跟蹤方法，其特征在于運動規(guī)劃控制模塊包括測距傳感器，柵格地圖模塊、路徑搜索模塊、模糊邏輯控制模塊和機器人控制模塊，測距傳感器獲取機器人與障礙物的距離，柵格地圖模塊根據(jù)所述距離生成動態(tài)柵格地圖；路徑搜索模塊根據(jù)動態(tài)柵格地圖計算出最優(yōu)路徑；模糊邏輯控制模塊根據(jù)機器人與障礙物的距離計算出機器人的移動速度；機器人控制模塊根據(jù)最優(yōu)路徑和機器人移動速度控制機器人向人臉目標位置移動。
13.根據(jù)權利要求12所述的機器人的主動視覺人臉跟蹤方法，所述測距傳感器為聲納傳感器或激光測距儀。
全文摘要
本發(fā)明公開一種機器人的主動視覺人臉跟蹤方法和跟蹤系統(tǒng)，跟蹤方法包括如下步驟(1)移動機器人通過主動攝像機獲取環(huán)境信息圖像并檢測人臉目標；(2)檢測到人臉目標后，機器人對人臉目標進行跟蹤，并通過主動攝像機和機器人移動將人臉目標保持在圖像中心。跟蹤系統(tǒng)包括主動攝像機、圖像跟蹤模塊、運動跟蹤模塊、層級緩沖模塊和狀態(tài)反饋模塊。本發(fā)明實現(xiàn)了機器人的人臉自動檢測與跟蹤，通過圖像跟蹤和運動跟蹤的結合，解決了圖像視角較小的局限性，建立了移動機器人基于主動視覺的感知-運動環(huán)。使得人臉跟蹤的移動范圍擴展到360°，保證了跟蹤范圍的全方位擴展。兩層的緩沖區(qū)域保證了跟蹤的連續(xù)性，使人臉目標始終保持在圖像中心。
文檔編號G05D1/02GK102411368SQ201110207529
公開日2012年4月11日 申請日期2011年7月22日 優(yōu)先權日2011年7月22日
發(fā)明者丁潤偉, 劉宏, 趙浩 申請人:北京大學