基于眼球跟蹤的無人機地面站控制方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于眼球跟蹤的無人機地面站控制方法，包括：預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件；判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件；當滿足時，開啟眼球動作采集模式以采集當前眼球動作；比對當前眼球動作是否符合啟動條件；根據(jù)比對結(jié)果啟動對應(yīng)的控制模式以實現(xiàn)對無人機地面站的控制。與現(xiàn)有技術(shù)相比，本發(fā)明的控制方法在實現(xiàn)對無人機地面站甚至地面站對無人機發(fā)送控制指令以對其進行控制時，引入了眼球跟蹤控制，提高了地面站控制的安全性及操作的便利性，減少了誤操作，從而提高了操作的準確性。本發(fā)明同時公開了一種基于眼球跟蹤的無人機地面站控制系統(tǒng)。
【專利說明】
基于眼球跟蹤的無人機地面站控制方法及其系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及無人機地面站的控制技術(shù)領(lǐng)域，更具體地涉及一種基于眼球跟蹤的無人機地面站控制方法及其系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)階段，無人機的飛行控制多采用地面站控制系統(tǒng)向無人機飛控系統(tǒng)發(fā)送控制命令來實現(xiàn)的，因此，對地面站控制系統(tǒng)的操作及控制顯得尤為重要。但，目前對無人機地面站的操作大都是人為手動完成，由于誤點擊或其它原因可能頻繁引發(fā)誤操作，且某些地面站系統(tǒng)在發(fā)送控制命令前要求進行二次確認，多次點擊又給操作帶來不便。
[0003]因此，有必要提供一種全新的、基于眼球跟蹤的無人機地面站控制方法及其系統(tǒng)來克服上述缺陷。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于眼球跟蹤的無人機地面站控制方法及其系統(tǒng)，以減少誤操作、保證操作的準確性及提高操作的便利性。
[0005]為實現(xiàn)上述目的，本發(fā)明提供了一種基于眼球跟蹤的無人機地面站控制方法，包括:
[0006]預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件；
[0007]判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件；
[0008]當滿足時，開啟眼球動作采集模式以采集當前眼球動作；
[0009]比對當前眼球動作是否符合啟動條件；
[0010]根據(jù)比對結(jié)果啟動對應(yīng)的控制模式以實現(xiàn)對無人機地面站的控制。
[0011]與現(xiàn)有技術(shù)相比，本發(fā)明的控制方法先預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件，再判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件，當滿足時，則開啟眼球動作采集模式以采集當前眼球動作，之后比對當前眼球動作是否滿足啟動條件，最后根據(jù)比對結(jié)果啟動對應(yīng)的控制模式；即，本發(fā)明在實現(xiàn)對無人機地面站甚至地面站對無人機發(fā)送控制指令以對其進行控制時，引入了眼球跟蹤控制，提高了地面站控制的安全性及操作的便利性，減少了誤操作，從而提高了操作的準確性。
[0012]具體地，無人機操作環(huán)境條件包括無人機處于地面站的程序控制狀態(tài)、無人機的衛(wèi)星數(shù)目及各傳感器狀態(tài)正常;地面站操作環(huán)境條件包括地面站與無人機處于正常通信狀態(tài);啟動條件包括眼球關(guān)注點離開地面站的屏幕、眼球關(guān)注點停留于所述屏幕、兩次眨眼動作以及眼球關(guān)注點在屏幕上一次來回橫向掃動;控制模式包括安全模式、解鎖模式、確定模式及取消模式。
[0013]具體地，預設(shè)各個控制模式的啟動條件具體包括:
[0014]開啟眼球動作采集模式以采集初始眼球動作；
[0015]采集結(jié)束后，通過地面站的系統(tǒng)在屏幕上復現(xiàn)跟蹤的初始眼球動作；
[0016]對初始眼球動作進行確認并存儲；
[0017]根據(jù)存儲的初始眼球動作設(shè)置各個控制模式的啟動條件。
[0018]具體地，根據(jù)比對結(jié)果啟動對應(yīng)的控制模式具體包括:
[0019]當比對結(jié)果為眼球關(guān)注點離開地面站的屏幕時，啟動安全模式；
[0020]當比對結(jié)果為眼球關(guān)注點停留于屏幕時，啟動解鎖模式；
[0021 ]當比對結(jié)果為兩次眨眼動作時，啟動確定模式；
[0022]當比對結(jié)果為眼球關(guān)注點在屏幕上一次來回橫向掃動時，啟動取消模式。
[0023]相應(yīng)地，本發(fā)明還提供了一種基于眼球跟蹤的無人機地面站控制系統(tǒng)，包括:
[0024]預設(shè)模塊，用于預設(shè)無人機和地面站操作環(huán)境條件及各個控制模式的啟動條件；
[0025]判斷模塊，用于判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件；
[0026]采集模塊，用于當前狀態(tài)滿足操作環(huán)境條件時、開啟眼球動作采集模式以采集當前眼球動作；
[0027]比對模塊，用于比對當前眼球動作是否符合啟動條件；
[0028]啟動模塊，用于根據(jù)比對結(jié)果啟動對應(yīng)的控制模式以實現(xiàn)對無人機地面站的控制。
[0029]具體地，無人機操作環(huán)境條件包括無人機處于地面站的程序控制狀態(tài)、無人機的衛(wèi)星數(shù)目及各傳感器狀態(tài)正常;地面站操作環(huán)境條件包括地面站與無人機處于正常通信狀態(tài);啟動條件包括眼球關(guān)注點離開地面站的屏幕、眼球關(guān)注點停留于屏幕、兩次眨眼動作以及眼球關(guān)注點在屏幕上一次來回橫向掃動;控制模式包括安全模式、解鎖模式、確定模式及取消模式。
[0030]較佳地，該系統(tǒng)還包括存儲模塊，其中，預設(shè)各個控制模式的啟動條件具體包括:[0031 ]采集模塊開啟眼球動作采集模式以采集初始眼球動作；
[0032]采集結(jié)束后，通過地面站的系統(tǒng)在屏幕上復現(xiàn)跟蹤的初始眼球動作；
[0033]存儲模塊對初始眼球動作進行確認并存儲；
[0034]根據(jù)存儲的初始眼球動作設(shè)置各個控制模式的啟動條件。
[0035]具體地，根據(jù)比對結(jié)果啟動對應(yīng)的控制模式具體包括:
[0036]當比對結(jié)果為眼球關(guān)注點離開地面站的屏幕時，啟動安全模式；
[0037]當比對結(jié)果為眼球關(guān)注點停留于屏幕時，啟動解鎖模式；
[0038]當比對結(jié)果為兩次眨眼動作時，啟動確定模式；
[0039]當比對結(jié)果為眼球關(guān)注點在屏幕上一次來回橫向掃動時，啟動取消模式。
[0040]可選地，采集模塊為地面站的攝像裝置，比對模塊為地面站的主處理器，存儲模塊為地面站的內(nèi)部存儲設(shè)備。
[0041]通過以下的描述并結(jié)合附圖，本發(fā)明將變得更加清晰，這些附圖用于解釋本發(fā)明的實施例。
【附圖說明】
[0042]圖1為本發(fā)明基于眼球跟蹤的無人機地面站控制方法的主流程圖。
[0043]圖2為預設(shè)各個控制模式的啟動條件的流程圖。
[0044]圖3為本發(fā)明基于眼球跟蹤的無人機地面站控制系統(tǒng)的結(jié)構(gòu)框圖。
【具體實施方式】
[0045]現(xiàn)在參考附圖描述本發(fā)明的實施例，附圖中類似的元件標號代表類似的元件。
[0046]請參考圖1，本發(fā)明基于眼球跟蹤的無人機地面站控制方法具體包括:
[0047]SlOl，預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件。其中，無人機的操作環(huán)境條件為:首先，處于程序控制狀態(tài)，即無人機可通過地面站進行控制，否則無人機不響應(yīng)地面站控制，同樣也不響應(yīng)眼球控制;其次，無人機衛(wèi)星數(shù)目以及各傳感器狀態(tài)正常，無人機狀態(tài)正常才能保證飛行安全。地面站的操作環(huán)境條件為:地面站與無人機處于正常通信狀態(tài)，能夠?qū)o人機進行程序控制?？刂颇Ｊ桨ò踩Ｊ?、解鎖模式、確定模式及取消模式。而啟動條件則包括眼球關(guān)注點離開地面站的屏幕、眼球關(guān)注點停留于屏幕、兩次眨眼動作以及眼球關(guān)注點在屏幕上一次來回橫向掃動。
[0048]具體地，請參考圖2，預設(shè)各個控制模式的啟動條件具體包括:
[0049]S201，開啟眼球動作采集模式以采集初始眼球動作；
[0050]S202，采集結(jié)束后，通過地面站的系統(tǒng)在屏幕上復現(xiàn)跟蹤的初始眼球動作；
[0051 ] S203，對初始眼球動作進行確認并存儲；
[0052]S204，根據(jù)存儲的初始眼球動作設(shè)置各個控制模式的啟動條件。
[0053]需要說明的是，圖2所示方法即提供了一種用戶自定義動作和命令的方法，該方法提供了一種全新的地面站控制交互方式，從而給用戶帶來了全新的體驗效果。且，除了通過圖2所示方法設(shè)置啟動條件外，用戶還可從互聯(lián)網(wǎng)上或其它途徑獲取可植入地面站控制系統(tǒng)的其它眼球動作。
[0054]S102，判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件，當滿足時，則執(zhí)行步驟S103，反之，則重復步驟S102。
[0055]S103，開啟眼球動作采集模式以采集當前眼球動作。
[0056]S104，比對當前眼球動作是否符合啟動條件。
[0057]S105，根據(jù)比對結(jié)果啟動對應(yīng)的控制模式以實現(xiàn)對無人機地面站的控制。
[0058]具體地，對S104及S105做如下說明:采集當前眼球動作后，判定邏輯為眼球關(guān)注點是否在屏幕內(nèi)，若關(guān)注點不在屏幕，則不進行眼球其它動作的判定，直接判定為用戶未關(guān)注地面站，所有操作指令被屏蔽，借此防止地面站的誤操作;若眼球關(guān)注點在屏幕，則進行眼球動作與預定義眼球動作(即啟動條件)的比對。也就是說，在判斷出操作環(huán)境條件滿足且眼球關(guān)注點在屏幕時，開始進行眼球動作比對，若成功，則執(zhí)行相應(yīng)控制模式動作，若失敗則不執(zhí)行任何操作。具體地，眼球關(guān)注點離開地面站的屏幕時，啟動安全模式，鎖定屏幕，不響應(yīng)任何操作；眼球關(guān)注點停留在屏幕時，啟動解鎖模式，可響應(yīng)控制指令;兩次眨眼為確認命令，啟動確定模式，在起飛、降落等需要二次確認的命令被操作前彈出確認對話框，重復眨眼兩次被認定為對該命令的確認，命令執(zhí)行，從而采用兩次眨眼動作取代了傳統(tǒng)點擊對話框的方式;眼球關(guān)注點在屏幕一次來回橫向掃動時啟動取消模式，用于地面站需要點擊取消的操作，具體為彈出對話框執(zhí)行取消命令，同樣地，在執(zhí)行取消操作時，也是通過采用橫掃屏幕的眼球動作取代了傳動點擊對話框的方式。需要說明的是，確認、取消等命令也可通過手動操作完成。
[0059]相應(yīng)地，請參考圖3，本發(fā)明還提供了一種基于眼球跟蹤的無人機地面站控制系統(tǒng)，包括:
[0060]預設(shè)模塊10，用于預設(shè)無人機和地面站操作環(huán)境條件及各個控制模式的啟動條件。其中，操作環(huán)境條件及啟動條件已在前進行了詳細描述，故在此不再贅述。此外，預設(shè)各個控制模式的啟動條件的具體過程也已在圖2中進行的詳述，同樣在此不再贅述。
[0061]判斷模塊12，用于判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件。
[0062]采集模塊14，用于當前狀態(tài)滿足操作環(huán)境條件時、開啟眼球動作采集模式以采集當前眼球動作。需要說明的是，在本實施例中，采集模塊14由具有圖像采集和距離測量的攝像系統(tǒng)組成。人眼位置，動作，以及人眼距離屏幕距離可由采集系統(tǒng)采集并傳入地面站的計算機處理系統(tǒng)。
[0063]比對模塊16，用于比對當前眼球動作是否符合啟動條件。需要說明的是，本實施例中的比對模塊16為地面站的主處理器，其對操作人的眼球位置、距離屏幕距離及人眼動作進行計算，判斷眼球?qū)嶋H注視位置和動作，與內(nèi)部預設(shè)的眼球動作進行比對。在無人機和地面控制系統(tǒng)的操作環(huán)境滿足時，眼球動作比對系統(tǒng)開始工作。眼球動作比對系統(tǒng)分為兩層優(yōu)先級:第一優(yōu)先級為判斷人眼關(guān)注點是否在屏幕，若關(guān)注點不在屏幕，地面控制系統(tǒng)鎖定，所有操作不響應(yīng)，也不進行其它動作比對;第二優(yōu)先級為判斷人眼關(guān)注點在屏幕，則屏幕解鎖，可以進行控制，同時進行人眼動作比對，比對成功觸發(fā)對應(yīng)操作。
[0064]啟動模塊18，用于根據(jù)比對結(jié)果啟動對應(yīng)的控制模式以實現(xiàn)對無人機地面站的控制。具體地，比對結(jié)果為眼球關(guān)注點離開地面站的屏幕時，啟動安全模式，鎖定屏幕，不響應(yīng)任何操作；比對結(jié)果為眼球關(guān)注點停留在屏幕時，啟動解鎖模式，可響應(yīng)控制指令；比對結(jié)果為兩次眨眼時為確認命令，啟動確定模式，在起飛、降落等需要二次確認的命令被操作前彈出確認對話框，重復眨眼兩次被認定為對該命令的確認，命令執(zhí)行；比對結(jié)果為眼球關(guān)注點在屏幕一次來回橫向掃動時啟動取消模式，用于地面站需要點擊取消的操作，具體為彈出對話框執(zhí)行取消命令。需要說明的是，確認、取消等命令也可通過手動操作完成。
[0065]進一步地，本發(fā)明的控制系統(tǒng)還包括存儲模塊20，在本實施例中，該存儲模塊20由地面站的內(nèi)部存儲設(shè)備擔任，用戶進行眼球動作存儲操作，并且確認存儲后，該眼球動作命名后被存儲至設(shè)備內(nèi)存，之后進行地面站控制系統(tǒng)使用時該動作參與到用戶眼球動作的比對。同時，也支持名字搜索后對預先存儲的眼球動作的刪除，之后該動作不再參與比對。
[0066]從以上描述可以看出，本發(fā)明的控制方法及其系統(tǒng)先預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件，再判斷當前環(huán)境狀態(tài)是否滿足操作環(huán)境條件，當滿足時，則開啟眼球動作采集模式以采集當前眼球動作，之后比對當前眼球動作是否滿足啟動條件，最后根據(jù)比對結(jié)果啟動對應(yīng)的控制模式；即，本發(fā)明在實現(xiàn)對無人機地面站甚至地面站對無人機發(fā)送控制指令以對其進行控制時，引入了眼球跟蹤控制，提高了地面站控制的安全性及操作的便利性，減少了誤操作，從而提高了操作的準確性。
[0067]此外，本發(fā)明為無人機地面控制系統(tǒng)引入眼球位置跟蹤控制，增加了一種新的交互方式，還可應(yīng)用于其它控制操作中，提供了極大的便利性。具體地，利用眼球關(guān)注點是否在屏幕內(nèi)，提供安全鎖定和解鎖控制兩種模式，避免了在無人機控制中出現(xiàn)的誤操作等。且，對于該兩種模式，地面站控制系統(tǒng)可采用指示燈進行指令響應(yīng)，同時用重復眨眼(兩次眨眼)和眼光橫向掃視屏幕以取代對話框的單擊，從而提高了便捷性。
[0068]以上結(jié)合最佳實施例對本發(fā)明進行了描述，但本發(fā)明并不局限于以上揭示的實施例，而應(yīng)當涵蓋各種根據(jù)本發(fā)明的本質(zhì)進行的修改、等效組合。
【主權(quán)項】
1.一種基于眼球跟蹤的無人機地面站控制方法，其特征在于，包括: 預設(shè)無人機和地面站的操作環(huán)境條件及各個控制模式的啟動條件； 判斷當前環(huán)境狀態(tài)是否滿足所述操作環(huán)境條件； 當滿足時，開啟眼球動作采集模式以采集當前眼球動作； 比對所述當前眼球動作是否符合所述啟動條件； 根據(jù)比對結(jié)果啟動對應(yīng)的所述控制模式以實現(xiàn)對無人機地面站的控制。2.如權(quán)利要求1所述的控制方法，其特征在于，所述無人機操作環(huán)境條件包括無人機處于所述地面站的程序控制狀態(tài)、所述無人機的衛(wèi)星數(shù)目及各傳感器狀態(tài)正常;所述地面站操作環(huán)境條件包括所述地面站與無人機處于正常通信狀態(tài);所述啟動條件包括眼球關(guān)注點離開所述地面站的屏幕、所述眼球關(guān)注點停留于所述屏幕、兩次眨眼動作以及所述眼球關(guān)注點在所述屏幕上一次來回橫向掃動;所述控制模式包括安全模式、解鎖模式、確定模式及取消模式。3.如權(quán)利要求2所述的控制方法，其特征在于，預設(shè)各個控制模式的啟動條件具體包括: 開啟所述眼球動作采集模式以采集初始眼球動作； 采集結(jié)束后，通過所述地面站的系統(tǒng)在所述屏幕上復現(xiàn)跟蹤的所述初始眼球動作； 對所述初始眼球動作進行確認并存儲； 根據(jù)存儲的所述初始眼球動作設(shè)置各個控制模式的所述啟動條件。4.如權(quán)利要求3所述的控制方法，其特征在于，根據(jù)比對結(jié)果啟動對應(yīng)的所述控制模式具體包括: 當比對結(jié)果為所述眼球關(guān)注點離開所述地面站的屏幕時，啟動所述安全模式； 當比對結(jié)果為所述眼球關(guān)注點停留于所述屏幕時，啟動所述解鎖模式； 當比對結(jié)果為兩次眨眼動作時，啟動所述確定模式； 當比對結(jié)果為所述眼球關(guān)注點在所述屏幕上一次來回橫向掃動時，啟動所述取消模式。5.一種基于眼球跟蹤的無人機地面站控制系統(tǒng)，其特征在于，包括: 預設(shè)模塊，用于預設(shè)無人機和地面站操作環(huán)境條件及各個控制模式的啟動條件； 判斷模塊，用于判斷當前環(huán)境狀態(tài)是否滿足所述操作環(huán)境條件； 采集模塊，用于當前狀態(tài)滿足所述操作環(huán)境條件時、開啟眼球動作采集模式以采集當前眼球動作； 比對模塊，用于比對所述當前眼球動作是否符合所述啟動條件； 啟動模塊，用于根據(jù)比對結(jié)果啟動對應(yīng)的所述控制模式以實現(xiàn)對無人機地面站的控制。6.如權(quán)利要求5所述的控制系統(tǒng)，其特征在于，所述無人機操作環(huán)境條件包括無人機處于所述地面站的程序控制狀態(tài)、所述無人機的衛(wèi)星數(shù)目及各傳感器狀態(tài)正常;所述地面站操作環(huán)境條件包括所述地面站與無人機處于正常通信狀態(tài);所述啟動條件包括眼球關(guān)注點離開所述地面站的屏幕、所述眼球關(guān)注點停留于所述屏幕、兩次眨眼動作以及所述眼球關(guān)注點在所述屏幕上一次來回橫向掃動;所述控制模式包括安全模式、解鎖模式、確定模式及取消模式。7.如權(quán)利要求6所述的控制系統(tǒng)，其特征在于，還包括存儲模塊，其中，預設(shè)各個控制模式的啟動條件具體包括: 所述采集模塊開啟所述眼球動作采集模式以采集初始眼球動作； 采集結(jié)束后，通過所述地面站的系統(tǒng)在所述屏幕上復現(xiàn)跟蹤的所述初始眼球動作； 所述存儲模塊對所述初始眼球動作進行確認并存儲； 根據(jù)存儲的所述初始眼球動作設(shè)置各個控制模式的所述啟動條件。8.如權(quán)利要求7所述的控制系統(tǒng)，其特征在于，根據(jù)比對結(jié)果啟動對應(yīng)的所述控制模式具體包括: 當比對結(jié)果為所述眼球關(guān)注點離開所述地面站的屏幕時，啟動所述安全模式； 當比對結(jié)果為所述眼球關(guān)注點停留于所述屏幕時，啟動所述解鎖模式； 當比對結(jié)果為兩次眨眼動作時，啟動所述確定模式； 當比對結(jié)果為所述眼球關(guān)注點在所述屏幕上一次來回橫向掃動時，啟動所述取消模式。9.如權(quán)利要求8所述的控制系統(tǒng)，其特征在于，所述采集模塊為所述地面站的攝像裝置，所述比對模塊為所述地面站的主處理器，所述存儲模塊為所述地面站的內(nèi)部存儲設(shè)備。
【文檔編號】G06F3/01GK105867410SQ201610213619
【公開日】2016年8月17日
【申請日】2016年4月6日
【發(fā)明人】吳鎮(zhèn)平, 陳旭智
【申請人】東莞北京航空航天大學研究院