諸如無人飛行器(UAV)等飛行器可以用于執(zhí)行監(jiān)視、偵查和勘探任務(wù)以供軍事和民用應(yīng)用。這樣的飛行器可以攜帶被配置用于執(zhí)行特定功能的負載(payload)。
當在環(huán)境中導(dǎo)航時,典型的UAV可能與外部系統(tǒng)通信。UAV可能在導(dǎo)航信號(諸如來自全球定位軟件(GPS)信號的信號)較弱的環(huán)境中操作。這可能對UAV的自主導(dǎo)航帶來挑戰(zhàn)。
技術(shù)實現(xiàn)要素:
需要提供一種無需依賴于諸如全球定位軟件(GPS)信號等導(dǎo)航傳感器的信號強度和可靠性而在環(huán)境中導(dǎo)航無人飛行器(UAV)的方法。本文提供了用于在環(huán)境中定位和導(dǎo)航UAV的系統(tǒng)和方法。所述系統(tǒng)和方法還提供了向UAV傳送方向以供監(jiān)視和導(dǎo)航用途的能力??梢栽诃h(huán)境中提供標記以輔助UAV導(dǎo)航。所述標記可以是視覺標記,其可以允許UAV獲得其方位和/或向所述UAV傳送指令。
在本公開內(nèi)容的一方面,一種用于進行環(huán)境監(jiān)視的方法包括在所述環(huán)境內(nèi)定位無人飛行器(UAV),其中所述定位通過以下方式來確定:使用所述UAV的一個或多個視覺傳感器檢測具有視覺圖案并附著至所述環(huán)境內(nèi)的一個或多個表面的一個或多個視覺標記;以及使用所述UAV的一個或多個傳感器來收集所述環(huán)境內(nèi)的視覺圖像和/或音頻數(shù)據(jù),從而進行所述環(huán)境監(jiān)視。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是在其中全球定位系統(tǒng)(GPS)信號不可靠的環(huán)境。所述UAV的定位可以包括確定所述UAV在三維空間中的位置。
在一些實施方式中,所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于一個或多個視覺標記的定位。所述一個或多個視覺標記可以包括具有包括正方形的視覺圖案的帶。所述視覺圖案可以包括不同顏色的正方形。所述正方形的頂點可以被檢測并用于計算所述視覺圖案的所述部分的尺寸。
所述方法還可以包括借助于一個或多個處理器,基于所述視覺圖案來確定所述UAV在三維坐標系內(nèi)的位置。所述三維坐標系可以是全局坐標系。所述三維坐標系可以是局部坐標系。
所述方法還可以包括辨別所述視覺圖案并由所述UAV基于辨別出的視覺圖案來實現(xiàn)響應(yīng)。
在一些情況下,定位可以包括使用(1)所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、(2)視覺標記的已知位置以及(3)由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點來計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置。
所述一個或多個視覺傳感器中的至少一個可以是相機。所述UAV可以在自主移動的同時在所述環(huán)境內(nèi)進行監(jiān)視。所述UAV的定位可以借助于所述UAV機載的一個或多個處理器而發(fā)生。
在一些實施方式中,所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。
可以借助于紅外檢測器或雷達檢測器來確定定位。
在本公開內(nèi)容的一方面,一種定位無人飛行器(UAV)的方法可以包括:在所述UAV飛行的同時,借助于所述UAV的一個或多個視覺傳感器來捕捉包括視覺標記的圖像,所述視覺標記具有視覺圖案并附著至所述環(huán)境內(nèi)的表面;計算所述圖像中的所述視覺標記的所述視覺圖案的至少一部分的尺寸;以及借助于一個或多個處理器,基于所述視覺圖案的所述部分的尺寸來確定所述UAV在三維坐標系內(nèi)的位置。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是全球定位系統(tǒng)(GPS)信號不可靠所在的環(huán)境。
在一些實施方式中,所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述尺寸可以是在所述視覺圖案中的形狀的頂點之間。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于一個或多個視覺標記的定位。所述一個或多個視覺標記可以包括具有包括正方形的視覺圖案的帶。所述視覺圖案可以包括不同顏色的正方形。所述正方形的頂點可以被檢測并用于計算所述視覺圖案的所述部分的尺寸。
所述方法還可以包括借助于一個或多個處理器,基于所述視覺圖案來確定所述UAV在三維坐標系內(nèi)的位置。所述三維坐標系可以是全局坐標系。所述三維坐標系可以是局部坐標系。
所述方法還可以包括辨別所述視覺圖案并由所述UAV基于辨別出的視覺圖案來實現(xiàn)響應(yīng)。
在一些情況下,定位可以包括使用(1)所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、(2)視覺標記的已知位置以及(3)由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點來計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置。所述尺寸可以用于計算所述UAV距所述視覺標記的距離。所述尺寸可以用于計算所述UAV相對于所述視覺標記的角度。
所述一個或多個視覺傳感器中的至少一個可以是相機。當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以正自主地巡邏所述環(huán)境。一個或多個處理器可以是所述UAV機載的。
在一些實施方式中,所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。
所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。
可以借助于紅外檢測器或雷達檢測器來確定定位。
在本公開內(nèi)容的一方面,一種在環(huán)境內(nèi)定位無人飛行器(UAV)的系統(tǒng)可以包括:所述UAV的一個或多個視覺傳感器,其被配置用于在所述UAV飛行的同時捕捉包括視覺標記的圖像,所述視覺標記具有視覺圖案并附著至所述環(huán)境內(nèi)的表面;以及一個或多個處理器,其被單獨地或共同地配置用于:(1)計算所述圖像中的所述視覺標記的所述視覺圖案的至少一部分的尺寸;以及(2)基于所述視覺圖案的所述部分的尺寸,確定所述UAV在三維坐標系內(nèi)的位置。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是在其中GPS信號不可靠的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述標記尺寸可以是在所述視覺圖案中的形狀的頂點之間。所述視覺標記可以是具有包括正方形的視覺圖案的帶。所述視覺圖案可以包括不同顏色的正方形。所述正方形的頂點可以被檢測并用于計算所述視覺圖案的所述部分的尺寸。所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系。可以辨別所述視覺圖案,并且可以由所述UAV基于辨別出的視覺圖案來實現(xiàn)響應(yīng)。
所述一個或多個處理器可被配置用于使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點來計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置。
所述一個或多個視覺傳感器中的至少一個可以是相機。所述尺寸可以用于計算所述UAV距所述視覺標記的距離。所述尺寸可以用于計算所述UAV相對于所述視覺標記的角度。
當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述一個或多個處理器可以是所述UAV機載的。所述UAV還可被配置用于借助所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。
可以借助于紅外檢測器或雷達檢測器來確定定位。
在本公開內(nèi)容的另一方面,一種在環(huán)境內(nèi)定位無人飛行器(UAV)的方法可以包括:在所述UAV飛行的同時,借助于所述UAV的一個或多個視覺傳感器來捕捉包括視覺標記的圖像,所述視覺標記具有所述環(huán)境內(nèi)的唯一視覺圖案并附著至所述環(huán)境內(nèi)的表面;基于所述圖像中的所述視覺標記的所述唯一視覺圖案,從多個不同的標記中辨別和區(qū)分所述視覺標記,其中辨別出的視覺標記具有已知位置,所述已知位置不同于所述多個不同的標記的位置;以及借助于一個或多個處理器,基于辨別出的視覺標記的所述已知位置來確定所述UAV在三維坐標系內(nèi)的位置。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是在其中GPS信號不可靠的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述方法還可以包括計算所述圖像中的所述視覺標記的所述唯一視覺圖案的至少一部分的尺寸;以及借助于所述一個或多個處理器,基于所述唯一視覺圖案的所述部分的尺寸來確定UAV在所述三維坐標系內(nèi)的位置。
所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系。
所述方法還可以包括辨別所述視覺圖案并由所述UAV基于辨別出的視覺圖案來實現(xiàn)響應(yīng)。
所述方法還可以包括通過使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置來在所述環(huán)境內(nèi)定位所述UAV。
所述一個或多個處理器可以是所述UAV機載的。當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。
可以借助于紅外檢測器或雷達檢測器來確定定位。
在本公開內(nèi)容的另一方面,一種用于在環(huán)境內(nèi)定位無人飛行器(UAV)的系統(tǒng)可以包括:所述UAV的一個或多個視覺傳感器,其被配置用于在所述UAV飛行的同時捕捉包括視覺標記的圖像,所述視覺標記具有所述環(huán)境內(nèi)的唯一視覺圖案并附著至所述環(huán)境內(nèi)的表面;以及一個或多個處理器,其被單獨地或共同地配置用于:基于所述圖像中的所述視覺標記的所述唯一視覺圖案,從多個不同的標記中辨別和區(qū)分所述視覺標記,其中辨別出的視覺標記具有已知位置,所述已知位置不同于所述多個不同的標記的位置;以及基于辨別出的視覺標記的所述已知位置,確定所述UAV在三維坐標系內(nèi)的位置。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是GPS信號不可靠所在的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過1000cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述一個或多個處理器可被配置用于計算所述圖像中的所述視覺標記的所述唯一視覺圖案的至少一部分的尺寸;以及基于所述唯一視覺圖案的所述部分的尺寸,確定UAV在所述三維坐標系內(nèi)的位置。
所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系。
可以辨別所述視覺圖案,并且可以由所述UAV基于辨別出的視覺圖案來實現(xiàn)響應(yīng)。
所述一個或多個處理器可被配置用于使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點來計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置。
所述一個或多個視覺傳感器中的至少一個可以是相機。當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。一個或多個處理器可以是所述UAV機載的??梢越柚诩t外檢測器或雷達檢測器來確定定位。
在本公開內(nèi)容的另一方面,一種在環(huán)境內(nèi)定位無人飛行器(UAV)的方法可以包括:在所述UAV飛行的同時,借助于所述UAV的一個或多個視覺傳感器來捕捉包括視覺標記的圖像,所述視覺標記具有視覺圖案;借助于一個或多個處理器,從多個不同的圖案中辨別和區(qū)分所述視覺圖案,其中辨別出的視覺圖案引發(fā)來自所述UAV的響應(yīng),所述響應(yīng)不同于由所述多個不同的圖案引發(fā)的響應(yīng);以及由所述UAV實現(xiàn)對所述視覺標記的辨別出的視覺圖案的響應(yīng)。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是GPS信號不可靠所在的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述響應(yīng)可以獨立于所述UAV的飛行。所述響應(yīng)可以包括調(diào)整所述UAV的負載的位置。所述負載可以是所述UAV機載的相機。所述響應(yīng)可以包括捕捉選定主體的圖像。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定時間量內(nèi)。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定距離內(nèi)。所述響應(yīng)可以包括改變所述UAV的姿態(tài)。所述響應(yīng)可以包括使所述UAV在特定的方向上和/或以特定的速度飛行。所述響應(yīng)可以包括使所述UAV飛上樓梯或飛下樓梯。所述響應(yīng)可以影響所述UAV的飛行。所述響應(yīng)可以包括使所述UAV的飛行遵循一組預(yù)設(shè)指令。在一些情況下,所述視覺標記是帶,并且所述響應(yīng)包括使所述UAV的飛行遵循所述帶。
所述方法還可以包括計算所述圖像中的所述視覺標記的所述唯一視覺圖案的至少一部分的尺寸;以及借助于所述一個或多個處理器,基于所述唯一視覺圖案的所述部分的尺寸來確定UAV在所述三維坐標系內(nèi)的位置。
所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系。可以通過采用N點透視(PNP)算法來計算所述UAV的局部坐標。
所述方法還可以包括通過使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置來定位所述UAV。所述一個或多個視覺傳感器中的至少一個可以是相機。
所述一個或多個處理器可以是所述UAV機載的。當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。所述定位還可以借助于紅外檢測器或雷達檢測器來確定。
在本發(fā)明的另一方面,一種用于在環(huán)境內(nèi)定位無人飛行器(UAV)的系統(tǒng)可以包括:所述UAV的一個或多個視覺傳感器,其被配置用于在所述UAV飛行的同時捕捉包括視覺標記的圖像,所述視覺標記具有視覺圖案;以及一個或多個處理器,其被單獨地或共同地配置用于:(1)借助于一個或多個處理器,從多個不同的圖案中辨別和區(qū)分所述視覺圖案,其中辨別出的視覺圖案引發(fā)來自所述UAV的響應(yīng),所述響應(yīng)不同于由所述多個不同的圖案引發(fā)的響應(yīng);以及(2)由所述UAV實現(xiàn)對所述視覺標記的辨別出的視覺圖案的響應(yīng)。
所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是在其中GPS信號不可靠的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述響應(yīng)可以獨立于所述UAV的飛行。所述響應(yīng)可以包括調(diào)整所述UAV的負載的位置。所述負載可以是所述UAV機載的相機。所述響應(yīng)可以包括捕捉選定主體的圖像。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定時間量內(nèi)。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定距離內(nèi)。所述響應(yīng)可以包括改變所述UAV的姿態(tài)。所述響應(yīng)可以包括使所述UAV在特定的方向上和/或以特定的速度飛行。所述響應(yīng)可以包括使所述UAV飛上樓梯或飛下樓梯。所述響應(yīng)可以影響所述UAV的飛行。所述響應(yīng)可以包括使所述UAV的飛行遵循一組預(yù)設(shè)指令。在一些情況下,所述視覺標記是帶,并且所述響應(yīng)包括使所述UAV的飛行遵循所述帶。
所述系統(tǒng)還可以包括計算所述圖像中的所述視覺標記的所述視覺圖案的至少一部分的尺寸;以及借助于所述一個或多個處理器,基于所述視覺圖案的所述部分的尺寸來確定UAV在所述三維坐標系內(nèi)的位置。
所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系??梢酝ㄟ^采用N點透視(PNP)算法來計算所述UAV的局部坐標。
所述一個或多個處理器被配置用于使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點來計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置。所述一個或多個視覺傳感器中的至少一個可以是相機。
當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述一個或多個處理器可以是所述UAV機載的。所述系統(tǒng)還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。所述定位還可以借助于紅外檢測器或雷達檢測器來確定。
在本公開內(nèi)容的另一方面,一種在環(huán)境內(nèi)定位無人飛行器(UAV)的方法可以包括:在所述環(huán)境內(nèi)提供多個視覺標記,其中所述環(huán)境內(nèi)的所述視覺標記中的每一個具有對于所述環(huán)境是唯一的視覺圖案;在所述UAV在所述環(huán)境內(nèi)飛行的同時,借助于所述UAV的一個或多個視覺傳感器來捕捉包括檢測到的視覺標記的圖像,所述視覺標記具有從所述多個視覺標記辨別出的視覺圖案;借助于一個或多個處理器,由所述UAV來實現(xiàn)對具有辨別出的視覺圖案的檢測到的視覺標記的導(dǎo)航響應(yīng)。
所述導(dǎo)航響應(yīng)可以包括確定所述UAV在三維坐標系中的位置。所述導(dǎo)航響應(yīng)可以包括使所述UAV根據(jù)一組預(yù)設(shè)飛行命令飛行。所述導(dǎo)航響應(yīng)可以包括使所述UAV飛行至相對于所述檢測到的視覺標記的預(yù)定位置。所述導(dǎo)航響應(yīng)可以包括使所述UAV飛行至一位置,所述UAV的所述一個或多個視覺傳感器被配置用于從所述位置捕捉與所述檢測到的視覺標記不同的視覺標記的圖像。所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是全球定位系統(tǒng)(GPS)信號不可靠所在的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述響應(yīng)可以獨立于所述UAV的飛行。所述響應(yīng)可以包括調(diào)整所述UAV的負載的位置。所述負載可以是所述UAV機載的相機。所述響應(yīng)可以包括捕捉選定主體的圖像。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定時間量內(nèi)。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定距離內(nèi)。所述響應(yīng)可以包括改變所述UAV的姿態(tài)。所述響應(yīng)可以包括使所述UAV在特定的方向上和/或以特定的速度飛行。所述響應(yīng)可以包括使所述UAV飛上樓梯或飛下樓梯。所述響應(yīng)可以影響所述UAV的飛行。所述響應(yīng)可以包括使所述UAV的飛行遵循一組預(yù)設(shè)指令。在一些情況下,所述視覺標記是帶,并且所述響應(yīng)包括使所述UAV的飛行遵循所述帶。
所述方法還可以包括計算所述圖像中的所述視覺標記的所述視覺圖案的至少一部分的尺寸;以及借助于所述一個或多個處理器,基于所述視覺圖案的所述部分的尺寸來確定UAV在所述三維坐標系內(nèi)的位置。
所述三維坐標系可以是三維全局坐標系。所述三維坐標系可以是三維局部坐標系??梢酝ㄟ^采用N點透視(PNP)算法來計算所述UAV的局部坐標。
所述方法還可以包括通過使用所述UAV機載的所述一個或多個視覺傳感器的一個或多個固有特性、視覺標記的已知位置以及由所述UAV機載的所述視覺傳感器拍攝的所述視覺標記的圖像中的一組點計算所述UAV相對于所述視覺標記的旋轉(zhuǎn)和位置來在所述環(huán)境內(nèi)定位所述UAV。
所述一個或多個視覺傳感器中的至少一個可以是相機。當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述一個或多個處理器可以是所述UAV機載的。所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。所述定位還可以借助于紅外檢測器或雷達檢測器來確定。
在本公開內(nèi)容的另一方面,一種在環(huán)境內(nèi)定位無人飛行器(UAV)的方法可以包括:在所述環(huán)境內(nèi)提供連續(xù)的視覺標記,其中所述連續(xù)的視覺標記在所述環(huán)境內(nèi)提供路徑;在所述UAV在所述環(huán)境內(nèi)飛行的同時,借助于所述UAV的一個或多個視覺傳感器來捕捉包括具有視覺圖案的所述連續(xù)的視覺標記的至少一部分的圖像;由所述UAV實現(xiàn)飛行響應(yīng),以保持所述連續(xù)的視覺標記處于所述UAV的視距內(nèi)。
所述連續(xù)的標記可以是帶。所述環(huán)境可以是室內(nèi)環(huán)境。所述環(huán)境可以是GPS信號不可靠所在的環(huán)境。所述UAV的重量可以小于1000g并且具有不超過100cm的最大尺寸。
所述視覺圖案中的形狀的頂點可以被檢測并用于計算相對于所述一個或多個視覺標記的定位。所述視覺標記可以是具有包括正方形的唯一視覺圖案的帶。所述唯一視覺圖案可以包括不同顏色的正方形。所述唯一視覺圖案可以包括AprilTag。所述唯一視覺圖案可以包括QR碼。所述唯一視覺圖案可以包括條形碼。
所述響應(yīng)可以獨立于所述UAV的飛行。所述響應(yīng)可以包括調(diào)整所述UAV的負載的位置。所述負載可以是所述UAV機載的相機。所述響應(yīng)可以包括捕捉選定主體的圖像。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定時間量內(nèi)。所述響應(yīng)可以發(fā)生在辨別和區(qū)分所述視覺圖案之后的預(yù)定距離內(nèi)。所述響應(yīng)可以包括改變所述UAV的姿態(tài)。所述響應(yīng)可以包括使所述UAV在特定的方向上和/或以特定的速度飛行。所述響應(yīng)可以包括使所述UAV飛上樓梯或飛下樓梯。所述響應(yīng)可以影響所述UAV的飛行。所述響應(yīng)可以包括使所述UAV的飛行遵循一組預(yù)設(shè)指令。在一些情況下,所述視覺標記是帶,并且所述響應(yīng)包括使所述UAV的飛行遵循所述帶。
當所述一個或多個視覺傳感器捕捉所述圖像時,所述UAV可以自主地巡邏所述環(huán)境。所述方法還可以包括借助于所述UAV機載的一個或多個傳感器來檢測障礙物;以及調(diào)整所述UAV的飛行方向以避開所述障礙物。還可以借助于紅外檢測器或雷達檢測器來確定定位。
通過考察說明書、權(quán)利要求書和附圖,本發(fā)明的其他目的和特征將會變得清楚。
援引并入
本說明書中所提及的所有出版物、專利和專利申請均通過引用而并入本文,其程度猶如具體地和個別地指出要通過引用而并入每一單個出版物、專利或?qū)@暾垺?/p>
附圖說明
在所附權(quán)利要求書中具體闡述了本發(fā)明的新穎特征。通過參考對在其中利用到本發(fā)明原理的說明性實施方式加以闡述的以下詳細描述和附圖,將會對本發(fā)明的特征和優(yōu)勢獲得更好的理解;在附圖中:
圖1示出了被配置用于在環(huán)境中進行監(jiān)視的UAV。
圖2示出了視覺標記的示例。
圖3示出了可以由UAV檢測到的視覺標記的頂點的示例。
圖4示出了具有機載部件的UAV。
圖5示出了UAV從兩個垂直位置檢測視覺標記。
圖6示出了UAV從兩個水平位置檢測視覺標記。
圖7示出了UAV通過基于對視覺標記的檢測來確定位置而檢測和避開障礙物。
圖8示出了UAV排除對視覺標記的誤檢事件。
圖9示出了視覺標記,所述視覺標記包括標志以將指令傳遞給UAV。
圖10示出了UAV沿著一路徑遵循視覺標記帶。
圖11示出了UAV響應(yīng)于來自多個視覺標記的位置指令。
圖12示出了UAV根據(jù)編碼于視覺標記上的信息來解譯環(huán)境。
圖13示出了UAV響應(yīng)于由視覺標記編碼的指令而調(diào)整負載的位置。
圖14示出了根據(jù)本發(fā)明實施方式的無人飛行器。
圖15示出了根據(jù)本發(fā)明實施方式的包括載體和負載的可移動物體。
圖16是根據(jù)本發(fā)明實施方式的用于控制可移動物體的系統(tǒng)的示意圖,所述示意圖通過框圖來說明。
具體實施方式
本發(fā)明的系統(tǒng)、裝置和方法提供了用于自動輔助無人飛行器(UAV)在環(huán)境中導(dǎo)航的定位方法。對UAV的描述可適用于任何其他類型的無人載運工具或者任何其他類型的可移動物體。
可以提供UAV用于巡邏環(huán)境,以收集關(guān)于所述環(huán)境或者所述環(huán)境中一個或多個主體的信息。UAV可以遵循穿過環(huán)境的限定路徑,或者UAV可以遵循非結(jié)構(gòu)化路徑。UAV可以自主地或半自主地跟隨感興趣的主體并且收集關(guān)于所述感興趣的主體的傳感數(shù)據(jù)。傳感數(shù)據(jù)可以是視覺數(shù)據(jù)、音頻數(shù)據(jù)、位置數(shù)據(jù)和/或移動數(shù)據(jù)。位于監(jiān)視環(huán)境中的UAV可以通過通信網(wǎng)絡(luò)而從機外控制中心接收命令。通信網(wǎng)絡(luò)可以是有線的或無線的。在一些情況下,UAV可以從圖案識別機構(gòu)接收通信,所述圖案識別機構(gòu)對放置于環(huán)境中的視覺標記上所編碼的指令進行解譯。
UAV可以收集環(huán)境中的視覺信息??梢允褂靡曈X傳感器來收集視覺信息。在一些情況下,視覺傳感器可以是相機。視覺傳感器還可以用于檢測視覺標記,以確定UAV在環(huán)境中的位置。在一些情況下,一個視覺傳感器可以用于檢測視覺標記和收集環(huán)境中的視覺信息二者。在其他情況下,UAV可以具有至少兩個視覺傳感器,以使得第一視覺傳感器被配置用于檢測視覺標記而第二視覺傳感器被配置用于收集環(huán)境中的視覺信息。視覺傳感器可以位于UAV的機身中,或者視覺傳感器可以是附著至UAV的外部負載。UAV還可以使用音頻傳感器(例如,麥克風(fēng))來收集環(huán)境中的音頻信息。所收集的信息可以被收集并存儲在位于UAV機載或機外的存儲器存儲裝置上。所收集的信息可以由用戶實時地監(jiān)控。備選地,所收集的信息可以在收集之后由用戶存儲在存儲器存儲裝置上并審查。在一些情況下,UAV可以發(fā)出音頻或視覺信號作為對所述UAV已經(jīng)進入或離開指定位置的警告或指示。
可由UAV的一個或多個視覺傳感器檢測的視覺標記可以分布在環(huán)境中。視覺標記可以是或者可以不是可在視覺上彼此區(qū)分的。視覺標記可以位于已知位置處,并且可以用于確定UAV位置。視覺標記還可以用于輔助UAV在環(huán)境中導(dǎo)航和/或在所述環(huán)境內(nèi)執(zhí)行任務(wù)。
UAV可被配置用于在環(huán)境中執(zhí)行監(jiān)視任務(wù),以進行安全評估。UAV可以使用多個傳感器在環(huán)境中收集信息,所述多個傳感器與UAV機載或機外的一個或多個處理器通信。所述處理器可以解譯所收集的信息,以便確定可以指示出危險或不安全條件的事件。當由處理器檢測到危險或不安全條件時,所述處理器可以指令UAV產(chǎn)生警報。
圖1示出了無人飛行器(UAV)101的示例。UAV 101可以具有一個或多個傳感器。UAV 101可以包括一個或多個視覺傳感器102,諸如圖像傳感器。例如,圖像傳感器可以是單目相機、立體視覺相機、雷達、聲吶或紅外相機。UAV 101還可以包括可以用于確定UAV的位置的其他傳感器,諸如全球定位系統(tǒng)(GPS)傳感器、可以用作慣性測量單元(IMU)的一部分或者與其分開的慣性傳感器(例如,加速度計、陀螺儀、磁力計)、激光雷達、超聲傳感器、聲傳感器、WiFi傳感器。UAV可以具有UAV機載的傳感器,所述傳感器直接從環(huán)境中收集信息,而不為了附加信息或處理來聯(lián)系UAV機外的附加部件。例如,直接在環(huán)境中收集數(shù)據(jù)的傳感器可以是視覺傳感器或音頻傳感器。備選地,UAV可以具有UAV機載但與UAV機外的一個或多個部件聯(lián)系以收集關(guān)于環(huán)境的數(shù)據(jù)的傳感器。例如,聯(lián)系UAV機外的部件以收集關(guān)于環(huán)境的數(shù)據(jù)的傳感器可以是GPS傳感器或依賴于到另一裝置(諸如衛(wèi)星、塔、路由器、服務(wù)器或其他外部裝置)的連接的另一傳感器。傳感器的各種示例可以包括但不限于位置傳感器(例如,全球定位系統(tǒng)(GPS)傳感器、支持位置三角測量法的移動裝置發(fā)射器)、視覺傳感器(例如,能夠檢測可見光、紅外光或紫外光的成像裝置,諸如相機)、接近度或范圍傳感器(例如,超聲傳感器、激光雷達、飛行時間相機或深度相機)、慣性傳感器(例如,加速度計、陀螺儀、慣性測量單元(IMU))、高度傳感器、姿態(tài)傳感器(例如,羅盤)、壓力傳感器(例如,氣壓計)、音頻傳感器(例如,麥克風(fēng))或場傳感器(例如,磁力計、電磁傳感器)。可以使用任何合適數(shù)目和組合的傳感器,諸如一個、兩個、三個、四個、五個或更多個傳感器??蛇x地,可以從不同類型(例如,兩種、三種、四種、五種或更多種類型)的傳感器接收數(shù)據(jù)。不同類型的傳感器可以測量不同類型的信號或信息(例如,位置、定向、速度、加速度、接近度、壓力等)和/或利用不同類型的測量技術(shù)來獲取數(shù)據(jù)。例如,傳感器可以包括主動式傳感器(例如,生成和測量來自其自身能源的能量的傳感器)和被動式傳感器(例如,檢測可用能量的傳感器)的任何合適的組合。又例如,一些傳感器可以生成依據(jù)全局坐標系提供的絕對測量數(shù)據(jù)(例如,由GPS傳感器提供的位置數(shù)據(jù)、由羅盤或磁力計提供的姿態(tài)數(shù)據(jù)),而其他傳感器可以生成依據(jù)局部坐標系提供的相對測量數(shù)據(jù)(例如,由陀螺儀提供的相對角速度;由加速度計提供的相對平移加速度;由視覺傳感器提供的相對姿態(tài)信息;由超聲傳感器、激光雷達或飛行時間相機提供的相對距離信息)。UAV機載或機外的傳感器可以收集信息,諸如UAV的位置、其他物體的位置、UAV 101的定向或者環(huán)境信息。單個傳感器可以能夠在環(huán)境中收集完整的一組信息,或者一組傳感器可以共同工作以在環(huán)境中收集完整的一組信息。傳感器可以用于位置的映射、位置之間的導(dǎo)航、障礙物的檢測或者目標的檢測。傳感器可以用于對環(huán)境或感興趣的主體103的監(jiān)視。
本文對UAV 101的任何描述均可適用于任何類型的可移動物體。對UAV的描述可以適用于任何類型的無人可移動物體(例如,其可以穿越天空、陸地、水或空間)。UAV可以能夠響應(yīng)于來自遙控器的命令。遙控器可以不連接至UAV,所述遙控器可以從一距離與所述UAV無線通信。在一些情況下,UAV可以能夠自主地或半自主地操作。UAV可以能夠遵循一組預(yù)編程的指令。在一些情況下,UAV可以通過響應(yīng)于來自遙控器的一個或多個命令而半自主地操作,而否則自主地操作。例如,來自遙控器的一個或多個命令可以根據(jù)一個或多個參數(shù)而發(fā)起由UAV進行的一系列自主或半自主動作。
所述UAV 101可以是飛行器。UAV可以具有可允許所述UAV在空中四處移動的一個或多個動力單元。所述一個或多個動力單元可以使得UAV能夠關(guān)于一個或多個、兩個或更多個、三個或更多個、四個或更多個、五個或更多個、六個或更多個自由度移動。在一些情況下,UAV可以能夠圍繞一個、兩個、三個或更多個旋轉(zhuǎn)軸旋轉(zhuǎn)。旋轉(zhuǎn)軸可以彼此正交。旋轉(zhuǎn)軸可以在UAV的整個飛行過程中保持彼此正交。旋轉(zhuǎn)軸可以包括俯仰軸、橫滾軸和/或偏航軸。UAV可以能夠沿著一個或多個維度移動。例如,UAV可以能夠由于一個或多個旋翼所生成的升力而向上移動。在一些情況下,UAV可以能夠沿著Z軸(其可以是相對于UAV的定向而向上的)、X軸和/或Y軸(其可以是橫向的)移動。UAV可以能夠沿著一個、兩個或三個可彼此正交的軸移動。
UAV 101可以是旋翼飛機。在一些情況下,UAV可以是可包括多個旋翼的多旋翼飛機。所述多個旋翼可以能夠旋轉(zhuǎn)以便為UAV生成升力。旋翼可以是動力單元,其可以使得UAV能夠在空中自由移動。旋翼可以按同一速率旋轉(zhuǎn)和/或可以生成等量的升力或推力。旋翼可以可選地以不同的速率旋轉(zhuǎn),這可以生成不等量的升力或推力和/或允許UAV旋轉(zhuǎn)。在一些情況下,可以在UAV上提供一個、兩個、三個、四個、五個、六個、七個、八個、九個、十個或更多個旋翼??梢圆贾眯硪允沟盟鼈兊男D(zhuǎn)軸彼此平行。在一些情況下,旋翼可以具有相對于彼此成任何角度的旋轉(zhuǎn)軸,這可以影響UAV的運動。
所示的UAV可以具有多個旋翼。所述旋翼可以連接至UAV的機身,所述機身可以包括控制單元、一個或多個傳感器、處理器和電源。傳感器可以包括視覺傳感器和/或可以收集關(guān)于UAV環(huán)境的信息的其他傳感器。來自傳感器的信息可以用于確定UAV的位置。旋翼可以經(jīng)由可從機身的中心部分分出的一個或多個臂或延伸物而連接至所述機身。例如,一個或多個臂可以從UAV的中央機身徑向延伸,并且在所述臂的末端或所述末端附近可以具有旋翼。
通過維持和/或調(diào)整對UAV的一個或多個動力單元的輸出,可以控制所述UAV的垂直位置和/或速度。例如,增大UAV的一個或多個旋翼的旋轉(zhuǎn)速度可以輔助使所述UAV增加高度或者以更快的速率增加高度。增大所述一個或多個旋翼的旋轉(zhuǎn)速度可以增大旋翼的推力。減小UAV的一個或多個旋翼的旋轉(zhuǎn)速度可以輔助使UAV降低高度或以更快的速率降低高度。減小所述一個或多個旋翼的旋轉(zhuǎn)速度可以減小所述一個或多個旋翼的推力。當UAV起飛時,可以將可以提供給動力單元的輸出從其先前的已降落狀態(tài)增大。當UAV降落時,可以將提供給動力單元的輸出從其先前的飛行狀態(tài)減小。UAV可被配置成以實質(zhì)垂直的方式起飛和/或降落。
通過維持和/或調(diào)整對UAV的一個或多個動力單元的輸出,可以控制所述UAV的橫向位置和/或速度。UAV的高度和UAV的一個或多個旋翼的旋轉(zhuǎn)速度可以影響UAV的橫向移動。例如,UAV可以于特定的方向上傾斜以在所述方向上移動,而UAV的旋翼的速度可以影響橫向移動的速度和/或移動軌跡??梢酝ㄟ^改變或維持UAV的一個或多個旋翼的旋轉(zhuǎn)速度來控制UAV的橫向位置和/或速度。
UAV 101可以具有小尺寸。UAV可以能夠由人類搬運和/或攜帶。UAV可以能夠由人類單手攜帶。
UAV 101可以具有不超過100cm的最大尺寸(例如,長度、寬度、高度、對角線、直徑)。在一些情況下,所述最大尺寸可以小于或等于1mm、5mm、1cm、3cm、5cm、10cm、12cm、15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm、60cm、65cm、70cm、75cm、80cm、85cm、90cm、95cm、100cm、110cm、120cm、130cm、140cm、150cm、160cm、170cm、180cm、190cm、200cm、220cm、250cm或300cm??蛇x地,UAV的最大尺寸可以大于或等于本文所描述的值中的任一。UAV可以具有落在本文所描述的值中任何兩個之間的范圍內(nèi)的最大尺寸。
UAV 101可以是輕型的。例如,UAV的重量可以小于或等于1mg、5mg、10mg、50mg、100mg、500mg、1g、2g、3g、5g、7g、10g、12g、15g、20g、25g、30g、35g、40g、45g、50g、60g、70g、80g、90g、100g、120g、150g、200g、250g、300g、350g、400g、450g、500g、600g、700g、800g、900g、1kg、1.1kg、1.2kg、1.3kg、1.4kg、1.5kg、1.7kg、2kg、2.2kg、2.5kg、3kg、3.5kg、4kg、4.5kg、5kg、5.5kg、6kg、6.5kg、7kg、7.5kg、8kg、8.5kg、9kg、9.5kg、10kg、11kg、12kg、13kg、14kg、15kg、17kg或20kg。UAV可以具有大于或等于本文所描述的值中的任一的重量。UAV可以具有落在本文所描述的值中任何兩個之間的范圍內(nèi)的重量。
UAV 101可以包括視覺傳感器,諸如單目相機、立體視覺相機、雷達、聲吶或紅外相機。UAV 101還可以包括傳感器,諸如GPS、IMU、激光雷達或本文別處所描述的任何其他類型的傳感器。UAV機載的傳感器可以收集信息,諸如UAV的位置、其他物體的位置、UAV 101的定向或者環(huán)境信息。單個傳感器可以能夠完全確定上述參數(shù)中的任一個,或者一組傳感器可以共同工作以確定所列參數(shù)之一。傳感器可以用于位置的映射、位置之間的導(dǎo)航、障礙物的檢測、目標的檢測或者對感興趣的物體或環(huán)境的監(jiān)視。
傳感器可以位于UAV機上或機外。機載傳感器可以位于UAV 101的機身上。傳感器可以附著至UAV 101的機身外部和/或傳感器可以附著至UAV 101的機身內(nèi)部。傳感器可以位于機身上的單一區(qū)域中心。備選地,傳感器可以位于機身上的不同位置。傳感器可以永久地或可移除地附著至UAV 101。UAV 101可以具有可被配置用于攜帶負載的載體。傳感器可以附著至所述載體。
傳感器可以以一個或多個傳感器參數(shù)為特征。傳感器參數(shù)可以是固有參數(shù)或外部參數(shù)。固有參數(shù)可以涉及傳感器的內(nèi)部配置。固有參數(shù)的示例可以包括焦距、比例因子、徑向畸變系數(shù)和切向畸變系數(shù)。固有參數(shù)可以是取決于硬件配置的任何參數(shù),在一些情況下,可以通過傳感器的出廠設(shè)置來設(shè)定固有參數(shù)。外部參數(shù)可以涉及任何兩個或更多個傳感器之間的空間關(guān)系。每個傳感器可以具有獨立于UAV機載的其他傳感器的相對坐標系。外部特性對于傳感器融合(組合來自UAV上不同位置處的傳感器的數(shù)據(jù))可能是重要的。傳感器融合可以涉及變換給定傳感器的相對坐標以匹配另一傳感器的參考系的過程。
UAV可被配置用于在空間或環(huán)境中進行監(jiān)視。所述空間可以是室外空間或室內(nèi)空間或者室內(nèi)空間和室外空間的組合。UAV可以自動地或半自動地在空間中定位其自身。UAV可以用位置傳感器(例如,GPS傳感器)來定位其自身。備選地,UAV可以通過解譯視覺標記的圖像來定位其自身。視覺標記可以是用于在定位傳感器不可靠的環(huán)境中對定位傳感器的備選定位機制。視覺標記可以與一種或多種類型的定位傳感器組合使用。視覺標記可以具有定位標記。視覺標記可以粘附或附著至空間或環(huán)境中的一個或多個表面。
關(guān)于UAV飛行的數(shù)據(jù)可以與用于監(jiān)視的UAV的一個或多個傳感器所捕捉的數(shù)據(jù)相關(guān)。例如,可以存儲UAV的位置(例如,緯度、經(jīng)度、高度或任何其他坐標系)、UAV的姿態(tài)(例如,關(guān)于橫滾軸、俯仰軸和/或偏航軸的角度)。諸如位置和姿態(tài)等關(guān)于UAV的信息可以與定時數(shù)據(jù)相關(guān)。例如,時鐘可以提供于UAV機上或者外部裝置上,其可記錄時間用于UAV定位。時間數(shù)據(jù)可以與UAV的對應(yīng)位置和/或姿態(tài)相關(guān)聯(lián)。此基于時間的數(shù)據(jù)可以與UAV的一個或多個傳感器所捕捉的數(shù)據(jù)(諸如由UAV機載的相機捕捉的圖像數(shù)據(jù))相關(guān)??蛇x地,相機數(shù)據(jù)(例如,相機相對于UAV的姿態(tài)和/或定時信息)可以與其他數(shù)據(jù)相關(guān)。在一些實施方式中,UAV可以能夠圍繞本文所描述的軸中的任一自由旋轉(zhuǎn)至少約45度、90度、180度、270度、360度或720度。負載(例如,相機)可以能夠相對于UAV圍繞本文所描述的軸中的任一自由旋轉(zhuǎn)至少約45度、90度、180度、270度、360度或720度。在監(jiān)視期間,此數(shù)據(jù)可以用于確定UAV的定位以及理解由傳感器捕捉的區(qū)域(例如,由相機捕捉的視野)的定位。
圖2示出了定位標記的示例。定位標記可以存在于室內(nèi)環(huán)境中,諸如在建筑物內(nèi)。建筑物的內(nèi)部可能具有微弱的GPS信號或者沒有GPS信號。定位標記可以粘附至環(huán)境中的表面。在整個環(huán)境中,可以存在一個或多個定位標記和/或定位標記的連續(xù)帶。一個或多個定位標記和/或定位標記的連續(xù)帶可以粘附至房間、走廊、壁龕、壁櫥或其他圍繞物中的一個表面或多個表面。環(huán)境可以是室內(nèi)環(huán)境。定位標記可以具有離散形狀。例如,定位標記可以是正方形、矩形、圓形、三角形、六邊形或者具有任何其他形狀。定位標記可以粘附至室內(nèi)環(huán)境中的天花板、墻壁、支撐梁、物體或地板。定位標記可以是連續(xù)帶。定位標記可以是具有統(tǒng)一或不統(tǒng)一尺寸的一系列不連接的標記。定位標記可以是黑色的和白色的,或者定位標記可以是多種顏色的。定位標記可以包括具有可識別頂點的多種幾何形狀。所述多種幾何形狀可以包括視覺圖案。幾何形狀可以是三角形、正方形、五邊形、六邊形或任何其他規(guī)則或不規(guī)則的多邊形。定位標記視覺圖案可以包括至少一種類型的多邊形。定位標記可以包括重復(fù)圖案、棋盤、成行和/或成列的重復(fù)多邊形或者多邊形陣列。定位標記可以具有在一致的重復(fù)圖案中的顏色交替的形狀。在圖2中所示的示例中,標記包括一組正方形。圖2中的示例標記示出了黑色的和白色的正方形,備選地,所述正方形可以是其他顏色。
在備選實施方式中,標記可以不是視覺標記。標記可以通過另一傳感交互來檢測。在一些情況下,標記可以是音頻標記。當UAV離開或進入指定位置時,標記可以提供音頻或視覺警告。標記可以發(fā)出可由UAV檢測到的頻率范圍內(nèi)的聲干擾。發(fā)出的聲干擾的頻率范圍可以處于人類檢測到的頻率范圍之外的頻率范圍中。UAV可以通過分析聲干擾中的畸變來確定其位置。聲干擾可以指令UAV移動以執(zhí)行任務(wù)。在另一情況下,標記可以發(fā)出RFID、無線電或WiFi信號,所述信號可以由UAV檢測到并由UAV處理以確定位置。在一些實施方式中,標記可以發(fā)出可檢測的物質(zhì),例如氣體。所述可檢測物質(zhì)對于由人類和其他動物吸入和消耗可以是安全的。UAV可以使用所述氣體在UAV檢測到所述氣體的位置處的濃度以及所述氣體的擴散特性來確定其相對于標記的位置。
不同位置處的不同標記可以彼此區(qū)分。例如,不同的標記可以發(fā)出不同的信號。在一個示例中,由第一音頻標記發(fā)出的聲音可以不同于由第二音頻標記發(fā)出的聲音。所述聲音可以具有不同的頻率、諧波或模式。因此,通過識別聲音模式,UAV可以能夠區(qū)分所述UAV是靠近第一位置處的第一音頻標記還是第二位置處的第二音頻標記。類似地,不同的無線電可以發(fā)出不同的信號,或者不同的氣體標記可以發(fā)出不同組成的氣體。UAV可以能夠基于辨別出的標記以及辨別出的標記的已知位置來確定其位置。
本文對視覺標記或定位標記的任何描述均可適用于包括非視覺標記在內(nèi)的任何其他類型的標記,并且反之亦然。
定位標記可以由紙或塑料材料制成。定位標記可以是屏幕顯示器(例如,液晶顯示器(LCD)、觸摸屏、LED屏、OLED屏或等離子屏幕顯示器)。備選地,定位標記可以從安裝在環(huán)境中的投影儀投影到表面上。定位標記可以是與計算機單元通信的屏幕顯示器或投影儀。定位標記可以是靜態(tài)(例如,不變的)的或動態(tài)的(例如,可變的)。計算機單元可以改變定位標記上的圖案。改變圖案可以改變UAV與定位標記的交互??梢杂媚z、樹脂、磁體或硬件部件(例如,螺釘、緊固件、Velcro、鉚釘、釘或卡扣)將定位標記粘附至表面。定位標記可以永久地或可移除地附著至表面。
在環(huán)境中,視覺標記可以是統(tǒng)一的。環(huán)境可以僅包含一種類型的視覺標記,其中視覺標記的類型可以是指視覺標記上的特定圖案。視覺標記上的圖案的差異可以是圖案中形狀類型、圖案中形狀數(shù)目、圖案中形狀顏色、圖案中形狀大小比例中的差異和/或者編碼圖案中的差異。在一些情況下,環(huán)境可以包含一種以上類型的視覺標記。環(huán)境中的不同視覺標記可以由不同的UAV所識別。UAV機載或機外的處理器可被配置用于在不同的視覺標記之間進行區(qū)分。在示例中,不同的UAV可以是具有不同任務(wù)、具有不同功能或?qū)儆诓煌镜腢AV。在一些實施方式中,UAV可被配置成僅識別并遵循一種類型的視覺標記。
例如,第一UAV可被配置成識別第一類型的視覺標記,而不識別第二類型的視覺標記。第二UAV可被配置成識別第二類型的視覺標記,而不識別第一類型的視覺標記。例如,第一視覺標記類型可以包括交替的黑色正方形和白色正方形。第二視覺標記類型可以包括交替的紅色圓形和綠色圓形。第一UAV可以僅將黑色正方形和白色正方形圖案識別為視覺標記,而忽略紅色圓形和綠色圓形圖案。類似地,第二UAV可以僅將紅色圓形和綠色圓形圖案識別為視覺標記,而忽略黑色正方形和白色正方形圖案。
UAV可以識別靜態(tài)圖案。例如,UAV可以將靜止圖像識別為視覺標記。所述靜止圖像可以從第一靜止圖像變成第二靜止圖像。例如,可以將視覺標記實現(xiàn)為可以示出第一靜止圖像并繼而變成第二靜止圖像的屏幕。在一些情況下,UAV可以將兩個靜止圖像都識別為標記,或者不同的UAV可以將靜止圖像識別為標記(例如,第一UAV可以將第一靜止圖像識別為標記,而第二UAV可以將第二靜止圖像識別為標記)。在一些情況下,UAV可以識別可以改變的視覺標記。改變的實際變化或序列可以是允許UAV識別視覺標記之物的一部分。UAV可以識別視覺標記隨時間推移的改變,以辨別所述視覺標記。例如,可以將視覺標記實現(xiàn)為可以示出視頻序列的屏幕。
視覺標記可由UAV解譯,以確定所述UAV在環(huán)境中的定位或位置。在全球定位系統(tǒng)(GPS)信號不可靠的情況下,可以使用視覺標記在環(huán)境中定位UAV。在示例中,GPS信號在室內(nèi)環(huán)境和在遠程位置中可能是不可靠的。UAV可以能夠局部地或全局地在環(huán)境內(nèi)確定其位置。局部位置可以是指相對于物體、地標或環(huán)境中已知定位的位置。在示例中,局部位置可以是環(huán)境的基本方向極限(例如,建筑物的北端)或者距物體或地標的上方距離以及角度(例如,方位角為30°、姿態(tài)為45°以及距地標的徑向距離為10英尺)。備選地,UAV可以確定其在環(huán)境中的全局位置。全局位置可以是空間中的位置,例如經(jīng)度和緯度。UAV可以在環(huán)境中進行監(jiān)視。此外,視覺標記可以向UAV傳達指令。指令可以是與UAV位置、UAV任務(wù)、UAV傳感器、信息處理有關(guān)和/或與環(huán)境中的人、物體或載運工具的交互有關(guān)的命令。UAV可以在接收到命令之后的指定時間間隔內(nèi)執(zhí)行所述命令。UAV可以在行進與傳達命令的標記距離指定距離之后執(zhí)行所述命令。命令可以涉及控制UAV的運動。在示例中,指令可以是增加或減小高度、改變定向航向、降落在表面上、開啟或關(guān)閉傳感器、用傳感器捕捉數(shù)據(jù)、向機外服務(wù)器或處理器傳輸傳感器數(shù)據(jù)或者與環(huán)境中的另一載運工具或物體交互。指令可以引發(fā)來自UAV的響應(yīng)。在示例中,響應(yīng)可以是調(diào)整負載的位置、負載的調(diào)換、捕捉選定主體的圖像、使UAV在特定的方向上以特定速度或加速度和/或高度飛行或前進或者使UAV飛上樓梯或飛下樓梯。切換負載的指令可以包括拾取負載、卸載負載和/或添加附加負載的指令。指令可以指定特定的位置以帶來負載。在一些情況下,指令可以使提供于UAV機上的警報響起。
視覺標記可以由UAV機載的視覺傳感器來檢測。圖4示出了UAV400機上可能存在的可能部件的框圖。UAV 400可以具有一個或多個傳感器401。所述一個或多個傳感器可以包括視覺傳感器,諸如單目相機。所述一個或多個傳感器可以通過有線或無線連接而與處理器402電子通信或網(wǎng)絡(luò)通信。所述處理器可被配置用于對傳感器數(shù)據(jù)進行分析。分析可以包括使用傳感器數(shù)據(jù)來確定或計算UAV的位置。UAV還可以包括機載存儲器存儲裝置403。存儲器存儲裝置可以通過有線或無線連接而與處理器和/或一個或多個傳感器電子或網(wǎng)絡(luò)通信。存儲器存儲裝置可以具有關(guān)于環(huán)境的存儲信息。所述關(guān)于環(huán)境的存儲信息可以與全局坐標系中環(huán)境的地理位置、環(huán)境的布局、環(huán)境中一個或多個空間的尺寸、環(huán)境中的特征和/或環(huán)境中物體的位置和尺寸有關(guān)。在示例中,所述存儲信息可以是藍圖、地圖或平面圖。所述存儲信息還可以包括視覺標記的位置。標記的位置可以與藍圖、地圖或平面圖有關(guān)。存儲在存儲器存儲裝置上的信息可以周期性地更新或者當環(huán)境中發(fā)生改變時更新。存儲在存儲器存儲裝置上的信息可以由無線地或通過有線連接而與存儲器存儲裝置通信的裝置來更新。在備選實施方式中,可以從UAV機外的存儲裝置為UAV提供關(guān)于環(huán)境的信息。UAV 400還可以包括UAV機載的電源404,例如電池。UAV可被配置用于攜帶負載405,所述負載可以是附加傳感器、貨物或備用電池??梢孕D(zhuǎn)和平移負載405以實現(xiàn)相對于UAV 400的多個定向。
視覺傳感器可以通過圖案識別機構(gòu)向UAV傳達指令。圖案識別可以由UAV上的處理器執(zhí)行。所述處理器可被配置用于識別圖案并且可以確定所述圖案傳達針對功能或動作的命令。在一些情況下,所述圖案可以是QR碼、AprilTag或條形碼。圖案可以包括任何形狀、圖像、圖標、字母、符號、數(shù)字或圖案。圖案可以是一維圖案、二維圖案或三維圖案。例如,圖案可以包括脊或突起,其可以突出并且可由UAV識別。
UAV可以獲知每個視覺標記或視覺標記帶的位置。視覺標記的位置可以存儲在UAV機上或機外的存儲器裝置中。每個視覺標記或視覺標記帶可以具有唯一的位置。UAV可被配置用于定位特定的視覺標記以及獲知所述視覺標記的位置。
UAV可被配置用于對所述定位標記上的一個多邊形或多個多邊形的頂點進行定位。圖3示出了可以由UAV檢測的頂點。UAV可以檢測正方形或其他多邊形的頂點,并計算視覺圖案的尺寸??梢越庾g視覺圖案的尺寸以確定UAV的位置??梢栽谌S坐標系中確定UAV的位置。所述三維坐標系可以是全局坐標系或者相對或局部坐標系。
UAV可以用相機來檢測視覺圖案并捕捉所述視覺圖案的圖像。UAV可以捕捉視覺圖案的一部分或整個視覺圖案的圖像。UAV可以具有被配置用于處理視覺圖案的圖像的一個或多個處理器。所述一個或多個處理器可以在UAV機上或機外。處理器可以與一個或多個存儲器存儲裝置通信。視覺圖案的圖像可以存儲在存儲器存儲裝置上。UAV可以使用所述一個或多個處理器來確定兩個或更多個頂點之間的距離。UAV可以使用所述一個或多個處理器來確定一個或多個頂點之間的角度。頂點之間的距離和角度可以包括視覺標記的尺寸。視覺標記的尺寸可以用作輸入,以計算UAV與標記的距離以及UAV相對于標記的角度。
UAV對視覺標記的尺寸感知可以是UAV相對于視覺標記的位置的函數(shù)。感知到的視覺標記的大小可以隨著UAV與視覺標記之間的距離而變化。標記的大小可被描述為標記上的多邊形的檢測到的頂點之間的距離?;谙鄬τ谝阎獦擞洿笮〉臉擞洷碛^大小,UAV可以確定其高度或其與標記的垂直距離。當UAV與標記的垂直距離相對較大時,標記可能顯得小于其實際尺寸。圖5中示出了作為UAV垂直位置(高度)的函數(shù)的、標記的視覺感知的改變的示例。在第一位置501上,UAV垂直地相對遠離于視覺標記。UAV可以垂直地接近視覺標記,使得在第二位置502上視覺標記顯得相對較大。表觀標記大小中的改變作為與標記的垂直距離的函數(shù)可以是已知的,并且可以存儲在UAV機上或機外的存儲器存儲裝置中。表觀標記大小中的改變作為與標記的垂直距離的函數(shù)可以通過校準或者通過已知的數(shù)學(xué)關(guān)系來確定。
UAV可以檢測標記形狀中的畸變作為從所述標記的偏移或者從所述標記的水平位移的函數(shù)。可以測量畸變作為標記多邊形的檢測到的頂點的坐標之間的角度差異。在所述多邊形是正方形的情況下,UAV可以預(yù)期正方形具有相對于彼此成90°角的四個頂點。當UAV從包含正方形或其他多邊形的標記偏移時,頂點之間的角度可能出現(xiàn)畸變。在UAV從包含正方形的標記偏移的情況下,正方形的形狀可能畸變而使得其對于UAV顯現(xiàn)為菱形。類似的畸變可發(fā)生在其他形狀中。圖6中描述了所述畸變檢測的示例,UAV可以水平地接近標記。頂點的角度可以作為與標記的水平距離的函數(shù)而變化。當UAV距標記某一距離時,頂點之間的角度可能畸變。在第一種情況601中,當UAV遠離標記一水平距離時,頂點之間的角度對于UAV可能顯得縮短。當UAV水平地接近標記使得UAV處于標記的正上方時,頂點之間的角度可伸長至真正的無畸變角度602。
可以分析視覺標記的感知到的畸變以確定UAV相對于所述標記的水平和垂直位置?;谝曈X標記,一個或多個處理器可以確定UAV在三維坐標系中的位置或定位。在UAV飛行時,所述一個或多個處理器可以基于視覺標記確定UAV在三維坐標系中的位置或定位。在三維空間中的標記位置可以是已知的,因此確定UAV相對于標記的位置可以導(dǎo)致對UAV在三維空間中的位置的確定。
雷達或紅外檢測器也可以輔助確定UAV在三維空間中的位置。在雷達檢測的情況下,UAV可以發(fā)出雷達信號或者標記可以發(fā)出雷達信號。UAV可以解譯發(fā)出的或反射的雷達信號,以確定其與表面或障礙物之間的距離。UAV可以使用對表面或障礙物的檢測并對比于存儲的平面圖或藍圖以確定UAV在環(huán)境中的位置。類似地,UAV可以包括紅外檢測器來檢測環(huán)境中的表面或障礙物。UAV可以將檢測到的障礙物和/或表面與已知的環(huán)境布局相對比,以確定其在環(huán)境中的位置。
UAV在三維空間中的位置可以是全局或局部三維空間中的位置。UAV可以使用UAV機載的視覺傳感器來捕捉視覺標記的圖像。UAV機載的視覺傳感器可以是用于環(huán)境監(jiān)視的視覺傳感器,或者視覺傳感器可以是被配置用于檢測視覺標記的單獨的視覺傳感器。視覺傳感器可以是單目相機、立體視覺相機、雷達、聲吶或紅外相機。在一些情況下,視覺傳感器可以捕捉圖像。圖像可以存儲在UAV機載或機外的存儲器存儲裝置上。視覺傳感器圖像可以由UAV機載或機外的處理器來分析。所述處理器可以分析視覺傳感器圖像以確定視覺傳感器的外部特性。在視覺傳感器為相機的情況下,相機的外部特性可以是所述相機相對于視覺標記的旋轉(zhuǎn)(R)和所述相機相對于視覺標記的位置(t)??梢允褂肗-點透視(n點透視)算法來計算外部特性,所述算法可以基于從三維點到二維點的對應(yīng)關(guān)系來求解相機的位置。在這種情況下,三維點可以是視覺標記頂點的已知位置。二維點可以是一個或多個相機圖像中對應(yīng)于視覺標記的頂點的點。相機圖像可以表示三維視覺標記的二維投影。所述算法還可以包括對應(yīng)于相機的固有特性的變量。固有特性(K)可以是特定于相機設(shè)計或部件的參數(shù)。固有特性可以改變或漂移,并且可以在UAV的監(jiān)視任務(wù)開始之前被預(yù)校準或重新校準。相機的固有特性可以是焦距、主點和/或鏡頭畸變。用下列方程使得圖像頂點在三維空間中的已知位置(Xi)與相機圖像中的頂點位置(xi)之間的誤差最小化,可以求解由R和t定義的相機位置作為三維點、二維點以及相機固有特性(K)的函數(shù),
n點透視算法可以確定UAV機載的相機或其他視覺傳感器的位置。UAV機載的相機相對于UAV的質(zhì)心和/或相對于UAV機載的其他傳感器或部件的位置可以是已知的。相機相對于UAV機載的其他部件或傳感器的位置可以與相機的已確定位置相組合,以確定UAV機載的部件或傳感器的位置。
基于對UAV機載的相機的確定對UAV位置的確定可以用于避障。視覺標記可以粘附至障礙物,例如,墻壁、柱、門或其他物體。UAV可以自動識別障礙物,或者視覺標記可以具有特定圖案,所述特定圖案向UAV傳達視覺標記被粘附至障礙物。UAV可以捕捉并分析視覺標記,以確定與障礙物的距離。響應(yīng)于確定的距離,UAV可以調(diào)整其航向和/或高度以避開檢測到的障礙物。UAV可以在其接近障礙物時收集一系列圖像,以確定當其改變其航向和/或高度時所述UAV與障礙物之間的相對位置的改變。圖7中示出了用視覺標記進行障礙物檢測和避障事件的示例。在第一位置701上,UAV 703可以檢測到視覺標記704。視覺標記704可以具有可向UAV 703指示出視覺標記704被粘附至障礙物705的圖案。UAV可以捕捉視覺標記的圖像,并且可以分析所述圖像以確定UAV相對于視覺標記位置的位置。UAV可以調(diào)整其位置以達到第二位置702。在調(diào)整位置之后,UAV 703可以捕捉視覺標記704的第二圖像,以確定新位置并證實所述新位置將會避開與障礙物705的碰撞或相互作用。在第二位置不足以避開障礙物的情況下,UAV可以再次改變位置并且捕捉另一圖像,以確認UAV處于避開障礙物的軌跡上??梢灾貜?fù)捕捉圖像并確定UAV位置的過程,直到成功地避開障礙物。
在備選實施方式中,UAV可以自動地檢測和避開障礙物。UAV可以使用諸如單目相機、立體視覺相機、雷達、聲吶或紅外相機等視覺傳感器來檢測障礙物。UAV機載或機外的處理器可被配置用于解譯來自圖像傳感器的數(shù)據(jù)以便檢測障礙物。UAV可以自動地調(diào)整其路線,以避開檢測到的障礙物。在一些情況下,UAV可以具有對障礙物位置的先驗知識。在一些情況下,這些障礙物可能是永久建筑物特征,諸如墻壁、梁或柱。UAV可以從存儲在UAV機載或機外的存儲器存儲裝置上的環(huán)境地圖或平面圖知曉這些永久建筑物特征。UAV可以自動地調(diào)整其路線以避開可能是障礙物的永久建筑物特征。UAV可以遵循視覺標記的連續(xù)帶或者一系列連續(xù)的離散視覺標記。當遵循視覺標記時,UAV可能遇到障礙物。通過重新制定UAV路徑繞開障礙物并繼而返回至視覺標記的路徑,UAV可以避開所述障礙物。在一些情況下,視覺標記可以通知UAV障礙物正在阻礙沿著視覺標記帶或一系列視覺標記的路徑,視覺標記可以指令所述UAV移動以避開障礙物并沿著所述路徑繼續(xù)。
UAV可以檢測環(huán)境中的視覺標記。所述環(huán)境可具有其他物體和圖案,UAV可以將其與所述標記相區(qū)分。UAV可被配置用于排除誤檢事件。當UAV檢測到具有與UAV可能感興趣的視覺標記相似的視覺結(jié)構(gòu)的圖案或物體時,可能發(fā)生誤檢事件。UAV可被配置用于分析檢測到的圖案或物體,以確定它是感興趣的視覺標記還是被錯誤辨別的假視覺標記。在環(huán)境中,UAV可以嘗試通過掃描環(huán)境中具有預(yù)期視覺標記的顏色和/或形狀的區(qū)域來辨別視覺標記。掃描預(yù)期形狀和顏色圖案或其組合的方法可以產(chǎn)生一組檢測區(qū)域。UAV可以進一步分析檢測到的區(qū)域以排除誤檢事件。圖8示出了環(huán)境中的UAV 801的示例。UAV 801被配置用于識別視覺標記,所述視覺標記包括具有給定的一種或多種顏色的一組形狀(例如,正方形)的重復(fù)圖案。UAV可以即時檢測一組可能的視覺標記802、803和804。UAV可以進一步分析檢測到的可能的視覺標記802、803和804以排除誤檢事件。所述進一步分析可以包括處理視覺標記的確切顏色、圖案、形狀和/或所述標記中相對形狀的一個或多個大小。通過進一步分析,UAV可以確定802和804不是感興趣的視覺標記并因此表示誤檢事件。
當UAV檢測視覺標記時,UAV可以基于所述視覺標記的一個或多個圖像來確定其位置,和/或接收由所述視覺標記編碼的指令。所述指令可以引發(fā)由UAV進行的導(dǎo)航響應(yīng)。視覺標記可以包括可由UAV辨別的差別圖案。當UAV飛行時,所述UAV可以檢測具有視覺差別圖案的視覺標記并且可以使用視覺傳感器來捕捉所述視覺標記的圖像。視覺圖案的圖像可以由UAV機載或機外的處理器來解譯。所述處理器可以從多個可能的視覺圖案中區(qū)分和辨別視覺圖案,并且確定所辨別出的視覺圖案引發(fā)了與多個其他可能的視覺圖案所引發(fā)的響應(yīng)不同的來自UAV的響應(yīng)。處理器可以發(fā)起由檢測到的視覺圖案引發(fā)的響應(yīng)。
包括差別圖案的視覺標記可以具有與沒有差別圖案的視覺標記相似的元素。除了具有可以將命令或一條信息傳達給UAV的圖案之外,包括差別圖案的視覺標記還可以具有處于重復(fù)圖案中的彩色形狀。UAV可以知曉包括差別圖案的視覺標記在環(huán)境中的位置。在一些情況下,差別圖案可以是Apriltag、QR碼或條形碼。圖9示出了具有差別圖案的視覺標記的示例。UAV可以將包括差別圖案的視覺標記與看起來類似于包括差別圖案的視覺標記的標志加以區(qū)分,以避免誤檢事件。
差別圖案可以指令UAV執(zhí)行任務(wù)或者執(zhí)行導(dǎo)航響應(yīng)。任務(wù)或?qū)Ш巾憫?yīng)可以是沿著從一個地點到另一地點的路徑行進、移動傳感器、改變UAV的姿態(tài)、以指定的或特定的方向飛行、飛上樓梯或飛下樓梯、調(diào)整負載的位置、根據(jù)預(yù)設(shè)的飛行命令飛行、開啟或關(guān)閉傳感器、以指定方向引導(dǎo)傳感器或者捕捉物體。指令可以包括UAV在執(zhí)行所述任務(wù)或?qū)Ш巾憫?yīng)之前應(yīng)當?shù)却闹付〞r間間隔。指令可以包括UAV在執(zhí)行所述任務(wù)或?qū)Ш巾憫?yīng)之前應(yīng)當距視覺標記的預(yù)定距離。差別圖案可以指令UAV遵循沿著路徑的視覺標記帶或者沿著路徑的一系列離散的視覺標記。當UAV遵循沿著路徑的帶或一系列離散的視覺標記時,差別圖案可以指令所述UAV距所述帶指定的距離。所述路徑可以是在室內(nèi)、室外或者同時在室內(nèi)和室外環(huán)境中。圖10示出了可由UAV 1002遵循的視覺標記帶1001的示例。視覺標記帶1001可以粘附于表面上,以使得UAV 1002可以遵循帶1001而不碰撞或遇到障礙物。UAV可被配置成在遵循標記時保持處于距視覺標記附著距離。在示例中,所述附著距離可以是至少1cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm或100cm。UAV可以在遵循視覺標記時相對于所述視覺標記保持處于附著定向。例如,UAV可以保持在與視覺標記齊平的高度上(例如,大約90度)。備選地,UAV可以按預(yù)定的度數(shù)或在預(yù)定的度數(shù)范圍內(nèi)(例如,在30度-60度內(nèi))在視覺標記下方或視覺標記上方飛行。UAV可以在其遵循標記時通過分析視覺標記1001的圖像而連續(xù)地確定其位置,以檢測并避開由視覺傳感器檢測到的障礙物或者從環(huán)境地圖知曉的障礙物。在圖10中所示的情況下,視覺標記帶1001可以引導(dǎo)UAV 1002上樓梯。在另一情況下,差別圖案可以通過指令UAV在指定的方向和距離上移動而指令UAV遵循路徑。差別圖案可以指令UAV在三維空間中以一角度移動。差別圖案可以指令UAV移動指定距離。通過可位于UAV機上或機外的速度和時間傳感器的分析,UAV可以計算行進的距離。圖11示出了示例,其中包括差別圖案的所述一個或多個視覺標記通過向UAV提供在離散方向和距離上移動的指令來指令UAV沿著路徑移動。在圖11中,UAV 1101可以檢測具有差別圖案1102的第一視覺標記。差別圖案1102可以指令UAV向上和向右移動指定距離1103。由UAV檢測到的具有差別圖案1104的下一視覺標記可以指令UAV 1101以30°角向上移動1105。由UAV檢測到的具有差別圖案1106的下一視覺標記可以指令UAV 1101水平地移動指定的距離1107。
在另一示例中,差別圖案可以通知UAV關(guān)于環(huán)境的布局。差別圖案可以通知UAV在環(huán)境中存在特征。特征可以是開口、過道、角落、障礙物、斜坡、斜面或物體。在圖12中所示的示例中,具有差別圖案1201的視覺標記可以通知UAV 1202環(huán)境具有諸如過道開口1203等特征。
差別圖案可以指令UAV執(zhí)行監(jiān)視任務(wù)。監(jiān)視任務(wù)可以涉及移動傳感器以捕捉關(guān)于感興趣的主體的數(shù)據(jù)。在圖13中所示的示例中,在第一位置1301上,UAV 1302可以具有用于在環(huán)境中收集監(jiān)視數(shù)據(jù)的傳感器,例如,被配置用于在環(huán)境中收集監(jiān)視數(shù)據(jù)的相機1303,所述相機具有被引導(dǎo)遠離感興趣主體1305的視野1304。UAV 1302可以使用被配置用于檢測視覺標記的第一視覺傳感器來檢測具有差別圖案1306的視覺標記。差別圖案1306可以指令UAV 1302將相機1303移動或旋轉(zhuǎn)至第二位置1302,以使得相機的視野1304包含感興趣的主體1305。差別圖案還可以指令UAV對感興趣的主體1305執(zhí)行特定的監(jiān)視任務(wù)。監(jiān)視任務(wù)可以包括從一個或多個傳感器收集關(guān)于感興趣的主體1305的數(shù)據(jù)并且存儲或傳輸所述數(shù)據(jù)至機外計算機系統(tǒng)。
UAV可以用于對環(huán)境的監(jiān)視。例如,UAV可以巡邏環(huán)境。當執(zhí)行對環(huán)境的監(jiān)視時,UAV可以使用一個或多個傳感器來收集關(guān)于環(huán)境的信息。UAV可以遵循用于巡邏環(huán)境的預(yù)定或常規(guī)路徑。備選地,UAV可以遵循隨機的飛行路徑。UAV可以檢測和/或跟隨感興趣的主體,諸如人、動物或載運工具。UAV可以響應(yīng)于在環(huán)境內(nèi)的一個或多個檢測到的事件并進行進一步調(diào)查。
如前文所討論,UAV可以通過在環(huán)境內(nèi)收集一個或多個圖像來巡邏所述環(huán)境。UAV可以將收集到的圖像發(fā)送至外部裝置??梢栽赨AV機外發(fā)送所述圖像。在一些情況下,圖像可以存儲在UAV機外的一個或多個存儲器單元中。圖像可以顯示在遠離UAV的顯示裝置上。例如,安全監(jiān)視器可以示出從UAV流傳輸?shù)膱D像。人類查看者可以查看來自巡邏所述區(qū)域的UAV的即時饋送。
在一些實施方式中,所述環(huán)境可以是室內(nèi)環(huán)境。室內(nèi)環(huán)境可以包括建筑物或建筑物群的內(nèi)部。室內(nèi)環(huán)境可以包括多層建筑物。UAV可以通過沿一層或多層樓梯上行或下行或者直接飛上或飛下樓梯井來穿越多層建筑物。UAV還可以能夠通過使用電梯或者飛上或飛下電梯井來穿越多層建筑物。UAV還可以能夠通過從一個樓層上的窗戶離開并經(jīng)過另一樓層上的窗戶進入來穿越多層建筑物。室內(nèi)建筑物的一些示例可以包括住宅、辦公建筑物、購物商場、醫(yī)院、學(xué)?;蛉魏纹渌愋偷慕ㄖ铩AV可以用于巡邏所述環(huán)境。
如本文所描述的視覺標記可以輔助UAV巡邏環(huán)境。視覺標記可以在環(huán)境內(nèi)定向UAV。UAV可以能夠確定相對于環(huán)境的各個部分的UAV位置。例如,UAV可以能夠確定所述UAV在哪個樓層上。UAV還可以能夠告知其在哪個房間或走廊中。UAV可以能夠確定其定向(例如,相對于基本方向或其他類型的方向)。UAV可以能夠確定其相對于環(huán)境的其他房間或走廊的位置。UAV可以能夠確定其局部或全局坐標。UAV可以能夠?qū)⑵渥鴺舜_定至大約50m、30m、20m、15m、10m、7m、5m、3m、2m、1.5m、1m、50cm、30cm、10cm、5cm或1cm內(nèi)的準確度水平。
視覺標記可以可選地向UAV提供用于在環(huán)境內(nèi)導(dǎo)航的指令。例如,視覺標記可以分布于環(huán)境內(nèi)。多個視覺標記可以分布在整個環(huán)境中??梢詫⒁曈X標記定位成使得其處于彼此的視線內(nèi),或者可以不如此定位。在巡邏期間,UAV可能遇到第一視覺標記。UAV可以辨別并響應(yīng)于使用視覺標記所顯示的指令。如本文別處所描述,所述指令可以被編碼到視覺標記的視覺圖案中。第一視覺標記可以引導(dǎo)UAV以將會把UAV帶至第二視覺標記的某種方式飛行。當UAV到達第二視覺標記時,所述UAV可以辨別并響應(yīng)于第二視覺標記中的指令。第二視覺標記可以引導(dǎo)UAV以將會把UAV帶至第三視覺標記的某種方式飛行,并依此類推。這可以為UAV提供點到點導(dǎo)航。在一些情況下,點到點導(dǎo)航可以引導(dǎo)UAV在環(huán)境內(nèi)循環(huán),以定期地巡邏環(huán)境。在一些情況下,點到點導(dǎo)航可以允許UAV確定其相對于視覺標記的位置。UAV可以確定其到標記的相對位置,而不必確定其全局位置(例如,全局坐標)。UAV可以能夠巡邏一區(qū)域而不計算或確定其全局位置。
在一些情況下,視覺標記可以改變,或者與視覺標記相關(guān)聯(lián)的飛行指令可以改變。例如,可以在屏幕上顯示視覺標記,所述屏幕可以動態(tài)地改變視覺標記。在另一情況下,視覺標記可以是靜態(tài)的,但是可以將與視覺標記相關(guān)聯(lián)的新飛行指令與所述視覺標記相關(guān)聯(lián)??梢詫⑿嘛w行指令下載至UAV。在一些情況下,UAV可以具有與特定的視覺標記相關(guān)聯(lián)的多組飛行指令,并且可以根據(jù)其他參數(shù)來選擇關(guān)聯(lián)的飛行指令。例如,UAV可以隨機地、基于由UAV的時鐘指示出的時間(例如,如果時間在下午3點與下午6點之間,則UAV將會遵循第一組指令,而在下午6點與午夜之間,則UAV將會遵循第二組指令)、基于感測到的環(huán)境條件(例如,基于溫度、光量、檢測到的運動、檢測到的聲音)或者任何其他因素從與視覺標記相關(guān)聯(lián)的多個飛行指令中選擇一組飛行指令。不同組的飛行路徑可以引導(dǎo)UAV到達相同的視覺標記或不同的視覺標記。例如,在第一情景中,可以經(jīng)由第一飛行路徑將UAV從第一視覺標記引導(dǎo)至第二視覺標記。在第二情景中,可以經(jīng)由第二飛行路徑將UAV從第一視覺標記引導(dǎo)至第二視覺標記。備選地,在所述第二情景中,可以將UAV從第一視覺標記引導(dǎo)至第三視覺標記。這可以允許UAV根據(jù)不同的飛行指令遵循不同的飛行路徑。這可以向UAV巡邏路徑提供一些改變或不可預(yù)測性,所述改變或不可預(yù)測性可以在一些情況下提供提高的巡邏效能。這還可以允許UAV巡邏路徑以可以適應(yīng)不同檢測到的情景的方式改變。
使用用于點到點導(dǎo)航的視覺標記可以允許UAV以不需要來自遠程用戶的輸入的方式執(zhí)行監(jiān)視或巡邏。UAV可以能夠使用視覺標記在環(huán)境中飛行導(dǎo)航而不接收來自外部裝置(例如,遙控器、衛(wèi)星、塔、路由器)的任何信號。UAV機載的傳感器(諸如視覺傳感器)可以檢測足夠的信息來允許UAV導(dǎo)航。
如前文所討論,可以將各種類型的指令視覺編碼到視覺標記中??梢詫w行指令編碼到視覺標記中或者將其與視覺標記相關(guān)聯(lián)??梢园ㄆ渌噶睿T如關(guān)于傳感器的操作或移動的指令、為UAV充電的指令或者關(guān)于待傳輸?shù)臄?shù)據(jù)的指令。關(guān)于傳感器的指令的示例可以包括用于操作載體的指令,所述載體可以使傳感器移動。視覺標記可以使UAV關(guān)于一個、兩個、三個或更多個軸來重新定向傳感器(諸如相機)。視覺標記可以直接控制傳感器(例如,開啟傳感器、關(guān)閉傳感器、變焦、改變傳感器模式)。這可以輔助UAV安全巡邏,并且允許UAV使用一個或多個傳感器執(zhí)行數(shù)據(jù)收集而無需來自外部源或裝置的指令。可以單獨地或者與來自單個視覺標記的飛行指令相組合地提供傳感器指令或其他指令。
借助于所述視覺標記,UAV可以能夠自主地或半自主地巡邏環(huán)境。UAV可以能夠自主地巡邏環(huán)境而無需人類干預(yù)。視覺標記可以輔助UAV在環(huán)境中導(dǎo)航而無需來自人類操作者的輸入。UAV可以確定如何飛行而無需人類手動引導(dǎo)UAV的飛行。視覺標記可以允許UAV對其自身進行定向而不使用GPS或需要外部通信的其他位置傳感器。UAV可以能夠在環(huán)境內(nèi)對其自身進行定向而無需與外部裝置的任何通信。UAV可以能夠在環(huán)境內(nèi)飛行而無需與外部裝置的通信。UAV可以能夠在進行環(huán)境監(jiān)視而無需與外部裝置的通信。
在一些實施方式中,人類操作者可以經(jīng)由遙控器與UAV通信,或者可以不進行通信。在一些實施方式中,UAV可以自主地操作而不經(jīng)由遙控器接收來自人類的任何輸入。在一些情況下,人類可以能夠使用遙控器來進行干預(yù)。例如,如果人類通過由UAV捕捉到的即時饋送目擊一事件,則所述人類可以能夠使用遙控器來進行干預(yù)。在不存在人類干預(yù)時,UAV可以能夠在沒有來自人類操作者的輸入的情況下繼續(xù)其巡邏。
本文所描述的系統(tǒng)、裝置和方法可以適用于眾多可移動物體。如前文所提及,本文對飛行器(諸如UAV)的任何描述均可適用于和用于任何可移動物體。本文對飛行器的任何描述均可具體適用于UAV。本發(fā)明的可移動物體可被配置用于在任何合適的環(huán)境內(nèi)移動,諸如在空中(例如,附著翼航空器、旋轉(zhuǎn)翼航空器或者既不具有附著翼也不具有旋轉(zhuǎn)翼的航空器)、在水中(例如,船舶或潛艇)、在地面上(例如,機動車,諸如轎車、卡車、公交車、廂式貨車、摩托車、自行車;可移動結(jié)構(gòu)或框架,諸如棒、釣魚竿;或者火車)、在地下(例如,地鐵)、在太空(例如,太空飛機、衛(wèi)星或探測器)或者這些環(huán)境的任何組合??梢苿游矬w可以是載運工具,諸如本文別處所描述的載運工具。在一些實施方式中,可移動物體可以由諸如人類或動物等活體所攜帶,或者從活體起飛。合適的動物可以包括禽類、犬類、貓類、馬類、牛類、羊類、豬類、海豚、嚙齒類或昆蟲。
可移動物體可以能夠在所述環(huán)境內(nèi)關(guān)于六個自由度(例如,三個平移自由度和三個旋轉(zhuǎn)自由度)自由移動。備選地,可移動物體的移動可能關(guān)于一個或多個自由度受到約束,諸如由預(yù)定路徑、軌跡或定向所約束。所述移動可以由諸如引擎或馬達等任何合適的致動機構(gòu)所致動??梢苿游矬w的致動機構(gòu)可以由任何合適的能源提供動力,所述能源諸如為電能、磁能、太陽能、風(fēng)能、引力能、化學(xué)能、核能或者其任何合適的組合??梢苿游矬w可以如本文別處所述經(jīng)由動力系統(tǒng)自推進。所述動力系統(tǒng)可以可選地依靠能源運行,所述能源諸如為電能、磁能、太陽能、風(fēng)能、引力能、化學(xué)能、核能或者其任何合適的組合。備選地,可移動物體可以由生物所攜帶。
在一些情況下,所述可移動物體可以是飛行器。例如,飛行器可以是附著翼航空器(例如,飛機、滑翔機)、旋轉(zhuǎn)翼航空器(例如,直升機、旋翼飛機)、同時具有附著翼和旋轉(zhuǎn)翼的航空器或者既無附著翼又無旋轉(zhuǎn)翼的航空器(例如,飛艇、熱氣球)。飛行器可以是自推進式,諸如在空中自推進。自推進式飛行器可以利用動力系統(tǒng),諸如包括一個或多個引擎、馬達、輪子、輪軸、磁體、旋翼、螺旋槳、槳葉、噴嘴或者其任何合適組合的動力系統(tǒng)。在一些情況下,動力系統(tǒng)可以用于使可移動物體能夠從表面起飛、降落到表面上、維持其當前位置和/或定向(例如,懸停)、改變定向和/或改變位置。
可移動物體可以由用戶遙控或者由可移動物體之內(nèi)或之上的乘員在本地控制??梢苿游矬w可以經(jīng)由單獨的載運工具內(nèi)的乘員來遙控。在一些實施方式中,可移動物體是無人可移動物體,諸如UAV。無人可移動物體,諸如UAV,可以不具有乘員在所述可移動物體上??梢苿游矬w可以由人類或自主控制系統(tǒng)(例如,計算機控制系統(tǒng))或者其任何合適的組合來控制??梢苿游矬w可以是自主式或半自主式機器人,諸如配置有人工智能的機器人。
可移動物體可以具有任何合適的大小和/或尺寸。在一些實施方式中,可移動物體可以具有使人類乘員身處載運工具之內(nèi)或之上的大小和/或尺寸。備選地,可移動物體可以具有比能夠使人類乘員身處載運工具之內(nèi)或之上的大小和/或尺寸更小的大小/或尺寸。可移動物體可以具有適合于由人類搬運或攜帶的大小和/或尺寸。備選地,可移動物體可以大于適合由人類搬運或攜帶的大小和/或尺寸。在一些情況下,可移動物體可以具有的最大尺寸(例如,長度、寬度、高度、直徑、對角線)小于或等于約:2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于約:2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如,可移動物體的相對旋翼的軸之間的距離可以小于或等于約:2cm、5cm、10cm、50cm、1m、2m、5m或10m。備選地,相對旋翼的軸之間的距離可以大于或等于約:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些實施方式中,可移動物體可以具有小于100cm x 100cm x 100cm、小于50cm x 50cm x 30cm或小于5cm x 5cm x 3cm的體積。可移動物體的總體積可以小于或等于約:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移動物體的總體積可以大于或等于約:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些實施方式中,可移動物體可以具有的占地面積(這可以指由所述可移動物體所包圍的橫截面面積)小于或等于約:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地,所述占地面積可以大于或等于約:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情況下,可移動物體可以為不超過1000kg重。可移動物體的重量可以小于或等于約:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可以大于或等于約:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些實施方式中,可移動物體相對于所述可移動物體所攜帶的負荷可以較小。如本文別處進一步詳述,所述負荷可以包括負載和/或載體。在一些示例中,可移動物體重量與負荷重量之比可以大于、小于或等于約1:1。在一些情況下,可移動物體重量與負荷重量之比可以大于、小于或等于約1:1??蛇x地,載體重量與負荷重量之比可以大于、小于或等于約1:1。當需要時,可移動物體重量與負荷重量之比可以小于或等于:1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地,可移動物體重量與負荷重量之比還可以大于或等于:2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些實施方式中,可移動物體可以具有低能耗。例如,可移動物體可以使用小于約:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情況下,可移動物體的載體可以具有低能耗。例如,所述載體可以使用小于約:5W/h、4W/h、3W/h、2W/h、1W/h或更小??蛇x地,可移動物體的負載可以具有低能耗,諸如小于約:5W/h、4W/h、3W/h、2W/h、1W/h或更小。
圖14圖示了根據(jù)本發(fā)明的實施方式的無人飛行器(UAV)1400。所述UAV可以是本文所述的可移動物體的示例。UAV 1400可以包括具有四個旋翼1402、1404、1406和1408的動力系統(tǒng)??梢蕴峁┤魏螖?shù)目的旋翼(例如,一個、兩個、三個、四個、五個、六個或更多個)。無人飛行器的旋翼、旋翼組件或其他動力系統(tǒng)可使所述無人飛行器能夠懸停/維持位置、改變定向和/或改變位置。相對旋翼的軸之間的距離可以是任何合適的長度1410。例如,長度1410可以小于或等于2m,或者小于或等于5m。在一些實施方式中,長度1410可以在從40cm到1m、從10cm到2m或者從5cm到5m的范圍內(nèi)。本文對UAV的任何描述均可適用于可移動物體,諸如不同類型的可移動物體,并且反之亦然。UAV可以使用如本文所描述的輔助起飛系統(tǒng)或方法。
在一些實施方式中,可移動物體可以被配置用于攜帶負荷。所述負荷可以包括乘客、貨物、器材、儀器等之中的一種或多種。所述負荷可以提供在外殼內(nèi)。所述外殼可以與可移動物體的外殼相分離,或者是可移動物體的外殼的一部分。備選地,負荷可以具備外殼,而可移動物體不具有外殼。備選地,負荷的部分或者整個負荷可以在不具有外殼的情況下提供。負荷相對于所述可移動物體可以剛性附著??蛇x地,負荷相對于可移動物體可以是可移動的(例如,相對于可移動物體可平移或可旋轉(zhuǎn))。如本文別處所描述,所述負荷可以包括負載和/或載體。
在一些實施方式中,可移動物體、載體和負載相對于附著參考系(例如,周圍環(huán)境)和/或相對于彼此的移動可以由終端來控制。所述終端可以是處于遠離所述可移動物體、載體和/或負載的位置處的遙控裝置。終端可以安置于支撐平臺上或者附著至支撐平臺。備選地,終端可以是手持式或可穿戴式裝置。例如,終端可以包括智能電話、平板計算機、膝上型計算機、計算機、眼鏡、手套、頭盔、麥克風(fēng)或者其合適的組合。終端可以包括用戶接口,諸如鍵盤、鼠標、操縱桿、觸摸屏或顯示器。任何合適的用戶輸入均可用于與終端交互,諸如手動輸入命令、語音控制、手勢控制或位置控制(例如,經(jīng)由終端的移動、位置或傾斜)。
終端可以用于控制可移動物體、載體和/或負載的任何合適的狀態(tài)。例如,終端可以用于控制可移動物體、載體和/或負載相對于附著參考物從和/或相對于彼此的位置和/或定向。在一些實施方式中,終端可以用于控制可移動物體、載體和/或負載的單獨元件,諸如載體的致動組件、負載的傳感器或者負載的發(fā)射體。終端可以包括適于與可移動物體、載體或負載中的一個或多個通信的無線通信裝置。
終端可以包括用于查看可移動物體、載體和/或負載的信息的合適的顯示單元。例如,終端可被配置用于顯示可移動物體、載體和/或負載關(guān)于位置、平移速度、平移加速度、定向、角速度、角加速度或其任何合適的組合的信息。在一些實施方式中,終端可以顯示由負載提供的信息,諸如由功能性負載提供的數(shù)據(jù)(例如,由相機或其他圖像捕捉裝置記錄的圖像)。
可選地,同一終端可以同時控制可移動物體、載體和/或負載或者所述可移動物體、載體和/或負載的狀態(tài),以及接收和/或顯示來自所述可移動物體、載體和/或負載的信息。例如,終端可以控制負載相對于環(huán)境的定位,同時顯示由負載捕捉的圖像數(shù)據(jù),或者關(guān)于負載的位置的信息。備選地,不同的終端可以用于不同的功能。例如,第一終端可以控制可移動物體、載體和/或負載的移動或狀態(tài),而第二終端可以接收和/或顯示來自可移動物體、載體和/或負載的信息。例如,第一終端可以用于控制負載相對于環(huán)境的定位,而第二終端顯示由所述負載捕捉的圖像數(shù)據(jù)。可以在可移動物體與同時控制所述可移動物體并接收數(shù)據(jù)的集成式終端之間或者在可移動物體與同時控制所述可移動物體并接收數(shù)據(jù)的多個終端之間利用各種通信模式。例如,可以在可移動物體與同時控制所述可移動物體并接收來自所述可移動物體的數(shù)據(jù)的終端之間形成至少兩種不同的通信模式。
圖15圖示了根據(jù)實施方式的包括載體1502和負載1504的可移動物體1500。雖然可移動物體1500被描繪為航空器,但此描繪并不旨在成為限制性的,并且如本文前文所述可以使用任何合適類型的可移動物體。本領(lǐng)域技術(shù)人員將會理解,本文在航空器系統(tǒng)的情景下描述的實施方式中的任一均可適用于任何合適的可移動物體(例如,UAV)。在一些情況下,可以在可移動物體1500上提供負載1504而無需載體1502??梢苿游矬w1500可以包括動力機構(gòu)1506、感測系統(tǒng)1508和通信系統(tǒng)1510。
如前文所述,動力機構(gòu)1506可以包括旋翼、螺旋槳、槳葉、引擎、馬達、輪子、輪軸、磁體或噴嘴中的一種或多種??梢苿游矬w可以具有一個或多個、兩個或更多個、三個或更多個或者四個或更多個動力機構(gòu)。動力機構(gòu)可以全都是同一類型。備選地,一個或多個動力機構(gòu)可以是不同類型的動力機構(gòu)。動力機構(gòu)1506可以使用任何合適的手段安裝在可移動物體1500上,諸如為本文別處所述的支撐元件(例如,驅(qū)動軸)。動力機構(gòu)1506可以安裝在可移動物體1500的任何合適的部分上,諸如頂部、底部、前面、后面、側(cè)面或其合適的組合。
在一些實施方式中,動力機構(gòu)1506可以使得可移動物體1500能夠從表面垂直地起飛或者垂直地降落在表面上而無需可移動物體1500的任何水平移動(例如,無需沿著跑道行進)??蛇x地,動力機構(gòu)1506可以可操作地允許可移動物體1500以指定位置和/或定向懸停于空中。動力機構(gòu)1500中的一個或多個可以獨立于其他動力機構(gòu)得到控制。備選地,動力機構(gòu)1500可被配置成同時受到控制。例如,可移動物體1500可以具有多個水平定向的旋翼,所述旋翼可以向所述可移動物體提供升力和/或推力。可以致動所述多個水平定向的旋翼以向可移動物體1400提供垂直起飛、垂直降落以及懸停能力。在一些實施方式中,所述水平定向的旋翼中的一個或多個可以在順時針方向上旋轉(zhuǎn),同時所述水平旋翼中的一個或多個可以在逆時針方向上旋轉(zhuǎn)。例如,順時針旋翼的數(shù)目可以等于逆時針旋翼的數(shù)目。水平定向的旋翼中每個的旋轉(zhuǎn)速率可獨立地改變,以便控制由每個旋翼產(chǎn)生的升力和/或推力,并從而調(diào)整可移動物體1500的空間布局、速度和/或加速度(例如,關(guān)于多達三個平移自由度和多達三個旋轉(zhuǎn)自由度)。
感測系統(tǒng)1508可以包括一個或多個傳感器,所述傳感器可以感測可移動物體1500的空間布局、速度和/或加速度(例如,關(guān)于多達三個平移自由度和多達三個旋轉(zhuǎn)自由度)。所述一個或多個傳感器可以包括全球定位系統(tǒng)(GPS)傳感器、運動傳感器、慣性傳感器、接近度傳感器或圖像傳感器。由感測系統(tǒng)1508提供的感測數(shù)據(jù)可以用于控制可移動物體1500的空間布局、速度和/或定向(例如,使用合適的處理單元和/或控制模塊,如下文所述)。備選地,感測系統(tǒng)1508可以用于提供關(guān)于可移動物體周圍環(huán)境的數(shù)據(jù),諸如氣象條件、至潛在障礙物的接近度、地理特征的位置、人造結(jié)構(gòu)的位置等。
通信系統(tǒng)1510支持經(jīng)由無線信號1516與具有通信系統(tǒng)1514的終端1512的通信。通信系統(tǒng)1510、通信系統(tǒng)1514可以包括任何數(shù)目的適合于無線通信的發(fā)射器、接收器和/或收發(fā)器。所述通信可以是單向通信,使得數(shù)據(jù)只能在一個方向上傳輸。例如,單向通信可以僅涉及可移動物體1500向終端1512傳輸數(shù)據(jù),或者反之亦然。數(shù)據(jù)可以從通信系統(tǒng)1510的一個或多個發(fā)射器傳輸至通信系統(tǒng)1512的一個或多個接收器,或者反之亦然。備選地,所述通信可以是雙向通信,使得數(shù)據(jù)在可移動物體1500與終端1512之間的兩個方向上均可傳輸。雙向通信可以涉及從通信系統(tǒng)1510的一個或多個發(fā)射器向通信系統(tǒng)1514的一個或多個接收器傳輸數(shù)據(jù),并且反之亦然。
在一些實施方式中,終端1512可以向可移動物體1500、載體1502和負載1504中的一個或多個提供控制數(shù)據(jù),以及從可移動物體1500、載體1502和負載1504中的一個或多個接收信息(例如,可移動物體、載體或負載的位置和/或運動信息;由負載感測的數(shù)據(jù),諸如由負載相機捕捉的圖像數(shù)據(jù))。在一些情況下,來自終端的控制數(shù)據(jù)可以包括針對可移動物體、載體和/或負載的相對位置、移動、致動或控制的指令。例如,控制數(shù)據(jù)可以導(dǎo)致可移動物體的位置和/或定向的修改(例如,經(jīng)由動力機構(gòu)1506的控制),或者負載相對于可移動物體的移動(例如,經(jīng)由載體1502的控制)。來自終端的控制數(shù)據(jù)可以導(dǎo)致對負載的控制,諸如對相機或其他圖像捕捉裝置的操作的控制(例如,拍攝靜止或移動圖片、放大或縮小、開啟或關(guān)閉、切換成像模式、改變圖像分辨率、改變聚焦、改變景深、改變曝光時間、改變視角或視野)。在一些情況下,來自可移動物體、載體和/或負載的通信可以包括來自(例如,感測系統(tǒng)1508的或負載1504的)一個或多個傳感器的信息。所述通信可以包括來自一個或多個不同類型的傳感器(例如,GPS傳感器、運動傳感器、慣性傳感器、接近度傳感器或圖像傳感器)的感測到的信息。這樣的信息可以關(guān)于可移動物體、載體和/或負載的定位(例如,位置、定向)、移動或加速度。來自負載的這樣的信息可以包括由所述負載捕捉的數(shù)據(jù)或所述負載的感測到的狀態(tài)。由終端1512提供并傳輸?shù)目刂茢?shù)據(jù)可被配置用于控制可移動物體1500、載體1502或負載1504中的一個或多個的狀態(tài)。備選地或組合地,載體1502和負載1504還可以每個包括通信模塊,所述通信模塊被配置用于與終端1512通信,以使得所述終端可獨立地與可移動物體1500、載體1502和負載1504中的每一個通信和對其加以控制。
在一些實施方式中,可移動物體1500可被配置用于與除終端1512以外或代替終端1512的另一遠程裝置通信。終端1512也可被配置用于與另一遠程裝置以及可移動物體1500通信。例如,可移動物體1500和/或終端1512可以與另一可移動物體或者另一可移動物體的載體或負載通信。當需要時,所述遠程裝置可以是第二終端或其他計算裝置(例如,計算機、膝上型計算機、平板計算機、智能電話或其他移動裝置)。遠程裝置可被配置用于向可移動物體1500傳輸數(shù)據(jù)、從可移動物體1500接收數(shù)據(jù)、向終端1512傳輸數(shù)據(jù)和/或從終端1512接收數(shù)據(jù)。可選地,遠程裝置可以連接至因特網(wǎng)或其他電信網(wǎng)絡(luò),以使得從可移動物體1500和/或終端1512接收的數(shù)據(jù)可被上傳至網(wǎng)站或服務(wù)器。
圖16是根據(jù)實施方式的用于控制可移動物體的系統(tǒng)1600的通過框圖來說明的示意圖。系統(tǒng)1600可以與本文所公開的系統(tǒng)、裝置和方法的任何合適的實施方式組合使用。系統(tǒng)1600可以包括感測模塊1602、處理單元1604、非暫時性計算機可讀介質(zhì)1606、控制模塊1608和通信模塊1610。
感測模塊1602可以利用以不同方式收集與可移動物體有關(guān)的信息的不同類型的傳感器。不同類型的傳感器可以感測不同類型的信號或者來自不同來源的信號。例如,所述傳感器可以包括慣性傳感器、GPS傳感器、接近度傳感器(例如,激光雷達)或視覺/圖像傳感器(例如,相機)。感測模塊1602可以可操作地耦合至具有多個處理器的處理單元1604。在一些實施方式中,感測模塊可以可操作地耦合至傳輸模塊1612(例如,Wi-Fi圖像傳輸模塊),所述傳輸模塊被配置用于向合適的外部裝置或系統(tǒng)直接傳輸感測數(shù)據(jù)。例如,傳輸模塊1612可以用于向遠程終端傳輸由感測模塊1602的相機捕捉的圖像。
處理單元1604可以具有一個或多個處理器,諸如可編程處理器(例如,中央處理單元(CPU))。處理單元1604可以可操作地耦合至非暫時性計算機可讀介質(zhì)1606。非暫時性計算機可讀介質(zhì)1606可以存儲可由處理單元1604執(zhí)行的邏輯、代碼和/或程序指令,用以執(zhí)行一個或多個步驟。非暫時性計算機可讀介質(zhì)可以包括一個或多個存儲器單元(例如,可移動介質(zhì)或外部存儲裝置,諸如SD卡或隨機存取存儲器(RAM))。在一些實施方式中,來自感測模塊1602的數(shù)據(jù)可直接傳送至并存儲于非暫時性計算機可讀介質(zhì)1606的存儲器單元內(nèi)。非暫時性計算機可讀介質(zhì)1606的存儲器單元可以存儲可由處理單元1604執(zhí)行的邏輯、代碼和/或程序指令,用以執(zhí)行本文所描述的方法的任何合適的實施方式。例如,處理單元1604可被配置用于執(zhí)行指令,從而使處理單元1604的一個或多個處理器分析由感測模塊產(chǎn)生的感測數(shù)據(jù)。存儲器單元可以存儲待由處理單元1604處理的來自感測模塊的感測數(shù)據(jù)。在一些實施方式中,非暫時性計算機可讀介質(zhì)1606的存儲器單元可以用于存儲由處理單元1604產(chǎn)生的處理結(jié)果。
在一些實施方式中,處理單元1604可以可操作地耦合至控制模塊1608,所述控制模塊1608被配置用于控制可移動物體的狀態(tài)。例如,控制模塊1608可被配置用于控制可移動物體的動力機構(gòu)以調(diào)整可移動物體關(guān)于六個自由度的空間布局、速度和/或加速度。備選地或組合地,控制模塊1608可以控制載體、負載或感測模塊中的一個或多個的狀態(tài)。
處理單元1604可以可操作地耦合至通信模塊1510,所述通信模塊被配置用于傳輸和/或接收來自一個或多個外部裝置(例如,終端、顯示裝置或其他遙控器)的數(shù)據(jù)??梢允褂萌魏魏线m的通信手段,諸如有線通信或無線通信。例如,通信模塊1610可以利用局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、紅外線、無線電、WiFi、點對點(P2P)網(wǎng)絡(luò)、電信網(wǎng)絡(luò)、云通信等之中的一種或多種。可選地,可以使用中繼站,諸如塔、衛(wèi)星或移動臺。無線通信可以依賴于接近度或獨立于接近度。在一些實施方式中,通信可能需要或者可能不需要視線。通信模塊1610可以傳輸和/或接收來自感測模塊1602的感測數(shù)據(jù)、由處理單元1604產(chǎn)生的處理結(jié)果、預(yù)定控制數(shù)據(jù)、來自終端或遙控器的用戶命令等之中的一個或多個。
系統(tǒng)1600的部件可以按任何合適的配置來布置。例如,系統(tǒng)1600的部件中的一個或多個可以位于可移動物體、載體、負載、終端、感測系統(tǒng)或與上述的一個或多個通信的附加外部裝置上。此外,雖然圖16描繪了單一處理單元1604和單一非暫時性計算機可讀介質(zhì)1606,但本領(lǐng)域技術(shù)人員將會理解,這并不旨在成為限制性的,并且系統(tǒng)1600可以包括多個處理單元和/或非暫時性計算機可讀介質(zhì)。在一些實施方式中,多個處理單元和/或非暫時性計算機可讀介質(zhì)中的一個或多個可以位于不同的位置,諸如在可移動物體、載體、負載、終端、感測模塊、與上述的一個或多個通信的附加外部裝置上或其合適的組合上,以使得由系統(tǒng)1600執(zhí)行的處理和/或存儲器功能的任何合適的方面可以發(fā)生于上述位置中的一個或多個處。
雖然本文已經(jīng)示出和描述了本發(fā)明的優(yōu)選實施方式,但對于本領(lǐng)域技術(shù)人員明顯的是,這樣的實施方式只是以示例的方式提供的。本領(lǐng)域技術(shù)人員現(xiàn)將會在不偏離本發(fā)明的情況下想到許多變化、改變和替代。應(yīng)當理解,在實踐本發(fā)明的過程中可以采用對本文所描述的本發(fā)明實施方式的各種備選方案。所附權(quán)利要求旨在限定本發(fā)明的范圍,并因此覆蓋這些權(quán)利要求及其等效項的范圍內(nèi)的方法和結(jié)構(gòu)。