專利名稱：利用基于視覺的調(diào)整引導車輛的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及使用視覺調(diào)整來引導車輛的方法和系統(tǒng)。
背景技術：
全球定位系統(tǒng)(GPS)接收器已經(jīng)用于為車輛導航應用提供位置數(shù)據(jù)。然而， 盡管具有差分校正的特定GPS接收器在其大部分工作時間內(nèi)可具有大約10厘米 (4英寸)的一般位置誤差，大于50厘米(20英寸)的絕對位置誤差在其5%的 工作時間內(nèi)普遍存在。此外，GPS信號會被建筑物、樹或其它障礙物所阻擋，這 會使得只用GPS導航的系統(tǒng)在特定地點或環(huán)境中變得不可靠。相應地，需要使用 一個或多個附加的傳感器來補充或加強基于GPS導航的系統(tǒng)，從而提高精確性和 魯棒性。
發(fā)明內(nèi)容
定位接收器在求值時間窗口過程中采集車輛的初歩位置數(shù)據(jù)。初歩制導數(shù)據(jù) 由所述初步位置數(shù)據(jù)確定。視覺模塊在求值時間窗口過程中采集視覺數(shù)據(jù)。由采 集的視覺數(shù)據(jù)確定視覺制導數(shù)據(jù)。視覺質(zhì)量估計器為所述求值時間窗口的所述視 覺數(shù)據(jù)和視覺制導數(shù)據(jù)中的至少一個估計視覺質(zhì)量數(shù)據(jù)。所述視覺質(zhì)量數(shù)據(jù)基于 互相關和r平方值，其中每一互相關在分段內(nèi)的所述視覺數(shù)據(jù)的觀察的強度分布與 參考強度分布之間以確定行中心位置。所述r平方值是基于回歸路徑和一個或多個 行中心位置確定。如果所述視覺質(zhì)量數(shù)據(jù)超過最小閾值，則調(diào)節(jié)器基于所述視覺 制導數(shù)據(jù)調(diào)節(jié)所述初步制導數(shù)據(jù)至修正的制導數(shù)據(jù)，使得所述修正的制導數(shù)據(jù)與 所述視覺制導數(shù)據(jù)一起被記錄或大體同延。
圖1是根據(jù)本發(fā)明基于初歩制導數(shù)據(jù)(如，初歩位置數(shù)據(jù))和視覺制導數(shù)據(jù)(如， 源于視覺的位置數(shù)據(jù))引導車輛的系統(tǒng)的方框圖。
圖2是根據(jù)本發(fā)明基于初歩制導數(shù)據(jù)(如，初歩位置數(shù)據(jù))和視覺制導數(shù)據(jù)(如， 源于視覺的位置數(shù)據(jù))引導車輛的方法的流程圖。
圖3是根據(jù)本發(fā)明基于初步制導數(shù)據(jù)(如，初步位置數(shù)據(jù))和視覺制導數(shù)據(jù)(如，說明書第2/19頁
源于視覺的位置數(shù)據(jù))的引導車輛的另一方法的流程圖。
圖4是表示諸如來自差分全球定位系統(tǒng)(GPS)的制導信號的位置數(shù)據(jù)的靜
態(tài)定位誤差的圖表。
圖5是表示通過諸如本發(fā)明所述的視覺模塊的另一傳感器"調(diào)諧"后，諸如來 自差分全球定位系統(tǒng)(GPS)信號的制導信號的位置數(shù)據(jù)的定位誤差的圖表，。
圖6是基于來自視覺數(shù)據(jù)(如，單目視覺數(shù)據(jù))的視覺制導數(shù)據(jù)引導車輛的方 法的實施例的流程圖。
圖7是基于視覺制導數(shù)據(jù)引導車輛的方法的另一實施例的流程圖。 圖8A是視覺質(zhì)量估計器的各種組件或邏輯構件的方框圖。 圖8B是用于確定圖像數(shù)據(jù)或視覺數(shù)據(jù)的視覺質(zhì)量數(shù)據(jù)的方法的流程圖。 圖9是在組織或分段成作物像素和非作物像素后的行作物的示范性圖像。 圖10示出了來自圖9中作物像素的強度分布。
圖11是示范性的費米(Fermi)函數(shù)，用作干草列的模板或參考強度分布。 圖12是示范性的正弦函數(shù)，用做行作物的模板或參考強度分布。 圖13是表示在所述參考強度分布和觀察的強度分布之間互相關的確定圖示。 圖14示出了與作物行的近似中心線相關聯(lián)的回歸路徑(如，回歸線)，以及與
所述回歸路徑相關聯(lián)的多個分段或窗口。
圖15A是視覺質(zhì)量估計器的各種組件或邏輯構件的方框圖。
圖15B是基于來自視覺數(shù)據(jù)(如，立體視覺數(shù)據(jù))的視覺制導數(shù)據(jù)引導車輛
的方法的一個實施例的流程圖。
圖16表示作物特征或植被的密度網(wǎng)格點以及與作物行相關聯(lián)的中心線。
具體實施方案
圖1是用來引導車輛的制導系統(tǒng)11的方框圖?？梢詫⒃撝茖到y(tǒng)11安裝在或 配置于車輛或移動機器人上。該制導系統(tǒng)11包括視覺模塊22和與調(diào)節(jié)器110通 信的定位接收器28。
視覺模塊22可與視覺質(zhì)量估計器(20或120)相關聯(lián)。定位接收器28可與 位置質(zhì)量估計器24相關聯(lián)。調(diào)節(jié)器110可以與車輛控制器25通信。依次地，該 車輛控制器25被耦合到轉(zhuǎn)向系統(tǒng)27。
定位接收器28可包括帶有差分校正的全球定位系統(tǒng)(GPS)接收器(如GPS 接收器以及用于接收由衛(wèi)星或地面源發(fā)射的差分校正信號的接收器)。該定位接收 器28提供車輛的位置數(shù)據(jù)(如坐標)。該定位接收器28可將下述條件、狀態(tài)或狀 況中的一個或多個(如通過狀況信號)指示給至少調(diào)節(jié)器110或位置質(zhì)量估計器 24: (1)定位接收器28被禁止的地方，(2)對于一個或多個相應的求值間隔，位 置數(shù)據(jù)無法獲得或被破壞的地方，以及(3)對于一個或多個相應的求值間隔，位置數(shù)據(jù)被估計的精度或可靠性跌落在最小閾值以下的地方。定位接收器28為車輛 提供非常適合于全球?qū)Ш交蛉蚵窂揭?guī)劃的位置數(shù)據(jù)。
位置模塊26或與該位置模塊26相關聯(lián)的數(shù)據(jù)處理器由所采集的位置數(shù)據(jù)確 定制導數(shù)據(jù)。制導數(shù)據(jù)指來自一個或多個與該定位接收器28相關聯(lián)的位置數(shù)據(jù)的 下列數(shù)據(jù)航向數(shù)據(jù)、航向誤差數(shù)據(jù)、偏離軌道數(shù)據(jù)、偏離軌道誤差數(shù)據(jù)、曲率 數(shù)據(jù)、曲率誤差數(shù)據(jù)、源于視覺的位置數(shù)據(jù)以及位置誤差數(shù)據(jù)。制導數(shù)據(jù)通常指
下述術語中的一個或多個初步制導數(shù)據(jù)、修正的制導數(shù)據(jù)和視覺制導數(shù)據(jù)。
在實施例中，位置模塊26可以確定制導數(shù)據(jù)以引導或轉(zhuǎn)向車輛，使得該車輛
的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關的路線。該
位置模塊26可以通過路線設計者、數(shù)據(jù)處理系統(tǒng)、無線通信設備、磁性存儲介質(zhì)、 光學存儲介質(zhì)、電子存儲器或其它進行通信或在該目標坐標或路線上接收信息。 例如，可以用路線設計或基于作物行或田地種植圖的系列坐標來表示目標坐標或 路線。可以通過定位接收器28或另外的定位設備在種植種子、作物、植物或作物 前體期間采集該田地種植圖。
在示范性實施例中，位置模塊26或定位接收器28用下式輸出制導數(shù)據(jù)(如， 位置數(shù)據(jù))
其中￡(,,是通過定位接收器28 (如，定位接收器
28)估計的偏離軌道誤差，以及&^,是通過該定位接收器22估計的航向誤差。
視覺模塊22可包括圖像采集系統(tǒng)31和圖像處理系統(tǒng)33。視覺模塊22或圖 像采集系統(tǒng)31采集圖像數(shù)據(jù)或視覺數(shù)據(jù)，它們在本文通篇被視為同義的術語。視 覺模塊22或圖像處理系統(tǒng)33從已采集的圖像數(shù)據(jù)或視覺數(shù)據(jù)中推導出視覺制導 數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))。該視覺制導數(shù)據(jù)意指一個或多個來自與該視覺 模塊22相關的視覺數(shù)據(jù)的下列數(shù)據(jù)航向數(shù)據(jù)、航向誤差數(shù)據(jù)、偏離軌道數(shù)據(jù)、 偏離軌道誤差數(shù)據(jù)、曲率數(shù)據(jù)、曲率誤差數(shù)據(jù)、源于視覺的位置數(shù)據(jù)、位置數(shù)據(jù) 和位置誤差數(shù)據(jù)。
在一個實施例中，該視覺模塊22可以確定引導或轉(zhuǎn)向該車輛的視覺制導數(shù)據(jù)， 使得該車輛的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關 的路線。該位置模塊22可以通過路線設計者、數(shù)據(jù)處理系統(tǒng)、無線通信設備、磁 性存儲介質(zhì)、光學存儲介質(zhì)、電子存儲器或其它進行通信或在該目標坐標或路線 上接收信息。例如，可以用路線設計或基于采集到的作物行圖像或來自該采集圖 像再現(xiàn)的系列坐標來表示該目標坐標或路線。在一個例子中，視覺模塊22能夠辨 識帶有與大豆的約1cm和玉米的約2.4cm的一樣小的誤差的作物行位置。
在一個示范性實施例中，該視覺模塊22用下式輸出視覺制導數(shù)據(jù)(如，源于
8視覺的位置數(shù)據(jù))-
，其中五 ,?！妒莊fi過該視覺模塊22估計的偏離軌道
誤差以及A^一w是通過該視覺模塊22估計的航向誤差。
圖像采集系統(tǒng)31可以包括下列中的一個或多個(1) 一個或多個用來采集一 組圖像(如，具有相同場景不同焦距設置或鏡頭調(diào)整的多個圖像，或不同視場 (FOV)的多個圖像)的單目成像系統(tǒng)；(2)立體視覺系統(tǒng)(如，通過已知距離 和方向分開的兩數(shù)字成像單元)，用來確定場景中物體上的點相關的深度信息或三
維坐標；(3)測距儀(如激光測距儀)，用來確定在場景中物體上的點相關的測距 或三維坐標；(4)雷達系統(tǒng)或激光雷達系統(tǒng)用來檢測場景中物體的速度、海拔、 方向或幅度；(5)激光掃描系統(tǒng)(如，激光測量系統(tǒng)，其發(fā)出光脈沖并根據(jù)激光
發(fā)出和激光發(fā)射接收之間的時間來估計激光測量系統(tǒng)和該目標之間的距離)用來
確定場景中物體的距離；以及(6)成像系統(tǒng)，用來通過光學的微機電系統(tǒng)(MEMS)、 自由空間光學MEMS或集成光學MEMS采集圖像。
自由空間光學MEMS使用具有一定范圍或折射率的復合半導體和材料來控制 可視光、紅外、或紫外光，而集成光學MEMS使用多晶硅組件來反射、衍射、調(diào) 制或控制可視光、紅外、或紫外光，MEMS可以被構造成由各種半導體制造工藝 能制造的開關矩陣、鏡頭、鏡子和光柵。通過視覺模塊22或圖像采集系統(tǒng)31采 集的圖像可以是例如彩色、單色、黑白、或灰度圖像。
視覺模塊22或源于視覺的位置數(shù)據(jù)可以對應上述圖像內(nèi)物體特征的位置來支 持位置數(shù)據(jù)(二維或三維坐標)的采集。該視覺模塊22非常適合使用(a)車輛 周圍環(huán)境的特征或局部特征，(b)位置數(shù)據(jù)或與上述特征相關的坐標，或同時使 用以便于該車輛的導航。該局部特征可以包括下面的一個或多個植物行位置、 柵欄位置、建筑物位置、ffl地邊緣位置、邊界位置、巨石位置、巖石位置(如， 大于最小閾值尺寸或體積)、土脊和溝、樹位置、作物邊緣位置、植被(如草坪) 上的切割邊位置，以及參考標記。該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù)) 或局部特征的位置數(shù)據(jù)可以定期(例如周期地)用來調(diào)整(如，糾正漂移)來自 定位接收器28的初歩制導數(shù)據(jù)(如，初歩位置數(shù)據(jù))。
在一個例子中，參考標記可與高精度位置坐標相關聯(lián)。此外，其它局部特征可 與該參考標記位置相關。當前車輛位置可與參考標記位置或局部特征的固定位置 或車輛的位置相關聯(lián)。在一個實施中，該視覺模塊22可以與定位接收器28相似 或大致相當?shù)淖鴺嘶驍?shù)據(jù)格式表達車輛位置的源于視覺的位置數(shù)據(jù)。
視覺模塊22可以通過狀態(tài)或數(shù)據(jù)命令將下面的一個或多個指示給至少調(diào)節(jié)器 110或視覺質(zhì)量估計器20: (1)視覺模塊22是否被禁止，(2)是否視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))在一個或多個相應的求值間隔內(nèi)不可獲得，(3)是 否該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))不穩(wěn)定或被破壞，以及(4)是否
該圖像數(shù)據(jù)或視覺制導數(shù)據(jù)達到不符合閾值性能/可靠性水準的精確度水準、性能 水準或可靠性水準。
位置質(zhì)量估計器24可以包括下列設備中的一個或多個與定位接收器28相 關聯(lián)的信號強度指示器、與定位接收器28相關聯(lián)的比特誤碼率指示器、用來測量 信號質(zhì)量、誤碼率、信號強度、或信號性能的另外的設備、信道、或為定位發(fā)送 的代碼。此外，為了基于衛(wèi)星定位，位置質(zhì)量估計器24可包括用來確定是否足夠 信號質(zhì)量的最小數(shù)目的衛(wèi)星信號(如來自GPS的L1頻帶上的四個或更多衛(wèi)星的 信號)被定位接收器28接收，以在求值間隔過程中為車輛提供可靠的位置數(shù)據(jù)。
位置質(zhì)量估計器24估計初步位置數(shù)據(jù)的質(zhì)量或通過定位接收器28輸出的定 位質(zhì)量數(shù)據(jù)(如，Qgps)的質(zhì)量。位置質(zhì)量估計器24可以基于通過定位接收器28 接收的每一信號分量的信號強度指示器(或誤碼率)估計初歩位置數(shù)據(jù)的質(zhì)量。 位置質(zhì)量估計器24也可以在下列因素的基礎上估計質(zhì)量(1)在一地區(qū)可獲得的 衛(wèi)星信號的數(shù)目，(2)通過定位接收器獲得或接收到的具有足夠信號質(zhì)量(如， 信號強度分布)的衛(wèi)星數(shù)目，和(3)是否每一個衛(wèi)星信號都具有可接受的信號水 準或可接受的誤碼率(BER)或誤幀率(FER)。
在一個實施例中，不同信號強度幅度與不同相應質(zhì)量水準相關聯(lián)。例如，最低 信號強度幅度與最低質(zhì)量相關聯(lián)，中級信號質(zhì)量幅度與中等質(zhì)量相關聯(lián)，最高信 號強度幅度與最高質(zhì)量相關聯(lián)。相反地，最低誤碼率幅度與最高質(zhì)量相關聯(lián)，中 級誤碼率幅度與中等質(zhì)量相關聯(lián)，最高誤碼率幅度與最低質(zhì)量水準相關聯(lián)。
視覺質(zhì)量估計器20估計由視覺模塊22輸出的視覺制導數(shù)據(jù)(如，源于視覺 的位置數(shù)據(jù))的質(zhì)量。該視覺制導數(shù)據(jù)的質(zhì)量可以通過視覺質(zhì)量數(shù)據(jù)(如，QWs,。n) 進行表達。該視覺質(zhì)量估計器20可考慮在一系列時間間隔內(nèi)該視覺模塊操作和獲 取相應圖像所呈現(xiàn)的照度。該視覺質(zhì)量估計器20可包括光探測器、具有頻率可選 鏡頭的光探測器、 一組帶有相應頻率可選鏡頭的光探測器、電荷偶合器件(CCD)、 光度計、硫化鎘電池等等。進一步地，該視覺質(zhì)量估計器30包括時鐘或計時器， 用來為圖像用采集時間打時間戳以及相應照度測量(如，圖像所用的照度值)。在 示范性實施例中，如果該照度在低強度范圍內(nèi)，則該時間間隔內(nèi)具有低視覺質(zhì)量； 如果該照度在中強度范圍內(nèi)，則該時間間隔內(nèi)具有高視覺質(zhì)量；以及如果該照度 在高強度范圍內(nèi)，該時間間隔內(nèi)具有一般的視覺質(zhì)量，該時間間隔內(nèi)的低或高基 于在高強度范圍內(nèi)的已定義的子范圍。在一個例子中，前面的強度范圍相對質(zhì)量 可應用于光頻率對光頻率或光色基。在另一例子中，該強度范圍相對質(zhì)量的對比 可用于紅外線范圍頻率和紫外線范圍頻率而不同于用于可見光。視覺質(zhì)量估計可與圖像處理中的置信度測量有關。如果所需特征(如，植物行) 明顯在一個或多個圖像中，則視覺質(zhì)量估計器20可給相應圖像設置高圖像質(zhì)量或 高置信度水準。相反地，如果所需特征(如，由于缺失作物行)在一個或多個圖
像中不明顯，則視覺質(zhì)量估計器20可設置低圖像質(zhì)量或低置信度水準。在一個例 子中，基于每一個列分量(如，用于該視覺模塊22的速度分量)的中級強度的絕 對差(SAD)為假定的偏航/俯仰對確定置信度水準。偏航被定義為在x-y平面中 視覺模塊22的方向，以及俯仰被定義為在通常垂直于x-y平面的x-z平面中的視 覺模塊22的方向。
如果視覺模塊不能定位或標注在圖像中參考特征或參考標記，或尚未在最大閾 值時間內(nèi)標注參考標記，則視覺模塊22會警示視覺質(zhì)量估計器20，其可以通過 質(zhì)量劣化指示器劣化該源于視覺位置數(shù)據(jù)的質(zhì)量。
通常，調(diào)節(jié)器110包括數(shù)據(jù)處理器、微控制器、微處理器、數(shù)字信號處理器、 嵌入式處理器或其它任意使用軟件指令進行編程的可編程(如，現(xiàn)場可編程)設 備。調(diào)節(jié)器110可與車輛控制器25相關聯(lián)。在實施例中，調(diào)節(jié)器110包括規(guī)則管 理器。調(diào)節(jié)器110的規(guī)則管理器可以將該初步制導數(shù)據(jù)(如，初步位置數(shù)據(jù))或 其衍生作為相應時間間隔的誤差控制信號，除非該視覺質(zhì)量數(shù)據(jù)超出最小閾值水 準。如果該初歩制導數(shù)據(jù)(如，初歩位置數(shù)據(jù))和該視覺制導數(shù)據(jù)(如，源于視 覺的位置數(shù)據(jù))差沒有超出最大容忍值，不需要任何調(diào)節(jié)。視覺加權決定來自該 視覺模塊22的視覺制導數(shù)據(jù)(如，yws,OT)的作用幅度。位置加權決定來自該視覺 模塊22管理的制導數(shù)據(jù)(如，位置數(shù)據(jù))的作用幅度?；祛l器14決定制導數(shù)據(jù) (如，ygps)和視覺制導數(shù)據(jù)(如，yws,加)對基于視覺加權和定位加權兩者的誤差 控制信號(如，y)的相應作用。在實施例中，該混頻器14可包括數(shù)字濾波器、 數(shù)字信號處理器、或布置為使用下列中一個或多個的其它數(shù)據(jù)處理器(1)視覺 制導數(shù)據(jù)加權(如，源于視覺的位置數(shù)據(jù)加權)，(2)位置數(shù)據(jù)加權，和(3)在 求值時間間隔內(nèi)該位置數(shù)據(jù)和源于視覺位置數(shù)據(jù)相應作用的混合比表示。
誤差控制信號表示已估計的制導數(shù)據(jù)與實際制導數(shù)據(jù)之間的差(或誤差)，以 使該車輛對準軌道、目標坐標或目標路徑。例如，該誤差控制信號可以表示位置 數(shù)據(jù)(通過該視覺模塊22和通過該位置模塊26測量的)與該車輛的實際位置之 間的差(或誤差)。輸出這樣的誤差控制信號到該車輛控制器25以得到補償?shù)目?制信號。該補償控制信號基于該誤差控制信號糾正轉(zhuǎn)向系統(tǒng)27的管理和控制。該 轉(zhuǎn)向系統(tǒng)27可以包括電接口用以與車輛控制器25通信。在實施例中，該電接口 包括電磁控制液壓轉(zhuǎn)向系統(tǒng)或其它控制液壓流體的機電設備。
在另外的實施例中，該轉(zhuǎn)向系統(tǒng)27包括轉(zhuǎn)向系統(tǒng)單元(SSU)。該SSU與航 向?qū)r間要求相關聯(lián)，以順著期望路線或按照期望或目標路徑規(guī)劃或目標坐標轉(zhuǎn)向或制導該車輛該航向與航向誤差(如，表示為該實際航向角度和期望航向角度之間的差)相關聯(lián)。
可以通過該視覺模塊22或定位接收器28控制該SSU以補償在該車輛估計位置的誤差。例如，偏離軌道誤差指示或代表該車輛的實際位置(如，用GPS坐標表示)對該車輛的期望位置(如，用GPS坐標)。該偏離軌道誤差可以用補償航向修改該車輛的移動。但是，如果在時間或時間間隔內(nèi)任意點上都沒有偏離軌道誤差，則未補償?shù)暮较蚓妥銐?。該航向誤差是在實際車輛航向和通過該視覺模塊22和定位接收器28的估計車輛航向之間的差。
圖2是使用視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))和位置數(shù)據(jù)用來引導車輛的方法流程圖。圖2的方法在步驟S200開始。
在步驟S200，定位接收器28為與其相關的車輛采集初歩位置數(shù)據(jù)。例如，該定位接收器28 (如，帶有差分校正的GPS接收器)可以用來確定一個或多個時間間隔或相應時間內(nèi)的車輛坐標。
在歩驟S201 ，位置模塊26或定位接收器28確定與該初歩位置數(shù)據(jù)相關的相應的制導數(shù)據(jù)。制導數(shù)據(jù)包括來自采集的初步位置數(shù)據(jù)的下列項中的一個或多個航向數(shù)據(jù)、航向誤差數(shù)據(jù)、偏離軌道數(shù)據(jù)、偏離軌道誤差數(shù)據(jù)、曲率數(shù)據(jù)、曲率誤差數(shù)據(jù)、和位置誤差數(shù)據(jù)。該航向數(shù)據(jù)指相對于參考方向(如磁北)的車輛的方向(如，角取向)(如，車輛的縱向軸)。該航向誤差是實際車輛航向和目標車輛航向之間的差。該航向誤差可與視覺模塊22、位置模塊26、車輛控制器25、或轉(zhuǎn)向系統(tǒng)27中至少一個內(nèi)的誤差(如，測量誤差、系統(tǒng)誤差、或二者都有)相關。偏離軌道數(shù)據(jù)指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤差指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如，用GPS坐標表示)之間的差。該曲率是在所期望路徑上航向的改變。例如，曲率是沿著該路徑的任意兩個參考點(如，調(diào)整點)之間到該車輛路線的正切角的變化率。
該制導誤差信號或該位置誤差信號(如，ygps)可以表現(xiàn)為(1)在期望時間內(nèi)實際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向和期望車輛航向之間的差，(3)或與位置數(shù)據(jù)或制導數(shù)據(jù)相關的誤差的另一種表達。該位置誤差信號可以被定義但不必定義為向量數(shù)據(jù)。
在歩驟S202，視覺模塊22在求值時間窗口中為該車輛采集視覺數(shù)據(jù)。例如，該視覺模塊22可以在車輛在田地中移動時以大體行進方向采集一個或多個作物行圖像。每一個采集的圖像可與相應求值時間間隔有關。
在步驟S203，該視覺模塊22在一個或多個求值時間間隔或?qū)獣r間內(nèi)確定視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù)或視覺誤差信號)。例如，該視覺模塊22可以采集圖像并處理采集到的圖像來確定源于視覺的位置數(shù)據(jù)。在一個例子中，該源于視覺的位置數(shù)據(jù)包括車輛的源于視覺的位置數(shù)據(jù)，其通過參考一個或多個可視參考標記或帶有相應己知位置的特征來獲得以確定車輛的坐標。該車輛坐標可以根據(jù)全球坐標系統(tǒng)或局部坐標系統(tǒng)進行確定。
視覺制導誤差信號或視覺誤差信號(如，yws,。 )表現(xiàn)為(1)在期望時間內(nèi)實際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向和
期望車輛航向之間的差，(3)或與源于視覺的位置數(shù)據(jù)或視覺制導數(shù)據(jù)相關的誤
差的另一種表達。
在步驟S204,視覺質(zhì)量估計器20在求值時間間隔期間估計視覺質(zhì)量。該視覺質(zhì)量估計器20可以包括照度或光探測器以及用于時間戳照度測量的計時器或時鐘以基于周圍照明條件來確定質(zhì)量水準。視覺質(zhì)量估計器20也可包括在處理圖像以獲得期望特征時置信度或可靠性的測量。在處理圖像時的置信度或可靠性的測量可以根據(jù)下列因素中的任意一個視覺模塊22的技術規(guī)范(如，分辨率)、確認目標(如，圖像中的地標)的可靠性、估計確認目標或其中的點的位置的可靠性、將圖像坐標或局部坐標轉(zhuǎn)換成全球坐標或源于視覺的位置數(shù)據(jù)的可靠性，該源于視覺的位置數(shù)據(jù)在空間上和時間上與來自該定位接收器28的位置數(shù)據(jù)一致。
可以通過多種可能切換或重復使用的技術來執(zhí)行歩驟S204。在第一種技術中，該視覺質(zhì)量估計器20可以估計源于視覺位置數(shù)據(jù)精度的置信度和可靠性。在第二種技術中，該視覺質(zhì)量估計器20首先估計源于視覺位置數(shù)據(jù)精度的置信度水準、可靠性水準或其它質(zhì)量水準；然后，第二步，該視覺質(zhì)量估計器20將該質(zhì)量水準轉(zhuǎn)換成相應的語言值。
在步驟S206，如果該視覺質(zhì)量數(shù)據(jù)超過最小閾值水準，調(diào)節(jié)器110或車輛控制器25基于該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))將初歩制導數(shù)據(jù)(如，初步位置數(shù)據(jù))調(diào)節(jié)到修正的制導數(shù)據(jù)(如，修正位置數(shù)據(jù))，使得該修正的制導數(shù)據(jù)(如，修正位置數(shù)據(jù))與該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù)) 一起被記錄或大體同延。例如，該調(diào)節(jié)器110或車輛控制器25可以在任意時隙或求值時間窗口內(nèi)調(diào)節(jié)初歩位置數(shù)據(jù)，其中該視覺質(zhì)量數(shù)據(jù)超出最小閾值水準，如果在該視覺制導數(shù)據(jù)和初歩制導數(shù)據(jù)之間的任意不等或差是實質(zhì)性的。 一起被記錄或大體同延意思是相同時間間隔的源于視覺位置數(shù)據(jù)和初歩位置數(shù)據(jù)大體同延或通過最大容忍量(如，其可以被表示為在地理坐標之間的距離、向量或以秒(或其它單位)的分離)區(qū)分。例如，該最大容忍量可設置為從1cm到10cm范圍內(nèi)的特定距離(如，2.54厘米)。
在實施例中，調(diào)節(jié)器110基于該初步位置數(shù)據(jù)或修正位置數(shù)據(jù)發(fā)送給該車輛控制器25誤差控制信號或使誤差控制信號可被該車輛控制器25所獲得。由此獲得的修正位置數(shù)據(jù)或誤差控制信號可以時隙基(如，在應用時間窗期間)為單位進行更新。每一個時隙可在大小上與求值時間間隔相當。
調(diào)節(jié)器206可以加強修正位置數(shù)據(jù)或定位信息的可靠性和精度，定位信息通過使用具有已校正質(zhì)量作為該初步位置數(shù)據(jù)質(zhì)量基準的源于視覺位置數(shù)據(jù)提供以用作車輛導航或控制。雖然在求值時間間隔內(nèi)采集該初步位置數(shù)據(jù)和源于視覺質(zhì)量數(shù)據(jù)；步驟S206到修正位置數(shù)據(jù)的調(diào)整可以用在落后該求值時間間隔或與該求值時間間隔大致同延的應用時間間隔內(nèi)。不管該求值時間間隔和該應用時間間隔在本例中是如何定義的，在其它例子中，調(diào)節(jié)器110可以提供預測控制數(shù)據(jù)、前饋控制數(shù)據(jù)或反饋控制數(shù)據(jù)給該車輛控制器25。
圖3的方法與圖2的方法類似，除了圖3的方法包括附加歩驟S205以及將步驟S206替換為步驟S208。相同參考號指示相同程序或步驟。
在步驟S205中，位置質(zhì)量估計器24在求值時間窗口過程為該位置數(shù)據(jù)或制導數(shù)據(jù)進行定位質(zhì)量數(shù)據(jù)估計?？梢酝ㄟ^多種可能切換或重復使用的技術來執(zhí)行歩驟S205。在第一種技術中，該位置質(zhì)量估計器24可以估計或測量信號的質(zhì)量、誤碼率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質(zhì)量水準。在第二種技術中，該位置質(zhì)量估計器24首先估計或測量信號質(zhì)量、誤碼率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質(zhì)量水準；第二歩，該位置質(zhì)量估計器24將上述信號質(zhì)量數(shù)據(jù)分類成范圍、語言描述、語言值或其它。
在步驟S208中，如果該視覺質(zhì)量數(shù)據(jù)超過最小閾值水準以及如果該定位質(zhì)量數(shù)據(jù)或制導數(shù)據(jù)小于或等于觸發(fā)閾值水準調(diào)節(jié)器110或視覺控制器25基于該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))將該初步制導數(shù)據(jù)(如，初步位置數(shù)據(jù))調(diào)節(jié)為修正的制導數(shù)據(jù)(如，修正位置數(shù)據(jù))，使得該修正的制導數(shù)據(jù)與該視覺制導數(shù)據(jù)一起被記錄或大體同延。例如該調(diào)節(jié)器110或車輛控制器25可以調(diào)節(jié)該初歩位置數(shù)據(jù)在任意時隙或求值時間窗口內(nèi)，(a)該視覺質(zhì)量數(shù)據(jù)超過最小閾值的地方，和(b)該定位質(zhì)量數(shù)據(jù)小于或等于觸發(fā)閾值水準的地方或任意在該視覺制導數(shù)據(jù)和初步制導數(shù)據(jù)之間的任意不等或差是實質(zhì)性的地方。例如，該觸發(fā)閾值水準可能是該初步位置數(shù)據(jù)的可靠性或精度小于所需的地方，由于衛(wèi)星可利用率的缺失，或接收到的衛(wèi)星信號或用來確定精確性初步位置數(shù)據(jù)的輔助播送(如，地面參考)的低的信號質(zhì)量(如低的信號強度)。該調(diào)節(jié)器206可以加強修正位置數(shù)據(jù)或定位信息的可靠性和精度，該定位信息是通過使用具有已校正質(zhì)量的該視覺制導數(shù)據(jù)(如，源于視覺的位置數(shù)據(jù))作為該初步制導數(shù)據(jù)(如，初歩位置數(shù)據(jù))質(zhì)量基準來提供以用作車輛導航或控制。圖3的方法使得比圖2更多選擇性的方式來調(diào)節(jié)到該修正位置數(shù)據(jù)，通過利用比標準(如，觸發(fā)閾值水準)更低的位置數(shù)據(jù)質(zhì)量的附加條件。
圖4是位置數(shù)據(jù)的靜態(tài)定位誤差示意表，例如差分GPS信號。垂直軸表示距
離(如，米)誤差，其中水平軸表示時間(如，秒)。
圖5是位置數(shù)據(jù)的動態(tài)定位誤差示意表，例如在期望更新的頻率或速率"調(diào)諧" 后的差分GPS信號(如，位置數(shù)據(jù))。垂直軸表示距離(如，米)誤差，其中水 平軸表示時間(如，秒)。圖5將最初沒有"調(diào)諧"的誤差顯示為實體圓點以及"調(diào) 諧"后的誤差顯示為圓圈。通過使用該源于視覺的位置數(shù)據(jù)有規(guī)律間隔(如，在 圖5所示的以5秒間隔或.2Hz)來調(diào)節(jié)該位置數(shù)據(jù)的方式實現(xiàn)調(diào)諧。
圖6表示基于視覺數(shù)據(jù)來調(diào)節(jié)位置或引導車輛的方法。圖6的方法開始于步驟 S600。
在歩驟S600，定位接收器28在求值時間間隔內(nèi)為車輛采集位置數(shù)據(jù)(如， 航向數(shù)據(jù))。
在步驟S601 ，該位置模塊26或定位接收器28根據(jù)所采集的位置數(shù)據(jù)確定該 制導數(shù)據(jù)(如，航向數(shù)據(jù))。例如，該位置模塊26可以由在求值時間間隔期間在 第一時間和第二時間采集到的兩組坐標來確定制導數(shù)據(jù)。制導數(shù)據(jù)包括來自采集 位置數(shù)據(jù)的下列中的一個或多個航向數(shù)據(jù)，航向誤差數(shù)據(jù)，偏離軌道數(shù)據(jù)，偏 離軌道誤差數(shù)據(jù)，曲率數(shù)據(jù)，曲率誤差數(shù)據(jù)，和位置誤差信號。
該航向數(shù)據(jù)指相對于參考方向(如磁北)的車輛的方向(如，角取向)(如， 車輛的縱向軸)。該航向誤差是在實際車輛航向和目標車輛航向之間的差。該航向 誤差可能與在視覺模塊22和該位置模塊26中至少一個內(nèi)的誤差(如，測量誤差) 有關。
偏離軌道數(shù)據(jù)指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤差 指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如， 用GPS坐標表示)之間的差。
該曲率是在所期望路徑上航向的改變。例如，曲率是沿著該路徑的任意兩個參 考點(如，調(diào)整點)之間到該車輛路線的正切角的變化率。
在步驟S602，視覺模塊22或圖像采集系統(tǒng)31在求值時間間隔期間為車輛采 集視覺數(shù)據(jù)或圖像數(shù)據(jù)。該采集的視覺數(shù)據(jù)可包括例如單目視覺數(shù)據(jù)或立體視覺 數(shù)據(jù)。
在步驟S603，視覺模塊22或圖像處理系統(tǒng)33根據(jù)采集到的視覺數(shù)據(jù)確定視 覺制導數(shù)據(jù)(如，視覺航向數(shù)據(jù))。
在步驟S604，視覺質(zhì)量估計器(20、 120或220)在該求值時間間隔期間為 該視覺數(shù)據(jù)和該視覺制導數(shù)據(jù)中的至少一個估計視覺質(zhì)量數(shù)據(jù)，其中該視覺質(zhì)量 數(shù)據(jù)基于互相關和r平方值。該互相關是在分段中該視覺數(shù)據(jù)的觀察到強度分布和參考強度分布之間以確定行中心位置。r平方值是在回歸路徑和該行中心位置之
間。在步驟S604的視覺質(zhì)量估計很適合應用于單目視覺數(shù)據(jù)(如，在步驟S602 處采集)。
在步驟S606，如果該視覺質(zhì)量數(shù)據(jù)超過最小閾值水準，調(diào)節(jié)器110或控制器 基于該視覺制導數(shù)據(jù)(如，視覺導航數(shù)據(jù))將該初步制導數(shù)據(jù)(如，預先航向數(shù) 據(jù))調(diào)節(jié)到修正的制導數(shù)據(jù)(如，修正的導航數(shù)據(jù))使得該修正的制導數(shù)據(jù)(如， 修正導航數(shù)據(jù))與該視覺制導數(shù)據(jù)一起被記錄或大體同延。例如，如果該視覺質(zhì) 量數(shù)據(jù)超過最小閾值以及如果在該視覺制導數(shù)據(jù)和初步制導數(shù)據(jù)之間的任意不等 或差是實質(zhì)性的，則調(diào)節(jié)器110或控制器基于該視覺制導數(shù)據(jù)將該初步制導數(shù)據(jù) 調(diào)節(jié)到已修正的制導數(shù)據(jù)。
圖7的方法類似于圖6的方法，除了步驟S605替換了歩驟S604。在圖6和 圖7中的相同參考數(shù)指示相同的步驟或程序。
在歩驟S605中，該視覺質(zhì)量估計器(20、 120或220)在該求值時間間隔內(nèi) 為該視覺數(shù)據(jù)和視覺制導數(shù)據(jù)中的至少一個估計視覺質(zhì)量數(shù)據(jù)，其中該視覺質(zhì)量 數(shù)據(jù)基于回歸路徑和密度網(wǎng)格點。歩驟S605的視覺質(zhì)量估計也很適合立體視覺數(shù) 據(jù)(如，在步驟S602采集的)。
圖8A是視覺質(zhì)量估計器120的示范配置的方框圖。圖8A中在組件(如，70， 72， 74， 76， 78， 80， 82， 84和86)之間的互連可以表現(xiàn)邏輯數(shù)據(jù)路線、物理 數(shù)據(jù)路線、或二者兼有。
組織器70與強度分布模塊72通信?；ハ嚓P模塊76可以接收來自再分器74、 數(shù)據(jù)存儲設備86以及強度分布模塊72的輸入數(shù)據(jù)。數(shù)據(jù)存儲設備86存儲參考強 度分布88以由互相關模塊76檢索或訪問。互相關模塊76輸出數(shù)據(jù)給估計器84。 再分器74與行中心估計器78通信。行中心估計器78和排列器80為變量求值器 82提供輸入數(shù)據(jù)。依次地，該變量求值器82輸出數(shù)據(jù)給估計器84。
視覺模塊22提供下列中的一個或多個給視覺質(zhì)量估計器120:視覺數(shù)據(jù)、圖 像數(shù)據(jù)、和視覺制導數(shù)據(jù)。如這里所使用的，圖像數(shù)據(jù)和視覺數(shù)據(jù)應被認為同義 的術語。該視覺模塊22可以由采集的視覺或圖像數(shù)據(jù)來確定視覺制導數(shù)據(jù)。
在圖8A中，視覺質(zhì)量估計器120被布置以估計至少一個視覺數(shù)據(jù)(或圖像數(shù) 據(jù))的視覺質(zhì)量數(shù)據(jù)以及該求值時間間隔期間的視覺制導數(shù)據(jù)。該視覺質(zhì)量估計 器120可以基于互相關和r平方值來確定視覺質(zhì)量數(shù)據(jù)。每一個互相關在分段中 該視覺數(shù)據(jù)的觀察到強度分布和參考強度分布之間以確定行中心位置。r平方值是 在回歸路徑和該行中心位置之間。
組織器70將采集的圖像組織成作物像素和非作物像素。強度分布模塊72基 于該作物像素的像素強度值來確定強度分布。數(shù)據(jù)存儲設備86存儲與一組作物行
16或單個作物行相關聯(lián)的參考強度分布。再分配74將采集圖像再分成多個分段或重 疊窗口。
通常，互相關模塊76為每一個上述分段在該強度分布(由強度分布模塊72 提供)和參考強度分布88之間確定互相關。在一個實施例中，互相關模塊76被 布置以將歸一化互相關確定為互相關。該歸一化互相關基于圖像數(shù)據(jù)中各個分段 的平均互相關。每一個分段與通過行中心估計器78確定的相應行中心位置相關聯(lián)。
再分器74與行中心估計器78通信或使得該行中心估計器78能夠獲得分段或 重疊窗口 。該行中心估計器78被配置用以估計與該圖像數(shù)據(jù)的相應分段或分區(qū)有 關的行中心位置。排列器80被配置用以確定與該行中心位置有關的回歸路徑。例 如，排列器80將估計的行中心位置布置成定義作物行的位置和方向表示的回歸路 徑(如，回歸線)。
變量求值器82在回歸路徑(如，回歸線)和行中心位置之間確定r平方值。 估計器84基于確定的互相關和r平方值來確定視覺質(zhì)量數(shù)據(jù)以應用于車輛控制器 25或調(diào)節(jié)器110用于車輛的轉(zhuǎn)向。該制導數(shù)據(jù)包括例如航向數(shù)據(jù)、偏離軌道數(shù)據(jù)、 和曲率數(shù)據(jù)中的至少一個。
圖8B是估計視覺數(shù)據(jù)或視覺制導數(shù)據(jù)的質(zhì)量的方法。圖8B的方法開始于歩 驟S800。
在步驟S800中，視覺模塊22或圖像處理系統(tǒng)33將采集到的圖像劃組織成作 物像素和非作物像素。視覺模塊22或圖像處理系統(tǒng)33可以使用顏色識別將采集 圖像組織或分段成作物像素和非作物像素。可以將作物像素定義為參考植物顏色 (如，綠色調(diào))，等等。圖9提供了采集圖像到作物像素和非作物像素的組織圖示， 與歩驟S800—致。
在歩驟S802中，視覺模塊22或圖像處理系統(tǒng)33基于該作物像素的觀察的像 素強度值來確定觀察的強度分布。例如，該視覺模塊22或該圖像處理系統(tǒng)33為 在作物像素和非作物像素之間的邊界確定了觀察的強度分布。在一個實施例中， 觀察的強度分布可以示出一個或多個作物邊緣或在該作物像素和非作物像素之間 的大體線性邊界。
視覺模塊22或該圖像處理系統(tǒng)33通過確定在觀察像素強度輪廓中的像素符 合強度標準或要求(如，植物的最小像素強度或那里相應的光頻率范圍)的方式 來確定像素屬于觀察的強度分布。像素強度可以定義為例如在單色顏色空間(如， 與植物有關的特定綠色、暗影或色調(diào))中的像素亮度，或在RGB顏色空間內(nèi)的紅、 綠和藍分量的亮度。作物像素強度通常與或被采集圖像中作物部分(如，作物表 面區(qū)域的部分)上的事件進行反射的輻照度或電磁輻射(如可見光頻帶中的一個 或多個)成比例。該作物像素的像素強度值可能符合或超出作物行植物冠層的最小閾值強度，包括作物行的邊界，其中作物象素相鄰非作物像素。相似地，該作 物像素的像素強度值可能符合或超出平放在地面或窗口上的已收獲作物材料的最 小閾值強度，包括該窗口的邊界。
在步驟S804，視覺模塊22或圖像處理系統(tǒng)33建立了與一組作物行或單個作 物行(如，干草列)相關的參考強度輪廓。該參考強度輪廓包括可以基于該植物 材料是否安置在一組行中或作為一個或多個窗口來進行變化的模板。圖11示出了 與窗口有關的參考強度輪廓，而圖12示出了與多個并行植物行相關的參考強度來 輪廓。
在步驟S806中，視覺模塊22或視覺質(zhì)量估計器(20、 120或220)將采集
的圖像再分成多個分段(如，重疊的窗口)。圖14提供了與步驟S806 —致的分 段分割的圖示。
在歩驟S808中，視覺質(zhì)量估計器(20、 120或220)為上述分段中的每一個 確定在該強度分布和參考強度分布之間的互相關。圖13提供了與歩驟S808 —致 的確定互相關的圖示。
在步驟S810中，視覺質(zhì)量估計器估計與上述分段中每--個相關的行中心位置。 圖14示出了與步驟S808 —致的每一個分段相應的行中心位置。
在歩驟S812中，視覺質(zhì)量估計器(20、 120或220)將估計的行中心位置布 置為定義作物行位置和方向表示的回歸路徑。回歸路徑可以包括基于行中心位置 的分布和位置來定義的常用線性回歸路徑。例如，視覺質(zhì)量估計器(20、 120或 220)可以將回歸路徑設定為基于最小二乘法、加權最小二乘法、多項式擬合法、 多元回歸、統(tǒng)計回歸技術、數(shù)學回歸技術或其它常見最小化回歸路徑和行中心位 置之間距離或誤差的技術的線性方程。
在歩驟S814中，視覺質(zhì)量估計器(20、 120或220)確定回歸路徑和行中心 位置之間的「平方值。
在歩驟S816中，視覺質(zhì)量估計器(20、 120或220)基于確定的互相關和r 平方值為車輛控制器或調(diào)節(jié)器轉(zhuǎn)向車輛來確定視覺質(zhì)量數(shù)據(jù)。r平方值可以用來確 定觀察視覺數(shù)據(jù)或觀察視覺制導數(shù)據(jù)(如，觀察的作物行位置或干草列位置)符 合視覺數(shù)據(jù)或數(shù)據(jù)制導數(shù)據(jù)相應的預測模型(如，作物行位置回歸路徑)的程度。
可以通過多種可交替或累積使用的技術來執(zhí)行歩驟S816。在第一種技術中， 該視覺質(zhì)量估計器(20、 120或220)基于下列方程來確定該r平方值r平方=
1 一 Vmodel/Vtotal，其中Vt。ta!是與回歸路徑(如，常用線性回歸路徑)有關的不同分 段相關的中心點變化或誤差指示，以及Vt。tai是作物行關于其平均中心位置的變化
或誤差指示。r平方值可以在從1到零的范圍內(nèi)進行歸一化，使得r平方值在接近 1時普遍被認為好過r平方值接近零。在第二種技術中，置信度水準，C，或用于該視覺處理的視覺質(zhì)量數(shù)據(jù)依據(jù)兩
個因素該回歸路徑的r平方值和來自模板匹配的歸一化的互相關。<formula>formula see original document page 19</formula>其中，r,，，是來自一組分段的中間或平均互相關，^是參考互相關，以 及r。是最小互相關。該參考互相關通常從初始參考圖像種獲取，而該最小互相關通
常由用戶確定。為了獲得高的置信度水準，需要設置兩種條件首先，在該處理
中的分段(如窗口)內(nèi)的作物中心必須來自大體直線或符合已知用作種植的輪廓， 以及第二歩，在該處理中分段的強度分布必須符合所選中的參考強度分布(如，
類似于圖11或圖12中的模板)。該模板或參考分布輪廓可以適用于作物或環(huán)境中 的變化。由于作物行的寬度可能隨時間改變，該模板會更新以適應該作物行。在 一個實施中，可以使用該作物行空間的已用過的平均或中間值。
圖9是在組織或劃分成作物像素900和非作物像素902后的數(shù)個作物行的示 范性圖像。圖9是例如圖8B的歩驟S800執(zhí)行結(jié)果的展示圖。通過圖像采集系統(tǒng) 31或視覺模塊22采集到的采集圖像首先劃分成作物像素900和非作物像素902， 以及隨后被修正以去掉失真。白色或亮像素表示作物像素900，而帶點區(qū)域表示非 作物像素902。如圖所示， 一個作物行被組織成處于來自圖像采集系統(tǒng)31或視覺 模塊22的最小深度和最大深度之間的行分段904。該作物行的每一端與作物邊緣 906有關。
圖10是源于圖9中作物像素900的示范性觀察強度分布。在一個例子中，每 一個像素強度點910表示感興趣區(qū)域(如，接近或在作物邊緣906)內(nèi)垂直線段 上的作物像素的像素強度總和。在另一例中，每一個像素強度點910表示感興趣 區(qū)域(如，接近作物邊緣)內(nèi)單個相應作物像素的強度。在又一例中，每一個像 素強度點910表示與感興趣區(qū)域(如，接近或在作物邊緣)相關的一簇作物像素 的中間、平均或眾數(shù)強度。觀察的強度分布(如，圖10中)與被稱作模板(如， 圖11或圖12)的參考強度分布進行比較以決定相對于參考行位置的該作物行的偏 移。該參考行位置可以在例如該作物、種子、或前體被種植時建立。圖11是用作窗口的模板或參考強度分布的示范性費米(Fermi)函數(shù)。水平軸 可以被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直于該前軸。該前軸 可以已知角度傾斜于地面或水平。該橫軸和該前軸來自圖像采集系統(tǒng)31面向作物 行的視角，其中該作物行的縱向尺寸通常與該車輛行進的方向相平行。
參考強度分布可能基于特定應用發(fā)生改變，例如該田地是否包括橫臥在地面上 的作物行、窗口或切割的植物(如，干草)。對于窗口，費米函數(shù)或其它步驟或脈 沖函數(shù)可以用來表示理想的窗口強度分布如圖11所示。對于圖11中的費米函數(shù)， g表示峰值幅度，g/2表示該峰值幅度的一半以及k值表示該窗口在峰值幅度一半 處的寬度。在實施例中，圖11中的峰值幅度可能與來自圖像采集系統(tǒng)31的干草 列的最大計算深度相關。
圖12是用做作物行的模板或參考的強度分布的示范性正弦函數(shù)。水平軸可以 被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直于該前軸。該前軸可以 已知角度傾斜于地面或水平。該橫軸和該前軸來自圖像采集系統(tǒng)31面向作物行的 視角，其中該作物行的縱向尺寸通常與該車輛行動的方向相平行。
該正弦函數(shù)的峰值幅度用a表示，其中w表示一個波長的周期。在實施例中， 圖12中的峰值幅度可能與來自圖像采集系統(tǒng)31的作物行的最大計算深度相關， 其中該周期，w，可與作物行寬度或相鄰作物行之間的間隔成比例。
雖然正弦函數(shù)被用作圖12的參考強度分布，在替代實施例中，脈沖串、方波、 一系列脈沖函數(shù)或其它合適的函數(shù)可以用作該參考強度分布來模型化該植物作物 行。進一歩地，該參考強度分布在例如作物成熟的整個成長季節(jié)中可發(fā)生改變。
圖13是確定的在所述參考強度分布(如，模板T(k))和觀察的強度分布(如， 強度分布l(k))之間互相關的圖示?；ハ嚓P函數(shù)，r(d)，在觀察的強度分布(如， 圖10)和該參考強度分布(如，圖11)之間進行計算如下
其中r(d)是在觀察的強度分布1(K)和參考強度分布T(/c+d)之間的廣義圖像互相 關函數(shù)，c/定義為參考強度分布的位置，/是觀察的強度分布的中間強度。T是參 考強度分布的中間強度，以及r(o^ax)是圖像中任意作物行的近似中心位置。延遲
Cfmax對應最大相關，r(Cfmax)是該作物行的中心位置。在實施例中，互相關表現(xiàn)為
置信度指數(shù)或視覺質(zhì)量數(shù)據(jù)的值的因子或分量。
圖14示出了與作物行的近似中心線相關的回歸路徑924和與回歸路徑924相關的多個分段920或窗口。該回歸路徑924可以包括常用線性回歸線、或通過線 性或二次方程定義的直形或曲形路線。每一個分段920與相應行中心位置922相 關。如果該回歸路徑924是常用線性，其可以按相對參考軸926 (如磁北或另外 的參考方向)的角度928 W)進行定義。
在圖14中，視覺模塊22、圖像處理系統(tǒng)33或視覺質(zhì)量估計器(20、 120、 或220)將視覺數(shù)據(jù)(如，采集的圖像或作物像素)分成多個分段920 (如，重疊 的窗口)。分段920出現(xiàn)在感興趣區(qū)域(如，接近作物行)內(nèi)。視覺模塊22、圖 像處理系統(tǒng)33或該視覺質(zhì)量估計器(20、 120、或220)通過回歸分析對一個或 多個作物行進行檢測。
特別地，對于回歸分析，視覺質(zhì)量估計器(20、 120或220)形成或估計與該 行中心位置922或每一個分段920 (如，重疊的窗口)中作物行的中心相關的回 歸路徑924 (如，回歸線段)以加強行探測的魯棒性。該行中心位置922 (如，點) 放入回歸路徑924 (如，回歸線段)中?；貧w路徑924表現(xiàn)作物行的位置和方向。
回歸路徑924與車輛的初始航向或觀察的路線進行比較用來為車輛控制確定 制導數(shù)據(jù)(如，來計算該軌道偏離、曲率和/或航向誤差)。雖然該視覺質(zhì)量估計器 (20、 120或220)通常使用每作物行的至少五個分段，實質(zhì)上可以使用任意數(shù) 目的分段來檢測每一個采集圖像中的作物行。該視覺質(zhì)量估計器(20、 120或220) 可以確定r平方值、置信度水準或其它對于與回歸路徑924相關的行中心位置922 有價值的數(shù)字。
圖15A是視覺質(zhì)量估計器220示范性配置的方框圖。圖15A中組件(70， 90， 92， 94和96)之間的互連可以變現(xiàn)為邏輯數(shù)據(jù)路線、物理數(shù)據(jù)路線或二者兼有。
視覺質(zhì)量估計器220包括與密度網(wǎng)格定義器90通信的組織器70，該密度網(wǎng)格 定義器90輸出數(shù)據(jù)給濾波器92，其為排列器94進行數(shù)據(jù)濾波。依次地，排列器 94輸出數(shù)據(jù)到估計器96。
對于圖15A中的視覺質(zhì)量估計器220，視覺模塊22可以包括用于采集圖像數(shù) 據(jù)(如，立體圖像數(shù)據(jù))或可視數(shù)據(jù)的立體視覺成像系統(tǒng)。組織器70將采集圖像 數(shù)據(jù)組織成作物像素和非作物像素。密度網(wǎng)格定義器90基于每個網(wǎng)格單元或一組 網(wǎng)格單元內(nèi)的作物像素的數(shù)目來定義密度網(wǎng)格。例如，每一個網(wǎng)格單元可以用X 像素xY像素的矩陣進行定義，其中X和丫是任意正整數(shù)。雖然網(wǎng)格單元的密度 可以被定義為在該密度網(wǎng)格內(nèi)作物像素對全部像素的比率、分數(shù)或百分比，也存 在該密度的其它定義方式。濾波器92將密度網(wǎng)格點定義為具有每個網(wǎng)格單元其值 大于閾值或作物像素的最小數(shù)目的那些網(wǎng)格單元。排列器94基于該密度網(wǎng)格點配 置回歸路徑。該回歸路徑表示了作物行或干草列的可能位置和可能方向(如，中 心)。估計器96基于巳定義的密度網(wǎng)格點和回歸路徑將置信度指數(shù)確定為視覺質(zhì)量數(shù)據(jù)。該置信度指數(shù)應用于車輛控制器或調(diào)節(jié)器110來轉(zhuǎn)向車輛。該視覺質(zhì)量
估計器220可以根據(jù)多種可替換或累積使用的技術來定義該置信度指數(shù)。
在第一種技術中，估計器96被設置用來確定關于該回歸路徑密度網(wǎng)格點的矩 指數(shù)以及用來基于該密度網(wǎng)格點的標準差的反函數(shù)確定簇指數(shù)。矩指數(shù)和簇指數(shù) 是評估密度網(wǎng)格點緊密度的兩種測量方式并被分布在該回歸路徑(如，回歸線) 周圍。在第二種技術中，矩指數(shù)和簇指數(shù)是根據(jù)第一種技術進行確定的，其中該 圖像數(shù)據(jù)或視覺數(shù)據(jù)包括立體圖像數(shù)據(jù)或已濾波的立體圖像數(shù)據(jù)。矩指數(shù)和簇指 數(shù)很適合于評估立體圖像數(shù)據(jù)，特別是在該立體圖像數(shù)據(jù)已經(jīng)濾波為超出最小作 物高度(如，1米)后。在第三種技術中，該估計器96估計或確定置信度指數(shù)為 該矩指數(shù)和簇指數(shù)的積。例如，根據(jù)下列方程來確定置信度指數(shù)
其中C^是通過cM=i_!給出的矩指數(shù)，M是圍繞該回歸線的密度網(wǎng)格點
0 2
的矩，以及Mmax是最大矩，Cc是通過Cc=0.8 +——給出的簇指數(shù)，其中
《—^ ， di是從回歸路徑(如，回歸線)到密度網(wǎng)格點的正交距離，
以及d是密度網(wǎng)格點到回歸路徑的中間距離，n是密度網(wǎng)格點的總數(shù)目，以及c^,表 示該密度網(wǎng)格點的方差。在替換實施例中，偏差來自該方差的平方根；該偏差可
以用來取代在上述方程中的方差。
圖15B是基于來自視覺數(shù)據(jù)(如，立體視覺數(shù)據(jù))的源于視覺位置數(shù)據(jù)用來 引導車輛方法的實施例的流程圖。圖15中的方法開始于歩驟S800。
在步驟S800中，視覺模塊22、圖像處理系統(tǒng)33或組織器70將采集到的圖 像組織成作物像素和非作物像素。例如，該視覺模塊22、圖像處理系統(tǒng)33或組 織器70可以使用顏色識別來將像素分類或組織成作物像素和非作物像素。如上所 述，圖9提供了采集圖像組織成作物像素和非作物像素的示范性例子。
在步驟S820中，視覺質(zhì)量估計器220或密度網(wǎng)格定義器90基于每個網(wǎng)格單 元內(nèi)作物像素的數(shù)目來定義密度網(wǎng)格。例如，該視覺質(zhì)量估計器220可以將該作 物像素分成網(wǎng)格單元(如相同尺寸的矩形或六邊形單元)并計算或估計每一個網(wǎng) 格單元內(nèi)作物像素的數(shù)目。在實施例中，濾波器92標記、標志或其它方式存儲或 指示出那些內(nèi)部像素數(shù)目達到或超過特定最小數(shù)或閾值的網(wǎng)格單元。
在步驟S824中，視覺質(zhì)量估計器220或排列器94基于該密度網(wǎng)格點布置回 歸路徑，其中該回歸路徑表示作物行的可能位置和可能方向(如，中心或中心線)。
在步驟S826中，視覺質(zhì)量估計器220或估計器96將置信度指數(shù)確定為基于已定義的密度網(wǎng)格點和該回歸路徑的視覺質(zhì)量數(shù)據(jù)。該置信度指數(shù)應用于車輛控
制器25或調(diào)節(jié)器110上用于車輛轉(zhuǎn)向。圖15的方法很適合為立體視覺數(shù)據(jù)或立
體視覺圖像確定置信度指數(shù)或視覺質(zhì)量數(shù)據(jù)。
視覺質(zhì)量模塊220可以通過使用矩指數(shù)(CM)和簇指數(shù)(Cc)的組合來確定或估 計置信度指數(shù)?；貧w路徑或中心線周圍的密度網(wǎng)格點的矩的計算如下-<formula>formula see original document page 23</formula>以及矩指數(shù)通過下式給出:<formula>formula see original document page 23</formula>通過該密度網(wǎng)格點的標準差反函數(shù)計算簇指數(shù):<formula>formula see original document page 23</formula>
圖16是具有表示作物特征或植物的作物特征點954和與作物行有關的回歸路 徑(如，中心線)的密度網(wǎng)格950。每一個作物特征點954可以表示一個或多個 作物像素(如，作物像素簇)。圖16的密度網(wǎng)格950表示與圖15A中視覺質(zhì)量估 計器220和圖15B中方法相關的密度網(wǎng)格950的示范性例子。圖16的密度網(wǎng)格 950可來自于例如立體圖像。
在圖16中，每一個作物特征點954表示符合或超出最小數(shù)目、密度或閾值的 作物像素的數(shù)目。如圖所示，作物特征點D^ D2和Dj分別用Xl,yi ; x2，y2 ;和 Xi，yi進行識別和定位。該密度網(wǎng)格950的回歸路徑952， L，(如，中心線或回歸 線)用來估計該作物行或作物特征的位置和方向(如，中心線或軸)。在替換實施 例中，該回歸路徑是估計的切割/非切割邊緣。
如果該密度網(wǎng)格點或作物特征點954非常接近于該回歸路徑952或在最大總 計間隔值內(nèi)，該置信度指數(shù)或該視覺質(zhì)量數(shù)據(jù)通?？梢员唤邮栈驗楦?。但是，如 果該密度網(wǎng)格點或作物特征點954較遠地(超過最大總計間隔值)偏離該回歸路 徑952，該置信度指數(shù)或視覺質(zhì)量數(shù)據(jù)為低或通常不能被接收。該最大總計間隔值 可以建立在該作物特征點954到該回歸路徑952的與正軸投影(如，正交投影) 相關距離的統(tǒng)計學或數(shù)學表示(例如，和、平均值、中間值、或加權平均值)基礎上。如所示，作物特征點D!與回歸路徑之間的第一距離為d1;作物特征點D2 與回歸路徑之間的第二距離為d2;作物特征點Di與回歸路徑之間的第i距離為di。
已經(jīng)對優(yōu)選實施例進行描述，很明顯可以作出各種修改并不背離定義在附屬權 利要求中本發(fā)明的保護范圍。
權利要求
1、一種引導車輛的方法，該方法包括在一求值時間窗口過程中基于與所述車輛相關聯(lián)的定位接收器確定所述車輛的初步制導數(shù)據(jù)；在所述求值時間窗口過程中采集來自與所述車輛相關聯(lián)的視覺模塊的視覺數(shù)據(jù)；由所述采集的視覺數(shù)據(jù)確定視覺制導數(shù)據(jù)；在所述求值時間窗口過程中估計所述視覺數(shù)據(jù)和所述視覺制導數(shù)據(jù)中至少一個的視覺質(zhì)量數(shù)據(jù)，所述視覺質(zhì)量數(shù)據(jù)基于一互相關和一r平方值，所述互相關在一分段內(nèi)的所述視覺數(shù)據(jù)的一觀察的強度分布與一參考強度分布之間以確定行中心位置，以及r平方值在一回歸路徑和所述行中心位置之間；和如果所述視覺質(zhì)量數(shù)據(jù)超過一最小閾值，則基于所述視覺制導數(shù)據(jù)調(diào)節(jié)所述初步制導數(shù)據(jù)至一修正的制導數(shù)據(jù)，使得所述修正的制導數(shù)據(jù)與所述視覺制導數(shù)據(jù)一起被記錄或大體同延。
2、 如權利要求1所述的方法，其中所述互相關包括一基于所述視覺數(shù)據(jù)的一 組分段的一平均互相關的歸一化互相關，每一個分段與一相應的行中心位置相關 聯(lián)。
3、 如權利要求2所述的方法，其中所述視覺質(zhì)量數(shù)據(jù)的所述估計包括 估計與所述視覺數(shù)據(jù)的相應的分段或分區(qū)相關聯(lián)的所述行中心位置；和 確定與所述行中心位置一致的所述回歸路徑。
4、 如權利要求2所述的方法，其中所述視覺質(zhì)量數(shù)據(jù)的所述估計包括 將一采集的圖像或視覺數(shù)據(jù)組織成作物像素和非作物像素； 基于所述作物像素的像素強度確定一強度分布；建立與- 組作物行或一單個作物行相關聯(lián)的一參考強度分布； 將所述采集的圖像劃分成多個分段或重疊的窗口 ；為所述分段的每-一個確定一在所述強度分布與一參考強度分布之間互相關。
5、 如權利要求4所述的方法，進一歩包括 估計與所述分段的每一個相關聯(lián)的一行中心位置；和將估計的行中心位置布置成定義一表示一作物行的一位置和方向的回歸路徑。
6、 如權利要求5所述的方法，進一歩包括 確定一在所述回歸路徑與所述行中心位置之間的r平方值；和 基于所述確定的互相關和所述r平方值確定視覺質(zhì)量數(shù)據(jù)，以應用于一車輛控制器或調(diào)節(jié)器用于車輛的轉(zhuǎn)向。
7、 如權利要求1所述的方法，其中所述初步制導數(shù)據(jù)和所述修正的制導數(shù)據(jù) 各包括航向數(shù)據(jù)、偏離軌道數(shù)據(jù)和曲率數(shù)據(jù)中的至少一個。
8、 一種用于估計車輛制導的視覺質(zhì)量數(shù)據(jù)的方法，該方法包括 將一采集的圖像的圖像數(shù)據(jù)組織成作物像素和非作物像素； 基于所述作物像素的像素強度確定一強度分布； 建立與一組作物行或一單個作物行相關聯(lián)的一參考強度分布； 將所述采集的圖像劃分成多個分段或重疊的窗口；為所述分段的每一個確定一在所述強度分布和一參考強度分布之間的互相關；估計與所述分段的每一個相關聯(lián)的一行中心位置；將估計的行中心位置布置成定義一表示一作物行的一位置和方向的回歸路徑；確定一在所述回歸路徑與所述行中心位置之間的r平方值；和 基于所述確定的互相關和所述r平方值確定視覺質(zhì)量數(shù)據(jù)，以應用于一車輛控 制器或調(diào)節(jié)器用于車輛的轉(zhuǎn)向。
9、 如權利要求8所述的方法，其中所述回歸路徑包括選自以下組成的群組中 路徑大體線性路徑、大體曲線路徑和周線路徑。
10、 如權利要求8所述的方法，其中所述回歸路徑包括一大體線性路徑，以 及其中所述r平方值指示所述行中心位置相對于所述回歸路徑的線性度。
11、 如權利要求8所述的方法，其中所述參考強度分布包括一正弦曲線的參 考強度分布。
12、 如權利要求ll所述的方法，其中所述峰值互相關對應相應的作物行分段 的所述行中心位置。
13、 如權利要求8所述的方法，其中所述作物行包括一干草列。
14、 如權利要求8所述的方法，其中所述參考強度分布包括一費米函數(shù)或一 階躍函數(shù)。
15、 如權利要求14所述的方法，其中費米函數(shù)的所述寬度與一干草列的寬度 成比例。
16、 如權利要求8所述的方法，其中如果所述互相關符合或超過第一最小閾 值和如果所述r平方值符合或超過第二最小閾值，則所述視覺質(zhì)量數(shù)據(jù)被認為高 或足夠用于所述車輛的制導。
17、 如權利要求8所述的方法，其中如果所述互相關小于第一最小相關閾值 或者如果所述r平方值小于第二最小閾值，則所述視覺質(zhì)量數(shù)據(jù)被認為低或不足 以用于所述車輛的制導
18、如權利要求8所述的方法，其中所述互相關包括根據(jù)下面的方程確定的 廣義圖像互相關<formula>formula see original document page 4</formula>其中r(d)是在所述觀察的強度分布l(K)和所述參考強度分布T(/c+d)之間的所述廣義圖像互相關函數(shù)，d定義為所述參考強度分布的位置，/是所述觀察的強度分布 的平均強度，r是所述參考強度分布的平均強度，以及r(dma》是所述圖像中任意 作物行的近似中心位置。
19、如權利要求8所述的方法，其中所述互相關包括根據(jù)下面的方程確定的 歸一化的互相關<formula>formula see original document page 4</formula>其中，r^,、,是來自一組分段的平均互相關，^是所述參考互相關，以及r。是 最小互相關。
20、 如權利要求8所述的方法，進一步包括 通過一單目視覺成像單元采集所述圖像數(shù)據(jù)。
21、 如權利要求8所述的方法，其中所述分段包括所述圖像數(shù)據(jù)的重疊的窗 口或分區(qū)。
22、 一種引導車輛的系統(tǒng)，所述系統(tǒng)包括一定位接收器，用于在一求值時間窗口過程中為所述車輛采集初歩制導數(shù)據(jù)；一視覺模塊，用于在所述求值時間窗口過程中采集視覺數(shù)據(jù)和用于從所述采集的視覺數(shù)據(jù)確定視覺制導數(shù)據(jù)；一視覺質(zhì)量估計器，用于在所述求值時間窗口過程中估計所述視覺數(shù)據(jù)和所 述視覺制導數(shù)據(jù)中至少一個的視覺質(zhì)量數(shù)據(jù)，所述視覺質(zhì)量數(shù)據(jù)基于一互相關和 一 r平方值，所述互相關在一分段內(nèi)的所述視覺數(shù)據(jù)的一觀察的強度分布與一參 考強度分布之間以確定行中心位置，以及r平方值在所述回歸路徑和所述行中心位 置之間；和一調(diào)節(jié)器，用于當所述視覺質(zhì)量數(shù)據(jù)超過一最小閾值時基于所述視覺制導數(shù)據(jù)調(diào)節(jié)所述初步制導數(shù)據(jù)至一修正的制導數(shù)據(jù)，使得所述修正的制導數(shù)據(jù)與所述 視覺制導數(shù)據(jù)一起被記錄或大體同延。
23、 如權利要求22所述的系統(tǒng)，進一步包括一互相關模塊，用于確定一歸一 化的互相關作為所述互相關，所述歸一化的互相關基于所述圖像數(shù)據(jù)的一組分段 的一平均互相關，每一個分段與一相應的行中心位置相關聯(lián)。
24、 如權利要求23所述的系統(tǒng)，其中所述視覺質(zhì)量估計器進一步包括 一行中心估計器，用于估計與所述圖像的相應的分段或分區(qū)相關聯(lián)的所述行中心位置；和一排列器，用于確定與所述行中心位置一致的所述回歸路徑。
25、 如權利要求23所述的系統(tǒng)，其中所述視覺質(zhì)量估計器包括 一組織器，用于將一采集的圖像組織成作物像素和非作物像素； 一強度分布模塊，用于基于所述作物像素的像素強度值確定一強度分布； 一數(shù)據(jù)存儲設備，用于存儲與一組作物行或一單個作物行相關聯(lián)的參考強度分布；一再分器，用于將所述采集的圖像劃分成多個分段或重疊的窗口； 一互相關模塊，用于為所述分段中的每一個確定所述強度分布與一參考強度 分布之間的一互相關。
26、 如權利要求25所述的系統(tǒng)，進一歩包括一行中心估計器，用于估計與所述分段中的每一個相關聯(lián)的一行中心位置；和一排列器，用于將估計的行中心位置布置成定義一表示一作物行的一位置和 方向的回歸路徑。
27、 如權利要求26所述的系統(tǒng)，進一步包括一變量估計器，用于確定所述回歸路徑與所述行中心位置之間的一 r平方值；和一估計器，用于基于所述確定的互相關和所述r平方值確定視覺質(zhì)量數(shù)據(jù)，以 應用于一車輛控制器或調(diào)節(jié)器用于車輛的轉(zhuǎn)向。
28、 如權利要求22所述的系統(tǒng)，其中所述初歩制導數(shù)據(jù)和所述修正的制導數(shù) 據(jù)各包括航向數(shù)據(jù)、偏離軌道數(shù)據(jù)和曲率數(shù)據(jù)中的至少一個。
全文摘要
在求值時間窗口過程中確定車輛的初步制導數(shù)據(jù)。視覺模塊(22)采集所述求值時間窗口過程中來自視覺模塊(22)的視覺數(shù)據(jù)。由采集的視覺數(shù)據(jù)確定視覺制導數(shù)據(jù)。視覺質(zhì)量估計器(20、120或220)為所述求值時間窗口過程中的所述視覺數(shù)據(jù)和視覺制導數(shù)據(jù)中的至少一個估計視覺質(zhì)量數(shù)據(jù)。所述視覺質(zhì)量數(shù)據(jù)基于互相關和r平方值。如果所述視覺質(zhì)量數(shù)據(jù)超過最小閾值，則調(diào)節(jié)器(110)基于所述視覺制導數(shù)據(jù)將所述初步制導數(shù)據(jù)調(diào)節(jié)為修正的制導數(shù)據(jù)，使得所述修正的制導數(shù)據(jù)與所述視覺制導數(shù)據(jù)一起被記錄或大體同延。
文檔編號G05D1/00GK101681168SQ200880017646
公開日2010年3月24日 申請日期2008年4月8日 優(yōu)先權日2007年5月31日
發(fā)明者特倫斯·丹尼爾·皮克特, 約翰·富蘭克林·里德, 韓·書峰 申請人:迪爾公司