一種基于機器視覺的遠距離運動物體高度測量的裝置與方法
【專利摘要】本發(fā)明公開了一種基于機器視覺的遠距離運動物體高度測量的裝置與方法，裝置主要由雙目視覺同步采集系統(tǒng)、圖像數(shù)據(jù)處理系統(tǒng)、無線數(shù)據(jù)傳輸單元、遠程監(jiān)控終端及部分組成，該裝置的圖像采集系統(tǒng)可實現(xiàn)雙目攝像機同步采集圖像，為后續(xù)處理提供較為準確的數(shù)據(jù)；圖像處理系統(tǒng)采用FPGA加DSP結(jié)構(gòu)，由FPGA對數(shù)據(jù)進行預處理，再由DSP芯片對數(shù)據(jù)進行后續(xù)處理，減輕了DSP運算數(shù)據(jù)量，提高了裝置的實時性；在圖像特征匹配階段，采用Harris角點探測器實現(xiàn)子像素級的特征提取，提高了運算精度；在高度測量階段，采用BP神經(jīng)網(wǎng)絡(luò)作為誤差校正環(huán)節(jié)，提高了測量精度。該基于機器視覺的遠距離運動物體高度測量裝置和方法有效解決了對遠距離的運動物體的高度測量問題。
【專利說明】
一種基于機器視覺的遠距離運動物體高度測量的裝置與方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于機器視覺測量領(lǐng)域，設(shè)計的一種基于機器視覺原理對遠距離運動物體 高度進行測量的裝置與方法可應(yīng)用于海上運輸、陸上交通、防止輸電線被通行物刮斷等有 限高要求的領(lǐng)域。
【背景技術(shù)】
[0002] 機器視覺利用計算機模擬人的視覺或與人類視覺有關(guān)的智能行為，從所獲取的圖 像中提取信息，對客觀世界的三維景物和物體進行形態(tài)和運動識別，在現(xiàn)實生活中得到了 廣泛應(yīng)用。雙目立體視覺技術(shù)是機器視覺的一個重要分支，其與人類的立體感知過程十分 類似，直接模擬人類視覺處理景物的方式，簡便可靠。雙目立體視覺技術(shù)應(yīng)用前景極大。特 別是進入新世紀以來，隨著技術(shù)手段的不斷發(fā)展，雙目立體視覺技術(shù)被越來越廣泛的應(yīng)用 在生活的各個領(lǐng)域中，如產(chǎn)品的檢測與測量，醫(yī)學影像的三維分析、航空照片與衛(wèi)星照片的 解釋、三維地圖繪制等許多方面，在生產(chǎn)生活中發(fā)揮了極大的作用。
[0003] 對運動目標的檢測分析是計算機視覺任務(wù)中的一項重要內(nèi)容，在機器人視覺導 航、公共場景監(jiān)控、軍事、航天、陸上交通、海上運輸?shù)确矫嬗兄鴱V泛的應(yīng)用。但是，在該技術(shù) 的實際研究過程中，大多數(shù)工作是基于單目視覺展開的。單目視覺與雙目視覺皆可完成運 動物體的檢測與跟蹤任務(wù)。而且，單目視覺的信息量小，每次只處理一張圖片，運算速度較 快。但是，單目視覺會丟失掉場景的三維信息，得到的目標運動信息只是相對的，雙目視覺 系統(tǒng)可以提取立體圖像對之間的視差信息，在一定程度上恢復場景的三維信息。當需要對 目標進行實際的三維位置和深度測量時，雙目立體視覺有著不可替代的優(yōu)點。
[0004] 在海上運輸領(lǐng)域，船舶經(jīng)常會通過一些橋梁，橋梁的高度是一定的，因此通過的船 舶高度則不能過高，否則會對橋體造成損傷;而在陸上，立交橋，公路隧道，有輸電線跨域的 道段以及一些必要場所都有限高要求，如果通行物過高會對立交橋、隧道、輸電線和一些其 他設(shè)施造成損壞甚至是損毀，既造成了公私財物的損失，也影響了交通。雖然采取了一些措 施如設(shè)立限高標志等，但總是無法避免碰撞的發(fā)生。以船舶過橋碰撞問題為例，據(jù)最新的資 料顯示，在最近的三十年里，世界各地的船撞橋事故多達3000余起。而最嚴重的即導致整個 橋梁塌陷的就超過了 1〇〇余起，其他領(lǐng)域的碰撞事故更是不勝枚舉。在陸上交通方面，所采 取的方式大多也只是設(shè)立限高標識或是設(shè)立限高桿，并沒有有效的提前預測預防措施。而 在海上運輸方面，其解決方案可分為被動防撞和主動防撞兩類。被動防撞的研究主要是為 了增強橋體本身的防撞能力;而主動防撞的研究內(nèi)容主要是通過各種措施來預防碰撞的發(fā) 生。主動防撞措施可以在潛在碰撞發(fā)生前做出判斷，避免碰撞的發(fā)生，防患于未然，將風險 降到最低，對橋梁的安全運行更加有保障。然而目前的大部分研究主要是針對被動防撞開 展的，主動防撞措施的相關(guān)研究還較少。因此，海上運輸、陸上交通和輸電線防刮斷等領(lǐng)域 亟需能有效檢測通行物高度的測量裝置對有潛在超高危險的通行物進行高度進行測量，以 提前米取措施。
[0005] 本發(fā)明利用機器視覺原理測量對較遠距離（如陸上100米以外，海上1000米以外） 的船舶、汽車等通行物進行高度測量，對高度較高易發(fā)生碰撞的車輛、船舶等進行較早預 測，避免通行物與橋體、輸電線等的碰撞，提出了一種提前預測的解決方案。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提出了一種基于機器視覺的遠距離運動物體高度測量的裝置和方法，用于 解決海上運輸，陸上交通等的限高通行領(lǐng)域的通行物高度預報問題。
[0007] 為此，本發(fā)明提出了一種基于機器視覺的遠距離運動物體高度測量裝置，包括:雙 目視覺同步采集系統(tǒng)，圖像數(shù)據(jù)處理系統(tǒng)，無線數(shù)據(jù)傳輸單元，遠程監(jiān)控終端。
[0008] 進一步地，所述雙目視覺同步采集系統(tǒng)，由長焦距鏡頭，雙目圖像傳感器（1)，F(xiàn)PGA 同步控制電路(2)，數(shù)據(jù)存儲器SDRAM(3)，數(shù)據(jù)輸出接口（4)，供電電路組成。其特征在于， FPGA(2)分別和雙目圖像傳感器（1)、數(shù)據(jù)存儲器SDRAM(3)和數(shù)據(jù)輸出接口（4)相連;雙目圖 像傳感器（1)再和數(shù)據(jù)存儲器SDRAM(3)相連;數(shù)據(jù)存儲器SDRAM(3)再和數(shù)據(jù)輸出接口（4)相 連；由FPGA產(chǎn)生場同步信號和行同步信號，保證兩圖像傳感器（1)同步工作；同時由FPGA(2) 產(chǎn)生對數(shù)據(jù)存儲器SDRAM(3)和數(shù)據(jù)輸出接口（4)的控制信號。由長焦距鏡頭和雙目圖像傳 感器所組成的雙目攝像系統(tǒng)，其左攝像機系統(tǒng)和右攝像機系統(tǒng)的基線距應(yīng)保持一定距離， 以保證較遠的測量距離；同時左右攝像系統(tǒng)的光軸保持水平。
[0009] 進一步的，所述圖像數(shù)據(jù)處理系統(tǒng)，由DSP芯片（TMS320C6416)(9)，F(xiàn)PGA (XC4VLX80) (8)，JTAG接口，復位控制電路，時鐘電路，輸入數(shù)據(jù)端口（ 7)，輸出數(shù)據(jù)端口
[10] ，數(shù)據(jù)存儲器SDRAM(ll)，F(xiàn)PGA程序存儲器EPRAM(5)，DSP程序存儲器FLASH(6)和供電電 路組成。其特征在于:FPGA(XC4VLX80)(8)從輸入數(shù)據(jù)端口（7)中讀入圖像數(shù)據(jù)，并存入數(shù)據(jù) 存儲器SDRAM( 11)，同時由FPGA(XC4VLX80) (8)讀出數(shù)據(jù)存儲器SDRAM( 11)數(shù)據(jù)并對圖像進 行濾波等預處理，并將預處理結(jié)果存入數(shù)據(jù)存儲器SDRAM(11);FPGA(XC4VLX80) (8)負責對 DSP芯片（TMS320C6416)(9)發(fā)出控制命令，使DSP芯片（TMS320C6416)(9)對數(shù)據(jù)存儲器 SDRAM(ll)中的預處理結(jié)果進行特征匹配、三維重建等運算;輸出數(shù)據(jù)端口（10)負責將DSP 芯片(TMS320C6416) (9)運算結(jié)果輸出到無線數(shù)據(jù)傳輸單元。
[0010] 本發(fā)明還提供了一種基于機器視覺的遠距離運動物體高度測量方法，包括以下步 驟：
[0011] 步驟一:將本發(fā)明所述裝置安裝完畢，對該裝置進行標定；
[0012] 步驟二:訓練基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型；
[0013] 步驟三：由雙目視覺同步采集系統(tǒng)對場景圖像進行采樣，并通過數(shù)據(jù)輸出接口（4) 將數(shù)據(jù)傳入圖像數(shù)據(jù)處理系統(tǒng)等待處理；
[0014] 步驟四：由圖像數(shù)據(jù)處理系統(tǒng)的FPGA(XC4VLX80)(8)對數(shù)據(jù)進行預處理；
[0015] 步驟五：由圖像數(shù)據(jù)處理系統(tǒng)的DSP芯片(TMS320C6416)(9)對數(shù)據(jù)進行處理，計算 目標的高度信息；
[0016] 步驟六:將圖像及運算結(jié)果通過無線數(shù)據(jù)傳輸單元傳送給遠程監(jiān)控終端。
[0017] 進一步地，所述步驟一的標定過程步驟如下：
[0018] 步驟(1):對權(quán)利要求1所述裝置進行標定，獲得兩攝像機的內(nèi)參數(shù)和外參數(shù)；
[0019] 步驟(2):對雙目測量裝置進行水平標定，具體方法如下：
[0020] 用雙目攝像機拍攝一個與鉛垂線平行的已知長度的標定桿，記其上端點為M，下端 點為N，中間點為E，且ME與EN的比已知;獲得其在左右攝像機上的圖像，其端點M在左攝像機 的像為Ml，圖像坐標為(Xmi，ymi)，端點N在左攝像機的像為Ni,圖像坐標為(Xni，yni)，中間點E 在左攝像機的像為El，圖像坐標為(Xel，yel);同時端點M在右攝像機中的像為Mr，圖像坐標為 (Xmr，ymr )，端點N在右攝像機的像為Nr，圖像坐標為(Xnr，ynr )，中間點E在左攝像機的像為Er， 圖像坐標為(xer，yer);
[0021 ]如果攝像機的光軸水平，則下式成立：
[0023]進一步地，所述步驟二的基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型訓練方法如下：
[0024]步驟(1):訓練數(shù)據(jù)獲取
[0025]將已知高度的標準桿放在裝置前一定距離內(nèi)，并使標定桿在橫向范圍內(nèi)移動，并 拍下不同位置下標定桿的圖像;然后將標定桿往后移動一段距離（如五十米），然后再在橫 向范圍內(nèi)移動，并拍下不同位置下標定桿的圖像;不斷向后移動一段距離(如五十米），并重 復上述操作，直至抵近該雙目測量裝置的測量范圍；并記錄下標準桿在不同位置時的頂點 及桿上其他測量點的真實坐標系。
[0026]步驟(2):訓練校正模型網(wǎng)絡(luò)
[0027]對步驟（1)所獲得圖像數(shù)據(jù)進行計算，計算出不同位置下的標定桿的頂點和其他 測量點的計算坐標，將計算坐標作為神經(jīng)網(wǎng)絡(luò)的輸入，相應(yīng)的標定桿頂點及其他相應(yīng)測量 點的真實坐標作為期望輸出，然后訓練網(wǎng)絡(luò)，最終得到基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型； [0028]步驟(3):將步驟(2)中獲得的基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型寫入數(shù)據(jù)處理系統(tǒng)的 DSP程序存儲器FLASH(6)。
[0029] 進一步地，所述步驟五的數(shù)據(jù)處理過程包括如下步驟：
[0030] 步驟（1):由圖像數(shù)據(jù)處理系統(tǒng)的DSP芯片(TMS320C6416)(9)對經(jīng)過預處理步驟的 圖像進行目標識別：
[0031] 首先從左攝像機圖像中提取一個目標，然后在右攝像機圖像中尋找相對應(yīng)的目 標；
[0032]步驟(2):對目標所在區(qū)域進行子像素級的角點特征提取，并配對：
[0033]這里采用Harris角點探測器對角點進行子像素級別提取，采用那個的擬合曲面是 高斯曲面，其函數(shù)為：
(2)
[0035] 其中，擬合出的（XQ，yQ)即為角點的內(nèi)插值;然后運用雙目視覺約束條件和基于特 征的匹配方式建立兩幅圖像間特征角點的對應(yīng)關(guān)系。
[0036] 步驟(3):利用配對點的圖像坐標計算相應(yīng)點的世界坐標；
[0037]步驟(4):運用基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型對步驟（3)中計算出的坐標進行校 正，獲得精確的世界坐標系坐標，建立稀疏的深度圖；
[0038] 步驟(5):利用內(nèi)插方法對步驟(4)獲得的稀疏的深度圖進行插值，獲得整個目標 的深度圖；
[0039] 步驟(6):計算出目標的最高點A，其坐標為(^。，5^。，^。），再從目標中得到其最低 點D，其坐標為(xudc^zd。），則目標高度的計算通過下式取得：
[0040] H=yac-ydc (3)
[0041 ] 所求出的H即為所求。
[0042]進一步地，所述的世界坐標系的計算方法如下： 以左攝像機坐標系為準，右攝像機坐標系與左攝像機坐標系的轉(zhuǎn)換矩陣為M=[R T]， 設(shè)現(xiàn)實中目標上一點P，設(shè)其在左攝像機坐標的坐標(^。，2。），在右攝像機坐標系的坐標 為(Xr，y r，Zr )，在左右攝像機中所成的像點的圖像坐標分別為Pi ( Xpl，ypl )和Pr ( Xpr，ypr )，基 線距為B，攝像機焦距為f，則根據(jù)攝像機透視變換有：
[0045] 兩攝像機坐標系之間的苧間份罾關(guān)系可誦討苧間轉(zhuǎn)換矩陣M表示為： (4) (5)
(6)
[0047]當R為單位矩陣時，攝像機相面點之間的對應(yīng)關(guān)系可表示為：
〇)
[0049 ]由上式可以計算出特征點P在左攝像機坐標系坐標：
(8)
[0051 ]由此獲得各個主要特征點的坐標。
[0052]本發(fā)明具有的有益效果：本發(fā)明可以對較遠距離運動物體的高度進行測量，并通 過增加攝像系統(tǒng)基線距來增加測量距離，使裝置可對較遠距離（如陸上100米以外，海上 1000米以外）的物體高度進行測量；引入子像素級特征提取和基于神經(jīng)網(wǎng)絡(luò)的誤差校正模 型增加測量精度，實現(xiàn)了對超高物體進行提前預報，防止碰撞事件的發(fā)生，擁有良好的應(yīng)用 前景。
【附圖說明】
[0053]圖1基于機器視覺的遠距離運動物體高度測量方法流程圖
[0054]圖2雙目攝像機標定水平示意圖
[0055]圖3基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型示意圖
[0056]圖4雙目視覺同步采集系統(tǒng)示意圖
[0057]圖5圖像數(shù)據(jù)處理系統(tǒng)處理過程示意圖
[0058]圖6雙目視覺計算高度原理示意圖
[0059] 圖7雙目視覺三維重建原理示意圖
【具體實施方式】
[0060] 下面將結(jié)合附圖，詳細闡述本發(fā)明所述的一種基于機器視覺的遠距離運動物體高 度測量的裝置與方法的實施方式。
[0061] 如圖1所示展示了基于機器視覺的遠距離運動物體高度測量方法流程，包括攝像 機標定、基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型訓練、獲取雙目圖像、圖像預處理、數(shù)據(jù)處理并獲得 目標高度和數(shù)據(jù)傳輸至監(jiān)控終端六步。值得注意的是，前兩步是在攝像機安裝完畢后進行 的，為測量裝置進行后續(xù)處理所必須的步驟，實際測量過程是從第三步開始的。另外，為保 證裝置有著較遠的測量距離(如陸上100米以上，海上1000米以上），由長焦距鏡頭和雙目圖 像傳感器所組成的雙目攝像系統(tǒng)，其左攝像機系統(tǒng)和右攝像機系統(tǒng)的基線距應(yīng)保持一定距 離。
[0062] 第一步是對雙目攝像機進行標定。雙目攝像機標定可分為兩個步驟。
[0063] 步驟(1):對雙目攝像機系統(tǒng)的標定，即獲得雙目攝像機的內(nèi)外參數(shù)。
[0064] 步驟(2):對雙目測量裝置進行水平校正，如圖2所示，展示了雙目攝像機標定水 平，具體方法如下：
[0065] 用雙目攝像機拍攝一個與鉛垂線平行的已知長度的標定桿，記其上端點為M，下端 點為N，中間點為E，且ME與EN的比已知;獲得其在左右攝像機上的圖像，其端點M在左攝像機 的像為Ml，圖像坐標為(Xmi，ymi)，端點N在左攝像機的像為Ni,圖像坐標為(Xni，y ni)，中間點E 在左攝像機的像為El，圖像坐標為(Xel，yel);同時端點M在右攝像機中的像為Mr，圖像坐標為 (Xmr，ymr )，端點N在右攝像機的像為Nr，圖像坐標為(Xnr，ynr )，中間點E在左攝像機的像為Er， 圖像坐標為(xer，yer); 如果攝像機的光軸水平，則下式成立：
(1)
[0067] 第二步:基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型的訓練。
[0068] 由于各種原因，雙目攝像機所獲得的圖像會有深度損失，這會導致測量的不準確。 因此，要提高測量精度，需要對數(shù)據(jù)進行補償。本發(fā)明采用神經(jīng)網(wǎng)絡(luò)對誤差進行校正。神經(jīng) 網(wǎng)絡(luò)模型如圖3所示，網(wǎng)絡(luò)的輸入為雙目視覺測量裝置計算出的坐標，輸出為該點校正后的 坐標。基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型訓練方法如下：
[0069]步驟(1):訓練數(shù)據(jù)獲取
[0070]將已知高度的標準桿放在裝置前一定距離內(nèi)，并使標定桿在橫向范圍內(nèi)移動，并 拍下不同位置下標定桿的圖像;然后將標定桿往后移動一段距離（如五十米），然后再在橫 向范圍內(nèi)移動，并拍下不同位置下標定桿的圖像;不斷向后移動一段距離(如五十米），并重 復上述操作，直至抵近該雙目測量裝置的測量范圍；并記錄下標準桿在不同位置時的頂點 及桿上其他測量點的真實坐標系。
[0071]步驟(2):訓練校正模型網(wǎng)絡(luò)
[0072]對步驟（1)所獲得圖像數(shù)據(jù)進行計算，計算出不同位置下的標定桿的頂點和其他 測量點的計算坐標，將計算坐標作為神經(jīng)網(wǎng)絡(luò)的輸入，相應(yīng)的標定桿頂點及其他相應(yīng)測量 點的真實坐標作為期望輸出，然后訓練網(wǎng)絡(luò)，最終得到基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型； [0073]步驟(3):將步驟(2)中獲得的基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型寫入數(shù)據(jù)處理系統(tǒng)的 DSP程序存儲器FLASH(6)，以方便測量裝置在實際測量中能對計算結(jié)果進行校正。
[0074]第三步：獲取雙目圖像。由于測量的是運動物體，因此左右攝像機需要同步工作， 否則獲得的數(shù)據(jù)將獲得較大誤差。如圖4所示，展示了雙目視覺同步采集系統(tǒng)。由FPGA同步 控制電路(2)設(shè)置雙目傳感器（1)工作在被動模式，該模式下的圖像傳感器（1)的行同步和 場同步由FPGA同步控制電路(2)發(fā)出；圖像傳感器（1)采集到的圖像信號首先暫存在數(shù)據(jù)存 儲器SDRAM(3)，然后再通過數(shù)據(jù)輸出接口（4)輸入到圖像數(shù)據(jù)處理系統(tǒng)。FPGA同步控制電路 (2)負責控制協(xié)調(diào)圖像傳感器(1)、數(shù)據(jù)存儲器SDRAM(3)和數(shù)據(jù)輸出接口（4)。
[0075]第四步：圖像預處理。如圖5所示，展示了數(shù)據(jù)處理系統(tǒng)的處理過程。其中圖像預處 理過程將在FPGA(XC4VLX80) (8)中進行。具體流程是FPGA(XC4VLX80) (8)從輸入數(shù)據(jù)端口 (7)讀入圖像數(shù)據(jù)，然后存入數(shù)據(jù)存儲器SDRAM(11)中，等待FPGA(XC4VLX80) (8)的處理； FPGA(XC4VLX80) (8)從數(shù)據(jù)存儲器SDRAM( 11)中讀入數(shù)據(jù)，并進行預處理，并將處理結(jié)果再 次存入數(shù)據(jù)存儲器SDRAM( 11)中，等待DSP芯片(TMS320C6416) (9)讀入數(shù)據(jù)進一步處理。 [0076]第五步是數(shù)據(jù)處理，獲得目標高度信息。如圖4所示，該步驟的處理將在DSP芯片 (TMS320C6416) (9)中進行。該步驟分為六個步驟：
[0077] 步驟（1):由圖像數(shù)據(jù)處理系統(tǒng)的DSP芯片(TMS320C6416)(9)對經(jīng)過預處理步驟的 圖像進行目標識別：
[0078]首先從左攝像機圖像中提取一個目標，然后在右攝像機圖像中進行尋找，以減少 特征匹配步驟中的數(shù)據(jù)量；
[0079]步驟(2):對目標所在區(qū)域進行子像素級的角點特征提取，并配對：
[0080]這里采用Harris角點探測器對角點進行子像素級別提取，采用那個的擬合曲面是 高斯曲面，其函數(shù)為：
(2)
[0082]其中，擬合出的（XQ，yQ)即為角點的內(nèi)插值;然后運用雙目視覺約束條件和基于特 征的匹配方式建立兩幅圖像間特征角點的對應(yīng)關(guān)系。
[0083]步驟(3):利用配對點的圖像坐標計算相應(yīng)點的世界坐標；
[0084]步驟(4):運用基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型對步驟（3)中計算出的坐標進行校 正，獲得精確的世界坐標系坐標，建立稀疏的深度圖；
[0085] 步驟(5):利用內(nèi)插方法對步驟(4)獲得的稀疏的深度圖進行插值，獲得整個目標 的深度圖；
[0086] 步驟(6):計算出目標的最高點A，其坐標為(^。，5^。，^。），再從目標中得到其最低 點D，其坐標為(xdc，yd。，zd c)，如圖6所示，展示了高度測量原理，由于左右攝像機光軸水平， 因此目標高度的計算可通過下式取得：
[0087] H=yac-ydc (3)
[0088] 經(jīng)過以上步驟，將獲得目標點的深度信息。
[0089]需要指出的是，數(shù)據(jù)處理是采用的FPGA加DSP的結(jié)構(gòu)，這樣可以減輕DSP的運算負 擔，加快運算速度，提高實時性的要求。
[0090] 第六步:將圖像信息和高度信息通過無線數(shù)據(jù)傳輸單元傳回遠程監(jiān)控終端，供監(jiān) 視人員參考。
[0091] 近一步地，圖7給出了雙目視覺三維重建原理示意圖，即DSP芯片進行三維重建的 方法原理。以左攝像機坐標系為基準，右攝像機坐標系與左攝像機坐標系的轉(zhuǎn)換矩陣為M = [R T]，設(shè)現(xiàn)實中目標上一點P，設(shè)其在左攝像機坐標的坐標(xc^yc^z。），在右攝像機坐標系 的坐標為(xr，y r，zr)，在左右攝像機中所成的像點的圖像坐標分別為Pi(xPi，yPi)和P r(xpr， ypr)，基線距為B，攝像機焦距為f，則根據(jù)攝像機透視變換有： Xpi /，0 0'(
[0092] Si ypl = 0. ft 0 ? ye (4) _ i」L〇 〇 i」U_ Xpr fr 〇 0 '
[0093] 5,. ypr = 0 X 〇 vr (5) _ 1」L〇 0 lj _zr_
[0094] 兩攝像機坐標系之間的空間位置關(guān)系可通過空間轉(zhuǎn)換矩陣M表示為： r n X .義 X A , ; ' % h txc
[0095] y,.. =.M "Vr =[^ T] = r4 r& r6 fy (6) A 旯 ，.,^ w [1」
[0096] 當R為單位矩陣時，攝像機相面點之間的對應(yīng)關(guān)系可表示為： 「.nr. ^ -IZ Xpr fA frr2 i>3 /X z.y / f
[0097] p,. v = frrA f,j\ f/6 f^v Z yi ' 1 (7) ... Z 1」.L r7 h. h 4」 i
[0098] 由上式可以計算出特征點P在左攝像機坐標系坐標： (8)
[0100]由此獲得各個主要特征點的坐標。
【主權(quán)項】
1. 一種基于機器視覺的遠距離運動物體高度測量的裝置，其特征在于:包括雙目視覺 同步采集系統(tǒng)，圖像數(shù)據(jù)處理系統(tǒng)，無線數(shù)據(jù)傳輸單元，遠程監(jiān)控終端，所述雙目視覺同步 采集系統(tǒng)，由長焦距鏡頭，雙目圖像傳感器（1) ,FPGA同步控制電路(2)，數(shù)據(jù)存儲器SDRAM (3)，數(shù)據(jù)輸出接口（4)，供電電路組成。2. 根據(jù)權(quán)利要求1所述的基于機器視覺的遠距離運動物體高度測量的裝置，其特征在 于:所述雙目視覺同步采集系統(tǒng)中的FPGA(2)分別和雙目圖像傳感器(1)、數(shù)據(jù)存儲器SDRAM (3)和數(shù)據(jù)輸出接口（4)相連;雙目圖像傳感器(1)再和數(shù)據(jù)存儲器SDRAM(3)相連;數(shù)據(jù)存儲 器SDRAM(3)再和數(shù)據(jù)輸出接口（4)相連；由FPGA產(chǎn)生場同步信號和行同步信號，保證兩圖像 傳感器（1)同步工作；同時由FPGA(2)產(chǎn)生對數(shù)據(jù)存儲器SDRAM(3)和數(shù)據(jù)輸出接口（4)的控 制信號。3. 根據(jù)權(quán)利要求2所述的基于機器視覺的遠距離運動物體高度測量的裝置，其特征在 于，由長焦距鏡頭和雙目圖像傳感器(1)所組成的雙目攝像系統(tǒng)，其左攝像機系統(tǒng)和右攝像 機系統(tǒng)的基線距應(yīng)保持一定距離，同時左右攝像系統(tǒng)的光軸保持水平。4. 根據(jù)權(quán)利要求1所述的基于機器視覺的遠距離運動物體高度測量的裝置，其特征在 于，所述圖像數(shù)據(jù)處理系統(tǒng)，由DSP忍片(9) ,FPGA(S) JTAG接口，復位控制電路，時鐘電路， 輸入數(shù)據(jù)端口（7)，輸出數(shù)據(jù)端口（10)，數(shù)據(jù)存儲器SDRAM(Il) ,FPGA程序存儲器EPRAM(S)， DSP程序存儲器FLA甜(6)和供電電路組成，F(xiàn)PGA(S)從輸入數(shù)據(jù)端口（7)中讀入圖像數(shù)據(jù)，并 存入數(shù)據(jù)存儲器SDRAM(Il),同時由FPGA(S)讀出數(shù)據(jù)存儲器SDRAM(Il)數(shù)據(jù)并對圖像進行 濾波等預處理，并將預處理結(jié)果存入數(shù)據(jù)存儲器SDRAM( 11);FPGA(XC4VLX80) (8)負責對DSP 忍片(9)發(fā)出控制命令，使DSP忍片(9)對數(shù)據(jù)存儲器SDRAM(Il)中的預處理結(jié)果進行特征匹 配、S維重建等運算;輸出數(shù)據(jù)端口（10)負責將DSP忍片(9)運算結(jié)果輸出到無線數(shù)據(jù)傳輸 單元。5. -種如權(quán)利要求1所述的基于機器視覺的遠距離運動物體高度測量的裝置的測量方 法，其特征在于包括W下步驟： 步驟一:將所述雙目視覺同步采集系統(tǒng)，圖像數(shù)據(jù)處理系統(tǒng)，無線數(shù)據(jù)傳輸單元，遠程 監(jiān)控終端安裝完畢，對該裝置進行標定； 步驟二：訓練基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型； 步驟由雙目視覺同步采集系統(tǒng)對場景圖像進行采樣，并通過數(shù)據(jù)輸出接口（4)將數(shù) 據(jù)傳入圖像數(shù)據(jù)處理系統(tǒng)等待處理； 步驟四：由圖像數(shù)據(jù)處理系統(tǒng)的FPGA(XC4VLX80)(8)對數(shù)據(jù)進行預處理； 步驟五：由圖像數(shù)據(jù)處理系統(tǒng)的DSP忍片(TMS320C6416) (9)對數(shù)據(jù)進行處理，計算目標 的高度信息； 步驟六:將圖像及運算結(jié)果通過無線數(shù)據(jù)傳輸單元傳送給遠程監(jiān)控終端。6. 根據(jù)權(quán)利要求5所述的基于機器視覺的遠距離運動物體高度測量的裝置的測量方 法，其特征在于，所述步驟一的標定過程步驟如下： 步驟一:對權(quán)利要求1所述裝置進行標定，獲得兩攝像機的內(nèi)參數(shù)和外參數(shù)； 步驟二:對雙目測量裝置進行水平標定，具體方法如下： 用雙目攝像機拍攝一個與鉛垂線平行的已知長度的標定桿，記其上端點為M，下端點為 N，中間點為E，且ME與EN的比已知;獲得其在左右攝像機上的圖像，其端點M在左攝像機的像 為Ml,圖像坐標為(Xml，yml)，端點N在左攝像機的像為Ni,圖像坐標為(Xnl，ynl)，中間點E在左 攝像機的像為El,圖像坐標為(Xel，yel);同時端點M在右攝像機中的像為Mr,圖像坐標為(Xmr, ymr)，端點N在右攝像機的像為Nr,圖像坐標為(Xnr，ynr)，中間點E在左攝像機的像為Er,圖像 坐標為(Xer，yer); 如果攝像機的光軸水平，則下式成立。7. 根據(jù)權(quán)利要求5所述的基于機器視覺的遠距離運動物體高度測量的裝置的測量方 法，其特征在于，所述步驟二的基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型訓練方法如下： 步驟一:訓練數(shù)據(jù)獲取 將已知高度的標準桿放在裝置前一定距離內(nèi)，并使標定桿在橫向范圍內(nèi)移動，并拍下 不同位置下標定桿的圖像;然后將標定桿往后移動一段距離（如五十米），然后再在橫向范 圍內(nèi)移動，并拍下不同位置下標定桿的圖像;不斷向后移動一段距離(如五十米），并重復上 述操作，直至抵近該雙目測量裝置的測量范圍；并記錄下標準桿在不同位置時的頂點及桿 上其他測量點的真實坐標系。 步驟二：訓練校正模型網(wǎng)絡(luò) 對步驟一所獲得圖像數(shù)據(jù)進行計算，計算出不同位置下的標定桿的頂點和其他測量點 的計算坐標，將計算坐標作為神經(jīng)網(wǎng)絡(luò)的輸入，相應(yīng)的標定桿頂點及其他相應(yīng)測量點的真 實坐標作為期望輸出，然后訓練網(wǎng)絡(luò)，最終得到基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型； 步驟將步驟二中獲得的基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型寫入數(shù)據(jù)處理系統(tǒng)的DSP程 序存儲器FLA甜。8. 根據(jù)權(quán)利要求5所述的基于機器視覺的遠距離運動物體高度測量的裝置的測量方 法，其特征在于，所述步驟五的數(shù)據(jù)處理過程包括如下步驟： 步驟一：由圖像數(shù)據(jù)處理系統(tǒng)的DSP忍片(9)對經(jīng)過預處理步驟的圖像進行目標識別： 首先從左攝像機圖像中提取一個目標，然后在右攝像機圖像中尋找相對應(yīng)的目標； 步驟二:對目標所在區(qū)域進行子像素級的角點特征提取，并配對： 運里采用化rris角點探測器對角點進行子像素級別提取，采用那個的擬合曲面是高斯 曲面，其函數(shù)為： -(.y-.Y〇)- {(v-.i-o 廣 /(.V, V) = CV 其中，擬合出的（xo，yo)即為角點的內(nèi)插值;然后運用雙目視覺約束條件和基于特征的 匹配方式建立兩幅圖像間特征角點的對應(yīng)關(guān)系。 步驟=:利用配對點的圖像坐標計算相應(yīng)點的世界坐標； 步驟四：運用基于神經(jīng)網(wǎng)絡(luò)的誤差校正模型對步驟(3)中計算出的坐標進行校正，獲得 精確的世界坐標系坐標，建立稀疏的深度圖； 步驟五:利用內(nèi)插方法對步驟(4)獲得的稀疏的深度圖進行插值，獲得整個目標的深度 圖； 步驟六:計算出目標的最高點A，其坐標為(Xac，yac，Zac)，再從目標中得到其最低點D，其 坐標為(Xd。，yd。，Zd。），則目標高度的計算通過下式取得： H=yac-ydc 所求出的郵P為所求。9.根據(jù)權(quán)利要求5所述的基于機器視覺的遠距離運動物體高度測量的裝置的測量方 法，其特征在于:所述的世界坐標系的計算方法如下： W左攝像機坐標系為基準，右攝像機坐標系與左攝像機坐標系的轉(zhuǎn)換矩陣為M= [R T]，設(shè)現(xiàn)實中目標上一點P，設(shè)其在左攝像機坐標的坐標(Xc，yc，z。），在右攝像機坐標系的坐 標為(Xr，yr，Zr )，在左右攝像機中所成的像點的圖像坐標分別為Pl ( Xpl，ypl )和Pr ( Xpr，ypr )， 基線距為B，攝像機焦距為f，則根據(jù)攝像機透視變換有：兩攝像機坐標j 當R為單位矩陣 由上式可W計I 由此獲得各個主要特征點的坐標。
【文檔編號】G06T7/20GK105913410SQ201610119781
【公開日】2016年8月31日
【申請日】2016年3月3日
【發(fā)明人】仝衛(wèi)國, 劉士波, 汪淼依泉, 孫藝萌
【申請人】華北電力大學（保定）