基于單目視覺和gps組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)，該系統(tǒng)通過交互圖像標注、相機標定、三維位置恢復等方法步驟離線創(chuàng)建交通燈地圖，給出交通燈在全局定位的GPS坐標系下的位置坐標及語義屬性。在線檢測時，以創(chuàng)建的離線交通燈地圖為先驗，結合位姿定位求解交通燈在圖像中的大致范圍，從而確定感興趣區(qū)域，在感興趣區(qū)域中利用交通燈的形態(tài)信息進行交通燈的顏色分割與形狀識別。該交通燈識別系統(tǒng)可適應于多種不同路況和場景，實現(xiàn)多種環(huán)境下的交通燈穩(wěn)定且長距離的檢測感知。由于系統(tǒng)采用低成本、低功耗的導航設備、圖像采集設備及計算平臺，可廣泛應用于無人駕駛汽車視覺導航、智能車視覺輔助駕駛等領域。
【專利說明】
基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別 系統(tǒng)
技術領域
[0001] 本發(fā)明屬于計算機視覺與智能交通領域，涉及城區(qū)環(huán)境下的實時交通燈識別，尤 其涉及一種基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)。
【背景技術】
[0002] 智能車輛（Intelligent Vehicle，IV)是一個集環(huán)境感知、動態(tài)決策與規(guī)劃、智能 控制與執(zhí)行等多功能于一體的綜合系統(tǒng)，是衡量一個國家整體科研實力和工業(yè)水平的重要 標志。作為智能車三大關鍵技術之一的環(huán)境感知技術，現(xiàn)階段以主動傳感激光、雷達及結構 光為主的傳感系統(tǒng)，已經取得了部分成功的應用，但該類傳感器存在功耗大、體積大、造價 昂貴等問題，制約了其在智能車技術研發(fā)和應用上的推廣。而被動可見光傳感，即相機，則 在功耗、體積、造價方面具有顯著優(yōu)勢。近年來，大量研究團隊和機構在利用可見光傳感完 成交通場景感知方面做出了很多卓有成效的研究，基于視覺的交通要素和障礙物感知成為 該領域的研究熱點。
[0003] 交通燈信號的識別與很多因素緊密相關，如天氣、相機特性及參數(shù)設置、周圍環(huán)境 等。陽光強烈的晴天、光線較弱的陰雨天氣、低可見度的霧霾天氣、逆光行駛、樹木遮擋的暗 場景、無遮擋的亮場景等情況下，相機采集的圖像效果各不相同，可能引起交通燈在圖像中 呈現(xiàn)出色彩失真、過曝等現(xiàn)象，從而影響交通燈信號的檢測效果。另外，交通場景中的汽車 剎車燈、廣告牌、行人等因素會引入干擾，可能使識別系統(tǒng)產生虛警，增加了交通燈識別的 難度。因此，如何設計實現(xiàn)一套能盡可能充分利用圖像信息、適應系統(tǒng)的各類外部環(huán)境變化 和車體姿態(tài)變化，能長時間長距離穩(wěn)定運行，同時又具有低成本、低功耗、高移植性的交通 燈檢測系統(tǒng)以滿足無人駕駛、汽車輔助駕駛等領域應用需求已成為研究熱點。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于提供一種基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈 識別系統(tǒng)。
[0005] 為了實現(xiàn)上述目的，本發(fā)明采用了以下技術方案：
[0006] 包括離線交通燈三維地圖創(chuàng)建和模式學習模塊、在線圖像感興趣區(qū)域提取模塊以 及圖像交通燈識別模塊;所述離線交通燈三維地圖創(chuàng)建和模式學習模塊包括交通燈三維地 圖創(chuàng)建子模塊，交通燈顏色概率模型訓練子模塊和交通燈形狀分類器訓練子模塊;所述在 線圖像感興趣區(qū)域提取模塊利用離線創(chuàng)建的交通燈三維地圖，通過坐標轉換對實時采集的 圖像進行感興趣區(qū)域的提取;所述圖像交通燈識別模塊對提取的感興趣區(qū)域利用經過訓練 的交通燈顏色概率模型和交通燈形狀分類器進行交通燈的在線識別，并結合歷史幀圖像識 別結果輸出時域關聯(lián)的交通燈識別結果。
[0007] 所述交通燈三維地圖創(chuàng)建子模塊用于采集無人車的全局位姿信息和由該無人車 獲取的交通燈圖像，并在獲取到對于每個交通燈的多幀圖像的交通燈真值后，結合采集的 對應時刻的無人車全局位姿信息，通過三角測量法獲取對應交通燈的三維坐標，所述交通 燈真值是指交通燈在圖像上的位置。
[0008] 所述全局位姿信息由安裝于無人車上的慣性導航系統(tǒng)獲取。
[0009] 所述交通燈顏色概率模型訓練子模塊用于根據(jù)交通燈的紅綠黃顏色數(shù)據(jù)進行高 斯模型擬合，從而得到紅綠黃顏色的高斯模型。
[0010] 所述交通燈形狀分類器訓練子模塊用于根據(jù)不同形狀的交通燈圖像進行形狀分 類的訓練，從而得到可以進行形狀分類的隨機森林分類器。
[0011]所述在線圖像感興趣區(qū)域提取模塊需要進行車體位姿的獲取，并使用車體位姿信 息判斷是否進行交通燈識別，在確定無人車接近設置交通燈的路口后使無人車開始交通燈 圖像在線采集，并利用無人車的實時全局位姿信息對交通燈三維地圖中該路口處對應交通 燈的三維坐標信息進行坐標轉換，通過坐標轉換將該交通燈的三維坐標投影到在線采集的 對應幀圖像上，利用交通燈在圖像上的投影位置確定圖像上包含交通燈的感興趣區(qū)域。
[0012] 在已經進行穩(wěn)定檢測（例如，已完成連續(xù)5幀以上圖像的檢測）后，當前幀圖像的感 興趣區(qū)域根據(jù)上一幀圖像的感興趣區(qū)域獲得。
[0013] 所述圖像交通燈識別模塊在提取的感興趣區(qū)域內進行交通燈的識別，識別過程包 括使用交通燈顏色概率模型對感興趣區(qū)域進行分割，對分割后的連通域使用交通燈形狀分 類器進行形狀識別，從而得到實時采集的圖像中交通燈的顏色信息和形狀信息。
[0014] 本發(fā)明的有益效果體現(xiàn)在：
[0015] 本發(fā)明所述交通燈識別系統(tǒng)通過離線交通燈三維地圖創(chuàng)建和模式學習模塊、在線 圖像感興趣區(qū)域提取模塊、圖像交通燈識別模塊三大模塊，實現(xiàn)對城區(qū)環(huán)境下的交通燈的 識別，利用離線創(chuàng)建的交通燈地圖進行系統(tǒng)的開啟與關閉，并獲取感興趣區(qū)域，減少了誤檢 和虛警，實現(xiàn)了穩(wěn)定連續(xù)的交通燈識別。由于系統(tǒng)可采用低成本、低功耗的導航設備、圖像 采集設備及計算平臺，可廣泛應用于無人駕駛汽車視覺導航、智能車視覺輔助駕駛等領域。
[0016] 進一步的，本發(fā)明所述交通燈識別系統(tǒng)主要利用了多傳感器提供的數(shù)據(jù)，如位姿 數(shù)據(jù)、圖像數(shù)據(jù)，通過交互圖像標注、相機標定、三維位置恢復等方法步驟離線創(chuàng)建交通燈 地圖，給出交通燈在全局定位的GPS坐標系下的位置坐標及語義屬性。在線檢測時，以創(chuàng)建 的離線地圖為先驗，定位交通燈在圖像中的范圍并由此確定感興趣區(qū)域。在感興趣區(qū)域中 對交通燈進行顏色分割與形狀識別。最后，通過單交通燈的時域關聯(lián)增加識別結果的可靠 性。該交通燈識別系統(tǒng)可適應于多種不同路況和場景，例如光照變化、多類型的復雜場景 等，實現(xiàn)城區(qū)環(huán)境下的交通燈穩(wěn)定且長距離的檢測感知。
【附圖說明】
[0017] 圖1為本發(fā)明的系統(tǒng)硬件關系圖。
[0018] 圖2為本發(fā)明的系統(tǒng)流程框圖。
[0019] 圖3為本發(fā)明定義的路口交通場景示意圖。
[0020] 圖4為本發(fā)明車體坐標系、激光坐標系和攝像機坐標系的定義示意圖，其中：（a)側 視圖，（b)俯視圖。
[0021 ]圖5為本發(fā)明定義的地球坐標及東北天坐標示意圖。
[0022]圖6為本發(fā)明的交通燈H通道和S通道直方圖統(tǒng)計示意圖。
[0023] 圖7為本發(fā)明的笛卡爾坐標系下交通燈紅綠黃顏色統(tǒng)計直方圖（a)及交通燈紅綠 黃顏色高斯模型擬合圖(b)。
[0024] 圖8為本發(fā)明的交通燈的四種形狀類型示意圖。
【具體實施方式】
[0025]下面結合附圖和實施例對本發(fā)明作進一步說明。
[0026]本發(fā)明提出的交通燈地圖創(chuàng)建及識別系統(tǒng)實驗平臺的硬件設備包括車載相機、全 局位姿測量系統(tǒng)、三維激光雷達、工控機及千兆網交換機等數(shù)據(jù)傳輸設備。其中，車載相機 安裝在無人車車頂前方，便于感知無人車前方的交通燈。全局位姿測量系統(tǒng)采用GPS/INS慣 導系統(tǒng)，由慣性測量單元、GPS接收機、GPS天線及用于差分的數(shù)據(jù)傳輸單元組成，其中慣性 測量單元和GPS天線安裝在無人車后軸中心的豎直線上，與車體坐標系的坐標原點在XY坐 標下一致。工控機安裝在無人車內部，用于數(shù)據(jù)處理計算和軟件、程序的運行。千兆網交換 機安裝車內適當位置。
[0027]該交通燈識別系統(tǒng)工作原理：主要包括離線創(chuàng)建地圖和在線實時檢測（識別），利 用加州大學標定工具箱和CMU激光相機聯(lián)合標定工具箱完成相機的內參和外參標定，標定 后通過相機及慣導系統(tǒng)實時采集獲取能觀測到交通燈的圖像序列及其對應的位姿數(shù)據(jù)，并 利用時間戳對齊圖像序列和位姿數(shù)據(jù)，對圖像中的交通燈使用程序標注（由于針對的同一 個交通燈的多幀連續(xù)圖像較為相似，因此可以在人工標注第一幀后，由程序完成對同樣顏 色交通燈的標注)和人工標注結合進行真值(指在圖像中的實際位置)標注，從采集得到的 數(shù)據(jù)中恢復出交通燈的三維位置，即結合交通燈在圖像中標注出的真值、相機的內外參數(shù) 和對齊后的位姿數(shù)據(jù)，通過三角測量求解出交通燈在東北天坐標系下的三維位置并添加語 義(例如交通燈形狀），從而完成交通燈地圖的創(chuàng)建，用于后續(xù)在線檢測；在線實時檢測中， 根據(jù)當前位姿數(shù)據(jù)和交通燈地圖數(shù)據(jù)，實時計算地圖中的各個交通燈到無人車的距離。如 果交通燈在相機的圖像采集范圍內，將交通燈從東北天坐標系轉換到圖像坐標系，并確定 在圖像中的位置，獲得包含有交通燈的感興趣區(qū)域?；诟信d趣區(qū)域進行顏色概率圖的獲 取，完成了顏色分割和顏色識別，基于分割后的結果進行形狀的識別。最終獲取單幀的交通 燈識別結果，并基于多幀圖像的識別結果進行時域關聯(lián)，得到穩(wěn)定準確的輸出結果。
[0028]目前該系統(tǒng)已集成安裝于西安交通大學人工智能與機器人研究所視覺認知計算 與智能車實驗室的"夸父一號"無人駕駛平臺上，并順利完成數(shù)百個路口交通燈的檢測，并 完成上述路段的自主導航駕駛。
[0029](一)實驗平臺硬件介紹 [0030] 1)相機和鏡頭：
[0031 ] 識別交通燈使用的相機為加拿大PointGrey公司的GrassHopper2高分辨率CCD攝 像機，其具體參數(shù)如表1所示。攝像機配套的鏡頭為Kowa手動光圈百萬像素鏡頭，由于交通 燈尺寸較小，為了能盡早在圖像中觀測交通燈并且使其在圖像中點像素數(shù)足夠多，選擇焦 距較長的鏡頭。本發(fā)明中選擇的Kowa鏡頭焦距為25mm，其詳細參數(shù)如表2所示。
[0032] 表1 GrassHopper2攝像機規(guī)格指標
[0037] 2)GPS/INS 慣導系統(tǒng)：
[0038] 實驗平臺安裝的慣導系統(tǒng)為加拿大NovAtel公司的SPAN-LCI。由慣性測量單元 (mj)、GPS接收機和GPS天線等組成，同時，配備了數(shù)據(jù)傳輸單元(DTU)傳輸差分改正數(shù)，組 合多種定位設備實現(xiàn)高精度的全局定位。
[0039] 使用的慣導系統(tǒng)的各項性能指標如表3所示：
[0040] 表3 SPAN-LCI慣導系統(tǒng)性能指標
[0043] 3)工控機：
[0044]實驗平臺使用的工控機為凌華公司的車載刀片服務器ADLINK嵌入式電腦，體積 小、可掛式安裝、運算速度快，同時配置了固態(tài)硬盤，其指標如表4所示：
[0045] 表4 ADLINK工控機性能指標
[0047] 4)三維激光雷達(主要用于攝像機的外參標定）：
[0048]實驗平臺上安裝的三維激光雷達是美國Velodyne公司生產的64線激光雷達HDL-64E，其掃描線數(shù)多、覆蓋范圍廣、數(shù)據(jù)量豐富，可以較逼真的還原場景。
[0049]各硬件的連接關系如圖1所示。系統(tǒng)計算負載在車載刀片服務器ADLINK嵌入式電 腦(分為位姿工控機、交通燈工控機以及激光工控機)上進行;所有模塊間通過千兆以太網， 以UDP數(shù)據(jù)包方式進行通信。系統(tǒng)能夠以每秒10HZ的頻率穩(wěn)定提供車載攝像機前> = 100m (具體距離可以根據(jù)實際情況調整)范圍內的交通燈檢測結果。系統(tǒng)成本低廉、功耗低，且具 有較高的整體移植性，適合批量推廣應用。
[0050] 攝像機離線標定時，需要對齊激光數(shù)據(jù)和圖像數(shù)據(jù)。激光數(shù)據(jù)從三維激光雷達獲 取，原始數(shù)據(jù)通過千兆以太網傳輸?shù)郊す夤た貦C，經過數(shù)據(jù)解析從極坐標系轉換到激光坐 標系下，同時也存儲了經過時間戳同步后的激光數(shù)據(jù)對應時間戳。圖像數(shù)據(jù)通過攝像機抓 取，然后通過千兆網接口傳輸?shù)浇煌艄た貦C上，同時保存對準后的圖像時間戳。
[0051] 在線檢測時，慣導系統(tǒng)的各個傳感器實時采集定位數(shù)據(jù)，通過串口及網口傳輸?shù)?位姿工控機后經過一系列的濾波處理得到平滑準確的全局位姿數(shù)據(jù)，然后通過公用的千兆 網交換機發(fā)送到交通燈工控機。交通燈工控機上既有從攝像機獲取的圖像，同時有接收到 的帶同步時間戳的全局位姿數(shù)據(jù)，經過插值對齊結合二者完成交通燈識別過程，并且將識 別的結果通過公用千兆網交換機發(fā)送到路徑規(guī)劃與行為控制模塊，最終以指令的方式控制 無人車在有交通燈路口的行為。
[0052](二)本發(fā)明的軟件系統(tǒng)介紹如下：
[0053] 1)開發(fā)平臺
[0054]本發(fā)明采用windows 7操作系統(tǒng)作為軟件的運行平臺，Windows操作系統(tǒng)具有支持 圖形化顯示和多任務機制，操作簡單，實時性高，運行穩(wěn)定等優(yōu)點。程序主要在Visual Studio 2005編譯環(huán)境下C++語言開發(fā)，程序開發(fā)過程中使用了OpenCV庫輔助圖像處理過 程，同時部分開發(fā)和測試在MATLAB平臺上完成。
[0055] 2)系統(tǒng)框架設計
[0056]整個系統(tǒng)如圖2所示，輸入為GPS數(shù)據(jù)和圖像序列，設計工作包含兩大部分：（1)車 載攝像機內外參數(shù)的標定，交通燈地圖的創(chuàng)建，顏色高斯概率模型的學習以及形狀隨機森 林分類器的訓練；（2)交通燈實時檢測程序的開發(fā)。
[0057]城區(qū)交通場景中的一個典型的十字路口如圖3所示。路口四個方向都設立了交通 燈，便于各個方向的來往車輛都能在路口清楚地觀察到交通信號。以圖3中場景為例具體介 紹系統(tǒng)工作原理及各個關鍵部分的設計方案。假設圖3中黑色的車為無人車，要在真實道路 環(huán)境中無人駕駛時，首先程序開啟后需要將離線獲得的交通燈地圖、攝像機標定參數(shù)、交通 燈顏色模型、形狀分類器等數(shù)據(jù)文件加載到程序，便于后續(xù)計算中方便獲取，加載完成后開 始實時識別程序(即交通燈實時檢測程序）。
[0058]識別過程中主要包括計算無人車到前方路口距離、單幀圖像交通燈識別、時域關 聯(lián)三個重要過程。
[0059] (1)計算無人車到前方路口的距離
[0060] 為了減少不必要的計算量、誤檢與虛警，在創(chuàng)建好的交通燈地圖及實時全局定位 的輔助下，考慮到觀測交通燈攝像機的硬件性能指標，只考慮在距離前方路口一定距離范 圍內（例如100米)啟動交通燈識別程序并向無人車路徑規(guī)劃與行為控制模塊發(fā)送實時識別 結果。在程序中上述過程即實時計算當前車體的全局位姿與地圖中前方路口點的距離，路 口點如圖3中所示，如果距離值大于100米則更新全局位姿重新計算，直到距離小于等于100 米才啟用交通燈識別過程，即利用攝像機采集的圖像、慣導系統(tǒng)解算的全局位姿依次完成 基于單幀圖像的交通燈識別過程，進一步通過時域關聯(lián)給出最終結果。
[0061] (2)基于單幀圖像的交通燈識別
[0062]本發(fā)明介紹了交通燈地圖的創(chuàng)建及使用、交通燈檢測和交通燈識別的具體原理及 方法實現(xiàn)，從地圖先驗信息、顏色信息及形態(tài)語義信息等多方面入手完成城區(qū)交通環(huán)境下 交通燈的實時識別，需要將上述信息進行綜合，共同完成單幀圖像中的交通燈識別。
[0063]系統(tǒng)分為在線與離線兩部分。離線部分即先驗知識，包括GIS地圖給出的有交通燈 的路口點坐標、該路口點交通燈的位置坐標及語義信息及統(tǒng)計多幀不同交通場景和光照條 件下圖像創(chuàng)建得到的交通燈顏色模型、訓練得到的四種不同形狀（圓形、箭頭形，參見圖8) 分類器。這些先驗知識在程序最初啟動時，全部讀取進來用于輔助實時在線檢測過程。在線 檢測時實時讀取攝像機采集的圖像及與其對應時刻車體的全局位姿數(shù)據(jù)，根據(jù)當前車體位 姿數(shù)據(jù)及攝像機標定參數(shù)計算攝像機能觀測到的交通燈在圖像上可能出現(xiàn)的感興趣區(qū)域。 然后，在得到的感興趣區(qū)域內利用建立的交通燈顏色模型基于顏色概率判斷對圖像進行顏 色分割。在此基礎上，對分割得到的候選連通域基于分類器的交通燈形狀識別方法與四種 形狀模板進行匹配，若匹配到某一形狀，則將該連通域的語義信息標注為對應的語義，否則 認為該候選連通域為非交通燈將其排除。這樣，每個候選連通域都具有語義及顏色信息，在 創(chuàng)建交通燈地圖的時候添加了語義信息，因此可以進一步對比驗證識別的正確性，當給出 的語義信息與地圖標注一致時認為識別是正確匹配的并作為識別結果輸出，否則認為該候 選連通域為錯誤匹配的區(qū)域，排除其為正確的識別結果，從而實現(xiàn)了單幀圖像上的交通燈 識別。
[0064] (3)時域關聯(lián)
[0065] 基于單幀圖像的檢測結果僅由當前圖像決定，而實際情景中由于交通燈變化的連 續(xù)性，連續(xù)多幀圖像之間是有規(guī)律可循的。例如，若連續(xù)多幀圖像中交通燈都表現(xiàn)為紅色， 則在接下來的一幀圖像中交通燈為紅色的可能性較大。若下一幀圖像中的交通燈為綠色， 那么可能是信號燈顏色變?yōu)橥ㄐ?，也可能是算法產生了誤檢，這時如果結合后續(xù)幾幀圖像 的識別結果，對這一幀的識別結果的可靠性就能得到很大的提升。如果后續(xù)多幀均為綠色 交通燈，那這一幀應當是正檢，如果后續(xù)幾幀多為紅色交通燈，則這一幀可以認為是誤檢。
[0066] 因此，對得到的基于單幀圖像的識別結果需要聯(lián)系之前的多幀識別結果共同決定 最終識別結果，比較簡單而有效的做法是連續(xù)統(tǒng)計多幀識別結果(例如采用10幀），若多于5 幀識別結果為紅色或綠色的某種形狀的交通燈，輸出該類型的交通燈。這樣，通過時域關 聯(lián)，系統(tǒng)的魯棒性得到了提升。
[0067] 參見圖4,本發(fā)明采用廣泛使用的張正友標定法標定攝像機內部參數(shù)(即內參）。標 定的思路為，首先只考慮攝像機4個線性參數(shù)進行初步標定，計算得到內參初始值，在此基 礎上標定畸變參數(shù)，然后以線性參數(shù)為初始值，對標定參數(shù)進行重新優(yōu)化，直至得到收斂的 線性和非線性參數(shù)。內參標定主要用于坐標間旋轉平移矩陣的求解。
[0068] 對于外部參數(shù)（即外參）的標定，本發(fā)明以車體坐標系[Xv Yv Zv]為標定時的世界 坐標系，如圖4所示，坐標原點0V定義在無人車的后軸中心，以車頭方向為X v的正方向，以垂 直車身向左為Yv的正方向，以垂直車體向上為Zv的正方向定義車體坐標系。三維激光雷達安 裝在無人車頂部，激光坐標系[Xi Yi Zi]三個坐標軸的定義與車體坐標系平行，坐標原點0i 定義在激光雷達中心。攝像機安裝在車頂前部，攝像機坐標系[X。Y。Z。]原點0。在攝像機光 心處，沿光軸方向向前為X。的正方向，沿CCD平面水平方向向右為Y c的正方向，垂直于X。和Yc 平面向上為Zc的正方向。
[0069] 標定車載攝像機的外部參數(shù)，即求取攝像機坐標系與車體坐標系之間的旋轉矩陣 Rci和平移矩陣IVv。通常通過獲取同時能在攝像機坐標系和車體坐標系下觀測的特征點坐 標對，來優(yōu)化計算求解攝像機坐標系到車體坐標系之間的旋轉矩陣和平移矩陣IVv。實 際操作時，數(shù)據(jù)采集時對實驗環(huán)境有要求并且需要消耗大量的時間和人力。在測量方式比 較粗糙的情況下，特征點在車體坐標系中的位置測量精度較低，尤其是豎直方向?？紤]到實 驗平臺的組成結構，車體坐標系與激光坐標系三個軸的方向平行，因此兩個坐標系之間旋 轉矩陣 Rl_v為單位陣，只存在平移量!'^，很容易測量，而攝像機坐標系與激光坐標系之間的 旋轉矩陣Rd和平移矩陣Td標定時，比較容易獲得對同一物體的不同觀測，數(shù)據(jù)采集操作 更簡單方便，標定精度也較高。
[0070] 設兩個坐標系中能同時觀測到的一點在激光坐標系下的坐標為心，在攝像機坐標 系下的坐標為X。，根據(jù)下式： = I %! ]X,
[0071] \ (2-1)： \Xy=[Rtv |l；.v ]Xt
[0072] 可以推得
[0073] Xv = [ Rc-v | Tc-v]Xc = [Ri-v | Ti-v] [Rc-i | Tc-i ] Xc (2-2)
[0074] 其中，Rii和Tii通過測量獲得。因此，將攝像機坐標系到車體坐標系的外部參數(shù)求 取，轉換為攝像機坐標系到激光坐標系之間的外部參數(shù)求取。
[0075] 本發(fā)明利用標定攝像機內參時使用的標定板完成攝像機與激光坐標系的聯(lián)合標 定。將標定板擺放不同的姿態(tài)和位置，保證其在兩個坐標系均可觀測，然后采集對應的圖像 和激光數(shù)據(jù)組成數(shù)據(jù)對。
[0076] 對于圖像數(shù)據(jù)，利用張正友標定法標定時定義標定板黑白格圖形的兩條邊緣為X 軸和Y軸，垂直于標定板平面方向為Z軸。對標定板圖像數(shù)據(jù)進行處理，不僅可以返回攝像機 的內部參數(shù)，還能返回標定板坐標系到攝像機坐標系的旋轉、平移變換關系，并以標定板平 面法向量9。,i和其到攝像機坐標系距離a。,:表示第i幀圖像中標定板相對于攝像機坐標系的 位姿。對于激光數(shù)據(jù)，手動選取出位于標定板平面的激光數(shù)據(jù)點后，利用RANSAC方法和最小 二乘法魯棒的估計第i幀標定板平面相對于激光坐標系的位姿，其中標定板平面法向量用 01,i表示，平面到激光坐標系原點的距離為a 1;1。由此，標定激光坐標系與攝像機坐標系之間 的位姿變換即求解使標定板通過兩種不同的數(shù)據(jù)觀測方式在同一坐標系中的表示差別最 小的旋轉矩陣與平移矩陣。
[0077] 參見圖5,本發(fā)明中定義的車體坐標系是一個局部坐標系，在無人車行駛的過程中 車體坐標系的坐標原點隨著車體一起移動，因此需要將恢復出的交通燈三維位置轉換到一 個固定的坐標系下便于后續(xù)使用。在無人車中，通常將GPS數(shù)據(jù)用東北天坐標系表示，因此 將交通燈地圖轉換至東北天坐標系下存儲。東北天坐標系通常簡寫為ENU，其中整個坐標系 的原點選取在地球表面上的一個固定點，三個坐標軸中E軸指向東，N軸指向北，U軸沿當?shù)?的地球垂線方向指向天。無人車在局部范圍內運動，因此使用東北天坐標系較地球坐標系 更容易描述其運動狀態(tài)和位置信息。無人車上安裝的GPS設備解算出無人車當前時刻在地 球坐標系下的位置，因此實際使用時需要確定地球坐標系與東北天坐標系之間的轉換關 系。如果地球上有一點P在當?shù)貣|北天坐標系（GENU)下的坐標向量表示為r n(e，n，u)，在地 球坐標系(〇XeYeZe)下的坐標向量為( Xe，)，經煒度海拔為(A，(})，h)，那么地球坐標系 到東北天坐標系的轉換公式為： e -sin X cos 2 0 ^
[0078] n - -cos/lsin^ -sin/lsin^ cos多（- j'0 ) # cos i cos ^ sin 乂 cos # sin^ z0
[0079]其中，xo，yo，zo為東北天坐標系的坐標原點。
[0080]當前無人車的坐標為[Xp yP zP]T時，東北天坐標系與車體坐標系之間的轉換關系 公式為： X她 | cos沒：-sine O'j .叫
[0081] v"", = sinJ cos 6? 〇: + yp .，_」_〇 〇 U U,_
[0082] 車體坐標系與東北天坐標系之間的轉換關系公式為： xv]「cos 沒 sin<9 0"| 夂,", - 5
[0083] jv = -sin^ co^6 0 yefm-yp _Zv _ 0 Q Z:p_
[0084] 從圖像恢復交通燈三維位置的方法，使用了最小二乘三角測量，結合多幀位姿下 的圖像序列中對同一交通燈的不同觀測，優(yōu)化求解出交通燈在東北天坐標系下的三維位 置。其中下標P表示當前車體位姿坐標，9為車體朝向角。
[0085]設標注的圖像中交通燈真值坐標為x，要恢復的交通燈的三維坐標為X，第i幀數(shù)據(jù) 的投影矩陣為Pi，則對于每幀數(shù)據(jù)有：
[0086] dxi = PiX
[0087] 其中，
[0088] F = K[R,_J^c] 〇-; 應廣
[0089] K為攝像機內部參數(shù)，Ri-。(h)和Ti-。(Ti)為激光坐標系與攝像機坐標系的旋轉平移 變換關系，Rv-i(R2)和IVi(T2)為車體坐標系與激光坐標系的變換關系，R_-4PT_i為東北 天坐標系轉換到車體坐標系的變換關系。d為線性尺度因素，為了消除線性尺度因素，利用 叉積將上式改寫為：
[0090] xiXdxi = XiXPiX
[0091] 即
[0092] XiXPiX = 0
[0093] 將上述等式改寫為X的線性等式，如下：
[0094] AX = 0
[0095] A為一個3n X 4(n表示車體坐標個數(shù)，即位置個數(shù))的矩陣，其中 r〇 -i
[0096] A - [x2]xP2 [x] x = 1 0 -u -v u 0
[0097] 其中，[u v]為標注得到的交通燈在圖像中位置x的橫縱坐標。然后，對矩陣A進行 SVD分解，A = USVT，交通燈的三維位置X的解為矩陣A最小特征值對應的歸一化特征向量，即 歸一化的V的最后一列。
[0098]從圖像及對應的位姿數(shù)據(jù)中恢復出多個交通燈的三維位置后，將其按統(tǒng)一格式存 儲為交通燈地圖形式，作為在線檢測時的先驗信息。交通燈識別程序運行時，首先加載交通 燈地圖的東北天坐標，然后實時計算地圖中的各個交通燈到無人車的距離。如果交通燈在 攝像機的采集范圍內，將其從東北天坐標系轉換到圖像坐標系，并確定在圖像中的大致范 圍輔助檢測。
[00"]記在攝像機的采集范圍內的某個交通燈的東北天坐標為[xienu，yienu，zi enu]T，當前 時刻無人車在東北天坐標系下的位置為[xP_，yP_，zP_] T、航向角為0P_，由此可得地圖中 該交通燈在車體坐標系中的坐標[Xlv，y lv，z lv ]T為 T cos0pemi sin0pefm ^xenu-xpemi
[0100] ytv = -Sin^m, cos^)CTlu 0 yem-ypemt _%」L 0 0 lXZenu-Zpe，n, _
[0101 ]然后根據(jù)攝像機的外部參數(shù)Ri，Ti，R2，T2和基于張正友標定法標定得到的內部參 數(shù)矩陣K，交通燈在圖像坐標系中的坐標為 -叫 X!'.
[0102] V =皮[巧 7；]，?乃r , i〇 1」4 _ 1 _
[0103] 若[u，v]在圖像尺寸的范圍內，表示攝像機當前時刻能看到交通燈，且其在圖像中 的位置為[u，v]。但實際上，恢復得到的交通燈三維位置通過變換映射到圖像上后，不可能 完全與圖像上的交通燈完全重合。這個偏差是由于多方面的誤差引起的，如攝像機內部參 數(shù)和外部參數(shù)的標定誤差、無人車位姿的誤差及圖像真值標注的誤差等引起的，標定誤差 越小、位姿越準確，交通燈映射到圖像上的位置越準確，越利于檢測。
[0104] 參見圖6和圖7,為了建立交通燈的三種顏色即紅色、黃色和綠色的顏色模型，在不 同的光照條件、不同的交通場景、不同的視角條件下采集各種顏色的交通燈的圖像，并基于 HSV顏色空間對圖像標注真值提取出屬于交通燈的像素，然后對H通道和S通道進行統(tǒng)計。在 H通道中，綠色分布在180度附近、黃色分布在60度附近、紅色分布在0度和360度附近，并呈 現(xiàn)為近似高斯分布的形態(tài)。在S通道中三種顏色的規(guī)律相同，只有當飽和度的值達到一定的 值后，才可能屬于交通燈并且飽和度值越高越可能屬于交通燈。將色度和飽和度組成的極 坐標系轉換為笛卡爾坐標系，轉換公式為： X = 5 X cos(h)
[0105] v = 5 x sin(/7)
[0106] 其中，h為色度值，取值范圍為[0,360)，代表角度。s為飽和度值，取值范圍為[0， 1]，代表幅值。3種交通燈顏色在該坐標系下的概率分布基本符合高斯模型的鐘型特征，因 此可以利用如下模型來描述3種顏色的概率分布。
[0107] 八V) = e_().5~時 U(V'-#)T
[0108] 其中v=[x y]，y為統(tǒng)計得到的v的均值，2是對應的協(xié)方差矩陣，T表示矩陣旋轉。 [0109]分別使用三個二維高斯模型擬合三種顏色的交通燈的分布情況，并將其規(guī)一化到 取值范圍為[0，1]之間的概率密度函數(shù)，通過標注的多組真值計算均值和協(xié)方差矩陣，由此 建立紅黃綠三種顏色的二維高斯概率模型。
[0110]本發(fā)明進行隨機森林的機器學習算法的訓練，以便于對交通燈形狀進行分類，步 驟如下：
[0111] a)特征選取
[0112] 本發(fā)明選擇了形狀參數(shù)(Form Factor)、圓心徑(Circular diameter)、五階中心 矩(2維)組成的4維特征，來描述候選連通域的形狀。
[0113] 形狀參數(shù)定義如下式所示：
[0115] 其中，A為連通域的面積，B為連通域的周長，連續(xù)情況下圓的F值等于1，是所有形 狀中最小的。
[0116] 圓心徑定義如下式所示：
[0120]其中，Mr為重心到邊界的平均距離，即為重心到邊界的方差。k表示連通域內像素個 數(shù)，（x，y)表示圖像中像素的橫縱坐標F)表示連通域內像素點坐標的均值。
[0121] 五階中心矩定義如下式所示：
[0122] x v
[0123] 仍二 X y
[0124] 其中，x，y為二值圖像(二值圖像由上文顏色分割后獲得，包含候選連通域)上像素 點橫縱坐標，f(x，y)取值為1或〇,（取1表示白色，取〇表示黑色和m Q5的幅值可以度量所 分析的區(qū)域對于垂直和水平軸線的不對稱性，很適合交通燈的形狀識別。
[0125] b)分類器選擇
[0126] 對于由a)提取出來的形狀參數(shù)、圓心徑和五階中心矩特征，選擇隨機森林模型進 行分類識別。隨機森林是一個由多棵決策樹組成的分類器，每一棵決策樹的訓練集是通過 對輸入訓練樣本及其特征維度的隨機采樣而得到的，且其輸出結果是由各決策樹輸出結果 的眾數(shù)而定。隨機森林分類器的泛化誤差由單個決策樹的分類強度和決策樹之間的相互關 系共同決定的。
[0127] 其具體學習算法過程為：
[0128] 1創(chuàng)建訓練集，設有N個樣本，每個樣本的特征維度為M。
[0129] 2獲取當前節(jié)點所能采用的特征維度數(shù)? s
[0130] 3從N個訓練樣本中以有放回抽樣的方式，取樣n次，形成一個訓練集（即boos trap 取樣），并用未抽取到的樣本作預測，評估其誤差。
[0131] 4對于每一個節(jié)點，隨機選擇m個特征，決策樹上每個節(jié)點的決定都是基于這些特 征確定的。根據(jù)這m個特征，計算其最佳的分裂方式。
[0132] 5每棵樹都會完整成長而不會剪枝(Pruning)。
[0133] 總之，與傳統(tǒng)的交通燈識別系統(tǒng)相比，本發(fā)明充分利用了圖像數(shù)據(jù)和車體位姿數(shù) 據(jù)信息，利用車體位姿數(shù)據(jù)與圖像數(shù)據(jù)創(chuàng)建了離線的交通燈地圖，有效提高了交通燈識別 的準確率和穩(wěn)定性，在接近有交通燈的路口才開始進行識別，提高了系統(tǒng)的效率，并且大大 減少了誤檢和虛警。本發(fā)明采用了隨機森林算法進行形狀的識別，對不同形狀的交通燈具 有更高的識別率，并且使用顏色高斯模型進行圖像分割，對不同光照強度下的交通燈都能 進行穩(wěn)定檢測，極大地提高了系統(tǒng)的適應性。由于系統(tǒng)采用低成本、低功耗的導航設備、圖 像采集設備及計算平臺，可廣泛應用于無人駕駛汽車視覺導航、智能車視覺輔助駕駛等領 域。
【主權項】
1. 基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)，其特征在于:包括離 線交通燈三維地圖創(chuàng)建和模式學習模塊、在線圖像感興趣區(qū)域提取模塊以及圖像交通燈識 別模塊;所述離線交通燈三維地圖創(chuàng)建和模式學習模塊包括交通燈三維地圖創(chuàng)建子模塊， 交通燈顏色概率模型訓練子模塊和交通燈形狀分類器訓練子模塊;所述在線圖像感興趣區(qū) 域提取模塊利用離線創(chuàng)建的交通燈三維地圖，通過坐標轉換對實時采集的圖像進行感興趣 區(qū)域的提取;所述圖像交通燈識別模塊對提取的感興趣區(qū)域利用經過訓練的交通燈顏色概 率模型和交通燈形狀分類器進行交通燈的在線識別，并結合歷史幀圖像識別結果輸出時域 關聯(lián)的交通燈識別結果。2. 根據(jù)權利要求1所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述交通燈三維地圖創(chuàng)建子模塊用于采集無人車的全局位姿信息和由該無人 車獲取的交通燈圖像，并在獲取到對于每個交通燈的多幀圖像的交通燈真值后，結合采集 的對應時刻的無人車全局位姿信息，通過三角測量法獲取對應交通燈的三維坐標，所述交 通燈真值是指交通燈在圖像上的位置。3. 根據(jù)權利要求2所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述全局位姿信息由安裝于無人車上的慣性導航系統(tǒng)獲取。4. 根據(jù)權利要求1所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述交通燈顏色概率模型訓練子模塊用于根據(jù)交通燈的紅綠黃顏色數(shù)據(jù)進行 高斯模型擬合，從而得到紅綠黃顏色的高斯模型。5. 根據(jù)權利要求1所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述交通燈形狀分類器訓練子模塊用于根據(jù)不同形狀的交通燈圖像進行形狀 分類的訓練，從而得到可以進行形狀分類的隨機森林分類器。6. 根據(jù)權利要求1所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述在線圖像感興趣區(qū)域提取模塊在確定無人車接近設置交通燈的路口后使 無人車開始交通燈圖像在線采集，并利用無人車的實時全局位姿信息對交通燈三維地圖中 該路口處對應交通燈的三維坐標信息進行坐標轉換，通過坐標轉換將該交通燈的三維坐標 投影到在線采集的對應幀圖像上，利用交通燈在圖像上的投影位置確定圖像上包含交通燈 的感興趣區(qū)域。7. 根據(jù)權利要求6所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:在已經進行穩(wěn)定檢測后，當前幀圖像的感興趣區(qū)域根據(jù)上一幀圖像的感興趣 區(qū)域獲得。8. 根據(jù)權利要求1所述基于單目視覺和GPS組合導航系統(tǒng)的實時城區(qū)交通燈識別系統(tǒng)， 其特征在于:所述圖像交通燈識別模塊在提取的感興趣區(qū)域內進行交通燈的識別，識別過 程包括使用交通燈顏色概率模型對感興趣區(qū)域進行分割，對分割后的連通域使用交通燈形 狀分類器進行形狀識別，從而得到實時采集的圖像中交通燈的顏色信息和形狀信息。
【文檔編號】G06K9/00GK105930819SQ201610298509
【公開日】2016年9月7日
【申請日】2016年5月6日
【發(fā)明人】薛建儒, 鐘陽, 張玥, 崔迪瀟
【申請人】西安交通大學