一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)及其使用方法
【專利摘要】本發(fā)明涉及一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)組成，所述位置識別標(biāo)記點(diǎn)是由所有標(biāo)記點(diǎn)的最小外包四邊形的四個頂點(diǎn)位置上的標(biāo)記點(diǎn)組成，且在組成位置識別標(biāo)記點(diǎn)的四個標(biāo)記點(diǎn)中，其中一個標(biāo)記點(diǎn)的尺寸大于其他三個標(biāo)記點(diǎn)的尺寸；所述身份識別標(biāo)記點(diǎn)是由除位置標(biāo)記點(diǎn)之外的其他標(biāo)記點(diǎn)組成。本發(fā)明還公開了一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)的使用方法。本發(fā)明采用紅外路標(biāo)作為視覺定位的依據(jù)，有效降低環(huán)境中可見光照明的影響，提高圖像處理算法的效率，增加視覺定位的穩(wěn)定性。本發(fā)明采用四個標(biāo)記點(diǎn)作為位置識別標(biāo)記點(diǎn)，增加算法的魯棒性，靈活性更強(qiáng)。
【專利說明】
一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)及其使用方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其是一種用于室內(nèi)移動機(jī)器人定位的紅外路 標(biāo)及其使用方法。
【背景技術(shù)】
[0002] 室內(nèi)移動機(jī)器人對定位精度要求比較高，通常為厘米級。無線定位對設(shè)備的布置 具有嚴(yán)格的要求，并且因?yàn)槭覂?nèi)建筑和家具等造成多路徑干涉，導(dǎo)致精度難以滿足要求。根 據(jù)室內(nèi)環(huán)境的特殊性和室內(nèi)定位要求的多樣性，目前研究者已經(jīng)開發(fā)了多種不同的用于室 內(nèi)移動機(jī)器人導(dǎo)航的定位方法，主要包括無線定位、激光SLAM、視覺SLAM和路標(biāo)定位。激光 SLAM技術(shù)采用激光設(shè)備，價(jià)格不菲，并且激光SLAM技術(shù)抗干擾能力弱，在環(huán)境變動幅度較大 或環(huán)境頻繁變動時(shí)，無法勝任定位任務(wù)。視覺SLAM方法的缺點(diǎn)是可靠性較低，場景頻繁改變 或者環(huán)境的視覺特征過于簡單都會造成視覺SLAM方法定位任務(wù)失敗。
[0003] 路標(biāo)定位方法一般分為自然路標(biāo)和人工路標(biāo)兩種模式。自然路標(biāo)定位計(jì)算復(fù)雜， 魯棒性不強(qiáng)，實(shí)用性差。人工路標(biāo)定位包括RFID標(biāo)簽、磁條、帶有編碼或文字信息的可視化 標(biāo)簽等，其中RFID標(biāo)簽和磁條類的路標(biāo)要求工作距離較近，并且機(jī)器人只能沿著固定鋪設(shè) 好的路線移動，靈活性較差?？梢暬瘶?biāo)簽通常利用攝像機(jī)采集圖像，并檢測圖像中存在的可 視化標(biāo)簽，利用標(biāo)簽特征對機(jī)器人進(jìn)行定位，這種方法的特點(diǎn)是成本低、精度高、靈活性強(qiáng)。 可視化標(biāo)簽的使用又分為自然光環(huán)境下和紅外光環(huán)境下兩種情況，自然光環(huán)境下容易受到 環(huán)境光亮度的影響，使得室內(nèi)定位的可靠性較低。而紅外光下的可視化標(biāo)簽通常采用紅外 發(fā)光或紅外反光材料路標(biāo)，通過在紅外攝像機(jī)的鏡頭前增加紅外帶通濾光片，使得紅外攝 像機(jī)僅捕捉環(huán)境中特定波長的路標(biāo)。這種方式的應(yīng)用可以有效降低可見光對定位結(jié)果的影 響，無論室內(nèi)是否有照明均可以工作。
[0004] 近幾年出現(xiàn)了幾種類似的紅外路標(biāo)定位方法，如Stargazer方法，該方法提取路標(biāo) 中構(gòu)成直角坐標(biāo)系的三個標(biāo)記點(diǎn)作為確定機(jī)器人位置的依據(jù)，并在假設(shè)攝像機(jī)光軸與路標(biāo) 平面垂直的前提下，實(shí)現(xiàn)機(jī)器人的定位。而實(shí)際定位過程中由于加減速慣性力作用、安裝夾 角等問題，難免會出現(xiàn)攝像機(jī)光軸與路標(biāo)平面不垂直情況，這種情況下采用兩軸傾斜儀來 輔助提高定位精度，但是當(dāng)出現(xiàn)路標(biāo)所在平面與重力方向不垂直時(shí)，這種輔助方法將會失 效，影響定位效果。另外，采用三個標(biāo)記點(diǎn)作為位置識別標(biāo)記點(diǎn)，未能完整包圍整個標(biāo)記點(diǎn) 區(qū)域，導(dǎo)致身份識別標(biāo)記點(diǎn)經(jīng)常出現(xiàn)誤識別現(xiàn)象。目前也出現(xiàn)了采用四個標(biāo)記點(diǎn)作為定位 依據(jù)，但是這四個點(diǎn)也未能完整包圍整個標(biāo)記點(diǎn)區(qū)域，也存在標(biāo)記點(diǎn)誤識別現(xiàn)象。并且由于 兩個大的標(biāo)記點(diǎn)相距較近，在紅外攝像機(jī)下容易產(chǎn)生干涉現(xiàn)象，導(dǎo)致兩個標(biāo)記點(diǎn)成像連成 一片，增加了后續(xù)圖像處理算法的難度。為解決這個問題只能增加路標(biāo)的尺寸，這樣又會導(dǎo) 致路標(biāo)尺寸過大，對環(huán)境的人為影響也更大。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的首要目的在于提供一種在室內(nèi)實(shí)現(xiàn)對移動機(jī)器人的快速、穩(wěn)定、精確的 定位的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:一種用于室內(nèi)移動機(jī)器人定位的 紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)組成，所述位置識別標(biāo)記點(diǎn)是 由所有標(biāo)記點(diǎn)的最小外包四邊形的四個頂點(diǎn)位置上的標(biāo)記點(diǎn)組成，且在組成位置識別標(biāo)記 點(diǎn)的四個標(biāo)記點(diǎn)中，其中一個標(biāo)記點(diǎn)的尺寸大于其他三個標(biāo)記點(diǎn)的尺寸;所述身份識別標(biāo) 記點(diǎn)是由除位置標(biāo)記點(diǎn)之外的其他標(biāo)記點(diǎn)組成;所述最小外包四邊形是指包含所有標(biāo)記點(diǎn) 的四邊形中面積最小的四邊形。
[0007] 所述位置識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)均采用紅外LED發(fā)光燈，或者均采用在表 面涂有逆反射材料的標(biāo)簽片。
[0008] 所述紅外路標(biāo)為正方形，位置識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)的每個標(biāo)記點(diǎn)的中心 點(diǎn)位于3 X 3或4 X 4的等距網(wǎng)格點(diǎn)位置。
[0009] 所述紅外路標(biāo)貼在天花板上，配有紅外光源的攝像機(jī)豎直向上固定于在地面上移 動的移動機(jī)器人的頂部，攝像機(jī)和紅外路標(biāo)相對垂直布置，所述攝像機(jī)的拍攝視野中存在 一個或多個紅外路標(biāo)。
[0010] 所述紅外路標(biāo)貼于在地面上移動機(jī)器人的頂部，配有紅外光源的攝像機(jī)豎直向下 固定在天花板上，攝像機(jī)和紅外路標(biāo)相對垂直布置，所述攝像機(jī)的拍攝視野中存在一個或 多個紅外路標(biāo)。
[0011] 本發(fā)明的另一目的在于提供一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)的使用方 法，該方法包括下列順序的步驟：
[0012] (1)將紅外路標(biāo)貼在與攝像機(jī)垂直布置的位置處，攝像機(jī)采集含有紅外路標(biāo)的紅 外圖像；
[0013] (2)對攝像機(jī)采集的紅外圖像進(jìn)行自適應(yīng)二值化預(yù)處理后得到二值化圖像；
[0014] (3)根據(jù)標(biāo)記點(diǎn)的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點(diǎn)進(jìn)行聚 類，提取所有候選紅外路標(biāo)；
[0015] ⑷對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點(diǎn)；
[0016] (5)對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點(diǎn)，識別紅外路標(biāo)的身份ID;
[0017] (6)計(jì)算攝像機(jī)坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機(jī)相對于每 個路標(biāo)坐標(biāo)系的位置和方位角。
[0018] 在步驟(3)中，所述對二值化圖像中的所有標(biāo)記點(diǎn)進(jìn)行聚類是指，首先，提取每個 高亮像素塊的中心，依據(jù)紅外路標(biāo)的標(biāo)記點(diǎn)數(shù)量和分布特征，提取出候選紅外路標(biāo)的標(biāo)記 點(diǎn)集合;其次，對每個標(biāo)記點(diǎn)集合進(jìn)一步檢測，判斷是否存在四個位置識別標(biāo)記點(diǎn)，若判斷 結(jié)果為是，則進(jìn)入步驟(4)，提取四個位置識別標(biāo)記點(diǎn)，否則，不做檢測。
[0019] 在步驟(4)中，所述對每個候選紅外路標(biāo)提取其四個位置識別標(biāo)記點(diǎn)是指，對候選 紅外路標(biāo)的標(biāo)記點(diǎn)集合，以固定角度逐次按逆時(shí)針或順時(shí)針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過180°， 對每次旋轉(zhuǎn)的標(biāo)記點(diǎn)集合提取最小外接矩形，對該外接矩形經(jīng)過的標(biāo)記點(diǎn)進(jìn)行統(tǒng)計(jì)，最后 將出現(xiàn)次數(shù)最多的前四位標(biāo)記點(diǎn)作為可能的四個位置識別標(biāo)記點(diǎn);這四個位置識別標(biāo)記點(diǎn) 依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而最小外包四邊形分布特征為近似平行四邊 形，其兩組對邊長度的比值接近于1;最后對四個位置識別標(biāo)記點(diǎn)按照其分布特征進(jìn)行約 束，提高檢測準(zhǔn)確性。
[0020] 在步驟(5)中，所述提取其身份識別標(biāo)記點(diǎn)是指，根據(jù)四個位置識別標(biāo)記點(diǎn)的雙線 性插值，生成內(nèi)部多個網(wǎng)格點(diǎn)，以每個網(wǎng)格點(diǎn)為中心，一定閾值范圍為半徑，生成一個可能 的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點(diǎn)時(shí)，則將該紅外路標(biāo)的二進(jìn)制身份編碼相應(yīng)位置置 為1，否則置為0。
[0021] 步驟(6)的計(jì)算方法如下：首先，建立攝像機(jī)坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，假設(shè)空間 中一點(diǎn)B在圖像上成像為b，b在圖像上的像素坐標(biāo)為(u，v )，攝像機(jī)坐標(biāo)系的原點(diǎn)為攝像機(jī) 光軸與感光芯片的交點(diǎn)，X坐標(biāo)為平行圖像水平方向U，Y坐標(biāo)為平行圖像垂直方向V，Z坐標(biāo) 為沿著光軸向外的方向，則OcXcYcZc為攝像機(jī)坐標(biāo)系；
[0022] 紅外路標(biāo)坐標(biāo)系的原點(diǎn)設(shè)為四個位置標(biāo)記點(diǎn)中尺寸最大的標(biāo)記點(diǎn)中心位置，按右 手螺旋法則依次定義X、Y和Z方向，0C為X方向，0A為Y方向，垂直向外的方向?yàn)閆方向，紅外路 標(biāo)坐標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識別標(biāo)記點(diǎn)， 0ABC四個位置的坐標(biāo)分別為(0,0,0)，（0兒，0)，仏兒，0)和〇^，0,0)，其中1^為(^的實(shí)際距離；
[0023] 假設(shè)圖像坐標(biāo)系下一點(diǎn)p，其像素坐標(biāo)為(u，v)，該點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為 (^，7。，2。），兩者之間滿足下面的關(guān)系：
[0025]其中，矩陣Μι為預(yù)先設(shè)定的攝像機(jī)內(nèi)參矩陣，其元素αχ，αγ，uo，νο為相機(jī)的內(nèi)參數(shù)； [0026]攝像機(jī)坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量t， 滿足下面的關(guān)系：
[0028] 其中，[Xc，Yc，Zc，1 ] 7和[Xm，Ym，Zm，1 ] 7分別為同一空間點(diǎn)在攝像機(jī)坐標(biāo)系和紅外路 標(biāo)坐標(biāo)系下的齊次坐標(biāo)，矩陣跑為攝像機(jī)坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中 旋轉(zhuǎn)矩陣R和平移向量t即為待求解的未知量；
[0029] 將(2)式帶入(1)式中，得到：
[0031] 設(shè)位置識別標(biāo)記點(diǎn)0ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1，2，3，4)，其圖 像坐標(biāo)為(Ui，Vi) (i = 1，2，3，4)，在攝像機(jī)坐標(biāo)系下坐標(biāo)為(Xcd，Ycd，Zed) (i = 1，2，3，4)，帶入 (3)式得到四個方程：
[0033] 方程組(4)共有12個方程，10獨(dú)立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量 t，通過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為t，而攝 像機(jī)坐標(biāo)系下的原點(diǎn)在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為_R Tt，攝像機(jī)坐標(biāo)系相對于路標(biāo)坐 標(biāo)系下的方位角即為_RT的歐拉角。
[0034] 由上述技術(shù)方案可知，本發(fā)明采用紅外路標(biāo)作為視覺定位的依據(jù)，有效降低環(huán)境 中可見光照明的影響，提高圖像處理算法的效率，增加視覺定位的穩(wěn)定性。此外，本發(fā)明采 用四個標(biāo)記點(diǎn)作為位置識別標(biāo)記點(diǎn)，增加算法的魯棒性，并且無需要求攝像機(jī)光軸必須垂 直于紅外路標(biāo)所在平面的條件，不僅可以計(jì)算攝像機(jī)相對于紅外路標(biāo)坐標(biāo)系之間的位置和 方位角，還可以計(jì)算出攝像機(jī)相對于紅外路標(biāo)坐標(biāo)系的傾角，靈活性更強(qiáng)。本發(fā)明采用四個 標(biāo)記點(diǎn)作為位置識別標(biāo)記點(diǎn)，這四個點(diǎn)構(gòu)成紅外路標(biāo)所有標(biāo)記點(diǎn)的最小外包四邊形，即所 有標(biāo)記點(diǎn)均處于由這四個標(biāo)記點(diǎn)組成的四邊形的內(nèi)部，根據(jù)這四個標(biāo)記點(diǎn)的構(gòu)成條件，再 檢測內(nèi)部的身份識別標(biāo)記點(diǎn)，有效提高識別的穩(wěn)定性，降低誤識別率。根據(jù)這四個標(biāo)記點(diǎn)的 構(gòu)成條件，再檢測內(nèi)部的身份識別標(biāo)記點(diǎn)，有效提高路標(biāo)識別的穩(wěn)定性，降低誤識別率。
【附圖說明】
[0035] 圖1為本發(fā)明中紅外路標(biāo)的不意圖；
[0036] 圖2、3均為本發(fā)明中兩種典型的紅外路標(biāo)示意圖；
[0037] 圖4為本發(fā)明中紅外路標(biāo)貼在天花板上，攝像機(jī)安裝在機(jī)器人上的工作示意圖；
[0038] 圖5為本發(fā)明中紅外路標(biāo)貼在機(jī)器人上，攝像機(jī)安裝在天花板上的工作示意圖； [0039]圖6為本發(fā)明的方法流程圖；
[0040] 圖7(a)紅外圖像中的路標(biāo)標(biāo)記點(diǎn)集合P，最小外接矩形檢測結(jié)果示意圖；
[0041] 圖7(b)為紅外圖像中的路標(biāo)標(biāo)記點(diǎn)集合P逆時(shí)針旋轉(zhuǎn)15°，最小外接矩形檢測結(jié)果 示意圖；
[0042]圖7(c)為紅外圖像中的路標(biāo)標(biāo)記點(diǎn)集合P逆時(shí)針旋轉(zhuǎn)30°，最小外接矩形檢測結(jié)果 示意圖；
[0043] 圖7(d)為紅外圖像中的路標(biāo)標(biāo)記點(diǎn)集合最終的最小外包四邊形檢測結(jié)果示意圖；
[0044] 圖8為本發(fā)明中從紅外路標(biāo)中查找身份識別標(biāo)記點(diǎn)示意圖；
[0045] 圖9為本發(fā)明中的攝像機(jī)坐標(biāo)系示意圖；
[0046] 圖10為本發(fā)明中的紅外路標(biāo)坐標(biāo)系示意圖；
[0047] 圖11為本發(fā)明中攝像機(jī)坐標(biāo)系相對于視野中紅外路標(biāo)坐標(biāo)系的位置關(guān)系示意圖。
【具體實(shí)施方式】
[0048] 如圖1所示，一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，該紅外路標(biāo)由位置識別標(biāo) 記點(diǎn)1和身份識別標(biāo)記點(diǎn)2組成，所述位置識別標(biāo)記點(diǎn)1是由所有標(biāo)記點(diǎn)的最小外包四邊形 的四個頂點(diǎn)位置上的標(biāo)記點(diǎn)組成，且在組成位置識別標(biāo)記點(diǎn)1的四個標(biāo)記點(diǎn)中，其中一個標(biāo) 記點(diǎn)0的尺寸大于其他三個標(biāo)記點(diǎn)A、B、C的尺寸;所述身份識別標(biāo)記點(diǎn)2是由除位置標(biāo)記點(diǎn) 之外的其他標(biāo)記點(diǎn)組成。所述位置識別標(biāo)記點(diǎn)1和身份識別標(biāo)記點(diǎn)2均采用紅外LED發(fā)光燈， 或者均采用在表面涂有逆反射材料的標(biāo)簽片;所述最小外包四邊形是指包含所有標(biāo)記點(diǎn)的 四邊形中面積最小的四邊形。
[0049] 如圖2所示，所述紅外路標(biāo)為正方形，位置識別標(biāo)記點(diǎn)1和身份識別標(biāo)記點(diǎn)2的每個 標(biāo)記點(diǎn)的中心點(diǎn)位于3 X 3的等距網(wǎng)格點(diǎn)位置。以3 X 3模式為例，該路標(biāo)由九個標(biāo)記點(diǎn)組成， 每個標(biāo)記點(diǎn)的中心點(diǎn)位于3X3等距網(wǎng)格點(diǎn)位置，其中四個矩形頂點(diǎn)位置的標(biāo)記點(diǎn)構(gòu)成了位 置識別標(biāo)簽，這四個標(biāo)記點(diǎn)中的三個標(biāo)記點(diǎn)尺寸相同，另一個標(biāo)記點(diǎn)尺寸要略大。每個紅外 路標(biāo)都必須包括四個位置識別標(biāo)記點(diǎn)1，而其它網(wǎng)格位置的標(biāo)記點(diǎn)作為身份識別標(biāo)簽，根據(jù) 是否存在作為相互區(qū)別的依據(jù)。3X3模式路標(biāo)共有9個標(biāo)記點(diǎn)，去除4個位置固定的位置識 別標(biāo)記點(diǎn)1，還剩下5個身份識別標(biāo)簽，因此共有2~5 = 32種標(biāo)簽組合，同理，4 X 4模式標(biāo)簽則 可以有2~ (16-4) =4096種標(biāo)簽組合。如圖3所示，所述紅外路標(biāo)為正方形，位置識別標(biāo)記點(diǎn)1 和身份識別標(biāo)記點(diǎn)2的每個標(biāo)記點(diǎn)的中心點(diǎn)位于4X4的等距網(wǎng)格點(diǎn)位置。
[0050] 如圖4所示，所述紅外路標(biāo)貼在天花板上，配有紅外光源的攝像機(jī)4豎直向上固定 于在地面上移動的移動機(jī)器人3的頂部，攝像機(jī)4和紅外路標(biāo)相對垂直布置，所述攝像機(jī)4的 拍攝視野中存在一個或多個紅外路標(biāo)Ml，M2，M3。如圖5所示，所述紅外路標(biāo)貼于在地面上移 動機(jī)器人3的頂部，配有紅外光源的攝像機(jī)4豎直向下固定在天花板上，攝像機(jī)4和紅外路標(biāo) 相對垂直布置，所述攝像機(jī)4的拍攝視野中存在一個或多個紅外路標(biāo)14,5,6。通過紅外攝 像機(jī)4采集場景中的圖像，可以有效去除可見光的干擾，突出紅外路標(biāo)的成像效果，增加定 位的穩(wěn)定性。
[0051] 紅外路標(biāo)可以是一個或多個，紅外路標(biāo)的數(shù)量和布局需要根據(jù)機(jī)器人3的移動范 圍以及攝像機(jī)4的視野大小和攝像機(jī)4離天花板的高度綜合考慮，以機(jī)器人3在可移動范圍 內(nèi)不存在視野盲區(qū)為原則。紅外光源一般采用近紅外光，如850nm波長發(fā)光二極管，為降低 環(huán)境可見光的干擾，通常在攝像機(jī)4鏡頭前安裝相應(yīng)波段的窄帶濾光片，從而使得攝像機(jī)4 基本上僅對紅外路標(biāo)成像，排除其他可見光反射的干擾像素，降低圖像處理算法的復(fù)雜度。 為增加攝像機(jī)4的觀察視野，通常采用廣角鏡頭，如2.2mm或2.5mm的廣角鏡頭。另外，如果采 用紅外反光材料構(gòu)成的路標(biāo)，還需要增加紅外二極管發(fā)射角度，使得在紅外二極管發(fā)射角 度基本與廣角鏡頭的視角相符合，才能確保攝像機(jī)4可以有效地采集視野內(nèi)任何地方的紅 外路標(biāo)。
[0052]如圖6所示，用于室內(nèi)移動機(jī)器人3定位的紅外路標(biāo)的使用方法包括下列順序的步 驟：
[0053] (1)將紅外路標(biāo)貼在與攝像機(jī)4垂直布置的位置處，攝像機(jī)4采集含有紅外路標(biāo)的 紅外圖像；
[0054] (2)對攝像機(jī)4采集的紅外圖像進(jìn)行自適應(yīng)二值化預(yù)處理后得到二值化圖像；
[0055] (3)根據(jù)標(biāo)記點(diǎn)的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點(diǎn)進(jìn)行聚 類，提取所有候選紅外路標(biāo)；
[0056] (4)對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點(diǎn)1;
[0057] (5)對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點(diǎn)2,識別紅外路標(biāo)的身份ID;
[0058] (6)計(jì)算攝像機(jī)4坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機(jī)4相對于 每個路標(biāo)坐標(biāo)系的位置和方位角。
[0059] 在步驟(2)中，二值化的目的是提取圖像中高亮的反射標(biāo)簽。通常，圖像中除了反 射標(biāo)簽外，其余部分均為黑色的背景，因此一個簡單的閾值方法即可將高亮像素從黑色背 景中分割出來。但是場景中的一些容易反光的物品，如日光燈的金屬外殼、風(fēng)扇、出風(fēng)口的 金屬部件等也會對紅外光源產(chǎn)生反射，并在圖像中形成高亮的像素，高亮像素也不全是反 射標(biāo)簽。
[0060] 在步驟(3)中，所述對二值化圖像中的所有標(biāo)記點(diǎn)進(jìn)行聚類是指，首先，提取每個 高亮像素塊的中心，依據(jù)紅外路標(biāo)的標(biāo)記點(diǎn)數(shù)量和分布特征，提取出候選紅外路標(biāo)的標(biāo)記 點(diǎn)集合;其次，對每個標(biāo)記點(diǎn)集合進(jìn)一步檢測，判斷是否存在四個位置識別標(biāo)記點(diǎn)1，若判斷 結(jié)果為是，則進(jìn)入步驟(4)，提取四個位置識別標(biāo)記點(diǎn)1，否則，不做檢測。
[0061] 在步驟(4)中，所述對每個候選紅外路標(biāo)提取其四個位置識別標(biāo)記點(diǎn)1是指，對候 選紅外路標(biāo)的標(biāo)記點(diǎn)集合，以固定角度逐次按逆時(shí)針或順時(shí)針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過 180°，對每次旋轉(zhuǎn)的標(biāo)記點(diǎn)集合提取最小外接矩形，對該外接矩形經(jīng)過的標(biāo)記點(diǎn)進(jìn)行統(tǒng)計(jì)， 最后將出現(xiàn)次數(shù)最多的前四位標(biāo)記點(diǎn)作為可能的四個位置識別標(biāo)記點(diǎn)1。圖7(b)和圖7(c) 是由圖7(a)依次逆時(shí)針旋轉(zhuǎn)15°所得到的標(biāo)記點(diǎn)集合，兩次得到最小外接矩形都恰好經(jīng)過 位置識別標(biāo)記點(diǎn)1。圖7(d)為圖7(a)標(biāo)記點(diǎn)集合最終檢測結(jié)果，得到了四個位置識別標(biāo)記點(diǎn) 1，這四個位置識別標(biāo)記點(diǎn)1依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而最小外包四邊形 分布特征為近似平行四邊形，其兩組對邊長度的比值接近于1;最后對四個位置識別標(biāo)記點(diǎn) 1按照其分布特征進(jìn)行約束，提高檢測準(zhǔn)確性。在圖7(a)、。圖7(b)、圖7(c)和圖7(d)中，黑色 虛線方框均是指最小外接矩形。
[0062] 在步驟(5)中，所述提取其身份識別標(biāo)記點(diǎn)2是指，根據(jù)四個位置識別標(biāo)記點(diǎn)1的雙 線性插值，生成內(nèi)部多個網(wǎng)格點(diǎn)，以每個網(wǎng)格點(diǎn)為中心，一定閾值范圍為半徑，生成一個可 能的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點(diǎn)時(shí)，則將該紅外路標(biāo)的二進(jìn)制身份編碼相應(yīng)位置 置為1，否則置為0。以3X3模式為例，根據(jù)這四個位置識別標(biāo)記點(diǎn)1的雙線性插值點(diǎn)E，可以 生成內(nèi)部5個網(wǎng)格點(diǎn)，以每個網(wǎng)格點(diǎn)為中心，一定閾值范圍為半徑，生成一個可能檢測范圍 F，根據(jù)圖7(d)的檢測結(jié)果，生成身份識別標(biāo)記點(diǎn)2檢測示意圖，如圖8所示。當(dāng)每個范圍內(nèi)存 在標(biāo)記點(diǎn)時(shí)，則將該路標(biāo)的二進(jìn)制身份編碼相應(yīng)位置置為1，否則置為0。以3 X 3模式路標(biāo)為 例，路標(biāo)身份信息可以設(shè)置為5位的二進(jìn)制編碼，可以生成32種不同的路標(biāo)身份信息，4X4 模式路標(biāo)的身份信息可以設(shè)置為12位的二進(jìn)制編碼，可以生成4096中不同的路標(biāo)身份信 息。
[0063] 當(dāng)紅外路標(biāo)的位置識別標(biāo)記點(diǎn)1檢測失敗時(shí)，則無需進(jìn)行身份識別標(biāo)記點(diǎn)2檢測， 當(dāng)紅外路標(biāo)的位置識別標(biāo)記點(diǎn)1檢測成功時(shí)，通常最小外包四邊形內(nèi)部的標(biāo)記點(diǎn)不會出現(xiàn) 漏檢和多檢的情況，因此按照本發(fā)明提供的方法，很少會出現(xiàn)身份識別錯誤的情況。
[0064] 步驟(6)的計(jì)算方法如下：首先，建立攝像機(jī)4坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，如圖9所 示，假設(shè)空間中一點(diǎn)B在圖像上成像為b，b在圖像上的像素坐標(biāo)為(u，v )，攝像機(jī)4坐標(biāo)系的 原點(diǎn)為攝像機(jī)4光軸與感光芯片的交點(diǎn)，X坐標(biāo)為平行圖像水平方向U，Y坐標(biāo)為平行圖像垂 直方向V，Z坐標(biāo)為沿著光軸向外的方向，如圖9中的OcXcYcZc為攝像機(jī)4坐標(biāo)系；
[0065] 紅外路標(biāo)坐標(biāo)系的原點(diǎn)設(shè)為四個位置標(biāo)記點(diǎn)中尺寸最大的標(biāo)記點(diǎn)中心位置，按右 手螺旋法則依次定義X、Y和Z方向，如圖10所示，0C為X方向，0A為Y方向，垂直向外的方向?yàn)閆 方向，紅外路標(biāo)坐標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識 別標(biāo)記點(diǎn)l，〇ABC四個位置的坐標(biāo)分別為(0,0,0)，（0兒，0)，〇^兒，0)和〇^，0,0)，其中1^為0八 的實(shí)際距離；
[0066]假設(shè)圖像坐標(biāo)系下一點(diǎn)p，其像素坐標(biāo)為(u，v)，該點(diǎn)在攝像機(jī)4坐標(biāo)系下的坐標(biāo)為 (^，7。，2。），兩者之間滿足下面的關(guān)系：
[0068]其中，矩陣Μι為預(yù)先設(shè)定的攝像機(jī)內(nèi)參矩陣，其元素αχ，αγ，UQ，VQ為相機(jī)的內(nèi)參數(shù)； [0069]攝像機(jī)4坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量 t，滿足下面的關(guān)系：
[0071 ]其中，[X。，Y。，Z。，1 ] 7和[Xm，Ym，Zm，1 ] 7分別為同一空間點(diǎn)在攝像機(jī)坐標(biāo)系和紅外路 標(biāo)坐標(biāo)系下的齊次坐標(biāo)，矩陣跑為攝像機(jī)坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中 旋轉(zhuǎn)矩陣R和平移向量t即為待求解的未知量；
[0072]將(2)式帶入(1)式中，得到：
[0074] 如圖9所示，設(shè)位置識別標(biāo)記點(diǎn)10ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1， 2,3,4)，其圖像坐標(biāo)為(出，^)(1 = 1，2,3,4)，在攝像機(jī)4坐標(biāo)系下坐標(biāo)為0。^。^。〇(1 = 1，2,3,4)，帶入(3)式得到四個方程：
[0076] 方程組(4)共有12個方程，10獨(dú)立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量 t，如圖11所示。通過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點(diǎn)在攝像機(jī)4坐標(biāo)系下的 坐標(biāo)為t，而攝像機(jī)4坐標(biāo)系下的原點(diǎn)在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為-R Tt，攝像機(jī)4坐標(biāo) 系相對于路標(biāo)坐標(biāo)系下的方位角即為_RT的歐拉角。
[0077] 綜上所述，本發(fā)明提供用于確定機(jī)器人3位置信息的紅外路標(biāo)，通過紅外攝像機(jī)4 可以拍攝路標(biāo)圖像，并能利用圖像處理算法計(jì)算機(jī)器人3的位置信息，紅外路標(biāo)在室內(nèi)環(huán)境 有無照明的條件下均可以穩(wěn)定使用。本發(fā)明還提供用于檢測路標(biāo)并提取路標(biāo)中四個用于定 位標(biāo)記點(diǎn)的提取方法，通過紅外照相機(jī)獲得路標(biāo)的圖像，對圖像進(jìn)行簡單預(yù)處理后可以準(zhǔn) 確獲得每個路標(biāo)的四個定位標(biāo)記點(diǎn)和其它身份識別標(biāo)記點(diǎn)2。本發(fā)明提供利用位置識別標(biāo) 記點(diǎn)1實(shí)現(xiàn)機(jī)器人3定位的方法，通過標(biāo)記點(diǎn)提取方法，利用攝像機(jī)4事先標(biāo)定好的參數(shù)，可 以快速計(jì)算機(jī)器人3的位置信息，并根據(jù)身份識別標(biāo)記點(diǎn)2計(jì)算得到該路標(biāo)的唯一身份信息 ID，最終可以獲得攝像機(jī)4視覺內(nèi)每個不同ID路標(biāo)的相對位置信息。
【主權(quán)項(xiàng)】
1. 一種用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，其特征在于:該紅外路標(biāo)由位置識別標(biāo) 記點(diǎn)和身份識別標(biāo)記點(diǎn)組成，所述位置識別標(biāo)記點(diǎn)是由所有標(biāo)記點(diǎn)的最小外包四邊形的四 個頂點(diǎn)位置上的標(biāo)記點(diǎn)組成，且在組成位置識別標(biāo)記點(diǎn)的四個標(biāo)記點(diǎn)中，其中一個標(biāo)記點(diǎn) 的尺寸大于其他Ξ個標(biāo)記點(diǎn)的尺寸;所述身份識別標(biāo)記點(diǎn)是由除位置標(biāo)記點(diǎn)之外的其他標(biāo) 記點(diǎn)組成;所述最小外包四邊形是指包含所有標(biāo)記點(diǎn)的四邊形中面積最小的四邊形。2. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，其特征在于:所述位置 識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)均采用紅外Lm)發(fā)光燈，或者均采用在表面涂有逆反射材料 的柄簽片。3. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)為正方形，位置識別標(biāo)記點(diǎn)和身份識別標(biāo)記點(diǎn)的每個標(biāo)記點(diǎn)的中屯、點(diǎn)位于3 X 3或4 X 4 的等距網(wǎng)格點(diǎn)位置。4. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)貼在天花板上，配有紅外光源的攝像機(jī)豎直向上固定于在地面上移動的移動機(jī)器人的 頂部，攝像機(jī)和紅外路標(biāo)相對垂直布置，所述攝像機(jī)的拍攝視野中存在一個或多個紅外路 標(biāo)。5. 根據(jù)權(quán)利要求1所述的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)，其特征在于:所述紅外 路標(biāo)貼于在地面上移動機(jī)器人的頂部，配有紅外光源的攝像機(jī)豎直向下固定在天花板上， 攝像機(jī)和紅外路標(biāo)相對垂直布置，所述攝像機(jī)的拍攝視野中存在一個或多個紅外路標(biāo)。6. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的用于室內(nèi)移動機(jī)器人定位的紅外路標(biāo)的使用方 法，該方法包括下列順序的步驟： (1) 將紅外路標(biāo)貼在與攝像機(jī)垂直布置的位置處，攝像機(jī)采集含有紅外路標(biāo)的紅外圖 像； (2) 對攝像機(jī)采集的紅外圖像進(jìn)行自適應(yīng)二值化預(yù)處理后得到二值化圖像； (3) 根據(jù)標(biāo)記點(diǎn)的尺寸、數(shù)量和分布特征，對二值化圖像中的所有標(biāo)記點(diǎn)進(jìn)行聚類，提 取所有候選紅外路標(biāo)； (4) 對每個候選紅外路標(biāo)，提取其四個位置識別標(biāo)記點(diǎn)； (5) 對每個候選紅外路標(biāo)，接著提取其身份識別標(biāo)記點(diǎn)，識別紅外路標(biāo)的身份ID; (6) 計(jì)算攝像機(jī)坐標(biāo)系與紅外路標(biāo)坐標(biāo)系之間的相對位置，得到攝像機(jī)相對于每個路 標(biāo)坐標(biāo)系的位置和方位角。7. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(3)中，所述對二值化圖像中的 所有標(biāo)記點(diǎn)進(jìn)行聚類是指，首先，提取每個高亮像素塊的中屯、，依據(jù)紅外路標(biāo)的標(biāo)記點(diǎn)數(shù)量 和分布特征，提取出候選紅外路標(biāo)的標(biāo)記點(diǎn)集合;其次，對每個標(biāo)記點(diǎn)集合進(jìn)一步檢測，判 斷是否存在四個位置識別標(biāo)記點(diǎn)，若判斷結(jié)果為是，則進(jìn)入步驟(4)，提取四個位置識別標(biāo) 記點(diǎn)，否則，不做檢測。8. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(4)中，所述對每個候選紅外路 標(biāo)提取其四個位置識別標(biāo)記點(diǎn)是指，對候選紅外路標(biāo)的標(biāo)記點(diǎn)集合，W固定角度逐次按逆 時(shí)針或順時(shí)針旋轉(zhuǎn)，直至旋轉(zhuǎn)小于超過180°，對每次旋轉(zhuǎn)的標(biāo)記點(diǎn)集合提取最小外接矩形， 對該外接矩形經(jīng)過的標(biāo)記點(diǎn)進(jìn)行統(tǒng)計(jì)，最后將出現(xiàn)次數(shù)最多的前四位標(biāo)記點(diǎn)作為可能的四 個位置識別標(biāo)記點(diǎn)；運(yùn)四個位置識別標(biāo)記點(diǎn)依次連接構(gòu)成整個路標(biāo)的最小外包四邊形，而 最小外包四邊形分布特征為近似平行四邊形，其兩組對邊長度的比值接近于1;最后對四個 位置識別標(biāo)記點(diǎn)按照其分布特征進(jìn)行約束，提高檢測準(zhǔn)確性。9. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:在步驟(5)中，所述提取其身份識別標(biāo) 記點(diǎn)是指，根據(jù)四個位置識別標(biāo)記點(diǎn)的雙線性插值，生成內(nèi)部多個網(wǎng)格點(diǎn)，W每個網(wǎng)格點(diǎn)為 中屯、，一定闊值范圍為半徑，生成一個可能的檢測范圍；當(dāng)每個范圍內(nèi)存在標(biāo)記點(diǎn)時(shí)，則將 該紅外路標(biāo)的二進(jìn)制身份編碼相應(yīng)位置置為1，否則置為0。10. 根據(jù)權(quán)利要求6所述的使用方法，其特征在于:步驟(6)的計(jì)算方法如下:首先，建立 攝像機(jī)坐標(biāo)系和紅外路標(biāo)坐標(biāo)系，假設(shè)空間中一點(diǎn)B在圖像上成像為b，b在圖像上的像素坐 標(biāo)為(u，v)，攝像機(jī)坐標(biāo)系的原點(diǎn)為攝像機(jī)光軸與感光忍片的交點(diǎn)，X坐標(biāo)為平行圖像水平 方向U，Y坐標(biāo)為平行圖像垂直方向V，Z坐標(biāo)為沿著光軸向外的方向，則OcX^cZc為攝像機(jī)坐 標(biāo)系； 紅外路標(biāo)坐標(biāo)系的原點(diǎn)設(shè)為四個位置標(biāo)記點(diǎn)中尺寸最大的標(biāo)記點(diǎn)中屯、位置，按右手螺 旋法則依次定義Χ、Υ和Z方向，0C為X方向，0A為Y方向，垂直向外的方向?yàn)閆方向，紅外路標(biāo)坐 標(biāo)系表示為OmXmYmZm;在紅外路標(biāo)坐標(biāo)系下確定紅外路標(biāo)中四個位置識別標(biāo)記點(diǎn)，0ABC四 個位置的坐標(biāo)分別為(0,0,0)，（0，1，0)，化，1^，0)和化，0,0)，其中1^為04的實(shí)際距離； 假設(shè)圖像坐標(biāo)系下一點(diǎn)P，其像素坐標(biāo)為(u，v)，該點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為(X。， yc，zc)，兩者之間滿足下面的關(guān)系：(1) 其中，矩陣化為預(yù)先設(shè)定的攝像機(jī)內(nèi)參矩陣，其元素曰X，曰y，U0，V0為相機(jī)的內(nèi)參數(shù)； 攝像機(jī)坐標(biāo)系到紅外路標(biāo)坐標(biāo)系的剛性變換關(guān)系表示為旋轉(zhuǎn)矩陣R和平移向量t，滿足 下面的關(guān)系：(2) 其中，[瓜，￥。，2。，1]哺防，￥"，2。山呀別為同一空間點(diǎn)在攝像機(jī)坐標(biāo)系和紅外路標(biāo)坐 標(biāo)系下的齊次坐標(biāo)，矩陣M2為攝像機(jī)坐標(biāo)系到紅外路標(biāo)坐標(biāo)系之間的變換矩陣，其中旋轉(zhuǎn) 矩陣R和平移向量t即為待求解的未知量； 將(2)式帶入(1)式中，得到：(3) 設(shè)位置識別標(biāo)記點(diǎn)0ABC在路標(biāo)坐標(biāo)系下坐標(biāo)為(Xmi，Ymi，Zmi) (i = 1，2，3，4)，其圖像坐 標(biāo)為(Ui, Vi) (i = l ,2,3,4)，在攝像機(jī)坐標(biāo)系下坐標(biāo)為(Xci，Yci，Zci)(i = 1,2,3,4)，帶入(3) 式得到四個方程：(4) 方程組(4)共有12個方程，10獨(dú)立變量，利用優(yōu)化算法求解旋轉(zhuǎn)矩陣R和平移向量t，通 過求解得到的R和t值，得到紅外路標(biāo)坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為t，而攝像機(jī) 坐標(biāo)系下的原點(diǎn)在紅外路標(biāo)坐標(biāo)系下的位置坐標(biāo)為-RTt，攝像機(jī)坐標(biāo)系相對于路標(biāo)坐標(biāo)系 下的方位角即為-RT的歐拉角。
【文檔編號】G01C21/20GK106092090SQ201610638253
【公開日】2016年11月9日
【申請日】2016年8月6日 公開號201610638253.0, CN 106092090 A, CN 106092090A, CN 201610638253, CN-A-106092090, CN106092090 A, CN106092090A, CN201610638253, CN201610638253.0
【發(fā)明人】韋虎, 黃炫, 倪化生
【申請人】中科院合肥技術(shù)創(chuàng)新工程院