一種基于直線擬合的集裝箱輪廓定位方法
【專利摘要】本發(fā)明涉及一種基于直線擬合的集裝箱輪廓識別方法，它用安裝在吊具上的攝像頭采集下方集裝箱相對兩側的圖像，利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定位區(qū)域，并采用圖割算法分離前景與背景，得到上下鎖孔的二值化輪廓圖像，二值化輪廓圖像設置兩個矩形區(qū)域等步驟，最后利用基于雙目視覺技術將C1,C2,C3,C4點的像素坐標轉換為以吊具為參照物建立的坐標系下的世界坐標，然后將這四個世界坐標點按逆時針或順時針排序，四個點構成一個四邊形即為集裝箱輪廓，由此實現(xiàn)集裝箱輪廓的定位。本發(fā)明通過采用上述技術，有效地解決鎖孔圖像在邊緣提取存在干擾點、Hough直線效果不佳等不足。
【專利說明】
一種基于直線擬合的集裝箱輪廓定位方法
技術領域
[0001] 本發(fā)明屬于計算機視覺技術和圖像處理技術領域，具體涉及一種基于直線擬合的 集裝箱輪廓定位方法。
【背景技術】
[0002] 隨著集裝箱運輸?shù)陌l(fā)展，使得集裝箱船舶越來越大，貨物集裝箱化的比例不斷提 高，集裝箱運量不斷上升。從航次經(jīng)濟核算分析，通過縮短集裝箱船舶的停泊時間可以降低 停泊成本，提高集裝箱運輸船舶的航行效率并充分發(fā)揮船舶單位運輸成本的優(yōu)勢，提高經(jīng) 濟效益。傳統(tǒng)的手動控制抓取集裝箱已經(jīng)極大地影響了生產(chǎn)效率和裝卸速度。一臺橋吊把 集裝箱從貨輪裝到拖車上，過程要求操作精度高，勞動強度大，是比較耗時的一個環(huán)節(jié)，其 中，在橋吊司機將抓具對準集裝箱鎖孔這一環(huán)節(jié)花費的時間占主要部分。提高裝卸自動化 的程度是提高集裝箱效率的有效途徑，其關鍵內(nèi)容就是減少橋吊司機對集裝箱鎖孔的定位 時間并且提升定位的準確性。
[0003] 為了解決集裝箱鎖孔定位的問題，國內(nèi)外學術界、工業(yè)界提出了很多方案，其中與 本發(fā)明較為接近的技術方案包括:梁曉波，程文明（基于雙目視覺的集裝箱自動識別定位系 統(tǒng)的設計[J].西南交通大學，2015)使用安裝在集裝箱吊具上的高清相機采集下方集裝箱 鎖孔的圖像，然后識別圖像中吊孔的位置。這種方法存在的問題是相機需要調(diào)整到相對理 想的位置才能拍攝到清晰的鎖孔圖像，比較耗時，同時由于吊具鎖頭的制造偏差以及磨損， 近似橢圓形的吊孔坐標并不能很好地和鎖頭坐標重合。陳丹(集裝箱圖像識別與定位系統(tǒng) 研究與實現(xiàn)[D].西南交通大學，2013)將集裝箱鎖孔當作角點，采用基于SVM的方法提取出 集裝箱的頂點集合，并且通過條件判斷識別出屬于集裝箱頂部的頂點，以此定位集裝箱輪 廓。文中將識別到的頂點作為集裝箱鎖孔的外側角點，然而鎖孔實際上是有一定尺寸的，無 法判斷提取到的頂點就是鎖孔的外側角點，通過這種方法得到的集裝箱頂部輪廓降低了識 別的準確性。發(fā)明專利（申請?zhí)枺?01410078600. X，名稱:集裝箱起重機吊具對箱引導系統(tǒng)） 中利用集裝箱邊緣直線上的點空間坐標等約束鎖孔的位置，同時用閉運算和邊緣提取方法 獲得鎖孔目標框。但是由于長時間的裝卸作業(yè)以及雨水等液體的腐蝕和污染，集裝箱鎖孔 表面通常都會非常舊，閉運算和邊緣提取對于這類集裝箱并不能取得很好的效果。
[0004] 綜上所述，既要實現(xiàn)集裝箱鎖孔的準確定位，又要能很好地適應新舊集裝箱是集 裝箱鎖孔定位的難點，當前方法存在如下不足：（1)近似橢圓形的吊孔中心坐標不能準確代 表集裝箱頂點的位置(2)識別出的頂點坐標不能很好代表鎖孔外側角點（3)對磨損的鎖孔 效果不好、光線不足條件下識別率低等等。本發(fā)明針對這些問題提出了一種基于直線擬合 的集裝箱輪廓定位方法。

【發(fā)明內(nèi)容】

[0005] 為解決上述問題，本發(fā)明的目的在于提供了一種基于直線擬合的集裝箱輪廓識別 方法。
[0006] 所述的一種基于直線擬合的集裝箱輪廓識別方法，其特征在于包括如下步驟：
[0007] 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像；
[0008] 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定 位區(qū)域，該粗定位區(qū)域圖像的高度為height，寬度為width，單位為像素；
[0009] 步驟3:對粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，分別得到上 下鎖孔的二值化輪廓圖像Ii，12;
[0010] 步驟4:對1^12分別設置兩個矩形區(qū)域，其中設置上側矩形區(qū)域ri和左側矩形區(qū) 域r2，l2設置下側矩形區(qū)域r 3和左側矩形區(qū)域r4，ri和r3的高度和寬度分別為h和d，r2和r 4高 度和寬度分別為d和h，單位為像素；
[0011]步驟5:對于IlL·，只對矩形區(qū)域內(nèi)的部分進行操作，分別得到4個點集Pl，p2，p 3及 P4 ;將得到的4組點集合并為3組，其中點集pl為一組gl，點集P3為一組g2，點集p 2、P4合并為一 組g3;
[0012]步驟6:使用最小二乘法對步驟5中獲得的點集gk，k=l，2,3分別進行直線擬合，得 至1」3條直線11^1^+1^+〇1{=0，1^=1，2,3，根據(jù)式（1)、（2)"3)計算距離方差(7[,/ 1; = 1,2,3:
[0016]式中，（xik，yik)表示點集gk中的第i個點的坐標，A k、Bk和&表示直線lk的參數(shù)，Nk表 示點集gk中點的個數(shù)，dik表示點（xik，yik)到直線lk的垂直距離，4表示點集取中所有dik的 平均值；
[0017]步驟7:找到每個點集gk內(nèi)到對應直線lk距離最大的點Pk，將該點從點集g k中排除， 再按照步驟6重新計算每個點集gk的距離方差U,3，最后計算方差值的變化率：
[0019] 式中，σΑ2表示排除點Pk之前的距離方差，Δ表示方差變化率；
[0020] 步驟8:若Δ彡T，重復步驟6、7，T表示方差變化率的閾值；否則，經(jīng)過步驟7之后得 到最終的3條直線l k，k=l，2,3,求得ljPl3的的交點記為&，12和13的交點記為C 2;
[0021] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2 ~8,獲得另一側的交點C3和C4;
[0022] 步驟10:利用基于雙目視覺技術將&，(：2，(：3，(：4點的像素坐標轉換為以吊具為參照 物建立的坐標系下的世界坐標，然后將這四個世界坐標點按逆時針或順時針排序，四個點 構成一個四邊形即為集裝箱輪廓，由此實現(xiàn)集裝箱輪廓的定位。
[0023] 所述的一種基于直線擬合的集裝箱輪廓識別方法，其特征在于步驟4中h、d的范圍 為:0〈h〈height且0〈h〈width，0〈d〈height且0〈d〈width保證選取的4個矩形區(qū)域rk內(nèi)的圖像 都包含一條鎖孔的邊，k= 1，2，3，4。
[0024]所述的一種基于直線擬合的集裝箱輪廓識別方法，其特征在于步驟5中的4個點集 取得方法如下:首先對^內(nèi)的圖像，從左到右按列掃描，取每列最靠上的非零像素點得到一 個點集P1，其次對^內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點得到點集p 2; 然后對r3內(nèi)的圖像，從左到右按列掃描，取每列最靠下的非零像素點得到點集p3,最后對r 4 內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點得到點集P4。
[0025]本發(fā)明的優(yōu)點是:本發(fā)明能有效地解決鎖孔圖像在邊緣提取存在干擾點、Hough直 線效果不佳等不足。
【附圖說明】
[0026]圖1為本發(fā)明實施例步驟1采集的集裝箱圖像；
[0027]圖2a為本發(fā)明實施例步驟2得到的上鎖孔粗定位區(qū)域圖像；
[0028]圖2b為本發(fā)明實施例步驟2得到的下鎖孔粗定位區(qū)域圖像；
[0029]圖3a為本發(fā)明實施例經(jīng)過步驟3處理的上鎖孔粗定位區(qū)域圖像；
[0030]圖3b為本發(fā)明實施例經(jīng)過步驟3處理的下鎖孔粗定位區(qū)域圖像；
[0031]圖4a為本發(fā)明實施例圖3a經(jīng)過步驟4設置的矩形區(qū)域；
[0032]圖4b為本發(fā)明實施例圖3b經(jīng)過步驟4設置的矩形區(qū)域；
[0033]圖5a為本發(fā)明實施例步驟8得到的鎖孔拐點圖像；
[0034]圖5b為本發(fā)明實施例步驟8得到的鎖孔拐點圖像；
[0035] 圖中：1_上側矩形區(qū)域n，2_左側矩形區(qū)域r2,3_下側矩形區(qū)域r3,4_左側矩形區(qū)域 Γ4, 5_交點&，6_交點C2。
【具體實施方式】
[0036] 下面結合實施例來詳細闡述本發(fā)明集裝箱輪廓定位方法的【具體實施方式】。
[0037]步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像;在本實施例 中，如圖1;
[0038]步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定 位區(qū)域，該粗定位區(qū)域圖像的高度為height，寬度為width，單位為像素;在本實施例中，上 鎖孔圖像如附圖2a、下鎖孔如圖2b，height = 140，width=135;所述的集裝箱鎖孔粗定位和 跟蹤方法在申請?zhí)枮?01610273182.9的文件中已公開，在此不再詳述；
[0039]步驟3:對粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，得到上下鎖 孔的二值化輪廓圖像11，12;在本實施例中，如附圖3a、圖3b;
[0040] 步驟4:對分別設置兩個矩形區(qū)域，其中h設置上側矩形區(qū)域η 1和左側矩形 區(qū)域Γ2 2，12設置下側矩形區(qū)域r3 3和左側矩形區(qū)域r4 4，ri和r3高度和寬度分別為h和d，r2 和Γ4高度和寬度分別為d和h，單位為像素;要求滿足:0〈h〈height且0〈h〈width，0〈d〈height 且0〈d〈width，保證選取的4個矩形區(qū)域rk內(nèi)的圖像都包含一條鎖孔的邊，k = 1，2，3，4;本實 施例中，如附圖4a和圖4b，h = 80，d = 60;
[0041] 步驟5:對于1^12,只對矩形區(qū)域內(nèi)的部分進行操作;首先對^內(nèi)的圖像，從左到右 按列掃描，取每列最靠上的非零像素點得到一個點集口:，其次對^內(nèi)的圖像，從上到下按行 掃描，取每行最靠左的非零像素點得到點集P2;然后對r3內(nèi)的圖像，從左到右按列掃描，取每 列最靠下的非零像素點得到點集P3,最后對r4內(nèi)的圖像，從上到下按行掃描，取每行最靠左 的非零像素點得到點集P4;將得到的4組點集合并為3組，其中點集 P1為一組gl，點集p3為一 組g2，點集P2、P4合并為一組g3 ;
[0042]步驟6:使用最小二乘法對步驟5中獲得的點集gk，k=l，2,3分別進行直線擬合，得 至1J3條直線lk: Akx+Bky+Ck=0，k = 1，2，3，根據(jù)式（1)、（ 2)、⑶計算距離方差fj/, =丨,2,3 :
[0046] 式中，（xik,yik)表示點集gk中的第i個點的坐標，（Ak,Bk,Ck)表示直線lk的參數(shù)，Nk 表示點集gk中點的個數(shù)，dik表示點（xik，yik)到直線lk的垂直距離，?/,表示點集gk中所有dik 的平均值；在本實施例中，1ι:〇· 1031x+0.9947y-683.1388 = 0、l2:0.0596x-0.9982y+ 1758 · 4850 = 0、13:0.9999x-0.0144y-1520.1214 = 0;
[0047] 步驟7:找到每個點集gk內(nèi)到對應直線lk距離最大的點Pk，將該點從點集g k中排除， 再按照步驟6重新計算每個點集gk的距離方差€,? =U3，最后計算方差值的變化率：
[0049] 式中，4表示排除點Pk之前的距離方差，Δ表示方差的變化率；
[0050] 步驟8:若Δ多T，重復步驟6、7，T表示方差變化率的閾值;否
[0051] 則，經(jīng)過
[0052] 步驟7之后得到最終的3條直線lk，k=l，2,3,求得UP13的交點& 5，12和13的交點 C2 6;在本實施例中，如附圖5a，圖5b，T=10%;
[0053] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2 ~8,獲得另一側的交點C3和C4;
[0054] 步驟10:利用基于雙目視覺技術將&，(：2，(：3，(：4點的像素坐標轉換為以吊具為參照 物建立的坐標系下的世界坐標，然后將這四個世界坐標點按逆時針或順時針排序，四個點 構成一個四邊形即為集裝箱輪廓，由此實現(xiàn)集裝箱輪廓的定位。
[0055]本發(fā)明的優(yōu)點是:本發(fā)明能有效地解決鎖孔圖像在邊緣提取存在干擾點、Hough直 線效果不佳等不足。
【主權項】
1. 一種基于直線擬合的集裝箱輪廓識別方法，其特征在于包括如下步驟： 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像； 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得集裝箱圖像上下鎖孔的粗定位區(qū) 域，該粗定位區(qū)域圖像的高度為height，寬度為wi化h，單位為像素； 步驟3:對粗定位的上下鎖孔區(qū)域圖像采用圖割算法分離前景與背景，分別得到上下鎖 孔的二值化輪廓圖像II，12; 步驟4:對Ii，l2分別設置兩個矩形區(qū)域，其中Ii設置上側矩形區(qū)域ri和左側矩形區(qū)域η， Ι2設置下側矩形區(qū)域η和左側矩形區(qū)域r4，ri和η的高度和寬度分別為h和cUn和Γ4高度和 寬度分別為d和h，單位為像素； 步驟5:對于Il，l2,只對矩形區(qū)域內(nèi)的部分進行操作，分別得至?μ個點集P1，P2，P3及P4;將 得到的4組點集合并為3組，其中點集P1為一組gl，點集P3為一組g2，點集P2、P4合并為一組邑3 ; 步驟6:使用最小二乘法對步驟5中獲得的點集gk，k=l，2,3分別進行直線擬合，得到3條 直線lk:Akx+Bky+Ck=0，k=l，2,3,根據(jù)式（1)、（2)、（3)計算距離方差口^，k=l，2,3:式中，（xik，yik)表示點集gk中的第i個點的坐標，Ak、Bk和Ck表示直線Ik的參數(shù)，Nk表示點 集gk中點的個數(shù)，dik表示點（xik，yik)到直線Ik的垂直距離，4表示點集阱中所有cUk的平均 值； 步驟7:找到每個點集gk內(nèi)到對應直線Ik距離最大的點Pk，將該點從點集gk中排除，再按 照步驟6重新計算每個點集gk的距離方差ci2，k= 1，2，3，最后計算方差值的變化率：(4) 式中，表示排除點Pk之前的距離方差，Δ表示方差變化率； 步驟8:若Δ >T，重復步驟6、7，T表示方差變化率的闊值;否則，經(jīng)過步驟7之后得到最 終的3條直線lk，k=l，2,3,求得h和13的的交點記為Ci，b和13的交點記為C2; 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2~8， 獲得另一側的交點C3和C4; 步驟10:利用基于雙目視覺技術將Cl, C2，C3，C4點的像素坐標轉換為W吊具為參照物建 立的坐標系下的世界坐標，然后將運四個世界坐標點按逆時針或順時針排序，四個點構成 一個四邊形即為集裝箱輪廓，由此實現(xiàn)集裝箱輪廓的定位。2. 根據(jù)權利要求1所述的一種基于直線擬合的集裝箱輪廓識別方法，其特征在于步驟4 中h、d的范圍為：0<h<hei曲t且0<h<width，0<d<height且0<d<width保證選取的4個矩形區(qū) 域rk內(nèi)的圖像都包含一條鎖孔的邊，k=l，2,3,4。3.根據(jù)權利要求1所述的一種基于直線擬合的集裝箱輪廓識別方法，其特征在于步驟5 中的4個點集取得方法如下：首先對ri內(nèi)的圖像，從左到右按列掃描，取每列最靠上的非零 像素點得到一個點集P1，其次對η內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素 點得到點集Ρ2;然后對η內(nèi)的圖像，從左到右按列掃描，取每列最靠下的非零像素點得到點 集Ρ3,最后對r4內(nèi)的圖像，從上到下按行掃描，取每行最靠左的非零像素點得到點集Ρ4。
【文檔編號】G01B11/00GK106096606SQ201610403840
【公開日】2016年11月9日
【申請日】2016年6月7日
【發(fā)明人】高飛, 李定謝爾, 汪韜, 葛粟, 葛一粟, 徐云靜, 盧書芳, 肖剛
【申請人】浙江工業(yè)大學