基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于圖像的高鐵線路線桿斷裂與聯(lián)接 結(jié)構(gòu)體異常檢測(cè)方法。
【背景技術(shù)】
[0002] 中國(guó)已經(jīng)成為世界上高速鐵路技術(shù)發(fā)展最快的國(guó)家。我國(guó)高速鐵路的線路里程、 運(yùn)營(yíng)時(shí)速、在建規(guī)模等在世界上均處于領(lǐng)先水平，高速鐵路日漸成為一種現(xiàn)代化的交通方 式。目前，我國(guó)已經(jīng)研發(fā)并投入使用了新型的線路檢測(cè)車輛，這類檢測(cè)車輛沿鐵路線路行 駛，并由車上的攝像頭拍攝線路圖像，記錄線路的實(shí)時(shí)狀態(tài)，對(duì)于拍攝的線路圖像數(shù)據(jù)則多 采用人工判讀的方式進(jìn)行異常檢查。人工判讀高鐵線路圖片存在著諸多問題，例如檢測(cè)周 期長(zhǎng)、人力資源消耗大、檢測(cè)標(biāo)準(zhǔn)不一致等，如果可以用機(jī)器視覺的相關(guān)算法，自動(dòng)地進(jìn)行 相應(yīng)檢測(cè)，則由于機(jī)器工作具有速度快、可長(zhǎng)時(shí)間運(yùn)行、人力勞動(dòng)強(qiáng)度低等優(yōu)點(diǎn)，檢測(cè)效率 會(huì)有極大地提升。目前對(duì)于高鐵線路中存在的某些種類的異常，已存在相應(yīng)的自動(dòng)化檢測(cè) 方法，例如申請(qǐng)?zhí)枮?01310721802. 7、名稱為"基于圖像的鐵路接觸網(wǎng)鳥窩異常情況檢測(cè)方 法"的中國(guó)專利申請(qǐng)中提出了一種鐵路接觸網(wǎng)鳥窩異常檢測(cè)的方法，該方法采用一種多窗 口自適應(yīng)二值化的算法，對(duì)線路結(jié)構(gòu)進(jìn)行提取，并通過定位鳥窩可疑區(qū)域與特征提取等手 段來定位鳥窩異常。相對(duì)于線桿斷裂異常（如承重線斷開）與聯(lián)接結(jié)構(gòu)體異常（如支撐架 聯(lián)接處變形開裂），鳥窩異常的定位并不需要精確的線路結(jié)構(gòu)，故上述發(fā)明所采用的二值化 算法與線路結(jié)構(gòu)的提取方法均不適用于線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測(cè)。相對(duì)于上述發(fā) 明，本發(fā)明采用了不同的線路圖像二值化與結(jié)構(gòu)提取策略，在二值化過程中采用固定大小 的局部窗口，將線路圖像下采樣至不同的尺度下進(jìn)行二值化操作，并在每個(gè)尺度下選擇合 適大小的前景目標(biāo)進(jìn)行保留，最后統(tǒng)一至同一尺度進(jìn)行合并。該算法不但能精確提取各種 尺寸的線路結(jié)構(gòu)，而且能夠避免因采用小尺寸窗口而產(chǎn)生的噪聲等問題。在線路結(jié)構(gòu)提取 上，由于斷裂與聯(lián)接結(jié)構(gòu)體檢測(cè)需要獲得完整的鐵路線路結(jié)構(gòu)信息，本發(fā)明采用了一種骨 架提取算法，對(duì)鐵路線路二值圖進(jìn)行骨架提取，從而得到清晰而便于處理的線路結(jié)構(gòu)信息。 最后針對(duì)線路中存在的線桿斷裂異常，通過對(duì)骨架結(jié)構(gòu)進(jìn)行斷裂點(diǎn)檢測(cè)，發(fā)現(xiàn)并定位可能 出現(xiàn)斷裂的位置，針對(duì)聯(lián)接結(jié)構(gòu)體異常，利用骨架結(jié)構(gòu)對(duì)聯(lián)接體局部圖像進(jìn)行提取，并利用 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行異常的檢測(cè)與判定。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是高速鐵路線路巡檢圖像中線桿斷裂異常與聯(lián)接結(jié) 構(gòu)體異常的自動(dòng)識(shí)別，該問題的核心是線路結(jié)構(gòu)信息的精確提取與斷裂位置的確定。為了 解決上述問題，本發(fā)明采取了一種基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測(cè)方 法，包括如下步驟，
[0004] 采用一種多尺度局部二值化算法對(duì)待檢測(cè)的高速鐵路沿線拍攝圖像進(jìn)行二值化 處理并得到二值圖像，突出線路主體，并有效排除背景干擾；
[0005] 利用一種骨架提取算法對(duì)所述的二值圖像進(jìn)行處理，得到線路的骨架結(jié)構(gòu)；
[0006] 針對(duì)線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進(jìn)行斷裂點(diǎn)檢 測(cè)，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置；
[0007] 針對(duì)聯(lián)接結(jié)構(gòu)體異常，利用線路骨架結(jié)構(gòu)圖對(duì)聯(lián)接體局部圖像進(jìn)行提取，并利用 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行異常的檢測(cè)與判定。
[0008] 進(jìn)一步地，采用一種多尺度局部二值化算法對(duì)待檢測(cè)的高速鐵路沿線拍攝圖像進(jìn) 行二值化處理并得到二值圖像，突出線路主體，并有效排除背景干擾，還包括，將輸入圖像 向下采樣，形成包括原圖在內(nèi)的共四張尺寸不同的子圖；利用一種固定窗口大小的局部二 值化算法分別對(duì)四張子圖進(jìn)行二值化處理，得到四張二值圖像；依據(jù)圖像的尺度，分別在上 述四張二值圖像中選擇一定大小范圍內(nèi)的前景物體進(jìn)行保留；將選擇出的前景目標(biāo)統(tǒng)一合 并到同一尺度，得到包含精確結(jié)構(gòu)信息的二值圖。
[0009] 進(jìn)一步地，針對(duì)線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進(jìn)行 斷裂點(diǎn)檢測(cè)，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置，還包括，通過多次迭代操作，逐漸剝離二值 圖中圖形的邊緣，并最終留下骨架圖像。
[0010] 進(jìn)一步地，針對(duì)線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進(jìn)行 斷裂點(diǎn)檢測(cè)，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置，還包括，通過分析骨架圖中的骨架像素點(diǎn)及 其周圍八個(gè)像素點(diǎn)，確定圖中每個(gè)骨架像素點(diǎn)的類型；通過對(duì)像素點(diǎn)的類型進(jìn)行檢查，確定 可疑斷裂點(diǎn)；通過對(duì)可疑斷裂點(diǎn)進(jìn)行篩選，排除誤檢，得到最終異常檢測(cè)結(jié)果。
[0011] 進(jìn)一步地，針對(duì)聯(lián)接結(jié)構(gòu)體異常，利用線路骨架結(jié)構(gòu)圖對(duì)聯(lián)接體局部圖像進(jìn)行提 取，并利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行異常的檢測(cè)與判定，還包括，通過提取骨架圖中特定類型像素 點(diǎn)周圍的區(qū)域，得到高鐵線路中聯(lián)接結(jié)構(gòu)體的局部圖像；通過提取局部圖像的HOG特征，并 用K-means聚類算法對(duì)聯(lián)接結(jié)構(gòu)體圖像進(jìn)行聚類，得到大量同類聯(lián)接結(jié)構(gòu)體的局部圖像； 將聯(lián)接結(jié)構(gòu)體的正常與異常的局部圖像送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到能夠區(qū)分聯(lián)接結(jié) 構(gòu)體異常與否的卷積神經(jīng)網(wǎng)絡(luò)模型；利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)待檢測(cè)圖像中的聯(lián) 接結(jié)構(gòu)體進(jìn)行異常檢測(cè)。
[0012] 進(jìn)一步地，還包括，對(duì)輸入圖像進(jìn)行向下采樣，首先將輸入圖像轉(zhuǎn)換成灰度圖像， 然后在三個(gè)不同的尺度上進(jìn)行下采樣操作，得到三張子圖；計(jì)算待采樣灰度圖像的積分圖 像，得到積分圖像后計(jì)算像素值，得到四張不同尺度的灰度圖像；在得到四張灰度圖像后， 利用一種固定窗口大小的局部二值化算法分別對(duì)四張灰度圖像進(jìn)行二值化處理，得到四張 不同尺度的二值圖像；在得到四張二值圖像后，進(jìn)行前景物體的選擇；在完成前景物體選 擇后，算法接下來將上一步的結(jié)果合并至一張圖上。
[0013] 進(jìn)一步地，還包括，將二值圖簡(jiǎn)化成用一個(gè)矩陣來進(jìn)行表示，在算法的迭代過程 中，某次迭代賦予像素點(diǎn)的新值由上一次迭代完成后該像素點(diǎn)的八個(gè)鄰居像素點(diǎn)的值決 定，迭代后二值圖中的所有像素點(diǎn)都能夠被更新；算法的一次迭代分為兩個(gè)子迭代過程； 經(jīng)過這兩個(gè)子迭代過程，圖形的邊緣點(diǎn)會(huì)被逐漸刪除，將這兩個(gè)子迭代過程一直重復(fù)下去 直到圖像不發(fā)生改變，此時(shí)圖中留下的就是最終的骨架。
[0014] 進(jìn)一步地，還包括，對(duì)于任意某個(gè)像素點(diǎn)，其周圍的八個(gè)像素點(diǎn)按順時(shí)針的順序可 以組成一個(gè)首尾相連的環(huán)狀結(jié)構(gòu)，在該環(huán)狀結(jié)構(gòu)中可能存在一個(gè)或幾個(gè)由連續(xù)的0像素點(diǎn) 構(gòu)成的子片段，依據(jù)這些子片段的數(shù)量可以將像素點(diǎn)分為三類；在線路骨架圖中，斷裂的斷 口處屬于第三類點(diǎn)，既該點(diǎn)僅有一端與骨架的其余部分相連接；對(duì)骨架圖進(jìn)行掃描操作，并 篩選出具有上述特征的點(diǎn)，即可作為可疑斷裂點(diǎn)；檢查與其連接的線段的長(zhǎng)度，如果小于某 個(gè)閾值，則認(rèn)為其是正常的，如果線段超過了一定長(zhǎng)度，則認(rèn)為該處是異常。
[0015] 進(jìn)一步地，還包括，將聯(lián)接體結(jié)構(gòu)周圍一定大小的矩形區(qū)域的圖像內(nèi)容進(jìn)行單獨(dú) 保存，即可得到聯(lián)接體結(jié)構(gòu)的局部圖像；構(gòu)造只包含這類聯(lián)接體結(jié)構(gòu)圖像的數(shù)據(jù)集，利用 K-means聚類算法對(duì)聯(lián)接體結(jié)構(gòu)圖像進(jìn)行聚類操作，實(shí)現(xiàn)聯(lián)接體結(jié)構(gòu)圖像的聚類；采用卷 積神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)接體結(jié)構(gòu)圖像的識(shí)別與異常檢測(cè)；在訓(xùn)練過程中采用兩類訓(xùn)練樣本，一 類為某種聯(lián)接體結(jié)構(gòu)在正常情況下的圖像，另一類為同種聯(lián)接體結(jié)構(gòu)發(fā)生異常時(shí)的圖像， 訓(xùn)練完畢后即可得到能夠區(qū)分聯(lián)接結(jié)構(gòu)體異常與否的卷積神經(jīng)網(wǎng)絡(luò)模型；在訓(xùn)練完畢后， 利用訓(xùn)練后的網(wǎng)絡(luò)對(duì)包含正常與異常聯(lián)接體結(jié)構(gòu)圖像的測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試，若網(wǎng)絡(luò)對(duì)某 一張聯(lián)接體結(jié)構(gòu)圖像的識(shí)別結(jié)果為正常，則可以認(rèn)為該聯(lián)接體結(jié)構(gòu)沒有問題，否則認(rèn)為該 聯(lián)接體結(jié)構(gòu)存在異常狀況。
[0016] 本發(fā)明的益處在于：適用性廣，可針對(duì)多種線路的高速鐵路沿線拍攝圖像進(jìn)行檢 測(cè)；檢測(cè)效率高，相對(duì)于人工檢測(cè)，本發(fā)明利用機(jī)器視覺相關(guān)方法實(shí)現(xiàn)異常的自動(dòng)檢測(cè)，檢 測(cè)速度快，可以提高巡檢工作人員的工作效率并縮短巡檢時(shí)間。
【附圖說明】
[0017] 圖1是本發(fā)明基于圖像的高鐵線路線桿斷裂異常與聯(lián)接結(jié)構(gòu)體異常檢測(cè)方法流 程不意圖；
[0018] 圖2是本發(fā)明存在線桿斷裂異常的線路結(jié)構(gòu)的示例圖；
[0019] 圖3是本發(fā)明聯(lián)接結(jié)構(gòu)體局部圖像及其異常情況的示例圖；
[0020] 圖4是本發(fā)明所述的多尺度局部二值化算法的基本框架；
[0021] 圖5是本發(fā)明線路骨架結(jié)構(gòu)圖中不同像素點(diǎn)類型的示意圖；
[0022] 圖6是本發(fā)明線桿斷裂異常檢測(cè)方法的基本框架；
[0023] 圖7是本發(fā)明聯(lián)接結(jié)構(gòu)體異常檢測(cè)方法的基本框架。
【具體實(shí)施方式】
[0024] 當(dāng)結(jié)合附圖考慮時(shí)，通過參照下面的詳細(xì)描述，能夠更完整更好地理解本發(fā)明以 及容易得知其中許多伴隨的優(yōu)點(diǎn)，但此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解， 構(gòu)成本發(fā)明的一部分。
[0025] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0026] 實(shí)施例1 :如圖1至圖7所示，本發(fā)明所采用的圖像數(shù)據(jù)為鐵路接觸網(wǎng)巡檢車輛上 的CCD攝像機(jī)所拍攝的線路圖像，其分辨率為2448 X 2050 (500W像素）。圖2是存在線桿斷 裂異常的線路結(jié)構(gòu)的示例圖，可以看到圖中存在著連接線、桿斷開的現(xiàn)象。圖3是聯(lián)接結(jié)構(gòu) 體局部圖像及其異常情況的示例圖，可以看到圖中支撐桿連接部分存在開裂的現(xiàn)象。針對(duì) 上述異常，本發(fā)明提出一種基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測(cè)方法，包 括如下步驟，
[0027] 步驟1)圖像二值化，采用一種多尺度局部二值化算法對(duì)待檢測(cè)的高速鐵路沿線 拍攝圖像進(jìn)行二值化處理并得到二值圖像，突出線路主體，并有效排除背景干擾；
[0028] 步驟2)二值圖像骨架提取，利用一種骨架提取算法對(duì)步驟1)得到的二值圖像進(jìn) 行處理，得到線路的骨架結(jié)構(gòu)；
[0029] 步驟3)可疑斷裂點(diǎn)檢測(cè)，針對(duì)線路中存在的線