本發(fā)明屬機器視覺領域，涉及一種指針式儀表數(shù)值智能識別方法及裝置，尤其涉及一種采用對抗樣本訓練卷積神經(jīng)網(wǎng)絡識別模型并能進行自矯正的識別方法及裝置。

背景技術：

指針式儀表由于其穩(wěn)定可靠，維護方便，能反應被測量的變化趨勢，在化工、電力、汽車等行業(yè)有著廣泛的應用。然而目前指針式儀表的識別大都是依靠人眼完成，不僅費時費力而且效率不高，其讀數(shù)受主觀因素影響較大，因此開發(fā)一套指針式儀表數(shù)值自動識別裝置是很有必要的。

目前針對指針式儀表的識別大都采用的是經(jīng)過二值化、形態(tài)學變換、骨架提取等圖像處理的手段對圖像進行預處理，而后利用hough變換提取儀表指針，進而通過指針偏角計算儀表示數(shù)。該種方法存在諸多問題，例如表盤上其他特征(抗震油線等)對指針直線提取的干擾、指針轉向的確定、傾斜圖像的矯正、圖像污染等等這些問題；同時針對指針式儀表數(shù)值的自動識別，人們都是將攝像機固定以保證攝像機的拍攝角度，但是在實際應用中，有些設備系統(tǒng)是間歇工作的，且儀表與攝像機的相對位置會發(fā)生變化，例如核電應急柴油機組只有在應急狀態(tài)和定期試驗時才會開啟使用，這類設備的指針式儀表參數(shù)測量不適合采用固定的攝像機，一方面占用空間，識別裝置大部分時間處于閑置狀態(tài)，其二在使用過程中會由于設備檢修等原因，導致攝像機與儀表的相對位置發(fā)生變化；同時我們注意到很多針對指針式儀表數(shù)值的自動識別方法都是針對單個儀表的識別，但是在實際應用中，設備上往往有許多指針式儀表參數(shù)是需要讀取的，這些指針式儀表有同種類的也有不同種類的。

授權號為cn102521560b，專利名為《高魯棒儀表指針圖像識別方法》的中國專利提出了采用hough變換和中心投影法對指針式儀表數(shù)值的識別方法，該種方法需要人工調(diào)整攝像機的位置使其正對準儀表盤，而在實際使用過程中會由于對設備的檢修使攝像機與儀表的相對位置發(fā)生變動，將無法提取到儀表位置進而識別，這使得該種方法可操作性不強，同時該種方法需要用鼠標選出指針中心區(qū)域和表盤外輪廓，在需要實時連續(xù)識別的場景中不適用。

申請?zhí)枮?01410855634.5的中國專利《一種指針式儀表的讀數(shù)識別方法及裝置》介紹了一種采用卷積神經(jīng)網(wǎng)絡對指針式儀表數(shù)值自動識別的方法，該方法將待識別的表盤分割為數(shù)個部分，采用卷積神經(jīng)網(wǎng)絡輸出指針位于不同部分的概率，再根據(jù)最大概率部分在表盤中的位置得到指針的示數(shù)。該種方法在訓練模型的過程中數(shù)據(jù)全部采用原始數(shù)據(jù)，一方面采集工作量大，其次模型泛化能力不強；同時該方法要求待識別表盤圖像與樣本表盤圖像在進行圖像分割時的分割起始位置及分割方向需要一致，這限制了其在實際中的使用。

技術實現(xiàn)要素：

針對現(xiàn)有方法存在的不足，本發(fā)明提供了一種采用卷積神經(jīng)網(wǎng)絡模型，基于對抗樣本的模型訓練方法，訓練模型對指針式儀表數(shù)值進行智能識別，且具備攝像機拍攝角度自適應調(diào)節(jié)技術的識別方法及裝置。本發(fā)明包括指針式儀表數(shù)值的識別裝置和識別方法，下面分別展開敘述。

該套識別裝置如附圖1所示，由支架(1)、程控云臺(2)、攝像機(3)、十字定位標(5)和計算機組成。首先將支架(1)放置在待識別表盤(4)前面，之后將與攝像機(3)固定連接的程控云臺(2)固定在支架(1)上，儀表盤面上有左右兩個十字定位標做標記，而后系統(tǒng)將通過程控云臺(2)和攝像機分別調(diào)整攝像機(3)的拍攝角度和變倍倍數(shù)，使其達到拍攝的預設要求(具體預設要求在具體實施方式中說明，下同)。

該套識別裝置特點如下：識別裝置具備拍攝角度自適應功能，能夠對拍攝角度進行自矯正，通過對儀表盤面上左右兩個十字定位標的檢測，來判斷攝像機的拍攝角度和變倍倍數(shù)是否合適，當不能達到預設要求時，通過程控云臺和攝像機分別調(diào)節(jié)拍攝角度和攝像機變倍倍數(shù)，使之達到拍攝要求；裝置易于安裝，該套裝置相比于其它方法，不需要攝像機與儀表的位置完全固定，只需大致將攝像機對著儀表盤即可，隨用隨裝，當不需要使用時可以收起來，同一套裝置，可以應用于不同的場所。

本發(fā)明所提供的指針式儀表數(shù)值智能識別的方法采用生成的對抗樣本訓練卷積神經(jīng)網(wǎng)絡，利用訓練得到的模型對指針式儀表進行數(shù)值識別，該方法的實現(xiàn)流程如附圖2所示。其具體包括模型訓練和模型識別兩大部分。

所述模型采用對抗樣本和原始數(shù)據(jù)進行訓練，其實現(xiàn)流程如附圖2左半部分所示，具體包括模型的構建、樣本的采集、對抗樣本的生成、模型的訓練四部分。模型的構建是構建整個卷積神經(jīng)網(wǎng)絡的結構，包括有輸入層、輸出層、卷積層、池化層和全連接層；樣本的采集是采集待識別表盤的原始圖像，為下一步對抗樣本的生成和模型的訓練準備數(shù)據(jù)；對抗樣本的生成是對采集到的原始圖像進行仿射和透視變換、明暗變化、部分區(qū)域裁剪、添加噪聲之一或幾種處理手段得到大量的可用于模型訓練的對抗樣本；模型的訓練是將采集的原始圖像數(shù)據(jù)和生成的對抗樣本數(shù)據(jù)輸入預先構建好的卷積神經(jīng)網(wǎng)絡識別模型進行訓練，通過調(diào)整模型各節(jié)點的參數(shù)得到可應用于指針式儀表數(shù)值識別的模型。

所述模型識別部分流程如附圖2右半部分所示，其包括攝像機的自矯正、圖像的預處理、圖像輸入訓練好的模型、模型輸出識別結果四部分。攝像機的自矯正是攝像機通過自矯正程序自動調(diào)整拍攝角度和變倍倍數(shù)以達到拍攝要求；圖像的預處理是將攝像機采集的待識別的rgb圖像轉換為灰度圖像，并提取出圖像中的一個或多個儀表盤并進行標記；圖像輸入訓練好的模型是將提取的一個或多個儀表盤圖像輸入之前訓練好的卷積神經(jīng)網(wǎng)絡識別模型；模型輸出結果是訓練好的識別模型在輸入待識別圖像之后將輸出對待識別圖像的識別結果。

本發(fā)明與現(xiàn)有技術相比具備以下幾個特點：

(1)該套裝置具備拍攝角度自適應功能，能夠對拍攝角度進行自矯正，使用前無需對其進行精確的調(diào)整。整套裝置易于安裝，這提高了系統(tǒng)的穩(wěn)定性與裝置的可移動性，使得一套裝置可以應用于多種場景，大大增加了該種方法的可操作性與裝置的重復使用；

(2)該種方法采用對抗樣本訓練卷積神經(jīng)網(wǎng)絡識別模型，大大減少了原始數(shù)據(jù)采集的工作量，該方法對光線、表盤污染、圖像的偏轉等都具有很好的抗干擾能力，實驗證明該種方法具有很高的魯棒性；

(3)該種方法對多儀表盤的提取與標記，可以同時對多種類儀表盤數(shù)值的識別，使得不需要采用多個攝像機單獨進行拍攝，節(jié)約了成本；

(4)該種方法改變傳統(tǒng)單獨用cpu(centralprocessingunit)的計算的模式，結合了gpu(graphicprocessingunit)高速的并行運算能力進行處理，極大的提高了識別的效率，使得可以應用于實時識別上。

與現(xiàn)有技術相比，該種方法及裝置具有高魯棒性、高準確率、識別速度快、可操作性強、移植方便等特點。

附圖說明

圖1為一種指針式儀表數(shù)值智能識別裝置圖；1.支架2.程控云臺3.攝像機4.待識別表盤5.十字定位標

圖2為一種指針式儀表數(shù)值智能識別的方法流程圖；

圖3為一種卷積神經(jīng)網(wǎng)絡識別模型結構圖；

圖4為指針式儀表對抗樣本生成流程圖；

圖5為生成的指針式儀表對抗樣本圖片；

(1)原始圖片(2)從原始圖片分離出的不含指針的儀表盤

(3)從原始圖片分離出的指針；(4)、(5)、(6)生成的對抗樣本圖片

圖6為指針式儀表數(shù)值模型識別流程圖；

圖7指針式儀表數(shù)值識別結果圖；

圖8指針式儀表數(shù)值在線識別結果圖。

具體實施方式

本發(fā)明的目的在于提供一種可操作性強、識別準確度高、速度快、具有高魯棒性的指針式儀表數(shù)值智能識別的方法及裝置。

該識別裝置的一大特點為具備拍攝角度自適應功能，可通過預制的十字定位標進行自矯正，不需要人工進行調(diào)整。該套裝置如附圖1所示，由支架(1)、程控云臺(2)、攝像機(3)、十字定位標(5)和計算機組成。首先將支架(1)放置在待識別表盤(4)前面，之后將與攝像機(3)固定連接的程控云臺(2)固定在支架(1)上，儀表盤面上有左右兩個十字定位標做標記，而后攝像機拍攝圖像檢測兩個十字定位標的位置，判斷十字定位標在圖像中上下、左右的位置與系統(tǒng)初設位置的偏離程度(用像素值來進行表示)，此后系統(tǒng)將通過程控云臺(2)和攝像機分別調(diào)整攝像機(3)的拍攝角度和變倍倍數(shù)，使其偏離程度達到要求(初設的像素值)，此即為拍攝的預設要求。

本發(fā)明所提供的指針式儀表數(shù)值智能識別方法的特點在于采用生成的對抗樣本訓練卷積神經(jīng)網(wǎng)絡，用訓練得到的模型進行識別，其具體包括模型訓練和模型識別兩大部分。

所述識別模型的一種結構如附圖3所示，由輸入層、輸出層、5個卷積池化層(1-5層)，2個全連接層(6-7層)組成。輸入層大小為128*128，對應著為待識別儀表盤的灰度圖片的尺寸；第一層為卷積池化層，卷積核大小為5*5，設有48個卷積核，采用2*2最大池化，該層輸出的張量大小為62*62*48，其中62*62為卷積后圖片的尺寸，48為卷積核的個數(shù)；第2層至第4層也為卷積池化層，卷積核大小為3*3，卷積核個數(shù)分別為128、192、256，采用2*2最大池化；第5層為卷積層，卷積核大小為3*3，設有338個卷積核，沒有進行池化操作，經(jīng)過卷積池化層輸出的張量大小為6*6*338，6*6為對應的圖片尺寸，338為卷積核的個數(shù)；6、7層為兩個全連接層，神經(jīng)元個數(shù)分別為1024、512個，最后為輸出層，大小為200，對應著為圖片的分類種數(shù)，其數(shù)值代表輸入的待識別圖片屬于每一類的概率值，我們選擇概率最大值的那一類作為識別結果，而后根據(jù)其量程將其轉換為實際數(shù)值。所述的識別模型結構為其中的一種，在實際應用中的識別模型結構可根據(jù)待識別儀表盤的種類、量程、識別精度等調(diào)整卷積池化層和全連接層的層數(shù)和模型參數(shù)，得到合適的識別模型結構。

所述對抗樣本的生成過程如附圖4所示，其包括以下幾個步驟：

步驟400，采集一張或數(shù)張與待識別儀表盤同種類的儀表盤原始圖像，將這些儀表盤的指針分離出來，生成不含有指針的儀表盤圖片(如附圖5的(2))和單獨的指針圖片(如附圖5的(3))；

步驟401，在不含有指針的儀表盤圖片上找到指針的旋轉中心，根據(jù)儀表的量程和要求的識別精度確定生成的樣本圖片種類，即識別模型的輸出層種類。例如在本實施例中，量程為0-10mpa，識別精度為0.05mpa，則分為200類；

步驟402，利用步驟401中分離出的指針和不含指針的儀表盤，將兩張圖片根據(jù)旋轉中心疊加，在生成每張圖片的過程中，對其同時進行隨機的仿射變換和透視變換、隨機剪裁部分區(qū)域、圖像整體的隨機明暗變化、隨機添加噪聲點等處理手段，得到200種類的儀表盤圖像，包含標簽文件，通過該種方法使每個種類的圖片數(shù)在60張及以上。如圖5的(4)、(5)、(6)圖片所示，為生成的部分對抗樣本圖片；

步驟403，將原始圖片和生成的對抗樣本圖片與其各自的標簽生成訓練識別模型用的數(shù)據(jù)集。

所述識別模型的訓練過程為將步驟400-403中生成的圖片數(shù)據(jù)集放入所述的預先構建好的卷積神經(jīng)網(wǎng)絡(80％的數(shù)據(jù)用于訓練模型，20％的數(shù)據(jù)用來檢測模型的準確度)，通過不斷調(diào)整模型中各節(jié)點的參數(shù)，使之達到預定要求(準確度在70％及以上)，實驗發(fā)現(xiàn)此準確度閾值下模型識別的平均誤差在1％以內(nèi)，識別模型訓練成功。

所述模型識別流程如附圖6所示，其包含以下幾個步驟：

步驟600，將裝置放在待識別儀表盤前面，使攝像機大致對著儀表位置，在儀表盤面上的預定位置(此預定位置需與自矯正程序中十字定位標的初設位置保持一致)固定左右兩個十字定位標；

步驟601，啟動系統(tǒng)，攝像機將檢測圖像中十字定位標的位置，通過程控云臺的水平旋轉、垂直旋轉、攝像機的光學變倍使左右兩個十字定位標在圖像中的位置與初設位置偏離程度(用像素值表示)達到要求，若經(jīng)過50次自矯正調(diào)整仍然失敗，不能達到攝像機拍攝的預設要求(預設要求在前面已經(jīng)進行講述)，則系統(tǒng)自檢報警；

步驟602，攝像機采集儀表盤圖像，對采集到的圖像進行灰度化處理，之后進行降維處理，通過概率hough圓變換提取圖像中各個圓形儀表盤，并根據(jù)各圓的坐標對其進行標記，而后將圓形表盤的坐標換算到降維處理前的圖像中，在降維處理前的圖像上切分出帶有標記的各個儀表盤的圖像；

步驟603，將步驟602中從一張或多張圖像中提取的一張或多張儀表盤圖像輸入所述預先訓練好的卷積神經(jīng)網(wǎng)絡識別模型中進行計算。特別的，當圖像采集的頻率較高(大于10fps)，該步驟中識別模型在gpu上運行，采用并行運算處理可以大大提高識別速度；

步驟604，將步驟603中識別模型的輸出結果根據(jù)待識別表盤的量程換算成實際的讀數(shù)，然后根據(jù)步驟602中對應的標記進行保存，之后進行下一輪的識別。

識別效果

采用該種方法和裝置進行了測試，測試1過程中采用50張指針式儀表圖片進行測試，結果對比如附圖7所示，實線為模型識別結果，虛線為人眼讀取值，平均誤差在1％之內(nèi)；測試2過程中測試在線識別效果，儀表采用指針式溫度計，將溫度計由室溫放至熱水中，而后一邊拍攝視頻，一邊進行識別，幀率30fps，溫度計采用雙金屬溫度計，精度等級1.5，結果如附圖8所示，實線為模型識別結果，虛線為人眼讀取值。

由于該種溫度計精度不高，會存在卡頓的狀況，且傳熱過程比較慢，采集頻率高，因此在曲線圖上會有階梯狀，通過人工肉眼比對，識別結果基本一致，平均誤差在1％以內(nèi)。

以上所述為本發(fā)明的具體實施步驟與裝置結構圖，配合各圖予以說明。但是本發(fā)明并不局限于以上所述的具體實施步驟與裝置結構圖，任何基于上述所說的對于相關實施步驟的修改或替換，任何基于上述所說的對于相關實施步驟的局部調(diào)整，只要在本發(fā)明的精神領域范圍內(nèi)，均屬于本發(fā)明。