專利名稱：工業(yè)人機界面視覺檢測系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及工業(yè)人機界面(服I)的檢測方法和系統(tǒng)，具體來說，涉及工業(yè)
人機界面的可^L化功能的檢測方法和系統(tǒng)。
背景技術(shù)：
連接可編程序控制器(PLC)、變頻器、直流調(diào)速器、儀表等工業(yè)控制設(shè) 備，利用顯示屏顯示，通過輸入單元(如觸摸屏、鍵盤、鼠標(biāo)等)寫入工作 參數(shù)或輸入操作命令，實現(xiàn)人與機器信息交互的數(shù)字設(shè)備稱為人機界面 (固I)。它提供了簡單的可視化接口，使操作人員能方便清晰的掌握設(shè)備的 運行狀態(tài)。因此HMI的可視化功能非常重要。
但是在服I的功能測試中，可視化功能的測試卻相當(dāng)?shù)谋∪?。傳統(tǒng)的測 試方法，只能憑測試人員的肉眼作粗略的判斷。具體來說，現(xiàn)有方法和系統(tǒng) 的缺點有
1) 效率低，用人的肉眼作判斷速度慢，這是由人的反映速度所決定的；
2) 可靠性差，長時間的測試會使人疲勞，從而使測試的可靠性降低，因 此使用傳統(tǒng)的測試方法無法進行長時間的測試；以及
3) —些測試無法實現(xiàn)，比如測試腹I的刷新時間。刷新時間往往只有幾 十毫秒，這種數(shù)量級的測試通過傳統(tǒng)的方法無法實現(xiàn)。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明提供人機界面的檢測系統(tǒng)及方法，來解決現(xiàn)
女；、、土 3"《厶s a々 >玄< 乂《專，w<3"一 itb 、:ffl、1* 、、ithi aa 力
z卩j >7 'T、 "U7入T ^;、—J與陣'1工^1 門-— - wj ^u、乂u/a :7^"VU"v w八,；r、。
根據(jù)本發(fā)明的一個方面，提供一種人機界面的檢測系統(tǒng)，包括人機界 面，用于從可編程邏輯控制器接收至少一個第一圖案數(shù)據(jù)并且根據(jù)所述至少 一個第一圖案數(shù)據(jù)在至少一個人機界面位置上顯示至少一個第二圖案；機器 視覺檢測設(shè)備，用于從所述至少一個人機界面位置上采集所述至少一個第二 圖案、將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖案數(shù)據(jù)并且將所述至少一個第二圖案數(shù)據(jù)反饋至所述可編程邏輯控制器；和所述可編程邏輯 控制器，用于將所述至少一個第一圖案數(shù)據(jù)和所述反饋的至少一個第二圖案 數(shù)據(jù)比較并且4艮據(jù)至少 一個比較結(jié)果判決所述人機界面的狀態(tài)為正確還是錯誤。
根據(jù)本發(fā)明的另一個方面，提供一種人機界面的檢測方法，包括(A) 從可編程邏輯控制器接收至少一個第一圖案lt據(jù)；(B)根據(jù)所述至少一個第 一圖案數(shù)據(jù)在至少一個人機界面位置上顯示至少一個第二圖案；(C)機器視 覺檢測設(shè)備從所述至少一個人機界面位置上采集所述至少一個第二圖案； (D)將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖案數(shù)據(jù)；(E)將所 述至少一個第二圖案數(shù)據(jù)反饋至所述可編程邏輯控制器；(F)所述可編程邏 輯控制器將所述至少一個第一圖案數(shù)據(jù)和所述反饋的至少一個第二圖案數(shù)據(jù) 比較；以及(G)根據(jù)至少一個比較結(jié)果判決所述人機界面的狀態(tài)為正確還是 錯誤。
采用根據(jù)本發(fā)明的人機界面的檢測系統(tǒng)及方法，特別是由于視覺檢測設(shè) 備、PLC或通信介質(zhì)的高速性和穩(wěn)定性，使得其可以在l秒中內(nèi)，進行幾十 次測試；通過使用機器視覺，測試可以連續(xù)的長時間的進行，而不影響準(zhǔn)確 性；可以展開一系列新的測試，比如需要反應(yīng)時間短的，定量的測試；以及 同時系統(tǒng)可以保存錯誤的圖像，供以后檢驗。


圖1A示出根據(jù)本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)的結(jié)構(gòu)圖； 圖1B示出人機界面上的二維陣列顯示；
圖2示出根據(jù)本發(fā)明優(yōu)選實施例的人機界面的硬件和軟件架構(gòu)圖； 圖3示出根據(jù)本發(fā)明優(yōu)選實施例的、說明PLC發(fā)出的數(shù)據(jù)與機器視覺檢 測設(shè)備返回的數(shù)據(jù)一一對應(yīng)的結(jié)構(gòu)圖；以及
圖4示出根據(jù)本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測方法的流程圖。
具體實施例方式
下面將結(jié)合附圖詳細描述本發(fā)明的優(yōu)選實施例。
圖1示出根據(jù)本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)的結(jié)構(gòu)圖。如 圖1所示，根據(jù)本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)10包括作為檢測對象的人機界面11、采集人機界面11所顯示圖案的機器視覺檢測設(shè)備12、和與人機界面11和機器視覺檢測設(shè)備12 二者通信的可編程邏輯控制器13。 其中人機界面ll、機器視覺測試設(shè)備12和PLC13構(gòu)成閉環(huán)系統(tǒng)。根據(jù)本發(fā) 明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)10還可以包括通過通信協(xié)議與機器 視覺測試設(shè)備12通信的PC 14,用于記錄檢測結(jié)果。為了提高采集精度，根 據(jù)本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)10還可以包括一些輔助光源人機界面11從可編程邏輯控制器13接收至少一個第一圖案數(shù)據(jù)并且根 據(jù)所述至少一個第一圖案數(shù)據(jù)在至少一個人才幾界面11的某一位置上顯示至 少一個第二圖案。具體來說，第一圖案數(shù)據(jù)可以是由PLC13所隨機產(chǎn)生一些 數(shù)字?jǐn)?shù)據(jù)、字母數(shù)據(jù)或圖像數(shù)據(jù)，并且通過諸如以太網(wǎng)一樣的網(wǎng)絡(luò)發(fā)送至人 機界面11;第二圖案可以是人機界面ll根據(jù)其所接收的數(shù)字?jǐn)?shù)據(jù)，字母數(shù) 據(jù)或圖像數(shù)據(jù)顯示的數(shù)字、字母或圖像，并且人^L界面11的某一位置可以是 如圖1B所示的、位于人機界面11上的二維陣列中的某一個位置。機器視覺^r測設(shè)備12從所述至少一個人才幾界面11的某一位置上采集所 述至少一個第二圖案、將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖 案數(shù)據(jù)并且將所述至少一個第二圖案數(shù)據(jù)反々赍至可編程邏輯控制器13。同樣， 第二圖案數(shù)據(jù)可以是數(shù)字?jǐn)?shù)據(jù)、字母數(shù)據(jù)或圖^f象數(shù)據(jù)。優(yōu)選的，機器視覺測 試設(shè)備12由PLC 13的1/0輸出觸發(fā)，采集HMI11上的圖像，并識別其中的 數(shù)字，字母，圖像或測量它們的距離和尺寸以便確定其在人機界面11上的位 置，同時將這些結(jié)果通過某種通信協(xié)議(比如以太網(wǎng))傳回PLC13。機器視 覺檢測設(shè)備12可以具有0CR/0CV功能。可編程邏輯控制器13將所述至少一個第一圖案數(shù)據(jù)和所述反饋的至少 一個第二圖案數(shù)據(jù)比較并且根據(jù)至少一個比較結(jié)果判決人機界面11的狀態(tài)為正確還是錯誤。具體來說，PLC 13判斷由^/L器視覺測試設(shè)備傳來的結(jié)果。乂11 ^H》太AA i'il，iL々士軍"5T"!共一擊AJll厶^1 . 144 PT ri iilBfc山^！發(fā)':fflili'^/ 、,j/ wz/i — ux/ 丄丄 w j h j —/ j一口 /| 、 j , ^一 乂V /V,丄《 ^ ij-zvi^—zj^j ,z、 一 f^-、系統(tǒng)返回的數(shù)字或字母與其發(fā)出給HMI11顯示的相同時，判斷為正確。反之， 為不正確；2. HMI11有一些動態(tài)特性需要測試，比如HMIll的刷新頻率(即 在多長時間內(nèi)HMI11上的內(nèi)容刷新)。這些指標(biāo)一般都是在100ms數(shù)量級的。 而視覺測試設(shè)備的采樣頻率可以達到60幀每秒，即每幀小于20ms。因此可 以用來測試HMI11的動態(tài)性能。比如HMI11的刷新頻率時10次每秒， 100ms刷新一次。那么我們只要在PLC13給HMI11發(fā)出數(shù)字后延時100ms，在采集 圖像進行比較。若此時比較結(jié)果正確則說明HMI11的動態(tài)性能符合要求。反 之，則不符合；3.當(dāng)經(jīng)過長時間的測試(幾百或幾千個小時)后，系統(tǒng)沒有發(fā) 現(xiàn)錯誤或發(fā)現(xiàn)的錯誤小于某個產(chǎn)品所要求的概率時，則判斷符合長時間的穩(wěn) 定性；反之，則不符合。當(dāng)然，上述各個參凌W又為優(yōu)選實施例，根據(jù)不同的 需要，用戶可以選擇不同的參數(shù)。如果發(fā)現(xiàn)結(jié)果錯誤，PLC 13還可以進行一 系列動作①在PLC13中記錄錯誤的結(jié)果，并且發(fā)出報警；②通過通信協(xié)議 與機器視覺測試設(shè)備12通信，通知其將出現(xiàn)錯誤時的圖片存儲到PC14的指 定目錄下。并繼續(xù)測試；如果PLC13發(fā)現(xiàn)識別結(jié)果正確，則觸發(fā)機器視覺測 試設(shè)備12進行下一次的測試。采用本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測系統(tǒng)10，特別是由于視覺檢 測設(shè)備、PLC或通信介質(zhì)的高速性和穩(wěn)定性，使得其可以在l秒中內(nèi)，進行 幾十次測試；通過使用機器視覺，測試可以連續(xù)的長時間的進行，而不影響 準(zhǔn)確性；可以展開一系列新的測試，比如需要反應(yīng)時間短的，定量的測試； 以及同時系統(tǒng)可以保存錯誤的圖像，供以后抬、驗。圖2示出根據(jù)本發(fā)明優(yōu)選實施例的人機界面的硬件和軟件架構(gòu)圖。如圖 2所示，人機界面11產(chǎn)品由硬件和軟件兩部分組成，硬件部分包括處理器21、 顯示單元22、輸入單元23、通信接口 24、存儲器25等。麗I軟件一般分為 兩部分，即運4亍于HMI硬件中的系統(tǒng)軟件26和運行于PC機Windows操作系 統(tǒng)下的人機界面工程開發(fā)軟件27 (如JB-HMI畫面組態(tài)軟件)。使用者可以 先使用HMI的人機界面工程開發(fā)軟件27制作"工程文件"，再通過PC機和 應(yīng)I產(chǎn)品的串行通信口 24， 4巴編制好的"工禾呈文件"下載到HMI的處理器中 運行。圖2中橢圓內(nèi)部的單元都是本發(fā)明優(yōu)選實施例的檢測系統(tǒng)可以覆蓋的范 圍。因為無論哪個單元出錯了，都會導(dǎo)致HMIll顯示上的錯誤。所以我們的 檢測系統(tǒng)不但可以檢測出HMI11顯示屏的問題，而且可以檢測出由于其通信 或系統(tǒng)軟件紊亂所引起的錯誤。為了使PLC的判決結(jié)果更加精確有效，使PLC13依次發(fā)出的數(shù)據(jù)與視覺 系統(tǒng)依次返回的數(shù)據(jù)分別——對應(yīng)。這樣的對應(yīng)關(guān)系是由PLC13的軟件、 HMI11的軟件、機器視覺測試設(shè)備12的軟件和通信協(xié)議共同保證的。具體來 說，(1) PLC13的數(shù)據(jù)是由其內(nèi)存地址唯一確定的，即數(shù)據(jù)與地址存在——對應(yīng)的關(guān)系；(2) HMI11的組態(tài)軟件可以配置在HMI11屏幕的某一確定位 置顯示PLC13某一地址上的數(shù)據(jù)。在HMIll運^f亍時，系統(tǒng)軟件通過通信協(xié)議即形成PLC13某一地址中的數(shù)據(jù)與HMI11屏幕上某一位置顯示內(nèi)容的映射關(guān) 系；(3)視覺系統(tǒng)可以識別出HMI11顯示屏上不同位置上的不同內(nèi)容，把這 些內(nèi)容轉(zhuǎn)換成數(shù)據(jù)，并通過通信協(xié)議發(fā)送到PLC13上的某個內(nèi)存地址上；從 而形成HMI11屏幕上某一位置顯示內(nèi)容與PLC13某一地址中的數(shù)據(jù)的逆映射。圖3示出根據(jù)本發(fā)明優(yōu)選實施例的、說明PLC發(fā)出的數(shù)據(jù)與視覺系統(tǒng)返 回的數(shù)據(jù)——對應(yīng)的結(jié)構(gòu)圖。如圖3所示，可編程邏輯控制器13包括至少一個第一內(nèi)存單元131、 至少一個第二內(nèi)存單元132、比較模塊133。至少一個第一內(nèi)存單元131存儲 至少一個第一圖案數(shù)據(jù)，其中所述至少一個第一內(nèi)存單元131的地址與對應(yīng) 于其所存儲的第一圖案數(shù)據(jù)的至少一個人機界面11位置具有第一對應(yīng)關(guān)系。 比如，在第一內(nèi)存單元131的地址35和36處分別存儲字母數(shù)據(jù)A和B,同 時HMI11的組態(tài)軟件可以如下配置分別在HMI11屏幕的左上角和左下角的 位置顯示分別位于PLC地址36和35上的第一字母數(shù)據(jù)B和A,以確保第一 對應(yīng)關(guān)系。至少一個第二內(nèi)存單元132存儲來自所述機器視覺檢測設(shè)備12的 至少一個第二圖案數(shù)據(jù)。比較模塊133比較第一內(nèi)存單元所存儲的第一圖案 數(shù)據(jù)和第二內(nèi)存單元所存儲的第二圖案數(shù)據(jù)。如圖3所示，人機界面11包括通信才莫塊lll、顯示模塊112和系統(tǒng)內(nèi) 核模塊113。通信模塊111從可編程邏輯控制器13中的至少一個第一內(nèi)存單 元131的地址處獲得至少一個第一圖案數(shù)據(jù)。系統(tǒng)內(nèi)核模塊113根據(jù)所述第 一對應(yīng)關(guān)系和獲得至少一個第一圖案數(shù)據(jù)的第一內(nèi)存單元的地址，來控制顯 示模塊112將所獲得的至少一個第一圖案數(shù)據(jù)在對應(yīng)的至少一個人機界面位 置上顯示為至少一個第二圖案。在HMI11運行時，在系統(tǒng)內(nèi)核模塊113的控 制下，通信模塊111通過通信協(xié)議(比如以太網(wǎng))從PLC13的地址36和35 上分別讀取第一字母數(shù)據(jù)B和A或分別接收PLC13從地址36和35上發(fā)送來 的第一字母凝:據(jù)B和A并且顯示模塊112在HMI11屏幕的左上角和左下角的 位置將分別位于PLC地址36和35上的字母數(shù)據(jù)B和A分別顯示為第二字母 圖案B和A。 由it匕，確'床第一只十應(yīng)關(guān)系。如圖3所示，機器視覺檢測設(shè)備12包括識別模塊121、至少一個第三內(nèi)存單元122和反饋模塊123。識別模塊121將至少一個所述人機界面11位 置上的第二圖案識別為至少一個第二圖案數(shù)據(jù)。比如，如果HMI11的狀態(tài)正 確，則識別模塊121將HMIll屏幕的左上角和左下角的位置所顯示的第二字 母圖案B和A識別為第二字母數(shù)據(jù)B和A;否則，如果腹Ill的狀態(tài)錯誤(未 示出)，即，HMI11屏幕的左上角和左下角的位置所顯示的第二字母圖案為除 B之外的第二圖案數(shù)據(jù)(比如C)或除A之外的第二圖案數(shù)據(jù)(比如D)，貝'J 識別模塊121將HMI11屏幕的左上角和左下角的位置所顯示的第二字母圖案 B或A識別為除B之外的第二圖案數(shù)據(jù)(比如C)或除A之外的第二圖案數(shù)據(jù) (比如D)。至少一個第三內(nèi)存單元122存儲所識別的至少一個第二圖案數(shù)據(jù)， 其中至少一個第三內(nèi)存單元122的地址與對應(yīng)于其所存儲的第二圖案數(shù)據(jù)的 至少一個人機界面位置具有第二對應(yīng)關(guān)系。比如，如果HMIll的狀態(tài)正確， 則將從HMIll屏幕的左上角和左下角的位置識別得到的第一字母數(shù)據(jù)B或A 分別存儲在第三內(nèi)存單元122的地址C1， l和Cl, 2處；否則，如果HMIll 的狀態(tài)錯誤(未示出)，則將從HMI11屏幕的左上角和左下角的位置識別得到 的第一字母數(shù)據(jù)C和D分別存儲在第三內(nèi)存單元122的地址C1， 1和C1， 2 處，從而保證第三內(nèi)存單元122的地址與對應(yīng)于其所存儲的第二圖案數(shù)據(jù)的 至少一個人機界面位置之間的第二對應(yīng)關(guān)系。反饋模塊1U根據(jù)第一對應(yīng)關(guān) 系和第二對應(yīng)關(guān)系，將在至少一個第三內(nèi)存單元122的地址處存儲的至少一 個第二圖案數(shù)據(jù)反饋至可編程邏輯控制器13的至少一個第二內(nèi)存單元132, 其中在分別對應(yīng)于相同的人機界面位置的第一存儲單元131的地址與第二存 儲單元132的地址之間具有第三對應(yīng)關(guān)系。比如，通過對機器視覺檢測設(shè)備 12的組態(tài)軟件編程，使得通過通信協(xié)議將存儲在第三內(nèi)存單元122的地址Cl, 1和Cl， 2處的第二字母數(shù)據(jù)發(fā)送到PLC的第二內(nèi)存單元131的地址46和45 處，從而保證HMI屏幕上某一位置顯示內(nèi)容與PLC某一地址中的數(shù)據(jù)的逆映 射(第三對應(yīng)關(guān)系)如下PLC第一內(nèi)存單元地址35^HMI11屏幕的左下角^HMI的第三內(nèi)存單元地址 Cl， 2^PLC第二內(nèi)存單元地址45;PLC第一內(nèi)存單元地址36^腿111屏幕的左上角~>畫1的第三內(nèi)存單元地址 Cl， 1~>PLC第二內(nèi)存單元地址46。PLC 13的比較模塊13 3根據(jù)第三對應(yīng)關(guān)系，比較第 一 內(nèi)存單元131所存 儲的第一圖案凄t據(jù)和與之對應(yīng)的第二內(nèi)存單元132所存儲的第二圖案數(shù)據(jù)。具體來說，分別比較第一內(nèi)存單元131地址35和36處所存儲的第一字母數(shù) 據(jù)和與之對應(yīng)的第二內(nèi)存單元132地址45和46處所存儲的第二字母數(shù)據(jù)。 如果第一內(nèi)存單元131地址35和36處所存儲的第一字母數(shù)據(jù)為A和B而第 二內(nèi)存單元132地址45和46處所存儲的第二字母數(shù)據(jù)同樣為A和B，則判 斷HMI11的狀態(tài)正確；否則，如果第一內(nèi)存單元131地址35和36處所存儲 的第一字母數(shù)據(jù)為A和B而第二內(nèi)存單元132地址45和46處所存儲的第二 字母數(shù)據(jù)為除B之外的第二圖案數(shù)據(jù)(比如C)或除A之外的第二圖案數(shù)據(jù) (比如D)，則判斷HMIll的狀態(tài)錯誤。在此基礎(chǔ)之上，對于麗Ill的動態(tài)特 性測試，比如HMI11的刷新頻率(即在多長時間內(nèi)HMI11上的內(nèi)容刷新)，我 們只要在PLC13給HMI11發(fā)出數(shù)字后延時100ms,在采集圖像進行比較。若 此時比較結(jié)果正確則說明HMI11的動態(tài)性能符合要求。反之，則不符合；對 于麗Ill的穩(wěn)定特性測試，當(dāng)經(jīng)過長時間的測試(幾百或幾千個小時)后，系 統(tǒng)沒有發(fā)現(xiàn)錯誤或發(fā)現(xiàn)的錯誤小于某個產(chǎn)品所要求的概率時，則判斷符合長 時間的穩(wěn)定性；反之，則不符合。當(dāng)然，上述各個參數(shù)僅為優(yōu)選實施例，根 據(jù)不同的需要，用戶可以選擇不同的參數(shù)。
圖4所示，在步驟S401, PLC產(chǎn)生需要畫I顯示的數(shù)字或字母的數(shù)據(jù)(第一 圖案數(shù)據(jù))。具體來說，PLC的至少一個第一內(nèi)存單元存儲至少一個第一圖案 數(shù)據(jù)，其中所述至少一個第一內(nèi)存單元的地址與對應(yīng)于其所存儲的第一圖案 數(shù)據(jù)的至少一個人機界面位置具有第一對應(yīng)關(guān)系。比如，在第一內(nèi)存單元131 的地址35和36處分別存儲字母數(shù)據(jù)A和B，同時HMI11的組態(tài)軟件可以如 下配置分別在HMI11屏幕的左上角和左下角的位置顯示分別位于PLC地址 36和35上的第一字母數(shù)據(jù)B和A，以確保第一對應(yīng)關(guān)系。
然后，在步驟S402,通過工業(yè)以太網(wǎng)和專用的通信協(xié)議，發(fā)送給HMI PLC 所產(chǎn)生的數(shù)字或字母的數(shù)據(jù)。HMI從可編程邏輯控制器中的至少一個第一內(nèi) 存單元的地址處獲得至少一個第一圖案數(shù)據(jù)。比如，通過通信協(xié)議(比如以 太網(wǎng))從PLC的地址36和35上分別讀取第一字母數(shù)據(jù)B和A或分別接收PLC 從地址36和35上發(fā)送來的第一字母數(shù)據(jù)B和A。
然后，在步驟S403,根據(jù)PLC產(chǎn)生的數(shù)字或字母的數(shù)據(jù)在腿I上顯示第 二圖案。具體來說，HMI的系統(tǒng)內(nèi)核才莫塊根據(jù)所述第一對應(yīng)關(guān)系和獲得至少 一個第一圖案數(shù)據(jù)的第一內(nèi)存單元的地址，來控制將所獲得的至少一個第一圖案數(shù)據(jù)在對應(yīng)的至少一個人機界面位置上顯示為至少一個第二圖案。比如，
在HMI屏幕的左上角和左下角的位置將分別位于PLC地址36和35上的字母 數(shù)據(jù)B和A分別顯示為第二字母圖案B和A。由此，確保第一對應(yīng)關(guān)系。
然后，在步驟S404，'通過I/0信號線，PLC觸發(fā)視覺測試設(shè)備攝取HMI 顯示的圖片。
然后，在步驟S405，機器視覺測試設(shè)備攝取HMI顯示的圖片。 然后，在步驟S406,機器視覺測試設(shè)備通過其內(nèi)部的算法，識別出腹I 上顯示的第二圖案。具體來說，機器視覺檢測設(shè)備將至少一個人機界面位置 上的第二圖案識別為至少一個第二圖案數(shù)據(jù)。比如，如果HMI的狀態(tài)正確， 則機器視覺檢測設(shè)備將HMI屏幕的左上角和左下角的位置所顯示的第一字母 圖案B和A識別為第二字母數(shù)據(jù)B和A;否則，如果HMI的狀態(tài)錯誤(未示 出)，即，HMI屏幕的左上角和左下角的位置所顯示的第二字母圖案為除B之 外的第二圖案數(shù)據(jù)(比如C)或除A之外的第二圖案數(shù)據(jù)(比如D)，則機器 視覺檢測設(shè)備將HMI屏幕的左上角和左下角的位置所顯示的第一字母圖案B 或A識別為除B之外的第二圖案數(shù)據(jù)(比如C)或除A之外的第二圖案數(shù)據(jù) (比如D)。在機器視覺檢測設(shè)備的至少一個第三內(nèi)存單元存儲所識別的至少 一個第二圖案凄t據(jù)。其中至少一個第三內(nèi)存單元的地址與對應(yīng)于其所存儲的 第二圖案數(shù)據(jù)的至少一個人機界面位置具有第二對應(yīng)關(guān)系。比如，如果畫Ill 的狀態(tài)正確，則將從HMIll屏幕的左上角和左下角的位置識別得到的第一字 母數(shù)據(jù)B或A分別存儲在第三內(nèi)存單元122的地址Cl, 1和C1， 2處；否貝'J, 如果HMIll的狀態(tài)錯誤(未示出)，則將從HMIll屏幕的左上角和左下角的位 置識別得到的第 一字母數(shù)據(jù)C或D分別存儲在第三內(nèi)存單元122的地址CI ， 1和Cl， 2處，從而保證第三內(nèi)存單元122的地址與對應(yīng)于其所存儲的第二 圖案數(shù)據(jù)的至少一個人機界面位置之間的第二對應(yīng)關(guān)系。
然后，在步驟S407，通過工業(yè)以太網(wǎng)和專用的通信協(xié)議機器視覺檢測設(shè) 備將識別出的數(shù)字或字母發(fā)回PLC。具體來說，機器視覺檢測設(shè)備根據(jù)第一 對應(yīng)關(guān)系和第二對應(yīng)關(guān)系，將在至少 一 個第三內(nèi)存單元的地址處存儲的至少 一個第二圖案數(shù)據(jù)反饋至可編程邏輯控制器的至少一個第二內(nèi)存單元，其中 在分別對應(yīng)于相同的人機界面位置的第 一存儲單元的地址與第二存儲單元的 地址之間具有第三對應(yīng)關(guān)系。比如，通過對機器視覺檢測設(shè)備的組態(tài)軟件編 程，使得通過通信協(xié)議將存儲在第三內(nèi)存單元的地址C1， l和Cl, 2處的第二字母數(shù)據(jù)發(fā)送到PLC的第二內(nèi)存單元的地址46和45處，從而保證HMI屏 幕上某一位置顯示內(nèi)容與PLC某一地址中的數(shù)據(jù)的逆映射(第三對應(yīng)關(guān)系) 如下:
PLC第一內(nèi)存單元地址35~>HMI11屏幕的左下角^HMI的第三內(nèi)存單元地址 Cl， 2~>PLC第二內(nèi)存單元地址45;
PLC第一內(nèi)存單元地址36^HMI11屏幕的左上角+麗I的第三內(nèi)存單元地址 Cl, 1~>PLC第二內(nèi)存單元地址46。
然后，在步驟S408， PLC比較發(fā)出的和收到的數(shù)字和字母。具體來說， PLC根據(jù)第三對應(yīng)關(guān)系，比較第 一 內(nèi)存單元所存儲的第 一圖案數(shù)據(jù)和與之對 應(yīng)的第二內(nèi)存單元132所存儲的第二圖案數(shù)據(jù)。具體來說，分別比較第一內(nèi) 存單元地址35和36處所存儲的第一字母數(shù)據(jù)和與之對應(yīng)的第二內(nèi)存單元132 地址45和46處所存儲的第二字母數(shù)據(jù)。如果第一內(nèi)存單元地址35和36處 所存儲的第一字母數(shù)據(jù)為A和B而第二內(nèi)存單元地址45和46處所存儲的第 二字母數(shù)據(jù)同樣為A和B，則判斷HMI的狀態(tài)正確；否則，如果第一內(nèi)存單 元地址35和36處所存儲的第一字母數(shù)據(jù)為A和B而第二內(nèi)存單元地址45和 46處所存儲的第二字母數(shù)據(jù)為除B之外的第二圖案數(shù)據(jù)(比如C)或除A之 外的第二圖案數(shù)據(jù)(比如D)，則判斷HMIll的狀態(tài)錯誤。如果在步驟S408 的比較結(jié)果正確，則轉(zhuǎn)到步驟S401;否則，4丸行步驟S409，通過以太網(wǎng)同時 視覺測試設(shè)備將出錯的圖片保存到PC制定的目錄下，然后轉(zhuǎn)到步驟S401。 人機界面的狀態(tài)的判決結(jié)果可進一步劃分為1.當(dāng)PLC判斷由視覺測試系統(tǒng) 返回的數(shù)字或字母與其發(fā)出給HMI顯示的相同時，判斷為正確。反之，為不 正確；2.HMI有一些動態(tài)特性需要測試，比如HMI的刷新頻率(即在多長時 間內(nèi)HMI11上的內(nèi)容刷新)。這些指標(biāo)一般都是在100ms數(shù)量級的。而視覺測 試i殳備的采樣頻率可以達到60幀每秒，即每幀小于20ms。因此可以用來測 試HMI11的動態(tài)性能。比如HMI的刷新頻率時10次每秒，即100ms刷新一次。 那么我們只要在PLC給h'MI發(fā)出數(shù)字后延時100ms，在采集圖像進行比較。 若此時比較結(jié)果正確則說明HMI的動態(tài)性能符合要求。反之，則不符合；3. 當(dāng)經(jīng)過長時間的測試(幾百或幾千個小時)后，系統(tǒng)沒有發(fā)現(xiàn)錯誤或發(fā)現(xiàn)的錯 誤小于某個產(chǎn)品所要求的概率時，則判斷符合長時間的穩(wěn)定性；反之，則不 符合。
采用本發(fā)明優(yōu)選實施例的工業(yè)人機界面檢測方法，特別是由于視覺檢測設(shè)備、PLC或通信介質(zhì)的高速性和穩(wěn)定性，使得其可以在l秒中內(nèi)，進行幾
十次測試；通過使用機器視覺，測試可以連續(xù)的長時間的進行，而不影響準(zhǔn) 確性；可以展開一系列新的測試，比如需要反應(yīng)時間短的，定量的測試；以 及同時系統(tǒng)可以保存錯誤的圖像，供以后檢驗。
盡管參考本發(fā)明的優(yōu)選實施例具體展示和描述了本發(fā)明，但是本領(lǐng)域一 般技術(shù)人員應(yīng)該明白，在不脫離所附權(quán)利要求限定的本發(fā)明的精神和范圍的 情況下，可以對其進行形式和細節(jié)上的各種修改。
權(quán)利要求
1.一種人機界面的檢測系統(tǒng)，包括人機界面，用于從可編程邏輯控制器接收至少一個第一圖案數(shù)據(jù)并且根據(jù)所述至少一個第一圖案數(shù)據(jù)在至少一個人機界面位置上顯示至少一個第二圖案；機器視覺檢測設(shè)備，用于從所述至少一個人機界面位置上采集所述至少一個第二圖案、將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖案數(shù)據(jù)并且將所述至少一個第二圖案數(shù)據(jù)反饋至所述可編程邏輯控制器；和所述可編程邏輯控制器，用于將所述至少一個第一圖案數(shù)據(jù)和所述反饋的至少一個第二圖案數(shù)據(jù)比較并且根據(jù)至少一個比較結(jié)果判決所述人機界面的狀態(tài)為正確還是錯誤。
2. 如權(quán)利要求1所述的檢測系統(tǒng)，其中 所述可編程邏輯控制器包括至少一個第一內(nèi)存單元，用于存儲所述至少一個第一圖案數(shù)據(jù)，其 中所述至少一個第一內(nèi)存單元的地址與對應(yīng)于其所存儲的第一圖案數(shù)據(jù) 的至少一個人機界面位置具有第 一對應(yīng)關(guān)系；至少一個第二內(nèi)存單元，用于存儲來自所述機器視覺檢測設(shè)備的至 少一個第二圖案數(shù)據(jù)；和比較模塊，用于比較第 一 內(nèi)存單元所存儲的第一圖案數(shù)據(jù)和第二內(nèi) 存單元所存儲的第二圖案數(shù)據(jù)； 所述人機界面包括通信模塊，用于從所述可編程邏輯控制器中的至少一個第 一 內(nèi)存單 元的地址處獲得至少一個第一圖案數(shù)據(jù)；顯示模塊；和系統(tǒng)內(nèi)核模塊，用于根據(jù)所述第 一對應(yīng)關(guān)系和獲得至少一個第 一圖 案數(shù)據(jù)的第 一 內(nèi)存單元的地址，來控制所述顯示模塊將所獲得的至少一 個第一圖案數(shù)據(jù)在對應(yīng)的至少一個人機界面位置上顯示為至少一個第二 圖案；所述機器視覺檢測設(shè)備包括識別模塊，用于將至少一個所述人機界面位置上的第二圖案識別為至少一個第二圖案數(shù)據(jù)；至少 一個第三內(nèi)存單元，用于存儲所識別的至少 一個第二圖案數(shù)據(jù)， 其中至少一個第三內(nèi)存單元的地址與對應(yīng)于其所存儲的第二圖案數(shù)據(jù)的至少 一個人機界面位置具有第二對應(yīng)關(guān)系；反饋模塊，用于根據(jù)第一對應(yīng)關(guān)系和第二對應(yīng)關(guān)系，將在所述至少 一個第三內(nèi)存單元的地址處存儲的至少一個第二圖案數(shù)據(jù)反饋至所述可 編程邏輯控制器的至少一個第二內(nèi)存單元，其中在分別對應(yīng)于相同的人 機界面位置的第 一存儲單元的地址與第二存儲單元的地址之間具有第三對應(yīng)關(guān)系；其中，所述比較模塊根據(jù)第三對應(yīng)關(guān)系，比較第一內(nèi)存單元所存儲的第 一圖案數(shù)據(jù)和與之對應(yīng)的第二內(nèi)存單元所存儲的第二圖案數(shù)據(jù)。
3. 如權(quán)利要求1或2所述的檢測系統(tǒng)，其中如果所述至少一個比較結(jié)果全部相同，則判決所述人機界面的狀態(tài)為正 確；否則，判決所述人機界面的狀態(tài)為錯誤。
4. 如權(quán)利要求3所述的檢測系統(tǒng)，其中在所述機器視覺檢測設(shè)備從所述人機界面采集第二圖案之前延遲一預(yù)定 時間間隔，并且如果所述人機界面的狀態(tài)為正確，則判決所述人機界面為符 合動態(tài)性能；否則，判決所述人機界面為不符合動態(tài)性能。
5. 如權(quán)利要求3所述的檢測系統(tǒng)，其中如果經(jīng)過一預(yù)定時間之后所述人機界面的狀態(tài)的錯誤率低于一預(yù)定數(shù) 值，則判決所述人機界面為穩(wěn)定；否則，判決所述人機界面為不穩(wěn)定。
6. 如權(quán)利要求l、 2、 4或5所述的檢測系統(tǒng)，還包括 與所述機器視覺檢測設(shè)備連接的計算機；其中，如果所述至少一個比較結(jié)果為錯誤，則所述可編程邏輯控制器命 令所述機器視覺檢測設(shè)備將導(dǎo)致所述錯誤的比較結(jié)果的第二圖案存儲于所述 計算機中。
7. 如權(quán)利要求l、 2、 4或5所述的檢測系統(tǒng)，其中 所述第一圖案為數(shù)字或字母。
8. —種人機界面的4全測方法，包括(A) 從可編程邏輯控制器接收至少一個第一圖案數(shù)據(jù)；(B) 根據(jù)所述至少一個第一圖案數(shù)據(jù)在至少一個人機界面位置上顯示至少一個第二圖案；(C )機器視覺檢測設(shè)備從所述至少一個人機界面位置上采集所述至少一 個第二圖案；(D) 將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖案數(shù)據(jù)；(E) 將所述至少一個第二圖案數(shù)據(jù)反饋至所述可編程邏輯控制器；(F) 所述可編程邏輯控制器將所述至少一個第一圖案數(shù)據(jù)和所述反饋的 至少一個第二圖案數(shù)據(jù)比較；以及(G) 根據(jù)至少一個比較結(jié)果判決所述人機界面的狀態(tài)為正確還是錯誤。
9.如權(quán)利要求8所述的方法，其中在步驟(A)之前，還包括步驟(H):在所述可編程邏輯控制器的至少一 個第一內(nèi)存單元中存儲所述至少一個第一圖案數(shù)據(jù)，其中所述至少一個第一 內(nèi)存單元的地址與對應(yīng)于其所存儲的第一圖案數(shù)據(jù)的至少一個人機界面位置 具有第一對應(yīng)關(guān)系；步驟(A)包括從所述可編程邏輯控制器中的至少一個第一內(nèi)存單元的 地址處獲得至少一個第一圖案數(shù)據(jù)；步驟(B)包括根據(jù)所述第一對應(yīng)關(guān)系和獲得至少一個第一圖案數(shù)據(jù)的 第 一 內(nèi)存單元的地址，將所獲得的至少 一個第 一 圖案數(shù)據(jù)在對應(yīng)的至少 一個 人機界面位置上顯示為至少一個第二圖案；步驟(D)包括將至少一個所述人機界面位置上的第二圖案識別為至少 一個第二圖案數(shù)據(jù)；在步驟(D)和(E)之間還包括步驟(I):在機器視覺檢測設(shè)備的至少 一個第三內(nèi)存單元中存儲所識別的至少 一個第二圖案數(shù)據(jù)，其中至少 一個第三內(nèi)存單元的地址與對應(yīng)于其所存儲的第二圖案數(shù)據(jù)的至少一個人機界面位 置具有第二對應(yīng)關(guān)系；步驟(E)包括根據(jù)第一對應(yīng)關(guān)系和第二對應(yīng)關(guān)系，將在所述至少一個 第三內(nèi)存單元的地址處存儲的至少 一 個第二圖案數(shù)據(jù)反饋至所述可編程邏輯 控制器的至少一個第二內(nèi)存單元，其中在分別對應(yīng)于相同的人機界面位置的 第一存儲單元的地址與第二存儲單元的地址之間具有第三對應(yīng)關(guān)系；在步驟(E)和(F)之間還包括步驟(J):在所述可編程邏輯控制器的至少一個第二內(nèi)存單元中存儲來自所述機器視覺檢測設(shè)備的至少一個第二圖 案數(shù)據(jù)；步驟(F)包括根據(jù)第三對應(yīng)關(guān)系，比較第一內(nèi)存單元所存儲的第一圖 案數(shù)據(jù)和與之對應(yīng)的第二內(nèi)存單元所存儲的第二圖案數(shù)據(jù)。
10. 如權(quán)利要求8或9所述的;f企測方法，其中步驟(G)包括如果所述至少一個比較結(jié)果全部相同，則判決所述人機 界面的狀態(tài)為正確；否則，判決所述人機界面的狀態(tài)為錯誤。
11. 如權(quán)利要求10所述的檢測方法，在步驟(C )之前還包括 步驟(K):延遲一預(yù)定時間間隔；并且步驟(G)包括如果所述人機界面的狀態(tài)為正確，則判決所述人機界面 為符合動態(tài)性能；否則，判決所述人機界面為不符合動態(tài)性能。
12. 如權(quán)利要求10所述的檢測方法，其中步驟(G)包括如果經(jīng)過一預(yù)定時間之后所述人機界面的狀態(tài)的錯誤率 低于一預(yù)定數(shù)值，則判決所述人機界面為穩(wěn)定；否則，判決所述人機界面為 不穩(wěn)定。
13. 如權(quán)利要求8、 9、 11或12所述的檢測方法，其中一計算機與所述 機器視覺檢測設(shè)備連接，還包括(L)如果所述至少一個比較結(jié)果為錯誤，則所述可編程邏輯控制器命令 所述機器視覺檢測設(shè)備將導(dǎo)致所述錯誤的比較結(jié)果的第二圖案存儲于所述計 算機中。
14. 如權(quán)利要求8、 9、 11或12所述的檢測方法，其中 所述第一圖案為數(shù)字或字母。
全文摘要
本發(fā)明公開人機界面的檢測系統(tǒng)及方法。該系統(tǒng)包括人機界面，用于從可編程邏輯控制器接收至少一個第一圖案數(shù)據(jù)并且根據(jù)所述至少一個第一圖案數(shù)據(jù)在至少一個人機界面位置上顯示至少一個第二圖案；機器視覺檢測設(shè)備，用于從所述至少一個人機界面位置上采集所述至少一個第二圖案、將所采集的至少一個第二圖案轉(zhuǎn)換為至少一個第二圖案數(shù)據(jù)并且將所述至少一個第二圖案數(shù)據(jù)反饋至所述可編程邏輯控制器；和所述可編程邏輯控制器，用于將所述至少一個第一圖案數(shù)據(jù)和所述反饋的至少一個第二圖案數(shù)據(jù)比較并且根據(jù)至少一個比較結(jié)果判決所述人機界面的狀態(tài)為正確還是錯誤。解決現(xiàn)有方法和系統(tǒng)效率低、可靠性差和一些測試無法實現(xiàn)的缺點。
文檔編號G05B19/05GK101644919SQ20081013520
公開日2010年2月10日 申請日期2008年8月4日 優(yōu)先權(quán)日2008年8月4日
發(fā)明者胡申敏, 讓-米歇爾·豪辛 申請人:施耐德電器工業(yè)公司