用于為多層圖案的視覺系統(tǒng)檢查生成合成黃金模板圖像的系統(tǒng)和方法
【專利摘要】本發(fā)明提供一種系統(tǒng)和方法，其用于在視覺系統(tǒng)中產(chǎn)生黃金模板圖像以便檢查具有多層印刷圖案的已獲取的運(yùn)行時(shí)刻圖像。所述系統(tǒng)和方法通過使用每個(gè)都在相應(yīng)的標(biāo)準(zhǔn)層掩模圖像上被訓(xùn)練的配準(zhǔn)模型在運(yùn)行時(shí)刻圖像上執(zhí)行訓(xùn)練處理并輸出姿勢。基于所述姿勢，產(chǎn)生翹曲的層掩模?；谒雎N曲的層掩模的不同組合計(jì)算組合掩模。為所述組合掩模估算所述前景區(qū)域的像素的強(qiáng)度值。然后將所述估算強(qiáng)度值與所述組合掩?；旌弦援a(chǎn)生黃金模板圖像。該黃金模板圖像可被用于與運(yùn)行時(shí)刻圖像相比較。該系統(tǒng)和方法的示例性應(yīng)用是在平坦和非平坦的表面上的印刷檢查。
【專利說明】用于為多層圖案的視覺系統(tǒng)檢查生成合成黃金模板圖像的系統(tǒng)和方法
[0001]相關(guān)申請
[0002]本申請要求序列號(hào)為61/649,861的美國臨時(shí)申請的權(quán)益，該美國臨時(shí)申請由LowellD、Jacobson等于2012年5月21日提交，標(biāo)題為用于為多層圖案的視覺系統(tǒng)檢查生成合成的黃金模板圖像的系統(tǒng)和方法，其整個(gè)內(nèi)容通過引用并入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及機(jī)器視覺系統(tǒng)且更具體地涉及在視覺系統(tǒng)中用于檢查物體和圖案的模板。
【背景技術(shù)】
[0004]在制造處理中，常常需要通過使用各種應(yīng)用技術(shù)比如移印、石版印刷等將多個(gè)印刷的或圖案化的層施加至物體的表面。例如，在印刷處理中，頁面可能包含多層墨水以便產(chǎn)生多色的圖像。許多其它物體，比如印刷的虹膜接觸鏡片、半導(dǎo)體晶片，甚至高爾夫球也可在其表面的至少一部分上包含多層印刷圖案。這些圖案在表面的至少一些位置可能重疊或可能不重疊。在此類處理中，生產(chǎn)商試圖最小化(例如)由于層之間的未對齊或由于在一個(gè)或多個(gè)層中額外的或丟失的墨水而可能出現(xiàn)的缺陷。
[0005]最小化缺陷的一個(gè)方法是使用機(jī)器視覺系統(tǒng)(此處簡單地稱為“視覺系統(tǒng)”)執(zhí)行印刷表面的可視化檢查。在單層結(jié)構(gòu)中，這可通過使用所謂的“黃金模板”比較(GTC)來實(shí)現(xiàn)，其中，參考圖像(黃金模板)從優(yōu)良部件的一個(gè)或多個(gè)圖像中產(chǎn)生。隨后，從將要檢查的每個(gè)部件的圖像中減去黃金模板圖像以產(chǎn)生強(qiáng)度或顏色“差值圖像”。在黃金模板與運(yùn)行時(shí)刻圖像之間的總的或區(qū)域的幅度差值在相減之前可被標(biāo)準(zhǔn)化。且差值圖像可以是帶正負(fù)符號(hào)的或絕對值的。顯著的差值經(jīng)常與運(yùn)行時(shí)刻部件中的缺陷相關(guān)。差值區(qū)域可通過各種技術(shù)，比如斑點(diǎn)分割和連貫性分析來檢測和量化。如果差值超過可接受的強(qiáng)度或尺寸閾值，那么部件可被認(rèn)為是有缺陷的。
[0006]然而，將標(biāo)準(zhǔn)GTC處理施加于多層印刷表面很明顯是更有問題的。例如，從物體到物體而不同(因?yàn)椴煌瑢又g的對齊)的層之間的重疊并不是很容易地通過單個(gè)黃金模板來解決。就這點(diǎn)而論，需要提供用于產(chǎn)生黃金模板的系統(tǒng)和方法，所述黃金模板允許多層印刷/圖案化的表面(通常每層中具有不同顏色)由視覺系統(tǒng)來檢查。

【發(fā)明內(nèi)容】

[0007]本發(fā)明通過提供用于產(chǎn)生黃金模板圖像且使用黃金模板比較(GTC)來檢查多層印刷/圖案化的表面的系統(tǒng)和方法來克服先前技術(shù)的缺點(diǎn)，作為輸入采用a)獲取將要檢查的圖像(例如，灰階或顏色)和b) —個(gè)(二進(jìn)制)掩膜圖像組(每個(gè)印刷層一個(gè)圖像)。每個(gè)掩模圖像(此處稱“層掩”)描述應(yīng)該由與印刷層相關(guān)的顏色占用的已獲取圖像的區(qū)域。然后，這些輸入用于產(chǎn)生合成的黃金模板圖像，利用所述黃金模板圖像可檢查第一(已獲取的)圖像。用于每個(gè)印刷層的二進(jìn)制掩模圖像可來自各種圖像數(shù)據(jù)，比如原始印刷作品(移印印刷或膠版印刷板從其中產(chǎn)生)。該圖像用于訓(xùn)練專用于該層的配準(zhǔn)模型(其利用視覺系統(tǒng)工具操作)?？紤]到將要檢查的圖像，層配準(zhǔn)模型被用于獨(dú)立地與運(yùn)行時(shí)刻圖像中的線性的、或更一般地非線性的、每個(gè)印刷層的姿勢相配準(zhǔn)。利用為該層估算的相應(yīng)配準(zhǔn)姿勢，每個(gè)層掩模圖像然后被翹曲進(jìn)入運(yùn)行時(shí)刻圖像域，以至于引起運(yùn)行時(shí)刻圖像中該層的轉(zhuǎn)移、角度、t匕例和變形。在實(shí)施例中，配準(zhǔn)姿勢可以是非線性的。然后，圖示的系統(tǒng)和方法使用邏輯操作來組合翹曲的層掩模以至于獲得描述在運(yùn)行時(shí)刻圖像中的區(qū)域的一個(gè)新的組合掩模組，該區(qū)域應(yīng)該僅被第一印刷層、僅僅第二印刷層、或其間重疊的兩層(以及有兩個(gè)以上的層的地方等等)所覆蓋。使用這些組合掩模以及將要檢查的輸入圖像，接下來為每個(gè)層組合(掩模)估算參數(shù)，比如其預(yù)期的顏色(包括慢的空間變化)。這些參數(shù)然后在受組合掩模邊界約束的填充處理中使用以創(chuàng)建黃金模板圖像，其與要被檢查的每個(gè)運(yùn)行時(shí)刻圖像相符合。因?yàn)楣浪愕膮?shù)數(shù)量比在運(yùn)行時(shí)刻、被檢查圖像中的像素?cái)?shù)量小，即使用于學(xué)習(xí)模板的圖像具有缺陷，圖示的系統(tǒng)和方法也能夠合成無缺陷的黃金模板圖像。然后，檢查以傳統(tǒng)的圖像相減過程使用合成的黃金模板圖像，以允許使用已知的技術(shù)檢測丟失或額外的印刷區(qū)域。
[0008]圖示性地，如果運(yùn)行時(shí)刻、被檢查的圖像具有明顯的嚴(yán)重缺陷，然后這些缺陷通常在配準(zhǔn)和參數(shù)估算的處理期間被檢測。例如，如果印刷層被完全丟失，那么，對該層的配準(zhǔn)步驟以及其變形將完全地失敗，或具有非常低的分?jǐn)?shù)。類似地，用于印刷層的顏色或強(qiáng)度的估算參數(shù)應(yīng)該被驗(yàn)證在可接受的范圍之內(nèi)。
[0009]然而，在各種實(shí)施例中，檢查包括從運(yùn)行時(shí)刻圖像減去黃金模板，在替換的實(shí)施例中，系統(tǒng)和方法可以從運(yùn)行時(shí)刻圖像和黃金模板圖像中計(jì)算各種表現(xiàn)，且對這些得出的表現(xiàn)進(jìn)行檢查。這包括，例如，在比較之前，使運(yùn)行時(shí)刻和黃金模板圖像平滑或高通濾波，或從兩個(gè)圖像中計(jì)算多尺度、傅里葉或微波描述。然后，這些得出的表現(xiàn)可通過相減和差值閾值設(shè)定或使用本領(lǐng)域已知的其它比較標(biāo)準(zhǔn)來比較以檢測缺陷。
[0010]在圖示的實(shí)施例中，提供用于在視覺系統(tǒng)中產(chǎn)生黃金模板圖像以便檢查具有多層印刷圖案的已獲取的運(yùn)行時(shí)刻圖像的系統(tǒng)和方法。該系統(tǒng)和方法在每個(gè)部件的運(yùn)行時(shí)刻圖像上執(zhí)行配準(zhǔn)方法以便確定一個(gè)層組中的每個(gè)預(yù)期的層的姿勢，其具有由一個(gè)標(biāo)準(zhǔn)層掩模圖像組描述的未變形的幾何形狀。然后，確定了的層姿勢被用于翹曲每個(gè)標(biāo)準(zhǔn)層掩模以便生成一組新的運(yùn)行時(shí)刻“翹曲的層掩?！?。翹曲的層掩模可從基于訓(xùn)練圖像內(nèi)的變形或當(dāng)前已獲取的運(yùn)行時(shí)刻圖像中的變形或先前已獲取的運(yùn)行時(shí)刻圖像中產(chǎn)生。然后，計(jì)算一個(gè)組合掩模組，其描述翹曲的層掩模的每一個(gè)可能的組合。通過每個(gè)組合掩模的前景區(qū)域估算強(qiáng)度或顏色(例如，紅藍(lán)綠)?？蛇x地，也可為“全部背景區(qū)域”(定義為所有翹曲的層掩模的背景的交集)估算強(qiáng)度或顏色。然后，將與每個(gè)分離的組合掩模相關(guān)的估算的強(qiáng)度或顏色混合在一起，以產(chǎn)生可在圖像的運(yùn)行時(shí)刻檢查中使用的黃金模板圖像。標(biāo)準(zhǔn)層掩模圖示地限定模糊邊緣，其隨后提供翹曲的層掩模和具有模糊邊緣(反走樣掩模)的組合掩模。標(biāo)準(zhǔn)層掩?？苫谠谶\(yùn)行時(shí)刻圖像的版本之內(nèi)的估算的線性的或非線性變形而翹曲。圖示地，標(biāo)準(zhǔn)層掩?？苫谌缭谂錅?zhǔn)步驟中計(jì)算的當(dāng)前已獲取的運(yùn)行時(shí)刻圖像中的變形而翹曲?？商娲兀蓪㈩A(yù)訓(xùn)練變形信息用于預(yù)翹曲所述標(biāo)準(zhǔn)層掩模，以用作為運(yùn)行時(shí)刻配準(zhǔn)模型。通過示例的方式，在檢查球狀物中，球形變形可被提供作為預(yù)翹曲變形信息以使標(biāo)準(zhǔn)層掩模翹曲，以至于其包括標(biāo)準(zhǔn)球形變形模型。隨后的變形可在使用運(yùn)行時(shí)刻圖像數(shù)據(jù)或來自先前已獲取的圖像(或另一個(gè)變形信息組)的訓(xùn)練圖像數(shù)據(jù)的配準(zhǔn)期間被施加。根據(jù)實(shí)施例，在混合之前，將估算強(qiáng)度值填充到與每個(gè)組合掩模相關(guān)的圖像區(qū)域。在圖示的實(shí)施例中，混合方法還可以包括特殊處理以確定位于組合掩模之間的模糊過渡區(qū)的像素的反走樣強(qiáng)度值。一般地，混合可以包括將與各種組合掩模區(qū)域相關(guān)的強(qiáng)度估算合并至單個(gè)圖像。在圖示的實(shí)施例中，混合可以通過使用強(qiáng)度的加權(quán)平均值來實(shí)現(xiàn)。另外，在實(shí)施例中，可采用一些或所有組合掩模，以產(chǎn)生在隨后的檢查循環(huán)或其它與全部的運(yùn)行時(shí)刻處理有關(guān)的動(dòng)作中使用的加權(quán)掩模。
【專利附圖】

【附圖說明】
[0011]本發(fā)明下文的描述參考附圖，其中:
[0012]圖1是根據(jù)圖示的實(shí)施例的示例性視覺系統(tǒng)布置的示意圖，其包括與計(jì)算設(shè)備(其操作包括黃金模板產(chǎn)生和比較工具的視覺系統(tǒng))互連的視覺系統(tǒng)照相機(jī)，其中多層印刷表面的圖像被獲取并檢查；
[0013]圖2是圖1的示例性多層印刷表面的已獲取的圖像的簡化版本的示意圖，其顯示層之間的重疊；
[0014]圖2A是更加實(shí)際的已獲取的、示例性運(yùn)行時(shí)刻圖像的示意圖，其圖示比如印刷層的變形和可變的重疊的效果；
[0015]圖2B是表現(xiàn)圖2A的運(yùn)行時(shí)刻圖像的內(nèi)部特征的未變形的(標(biāo)準(zhǔn))圖像；
[0016]圖2C是表現(xiàn)圖2A的運(yùn)行時(shí)刻圖像的外部特征的未變形圖像；
[0017]圖2D是與圖2A類似的另一個(gè)實(shí)際的、已獲取的圖像的示意圖，其大體地圖示該系統(tǒng)和方法在層之間出現(xiàn)實(shí)質(zhì)性轉(zhuǎn)移和旋轉(zhuǎn)情況下也能夠操作；
[0018]圖3是用于基于由運(yùn)行時(shí)刻圖像(用于翹曲標(biāo)準(zhǔn)層掩模圖像以便產(chǎn)生翹曲的層掩模)提供的配準(zhǔn)信息產(chǎn)生翹曲層掩模的圖示性過程；
[0019]圖4是用于基于在圖3的過程中產(chǎn)生的翹曲的層掩模產(chǎn)生和使用黃金模板的圖示性過程；
[0020]圖5和6是與圖2的已獲取的圖像中的示例性的層的每個(gè)的具有模糊邊緣的相關(guān)的滿值強(qiáng)度輸入掩模；
[0021]圖7是與圖2的已獲取的圖像的背景相關(guān)的滿值強(qiáng)度輸入掩模；和
[0022]圖8是包含用于多個(gè)層的每一個(gè)的重疊像素的示例性過渡區(qū)的示意圖。
【具體實(shí)施方式】
[0023]圖1示出根據(jù)圖示的實(shí)施例可被使用的示例性的視覺系統(tǒng)布置100。系統(tǒng)100包括一個(gè)或多個(gè)視覺系統(tǒng)照相機(jī)，為了簡單起見，由視覺系統(tǒng)照相機(jī)110代表。圖示的照相機(jī)110包括照相機(jī)主體112，其包含圖像傳感器(或成像器，未圖示)和用于通過鏈路114 (通常為有線的，但可以是無線的)獲取和將圖像幀傳輸至計(jì)算設(shè)備120的關(guān)聯(lián)的電子裝置。該照相機(jī)110包括適當(dāng)?shù)溺R頭116，其聚焦于包含被檢查的物體130的場景118。照相機(jī)可包括依照圖像獲取處理操作的內(nèi)部和/或外部照明器(未示出)。該計(jì)算設(shè)備可以是能夠依照圖示的實(shí)施例存儲(chǔ)和操縱圖像的任何可接受的基于處理器的系統(tǒng)。在實(shí)施例中，計(jì)算設(shè)備120可以包括運(yùn)行適當(dāng)?shù)牟僮飨到y(tǒng)的個(gè)人計(jì)算機(jī)PC，比如由微軟公司提供的Windows操作系統(tǒng)。計(jì)算設(shè)備120可包括適當(dāng)?shù)耐鈬O(shè)備，比如與照相機(jī)互連的基于總線的圖像采集卡。在替代實(shí)施例中，視覺處理器可被部分地或完全地包含在照相機(jī)主體自身內(nèi)。計(jì)算設(shè)備120可選地包括適當(dāng)?shù)娘@示器122(在此顯示場景118和物體130的已獲取的圖像140)，其能支持可依照儲(chǔ)存的視覺系統(tǒng)應(yīng)用程序150來操作的適當(dāng)?shù)膱D形用戶界面(GUI)。應(yīng)注意，在各種實(shí)施例中，顯示器可被省略和/或僅僅提供用于安裝和服務(wù)功能。應(yīng)用程序150可以是任何可接受的軟件和/或硬件包，其在檢查物體的使用中是可接受的，比如商業(yè)上可從馬薩諸塞洲的康耐視(Cognex)公司獲得的那些。計(jì)算設(shè)備還可以包括關(guān)聯(lián)的用戶界面(UI)組件，例如包括鍵盤124和鼠標(biāo)126。
[0024]根據(jù)圖示的實(shí)施例，視覺系統(tǒng)應(yīng)用程序150與一個(gè)或多個(gè)應(yīng)用程序/處理(運(yùn)行在計(jì)算設(shè)備120上)交互操作，所述應(yīng)用程序/處理共同地包含在檢查多層印刷的/圖案化表面中使用的黃金模板工具160。如下所述，工具的部分功能是基于由各種可能的來源提供的未變形的(標(biāo)準(zhǔn))圖像數(shù)據(jù)162通常在運(yùn)行時(shí)刻產(chǎn)生多個(gè)黃金模板圖像數(shù)據(jù)集。例如，在移印的物體比如印刷虹膜接觸鏡片的情況下，無變形圖像數(shù)據(jù)可以是用于每個(gè)生成虹膜層(用于產(chǎn)生在生成中涂墨于印軋的油墨印版)的原始數(shù)碼作品。圖像數(shù)據(jù)還可以是優(yōu)良印刷樣品的一幅或多幅實(shí)際的已獲得的圖像。這些圖像可被進(jìn)一步修改為適當(dāng)?shù)厝コ趧?chuàng)建每層的標(biāo)準(zhǔn)圖像中的小的、隨機(jī)的缺陷。在其它示例中，標(biāo)準(zhǔn)圖像數(shù)據(jù)可以是由用戶構(gòu)造的印刷層的合成圖像。
[0025]注意，本文執(zhí)行的各種處理和過程可通過使用電子硬件、軟件(組成程序指令的非臨時(shí)計(jì)算機(jī)可讀取媒介)、或硬件與軟件的組合來實(shí)現(xiàn)。
[0026]參考圖2，此處將使用簡化的多層印刷表面130的示例性的已獲取的圖像140來圖示系統(tǒng)和方法的操作概念。在本示例中，表面提供的多色層已被照相機(jī)傳感器轉(zhuǎn)換成灰度強(qiáng)度?？商娲?，顏色照相機(jī)傳感器可用于提供顏色運(yùn)行時(shí)刻圖像，如下文進(jìn)一步描述。層220和230相應(yīng)地以示例方式被識(shí)別為“紅色”和“綠色”，提供了兩個(gè)有區(qū)別的顏色/陰影。這是層之間在顏色、色調(diào)、陰影或強(qiáng)度差值方面的大范圍的可能的差值的示例。層220和230可以以兩個(gè)方式中的任何一個(gè)重疊(B卩，紅色在綠色上面，或綠色在紅色上面)，并顯示得出的重疊區(qū)240。
[0027]為了更實(shí)際地圖示可使用該系統(tǒng)和方法的原理檢查的真實(shí)圖像以及此種流程的艱巨性，參考圖2A-2C。圖2A特別地顯示在背景252內(nèi)的多層印刷圖案250的運(yùn)行時(shí)刻圖像。該圖像包括外部印刷層254，其利用第一顏色和/或灰階強(qiáng)度(由X領(lǐng)域表示)限定圓形圖案。內(nèi)部圖案是五角星256 (由點(diǎn)領(lǐng)域表示)。提供了一些實(shí)際的特征來渲染檢查的艱巨。首先，圖像包括變形，可能是由于印刷變化和/或如由五角星的彎曲的、大幅度彎曲的(例如260、262)展現(xiàn)的基片的形狀。雖然常常期望層與層保持相對地分離，但通常層254和256可變地重疊，如所示的，例如，重疊區(qū)域有區(qū)域270、272和273，其中，點(diǎn)和x是混合的。同樣地，區(qū)域(例如，278和280)可沒有層。
[0028]參考圖2B，五角星圖案的未變形或標(biāo)準(zhǔn)圖像280及周圍的背景282被顯示。一般地，該示例性的圖像是更直線的，且可以與實(shí)際的運(yùn)行時(shí)刻圖像圖案256顯著地不同。該圖像是下文將描述的圖示的黃金模板確定程序的使用的基礎(chǔ)之一。同樣地，圖2C中示出了具有相應(yīng)的外部背景區(qū)域292和294的外部圓圖案290的未變形的或標(biāo)準(zhǔn)圖像，此外，該圖像在形狀上更加規(guī)則，無變形/翹曲。[0029]正如下文將進(jìn)一步描述的，甚至在層展現(xiàn)出相對于彼此的顯著的轉(zhuǎn)移和/或旋轉(zhuǎn)的情況下，圖示性的實(shí)施例的系統(tǒng)和方法可以產(chǎn)生所需的結(jié)果。如參考圖2D所示和簡要描述的，運(yùn)行時(shí)刻圖像286 (具有類似于圖2A的那些的印刷層)既變形又顯著地轉(zhuǎn)移和旋轉(zhuǎn)。即，五角星圖案288位于背景289的左上部，同時(shí)，周圍的圓模型296大約旋轉(zhuǎn)45度(彎曲的箭頭R)且在X和Y軸(箭頭XT和YT)上均轉(zhuǎn)移，因此在層之間只保持有小的重疊區(qū)297。系統(tǒng)和方法分別對每一層(下文描述)配準(zhǔn)，且因此即使對于完全非重疊的轉(zhuǎn)移和/或旋轉(zhuǎn)層，圖示的系統(tǒng)和方法產(chǎn)生黃金模板圖像的操作是不可知論的。
[0030]現(xiàn)在參考圖3，且再次參考簡化的示例，其根據(jù)圖示的實(shí)施例顯示了在全部運(yùn)行時(shí)刻過程中的初始步驟300，其用于產(chǎn)生和使用在多層印刷模型中使用的黃金模板。這部分過程產(chǎn)生具有適當(dāng)?shù)呐錅?zhǔn)和翹曲以在隨后的黃金模板產(chǎn)生和檢查過程(圖4)中使用的翹曲的層掩模。在步驟310，標(biāo)準(zhǔn)圖像數(shù)據(jù)被提供作為每一層(和背景)的一個(gè)標(biāo)準(zhǔn)掩模(即，“標(biāo)準(zhǔn)層掩模”)組。標(biāo)準(zhǔn)圖像數(shù)據(jù)已通過產(chǎn)生模糊邊緣被反走樣(ant1-aliased)。利用“模糊邊緣”，其總體上意味著一個(gè)邊緣，該邊緣包括沿著已被分配強(qiáng)度(大約在前景和背景的中間)的邊緣的像素帶，從而消除其間的強(qiáng)對比線。因此，如下所述，該模糊邊緣改善了掩模的混合結(jié)果。基于包含在標(biāo)準(zhǔn)層掩模的每個(gè)中的圖像數(shù)據(jù)，在步驟312，視覺系統(tǒng)學(xué)習(xí)用于每個(gè)掩模的配準(zhǔn)模型。視覺系統(tǒng)可以通過使用商業(yè)上可得到的模型配準(zhǔn)工具，比如從Cognex公司可獲得的PatMax來執(zhí)行學(xué)習(xí)步驟和隨后的配準(zhǔn)步驟?；诿總€(gè)配準(zhǔn)模型，然后，過程針對輸入、在步驟316獲取的多層印刷物體的已獲取的運(yùn)行時(shí)刻圖像314運(yùn)行配準(zhǔn)處理?？蛇x地，如果配準(zhǔn)顯示嚴(yán)重錯(cuò)誤，比如在運(yùn)行時(shí)刻圖像中的層的顯著的(基于可接受的預(yù)設(shè)閾值)未對齊或丟失層，然后，對該圖像得出的低或無法接受的分?jǐn)?shù)導(dǎo)致物體將被拒絕，而無需(沒有)進(jìn)一步分析(可選的判定步驟320和可選的步驟322)，參見例如圖2D的顯著地未配準(zhǔn)圖像，其可能在進(jìn)一步分析發(fā)生之前可能被拒絕。然而，在圖示的實(shí)施例中的配準(zhǔn)和模板確定的分枝便利甚至在這種情況下也可能形成黃金模板。輸入下一個(gè)運(yùn)行時(shí)刻圖像(可選的步驟314)，且為下一個(gè)圖像重復(fù)該過程。在實(shí)施例中，由于未配準(zhǔn)而拒絕物體是用戶可選擇的一個(gè)選項(xiàng)。如果配準(zhǔn)在可接受的閾值之內(nèi)，配準(zhǔn)模型(步驟316)的運(yùn)行結(jié)果輸出多個(gè)運(yùn)行時(shí)刻圖像的姿勢(步驟330)。在步驟332，該姿勢信息在翹曲操作中被使用以對標(biāo)準(zhǔn)層掩模進(jìn)行重新插值，因此，其與運(yùn)行時(shí)刻圖像的相關(guān)的層對齊。為了有利于下文描述的預(yù)訓(xùn)練變形信息，可以省略該翹曲步驟(332)。掩模中包括變形是所需的，因?yàn)槊總€(gè)層可以展現(xiàn)與標(biāo)準(zhǔn)層掩模相關(guān)的其自身獨(dú)有的變形。例如，在移印處理中，存在能在轉(zhuǎn)移模型中引起獨(dú)有的變形的各種變量。翹曲處`理從而產(chǎn)生在如下所述的黃金模板的產(chǎn)生中使用的“翹曲的層掩模”的輸出組334。
[0031]因?yàn)榉侵本€變形的估算在計(jì)算方面的開銷是很大的，可以設(shè)想(在實(shí)施例中)過程300可以替代引起翹曲步驟將仿射(B卩，線性的)翹曲施加至可選地在步驟312初始學(xué)習(xí)的預(yù)變形模型(塊350)，正如在給出的生成運(yùn)行中從一個(gè)運(yùn)行時(shí)刻圖像至另一個(gè)變形通常保持相對不變。在這種情況下，在翹曲掩模上運(yùn)行配準(zhǔn)(步驟316)，以允許在步驟330中在其上產(chǎn)生姿勢。
[0032]注意，考慮到運(yùn)行時(shí)刻圖像中呈現(xiàn)的變形，在產(chǎn)生姿勢時(shí)可以使用工具來執(zhí)行非仿射翹曲，而不是產(chǎn)生與每個(gè)翹曲的層掩模有關(guān)的變形領(lǐng)域。例如，可在實(shí)施例中使用CognexPatMax工具的PaLFlex?+配準(zhǔn)方式?？墒褂昧硪粋€(gè)等同的工具。[0033]現(xiàn)在參考圖4的步驟400，現(xiàn)在進(jìn)一步詳細(xì)描述用于產(chǎn)生和使用黃金模板的過程。對于受到視覺系統(tǒng)檢查的每個(gè)運(yùn)行時(shí)刻圖像，該處理基本上是不停地出現(xiàn)。提供通過配準(zhǔn)姿勢被翹曲且通過提供模糊邊緣被反走樣的翹曲的層掩模(步驟410)。應(yīng)注意，模糊邊緣的使用是可選的且高度可變的，并且大體上避免了能影響處理的硬的或階梯式邊緣的存在。通過進(jìn)一步圖示的方式，圖5、6和7相應(yīng)地顯示與圖像層220、230和背景210有關(guān)的三個(gè)模糊掩模的三個(gè)示意性的表現(xiàn)。每個(gè)都提供了以上描述的模糊邊緣520、620和形成與下文進(jìn)一步描述的重疊層有關(guān)的過渡區(qū)域/區(qū)720。這些模糊的、翹曲的層掩模被用來在步驟420計(jì)算組合掩模。在限定“組合掩?！敝校铝忻枋霰惶峁┙o掩模Ml和M2，產(chǎn)生包含Ml和M2的重疊的掩模以及包含Ml但不包含M2，包含M2但不包含Ml和既不包含Ml也不包含M2 (即，背景掩模)的組合掩模。因此，可為該層組合產(chǎn)生一具有四個(gè)掩模的組。應(yīng)注意，掩模的一些組合可導(dǎo)致層之間沒有交叉點(diǎn)，因此與該過程不相關(guān)。在該過程中可將這些組合掩模清除。其它交叉組合掩模被用來在步驟430為每個(gè)紅綠藍(lán)通道估算強(qiáng)度(灰階)或顏色強(qiáng)度(取決于圖像類型)，且合成其中填滿強(qiáng)度或顏色的圖像。在估算步驟中，使用組合掩模的“滿值”(即，8位圖像的255強(qiáng)度值)強(qiáng)度與運(yùn)行時(shí)刻圖像440聯(lián)合使用以便執(zhí)行估算。各種統(tǒng)計(jì)技術(shù)，比如中值計(jì)算、濾波等被用來在運(yùn)行時(shí)刻圖像的區(qū)域中確定像素的強(qiáng)度且該技術(shù)被使用來估算掩模中的相關(guān)強(qiáng)度。組合掩模的滿值像素定義所謂的“內(nèi)掩膜”，在其中它們包括具有最大值255 (或另一個(gè)適當(dāng)?shù)臉O大值)的所有像素。在這種情況中，組合掩模中具有不同于255的值的剩余像素包含過渡。
[0034]在步驟440中，填充過程使用在步驟430產(chǎn)生的強(qiáng)度估算填充每個(gè)組合掩模的前景區(qū)域的每個(gè)灰階(或顏色信路)強(qiáng)度。這使用了特征在于具有大于零的任何值(與只包含最大掩模值的內(nèi)掩模相反)的“外掩?！薄Ｈ缓?，在步驟450，在步驟420提供的模糊掩模被用于將用于組合掩模圖像的估值與單個(gè)輸出圖像混合。這產(chǎn)生用于執(zhí)行檢查的輸出黃金模板圖像。檢查步驟470使用大體如上文描述的用于GTC的已知技術(shù)利用黃金模板來檢查運(yùn)行時(shí)刻圖像440。而且，以有用的背景信息的方式,在由Jean-PierreSchott等人的標(biāo)題為用于旋轉(zhuǎn)和/或縮放的圖像的黃金模板比較(GOLDEN TEMPLATE COMPARISON FOR ROTATEDAND/OR SCALED IMAGES)的美國專利號(hào)5，850, 466中發(fā)現(xiàn)了 GTC的描述，其教導(dǎo)通過參考特意的并入本文。
[0035]應(yīng)注意，設(shè)想在實(shí)施例中，可選地為全部的背景區(qū)域執(zhí)行強(qiáng)度估算。此類全部的背景區(qū)域被限定為包括通常位于(所有)翹曲的層掩模的相應(yīng)的背景區(qū)域的像素的區(qū)域。
[0036]應(yīng)注意，本文對用于內(nèi)掩模的最大強(qiáng)度值255和外掩模大于O的使用只是這些可替代值的寬范圍數(shù)字中的一個(gè)。例如，內(nèi)掩?？蛇x擇為大于235且外掩模可選擇為大于10。該參數(shù)還可以由用戶通過在各種實(shí)施例中的系統(tǒng)接口來設(shè)置。
[0037]在圖示的實(shí)施例中，混合步驟可包含在過渡區(qū)內(nèi)的每個(gè)給定位置(i，j)從背景至前景對過渡進(jìn)行建模。參考圖8中的簡化示例，層內(nèi)的重疊背景(BG) 820區(qū)域與前景(FG)830區(qū)域之間的過渡區(qū)810包括與位置(i，j)有關(guān)的背景掩?；叶戎礛Be (ij)和前景掩?；叶戎礛Fe(u)。背景的強(qiáng)度值為IBe且前景的強(qiáng)度值為Ire。因此，對于位置(i，j)，建模值是由下列等式確定的:[0038]
【權(quán)利要求】
1.一種用于在視覺系統(tǒng)中產(chǎn)生黃金模板圖像以便檢查具有多層印刷圖案的物體的已獲取的運(yùn)行時(shí)刻圖像的方法，包括以下步驟: 利用每個(gè)都在相應(yīng)的標(biāo)準(zhǔn)層掩模上被訓(xùn)練的配準(zhǔn)模型在運(yùn)行時(shí)刻圖像上執(zhí)行配準(zhǔn)處理，并輸出姿勢； 基于所述姿勢產(chǎn)生翹曲的層掩模； 基于所述翹曲的層掩模的不同組合計(jì)算組合掩模； 為所述組合掩模估算區(qū)域強(qiáng)度；和 混合與所述組合掩模相關(guān)的所述估算的強(qiáng)度值以便產(chǎn)生黃金模板圖像。
2.根據(jù)權(quán)利要求1的所述方法，其中，所述估算強(qiáng)度的步驟包括估算全部的背景區(qū)域的所述強(qiáng)度。
3.根據(jù)權(quán)利要求1的所述方法，其中，所述翹曲的層掩模限定模糊邊緣，其反過來在所述計(jì)算步驟中提供具有模糊邊緣的組合掩模。
4.根據(jù)權(quán)利要求1的所述方法，其中，所述翹曲的層掩模是基于在訓(xùn)練圖像內(nèi)的變形而產(chǎn)生的。
5.根據(jù)權(quán)利要求1的所述方法，其中，所述翹曲的層掩模是基于在當(dāng)前已獲取的所述運(yùn)行時(shí)刻圖像中的變形而產(chǎn)生的。
6.根據(jù)權(quán)利要求1的所述方法，其還包括，提供預(yù)翹曲變形信息以便翹曲在執(zhí)行所述配準(zhǔn)步驟中使用的所述標(biāo)準(zhǔn)層掩模。
7.根據(jù)權(quán)利要求1的所述方法，其還包括，基于所述估算步驟，填充與每個(gè)所述組合掩模的前景區(qū)域相關(guān)的圖像區(qū)域。
8.根據(jù)權(quán)利要求1的所述方法，其還包括為位于組合掩模的過渡區(qū)的反走樣像素確定強(qiáng)度值。
9.根據(jù)權(quán)利要求1的所述方法，其中，所述估算步驟包括對在所述組合掩模中的像素執(zhí)行統(tǒng)計(jì)濾波，和將離散的強(qiáng)度值分配至每一個(gè)像素。
10.根據(jù)權(quán)利要求1的所述方法，其中，所述強(qiáng)度是基于(a)灰階、(b)多個(gè)顏色通道和(c) η通道多頻譜圖像的其中之一。
11.根據(jù)權(quán)利要求1的所述方法，其還包括，基于來自配準(zhǔn)處理指示所述已獲取的運(yùn)行時(shí)刻圖像超過預(yù)定配準(zhǔn)參數(shù)的信息，拒絕所述已獲取的運(yùn)行時(shí)刻圖像。
12.根據(jù)權(quán)利要求1的所述方法，其還包括，基于所述黃金模板圖像對所述已獲取的運(yùn)行時(shí)刻圖像執(zhí)行黃金模板比較。
13.根據(jù)權(quán)利要求1的所述方法，其還包括，基于至少一些所述組合掩模產(chǎn)生加權(quán)掩模，其被用于相關(guān)的檢查任務(wù)。
14.根據(jù)權(quán)利要求1的所述方法，其中，為一些或所有的所述組合掩模，在一些或所有的前景區(qū)域上執(zhí)行所述估算的步驟。
15.一種用于在視覺系統(tǒng)中產(chǎn)生黃金模板圖像以便檢查具有多層印刷圖案的物體的已獲取的運(yùn)行時(shí)刻圖像的系統(tǒng)，其包括: 配準(zhǔn)工具，其使用每個(gè)都在相應(yīng)的標(biāo)準(zhǔn)層掩模上被訓(xùn)練的配準(zhǔn)模型在運(yùn)行時(shí)刻圖像上執(zhí)行配準(zhǔn)，并輸出姿勢； 工具，其被構(gòu)造和布置來(a)基于所述姿勢產(chǎn)生多個(gè)翹曲的層掩模和(b)基于所述翹曲的層掩模的不同組合計(jì)算多個(gè)組合掩模； 估算處理，其為所述組合掩模估算區(qū)域的強(qiáng)度；和 混合處理，其混合與所述組合掩模相關(guān)的所述估算強(qiáng)度值以產(chǎn)生黃金模板圖像。
16.根據(jù)權(quán) 利要求15的所述系統(tǒng)，其中，所述估算處理估算所述全部背景區(qū)域的強(qiáng)度。
17.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述翹曲的層掩模限定模糊邊緣，其反過來在所述計(jì)算步驟中提供具有模糊邊緣的組合掩模。
18.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述翹曲的層掩模是基于在訓(xùn)練圖像內(nèi)的變形而翹曲的。
19.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述翹曲的層掩模是基于在當(dāng)前已獲取的所述運(yùn)行時(shí)刻圖像中的變形而翹曲的。
20.根據(jù)權(quán)利要求15的所述系統(tǒng)，其還包括，預(yù)翹曲變形信息，以翹曲在執(zhí)行所述配準(zhǔn)中使用的所述標(biāo)準(zhǔn)層掩模。
21.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，為所述估算處理，填充與每個(gè)所述組合掩模的前景區(qū)域相關(guān)的圖像區(qū)域。
22.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述估算處理為位于組合掩模的過渡區(qū)中的反走樣像素確定強(qiáng)度值。
23.根據(jù)權(quán)利要求15的所述系統(tǒng)，在組合掩模中的像素的所述強(qiáng)度值是利用統(tǒng)計(jì)濾波確定的，并且離散的強(qiáng)度值被分配至每一個(gè)像素。
24.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述強(qiáng)度是基于(a)灰階、(b)多個(gè)顏色通道，和η通道多頻譜圖像的其中之一。
25.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述配準(zhǔn)工具包括在所述標(biāo)準(zhǔn)層掩模和所述已獲取的運(yùn)行時(shí)刻圖像之間執(zhí)行仿射變換的工具。
26.根據(jù)權(quán)利要求15的所述系統(tǒng)，其中，所述已獲取圖像的多層印刷圖案包括噴涂的、噴濺的、軋制的、激光印刷的、噴墨印刷的、石版印刷的、光抗蝕曝光的、干式轉(zhuǎn)印的和抖動(dòng)的圖像。
【文檔編號(hào)】G06K9/62GK103559680SQ201310188767
【公開日】2014年2月5日 申請日期:2013年5月20日 優(yōu)先權(quán)日:2012年5月21日
【發(fā)明者】L·D·雅各布森, 劉剛 申請人:康耐視公司