專利名稱：機(jī)器視覺(jué)分析系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及由自動(dòng)光學(xué)檢查(AOI)機(jī)器所執(zhí)行的機(jī)器視覺(jué)檢查。
背景技術(shù)：
在先美國(guó)專利No.US6580961描述了一種系統(tǒng)，其中檢查數(shù)據(jù)以閉環(huán)形式被反饋到貼裝機(jī)，從而可以在貼裝錯(cuò)誤過(guò)量之前校正貼裝錯(cuò)誤。而且公知的是，檢查機(jī)器可以向引導(dǎo)修理站和用于進(jìn)一步更詳細(xì)分析特定方面的更復(fù)雜的檢查系統(tǒng)提供數(shù)據(jù)。
但是，在這種機(jī)器對(duì)機(jī)器接口以及實(shí)際的機(jī)器對(duì)操作者接口上的限制在于檢查數(shù)據(jù)的可信賴程度。
本發(fā)明針對(duì)這個(gè)問(wèn)題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種機(jī)器視覺(jué)檢查系統(tǒng)，其包括照相機(jī)和存儲(chǔ)目標(biāo)元件屬性和測(cè)量數(shù)據(jù)的圖像處理器，其中所述圖像處理器產(chǎn)生缺陷指示，以及用于指示缺陷指示的置信度的置信度分?jǐn)?shù)值。
在一個(gè)實(shí)施例中，所述系統(tǒng)確定置信度因子，并將所述因子組合以產(chǎn)生置信度分?jǐn)?shù)。
在另一實(shí)施例中，所述系統(tǒng)產(chǎn)生屬性置信度因子值和測(cè)量置信度因子值，并且組合所述因子值以確定置信度分?jǐn)?shù)。
在另一實(shí)施例中，通過(guò)計(jì)算元件的封裝面積(footprint area)來(lái)確定測(cè)量置信度因子。
在一個(gè)實(shí)施例中，所述面積是通過(guò)確定從平面圖角度觀察到的元件邊界上的多個(gè)點(diǎn)的二維位置數(shù)據(jù)而計(jì)算出的。
在另一實(shí)施例中，通過(guò)確定元件的歪斜程度來(lái)計(jì)算測(cè)量置信度因子。
在另一實(shí)施例中，通過(guò)確定存在焊膏的元件側(cè)的數(shù)目來(lái)計(jì)算屬性置信度因子。
在一個(gè)實(shí)施例中，在照相機(jī)視場(chǎng)內(nèi)的元件圖像的位置被用于確定屬性置信度因子。
在另一實(shí)施例中，圖像處理器圍繞視場(chǎng)中心加上邊界，在所述邊界之內(nèi)置信度較高。
在另一實(shí)施例中，所述系統(tǒng)使用先驗(yàn)假設(shè)來(lái)提供置信度因子。
在一個(gè)實(shí)施例中，先驗(yàn)假設(shè)是特定測(cè)量對(duì)特定設(shè)備的預(yù)期有效性。
在另一實(shí)施例中，所述系統(tǒng)使用后驗(yàn)知識(shí)來(lái)改善置信度因子。
在另一實(shí)施例中，所述后驗(yàn)知識(shí)是通過(guò)如下方式被應(yīng)用的通過(guò)回顧缺陷和假失敗(false failure)來(lái)推測(cè)先前檢查的結(jié)果如何不同于期望的結(jié)果。
在一個(gè)實(shí)施例中，所述系統(tǒng)將缺陷數(shù)據(jù)與置信度分?jǐn)?shù)一起實(shí)時(shí)反饋到生產(chǎn)機(jī)器。
在另一實(shí)施例中，所述系統(tǒng)將缺陷數(shù)據(jù)與置信度分?jǐn)?shù)一起反饋到引導(dǎo)修理站。
在另一實(shí)施例中，所述系統(tǒng)使用置信度分?jǐn)?shù)來(lái)確定檢查圖像的輸出順序。
在一個(gè)實(shí)施例中，所述系統(tǒng)使用置信度分?jǐn)?shù)來(lái)確定應(yīng)該對(duì)產(chǎn)品中的哪個(gè)被檢查部分輸出一系列視覺(jué)觀察點(diǎn)圖像。
在另一實(shí)施例中，所述系統(tǒng)根據(jù)在所述部分的生產(chǎn)過(guò)程中涉及的生產(chǎn)機(jī)器部件來(lái)選擇所述部分。
在另一方面中，本發(fā)明提供了一種由上述檢查系統(tǒng)和生產(chǎn)機(jī)器所執(zhí)行的生產(chǎn)控制過(guò)程，所述檢查系統(tǒng)檢查由所述生產(chǎn)機(jī)器輸出的產(chǎn)品，所述過(guò)程包括以下步驟檢查系統(tǒng)將缺陷數(shù)據(jù)和相關(guān)的置信度分?jǐn)?shù)一起反饋到所述生產(chǎn)機(jī)器；并且所述生產(chǎn)機(jī)器參考所述置信度分?jǐn)?shù)而自動(dòng)在對(duì)所述缺陷數(shù)據(jù)的響應(yīng)上作出判決。
在一個(gè)實(shí)施例中，所述生產(chǎn)機(jī)器是電子元件貼裝機(jī)，并且所述缺陷數(shù)據(jù)與所述貼裝機(jī)的一部分相關(guān)聯(lián)。
在另一實(shí)施例中，所述檢查系統(tǒng)輸出一類產(chǎn)品的一部分的一系列圖像，并且根據(jù)所述置信度分?jǐn)?shù)來(lái)選擇所述部分。


從以下參考附圖以示例方式給出的對(duì)本發(fā)明某些實(shí)施例的描述中，將更清晰地理解本發(fā)明，在附圖中圖1示出了被貼裝元件的圖；圖2示出了位置參數(shù)計(jì)算點(diǎn)的圖；圖3示出了照相機(jī)視場(chǎng)以及視場(chǎng)內(nèi)邊界的圖；以及圖4示出了正確和不正確元件貼裝和相關(guān)置信度分?jǐn)?shù)的一對(duì)照片。
具體實(shí)施例方式
參考圖1，元件具有引線2和3，并且被放置在PCB上的焊盤4和5處，在焊盤4和5上有焊錫沉淀6和7。本發(fā)明的檢查系統(tǒng)對(duì)在每個(gè)引線2和3的三個(gè)外露側(cè)中的每一側(cè)處的顏色進(jìn)行分析。因此，要對(duì)元件1的總共六側(cè)進(jìn)行分析以用于錫膏檢查。
檢查系統(tǒng)以如下方式對(duì)每個(gè)焊盤自動(dòng)產(chǎn)生置信度分?jǐn)?shù)在一側(cè)存在錫膏50％確信存在缺陷；在兩側(cè)存在錫膏25％確信存在缺陷；在三側(cè)存在錫膏0％確信存在缺陷，系統(tǒng)將兩焊盤的置信度分?jǐn)?shù)組合起來(lái)，以得到存在缺陷的總置信度分?jǐn)?shù)。對(duì)存在/不存在錫膏的確定被稱為屬性置信度因子。
在本示例中，元件的每個(gè)經(jīng)分類部件提供置信度因子，該置信度因子用于產(chǎn)生存在缺陷的置信度的總分?jǐn)?shù)。
參考圖2，該系統(tǒng)產(chǎn)生用于元件尺寸核實(shí)的置信度分?jǐn)?shù)。對(duì)于元件10，系統(tǒng)繞其外周標(biāo)識(shí)出六個(gè)位置A-F。位置參數(shù)x和y按如下方式確定x＝(A+B)/2y＝((C+D)+(E+F))/4
尺寸參數(shù)X和Y按如下方式確定X＝B-AY＝C-D，E-F所確定的值與目標(biāo)值相比較，并且該比較產(chǎn)生存在缺陷的置信度分?jǐn)?shù)。所執(zhí)行的測(cè)量產(chǎn)生測(cè)量置信度因子。
參考圖3，檢查系統(tǒng)的照相機(jī)具有視場(chǎng)20。圖像處理器被編程為在該視場(chǎng)內(nèi)識(shí)別邊界21。如果在邊界21內(nèi)出現(xiàn)圖像數(shù)據(jù)(例如元件22)，則應(yīng)用比在外面(例如在23處)出現(xiàn)圖像數(shù)據(jù)的情況下更高的置信度加權(quán)。這些加權(quán)被歸入屬性置信度因子的范疇。
以上處理結(jié)果被用于產(chǎn)生以下的置信度分?jǐn)?shù)Measure_Confdence＝function(x-Confidence，y-Confidence，skew-Confidence)Attribute_Confidence＝function(Presence_Confidence，Orientation_Confidence，Joint_Confidence，OCR_Confidence，OCV_Confidence)單獨(dú)的置信度因子非常重要——每個(gè)置信度分?jǐn)?shù)都是從單獨(dú)的置信度因子中導(dǎo)出的。例如，Joint_Confidence是從用于計(jì)算焊點(diǎn)分?jǐn)?shù)的特征數(shù)據(jù)中導(dǎo)出的。它也可以作為用于判斷焊點(diǎn)是好還是壞的分類器的輸出而被導(dǎo)出。因此，置信度分?jǐn)?shù)將是對(duì)其測(cè)量和屬性置信度因子的量度。
上述兩個(gè)置信度分?jǐn)?shù)被組合，以提供從0.00到1.0的范圍中的總置信度分?jǐn)?shù)。0.0分指示具有很小置信度的缺陷，而1.0分指示具有最大置信度的缺陷。例如，當(dāng)元件未表現(xiàn)出以下狀況時(shí)將出現(xiàn)1.0分產(chǎn)生非常高的測(cè)量和屬性置信度。
如果檢查系統(tǒng)對(duì)偏移執(zhí)行測(cè)量，并且發(fā)現(xiàn)該偏移剛好略高于可允許的偏移限度，那么這將導(dǎo)致較低的測(cè)量置信度分?jǐn)?shù)。這可以被用于降低SMT生產(chǎn)線上的閉環(huán)或前饋設(shè)置中的這部分測(cè)量結(jié)果的重要性。
一般而言，存在置信度因子的三個(gè)主要范疇，包括(a)先驗(yàn)因子，屬性或測(cè)量。這依賴于被測(cè)量或檢測(cè)物和缺陷概率之間的關(guān)系的預(yù)期強(qiáng)度。例如，可能已知，對(duì)設(shè)備的特定檢查的結(jié)果正確與否將具有較高或較低概率。例如考慮同一設(shè)備的2D和3D檢查之間的差異。可能會(huì)有2D檢查指示存在，而3D檢查由于無(wú)法測(cè)量到輪廓而指示不存在的情況。系統(tǒng)可以將較高置信度分?jǐn)?shù)應(yīng)用于3D測(cè)量，因?yàn)樗诘谌S度上觀察。
(b)實(shí)際性能，屬性或測(cè)量。這包含實(shí)際檢測(cè)的、測(cè)量的或檢測(cè)的，例如上述焊膏檢查(屬性)和位置測(cè)量(測(cè)量)。
(c)后驗(yàn)因子，屬性或測(cè)量。系統(tǒng)回顧過(guò)去的置信度性能。它使用這種回顧而通過(guò)使用后驗(yàn)知識(shí)來(lái)修改未來(lái)的分?jǐn)?shù)產(chǎn)生。
已產(chǎn)生的缺陷置信度分?jǐn)?shù)可以被用于為執(zhí)行回顧或修理的操作者排序缺陷，因此真實(shí)缺陷調(diào)用更可能首先出現(xiàn)。為了增強(qiáng)這種思想，缺陷圖像和已知完好部件的圖像(被用作檢查系統(tǒng)的訓(xùn)練/設(shè)置階段的一部分)被呈現(xiàn)給操作者，如圖4所示。
在另一示例中，當(dāng)兩個(gè)或更多個(gè)檢查機(jī)器(例如AOI、AXI和ICT)被組合時(shí)，可以使用置信度分?jǐn)?shù)和測(cè)量結(jié)果來(lái)組合對(duì)于相同設(shè)備的分?jǐn)?shù)。
貝葉斯投票(Bayesian voting)可以被用于組合分?jǐn)?shù)。
在另一示例中，系統(tǒng)可以具有錯(cuò)誤重試功能當(dāng)部件失敗時(shí)，以某種其他方式對(duì)其進(jìn)行重新檢查，以提高測(cè)量的準(zhǔn)確度，該過(guò)程可能非常慢。如果可獲得置信度分?jǐn)?shù)，那么如果缺陷置信度很高，則不必執(zhí)行重新檢查以節(jié)省檢查時(shí)間。如果測(cè)量接近通過(guò)/失敗閾值，并且置信度很低，則可以執(zhí)行重新檢查。
下面概述更多置信度因子屬性到閾值的距離測(cè)量中的置信度OCR/OCV匹配分?jǐn)?shù)極性灰度等級(jí)的差異測(cè)量使用不同的測(cè)量技術(shù)，并檢查結(jié)果之間的差異到視場(chǎng)中心的距離(距離越遠(yuǎn)，置信度越低)部件和背景、邊緣強(qiáng)度、邊緣距離之間的對(duì)比測(cè)量由檢查機(jī)器確定的置信度分?jǐn)?shù)被用于自動(dòng)產(chǎn)生輸出。在一個(gè)實(shí)施例中，該分?jǐn)?shù)以閉環(huán)反饋形式被反饋到貼裝機(jī)。從而，工程師可以設(shè)置貼裝機(jī)采取校正行為的最小置信度分?jǐn)?shù)以及需要操作者輸入的分?jǐn)?shù)段。
在另一實(shí)施例中，系統(tǒng)使用分?jǐn)?shù)來(lái)為操作者排序可能發(fā)生故障的元件的圖像。最高置信度分?jǐn)?shù)的圖像被首先顯示，以使操作者對(duì)系統(tǒng)的輸出具有較高置信度。
在另一實(shí)施例中，分?jǐn)?shù)被用于確定應(yīng)該對(duì)哪個(gè)貼裝機(jī)部件(例如芯片器件或SOIC)捕獲一系列“視覺(jué)觀察點(diǎn)”圖像。該系列將從視覺(jué)上向操作者示出貼裝機(jī)部件的操作進(jìn)展。這可能從視覺(jué)上表明特定故障是一次性的，或者可能表明部件在逐漸偏離。
一個(gè)重要優(yōu)點(diǎn)在于，由于系統(tǒng)已自動(dòng)產(chǎn)生分?jǐn)?shù)，因此可以自動(dòng)或手動(dòng)執(zhí)行判決以最佳地使用被檢查數(shù)據(jù)?？梢允芤娴臋C(jī)器/站包括具有閉環(huán)反饋形式的貼裝或焊膏沉淀機(jī)器，引導(dǎo)修理站，以及視覺(jué)觀察點(diǎn)圖像捕獲和顯示功能。
本發(fā)明并不局限于所述實(shí)施例，而是可以在結(jié)構(gòu)和細(xì)節(jié)上有所變化。
權(quán)利要求
1.一種機(jī)器視覺(jué)檢查系統(tǒng)，包括照相機(jī)和存儲(chǔ)目標(biāo)元件屬性和測(cè)量數(shù)據(jù)的圖像處理器，其中所述圖像處理器產(chǎn)生缺陷指示，以及用于指示所述缺陷指示中的置信度的置信度分?jǐn)?shù)值。
2.如權(quán)利要求1所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)確定置信度因子，并將所述因子組合以產(chǎn)生置信度分?jǐn)?shù)。
3.如權(quán)利要求2所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)產(chǎn)生屬性置信度因子值和測(cè)量置信度因子值，并且組合所述因子值以確定置信度分?jǐn)?shù)。
4.如權(quán)利要求3所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中通過(guò)計(jì)算元件的封裝面積來(lái)確定測(cè)量置信度因子；并且所述面積是通過(guò)確定從平面圖角度觀察到的元件邊界上的多個(gè)點(diǎn)的二維位置數(shù)據(jù)而計(jì)算出的。
5.如權(quán)利要求2到4中的任意一個(gè)所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中通過(guò)確定存在焊膏的元件側(cè)的數(shù)目來(lái)計(jì)算屬性置信度因子；并且在照相機(jī)視場(chǎng)內(nèi)的元件圖像的位置被用于確定屬性置信度因子；并且所述圖像處理器圍繞視場(chǎng)中心加上邊界，在所述邊界之內(nèi)置信度較高。
6.如權(quán)利要求2到5中的任意一個(gè)所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)使用先驗(yàn)假設(shè)來(lái)提供置信度因子；并且其中先驗(yàn)假設(shè)是特定測(cè)量對(duì)特定設(shè)備的預(yù)期影響。
7.如權(quán)利要求2到6中的任意一個(gè)所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)使用后驗(yàn)知識(shí)來(lái)改善置信度因子；并且其中所述后驗(yàn)知識(shí)是通過(guò)如下方式被應(yīng)用的通過(guò)回顧缺陷和假失敗來(lái)推測(cè)先前檢查的結(jié)果如何不同于期望的結(jié)果。
8.如權(quán)利要求1到7中的任意一個(gè)所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)將所述缺陷數(shù)據(jù)與所述置信度分?jǐn)?shù)一起實(shí)時(shí)反饋到生產(chǎn)機(jī)器。
9.如權(quán)利要求1到8中的任意一個(gè)所述的機(jī)器視覺(jué)檢查系統(tǒng)，其中所述系統(tǒng)使用所述置信度分?jǐn)?shù)來(lái)確定應(yīng)該對(duì)產(chǎn)品中的哪個(gè)被檢查部分輸出一系列視覺(jué)觀察點(diǎn)圖像；并且其中所述系統(tǒng)根據(jù)在所述部分的生產(chǎn)過(guò)程中涉及的生產(chǎn)機(jī)器部件來(lái)選擇所述部分。
10.一種由權(quán)利要求1到9中的任意一個(gè)所述的檢查系統(tǒng)和生產(chǎn)機(jī)器所執(zhí)行的生產(chǎn)控制過(guò)程，所述檢查系統(tǒng)檢查由所述生產(chǎn)機(jī)器輸出的產(chǎn)品，其中所述過(guò)程包括以下步驟所述檢查系統(tǒng)將缺陷數(shù)據(jù)和相關(guān)的置信度分?jǐn)?shù)一起反饋到所述生產(chǎn)機(jī)器；并且所述生產(chǎn)機(jī)器參考所述置信度分?jǐn)?shù)而自動(dòng)在對(duì)所述缺陷數(shù)據(jù)的響應(yīng)上作出判決。
11.如權(quán)利要求10所述的生產(chǎn)控制過(guò)程，其中所述生產(chǎn)機(jī)器是電子元件貼裝機(jī)，并且所述缺陷數(shù)據(jù)與所述貼裝機(jī)的一部分相關(guān)聯(lián)。
12.如權(quán)利要求10或11所述的生產(chǎn)控制過(guò)程，其中所述檢查系統(tǒng)輸出一類產(chǎn)品的一部分的一系列圖像，并且根據(jù)所述置信度分?jǐn)?shù)來(lái)選擇所述部分。
全文摘要
本發(fā)明公開了一種機(jī)器視覺(jué)檢查系統(tǒng)，它捕獲被貼裝元件的圖像并且產(chǎn)生缺陷數(shù)據(jù)。所述缺陷數(shù)據(jù)指示缺陷元件以及相關(guān)的置信度分?jǐn)?shù)。所述置信度分?jǐn)?shù)根據(jù)如下因子而被產(chǎn)生例如已經(jīng)檢測(cè)到焊膏的元件引線側(cè)的數(shù)目(屬性因子)，或者測(cè)得的元件位置(測(cè)量因子)。置信度分?jǐn)?shù)使貼裝機(jī)能夠?qū)θ绾伟凑杖毕輸?shù)據(jù)行事作出判決。所述置信度分?jǐn)?shù)還被檢查系統(tǒng)用于對(duì)在哪個(gè)“視覺(jué)觀察點(diǎn)”上輸出一系列元件圖像以用于操作者的視覺(jué)檢查作出判決。
文檔編號(hào)G01R31/28GK1734228SQ20051009048
公開日2006年2月15日 申請(qǐng)日期2005年8月15日 優(yōu)先權(quán)日2004年8月13日
發(fā)明者詹姆士·馬洪, 詹姆士·特蕾西, 馬拉奇·賴斯 申請(qǐng)人:Mv研究有限公司