納米尺度下的實時三維視覺信息反饋方法
【專利摘要】本發(fā)明的目的在于提供一種納米尺度下的實時三維視覺信息反饋方法，該方法采用基于實時視覺跟蹤的自適應圖像采集策略，控制SEM在成像過程中僅掃描操作工具和納米器件所在的局部區(qū)域，以有效減少SEM成像過程中掃描的像素數，從而在保證圖像質量的前提下，提高成像的速度，并利用通用成像模型對SEM成像系統(tǒng)參數進行標定；此基礎上，根據快速獲取的SEM圖像序列對運動過程中的操作工具和納米器件進行實時連續(xù)的三維重建，從而最終實現納米尺度下的實時三維視覺信息反饋。
【專利說明】納米尺度下的實時三維視覺信息反饋方法
【技術領域】
[0001]本發(fā)明屬于微納制造過程檢測與控制領域，具體涉及一種納米尺度下的實時三維視覺息反饋方法。
【背景技術】
[0002]自動納米操作是實現規(guī)?；{米制造的關鍵。目前，納米操作雖然已在納米器件制造、納米材料特性研究和生物操作等領域得到了應用，但是由于納米器件在操作過程中受各種非線性力和熱漂移的影響，位置具有很大的不確定性，致使納米操作的可靠性和效率仍存在諸多基礎問題，嚴重制約了納米制造的自動化和規(guī)?；绊懥思{米制造技術的推廣應用。實時三維視覺信息反饋能夠在操作過程中實時反饋操作裝置和納米器件的空間三維位姿(位置和姿態(tài))，為實現自動納米操作提供重要的控制信息，因此已成為實現納米操作自動化和規(guī)?；璧年P鍵技術。
[0003]納米操作系統(tǒng)是多種技術的有機集成，隨著對納米操作技術潛在應用領域的不斷認識，納米操作技術得到了快速發(fā)展，出現了多種納米操作系統(tǒng)，其中基于原子力顯微鏡(Atomic Force Microscope, AFM)的納米操作系統(tǒng)和基于掃描電子顯微鏡(ScanningElectron Microscope, SEM)的納米操作系統(tǒng)使用最為廣泛。AFM既能進行高分辨率、高精度的納米操作，也能在多種環(huán)境下對納米尺度的物體進行觀測，被廣泛應用于在平面上對納米對象進行機械操作(如操縱納米粒子、碳納米管和生物對象等)；然而，受AFM自身特點的限制，使用AFM只能順序地進行操作和觀測，難以實現實時的信息反饋。為了解決此問題，相關研究單位借鑒機器人監(jiān)控作業(yè)方法，在商用AFM系統(tǒng)基礎上，通過加入操作力分析模型、位姿生成模型和實時信息交互等功能模塊，使用虛擬現實技術為操作者提供基于模型的實時視覺信息反饋，在一定程度上提高了這種納米操作系統(tǒng)的效率。但是由于在納米尺度下各種非線性力和熱漂移對納米器件的影響非常復雜，很難建立精確的物理模型以預測納米器件的真實位姿，因此該方法易受錯誤視覺反饋信息的影響而導致納米操作失敗。
[0004]基于SEM的納米操作系統(tǒng)在SEM工作腔內使用操作工具(納米機器人或AFM)對納米器件進行操作。由于SEM工作腔的空間較大，能夠同時容納多個操作工具；并且SEM具有分辨率高、景深大等特點，能夠直接為納米機器人或AFM等納米操作裝置提供視覺信息反饋；因此，基于SEM的納米操作系統(tǒng)已成為最具有實現自動納米操作潛力的納米操作系統(tǒng)。但是目前大部分研究機構仍然只能借助SEM拍攝的圖像獲取二維的視覺反饋結果，并使用人工遙控的方式控制納米操作過程。綜上，為運行中的納米操作裝置和納米器件提供實時的三維視覺信息反饋仍然非常困難。

【發(fā)明內容】

[0005]為解決現有技術存在的問題，本發(fā)明提供了一種納米尺度下的實時三維視覺信息反饋方法。
[0006]本發(fā)明提供的一種基于掃描電鏡的納米尺度三維形貌測量方法，包括下述步驟:[0007]第I步在進行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像；
[0008]第2步根據拍攝的靜態(tài)的SEM圖像，初始化并訓練跟蹤算法濾波器；
[0009]第3步開始納米操作后，采用SEM實時跟蹤納米器件和操作裝置進行拍攝得到多幅SEM圖像，利用所述跟蹤算法濾波器對多幅SEM圖像進行矯正處理，并獲取納米器件和操作裝置在SEM圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓練跟蹤算法濾波器；
[0010]第4步根據上述二維位置，使用電子束掃描控制系統(tǒng)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現的區(qū)域，以減少掃描區(qū)域，提高成像速度；
[0011]第5步從第I步獲取的初始圖像和第3步獲取的所述多幅樣件圖像提取特征點；
[0012]第6步對上述特征點進行對應點匹配，確定納米操作裝置和納米器件在兩幅圖像中的對應點，并去除誤匹配點；
[0013]第7步根據對應點和預先標定的成像系統(tǒng)模型內部參數，分別計算出納米操作裝置和納米器件相對初始位置的三維坐標，并實時連續(xù)地重構出納米尺寸下的三維形貌數據。
[0014]本發(fā)明方法采用基于實時視覺跟蹤的自適應圖像采集策略，控制SEM在成像過程中僅掃描操作工具和納米器件所在的局部區(qū)域，以有效減少SEM成像過程中掃描的像素數，從而在保證圖像質量的前提下，提高成像的速度，并利用通用成像模型對SEM成像系統(tǒng)參數進行標定；此基礎上，根據快速獲取的SEM圖像序列對運動過程中的操作工具和納米器件進行實時連續(xù)的三維重建，從而最終實現納米尺度下的實時三維視覺信息反饋。
【專利附圖】

【附圖說明】
[0015]圖1為本發(fā)明提供的納米尺度下的實時三維視覺信息反饋方法流程圖。
[0016]圖2為通用的成像系統(tǒng)模型示意圖。
[0017]圖3為掃描電鏡成像系統(tǒng)參數標定算法流程圖。
【具體實施方式】
[0018]下面結合附圖對本發(fā)明的【具體實施方式】作進一步說明。在此需要說明的是，對于這些實施方式的說明用于幫助理解本發(fā)明，但并不構成對本發(fā)明的限定。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。
[0019]如圖1所示，本發(fā)明所提供的納米尺度下的實時三維視覺信息反饋方法，其具體步驟如下:
[0020]第I步在進行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像；
[0021]第2步根據拍攝的靜態(tài)的SEM圖像，初始化并訓練跟蹤算法濾波器，該濾波器是一種圖像濾波器，可以對SEM圖像進行矯正處理并根據其特征獲取指定物體的二維位置；
[0022]第3步開始納米操作后，采用SEM實時跟蹤納米器件和操作裝置進行拍攝得到多幅SEM圖像，通過上述濾波器對多幅SEM圖像進行矯正處理，并獲取納米器件和操作裝置在圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓練跟蹤算法濾波器；[0023]第4步根據上述二維位置，使用電子束掃描控制系統(tǒng)(DISS5)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現的區(qū)域，即以獲取的二維位置為中心，以一定的半徑或者邊長進行圓形或者正方形掃描，其中半徑或邊長取決于納米器件和操作裝置的尺度大小，以此有效減少掃描區(qū)域，提高成像速度；
[0024]第5步從第I步獲取的初始圖像和第3步獲取的最新的多幅樣件圖像提取特征
占.[0025]本發(fā)明根據電子圖像的特性，選擇哈里斯角點檢測法提取特征點。哈里斯角點檢測法利用圖像的灰度級別來測量“角響應值”。“角響應值”是一個通過確定特征數量來探測特征點的值，可基于自動矯正矩陣Ω進行計算。自動矯正矩陣Ω可表示為:
【權利要求】
1.一種基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，該方法包括下述步驟: 第I步在進行納米操作之前，在納米器件和操作裝置的初始位置先拍攝一幅靜態(tài)的SEM圖像； 第2步根據拍攝的靜態(tài)的SEM圖像，初始化并訓練跟蹤算法濾波器； 第3步開始納米操作后，采用SEM實時跟蹤納米器件和操作裝置進行拍攝得到多幅SEM圖像，利用所述跟蹤算法濾波器對多幅SEM圖像進行矯正處理，并獲取納米器件和操作裝置在SEM圖像中的二維位置，將二維位置反饋給跟蹤算法濾波器并繼續(xù)訓練跟蹤算法濾波器； 第4步根據上述二維位置，使用電子束掃描控制系統(tǒng)，控制下次成像過程中的掃描區(qū)域，僅掃描納米器件和操作裝置可能出現的區(qū)域，以減少掃描區(qū)域，提高成像速度； 第5步從第I步獲取的初始圖像和第3步獲取的所述多幅樣件圖像提取特征點； 第6步對上述特征點進行對應點匹配，確定納米操作裝置和納米器件在兩幅圖像中的對應點，并去除誤匹配點； 第7步根據對應點和預先標定的成像系統(tǒng)模型內部參數，分別計算出納米操作裝置和納米器件相對初始位置的三維坐標，并實時連續(xù)地重構出納米尺寸下的三維形貌數據。
2.根據權利要求1所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第5步中采用哈里斯角點檢測法提取特征點。
3.根據權利要求2所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第5步中，提取特征點的過程為: 設圖像中任一點的像素坐標為(u, V),其灰度值為I,該點的角響應值為c (U, V): c (u, V) = I Ω (u, V) -0.04 X trace ( Ω (u, v))2 其中，I Ω (u,v) I為自動矯正矩陣Ω的行列式值，trace為矩陣的跡，得到函數c (U，V)的局部最大解作為特征點O ;.U2+V2.{(dl'f dl dl、
4.根據權利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第6步中，計算兩幅圖像中每個特征點與其它特征點的相關系數，如果其相關系數大于所設定的閾值的兩點認定為匹配點。
5.根據權利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第6步中對應點匹配的具體過程為: 對于任一特征點O得到其自動矯正矩陣Ω的兩個特征值入^和定義tO = Ki + ^2 ;對從不同角度拍攝的兩幅圖像對IdB 12，記P和q分別為Harris算子在兩幅四像中檢測出的特征點，記P和Q分別為由Harris算子在中檢測出的特征點P和q的集合；定義S (P, q)為P和q的相似度函數:
6.根據權利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第7步中所述成像系統(tǒng)模型為: 設一幅SEM圖像有WXH個像素，每個像素的坐標為(U，V)，其中u≤W，V≤H;) 二維圖像中的每個像素對應三維空間中的一條射線L，該射線使用普朗克參數化法進行表示:
7.根據權利要求1、2或3所述的基于掃描電鏡的納米尺度三維形貌測量方法，其特征在于，第7步中所述成像系統(tǒng)模型進行參數標定的過程為: Al)使用原子力顯微鏡測量微型平面標定塊的三維數據，并將每個點的三維坐標與微型平面標定塊上的隨機圖案的灰度值一一對應，即測量得到的標定塊數據表示為(X，1，z,gray),其中x, y, z為微型平面標定塊上某點的空間三維坐標，gray為灰度值； A2)在任意N，NS 2個位置各拍攝一幅微型平面標定塊的電子圖像，得到N幅電子圖像，并進行圖像矯正；每次拍攝時標定塊與電子掃描電鏡的相對位置不同，定義每次拍攝時標定塊的坐標系為局部坐標系；A3)對于拍攝得到的每個電子圖像中給定的某個像素S，根據表面的隨機圖案，從上述N幅圖像中找出對應點，從而確定其對應的N個空間三維點在局部坐標系下的齊次坐標為Pi, i=l,2,…，N ;設Ri和Ti分別為其它位置到全局坐標系的旋轉平移矩陣，根據N幅電子圖像中標定塊上的特征點，計算標定塊對應的同形矩陣Hi ； A4)根據同形矩陣計算對應的旋轉平移矩陣Ri和Ti,確定拍攝時的其它位置與第一個位置的相對位置關系； A5)根據相對位置關系，確定電子圖像中某個像素S在N個位置上對應的空間點的全局坐標； A6)最后使用上述N個空間點擬合該像素對應的空間直線方程； A7)重復步驟A5)和A6)，根據電子圖像中的特征點和線性插值計算出所有像素對應的空間直線方程，完成參數標定。
【文檔編號】G01B15/04GK103900504SQ201410142472
【公開日】2014年7月2日 申請日期:2014年4月10日 優(yōu)先權日:2014年4月10日
【發(fā)明者】李中偉, 史玉升, 劉行健, 鐘凱 申請人:華中科技大學