專利名稱：三維成像系統(tǒng)的制作方法
三維成像系統(tǒng)
背景技術：
多項專利，其中每一項都包括Gharib作為發(fā)明者并被轉讓給加州理工學院(California Institute of Technology),覆蓋了用于執(zhí)行采用與單成像儀鏡頭以及一個或多個相機/成像儀相結合的多孔徑散焦的輪廓測定(prof ilometry)的有用硬件配置。這些專利包括編號為6，278，847,7, 006，132,7, 612，869和7，612，870的美國專利，所有這些專利都由于此的受讓人所許可，并且通過引用在其整體上結合到本文中。參考這些專利可以理解散焦原理，其中二維掃描數(shù)據(jù)被用于生成三維坐標信息。本文描述了用于應用這些散焦原理的進一步改進的硬件。不管這種硬件改進，對于聚集通過散焦所確定的三維信息以便映射對象的表面，靈敏的位置信息是必需 的。該位置信息一通常被稱為相機“姿態(tài)” 一可以通過不同方式所獲得。對于Zhang (轉讓給3M)的編號為7，605，817的美國專利描述一種方法，以及對于Gharib (轉讓給加州理工學院)的編號為2009/0295908的美國專利描述另一種。兩種方法都無法提供本文所描述的姿態(tài)技術的優(yōu)點。

發(fā)明內容
因此，可選地，公開了用于執(zhí)行對象的輪廓測定的硬件和軟件配置。描述了有優(yōu)勢的成像裝置(即，成像儀、相機或掃描儀)。同樣描述了有優(yōu)勢的用以確定成像儀位置的方法。雖然最好一起使用，但所述的每一個方面都可以不依賴于其他方面而被使用。而且，該教導可以在包括速度測量等的其他領域中得到應用。三維信息可以通過使用手持成像儀/相機/掃描儀來獲得。有時，要掃描的主體大于掃描儀的視場，和/或將該主體從不同的有利位置進行掃描。為捕獲這種信息，掃描儀裝置的姿態(tài)在不同的時刻改變。然后，可以與跨越任意數(shù)量的圖像場景，在空間相關的基礎上確定相機姿態(tài)相結合來準備組合或聚集的圖像場景。在給定相機姿態(tài)確定的保真度的情況下，其在下文中稱為相機的“真實姿態(tài)”。用于通過比較場景來確定相機位置操作的這種實現(xiàn)是潛在可匹配的，對于該場景，指示場景的信息已經被確定。(其中匹配可以通過各種技術執(zhí)行，包括互相關、最小均方、超分辨率PIV或下文進一步詳細闡述的包括扭曲/反扭曲的方法)。最終或實際(即，出于組合用于系統(tǒng)輸出的數(shù)據(jù)集的目的)的相機位置的真實姿態(tài)的確定在圖像捕獲后的后處理設定中執(zhí)行。基于在圖像捕獲過程中(S卩，如以“實時”)執(zhí)行的粗略精確的相機位置確定(Sr粗略姿態(tài)”)，場景被指示為潛在可匹配的。執(zhí)行以“實時”進行的處理和其他行動，使得用戶無法識別系統(tǒng)性能中的滯后。當可能時，通過匹配(如上述)基于數(shù)據(jù)集的給定暫定姿態(tài)信息來生成粗略姿態(tài)。要在確定粗略姿態(tài)(并不再依賴)方面使用的初始相機位置信息(S卩，“暫定姿態(tài)”)可以以多種方式被生成。一般地，采用穩(wěn)健的過程來找到暫定姿態(tài)。一種方法是使用將得自于一幀的可易識別特征的簡化數(shù)據(jù)集與來自后繼幀的可易識別特征的簡化數(shù)據(jù)集進行比較的標準技術。例如，參見在110010處的美國專利公開2008/0201101 (描述申請優(yōu)先權日之前的本領域技術現(xiàn)狀)。然而，通過將當前幀中的這種特征與從先前(例如，20至100)幀累積或聚集的那些特征進行比較，這樣的方法可以被改變和增強。在任何情況下，暫定姿態(tài)本身不以任何方式被使用于所述的方法中以用于組合主體數(shù)據(jù)以產生掃描儀輸出。對于按需要提供用于牙冠產生和/或其他高精度輪廓測定應用的可運用圖像文件輸出，其分辨率遠達不到本系統(tǒng)的要求。然而，在某些情況下，暫定姿態(tài)數(shù)據(jù)在通過空間/全局匹配執(zhí)行真實姿態(tài)確定方面可以替代粗略姿態(tài)數(shù)據(jù)。使用一個比喻，暫定姿態(tài)提供位置數(shù)據(jù)，類似于為美國郵遞指明州。更接近的位置一類似于調出區(qū)域的郵政編碼一通過粗略姿態(tài)過程進行確定。真實姿態(tài)一類似于特定的郵政信箱位置一被單獨用于提供最終交付。使用真實姿態(tài)用于圖像聚集，從而避免了誤差疊加以及與不精確地址信息相關聯(lián)的數(shù)據(jù)/包丟失。使用暫定或粗略姿態(tài)使得找到真實姿態(tài)在計算上是可行的(當在較長掃描中一如在完整下頜的掃描中一采用粗略姿態(tài)時尤其如此，為此粗略姿態(tài)空間精度上的增強更加明顯)。更直接地，“暫定姿態(tài)”是暫時被使用的位置信息，但是其是相當不確定和初步的?！按致宰藨B(tài)”仍是不確定的，但在描述相機位置方面是更加精確的(粗略精確)?！罢鎸嵶藨B(tài)”是相機位置的確定，其精確到為出于預期目的而滿足系統(tǒng)規(guī)范所需的程度。作為一個例子，此精度是這樣的，使得其可以提供具有以下規(guī)范的輪廓測定輸出文件:對于單個牙齒約35微米或更好的RMS誤差，以及對于3個牙齒約40微米或更好的RMS誤差。在提供這種結果方面，于此的發(fā)明人已發(fā)現(xiàn)，當可能時，對于在確定真實姿態(tài)方面進一步利用，改進暫定姿態(tài)以生成粗略姿態(tài)是重要的，因為對按順序/時間生成的位置信息(即，暫定姿態(tài))的依賴導致誤差的疊加或積累。當掃描重要/相關區(qū)域(如在用于牙冠產生的掃描中)時，生成的誤差可能太大以至于無法精確地聚集信息以產生相關模型。這里考慮的另一方面是執(zhí)行匹配本身的方式。采用了各種技術。這些技術包括如下所述的互相關技術，以及在總體“基于姿態(tài)匹配”的過程中可選地結合旋轉元件。旋轉一幀以更緊密地匹配具有某種程度上已知的(即，暫定或粗略了解的)空間關系的另一幀允許了互相關，此互相關不能以其他方式發(fā)生。就有優(yōu)勢的硬件實現(xiàn)而言，在進行所引用的方法時，其采用具有多孔徑的單鏡頭。優(yōu)選的實施例，采用了商業(yè)上可獲得的傳感器的不同顏色通道，以利用簡化的硬件來捕獲不同波長的光(可選地由諸如LED的單色光源所發(fā)射)。如此，不需要額外的光束分離器、帶鎖定的對準控制器或其他繁瑣的硬件，從而允許產生高度緊湊和穩(wěn)健(防震動、熱循環(huán)等)的成像儀機頭。本發(fā)明包括主體裝置和方法，包括體現(xiàn)了其的硬件和軟件。更詳細的討論結合下文中的附圖來呈現(xiàn)。此申請要求2010年9月3日提交的標題為“具有多次確定的三維圖像系統(tǒng)”的美國臨時專利申請61/380094的權益，該申請通過引用在其整體上被結合到本文中。


本文所提供的附圖不一定按比例繪制，為清晰放大了某些組件和特征。從所描繪的實施例可以想到本發(fā)明的變形。因此，附圖中本發(fā)明的方面和元件的描繪并不意在限制本發(fā)明的范圍。在附圖中，圖1A示出了實施例的硬件的框圖，以及圖1B說明了與商業(yè)上可獲得的顏色傳感器相關聯(lián)的過濾器特性；圖2示出了概要流程圖；圖3八-3(:示出了圖2中實時活動的更詳細的流程圖；圖4A和4B詳細描述了互相關匹配；圖4C是說明3-D點位置確定的流程圖；圖5圖解說明了掃描過程；圖6說明了結合獲取主體牙齒的圖像的多個不同庫的使用；圖7示出了執(zhí)行全局匹配的方式；圖8說明了在參考圖3C和圖7時基于姿態(tài)的扭曲的過程中的幀查找和平移；以及圖9在功能上詳細描述了基于姿態(tài)的扭曲的技術。
具體實施例方式本發(fā)明的各種示例性實施例在以下被描述。以非限制性的意義來對這些示例做出引用。它們被提供來說明本發(fā)明的更廣泛可適用的方面。在不脫離本發(fā)明的真實精神和范圍的情況下，可對所描述的發(fā)明做出各種改變以及可替換等同物。此外，可以做出許多修改，來針對本發(fā)明的一個或 多個目標、精神或范圍，適應特定的情況、材料、物質的組成、過程、一個或多個過程動作或步驟。這種修改意在處于本文所做出的權利要求的范圍之內。成像硬件
圖1A示出了硬件實施例的框圖。手持式掃描儀100被用于對對象99成像。掃描儀100具有容納多個光學和電氣物品的外部殼體102。掃描儀可包括任何類型的相機140或接收光學信息并將該光學信息轉換成電信息的任何其他裝置。例如，這可能包括CCD相機、CMOS圖像傳感器或將可見光子轉換成電信號的任何其他種類的光電傳感器。相機140產生指示二維信息和/或三維信息中其一或二者的輸出信息。二維信息可指的是X和y坐標，被定義為垂直于在成像裝置和正被成像的對象之間的ζ軸方向111的坐標。第三維信息可以包括正交于X和y坐標并指示相機110與正被成像的對象之間的距離的ζ軸坐標。如常規(guī)一樣，坐標軸也可以被傾斜和/或反轉，因為不意圖限于此特定的坐標布局。圖像信息可被存儲為x、y和ζ坐標，或可以按照任何其他形式被存儲，諸如三維點云、三維網格或可以表示二維和/或三維信息的任何其他形式。窗口 105被形成于允許掃描三維對象99的掃描儀100的一部分中。在一個實施例中，這可以被用于掃描牙科對象，例如牙齒，以形成牙齒圖。雖然實施例描述掃描牙齒，但被成像的對象99可以是任何對象、對象的集合、對象的部分或其他標的物。例如，在牙科成像應用中，對象99可以包括牙齒、牙齒的四分之一圓周、或從其期望虛擬牙印模的牙齒的完整集合。在其他實施例中，對象可能是某些其他醫(yī)療主體，例如，眼、鼻、頭、耳或其他。包括不同顏色光元件115、116的照明器將光提供到牙齒99上。被照明對象的圖像同樣通過窗口 105被接收。隅角鏡120將所接收的輻射反射到光學系統(tǒng)125。在其他實施例中，系統(tǒng)可以在沒有隅角鏡的情況下進行操作。光學系統(tǒng)可以包括透鏡130，以及具有多個孔徑135的掩模?？讖?35可以被顏色編碼，即一個孔徑可以僅傳遞或主要傳遞藍顏色的光，而另一個孔徑可僅傳遞其中具有紅顏色的光。照明115、116可提供匹配掩模顏色的顏色，這里藍色照明來自115而紅色照明來自116。這產生信息的兩個不同通道，各通過兩個孔徑中的每個。本文所描述的在這兩個不同通道之間進行區(qū)分，以獲得來自兩個通道的不同信息。
通過孔徑135的光被提供給電子相機140，其產生指示通過孔徑所接收的光的電輸出。相機通過電纜145被連接到包括用于驅動相機和分析信息的軟件的計算裝置150。電線145可以包括用于驅動相機的電力，并且還可以接收來自相機的信息。計算裝置150可以是具有根據(jù)所存儲的程序進行操作的微處理器153的通用處理器，該程序根據(jù)本申請的技術而被描述。計算裝置還可以或可替代地包括圖形處理單元或GPU 155，例如，在驅動顯示器160的視頻卡中。例如，GPU 155可以是ATI或Nvidia的視頻卡。計算裝置還可以或可替代地包括現(xiàn)場可編程存儲器(例如門陣列)或任何定制的硬件或定制的邏輯。在一個實施例中，圖1A中的便攜手持式掃描儀可以被移動，同時仍獲得關于被掃描區(qū)域的信息。由于相機在多個不同時刻中每一個移動，所以獲得了關于該新相機位置的新信息。這允許了最終被成像的總體對象99大于窗口 105。相機140可以是標準彩色相機(例如,Micron Technology, Inc所生產的1/3-英寸SOC百萬像素CMOS數(shù)字圖像傳感器)，其使用已經是相機140內的圖像傳感器的一部分的顏色過濾器陣列來分離顏色。相機140的顏色過濾器陣列部分上的過濾器在彩色射線(此處為紅色和藍色通道)之間進行分離，以獲取信息并在由孔徑135上的顏色過濾器所傳遞的彩色射線之間進行區(qū)分。來自每一個顏色過濾孔徑的信息僅由相機140的適當?shù)倪^濾器部分所拾取。顏色過濾器陣列可以是Bayer過濾器，例如在編號為3，971，065的美國專利中所描述的，或者可替代地可以是不同種類的顏色過濾，例如CYGM過濾器和RGBE過濾器或定制的過濾器陣列(例如，如果存在被編碼為藍色和紅色的兩個孔徑，則該過濾器陣列將具有藍色和紅色的交替過濾器)。結合定制的兩色過濾器的相機將具有結合兩色兩孔徑系統(tǒng)使用全部可用傳感器區(qū)域的優(yōu)點。然而，在這種標準成像儀的使用中，僅使用了三個通道顏色(RGB)中的兩個(R，B)。這意味著光電傳感器的部分資源實質上被浪費了:未使用的顏色所處的區(qū)域。理論上，這樣的方法將系統(tǒng)的動態(tài)范圍減少了相當于不能被使用的光電傳感器表面的量的比率。對于傳統(tǒng)的Bayer過濾器，這粗略地總計為傳感器面積的一半。令人驚訝的是，這樣的方法還是被有利地實現(xiàn)了。記錄次優(yōu)數(shù)據(jù)集的傳統(tǒng)顧慮不會有問題地阻礙系統(tǒng)實體。事實上，從處理的觀點來看，通過僅選擇紅色和藍色通道，比如果記錄第三個綠色編碼孔徑和綠色通道的情況引入了更少的噪聲。參照圖1B來說明此事實。即，所說明用于傳感器的紅色(R)和藍色(B)過濾器的分離本質上確保(對于給定的強度截止或閾值而言)穿過紅色編碼孔徑的光只被記錄在傳感器的紅色通道上，而對于藍色反之亦然。如果引入綠色通道，來自綠色孔徑的光將被紅色和藍色傳感器通道中的每個更容易地吸收，并且由于透射光譜重疊，綠色傳感器通道(G)將更容易吸收(再次，在給定的閾值下)來自紅色和藍色編碼孔徑中的每個的光。已經發(fā)現(xiàn)，避免這種“串音”是為了相比對像素計數(shù)中的(有效)減少進行補償?shù)母蓛舻膫鞲衅鲾?shù)據(jù)?；旧?，通道的次選擇能夠產生具有低成本(因為它們是現(xiàn)成可獲得的)傳感器組件的高質量圖像系統(tǒng)。雖然發(fā)明的硬件方面集中在上文，但應當理解，發(fā)明性軟件和相關聯(lián)的方法可以采用不同數(shù)量的孔徑和/或顏色。無論哪種情況下，都可以采用復合顏色(例如琥珀色或白色)，即使上文討論了謹慎著色的發(fā)射器。值得注意的是，放棄使用綠色通道，以實現(xiàn)最終被使用的顏色通道之間的進一步分離，可能在此最后階段具有更加顯著的好處。散焦
如本文中一般所提及的，許多參考文獻(包括對于Gharib所提到的專利)討論了“散焦”的概念。在最廣泛的意義上，“散焦”涉及通過已知空間關系的多個針孔相機類型的孔徑來進行成像?？讖较拗屏擞上鄼C傳感器系統(tǒng)所接收的圖像。無論使用單一傳感器還是多個協(xié)調傳感器，比較從通過每個孔徑所接收到的圖像所識別出的特征的X，y坐標中的差異，以確定那些特征的ζ坐標值。將被記錄在距被掃描對象的某一距離處的特征之間的標量差，與在另一距離處的那些標量差進行比較。例如，通過孔徑的三角形布置成像所得的三角形圖案之間的差異，被用于確定ζ軸的差異。另外，校準集可以被用于改善結果的精度。通過對已知的網格圖案進行成像，并存儲校準表，所記錄圖像數(shù)據(jù)的非線性可由“反扭曲”圖像特征位置說明。邊緣定義
在掃描不規(guī)則體(例如，一個或多個牙齒)以產生三維數(shù)據(jù)輸出文件(例如，用于牙冠制造中使用的STL文件)時，定義填充三維掃描數(shù)據(jù)所到達的邊界是有用的。這樣的邊界(或“邊緣”)定義，可能有助于定義將用戶注意力集中在區(qū)域上的掃描活動以生成完整掃描的程度。而且，在某些情況下，其中掃描是未完成的，但邊緣已經被定義，可以通過插值對未掃描區(qū)域的近似值替代地進行填充。更進一步，良好定義的邊界有助于離群點過濾(pointoutlier filtering)(即，表面內側的計算中不考慮邊緣視圖之外的點)。對邊緣的用戶定義提供了某些好處。當通過在正被掃描或已被掃描的對象的數(shù)字表示上(使用指揮棒、觸摸屏界面或其他裝置)數(shù)字化繪制線或線段來執(zhí)行時，用戶可以基于觀察和經驗做出判斷呼叫 。以這種方式利用人的能力，可以幫助避免對昂貴或繁瑣植入設計的需要和/或引入用戶的定性的“眼睛”可能以其他方式避免的誤差。在如上所述的用戶產生的邊緣定義的方法中，X和y坐標信息被記錄在屏幕的參考平面中。在這樣做時，一條或多條線或曲線由用戶繪制在所顯示(已被掃描或將被掃描的)實體的圖像上。因此，此平面中的每個(比方說，藍色通道)x、y點與多個潛在的ζ值相交。然后，結合來自掃描和校準集的密集點云/集信息，真實的x、y、z可以被確定。因此，活動基于用戶輸入的二維信息來生成三維特征。圖像確定軟件綜述
圖2示出了圖像確定和處理的操作的一般流程圖。在200處，系統(tǒng)獲得在第一時間tl的圖像信息。在一個實施例中，此信息是以允許在孔徑之間進行區(qū)分的方式，通過多個孔徑來對多個圖像的捕獲。在以上所說明的實施例中，顏色過濾器被用于在通道之間進行分離?？讖街械囊粋€可與紅色過濾器相關聯(lián)，以僅傳遞或主要傳遞紅色光，以及另一個孔徑可與藍色過濾器相關聯(lián)，以僅傳遞或主要傳遞藍色光。這種方法形成信息的兩個通道，各已穿過兩個分離孔徑中的每個。根據(jù)另一個實施例，不是按顏色來分離通道，而是將孔徑以特定的布置(諸如等邊三角形)進行布置，并且處理器153在最終圖像中識別出該等邊三角形，以找到可因孔徑導致的圖像部分。根據(jù)另一個實施例，不同通道可以通過修改不同通道的偏振而形成，通過將不同的偏振置于不同的孔徑和相機傳感器上，從而在孔徑和相機二者上使用偏振。此實施例使用那些不同的偏振作為不同的通道?？梢酝ㄟ^提供不同的物理掩模形狀(有形孔徑)，或通過按時間分割改變孔徑(例如，通過將其從一處移動到另一處)，來以不同的方式形成通道。不管實現(xiàn)方式，在205處，穩(wěn)健的特征檢測器(例如，穩(wěn)健的特征檢測器可以使用現(xiàn)成的“SIFT”軟件或簡單實現(xiàn)的定制軟件)被用于通過使用(在此示例中)來自藍色通道的簡化數(shù)據(jù)集，來確定對當前圖像幀的參考。注意到，在任何一次所獲得的圖像幀都將小于總的圖像幀。該參考在本文中被稱為“關鍵點”，但可以使用在不同圖像中可被識別的任何參考。穩(wěn)健的特征檢測器找到關鍵點位置的二維信息U，y)以及用于那些關鍵點的特征向量樣式描述符。該特征向量樣式描述符在對點的任何尺度的旋轉和照明下將保持不變。特征向量樣式描述符可以通過提取對象上的感興趣點來獲得，以提供對象的“特征描述”。此描述具有足夠的信息，當試圖在包含其他對象的其他圖像中定位對象時和/或當從不同的視點/有利位置進行成像時，該足夠的信息可被用于識別該對象。從訓練圖像所提取的特征被選擇為對于圖像尺度、噪聲、照明中的變化以及局部幾何失真是穩(wěn)健的，以執(zhí)行可靠的識別。例如，這可以使用編號為6，711，293的美國專利中所述的技術。商業(yè)上可獲得的尺度不變特征變換(SIFT)軟件可被用于這種檢測。通過使用本文所描述的和美國專利N0.6，278，847和7，006, 132中所描述的類型的散焦原理和方程，對于每個關鍵點的二維點息也被確定。在210處，獲得下一幀，其中下一幀可以是在t2時刻的第2號幀。通常，幀可以被遞增以獲得下一幀。在215處，由不同ts形成暫定姿態(tài)圖。它匹配了與關鍵點相對應的三維信息的不同部分，以便獲得t’ s之間的變換T(平移和旋轉)。這表示核心時刻t與任何其他時刻tn之間的變換，通過被組合的信息，tn可包括多個n，例如，(tnl，..)。在220處，獲得針對每個所獲得的幀tn的密集點云。通過使用應用了上文所述的技術的散焦，密集點云可以獲得三維圖像信息?？梢圆⑿写_定密集集合的查找(點及其位置)和穩(wěn)健特征的識別。穩(wěn)健特征的3D坐標的查找可以在其他信息已被確定之后完成。在225處，與不同時刻之間的暫定姿態(tài)相關聯(lián)的線性變換T被用于在圖像的16x16像素窗口之間進行變換和/或互相關，這些像素窗口圍繞在不同時刻所獲得的密集點云，以獲得粗略姿態(tài)。這通過將當前的密集點集(例如，圍繞中心點的16x16像素窗口)與先前的密集點集進行互相關，或通過在稀疏點集(例如，藍色通道)上使用穩(wěn)健特征檢測來匹配幀的先前集合以找到匹配，而被完成。因此，在225處，3D信息和粗略姿態(tài)兩者都已被獲得。基于粗略姿態(tài)，在230處，確定當前信息是否足夠接近于使兩幀互相關的參考幀。如果是這樣，則執(zhí)行互相關。如果沒有幀是足夠接近的，則當前幀被拒絕。如果當前信息足夠接近于使兩幀互相關的參考幀，但在235處，新幀在某閾值距離之外，則其同樣被拒絕，但作為新參考幀而被添加。然后，姿態(tài)恢復操作可被用于建立或改善暫定姿態(tài)。在操作中，處理器被編程為與散焦方程一起處理點集合以獲得3-D圖像。如本文所述，將紅色和藍色通道用多網格進行互相關。在226處，按位置對幀進行組織。在227處，表示掃描儀的粗略姿態(tài)的變換信息通過后處理而被確定，以便獲得不同的和更精確的信息位置信息(即，“真實姿態(tài)”)。相比對于先前的姿態(tài)確定中任一種所采用的技術，后處理可以使用較不穩(wěn)健但更精確的技術。例如，較不穩(wěn)健的技術可能使得匹配超過一定量的像素差異在計算上更昂貴，但可能提供關于該匹配的更多信息。發(fā)明人發(fā)現(xiàn)，互相關技術可以是極為穩(wěn)健的，并且可以提供不同變換之間的非常精確的值。然而，使用這種更穩(wěn)健的技術來恢復在姿態(tài)之間具有大像素偏移的姿態(tài)(由此是使用粗略姿態(tài)對比純暫定姿態(tài)的值)在計算上是不可行的。使用當前的Nvidia GPU，在姿態(tài)之間超過64個或128個像素的偏移將在實時計算上將是不可行的。在227處的后處理認識到，一旦這些幀“被變換”以具有偏移，使得存在很少的像素偏移，則更精確的技術可被用于后處理。因此，在一個實施例中，步驟200至225被實時執(zhí)行，以及226和227是非實時的，其在實時粗略姿態(tài)已被計算后。這樣，操作的第一部分實時計算出暫定姿態(tài)和粗略姿態(tài)，而下一部分改善那些姿態(tài)估計。互相關
整個說明書中所引用的互相關或“Ce”操作在圖4A中被圖示。這可以是穩(wěn)健的互相關操作(例如，當使用穩(wěn)健特征時)，或者其可被用來匹配點云數(shù)據(jù)。例如，可以在諸如微處理器153或GPU 155的處理器中，執(zhí)行圖4A的操作。在415中的第一時刻/姿態(tài)以及416中的第二時刻/姿態(tài)示出項目400。例如，不同的時刻/姿態(tài)可以是相同幀的不同顏色通道，或可以使用其他通道分離技術。點可以是自然點，或例如可以由固定的照明器所施加，或可以通過使用造影劑所施加。這同樣可以研究任意位置，其是具有一定亮度、對比度和外表的表面的區(qū)域。每一幀415、416被細分成多個子部分，諸如401。415中的子部分401被示出與416中的另一子部分411進行比較。圖4A中示出了正被比較時的這兩個子部分401/411，但應當理解，為多個子部分中的每一個都執(zhí)行此操作。在420處，兩個子部分401、411被相關。每一個相關表示圖像的多個不同移位。每一個相關在425處創(chuàng)建包括多個像素的相關圖像。相關圖像中的每一個像素表示一個相關移位的結果。例如，將401和411進行互相關給出表示所有移位的單個cc圖像425。注意，所使用的互相關技術可以是任何種類的互相關類型，包括圓形、零填塞的、基于快速傅立葉變換(FFT)的或任何其他種類。例如，像素427表示在X方向上移位為零，但向下的移位(在y方向上)為3的像素。相關圖像中的每一個像素值表示一個整體移位以及相關圖像中的像素位置中乘以該量的一個整體倍增。這些值中的每一個都可以例如在GPU的著色器中或在處理器中，或在諸如門陣列或定制硬件的專用邏輯中被計算。相關平面中的最亮像素被找到。這是通過研究該像素所完成的，并且周圍像素被用于找到峰值的子像素位置。以這種方式，可以使用多種不同峰值擬合技術中的任意。最常見的峰擬合假設了 Gausssian形狀。可以使用子像素Gausssian峰值擬合。圖4B示出如何使用此技術來找到藍色通道中的點與第二通道中其對應點的網格對應性。在445處，相關圖像的網格中最亮的像素表示圖像之間最佳匹配的位置。此匹配被用于表示圖像之間的偏移。雙三次樣條可被用于在網格點之間插值。在450處，粗偏移(在445處)的集合已被找到。圖像之一(例如，紅色)然后在450處基于該偏移而被扭曲以看起來像其他圖像(例如，藍色)。這創(chuàng)建復合圖像455。在460處，圖像已被扭曲為更接近彼此。獲得了更精細的細分網格。然后，重復相關操作420、425，以得到用于更精細網格的圖像之間的新扭曲。接著再次形成表示更精細的細分的新網格。完成該過程一定次數(shù)(例如4)，在本實施例中，這反映了與在465處可獲得的計算精度相平衡的期望精度?；蛘撸梢葬槍σ恍┢渌麛?shù)量的迭代(例如，直到達到16x16像素大小為止)而繼續(xù)。在這點上，在470處，獲得最終圖像信息。它包括x、y (或表達為用于藍色通道信息的位置信息的“bx、by”)和dx、dy (藍色和紅色通道之間在位置上的移位)。3-D點位置分辨率
在一個實施例中，結合互相關技術(由圖3A中的325)生成3-D點云。通常，在藍色和紅色通道之間采用互相關來找到這些通道之間的大量對應圖像像素。利用通過互相關(例如，按照上述)所獲得的點位置信息，結合掃描儀校準信息可以獲得對應的3-D點位置。對于校準過程，執(zhí)行初始操作以基于校準網格定義校準集或表。更具體而言，對于在多個“ζ值”的每一 個處被成像的校準網格，將藍色通道中的值與紅色通道中的值進行比較。例如，藍色通道中的位置0，O將具有在紅色通道中的對應位置。此校準集/表表示從藍色通道到紅色通道的偏移。這些偏移dx和dy (其為對于紅色通道的偏移)在475處已知。對于每一個值，到x、y、z位置的平移從校準過程中同樣是已知的。因此，對于任何bx，by (B卩，藍色通道中的X和y)和dx，dy，通過應用線性代數(shù)使用校準表來確定對應的X、y、ζ值。除非另有說明，采用(bx,by, dx, dy),由圖4B中480,可以通過回溯追蹤用于匹配藍色和紅色圖像的變形來確定ζ。S卩，在圖4B中，每一個扭曲/變形迭代(450至465)表示從先前圖像到下一個變形的差異。這些變形被添加到彼此，以在470處獲得最終圖像信息(可選地按照x、y、dx、dy進行表達)。在480處，校準集被用作應用于此信息的函數(shù)，以獲得定義密集點云中的X、y和ζ位置信息。從而，通過使用校準信息從四維降低到三維，提高了精度，該校準信息對于特定相機是個別的?；谧藨B(tài)的扭曲
互相關技術還提供結合“投影平面”特征的工具?！盎谧藨B(tài)的扭曲”可被視為對平面進行投影并然后進行互相關的動作。當圖像由于重大移動(例如，巨大的平面內/外的旋轉和/或平移)而不能被直接互相關時，使用互相關或其他類似的圖像匹配算法來恢復姿態(tài)在計算上變得不可行。利用R和T的某些知識(例如，當前方法中依賴于實現(xiàn)點的暫定或粗略姿態(tài))，即使當偏移大于64像素時，在調整圖像之一為互相關之后，互相關也是可能的。結合圖8描述用于執(zhí)行調整的投影平面特征。在800處，臨近的向量被識別。在802處，識別盡可能遠的向量用于互相關。在805處，基于較少改善的姿態(tài)信息，一幀被移位(平移/旋轉)以看起來像途中的其他幀，以確定更加改善的姿態(tài)信息。更具體來說，對于第一和第二圖像(I1、12)，生成圖像12’作為對12在Il的平面中看起來將像什么的預測。所以，在12’中取一個代表點，其在三維空間中(使用校準集、可用姿態(tài)信息和密集點云信息)被平移和旋轉(即，被投影)，以在12中找到其位置。對于所考慮的全部整數(shù)點，f (x, y)表示作為連續(xù)函數(shù)的這種活動。最終，可選地被用于確定粗略和真實姿態(tài)的基于姿態(tài)的扭曲中的投影平面操作，具有的目標是從看起來彼此更相像的多個不同圖像創(chuàng)建數(shù)據(jù)以用于互相關。例如，看圖6，相機的不同姿態(tài)可以是正在看同一物品和甚至該物品上的同一位置，但是從不同的視點。例如，姿態(tài)I (R1，T1)處的圖像I可能已在650處被找到。然而，姿態(tài)2 (R2，T2)處的圖像2可能已在652處被找到。雖然這些可能都在看同一實際物品，但650可能看起來如651中所示，而652看起來如653中所示。在這點上，這些值可能差別太大和相距太遠以至于無法互相關。由圖9，函數(shù)f(x，y)被用于將圖像2’映射到圖像2中，其中圖像2’具有與圖像I相似的姿態(tài)參數(shù)(如投影平面過程800中所表示的)。然后，通過互相關過程400，流程圖單元900找到將圖像2’扭曲到圖像I的坐標系中的函數(shù)，以將圖像I和圖像2’兩者提供在同一坐標系中。在依照單元905的注釋中，在將圖像I互相關到圖像2’時，圖像2’已經被反轉，所以無需為此函數(shù)尋找逆函數(shù)。這創(chuàng)建簡化的扭曲。這樣的扭曲假定所有的Z值都為零。然而，由于通常不是這種情況，在900處f (X，y)的計算也可以通過將最小二乘平面擬合到變換f(x，y) -> (X’，y’，ζ’)來說明不同的ζ軸深度,其中
X，i; = ax Xi; + bx Yi; + cxy' i； = ay Xi; + by Yi; + cy
Z ^...這可被寫成矩陣形式。然后，通過使用新的X、1、ζ對應性創(chuàng)建點的新網格，形狀可以被平滑?；跇訔l(“Sp”)解釋，點的新網格創(chuàng)建f(x，y)與(x，y，z)之間的關系。這使用該關系
(X，y) -> X Spx(X，y) -> y Spy (X，y) -> z Spz
因此，平面映射為被平滑的3-D樣條。正如上文所引用的，使用針對相機所獲得校準集，用于藍色通道的點可被轉換為X、1、Zo由于姿態(tài)隨著X、1、Z改變而改變放大倍率，該變換不是完全線性的函數(shù)。通過以矩陣形式計算這些值，可以以這種方式對非線性的量進行補償。圖像捕獲和實時姿態(tài)確定細節(jié)
圖3A至3C定義了在處理器153和/或GPU 155上運行的程序的實現(xiàn)方式中的流程圖或實時活動。在300處,在時間幀t0處,系統(tǒng)在那一個時間幀t0中捕獲兩個圖像。這兩個圖像形成本文中所使用的兩個通道。在獲得兩個圖像(在此情況下，是顏色編碼的)后，處理的兩個并行路徑305和306被執(zhí)行。路徑305被用于(按照圖3B)確定相機姿態(tài)和執(zhí)行相機信息的粗略確定，并因此找到初步的平移信息(即，暫定姿態(tài))。路徑306被用于確定密集3-D信息。盡管本申請將這些計算描述為被并行執(zhí)行，但應當理解這些計算可以在任何時間被執(zhí)行。在310處，使用更穩(wěn)健但較不精確的技術，例如上面提到的尺度不變特征變換“SIFT”軟件或其他手段，來獲得關鍵點。無論如何，通常為多個關鍵點中的每一個確定特征向量描述符。該特征向量描述符描述了關鍵點看起來像什么。所選擇的特征對于圖像平移、縮放和旋轉是不變的，對于照明改變是部分不變的，且對于局部幾何失真是穩(wěn)健的。例如，這可以通過使用在尺度空間中應用于一系列被平滑和重采樣圖像的Gaussians函數(shù)的差值結果的最大值和最小值來被完成。在一個實施例中，成像可以通過使用著色(painted-on)特征來執(zhí)行,例如利用對比度而被應用的特征。在一個實施例中，對比度可以為利用氣霧劑噴灑的白色和黑色粒子所使用。在一個實施例中，在藍色通道圖像上執(zhí)行關鍵點的提取。然后，在315處，來自其他顏色通道(這里是紅色通道)的信息可被用于找到對應的特征。這種特征查找可以采用如本文所述的互相關。在320處，已按照這種方式獲得的關鍵點具有關于使用散焦在當前時間幀中所確定的它們3-D位置的信息。因此，處理每一個關鍵點，以獲得與該關鍵點相對應的三維信息，以及與其相關聯(lián)的描述符。此信息形成具有針對時間幀to的描述符的一組稀疏關鍵點。與暫定姿態(tài)確定路徑305并行，執(zhí)行密集點云路徑306來確定密集3_D信息，然而沒有描述符。對于時間段t0，步驟325通過使用被散焦的信息確定密集3-D點云開始。這可通過在330處的藍色和紅色通道之間進行互相關，以找到這些通道之間的許多對應點或圖像像素來完成。在335處獲得這些點的3-D位置。來自兩個通道的被散焦信息被用于確定此3D信息。在340處，姿態(tài)和3-D點云確定都已被執(zhí)行。在時間幀t0處，現(xiàn)在有兩組3_D點云:具有描述符的稀疏集(來自路徑305)以及沒有描述符的密集云(來自路徑306)。在345處，操作的下一部分進行，其找到下一個t，稱為tl。此過程繼續(xù)迭代以在多個不同的時間幀處找到多個不同的值。根據(jù)該操作，對于總體對象，存在多個不同的密集和稀疏點集的庫。例如，圖6示出了這將如何被用于獲得掃描主體的牙齒的圖像，例如600、602、604、606及其他。在610處的第一庫I表示可以根據(jù)單個掃描從掃描儀所獲得的視場。這可以對例如牙齒600、602進行成像。然而，牙齒604不在庫I (610)內的掃描儀的視場內。因此，如620所示的庫2可被用于捕獲牙齒604、606的圖像。不同的庫均可代表不同的參考。姿態(tài)方法概述
初始相機位置確定(產生“暫定姿態(tài)”)提供了在t維度中實時匹配的旋轉和平移R &T。這采用了接受點間差異的一個或多個穩(wěn)健匹配技術(例如，通過如上文所述的互相關和/或通過比較關鍵點而執(zhí)行)。在此活動之后，可選地，特征匹配通過基于姿態(tài)的扭曲來改善可匹配幀之間的姿態(tài)(產生粗略姿態(tài))。后處理通常使用該粗略姿態(tài)信息。粗略姿態(tài)通過到一個或多個空間相關幀的基于姿態(tài)的扭曲，提供關于所選幀的更多信息，并再次一可選地，允許完全匹配，以通過利用附加的先驗知識來確定更精確的姿態(tài)點(產生“真實姿態(tài)”)。暫定姿態(tài)確定
在圖3B中，開始了確定暫定姿態(tài)的操作。在350處，通過互相關技術將當前點集與先前的點集進行比較。在355處，如果點集之間存在互相關或“CC”匹配，則做出確定。如果是這樣，那么360確定存在兩個匹配的密集點云，且將控制傳遞給節(jié)點3C，步驟390，其執(zhí)行如圖3C中所示的表示庫的比較和形成的處理操作。如果在355處沒有CC匹配，則將控制傳遞以便在365處使用先前幀組的穩(wěn)健描述符(例如，SIFT描述符)，其中幀組可以在，例如，20幀和100幀之間。在370處，如果對先前的20至100幀和當前幀存在匹配，則確定。如果是這樣，則其在375處的稀疏點云之間建立匹配，并且將控制傳遞給庫節(jié)點3C (圖3C)。如果當前幀和先前20至100幀之間不存在匹配，則使用所存儲的關鍵點庫上的描述符在380處執(zhí)行姿態(tài)恢復。這將穩(wěn)健的描述符與已被創(chuàng)建的整個關鍵點庫進行比較。如果存在匹配，則其被取作暫定姿態(tài)，且將控制傳遞到3C處的庫確定。如果在385處不存在匹配，這意味著在386處所有參考幀都與當前幀距離太遠。在這點上，當前幀被拒絕(即，被丟棄)。粗略姿態(tài)確定
圖3C通過使用 在圖3B中已找到的暫定姿態(tài)來繼續(xù)姿態(tài)確定。這開始于步驟391，其獲得暫定姿態(tài)信息，并然后在392處確定是否存在接近的CC幀。如果392處的動作的結果是不存在足夠接近的CC幀，則所有幀都距離太遠且該幀被丟棄?；蛘?，它可以作為庫參考被添加以用于未來的CC活動。然而，如果存在足夠接近的CC幀，則它在393處被獲取且新幀被扭曲到較舊的幀(即，在393處投影該幀并在394處對其進行互相關)。一般地，該操作試圖找到，對于多個不同向量(場景位置值)，哪個向量最接近。目的是互相關距離盡可能遠的向量，只要它們仍然可校準。圖8以圖形化方式詳細說明如上文所引用的在對平面進行投影中所涉及的幀查找和平移。返回到圖3C，在393處投影后，R0^T0被用于將當前幀互相關到所找到的幀。這被用于找到新的姿態(tài)(粗略姿態(tài))R和T。如果在395處可以找到R和T，則出于在用戶接口裝置(例如，計算機監(jiān)視器)上顯示的目的，此更加改善的姿態(tài)可被用于在399處聚集3-D點云數(shù)據(jù)。不然的話，則在396處將當前幀與SIFT參考進行比較。如果在此階段397處未找到R和T，則其在398處作為SIFT參考被添加。否則，處理被完成，并且操作進行以獲取步驟3A處的下一個點。上文中提到，當前幀中的三維點和關鍵點通過描述符與在多個不同先前時間幀中的關鍵點相匹配。也就是說，對于每一個核心幀tn，每一個關鍵點與多個先前幀t(n-x)中的每一個相匹配，其中X可以是集合編號。例如，取決于可用的處理能力和存儲器，X可被設置為O到10000之間的任何數(shù)。在該實施例中，其被描述為處于20和100幀之間。這從而將多個幀中的每一幀與核心幀相匹配。在350處，該匹配被用于查找從當前幀到先前幀的變換。此操作確定幀η與將與幀η進行比較的所有其他幀之間的變換Tn (平移和旋轉)。此相同信息也表示用于密集點的變換。以這種方式，所有幀最后處于被稱為參考坐標系的單個坐標系中。參考坐標系是任意的，但一般來說遍及所有參考幀保持相同。如本文所述，當相機的運動導致主體的圖像已經從其最初位置移動太遠時，參考幀可以不時改變。根據(jù)另一個實施例，許多不同幀可以被用作基本幀/參考幀，使得存在許多不同的變換。例如，每個指定時間都可以有新的基本幀。在又一實施例中，變換可以被找到，以便可以存在中間幀。在又一實施例中，可以使用變換的平均來代替將變換進行組合。在360 (圖3Β中)，在參考幀與任何其他幀tn之間進行變換。這形成全部在相同坐標系中的數(shù)據(jù)的庫。所有數(shù)據(jù)都在單個坐標系中，其中該坐標系在本質上是隨機選擇的。這種系列變換可以最小化針對給定幀而被組合的變換的數(shù)量，以便從而最小化誤差傳播。在密集集合已被變換以能夠產生圖3A至3C中的全分辨率圖像之后(例如，出于顯示的目的僅在掃描期間當用戶在處理期間反饋時)，如圖7中所示執(zhí)行姿態(tài)的后處理。當最小化誤差傳播以找到如上文所定義的真實姿態(tài)，并提供最終掃描輸出產品(例如，包含在計算機可讀介質中的STL文件)時，該后處理可使用“全局匹配技術”來允許更好的幀匹配，以用于通過CNC或其他生產技術從代表數(shù)據(jù)產生物理對象。進一步改善的/真實姿態(tài)確定
作為描述這種全局匹配方法的開端，圖5示出當相機對更大的區(qū)域成像時，相機如何可以在不同的位置之間被移動。圖5中的頂部部分示出了在方向500上移動的相機，而所示的底部部分在方向505上行進。按所示順序獲得幀:1，2，3，...254，255，256。當相機正在順序地通過圖像時，其可以按每秒10次來取得圖像。雖然幀I和2在時間上接近，但實際上幀I和256之間可能有更多相似之處。例如，相機在1/256中可能比在1/2在空間上更接近。本方法說明了通過在比較圖像數(shù)據(jù)方面追求最佳的空間匹配，以確定用來組合圖像的相機姿態(tài)信息的這種可能性。在確定姿態(tài)方面，其他系統(tǒng)(例如，Zhang)聚焦于最接近時間匹配(即，相繼幀)。在實際實踐中，發(fā)明人發(fā)現(xiàn)，確實無法提前預測不同幀中的哪一個會產生最佳的空間匹配。最佳信息實際上是通過找到暫定/臨時匹配，并接著將該暫定匹配改善為不同幀的集合來獲得的。認識到此問題時，全局地執(zhí)行所引用的后處理。本實施例的處理查看不同幀的整個庫，而不是自動地將一幀與下一幀進行比較。例如，你可以從舊幀得到關于當前幀的更多信息，因為它在空間上更接近。發(fā)明人發(fā)現(xiàn)了意料之外的結果，即與多個幀同時進行匹配比與連續(xù)幀進行匹配產生更好的結果。本質上，這種全局匹配系統(tǒng)查看整個點庫，以保持追蹤跨越多個幀的相同點直到可被完成，并對該信息進行平均?？梢詫υ撜麄€庫中的所有描述符進行比較，以找到“最佳描述符”來比較具有那些最佳描述符的點。由于該點在正被成像的物品上，因此對跨越多個幀的點進行平均提供了關于該點的更多信息。因為進行平均，多個幀均貢獻姿態(tài)信息給其他空間上鄰近的幀。通過消除各種種類的隨機噪聲，平均也可以被用于更精確地找到它們的真實位置。后處理在來自盡可能遠的不同幀之間使用全局匹配。包含相同點的不同視圖的不同幀表示該相同點。由于那些點總是相同的，在它們之間進行平均將增加它們的精度。根據(jù)本系統(tǒng)，在沒有積累幀之間的點位置的誤差的情況下，對點進行平均。參照圖7的流程圖詳細示出了這種后處理。在700處，最佳的現(xiàn)有旋轉和平移R，T (通常是粗略姿態(tài))已被獲得。這已創(chuàng)建了在所有時刻相機所在的所有位置的圖。每個時刻處的每個位置都與特定的3D姿態(tài)相對應。在705處，選擇姿態(tài)作為用于該庫的根節(jié)點。本質上這可以被隨機選擇，例如通過選擇列表中的第一個姿?？商娲兀梢赃x擇標準，例如通過把質心點視為根節(jié)點姿態(tài)。在710處，操作繼續(xù)為找到靠近所選姿態(tài)的所有近鄰。該操作創(chuàng)建表示基于接近度的所有3D姿態(tài)的圖表的信息。
首先，在706處執(zhí)行基于姿態(tài)的扭曲，來使姿態(tài)扭曲以便看上去更像彼此。參照本文中的圖9詳細描述了基于姿態(tài)的扭曲。進行扭曲后，在710處找到在起始姿態(tài)的Tl內的所有近鄰姿態(tài)。這些近鄰姿態(tài)中的每個都被移除和標記。Tl是被選擇為最大的可用距離以減少誤差傳播的值，但是仍然被計算的可行性所限制。在715處，在近鄰姿態(tài)已被移除后，第二閾值T2被用于查找子女姿態(tài)。余下的所有姿態(tài)都不是根節(jié)點的近鄰。閾值T2是這樣的，使得在不同參考平面中的圖像之間存在最小重疊或沒有重疊。T2大于Tl，且被選擇為你可以通過基于姿態(tài)的扭曲找到姿態(tài)的最大距離。到根節(jié)點的在T2之內的點被稱為子女節(jié)點。超過T1+T2的任何點都離根節(jié)點太遠，并且因而子女的Tl將不會受到親體的影響。所有點都以這種方式進行分析。流程圖單元720表示繼續(xù)此操作，直到所有子女都被找到。在725處，庫內的所有節(jié)點或者是子女或者是近鄰。在這點上，此子過程被稱作“完成”。在730處，將對于根節(jié)點的近鄰中的每個都與根節(jié)點中進行平均。對于子女的近鄰中的每個也都與它的所有子女進行平均。這創(chuàng)建了已與形成平均姿態(tài)值的多個不同的近鄰進行平均的高權重(heavyweight)節(jié)點。這時，子女和根節(jié)點之間的平移被確定。子女被平移以確定子女節(jié)點在親代節(jié)點中的何處。然后，高權重子女節(jié)點被平移并與親代節(jié)點進行平均。該動作形成了基于許多不同姿態(tài)的非常高權重的節(jié)點。以這種方式被平均的姿態(tài)提供了已通過進行平均而被改進的非常精確的根節(jié)點描述。在735處所獲得的新R，T是如705的所選根節(jié)點與它的所有近鄰和子女之間的高權重平均。該新R和T被用作被后處理的姿態(tài)(最改善的，真實姿態(tài))，以重新計算具有更高精度的3-D值。此系統(tǒng)的優(yōu)點是，在沒有由時間技術將可能發(fā)生的誤差疊加的情況下，來自多個幀的相同點可以與彼此進行平均。而且，僅一層深地執(zhí)行該操作，因此誤差不會層層傳播。這意味著互相關點識別誤差不會傳播。變化形式
一個實施例執(zhí)行圖像處理的某些部分，包括通過使用雙三次樣條函數(shù)在值之間進行插值。根據(jù)一個實施例，雙三次樣條函數(shù)形成一組樣條系數(shù)。每個系數(shù)都被用于計算下一個系數(shù)。系數(shù)列表是有因果關系的，因為一個系數(shù)影響其他系數(shù)的值。根據(jù)一個實施例，通過僅使用一些先前數(shù)量的系數(shù)的作為跨越樣條系數(shù)的滑動窗口，來簡化雙三次樣條函數(shù)。發(fā)明人發(fā)現(xiàn)，可以將該滑動窗口(此處由16塊)選擇為不影響雙三次樣條計算的值。例如，通過使用16塊，系數(shù)中的誤差可以小于浮點變量的精度。然而，通過以這種方式簡化結果，可以在GPU的著色器中同時計算每一個項目。這允許大規(guī)模并行處理，使得每個單個著色器可以以這種方式僅使用16個系數(shù)來計算一部分，因此，允許每個著色器為一個像素計算一個值。重要的是，發(fā)明人發(fā)現(xiàn)，當諸如此的過程在GPU上被完成時，將所有值保持在著色器中是重要的。例如，諸如雙三次樣條的某些計算可以在著色器上被更快地執(zhí)行，但諸如分類和比較的其他計算可以在處理器上被更快地執(zhí)行。然而，發(fā)明人發(fā)現(xiàn)，著色器和主處理器之間的寫入消耗更多時間，并因而在著色器中做每件事情都更快，即使是在著色器中執(zhí)行起來效率較低的那些事情。根據(jù)一個實施例，基于姿態(tài)的扭曲使用如上所述的雙三次樣條計算，且此計算的部分或全部也可以在GPU中被更有效地執(zhí)行。在CC操作之前被執(zhí)行的另一個操作，可以相比其他值對中心、左側和右側的值更多地加權。另一個操作可以作為互相關操作的一部分而執(zhí)行來取得最終16X16正方形中的所有值的標準偏差。高于圖像的規(guī)定峰值的任何標準偏差值都被截去，使得那些峰值不對數(shù)據(jù)產生偏向。這移除了異常明亮的像素以避免對數(shù)據(jù)產生偏向。另一個操作可以利用藍色/紅色孔徑僅以一維進行移位的已知數(shù)值。因此，對于互相關細分，這種一維移位可以表示可能發(fā)生的最大位移。比此更大的任何位移都可以在互相關細分中被檢測到，并被用來對最終值加權。雖然只有幾個一些實施例已在上文中被詳細公開，但其他實施例是可能的，并且發(fā)明人意在將這些實施例包括在此說明書之內。說明書描述特定示例來實現(xiàn)可以按照另一種方式被實現(xiàn)的更一般的目標。本公開意在是示例性的，并且權利要求意在覆蓋對于本領域一般技術人員而言可以預測的任何修改或替代。例如，可以使用除互相關外的其他形式的匹配。所屬領域的技術人員將進一步了解，結合本文中公開的實施例所描述的各種說明性的邏輯塊、模塊、電路以及算法步驟，可以被實現(xiàn)為電子硬件，計算機軟件或二者的組合。為了清楚說明硬件和軟件的這種可交換性，上文已經在其功能性方面一般性地對各種說明性的組件、塊、模塊、電路和步驟進行了描述。這種功能性被實現(xiàn)為硬件還是軟件取決于特定的應用以及施加在整個系統(tǒng)上的設計約束。本領域技術人員可以針對每個特定的應用以變化方式來實現(xiàn)所描述的功能性，但這種實現(xiàn)決策不應被解釋為導致了脫離本發(fā)明的示例性實施例的范圍。結合本文中公開的實施例所描述的各種說明性的邏輯塊、模塊和電路，可以利用被設計來執(zhí)行本文所描述的功能的通用處理器、數(shù)字信號處理器(DSP)、特定應用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其他可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或它們的任何組合，來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替代方案中，處理器可以是任何傳統(tǒng)處理器、控制器、微控制器或狀態(tài)機。處理器可以是計算機系統(tǒng)的一部分，該計算機系統(tǒng)還具有與用戶接口進行通信的用戶接口端口，且該計算機系統(tǒng)接收由用戶輸入的命令，具有至少一個存儲器(例如，硬盤驅動器或其他相當?shù)拇鎯ρb置，以及隨機存取存儲器)，其存儲電子信息，包括在處理器控制下進行操作并通過用戶接口端口進行通信的程序，以及該計算機系統(tǒng)具有視頻輸出，其通過任何種類的視頻輸出格式(例如，VGA、DV1、HDMI )、顯示端口或任何其他形式產生其輸出。處理器也可以被實現(xiàn)為計算裝置的組合，例如:DSP與微處理器的組合、多個微處理器、結合DSP核心的一個或多個微處理器，或任何其他此類配置。這些裝置也可以被用來為如本文中所描述的裝置選擇值。結合本文中公開的實施例所描述的方法或算法的步驟，可被直接體現(xiàn)在硬件中、由處理器所執(zhí)行的軟件模塊中、或二者的組合中。軟件模塊可駐留在隨機存取存儲器(RAM)、閃速存儲器、只讀存儲器(ROM)、電可編程ROM (EPR0M)、電可擦除可編程ROM(EEPROM)、寄存器、硬盤、可移除磁盤、⑶-ROM、或本領域中已知的任何其他形式的存儲介質中。示利性存儲介質被耦合到處理器，使得處理器可以從存儲介質讀取信息，并將信息寫入到存儲介質。在替代方案中，存儲介質可以與處理器一體。處理器和存儲介質可以駐留在ASIC中。ASIC可駐留在用戶終端中。在替代方案中，處理器和存儲介質可以作為分立組件駐留在用戶終端中。在一個或多個示例性實施例中，所描述的功能可以在硬件、軟件、固件或其任何組合中被實現(xiàn)。如果被實現(xiàn)在軟件中，則功能可以作為一個或多個指令或代碼被存儲在計算機可讀介質上或通過其傳送。計算機可讀介質包括計算機存儲介質和通信介質兩者，該通信介質包括有助于從一個位置到另一個位置傳送計算機程序的任何介質。存儲介質可以是可由計算機訪問的任何可用介質。作為示例，而非限制，這種計算機可讀介質可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲裝置、磁盤存儲裝置或其他磁性存儲裝置，或者任何其他介質，這些介質可以被用來攜帶或存儲以指令或數(shù)據(jù)結構形式的所期望的程序代碼，并可以由計算機所訪問。存儲器儲存裝置也可以是旋轉磁性硬盤驅動器、光盤驅動器或基于閃速存儲器的存儲驅動器或其他這種固態(tài)、磁性或光學存儲裝置。而且，任何連接都可以適當?shù)胤Q為計算機可讀介質。例如，如果軟件是通過使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線路(DSL)或諸如紅外、無線電和微波的無線技術來從網站、服務器或其他遠程來源所傳送的，那么所述同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外、無線電和微波的無線技術被包括在介質的定義中。如本文所使用的磁盤和光盤包括致密盤(CD)、激光盤、光盤、數(shù)字多功能盤(DVD)、軟盤和藍光盤，其中磁盤通常磁性地再現(xiàn)數(shù)據(jù)，而光盤利用激光來光學地再現(xiàn)數(shù)據(jù)。上述的組合也應當被包括在計算機可讀介質的范圍內。如本文中所描述的操作可以在網站上或通過網站而執(zhí)行。網站可以在服務器計算機上操作，或例如通過被下載到客戶端計算機而在本地操作，或通過服務器場進行操作。網站可以通過移動電話或PDA或任何其他客戶端進行訪問。網站可以使用以任何形式的HTML代碼，例如，MHTML或XML，以及通過諸如級聯(lián)樣式表(“CSS”)或其他的任何形式使用。同樣，發(fā)明人意在的是，只有使用詞語“裝置用于”的那些權利要求旨在根據(jù)35USC 112的第六段進行解釋。而且，沒有來自說明書中的限制意在被加上另外的意思于任何權利要求中，除非那些限制被明確地包括在權利要求書中。本文中所描述的計算機可以是任何種類的計算機，或是通用計算機，或是某些專用計算機，例如工作站。程序可以以C、Java、Brew或任何其他編程語言進行編寫。程序可以駐留在存儲介質上，例如，磁性或光光學的，例如，計算機硬盤驅動器、可移除盤或介質，諸如記憶棒或SD介質或其他可移除介質。程序也可以通過網絡運行，例如，利用服務器或其他機器發(fā)送信號到本地機器，這允許該本地機器執(zhí)行本文中所描述的操作。在特定數(shù)值在本文中被提及之處，應當認為該值可以被增加或減少20%，而仍保留在本申請的教導之內，除非特別提及某些不同的范圍。盡管這些實施例中的許多討論了64位，但可以替代地使用128或256位的處理器或處理。在使用指定的邏輯意義之處，也意在包括相反的邏輯意義。提供對所公開的示例性實施例的先前描述，以使任何本領域技術人員能夠制造或使用本發(fā)明。對這些示例性實施例的各種修改對本領域技術人員來說是顯而易見的，并且在不脫離本發(fā)明的精神或范圍的情況下，本文中所定義的一般原理可被應用于其他實施例。因此，本發(fā)明并不意在被限于本文中所示出的實施例，而是被給予與本文中所公開的原理和新穎性特征相一致的最廣范圍。
權利要求
1.利用對象的掃描圖像幀來為掃描儀輸出確定相機位置的方法，所述圖像幀表示三維密集數(shù)據(jù)集，所述方法包括: 根據(jù)在時間上依次取得的多個圖像幀確定暫定相機位置；以及 通過在由所述暫定相機位置所提供的能夠被匹配的位置中的兩個圖像幀之間執(zhí)行密集信息集匹配，來確定粗略相機位置。
2.根據(jù)權利要求1的方法，其中通過執(zhí)行密集信息集匹配來確定所述暫定相機位置。
3.根據(jù)權利要求2的方法，其中所述三維數(shù)據(jù)集具有相關聯(lián)的三維關鍵點數(shù)據(jù)集，其中: 在沒有實現(xiàn)密集信息集匹配來建立暫定相機位置信息的情況下，其是通過基于它們的關鍵點數(shù)據(jù)集對幀進行匹配來確定的。
4.根據(jù)權利要求1的方法，進一步包括: 通過使用粗略相機運動確定來產生密集數(shù)據(jù)集的僅顯示聚集。
5.根據(jù)權利要求1的方法，其中確定暫定相機位置和粗略相機位置是在計算機處理器上被實時確定的。
6.根據(jù)權利要求1的方法，進一步包括: 通過使用粗略相機位置來確定改善的相機位置。
7.根據(jù)權利要求6的方法，其中確定改善的相機位置是通過后處理來執(zhí)行的。
8.根據(jù)權利要求6的方法，其中確定改善的相機位置包括: 在第一閾值距離處對多個三維密集數(shù)據(jù)集進行匹配； 將另外的多個三維密集數(shù)據(jù)集與在第一距離處被匹配的多個中的一個進行匹配； 將另外的多個三維密集數(shù)據(jù)集與在第一級處被匹配的多個中的另一個進行匹配，直到至少基本上所有感興趣的幀都如此被匹配；以及 確定所匹配的集的相對位置。
9.根據(jù)權利要求8的方法，進一步包括: 產生計算機可讀掃描輸出以用于通過使用改善的運動確定來從密集數(shù)據(jù)集的聚集產生物理模型。
10.一種改進的成像設備，該設備包括圖像傳感器；孔徑的陣列，以具有指定形狀的圖案進行布置，布置在所述成像傳感器和場景之間；透鏡部分，所述透鏡部分、成像傳感器和孔徑被布置以捕獲從場景的大量孤立可區(qū)分點反射或由其發(fā)射的光，所述光穿過多個孔徑中的每一個并在圖像傳感器處作為多個孤立可區(qū)分點圖像而被接收，所述孤立可區(qū)分點圖像均包括數(shù)目與多個孔徑的數(shù)目相同的多個圖像點；以及處理器，其用以在來自圖像傳感器的每一個孤立可區(qū)分點圖像中分析每一個圖像點，來確定場景中每一個孤立可區(qū)分點相對于場景中每一個其他孤立可區(qū)分點的相對位置，以映射場景的完整三維圖像，其中所述改進包括: 具有三個顏色通道的圖像傳感器；以及 由兩個孔徑組成的孔徑的陣列；每一個孔徑被編碼為兩個照明元件顏色中的一個，以將場景的可區(qū)分點隔離到對應的圖像傳感器顏色通道上.10.根據(jù)權利要求9的設備，包括只有兩個顏色的多個照明元件。
11.根據(jù)權利要求10的設備，其中圖像傳感器的顏色通道是紅色、綠色和藍色，以及照明元件的顏色是紅色和藍色。
12.—種改進的方法，包括使用以指定形狀的圖案進行布置的多個孔徑，通過允許來自場景的光只穿過所述多個孔徑到成像儀上，來對場景進行成像；將孔徑中的每個與成像儀的不同且分離的部分相關聯(lián)，使得穿過每個孔徑的光被成像到成像儀的不同部分上；捕獲從場景的大量孤立可區(qū)分點反射或由其發(fā)射的光，所述光穿過所述多個孔徑中的每一個并在成像儀處作為多個孤立可區(qū)分點圖像而被接收，所述孤立可區(qū)分點圖像均包括數(shù)目與所述多個孔徑的數(shù)目相同的多個圖像點；以及在來自成像儀的每一個孤立可區(qū)分點圖像中分析每一個圖像點，來確定場景中每一個孤立可區(qū)分點相對于場景中每一個其他孤立可區(qū)分點的相對位置，以映射場景的完整三維圖像，所述改進包括: 對成像儀提供三個顏色通道以用于成像；以及 只利用兩個孔徑和三個通道中的兩個來實現(xiàn)成像。
13.根據(jù)權利要求12的方法，其中所提供的三個通道是紅色、綠色和藍色，以及所利用的兩個通道是紅色和 藍色。
全文摘要
可選地，公開了用于執(zhí)行對象的輪廓測定的硬件和軟件配置。描述了有優(yōu)勢的成像裝置。還描述了有優(yōu)勢的確定成像儀位置的方法。所描述的每一個方面都可以不依賴于其他方面來被使用。而且，該教導可以在包括速度測量等的其他領域中得到應用。
文檔編號G06T7/00GK103221975SQ201080068903
公開日2013年7月24日 申請日期2010年11月19日 優(yōu)先權日2010年9月3日
發(fā)明者M.格哈里布, A.哈佛, J.盧, S.謝 申請人:加州理工學院