專利名稱：對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的領(lǐng)域，更具體而言，涉及用于對準(zhǔn)來自切片標(biāo)本的有序堆疊的圖像的方法和設(shè)備。
背景技術(shù)：
對標(biāo)本切片并成像，用于分析目的以及教學(xué)目的。有了描述切片標(biāo)本的堆疊的圖像，就能夠生成該標(biāo)本的合成視圖，以分析標(biāo)本的結(jié)構(gòu)和解剖性質(zhì)。在實驗室中，例如從石蠟塊切割標(biāo)本之后，切片標(biāo)本的公共坐標(biāo)系丟失，導(dǎo)致堆疊圖像中的未對準(zhǔn)。這一損失導(dǎo)致堆疊圖像之間的平移和旋轉(zhuǎn)差異。另一個未對準(zhǔn)的來源可能來自基于人工執(zhí)行的步驟的切片制備?？赡軙l(fā)生平移、縮放和拉伸。此外，可能會發(fā)現(xiàn)變形，例如拉伸的組織、破裂的組織和缺失的組織。為了在數(shù)字域中(即成像之后)對準(zhǔn)標(biāo)本的組織學(xué)切片，需要抵消變形過程的結(jié)果以及公共坐標(biāo)系的丟失。用于對準(zhǔn)的典型解決方案是在制備期間在標(biāo)本塊中增加標(biāo)記作為人工基準(zhǔn)，例如，通過在石蠟中嵌入在成像后對其進(jìn)行探測的標(biāo)記。然后可以使用這些標(biāo)記的位置計算變換參數(shù)。不過，這樣的額外標(biāo)記需要額外的準(zhǔn)備步驟。此外，在數(shù)字化之后用于存儲圖像的存儲空間增大，因為為了拍攝在實際標(biāo)本旁邊增加的標(biāo)記，對額外區(qū)域進(jìn)行了成像。因此，希望不在標(biāo)本塊中使用額外的標(biāo)記來對準(zhǔn)有序堆疊的圖像。下文描述了一種無需在標(biāo)本塊中增加額外標(biāo)記的情況下對準(zhǔn)一系列圖像的方法:“Computer-Based Alignment and Reconstruction of Serial Sections，，，John C. Fiala禾口 Kirsten Μ. Harris, Boston University, Microscopy and Analysis，第 5-7 頁，2002 年1月。為了進(jìn)行對準(zhǔn)，通過對用戶輸入的一組點對應(yīng)進(jìn)行計算來對圖像進(jìn)行變換。為了對準(zhǔn)一系列圖像，重復(fù)對準(zhǔn)過程，其中將下一個要對準(zhǔn)的圖像與此前剛對準(zhǔn)的圖像進(jìn)行對準(zhǔn)。除上述參考文獻(xiàn)之外，在以下段落中提到更多參考文獻(xiàn)-Gerard de Haan 等人，“True motion estimation with 3D_recursive searchblock matching，，，IEEE transactions on circuits and systems of video technology,第3卷，第5期，1993年10月；-美國專利No. 5072293 ；-US 2008/0144716A1 ；-David G. Lowe, "Object recognition from local scale-invariantfeatures，，，International Conference on Computer Vision, 1999,第 1150-1157頁；以及-David G. Lowe,"Distinctive image features from scale-invariantkeypoints，，，International Journal of Computer Vision, 2004,第 91-110 頁。

發(fā)明內(nèi)容
不過，不在標(biāo)本塊中使用額外的標(biāo)記時，各種局部變形，例如缺失和破損組織，使得難以魯棒性地對準(zhǔn)切片標(biāo)本的每幅圖像。
考慮到病理圖像的尺寸大，通常為64kX64k像素，所以用于自動對準(zhǔn)的計算要求變得很關(guān)鍵。于是，非常希望有減輕計算需求的快速對準(zhǔn)程序。有利的是實現(xiàn)一種用于對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的方法，并實現(xiàn)一種能夠魯棒性地對準(zhǔn)有序堆疊的圖像并能夠以低計算需求實現(xiàn)快速對準(zhǔn)的對準(zhǔn)設(shè)備。為了更好地解決一個或多個這些問題，在本發(fā)明的第一方面中，提出了一種用于對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的方法，包括如下相繼的步驟a)針對有序堆疊的至少兩個已經(jīng)對準(zhǔn)的圖像確定與有序堆疊中下一個要對準(zhǔn)的非對準(zhǔn)圖像的相應(yīng)的未對準(zhǔn)；b)從至少兩個對準(zhǔn)圖像選擇與非對準(zhǔn)圖像具有最小未對準(zhǔn)量的那個對準(zhǔn)圖像作為參考圖像；以及c)對準(zhǔn)非對準(zhǔn)圖像與選擇的參考圖像。為了進(jìn)一步解決一個或多個這些問題，在本發(fā)明的第二方面中，提出了一種用于對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的設(shè)備，包括如下裝置確定器，其針對有序堆疊的至少兩個已經(jīng)對準(zhǔn)的圖像確定與有序堆疊中下一個要對準(zhǔn)的非對準(zhǔn)圖像的相應(yīng)的未對準(zhǔn)；選擇器，其從至少兩個對準(zhǔn)圖像選擇與非對準(zhǔn)圖像具有最小未對準(zhǔn)量的那個對準(zhǔn)圖像作為參考圖像；以及對準(zhǔn)器，其用于對準(zhǔn)非對準(zhǔn)圖像和選擇的參考圖像。針對每個要對準(zhǔn)圖像確定至少兩個未對準(zhǔn)可以提供魯棒的對準(zhǔn)方式。選擇提供最小的未對準(zhǔn)量的對準(zhǔn)圖像作為對準(zhǔn)參考圖像也可以確保魯棒的對準(zhǔn)方式。僅僅將非對準(zhǔn)圖像與選擇的參考圖像對準(zhǔn)意味著僅需要一次從非對準(zhǔn)圖像變換成對準(zhǔn)圖像的需要計算的變換，可以實現(xiàn)簡化的計算需求，并可以進(jìn)一步允許快速對準(zhǔn)。根據(jù)至少一個實施例，通過運(yùn)動估計確定相應(yīng)的未對準(zhǔn)，使得每個未對準(zhǔn)都由估計的位移場描述。這可以快速確定相應(yīng)的未對準(zhǔn)并實現(xiàn)簡化的計算需求。根據(jù)至少一個實施例，所述位移場包括至少一個位移矢量，所述位移矢量描述如何移動要對準(zhǔn)的圖像中的像素以便將這個圖像與選擇的參考圖像對準(zhǔn)。這也可以快速確定相應(yīng)的未對準(zhǔn)并實現(xiàn)簡化的計算需求。根據(jù)至少一個實施例，對準(zhǔn)圖像和下一個要對準(zhǔn)的非對準(zhǔn)圖像被分成塊，通過塊匹配算法獲得相應(yīng)的位移場。這樣可以進(jìn)一步增加對準(zhǔn)的魯棒性。根據(jù)至少一個實施例，根據(jù)相應(yīng)的對準(zhǔn)圖像和下一個要對準(zhǔn)的非對準(zhǔn)圖像之間的相應(yīng)匹配誤差計算相應(yīng)未對準(zhǔn)量，其中基于預(yù)定的匹配準(zhǔn)則計算所述匹配誤差，且其中選擇匹配誤差最小的對準(zhǔn)圖像作為參考圖像。這個特征也可以快速確定相應(yīng)的未對準(zhǔn)并實現(xiàn)簡化的計算需求。根據(jù)至少一個實施例，將非對準(zhǔn)圖像與所選擇的參考圖像對準(zhǔn)包括基于變換參數(shù)變換非對準(zhǔn)圖像，所述變換參數(shù)描述如何變換非對準(zhǔn)圖像以便實現(xiàn)與選擇的參考圖像的對準(zhǔn)，且其中對于每個對準(zhǔn)步驟，僅變換當(dāng)前正對準(zhǔn)的相應(yīng)非對準(zhǔn)圖像。這個特征可以允許減少與將非對準(zhǔn)圖像變換成與選擇的參考圖像對準(zhǔn)相關(guān)的計算負(fù)擔(dān)。根據(jù)至少一個實施例，如果所確定的所有未對準(zhǔn)量都高于特定閾值，將從有序堆疊的圖像中丟棄下一個要對準(zhǔn)的非對準(zhǔn)圖像，且在這種情況下，可以任選地進(jìn)一步用已經(jīng)對準(zhǔn)的圖像的內(nèi)插替代丟棄的圖像，和/或如果在當(dāng)前未對準(zhǔn)確定步驟中對準(zhǔn)圖像的未對準(zhǔn)量與其余未對準(zhǔn)量相反高于特定閾值，將不會把該對準(zhǔn)圖像用于進(jìn)一步的未對準(zhǔn)確定步驟。這個特征可以增強(qiáng)對準(zhǔn)的魯棒性并減小對準(zhǔn)相對于局部變形的靈敏度。根據(jù)至少一個實施例，在確定相應(yīng)的未對準(zhǔn)之前，將圖像中的至少一個轉(zhuǎn)換到另一信號空間中，使得所有圖像都在可比較的信號空間中。這個特征允許對準(zhǔn)不同染色劑的圖像，同時保持簡單的匹配準(zhǔn)則。這個特征也可以允許使用實現(xiàn)改進(jìn)或進(jìn)一步簡化的未對準(zhǔn)確定的信號空間。根據(jù)至少一個實施例，該設(shè)備包括運(yùn)動估計器，用于通過運(yùn)動估計來確定相應(yīng)的未對準(zhǔn)，使得每個未對準(zhǔn)由估計的位移場描述。運(yùn)動估計器可以快速且有計算效率地確定未對準(zhǔn)量。根據(jù)至少一個實施例，通過目標(biāo)識別確定相應(yīng)的未對準(zhǔn)。這個特征可以允許進(jìn)一步增加對準(zhǔn)過程的魯棒性。根據(jù)至少一個實施例，通過運(yùn)動估計確定相應(yīng)的未對準(zhǔn)，使得每個未對準(zhǔn)都由估計的位移場描述，并且如果反復(fù)發(fā)生大的未對準(zhǔn)量，則通過目標(biāo)識別而非運(yùn)動估計來確定未對準(zhǔn)。這個特征可以在基于運(yùn)動估計的快速簡單的未對準(zhǔn)確定過程和基于目標(biāo)識別的更復(fù)雜魯棒的未對準(zhǔn)確定過程之間自動切換，因此考慮到先前對準(zhǔn)迭代中確定的未對準(zhǔn)，魯棒性和用于對準(zhǔn)的計算負(fù)擔(dān)之間的權(quán)衡得以優(yōu)化。所有以上方法步驟都要自動或至少部分自動地執(zhí)行。通過組合均以“根據(jù)至少一個實施例”開始的以上段落中闡述的兩個或更多個體特征獲得其他實施例。因此，上述這些段落不應(yīng)被解釋為實施例僅能包括上述特征的單個特征。相應(yīng)地獲得設(shè)備的其他實施例，使得適于執(zhí)行代表實施例的方法的任何設(shè)備也是實施例。此外，本發(fā)明涉及一種計算機(jī)程序產(chǎn)品，其使得處理器能夠執(zhí)行上述方法步驟，并且還涉及存儲這種計算機(jī)程序產(chǎn)品的數(shù)據(jù)載體。本發(fā)明的這些和其他方面將從下文描述的實施例變得顯而易見并參考其加以闡述。


圖1示出了相繼對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的過程；圖2是流程圖，圖示了用于根據(jù)本發(fā)明的至少一個實施例對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的方法；圖3示出了用于根據(jù)本發(fā)明的實施例對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的設(shè)備。附圖標(biāo)記列表10確定器11運(yùn)動估計器12運(yùn)動估計器20選擇器30對準(zhǔn)器32轉(zhuǎn)換器；34變換器100 設(shè)備
具體實施方式
在以下本發(fā)明的實施例中，將結(jié)合附圖更詳細(xì)地解釋本發(fā)明。圖1圖示了相繼對準(zhǔn)來自標(biāo)本(例如切片標(biāo)本)的有序堆疊的圖像的過程。如圖1所示，在對準(zhǔn)有序堆疊的圖像之前，該堆疊被認(rèn)為是完全非對準(zhǔn)的，包括四個非對準(zhǔn)圖像C0, C1, C2和c3。通過基于已經(jīng)對準(zhǔn)的圖像相繼或遞歸地對準(zhǔn)堆疊中仍是非對準(zhǔn)的圖像，如例如圖1中間所示，圖1示出了已經(jīng)對準(zhǔn)的圖像A和Γι以及仍要對準(zhǔn)的圖像C2和C3，可以對有序堆疊的圖像完全對準(zhǔn)，從而將所有初始非對準(zhǔn)的圖像(VCpC2和C3變換成對準(zhǔn)的圖像IV ri、巧和！^。在下文中，將用于圖1的符號表示法在剩余的描述中通篇使用將用附圖標(biāo)記C表示非對準(zhǔn)圖像，而將用附圖標(biāo)記r表示已經(jīng)對準(zhǔn)的圖像。由下標(biāo)序號表示有序堆疊中圖像的相應(yīng)位置(不論是否對準(zhǔn)或非對準(zhǔn))，使得如圖1中間示范性所示，例如對準(zhǔn)的圖像巧被對準(zhǔn)的圖像A和非對準(zhǔn)圖像C2圍繞。圖2是流程圖，用于圖示根據(jù)本發(fā)明的實施例對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的方法。在根據(jù)至少一個實施例的方法的開始，在圖2的步驟SlO中，將有序堆疊的一個非對準(zhǔn)圖像c確定為是無需對準(zhǔn)變換的對準(zhǔn)圖像r :r0 = C(l。于是，選擇這幅圖像作為起點，用于相繼對準(zhǔn)有序堆疊的圖像。盡管在圖2的步驟SlO中，選擇序號為0的圖像作為起始值，但該方法不限于這個起始位置。可以選擇有序堆疊的圖像中的任何位置，例如堆疊的中間位置。此外，可以確定起始位置，從而選擇預(yù)計由于人工準(zhǔn)備而導(dǎo)致具有最小量的未對準(zhǔn)的圖像作為起點。這可以是例如具有最小截面的圖像，因為可以預(yù)期變形的絕對量會是最小。不過，由于其他原因，這也可能是覆蓋大部分切片表面的圖像。在步驟S20中，然后確定對準(zhǔn)圖像A和下一個要對準(zhǔn)的圖像C1之間的未對準(zhǔn)S00下文將論述確定未對準(zhǔn)s的適當(dāng)方式。然后，在步驟S30中，基于確定的未對準(zhǔn)％將圖像C1與A對準(zhǔn)，因此執(zhí)行對準(zhǔn)變換，導(dǎo)致。一IV在下文中，將使用Ci^ri的符號表示法表示已經(jīng)將(前一)非對準(zhǔn)圖像(^變換成對準(zhǔn)圖像在步驟S35中，然后將位置指針i設(shè)置到0，以設(shè)置用于根據(jù)本發(fā)明的至少一個實施例的遞歸法的起始位置。類似于上述，對于非遞歸執(zhí)行的步驟S10，也可以將位置指針i設(shè)置成任何其他適當(dāng)值。選擇值i = 0，僅僅是為了簡化以下解釋。對于根據(jù)至少一個實施例的方法而言，非遞歸執(zhí)行的步驟SlO到S35僅僅是任選的?，F(xiàn)在，將解釋用于相繼對準(zhǔn)有序堆疊的圖像的方法的遞歸執(zhí)行的步驟。在步驟S40中，確定對準(zhǔn)圖像A和下一個要對準(zhǔn)的非對準(zhǔn)圖像ci+2之間的未對準(zhǔn)Si，以及對準(zhǔn)圖像ri+1和下一個要對準(zhǔn)的非對準(zhǔn)圖像(V2之間的未對準(zhǔn)si+1。在下一步S50中，分別針對未對準(zhǔn)Si和確定相應(yīng)的未對準(zhǔn)量f (Si)和f(si+1)。確定未對準(zhǔn)量表示從未對準(zhǔn)S導(dǎo)出量f(S)，從而可以將量f (S)用于比較。最簡單地，計算未對準(zhǔn)S的絕對大小作為量f (S)。如果將未對準(zhǔn)S表示為矢量，或者可以計算矢量分量絕對值之和(與計算總和絕對差(縮寫為SAD)相同，因為未對準(zhǔn)已經(jīng)是差異矢量)，或者計算矢量分量值的均方誤差(MSE)作為量f(s)。在步驟S70中，然后將在步驟S50中確定的未對準(zhǔn)量f (Si)和f (si+1)彼此比較。在f (Si)小于f(si+1)的情況下，對準(zhǔn)圖像A是下一個要對準(zhǔn)的圖像(V2與其具有最小未對準(zhǔn)量的圖像，從而在步驟S74中將選擇對準(zhǔn)圖像ri作為參考圖像r#if。在f (Si)大于等于
7f(si+1)的情況下，對準(zhǔn)圖像是下一個要對準(zhǔn)的圖像(V2與其具有最小未對準(zhǔn)量的圖像，因此在步驟S76中將選擇對準(zhǔn)圖像IV1作為參考圖像r銷。在步驟S74或步驟S76中選擇r參考之后，在步驟S80中，將下一個要對準(zhǔn)的圖像ci+2與I^it對準(zhǔn)，包括將(V2對準(zhǔn)變換成ri+2，使得ci+2 — ιν2。基于確定的未對準(zhǔn)Si (如果在步驟S74中已選擇了或確定的未對準(zhǔn)si+1 (如果在步驟S76中已選擇了執(zhí)行這一對準(zhǔn)變換。在步驟S80中的對準(zhǔn)變換之后，在步驟S90中檢查有序堆疊的圖像是否完全對準(zhǔn)，即是否未留下非對準(zhǔn)圖像C。如果堆疊尚未完全對準(zhǔn)，即堆疊中仍然有要對準(zhǔn)的圖像，在步驟S95中將位置指針i加一，然后進(jìn)行執(zhí)行步驟S40到S90的下一次遞歸(或迭代)以對準(zhǔn)下一幅圖像。如果在步驟S90中確定堆疊已經(jīng)完全對準(zhǔn)，就完成了該對準(zhǔn)方法，將不執(zhí)行進(jìn)一步的遞歸。在本發(fā)明的至少一個實施例中，通過運(yùn)動估計來確定相應(yīng)的未對準(zhǔn)Si，si+1，使得每個未對準(zhǔn)由估計位移場描述。估計位移場例如能夠包括至少一個位移矢量，描述如何移動要對準(zhǔn)的圖像中的像素以將這幅圖像與選定參考圖像對準(zhǔn)。位移矢量可以描述所有可能的未對準(zhǔn)，例如平移、旋轉(zhuǎn)、縮放和拉伸。這樣的位移矢量也稱為運(yùn)動矢量。為了執(zhí)行運(yùn)動估計以獲得位移矢量或運(yùn)動矢量，已經(jīng)提出了幾種算法。可以將運(yùn)動估計看作優(yōu)化問題必須要使有時復(fù)雜但通常簡單的準(zhǔn)則函數(shù)最小化或最大化以找到輸出運(yùn)動矢量。有硬算法(brute force method)簡單地在預(yù)定義范圍中嘗試所有可能矢量，以便確保獲得準(zhǔn)則函數(shù)的全局優(yōu)化。還有有效率的方法，僅測試最可能的運(yùn)動矢量。這種可能性通常是由空間或時間鄰近性確定的，因此在有效率的運(yùn)動估計算法中時間和空間預(yù)測矢量是有用的。這可以通過如下文獻(xiàn)中描述的3D遞歸搜索塊匹配算法來實現(xiàn)=Gerard deHaan ^A "True motion estimation with 3D-recursive search block matching", IEEEtransactions on circuits and systems of video technology,第 3 卷，第 5 期，1993 年10月。在這里通過引用將這篇文獻(xiàn)完全并入。這種算法將一幀細(xì)分成例如8X8像素的塊，并試圖識別這一塊在下一幀中的位置。比較這些位置使得能夠向每個像素塊分配運(yùn)動矢量，該運(yùn)動矢量包括塊的像素替換與兩幀之間的時間的比率。3D遞歸搜索是基于塊的運(yùn)動估計算法，采用從空間-時間預(yù)測獲得的少量候選MV (MV =運(yùn)動矢量)。3D遞歸搜索算法假設(shè)塊小于對象，使得來自相鄰塊的MV是對當(dāng)前塊的候選MV的良好估計。按照特定次序，例如，從左至右和從上到下處理塊，使得已經(jīng)估計了 MV的一些相鄰塊能夠為當(dāng)前塊提供空間候選W,而未處理的其他塊從參考幀取得MV以為當(dāng)前塊提供時間候選MV。對于每個候選MV，計算運(yùn)動估計誤差。選擇運(yùn)動估計誤差最低的候選者作為針對該塊的輸出運(yùn)動矢量。該算法使用正常光柵掃描次序歷經(jīng)塊。本發(fā)明的至少一個實施例采用這樣的塊匹配算法獲得相應(yīng)位移場。有利地，在本發(fā)明的至少一個實施例中使用3D遞歸搜索塊匹配算法作為塊匹配算法。對于低成本實時執(zhí)行，發(fā)明人提出使用快速遞歸運(yùn)動估計器，其提供空間-時間一致的位移場，用于對準(zhǔn)堆疊中的圖像。在美國專利No. 5072293和US 2008/0144716A1中描述了能夠用于本發(fā)明至少一個實施例的用于確定運(yùn)動矢量的其他基本方法，在此通過引用將其兩者都并入本文。在本發(fā)明的至少一個實施例中，根據(jù)相應(yīng)的匹配誤差計算相應(yīng)的未對準(zhǔn)量f (S)，例如f (Si)、f(si+1)、f (Hii)、f(mi+1)，其是基于預(yù)定匹配準(zhǔn)則f計算的?？梢院唵蔚卮_定的這種匹配準(zhǔn)則f是總和絕對差(SAD)
SAD(C,X,n)= X \F(x-C,n-\)-F(x,n)
X'^B(X)其中f是被測試的候選矢量，矢量i表示塊的位置，廠(瓦《)是亮度信號，η是圖或視的數(shù)量。在輸出處獲得的運(yùn)動矢量-每個塊一個矢量-是給出最低SAD值的候選矢量。作為SAD的替代，作為匹配準(zhǔn)則，可以通過對絕對差求平方并然后將其相加來應(yīng)用均方誤差(MSE)。類似地，可以應(yīng)用3階矩作為匹配準(zhǔn)則f。在本發(fā)明的至少一個實施例中，將非對準(zhǔn)圖像c與選定的參考圖像對準(zhǔn)包括基于變換參數(shù)t變換非對準(zhǔn)圖像，變換參數(shù)t描述為了實現(xiàn)與選定參考圖像的對準(zhǔn)必須如何變換非對準(zhǔn)圖像?？梢詮姆菍?zhǔn)圖像和選定的參考圖像之間確定的未對準(zhǔn)，尤其是從描述所確定的未對準(zhǔn)的位移場、位移矢量或運(yùn)動矢量導(dǎo)出變換參數(shù)t。針對每幅要對準(zhǔn)的圖像僅執(zhí)行一次需要大量計算的變換，而對于要對準(zhǔn)的每幅圖像執(zhí)行超過一次的相應(yīng)匹配誤差的計算量小的計算。要比較的圖像必須在可比較的信號空間中。不過，如果堆疊中的圖像染有不同染色劑(例如蘇木精和曙紅(H&E)和免疫組織化學(xué)(IHC))，就不是這種情況。在使未對準(zhǔn)或匹配誤差最小化之前，通過將至少一個圖像變換到其他圖像的信號空間或可比擬的信號空間，能夠保持或獲得簡單的匹配準(zhǔn)則。根據(jù)至少一個實施例，如果所確定的所有未對準(zhǔn)s的量都高于特定閾值，將從有序堆疊的圖像丟棄下一個要對準(zhǔn)的非對準(zhǔn)圖像。特定閾值可以是固定值，或者可以自適應(yīng)地基于先前確定的未對準(zhǔn)量加以確定?？梢杂赏ㄟ^對準(zhǔn)圖像的內(nèi)插產(chǎn)生的內(nèi)插圖像替代丟棄的圖像。作為內(nèi)插的輸入，可以選擇有序堆疊中與丟棄圖像相鄰的對準(zhǔn)圖像。此外，如果在當(dāng)前的未對準(zhǔn)確定步驟中其未對準(zhǔn)量高于特定閾值，而其余未對準(zhǔn)量低于特定閾值，則不會將對準(zhǔn)圖像用于進(jìn)一步的未對準(zhǔn)確定步驟。特定閾值可以是固定值，或者可以自適應(yīng)地基于先前確定的未對準(zhǔn)量加以確定。根據(jù)至少一個實施例，通過目標(biāo)識別確定相應(yīng)的未對準(zhǔn)。與用于匹配像素的塊匹配算法相比，目標(biāo)識別需要更多計算工作量。另一方面，目標(biāo)識別在更高水平的描述符上工作，比例如SAD更加魯棒。不過，并非所有目標(biāo)識別技術(shù)適用于作為對準(zhǔn)有序堆疊的圖像的基礎(chǔ)。用于目標(biāo)識別的適當(dāng)方法是來自所謂局部尺度不變特征的目標(biāo)識別。一種這樣的方法被稱為SIFT(尺度不變特征變換)，在下文中被介紹過“0bject recognitionfrom local scale-Invariant features，，，David G. Lowe, International Conference onComputer Vision，1999，第1150-1157頁。在如下文獻(xiàn)中描述了用于目標(biāo)識別的SIFT方法的非常全面描述,Distinctive image features from scale-invariant keypoints，，，David G. Lowe, International Journal of Computer Vision，2004，第 91-110 頁。在此通過引用將兩篇文獻(xiàn)都并入本文。SIFT方法將圖像的每個局部片都變換到獨立于圖像尺度和取向的坐標(biāo)中。局部不變特征允許有效率地經(jīng)過任意旋轉(zhuǎn)、縮放、亮度和對比度變化和其他變換匹配雜亂圖像的小部分。想法是將圖像打破成很多小的大小不一的交疊片，以對于可能變換而言不變的方式描述其每片。然后可以逐一匹配每個部分，并檢查匹配片的一致性。為了進(jìn)行圖像匹配和識別，首先從一組參考圖像提取SIFT特征并存儲在數(shù)據(jù)庫中。通過將來自新圖像的每個特征與這一先前數(shù)據(jù)庫比較并基于它們的特征矢量的歐幾里得距離發(fā)現(xiàn)候選匹配特征來逐一匹配新圖像。
根據(jù)至少一個實施例，僅在反復(fù)發(fā)生相對較大量未對準(zhǔn)時才通過上述目標(biāo)識別確定相應(yīng)未對準(zhǔn)。否則，如果未對準(zhǔn)的量主要保持在特定閾值以下，通過快速且計算簡單的運(yùn)動估計來確定相應(yīng)未對準(zhǔn)。特定閾值可以是固定值，或者可以自適應(yīng)地例如基于先前確定的未對準(zhǔn)量加以確定。圖3圖示了根據(jù)本發(fā)明的至少一個實施例對準(zhǔn)來自切片標(biāo)本的有序堆疊的圖像的設(shè)備。設(shè)備100包括確定器10、選擇器20和對準(zhǔn)器30。確定器10包括兩個運(yùn)動估計器11和12。運(yùn)動估計器11在其輸入處接收對準(zhǔn)圖像A以及下一個要對準(zhǔn)的圖像ci+2。運(yùn)動估計器11適于基于這些輸入確定未對準(zhǔn)Si和位移矢量Hii并輸出它們。類似地，運(yùn)動估計器12在其輸入處接收對準(zhǔn)圖像ri+1和下一個要對準(zhǔn)的圖像ci+2，并適于基于這些輸入確定未對準(zhǔn)和位移矢量IV1并輸出它們。將輸出的未對準(zhǔn)Si和饋送給選擇器20。也可以將輸出的未對準(zhǔn)Si和si+1分別輸出為對應(yīng)的位移矢量Hii和mi+1，用于饋送給選擇器20 (在這種情況下，Si = Hii并且= mi+1)。選擇器20向從運(yùn)動估計器11和12接收的未對準(zhǔn)Si和si+1應(yīng)用匹配準(zhǔn)則，例如SAD、MSE或3階。應(yīng)用匹配準(zhǔn)則實現(xiàn)匹配誤差f (Si)和f(si+1)的計算。然后，選擇器20確定這些匹配誤差的最小值并從運(yùn)動估計器11和12輸出的位移矢量叫和?。。、钸x擇具有最小匹配誤差的那個位移矢量作為參考位移矢量??！^胃。通過這個參考位移矢量，隱含地選擇了非對準(zhǔn)圖像ci+2要與其對準(zhǔn)的參考圖像1>胃。然后從對應(yīng)運(yùn)動估計器向?qū)?zhǔn)器30饋送選擇的參考位移矢量m#if。在對準(zhǔn)器30中，在轉(zhuǎn)換器32中將參考位移矢量變換成變換參數(shù)t，用于變換非對準(zhǔn)圖像ci+2。在對準(zhǔn)器30中，從轉(zhuǎn)換器32向變換器34輸出變換參數(shù)t。變換器34使用變換參數(shù)t將非對準(zhǔn)圖像(V2變換成對準(zhǔn)圖像ri+2,使得(V2 — ri+2。在針對ci+2完成一次對準(zhǔn)迭代之后，可以針對ci+3開始下一次迭代，將位置計數(shù)器i加一。盡管上述實施例全部基于確定兩個未對準(zhǔn)來對準(zhǔn)非對準(zhǔn)圖像，但這未將本發(fā)明限制到僅確定兩個未對準(zhǔn)?？梢葬槍γ總€對準(zhǔn)步驟確定超過兩個未對準(zhǔn)?？梢詮某^兩個的對準(zhǔn)圖像中選擇參考圖像。盡管上述實施例基于確定非對準(zhǔn)圖像和非對準(zhǔn)圖像緊前方至少兩個圖像之間的至少兩個未對準(zhǔn)，但這并未將本發(fā)明限制到從彼此相鄰且與非對準(zhǔn)圖像相鄰的對準(zhǔn)圖像中選擇參考圖像。盡管在上述范例中，為了進(jìn)行解釋，有序堆疊的圖像僅包括四個圖像，但堆疊大小不限于這個大小。有序堆疊的圖像可以包括任意數(shù)量的圖像。在本發(fā)明的概念中，“確定器”、“選擇器”、“對準(zhǔn)器”、“運(yùn)動估計器”要得到寬泛的理解并包括例如任一件硬件(例如確定器、選擇器、對準(zhǔn)器、運(yùn)動估計器)、為執(zhí)行所述確定、選擇、對準(zhǔn)、運(yùn)動估計而設(shè)計的任何電路或子電路以及設(shè)計或編程為執(zhí)行確定、選擇、對準(zhǔn)、運(yùn)動估計的任何一件軟件(計算機(jī)程序或子程序或計算機(jī)程序組或程序代碼)以及多件這樣單獨或組合工作的硬件和軟件的任意組合，而不限于下文給出的示范性實施例。本領(lǐng)域的技術(shù)人員將要認(rèn)識到，本發(fā)明不限于上文特別示出并描述的內(nèi)容。本發(fā)明在于每個新穎的特性以及特征的每種組合。權(quán)利要求中的附圖標(biāo)記不限制它們的保護(hù)范圍。使用動詞“包括”及其詞形變化不排除存在權(quán)利要求中所述那些之外的元件。元件前的冠詞不排除存在多個這樣的元件。已經(jīng)根據(jù)具體實施例描述了本發(fā)明，具體實施例是本發(fā)明的例示，不應(yīng)被視為限制?？梢栽谟布?、固件或軟件或其組合中實施本發(fā)明。其他實施例在以下權(quán)利要求的范圍之內(nèi)。
權(quán)利要求
1.一種用于對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的方法，包括如下相繼步驟-針對所述有序堆疊的至少兩個已經(jīng)對準(zhǔn)的圖像(ri，ri+1)確定(S40)與所述有序堆疊中下一個要對準(zhǔn)的非對準(zhǔn)圖像(ci+2)的相應(yīng)的未對準(zhǔn)(Si，si+1)；-從所述至少兩個對準(zhǔn)圖像(ri，ri+1)選擇(S50，S70，S74，S76)所述非對準(zhǔn)圖像(ci+2)與其具有最小未對準(zhǔn)量(f(Si)，f(Si+1))的那個對準(zhǔn)圖像作為參考圖像(r_)；以及-將所述非對準(zhǔn)圖像(ci+2)與所選擇的參考圖像(I^it)對準(zhǔn)(S80)。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過運(yùn)動估計來確定所述相應(yīng)的未對準(zhǔn)(Si，si+1)，使得每個未對準(zhǔn)由估計的位移場Ovlvi)描述。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述位移場包括至少一個位移矢量Ovlvi),所述位移矢量描述如何移動要對準(zhǔn)的圖像中的像素以便將這個圖像對準(zhǔn)到所選擇的參考圖像。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述對準(zhǔn)圖像和下一個要對準(zhǔn)的所述非對準(zhǔn)圖像被分成塊，且其中，通過塊匹配算法獲得相應(yīng)的位移場。
5.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)相應(yīng)的對準(zhǔn)圖像和下一個要對準(zhǔn)的所述非對準(zhǔn)圖像之間的相應(yīng)匹配誤差(f(Si)，f(si+1))計算相應(yīng)的未對準(zhǔn)量，其中，基于預(yù)定的匹配準(zhǔn)則(f)計算所述匹配誤差，且其中，選擇具有最小匹配誤差的對準(zhǔn)圖像作為所述參考圖像(r參考)。
6.根據(jù)權(quán)利要求1所述的方法，其中，將所述非對準(zhǔn)圖像與所選擇的參考圖像對準(zhǔn)包括基于變換參數(shù)(t)變換所述非對準(zhǔn)圖像，所述變換參數(shù)(t)描述了必須如何變換所述非對準(zhǔn)圖像以便實現(xiàn)與所選擇的參考圖像的對準(zhǔn)，且其中，對于每個對準(zhǔn)步驟，僅變換當(dāng)前正對準(zhǔn)的相應(yīng)非對準(zhǔn)圖像。
7.根據(jù)權(quán)利要求1所述的方法，其中，如果所確定的所有未對準(zhǔn)量都高于特定閾值，將從所述有序堆疊的圖像中丟棄下一個要對準(zhǔn)的所述非對準(zhǔn)圖像，且其中，在這種情況下，可以進(jìn)一步用已經(jīng)對準(zhǔn)的圖像的內(nèi)插替代所丟棄的圖像，和/或其中，如果在當(dāng)前未對準(zhǔn)確定步驟中對準(zhǔn)圖像的未對準(zhǔn)量與其余未對準(zhǔn)量相反高于特定閾值，將不會把該對準(zhǔn)圖像用于進(jìn)一步的未對準(zhǔn)確定步驟。
8.根據(jù)權(quán)利要求1所述的方法，其中，在確定相應(yīng)的未對準(zhǔn)之前，將圖像中的至少一個轉(zhuǎn)換到另一信號空間中，使得所有圖像都在可比較的信號空間中。
9.根據(jù)權(quán)利要求1所述的方法，其中，通過目標(biāo)識別確定相應(yīng)的未對準(zhǔn)。
10.根據(jù)權(quán)利要求1所述的方法，其中，通過運(yùn)動估計確定相應(yīng)的未對準(zhǔn)，使得每個未對準(zhǔn)都由估計的位移場(H^lvi)描述，且其中，如果反復(fù)發(fā)生大的未對準(zhǔn)量，則通過目標(biāo)識別而非運(yùn)動估計來確定未對準(zhǔn)。
11.一種用于對準(zhǔn)來自標(biāo)本的有序堆疊的圖像的設(shè)備(100)，包括以下裝置-確定器(10)，其針對所述有序堆疊的至少兩個已經(jīng)對準(zhǔn)的圖像(ri，ri+1)確定與所述有序堆疊中下一個要對準(zhǔn)的非對準(zhǔn)圖像(ci+2)的相應(yīng)的未對準(zhǔn)(Si，si+1)；-選擇器(20)，其用于從所述至少兩個對準(zhǔn)圖像(ri; ri+1)選擇所述非對準(zhǔn)圖像(ci+2)與其具有最小未對準(zhǔn)量的那個對準(zhǔn)圖像作為參考圖像(I^it)；以及-對準(zhǔn)器(30)，其用于將所述非對準(zhǔn)圖像(ci+2)與所選擇的參考圖像(I^it)對準(zhǔn)。
12.根據(jù)權(quán)利要求11所述的設(shè)備，還包括運(yùn)動估計器(11，12)，其用于通過運(yùn)動估計來確定相應(yīng)的未對準(zhǔn)，使得每個未對準(zhǔn)由估計的位移場描述。
13.根據(jù)權(quán)利要求11所述的設(shè)備，其中，所述設(shè)備還適于執(zhí)行根據(jù)權(quán)利要求3到10中的任一項所述的方法。
14.一種計算機(jī)程序產(chǎn)品，其使得處理器能夠執(zhí)行根據(jù)權(quán)利要求1所述的方法。
15.一種數(shù)據(jù)載體，其上存儲有根據(jù)權(quán)利要求14所述的計算機(jī)程序產(chǎn)品。
全文摘要
本發(fā)明涉及對準(zhǔn)來自切片標(biāo)本的有序堆疊的圖像的領(lǐng)域。根據(jù)本方法和設(shè)備，通過相繼進(jìn)行如下操作對準(zhǔn)有序堆疊的圖像針對有序堆疊的至少兩個已經(jīng)對準(zhǔn)的圖像確定下一個將對準(zhǔn)的非對準(zhǔn)圖像的相應(yīng)未對準(zhǔn)，從至少兩個已對準(zhǔn)圖像選擇非對準(zhǔn)圖像與其具有最小未對準(zhǔn)量的那個已對準(zhǔn)圖像作為參考圖像，以及對準(zhǔn)非對準(zhǔn)圖像與選擇的參考圖像。這是為了提供魯棒性且計算量小的對準(zhǔn)方法和設(shè)備。
文檔編號G06T7/00GK102576464SQ201080047142
公開日2012年7月11日 申請日期2010年10月14日 優(yōu)先權(quán)日2009年10月22日
發(fā)明者R·E·J·克內(nèi)普克恩斯 申請人:皇家飛利浦電子股份有限公司