針對(duì)mdx的基于圖像的roi追蹤的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、圖像處理方法、計(jì)算機(jī)程序元件和計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0002] 在病理學(xué)中，將組織分類成正常類型和腫瘤類型有時(shí)候是具挑戰(zhàn)性的并且要求細(xì) 胞及其形態(tài)學(xué)的精細(xì)結(jié)構(gòu)的詳細(xì)分析。
[0003] 在傳統(tǒng)癌癥診斷中，由病理學(xué)家在視覺(jué)上分析活體檢查樣本的（組織）病理學(xué)圖 像。緊接著這一點(diǎn)，還使用分子方法(例如聚合酶鏈反應(yīng)(PCT)或序列化)來(lái)標(biāo)識(shí)(腫瘤)組織 的生物特性。因?yàn)榉肿臃治龅慕Y(jié)果嚴(yán)重依賴于所選組織區(qū)的準(zhǔn)確組成，所以要求精確的感 興趣區(qū)（R0I)解剖。當(dāng)前，R0I通常使用解剖刀手動(dòng)地解剖，其是(高度)不準(zhǔn)確的。"數(shù)字病理 學(xué)"推行使用圖像分析算法的途徑，其可以用于搜索R0I組織。然而已經(jīng)發(fā)現(xiàn)，現(xiàn)有算法有時(shí) 候是緩慢的或者缺乏魯棒性。
[0004] W0 2010/125495 A2公開(kāi)了生成包括感興趣區(qū)的第一切片的第一數(shù)字圖像，生成 第二切片的第二數(shù)字圖像，以及基于第一數(shù)字圖像中的感興趣區(qū)確定第二數(shù)字圖像中的感 興趣區(qū)，其中第一數(shù)字圖像充當(dāng)參考模板。

【發(fā)明內(nèi)容】

[0005] 因此，可能存在針對(duì)用于匹配圖像的可替換裝置或相關(guān)方法的需要。本發(fā)明的目 的通過(guò)獨(dú)立權(quán)利要求的主題來(lái)解決，其中另外的實(shí)施例并入在從屬權(quán)利要求中。應(yīng)當(dāng)指出 的是，本發(fā)明的以下所述方面等同地適用于裝置、圖像處理方法、計(jì)算機(jī)程序元件和計(jì)算機(jī) 可讀介質(zhì)。
[0006] 根據(jù)本發(fā)明的第一方面，提供一種用于在生物學(xué)、組織學(xué)和病理學(xué)中使用的圖像 處理裝置，包括： -用于從第一成像模態(tài)接收?qǐng)D像幀的流的輸入端口； -在兩個(gè)模式之間可切換的圖像匹配器。匹配器配置成試圖將來(lái)自第二成像模態(tài)的圖 像幀與第一圖像匹配，其中當(dāng)匹配器操作于第一模式中時(shí)，第一圖像充當(dāng)?shù)谝粎⒖迹▓D像） 模板。在第一模式中，一旦從幀的流中的幀之中找到第一匹配幀或者一旦接收到用戶發(fā)出 的切換信號(hào)，則匹配器切換至第二模式中以便現(xiàn)在使用第一匹配幀或當(dāng)前幀作為第二參考 (圖像)模板取代第一參考模板來(lái)試圖將幀的流中的（圖像幀)與所述第二幀模板匹配； -輸出端口，其配置成一旦由圖像匹配器找到另外的匹配幀，則輸出所述另外的匹配 幀。
[0007] 換言之，如本文所提出的圖像處理器幫助減小"交叉匹配"任務(wù)中的計(jì)算工作量， 其中具有其自身圖像特性的第一參考圖像需要匹配到具有來(lái)自參考圖像特性的特性的幀。 在一個(gè)實(shí)施例中，一方面的第一參考圖像和另一方面的流中的幀有時(shí)候編碼明顯不同的圖 像信息，因此當(dāng)顯示時(shí)，它們特別地有時(shí)候具有彼此明顯不同的視覺(jué)外觀。這種差異可能由 參考圖像和幀通過(guò)不同成像模態(tài)獲取這一事實(shí)而引起和/或由參考圖像和幀編碼不同對(duì)象 和/或在獲取(多個(gè))對(duì)象的幀和參考之前已經(jīng)經(jīng)歷不同處置(諸如染色等）的對(duì)象的圖像信 息這一事實(shí)而引起。
[0008] 為了更好地應(yīng)對(duì)那些不同圖像特性，如本文所提出的裝置操作成一旦檢測(cè)到第一 參考模板與所述幀之間的匹配，就將第一參考模板調(diào)換成從匹配幀所計(jì)算的模板。由于這 一調(diào)換，所提出的圖像處理器在特別地尋找流中的隨后匹配方面是高度響應(yīng)性的。由于這 一模板調(diào)換，原本復(fù)雜且在計(jì)算上昂貴的匹配問(wèn)題得以簡(jiǎn)化。一般地，幀的兩個(gè)隨后流中匹 配之間的時(shí)間可能預(yù)期小于將"流外"參考圖像匹配"到流中"（也就是說(shuō)，到幀)所花費(fèi)的時(shí) 間。發(fā)生加速是因?yàn)樵诘谝黄ヅ渲笃ヅ淦魈幚淼氖菍⒏嗨茍D像（即從相同對(duì)象所得到 的流的幀)彼此匹配。此外，匹配過(guò)程的魯棒性和可靠性由于匹配更相似圖像而增大。
[0009] 在一個(gè)實(shí)施例中，圖像處理裝置用于識(shí)別對(duì)象，其應(yīng)當(dāng)?shù)谝粫r(shí)刻處的第一組織樣 本中和后一時(shí)刻處的第二不同組織樣本中被分析。在一個(gè)實(shí)施例中，樣本是癌變組織片段 (01)，其在利用蓋玻片（"蓋片"）放置于顯微鏡載物片上的第一組織樣本中被分析，并且要 從第二組織樣本解剖(提取、隔離)的相同組織片段從相同石臘塊提取并且放置在顯微鏡載 物片上但是沒(méi)有蓋片。兩個(gè)載物片然后被成像，例如具有蓋片的那個(gè)使用病理學(xué)掃描儀或 類似物來(lái)成像，而"沒(méi)有蓋片"的另一載物片放置在顯微鏡(在一個(gè)實(shí)施例中，電子顯微鏡） 之下并且捕獲圖像以產(chǎn)生幀。該組織學(xué)進(jìn)程引起圖像/幀(從載物片取得)之間的相異水平， 其看起來(lái)違反大多數(shù)標(biāo)準(zhǔn)圖像匹配策略的假設(shè)。例如，蓋玻片的存在(或者不存在)可能由 于球面像差和折射現(xiàn)象而引起不同光學(xué)路徑。
[0010] 因此，在該示例性組織學(xué)上下文中，匹配器操作成首先試圖通過(guò)比較每一個(gè)幀中 的所檢測(cè)特征與從具有蓋片的載物片的參考圖像所導(dǎo)出的第一模板來(lái)匹配第一 01。然后從 首先匹配到01的幀導(dǎo)出第二計(jì)算機(jī)化模板。在此之后，匹配器操作成試圖通過(guò)比較隨后幀 中的所檢測(cè)特征與所述(新的）第二模板來(lái)匹配每一個(gè)新的01。這允許節(jié)省計(jì)算時(shí)間，因?yàn)?用于識(shí)別第二樣本中的01的模板或"模型"已經(jīng)在相同樣本中的01的基礎(chǔ)上導(dǎo)出/構(gòu)建。因 而，由于例如在兩個(gè)不同載物片(分別具有和沒(méi)有蓋片)上放置樣本區(qū)段的進(jìn)程而引起的外 觀中的差異所致的一些或大多數(shù)匹配問(wèn)題得到克服。作為結(jié)果，匹配過(guò)程的性能將通過(guò)減 小計(jì)算復(fù)雜性而在魯棒性、準(zhǔn)確性和吞吐時(shí)間方面改進(jìn)。
[0011] 切換(其是將當(dāng)前模板調(diào)換成基于幀的模板)在一個(gè)實(shí)施例中自動(dòng)發(fā)生，但是還存 在本文預(yù)期到的手動(dòng)實(shí)施例。
[0012] 在其中切換自動(dòng)發(fā)生的實(shí)施例中，匹配器操作成對(duì)照匹配器圖像模板來(lái)評(píng)估幀的 圖像特征，并且使用量度計(jì)算分值，其度量某一圖像部分處的兩個(gè)圖像之間的對(duì)應(yīng)水平。將 所述分值與預(yù)限定的或用戶可限定的閾值相比較。如果分值超出所述閾值，則幀被視為匹 配參考圖像。否則，如果分值保持在所述閾值以下，則幀被視為不匹配參考圖像。然后在切 換發(fā)生之后彼此匹配幀時(shí)采用相同量度/分值方案。
[0013] 在具有手動(dòng)切換的實(shí)施例中，用戶經(jīng)由適當(dāng)輸入裝置(諸如鍵盤或指針工具，諸如 鼠標(biāo)等)發(fā)出切換信號(hào)。當(dāng)與之前提及的具有自動(dòng)切換的實(shí)施例組合地使用時(shí)，發(fā)出用戶信 號(hào)以觸發(fā)切換的選項(xiàng)有效地為用戶提供"覆寫設(shè)施"：用戶可以"聲明"當(dāng)前幀形成針對(duì)新模 板的基礎(chǔ)并且可以因此"超越(trump)"當(dāng)前幀中的圖像特征的量度評(píng)估。"當(dāng)前幀"在該上 下文中是指匹配器當(dāng)前正試圖匹配的流中的幀，和/或是當(dāng)前顯示在諸如監(jiān)控器或（計(jì)算 機(jī))屏幕之類的顯示單元上的圖像幀。
[0014] 根據(jù)一個(gè)實(shí)施例，匹配操作是基于試圖將如模板中所限定的第一或第二參考中的 圖像特征與相應(yīng)圖像幀中的圖像部分匹配。在一個(gè)實(shí)施例中，第一參考圖像的模板從之前 自動(dòng)地或由人類醫(yī)療專家標(biāo)識(shí)或標(biāo)記的圖像特征來(lái)導(dǎo)出或計(jì)算。在參考圖像中，圖像特征 (由模板表述)捕獲感興趣區(qū)（R0I)的圖像信息，例如組織樣本中的癌變部分。因而，如本文 中使用的"匹配"可以被視為幀中的圖像部分形成所述標(biāo)記R0I的"配對(duì)R0I"的指示。換言 之，幀中的配對(duì)R0I是如第一參考圖像的R0I中所捕獲的癌變部分在該幀中的表示。匹配操 作在一個(gè)實(shí)施例中基于尺度不變特征變換(SIFT)。
[0015] 根據(jù)一個(gè)實(shí)施例，輸出包括在顯示單元上分別顯示另外的或隨后的匹配圖像幀的 圖像部分，其中相應(yīng)圖形覆蓋物概繪相應(yīng)圖形部分。在一個(gè)實(shí)施例中，覆蓋物以與相應(yīng)匹配 幀中的相應(yīng)圖形部分的背景不同的顏色或色調(diào)顯示。這改進(jìn)人類工程學(xué)。而且，由于如上文 所解釋的轉(zhuǎn)變而引起的所提出的圖像處理裝置的增加響應(yīng)性，圖形覆蓋物可以基本上與圖 像流的幀速率實(shí)時(shí)地供應(yīng)。
[0016] 根據(jù)一個(gè)實(shí)施例，輸出包括在顯示單元上顯示另外的圖像幀，其中第一匹配幀沒(méi) 有顯示，而是僅在顯示單元上(優(yōu)選地順序)顯示另外的匹配幀或者來(lái)自流的任何隨后匹配 (也就是說(shuō)，匹配幀）。這改進(jìn)人類工程學(xué)，因?yàn)橛脩艚裹c(diǎn)被定向至可能形成比第一"條目"匹 配更好的匹配的流中匹配。在可替換實(shí)施例中，或者如果用戶如此請(qǐng)求，則還在顯示單元上 顯示第一匹配幀。
[0017] 根據(jù)一個(gè)實(shí)施例，第二參考模板針對(duì)任何(或一個(gè)或多個(gè))另外匹配而維持直到第 一成像模態(tài)的成像設(shè)置改變。響應(yīng)于這樣的改變，匹配器然后操作成再次切換并作為第三 參考模板而使用由匹配器發(fā)現(xiàn)與當(dāng)前、第二參考模板匹配的流中的第二另外幀。換言之，在 成像設(shè)置的改變發(fā)生之后，使用第三參考模板取代之前的(第二參考)模板來(lái)用于將來(lái)的流 中匹配嘗試。例如，在一個(gè)實(shí)施例中，成像器是顯微鏡設(shè)備并且設(shè)置由焦距或焦平面限定。 改變焦距或改變焦平面可以再次在成像設(shè)置的改變之前和之后所獲取的幀之中引入視覺(jué) 外觀中的差異。該視覺(jué)外觀的改變可以通過(guò)再次切換并且調(diào)換當(dāng)前模板成更新的模板(也 就是說(shuō)，第三參考模板)來(lái)計(jì)及以使得匹配任務(wù)更容易，如之前通過(guò)從"非幀"第一參考圖像 轉(zhuǎn)變成來(lái)自圖像流的幀導(dǎo)出模板(第二參考模板)而已經(jīng)完成的那樣。
[0018