本申請要求享有于2013年12月20日遞交的美國臨時專利申請No.61/918,912的權(quán)益，將其通過引用并入本文。

技術(shù)領(lǐng)域

本發(fā)明涉及在超聲圖像中分割醫(yī)學(xué)儀器，更具體地涉及動態(tài)地響應(yīng)于采集圖像而執(zhí)行分割。在本專利申請中，給定系統(tǒng)的處理限制和準(zhǔn)確測量完成任務(wù)所需要的數(shù)據(jù)所要求的時間，將“動態(tài)地”或“實(shí)時”執(zhí)行解釋為在沒有故意延遲的情況下完成數(shù)據(jù)處理任務(wù)。

背景技術(shù)：

超聲(US)圖像引導(dǎo)通過使得能夠?qū)馄时尘皟?nèi)的探針位置進(jìn)行實(shí)時可視化來提高探針引導(dǎo)過程的安全性和效率。在過去幾年里，使用超聲方法(例如，電子波束操縱)來增強(qiáng)在超聲引導(dǎo)過程中探針的可見性已經(jīng)成為有重要競爭力的領(lǐng)域。

雖然實(shí)時3D超聲是可用的，但是2DUS由于其增加的可用性和簡化的可視化能力而被更廣泛地用于基于探針的臨床過程。

利用2DUS，可以在與探針取向垂直的橫向方向上電子地操縱US波束，從而產(chǎn)生劇烈地增強(qiáng)探針可視化的強(qiáng)鏡面反射。

因?yàn)橥ǔｉ_始并不知道探頭相對于探針的當(dāng)前取向，所以實(shí)現(xiàn)關(guān)于探針的常態(tài)(normality)所需要的波束操縱角也是未知的。

另外，當(dāng)探針在US成像平面內(nèi)并未直接對準(zhǔn)時和/或背景組織包含其他線性鏡面反射器(例如，骨頭、筋膜或組織邊界)時，難以進(jìn)行可視化。

另外，由于各種原因而在圖像中出現(xiàn)偽影，例如，由以較大角度操縱線性陣列而摩擦葉以及來自上述線性和其他鏡面反射器的鏡面回聲對以90度或接近90度的超聲入射引起劇烈的衰減變化。

Cheung等人的“Enhancement of Needle Visibility in Ultrasound-Guided Percutaneous Procedures”(下文稱作“Cheung”)公開了在超聲圖像中自動分割探針并確定最佳波束操縱角。

問題在于類似探針的鏡面結(jié)構(gòu)干擾探針檢測。斑點(diǎn)噪聲和成像偽影還會妨礙檢測。

Cheung中的解決方案是用戶輕搖探針，由此基于差值圖像來輔助分割。

另外，Cheung要求在關(guān)于搜索探針的范圍不同的模式之中進(jìn)行切換的用戶交互。例如，當(dāng)探針不在視場內(nèi)時需要用戶重置搜索范圍。

Cheung分割還依賴于采用具有窄范圍效力的閾值的基于強(qiáng)度的邊緣檢測。

技術(shù)實(shí)現(xiàn)要素：

本文提出的內(nèi)容解決了上述關(guān)注中的一個或多個。

除了上述可視化困難外，當(dāng)探針尚未深度插入到組織中時可視化也是有問題的。Cheung在區(qū)分探針和“探針狀”鏡面反射器中的困難在檢測探針的小部分時加劇，如當(dāng)探針插入僅是剛進(jìn)入視場時。特別地，Cheung對超聲圖像的邊緣檢測輸出應(yīng)用Hough變換。與探針部分形成競爭的鏡面結(jié)構(gòu)可能出現(xiàn)地更長，尤其在探針進(jìn)入視場中的開始時。因此，它們在Hough變換中累積了更多投票，由此被識別為在超聲圖像中最突出的直線特征，即，探針。

另外，當(dāng)要確定探針的姿勢時，探針檢測的臨床值是有問題的，需要等待直到探針被更深度地插入。如果能夠在插入過程中更早地檢測到探針則會更好，這時醫(yī)生能夠評估其軌跡并改變進(jìn)程而不會引起更多損害和疼痛。

可靠地探針分割將允許自動設(shè)置最佳波束操縱角、時間增益補(bǔ)償以及圖像處理參數(shù)，從而導(dǎo)致可能增強(qiáng)的可視化和臨床工作流程。

另外，對探針的分割和檢測可以允許對超聲圖像與手術(shù)前模態(tài)(例如計(jì)算機(jī)斷層攝像(CT)或磁共振(MR)成像)的融合，從而使得能夠?qū)崿F(xiàn)用于基于探針的過程的專門化圖像融合系統(tǒng)。

需要一種技術(shù)方案來自動進(jìn)行探針分割，而不依賴于探針是圖像中最亮的線性對象的假設(shè)。

在本文提出的方面中，一種基于分類的醫(yī)學(xué)圖像分割裝置包括：超聲圖像采集設(shè)備，其被配置用于根據(jù)超聲來采集描繪醫(yī)學(xué)儀器的圖像；以及基于機(jī)器學(xué)習(xí)的分類電路，其被配置用于使用基于機(jī)器學(xué)習(xí)的分類來動態(tài)地響應(yīng)于所述采集通過對根據(jù)所述圖像導(dǎo)出的信息進(jìn)行操作而分割所述儀器。

在子方面或相關(guān)方面中，采用US波束操縱來增強(qiáng)鏡面反射器在圖像中的外觀。接下來，采用根據(jù)先前采集的地面真值數(shù)據(jù)的單像素探針分類器來分割探針與組織背景。最后，使用Radon或Hough變換來檢測探針姿勢。經(jīng)由對小波特征的統(tǒng)計(jì)提升來完成分割。采集圖像、分割探針并顯示具有經(jīng)視覺增強(qiáng)的且無偽影的只有探針疊加的圖像的整個過程可以被自動執(zhí)行并且無需用戶介入。

使用間接體內(nèi)和臨床數(shù)據(jù)集的驗(yàn)證結(jié)果示出在具有挑戰(zhàn)性的間接體內(nèi)和臨床數(shù)據(jù)集中的增強(qiáng)檢測，其中次優(yōu)的探針位置和組織偽影引起基于密度的分割失敗。

下面借助于并未按比例繪制的附圖進(jìn)一步闡述新穎的、實(shí)時的基于分類的醫(yī)學(xué)圖像分割的細(xì)節(jié)。

附圖說明

圖1是根據(jù)本發(fā)明的示例性的實(shí)時的基于分類的醫(yī)學(xué)圖像分割裝置的示意圖和概念圖；

圖2是例示根據(jù)本發(fā)明的經(jīng)統(tǒng)計(jì)提升的分類器的訓(xùn)練和臨床性能及其用途的概念圖；

圖3是根據(jù)本發(fā)明的一種類型的探針定位的概念圖；

圖4是能用于本發(fā)明的版本中的子例程的流程圖對；以及

圖5是根據(jù)本發(fā)明的說明臨床操作的主例程的流程圖。

具體實(shí)施方式

通過說明性而非限制性范例，圖1描繪了實(shí)時的基于分類的醫(yī)學(xué)圖像分割裝置100。其包括超聲圖像采集設(shè)備104，例如掃描器。設(shè)備104包括波束形成器108以及超聲成像探頭112。探頭112可以是線性陣列探頭。其能夠被設(shè)置有在身體組織120中的視場116，該視場由在任意給定成像深度128處的橫向跨度124限定。裝置110能夠使用探頭112來實(shí)時監(jiān)測醫(yī)學(xué)探針136的至少一部分132到視場116中的進(jìn)入。視場116由兩個邊界線140、144限定。能夠在探針136被插入到視場116中僅僅2.0毫米的情況下發(fā)生對探針136的檢測。這允許比根據(jù)現(xiàn)有方法可獲得的更早地檢測到探針。為了改善探針136的圖像，當(dāng)前視場116可以改變到新的視場148，用于操縱超聲波束152以90度的角入射到探針136上。該受操縱的視場148在圖1中被示出具有兩個邊界線156、160。實(shí)現(xiàn)關(guān)于探針136的常態(tài)的波束操縱不總是需要改變視場116。改善的探針的圖像能夠被轉(zhuǎn)移到原始視場116的整幅圖像。這可以完成是因?yàn)閷?shí)現(xiàn)關(guān)于探針136的常態(tài)的操縱稍微削弱得到的圖像整體的成像質(zhì)量，但是增強(qiáng)了尤其是探針的可視化。裝置100被設(shè)計(jì)用于在醫(yī)學(xué)處置和醫(yī)學(xué)診斷中的至少一個中使用。探針136例如可以用于遞送在如箭頭所示的體內(nèi)方向164上被注射到體內(nèi)中的藥劑?；罱M織檢查、神經(jīng)阻滯和流體吸入是同樣實(shí)時監(jiān)測探針姿勢、位置和移動的其他過程的范例。

裝置100還包括基于機(jī)器學(xué)習(xí)的分類電路168，其實(shí)現(xiàn)提升分類器172，例如Adaboost^TM，其是最公知的統(tǒng)計(jì)提升算法。

為了經(jīng)由實(shí)況成像進(jìn)行監(jiān)視的用戶交互，該裝置還包括顯示器176和用戶控制180。

圖2概念性地示出了提升分類器172的訓(xùn)練和臨床性能的示例性版本及其用途。為了訓(xùn)練分類器172，對探針圖像208應(yīng)用二維Log-Gabor小波(或“濾波器”)204?？梢越?jīng)由如在下文更詳細(xì)討論的波束操縱并通過利用低于通常在B模式成像中使用的超聲頻率的超聲頻率來采集探針圖像208。來自應(yīng)用小波204的輸出是探針圖像208的各自的小波特征F_i的小波特征參數(shù)F_i,x,y212和各自的像素(x,y)216的集合。確定或已經(jīng)確定每個像素216的地面真值GT_x,y是探針的部分還是背景的部分。F_1,x,y和GT_x,y是“弱分類器”WK₁的部分。多個弱分類器被組合(即，提升220)以提供強(qiáng)的或“經(jīng)提升的”分類器。對這種技術(shù)的備選將是使用像素強(qiáng)度來判定像素216是探針還是背景。然而，由于探針圖像208中的偽影，基于強(qiáng)度的閾值不夠健壯以有效地對探針136進(jìn)行分類。為訓(xùn)練數(shù)據(jù)集中的探針圖像208中的每幅重復(fù)訓(xùn)練經(jīng)提升的分類器172的上述步驟，如在圖2中由向下的虛線224表示的。通過使用每個都標(biāo)記有其各自的地面真值GT_x,y的特征參數(shù)F_1,x,y來構(gòu)建上述弱分類器WK₁。特別地，對于F_1,x,y之中的參數(shù)，發(fā)現(xiàn)在GT_x,y的視圖中遞送最小分類誤差的最佳閾值T₁。將要被閾值化的參數(shù)基本上并入關(guān)于探針的形狀、探針的角度、紋理以及強(qiáng)度的信息。另外，訓(xùn)練階段還提供關(guān)于探針看起來不像什么的信息，即，背景圖像和肌肉紋理的特性。為每個特征F₂到F_I重復(fù)所有上述處理，如圖2中由向下的點(diǎn)劃線225所示。這么做得到弱的分類器WK₂到WK_I，如圖2中由向下的虛線226所示，并對應(yīng)地得到最佳閾值T₂到T_I。通過適當(dāng)?shù)募訖?quán)組合弱分類器WK_i以形成強(qiáng)的分類器SC，其在臨床過程期間得到針對像素(x,y)216的二元輸出，即“探針”228或“背景”232。實(shí)際上，將一組弱的假設(shè)組合為強(qiáng)的假設(shè)。

在臨床過程中，小波204在作為掃掠角度范圍的部分的不同角度方向上遞增地進(jìn)行取向，因?yàn)?D Log-Gabor濾波器能夠被取向以對在不同方向上的空間頻率做出響應(yīng)。在每個增量處，在當(dāng)前波束角236處采集各自的探針圖像208；應(yīng)用所取向的小波204，由此對圖像進(jìn)行操作，以根據(jù)圖像來導(dǎo)出信息，即F_i,x,y212；并且對導(dǎo)出的信息操作上述分割。在后面的步驟中，經(jīng)提升的分類器172輸出二元像素圖240M_x,y，其條目分配在探針像素與背景像素之間。取決于由操作員選擇的提取模式，或取決于實(shí)現(xiàn)方式，圖240的探針部分能夠被提取244a并被直接疊加252到B模式圖像上，或者能夠使用線檢測算法(例如，Radon變換或Hough變換(HT))248來導(dǎo)出探針136的位置和角度。在該后一情況下，能夠采集新的探針圖像，背景則被遮掩掉，并且得到所提取244b的“只有探針”的圖像疊加256到當(dāng)前B模式圖像上。因此，能夠?yàn)椤跋袼貓D”或“超聲圖像”設(shè)置提取模式。這被反映在下面結(jié)合圖4和圖5進(jìn)行討論的步驟S432、S456和S556中。盡管上文描述了Log-Gabor濾波器，但是能夠替代地使用諸如Gabor濾波器的其他成像濾波器。

圖3還示出了臨床過程上的示例性細(xì)節(jié)。在顯示的范例中，上述遞增掃掠304通過角度的范圍308。在圖3中示出了每個增量312，挨著在對應(yīng)的波束角處采集的探針圖像208。由于本文提出的分割的健壯性，所以可以將圖像208中的任何細(xì)長的、線性的且鏡面的對象314與探針136區(qū)分開。通過經(jīng)提升的分類器172，在每幅探針圖像208上運(yùn)行分割136，從而生成各自的像素圖240。對每幅像素圖240應(yīng)用Hough變換248。如對角度/偏移箱(bin)進(jìn)行相加中將得到的線輸出320進(jìn)行相加。這確定與探針136的位置相對應(yīng)的偏移的估計(jì)。還確定探針136的角度328。如本文以上所述，能夠?qū)⑻结樜恢煤徒嵌仁褂迷谛纬删哂小爸挥刑结槨悲B加的可顯示B模式圖像中，或者備選地，能夠使用像素圖240的探針部分來提供探針像素作為疊加。

在圖4中的示例性實(shí)現(xiàn)方式中示出了用于執(zhí)行臨床過程的可調(diào)用子例程。

在第一子例程400中，針對當(dāng)前波束角度236對小波204進(jìn)行取向(步驟S404)。采集探針圖像208(步驟S408)。對探針圖像208應(yīng)用小波204(步驟S412)中。通過經(jīng)提升的統(tǒng)計(jì)分類器172來處理輸出(步驟S416)。形成針對探針圖像208的二元像素圖240(步驟S420)。

在第二子例程410中，波束角度236被初始化為5°(步驟S424)。調(diào)用第一子例程400(步驟S428)以在圖4的入口點(diǎn)“A”處開始。如果像素圖240被直接疊加(步驟S432)，則存儲探針像素和針對探針像素的像素特異性置信度值(步驟S436)?；谑欠駶M足閾值T_i，每個弱分類器WK_i返回-1表示背景，或返回+1表示探針。強(qiáng)分類器SC計(jì)算這些值的加權(quán)和。如果和是正的，則像素216被視為探針136的部分。否則，像素216被視為背景的部分。然而，該和還指示強(qiáng)假設(shè)的置信度。和越接近+1，則“探針”的判定越符合置信度。此時記錄探針像素以及它們的對應(yīng)置信值以供后續(xù)基于置信度值來生成健壯的像素圖。備選地，像素圖240可以不被直接疊加(步驟S432)。在一個實(shí)施例中，例如，像素圖240的直接疊加可以被認(rèn)為是替代疊加只有探針的超聲圖像的主過程的顯示選項(xiàng)。因此，如果像素圖240未被直接疊加(步驟S432)，則將在當(dāng)前波束角236處的Hough變換248的輸出添加到在先前波束角度處的輸出(如果有的話)，以創(chuàng)建變換輸出的累積和(步驟S440)。在任一事件中，即，無論像素圖疊加與否，如果當(dāng)前波束角度236小于90°(步驟S444)，則遞增當(dāng)前波束角(步驟S448)，并且返回到分割步驟S428(步驟S452)。否則，如果當(dāng)前波束角度236是90°(步驟S444)，則處理再次依賴于像素圖240是否被直接疊加(步驟S456)。如果像素圖240被直接疊加(步驟S456)，則導(dǎo)出最佳探針圖(步驟S460)。特別地，在步驟S436中對迭代地存儲的置信值進(jìn)行組合。例如，能夠使每個負(fù)的置信度值為零。將針對各自的波束角度236生成的置信度圖相加，以創(chuàng)建總計(jì)圖。然后，將置信度值正規(guī)化為像素亮度值的范圍。在另一方面，如果像素圖240未被直接疊加(步驟S456)，則對來自步驟S440的輸出324求和的Hough變換給出探針偏移(步驟S464)。其還給出了探針136的角度328(步驟S468)。

在當(dāng)前范例中，圖5是臨床過程的主例程。初始化(即，清除)探針存在標(biāo)記(步驟S504)。調(diào)用第二子例程410(步驟S508)。確定探針是否存在于當(dāng)前視場116中(步驟S512)。例如，在顯示像素圖240的情況下，可以對探針像素的數(shù)量以及可選地其置信度水平進(jìn)行閾值化以確定探針136是否存在。如果確定探針136不存在(步驟S512)，并且如果未設(shè)置探針存在標(biāo)記(步驟S516)，則采集B模式圖像(步驟S524)。對其進(jìn)行顯示(步驟S528)。如果成像繼續(xù)(步驟S532)，則返回分割步驟S508。在另一方面，如果設(shè)置了探針存在標(biāo)記(步驟S516)，則對其進(jìn)行清除(步驟S536)。通知用戶探針136不再在屏幕上(步驟S540)，并且處理分支回到B模式采集步驟S524。在確定探針存在(步驟S512)并且未設(shè)置探針存在標(biāo)記(步驟S544)的情況下，通知用戶探針進(jìn)入到所顯示的圖像中(步驟S548)并且設(shè)置探針存在標(biāo)記(步驟S552)。此時，不管探針存在標(biāo)記是否或已經(jīng)被設(shè)置(步驟S544、S552)，處理路徑都取決于像素圖240是否要被用作疊加(步驟S556)。如果像素圖240未被用作疊加(步驟S556)，則將由總計(jì)Hough變換324確定的探針角度328用于操縱波束152以達(dá)到關(guān)于探針136的常態(tài)，由此提供探針的更好的可見性(步驟S560)。經(jīng)由受操縱的波束152，采集探針圖像208(步驟S564)。不管像素圖240是否要被用作疊加，都采集B模式圖像(步驟S568)。根據(jù)B模式圖像和疊加的從探針圖像208提取出的只有探針圖像或者在像素圖疊加的情況下根據(jù)來自步驟S456或像素圖240的其他演示的所提取和疊加的經(jīng)正規(guī)化的置信度值的集合來形成復(fù)合圖像(步驟S572)。顯示復(fù)合圖像(步驟S576)。應(yīng)當(dāng)周期性地，即，在均等或非均等間隔的時間周期之后迭代地，隨著探針136的位置和取向的更新再次分割所述探針。如果探針136現(xiàn)在被再次分割(步驟S580)，則處理返回到分割步驟S508。否則，如果探針136現(xiàn)在不要被再次分割(步驟S580)，但是成像要繼續(xù)(步驟S584)，則返回到步驟S556。

在步驟S540和S548中的用戶通知可以是感覺的，例如，聽覺的、觸覺的或視覺的。例如，在“開啟”狀態(tài)下在面板或顯示屏幕上的照明可以指示操作的各自的模式是活動的。

操作的探針存在檢測模式588例如對應(yīng)于步驟S512-S532。

探針插入檢測模式592例如對應(yīng)于步驟S512和S544-S552。

探針可視化模式596例如對應(yīng)于步驟S556-S564。能夠離開探針可視化模式596，但是仍保留在探針插入檢測模式592中。如果在后續(xù)某個時間探針插入檢測模式592檢測到探針136再次進(jìn)入視場116中，則探針可視化模式596自動地被再次激活，而無需用戶介入。在即時范例中，探針存在檢測模式588使得能夠進(jìn)行探針插入檢測模式592并因此在該模式592期間總是活動的。

可以通過用戶控制件180共同地或個體地啟用或停用上述模式588、592、596，并且其每個可以被并入到較大的整體模式中。

上述模式588、592、596中的每個模式可以存在作為裝置100的選項(xiàng)，例如用戶可啟動的選項(xiàng)，或者備選地，可以是裝置的部分，而沒有關(guān)閉模式的任何選項(xiàng)。

這是本文上述提出的探針分割的質(zhì)量和可靠性使得能夠進(jìn)行模式588、592、596。

盡管所提出的方法能夠有利地應(yīng)用于對人或動物對象提供醫(yī)學(xué)處置，但是本發(fā)明的范圍并不受如此限制。更廣泛地，本文公開的技術(shù)涉及體內(nèi)或間接體內(nèi)的基于機(jī)器學(xué)習(xí)的圖像分割。

一種基于分類的醫(yī)學(xué)圖像分割裝置包括：超聲圖像采集設(shè)備，其被配置用于根據(jù)超聲來采集描繪諸如探針的醫(yī)學(xué)儀器的圖像；以及基于機(jī)器學(xué)習(xí)的分類電路，其被配置用于使用基于機(jī)器學(xué)習(xí)的分類來動態(tài)地響應(yīng)于所述采集通過對根據(jù)所述圖像導(dǎo)出的信息進(jìn)行操作而分割所述儀器。能夠經(jīng)由對小波特征的參數(shù)的統(tǒng)計(jì)提升來完成所述分割。所述圖像的每個像素被識別為“探針”或“背景”。采集圖像、分割探針并顯示具有經(jīng)視覺增強(qiáng)的且無偽影的只有探針疊加的圖像的整個過程可以被自動執(zhí)行并且無需用戶介入?？煽康奶结樂指钐峁ψ罴巡ㄊ僮鹘堑淖詣釉O(shè)置、時間增益補(bǔ)償、以及圖像處理參數(shù)，從而得到增強(qiáng)的可視化和臨床工作流程。

盡管已經(jīng)在附圖和前面的描述中詳細(xì)說明并描述了本發(fā)明，但是這樣的說明和描述應(yīng)被認(rèn)為是說明性的或示范性的而非限制性的；本發(fā)明不限于所公開的實(shí)施例。

例如，當(dāng)探針的僅7毫米已經(jīng)插入到身體組織中時，并且如上所述，在超聲視場內(nèi)2.0mm時，探針插入檢測模式592能夠檢測探針136的至少部分。

通過研究附圖、說明書以及隨附權(quán)利要求書，本領(lǐng)域技術(shù)人員在實(shí)踐要求保護(hù)的本發(fā)明時可以理解并實(shí)現(xiàn)所公開的實(shí)施例的其他變型。在權(quán)利要求中，詞“包括”不排除其他元件或步驟，并且詞語“一”或“一個”不排除多個。權(quán)利要求中的任何附圖標(biāo)記不應(yīng)當(dāng)被解釋為對范圍的限制。

計(jì)算機(jī)程序可以暫時地、臨時地或較長時期地被存儲在適當(dāng)?shù)挠?jì)算機(jī)可讀介質(zhì)(例如光學(xué)存儲介質(zhì)或固態(tài)介質(zhì))上。僅在非瞬態(tài)傳播信號的意義而言，這種介質(zhì)是非瞬態(tài)的，但是包括其他形式的計(jì)算機(jī)可讀介質(zhì)，例如寄存器存儲器、處理器緩存和RAM。

單個處理器或其他單元可以實(shí)現(xiàn)在權(quán)利要求中記載的若干項(xiàng)目的功能。在互不相同的從屬權(quán)利要求中記載了特定措施的僅有事實(shí)并不指示不能有利地利用這些措施的組合。