處理超聲圖像的方法和裝置以及乳腺癌診斷設(shè)備的制作方法
【專利摘要】提供了一種處理超聲圖像的方法和裝置以及乳腺癌診斷設(shè)備。該方法包括：對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段；從獲得的多層結(jié)構(gòu)的分段中提取各分段特征；對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口；將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段；將提取的各分段特征和從檢測窗口傳遞給分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練；接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
【專利說明】處理超聲圖像的方法和裝置以及乳腺癌診斷設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及處理超聲圖像。更具體地講，涉及一種處理超聲圖像的方法和裝置以及乳腺癌診斷設(shè)備。
【背景技術(shù)】
[0002]乳腺癌在女性癌癥致死率中排名第二。目前為止，早期診斷仍然是降低乳腺癌致死率的唯一方法。超聲診斷由于其方便，安全和高準確率的特點，已經(jīng)被廣泛地應(yīng)用于乳腺異常組織的診斷和觀測。眾所周知，解讀超聲圖像非常依賴醫(yī)療專業(yè)的知識，有必要設(shè)計一個計算機輔助系統(tǒng)，來幫助超聲從業(yè)者識別腫瘤并勾勒出腫瘤的邊界。
[0003]超聲診斷的原理如下。一束聲波由超聲探頭發(fā)出，進入乳腺中，被不同的組織結(jié)構(gòu)吸收或反射。發(fā)射波被探頭捕獲，并由超聲設(shè)備處理成圖像。圖1展示了兩種典型的乳腺超聲圖像。一般情況下，在超聲圖像中進行目標分割要比自然圖像中更難，因為I)超聲圖像的對比度低，且有大量的斑點噪聲；2)不同腫瘤在形狀和外觀上的差異巨大，特別是良性和惡性腫瘤之間；3)存在與腫瘤相類似的正常組織和超聲偽像；以及4)腫瘤的邊界本身就缺乏明確的定義。
[0004]對乳腺超聲腫瘤的診斷規(guī)則可以總結(jié)成以下幾個方面。第一、腫瘤和周邊區(qū)域的回聲反射性不同。大多數(shù)良性的纖維瘤相對于周邊脂肪組織來說是強回聲的，而另一部分良性腫瘤以及絕大部分惡性腫瘤都是明顯地低回聲的。此外，不同的回聲反射性也造成了不同的圖像紋理。第二、腫瘤的邊界和形狀。良性腫瘤通常由一個橢圓或多個小葉組成，有一個回聲形成的假包膜，惡性腫瘤則可能呈現(xiàn)輻射狀，伴有針狀或角狀的邊緣。第三、腫瘤的位置。大多數(shù)腫瘤都出現(xiàn)在中乳層，陰影則出現(xiàn)在腫瘤的下方。
[0005]這些標準已經(jīng)以不同的方式被翻譯成計算機視覺語言用于計算機輔助診斷系統(tǒng)的設(shè)計。然而，這些算法通常需要仔細的初始化，因此不能避免種子區(qū)域選擇。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種實現(xiàn)對超聲圖像中腫瘤組織的自動分割的方法和設(shè)備。
[0007]根據(jù)本發(fā)明的一方面，提供了一種處理超聲圖像的方法，包括:對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段；從獲得的多層結(jié)構(gòu)的分段中提取各分段特征；對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口 ；將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段；將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練；接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
[0008]優(yōu)選地，通過使用規(guī)格化切割和k均值聚類來執(zhí)行圖像過分割。
[0009]優(yōu)選地，提取的各分段特征包括:各分段在超聲圖像中的位置、強度的柱狀圖、以及從灰度級共生矩陣SGLD得到的紋理描述符。[0010]優(yōu)選地，通過采用可變形部件模型DPM檢測器來對超聲圖像執(zhí)行目標對象檢測以產(chǎn)生多個檢測假定。
[0011]優(yōu)選地，傳遞給分段的特征包括:檢測窗口的原始信息、從分段到其具有最大信任度的檢測窗口和最大支持的窗口的距離、檢測窗口的擴展特性、檢測信任度和擴展的特性的累積強度。
[0012]優(yōu)選地，使用支持矢量機器來訓(xùn)練分段分類器。
[0013]優(yōu)選地，使用最小割/最大流算法來最小化得到的分段的病變結(jié)果的結(jié)果。
[0014]根據(jù)本發(fā)明的另一方面，提供了一種處理超聲圖像的裝置，包括:圖像過分割單元，用于對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段；分割特征提取單元，用于從獲得的多層結(jié)構(gòu)的分段中提取各分段特征；目標對象檢測單元，用于對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口 ；特征傳遞單元，用于將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段；分段分類單元，用于將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練；目標對象獲得單元，用于接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
[0015]優(yōu)選地，圖像過分割單元通過使用規(guī)格化切割和k均值聚類來執(zhí)行圖像過分割。
[0016]優(yōu)選地，其中，提取的各分段特征包括:各分段在超聲圖像中的位置、強度的柱狀圖、以及從灰度級共生矩陣SGLD得到的紋理描述符。
[0017]優(yōu)選地，目標對象檢測單元通過采用可變形部件模型DPM檢測器來對超聲圖像執(zhí)行目標對象檢測以產(chǎn)生多個檢測假定。
[0018]優(yōu)選地，傳遞給分段的特征包括:檢測窗口的原始信息、從分段到其具有最大信任度的檢測窗口和最大支持的窗口的距離、檢測窗口的擴展特性、檢測信任度和擴展的特性的累積強度。
[0019]優(yōu)選地，分段分類單元通過使用支持矢量機器來訓(xùn)練分段分類器。
[0020]優(yōu)選地，目標對象獲得單元使用最小割/最大流算法來最小化得到的分段的病變結(jié)果的結(jié)果。
[0021]根據(jù)本發(fā)明的另一方面，提供了一種乳腺癌診斷設(shè)備，包括:圖像過分割單元，用于對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段；分割特征提取單元，用于從獲得的多層結(jié)構(gòu)的分段中提取各分段特征；病變檢測單元，用于對接收的超聲圖像進行病變檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口 ；特征傳遞單元，用于將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段；分段分類單元，用于將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練；病變獲得單元，用于接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的病變結(jié)果。
[0022]將在接下來的描述中部分闡述本發(fā)明另外的方面和/或優(yōu)點，還有一部分通過描述將是清楚的，或者可以經(jīng)過本發(fā)明的實施而得知。
【專利附圖】

【附圖說明】
[0023]圖1展示了兩種典型的乳腺超聲圖像；
[0024]圖2是示出根據(jù)本發(fā)明的處理超聲圖像的方法的流程圖；[0025]圖3是示出根據(jù)本發(fā)明的處理乳腺癌病人的超聲圖像的方法的流程圖；
[0026]圖4是示出根據(jù)本發(fā)明的處理超聲圖像的裝置的框圖；
[0027]圖5是示出根據(jù)本發(fā)明實施例的乳腺癌診斷設(shè)備的框圖；
[0028]圖6是示出根據(jù)本發(fā)明的處理超聲圖像的方法和裝置處理超聲圖像的示意圖；
[0029]圖7是示出如何計算強度對比度分數(shù)以及將特征傳遞給分段的示意圖；
[0030]圖8是示出通過多種方法的對乳腺超聲圖像的病變分段結(jié)果的視圖。
【具體實施方式】
[0031]現(xiàn)在，詳細描述本發(fā)明的實施例，其示例在附圖中表示，其中，相同的標號始終表示相同的部件。以下通過參考附圖描述實施例以解釋本發(fā)明。
[0032]圖2是示出根據(jù)本發(fā)明的處理超聲圖像的方法的流程圖。如圖2所示，在步驟S201，對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段。隨后，在步驟S202，從獲得的多層結(jié)構(gòu)的分段中提取各分段特征。
[0033]在步驟S203，對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口。隨后，在步驟S204，將圖像特征從檢測窗口傳遞給分段。
[0034]在步驟S205，將提取的各分段特征和從檢測窗口傳遞給分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練。
[0035]在步驟S206，接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
[0036]根據(jù)本發(fā)明的處理超聲圖像的方法可應(yīng)用于各種超聲圖像。下面以針對乳腺癌病人的超聲圖像為例來描述根據(jù)本發(fā)明實施例的處理超聲圖像的方法。
[0037]圖3是示出根據(jù)本發(fā)明的處理乳腺癌病人的超聲圖像的方法的流程圖。
[0038]在步驟S301，對接收的乳腺癌病人的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段。在本發(fā)明實施例中，通過使用規(guī)格化切割和k均值聚類(k-means clustering)來執(zhí)行圖像過分割。
[0039]具體地講，可采用由G.Mori提出的分級方法(Mori, G.:Guiding model searchusing segmentation.1n:ICCV, vol.2, pp.1417-1423.1EEE(2005))來實現(xiàn)圖像過分割操作。該過分割操作首先采用規(guī)格化切割，隨后在關(guān)于現(xiàn)有邊界的假設(shè)下通過應(yīng)用k均值聚類來迭代地構(gòu)建后面層。規(guī)格化切割往往會產(chǎn)生大致相同尺寸的補塊，并且k均值聚類算法確保低的強度內(nèi)部變化。通過上述圖像過分割操作，獲得一組具有多層結(jié)構(gòu)的分段。來自不同層的特征被收集在一起來增強呈現(xiàn)能力。當然，根據(jù)本發(fā)明的圖像過分割操作也可采用其他較不費時的方法，例如快速移位(quick shift)。
[0040]隨后，在步驟S302，從獲得的多層結(jié)構(gòu)的分段中提取各分段的特征。所述特征包括:各分段在超聲圖像中的位置、強度的柱狀圖、以及從灰度級共生矩陣(SGLD)得到的紋理描述符。這里的各分段在超聲圖像中的位置是指分段重心的坐標(x，y)。強度的柱狀圖也被稱為灰度直方圖。
[0041]由于所述位置、強度的灰度直方圖以及SGLD及其特征對于本領(lǐng)域的技術(shù)人員是公知的，因此在此不再進行詳細描述。
[0042]在步驟S303，對接收的超聲圖像進行病變檢測以產(chǎn)生過完整的滑動窗口作為檢測窗P。
[0043]這里，通過采用可變形部件模型(DPM)檢測器來對超聲圖像執(zhí)行病變檢測以產(chǎn)生多個檢測假定(hypotheses)。DPM檢測器為潛在的病變區(qū)域產(chǎn)生過完整的滑動窗口。
[0044]許多過完整的滑動窗口在非最大化抑制(non-maximum suppression)之后被保留。這時，最大后驗概率(MAP)估計通常被應(yīng)用以選擇具有最大信任度的窗口并且丟棄所有的其他窗口。對于超聲波圖像，該問題變得更加困難，因為相似的組織和組織結(jié)構(gòu)的人為現(xiàn)象的存在，這使得檢測信任度不太可靠。因此，在調(diào)查內(nèi)部之前就選擇窗口之一作為病變的邊界框是有風(fēng)險的。因此，本發(fā)明保留檢測的過冗余輸出，而不考慮其有效性。換句話說，在本發(fā)明中，在應(yīng)用DPM檢測器產(chǎn)生過完整的滑動窗口之后，不應(yīng)用MAP。
[0045]隨后，在步驟S304，將圖像特征從檢測窗口傳遞給在步驟S301中獲得多層結(jié)構(gòu)的分段。
[0046]具體地講，由分段xi接收的特征包括4條，即，f (Xi) = Uxi), fdist(Xi)，
fprop (Xi)，i"acc (Xi) ] ?
[0047]frect (Xi) = Iig(Si), r (Si), g(sm), r (sm)]記錄了檢測窗口的原始信息，包括檢測窗口的位置、尺寸和檢測信任度。Si是覆蓋Xi的窗口中的最大信任度，g(Si) = I/(l+exp(-2Si))0為了說明方便，我們將具有Si的檢測窗口稱為Xi的代理。r(Si)包含代理的位置和尺寸，這通過圖像的格式被規(guī)則化。Sm是全圖像中的最大成績。 [0048]fdist(Xi) = [d (Si), d (sffl)]記錄了從分段到其代理窗口和最大支持的窗口的距離。由于窗口中的組織通常作為密集的結(jié)節(jié)出現(xiàn)，因此中心周圍的分段最可能繼承窗口的特性。(Ksi) = 2/ (l+exp(2t))并且t = max (tx, ty),其中，tx, ty是沿x和y軸并且通過窗口的尺寸被規(guī)則化的距離。
[0049]fprop (Xi)包含檢測窗口的擴展特性。這里，根據(jù)本發(fā)明的實施例通過應(yīng)用強度對比度以測量窗口與其周圍區(qū)域的不同。得分等于強度的直方圖之間的卡方(Ch1-square)距離。這里，本發(fā)明修改了從矩形到橢圓形的區(qū)域掩蓋，并再次前進到從代理窗口到分段的這些成績。
[0050]facc (Xi)記錄了檢測信任度和擴展的特性的累積強度，也就是，測量覆蓋Xi的所有窗口的強度對比度分數(shù)以及檢測信任度的總強度。
[0051]圖7是示出如何計算強度對比度分數(shù)以及將特征傳遞給分段的示意圖。其中，圖(a)示出了超聲圖像和groundtruth,圖(b)示出了前景和背景掩蔽，圖(c)示出了具有分數(shù)的檢測窗口，其中示出了 5個檢測窗口，具有最高分數(shù)的窗口并不是具有最大檢測信任度的窗口。圖(d)示出了分段的分數(shù)圖。
[0052]在步驟S305，將提取的各分段特征和從檢測窗口傳遞給分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練。例如，可使用支持矢量機器來訓(xùn)練分段分類器。
[0053]可通過如下的操作來實現(xiàn)所述聯(lián)合:
[0054]設(shè)X = [xl, x2, x3] ；Y = [yl, y2, y3]；
[0055]X 和 Y 白勺聯(lián)合得至Ij Z,即 Z = [xl, x2, x3, yl, y2, y3]。
[0056]在步驟S306，接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的病變結(jié)果。
[0057]下面來詳細地描述CRF模型。如等式(I)所示。其中，X表示是否給病變打上標簽的隨機變量的集合，E表示連接每對節(jié)點的邊緣的集合。典型的成對CRF被模型化為一元電壓Ψ與成對電壓f的總和，可通過等式I的形式來最小化能量函數(shù):
[0058]
【權(quán)利要求】
1.一種處理超聲圖像的方法，包括: 對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段； 從獲得的多層結(jié)構(gòu)的分段中提取各分段特征； 對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口； 將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段； 將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練； 接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
2.如權(quán)利要求1所述的方法，其中，通過使用規(guī)格化切割和k均值聚類來執(zhí)行圖像過分割。
3.如權(quán)利要求1所述的方法，其中，提取的各分段特征包括:各分段在超聲圖像中的位置、強度的柱狀圖、以及從灰度級共生矩陣SGLD得到的紋理描述符。
4.如權(quán)利要求1所述的方法，其中，通過采用可變形部件模型DPM檢測器來對超聲圖像執(zhí)行目標對象檢測以產(chǎn)生多個檢測假定。
5.如權(quán)利要求1所述的方法，其中，傳遞給分段的特征包括:檢測窗口的原始信息、從分段到其具有最大信任度的檢測窗口和最大支持的窗口的距離、檢測窗口的擴展特性、檢測信任度和擴展的特性的累積強度。
6.如權(quán)利要求1所述的方法，其中，使用支持矢量機器來訓(xùn)練分段分類器。
7.如權(quán)利要求1所述的方法，其中，使用最小割/最大流算法來最小化得到的分段的病變結(jié)果的結(jié)果。
8.一種處理超聲圖像的裝置，包括: 圖像過分割單元，用于對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段； 分割特征提取單元，用于從獲得的多層結(jié)構(gòu)的分段中提取各分段特征； 目標對象檢測單元，用于對接收的超聲圖像進行目標對象檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口； 特征傳遞單元，用于將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段； 分段分類單元，用于將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練； 目標對象獲得單元，用于接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的目標對象。
9.如權(quán)利要求8所述的裝置，其中，圖像過分割單元通過使用規(guī)格化切割和k均值聚類來執(zhí)行圖像過分割。
10.如權(quán)利要求8所述的裝置，其中，提取的各分段特征包括:各分段在超聲圖像中的位置、強度的柱狀圖、以及從灰度級共生矩陣SGLD得到的紋理描述符。
11.如權(quán)利要求8所述的裝置，其中，目標對象檢測單元通過采用可變形部件模型DPM檢測器來對超聲圖像執(zhí)行目標對象檢測以產(chǎn)生多個檢測假定。
12.如權(quán)利要求8所述的裝置，其中，傳遞給分段的特征包括:檢測窗口的原始信息、從分段到其具有最大信任度的檢測窗口和最大支持的窗口的距離、檢測窗口的擴展特性、檢測信任度和擴展的特性的累積強度。
13.如權(quán)利要求8所述的裝置，其中，分段分類單元通過使用支持矢量機器來訓(xùn)練分段分類器。
14.如權(quán)利要求8所述的裝置，其中，目標對象獲得單元使用最小割/最大流算法來最小化得到的分段的病變結(jié)果的結(jié)果。
15.一種乳腺癌診斷設(shè)備，包括: 圖像過分割單元，用于對接收的超聲圖像進行圖像過分割以獲得多層結(jié)構(gòu)的分段； 分割特征提取單元，用于從獲得的多層結(jié)構(gòu)的分段中提取各分段特征； 病變檢測單元，用于對接收的超聲圖像進行病變檢測以產(chǎn)生過完整的滑動窗口作為檢測窗口 ； 特征傳遞單元，用于將圖像特征從檢測窗口傳遞給獲得的多層結(jié)構(gòu)的分段； 分段分類單元，用于將提取的各分段特征和從檢測窗口轉(zhuǎn)移到分段的特征進行聯(lián)合以對分段分類器進行訓(xùn)練； 病變獲得單元，用于接收分段分類器的輸出以將一元電壓提供給成對的條件隨機域CRF模型以得到分段的病變結(jié)果。
【文檔編號】G06K9/46GK104021391SQ201310065959
【公開日】2014年9月3日 申請日期:2013年3月1日 優(yōu)先權(quán)日:2013年3月1日
【發(fā)明者】郝志會, 王強, 任海兵, 金智淵 申請人:北京三星通信技術(shù)研究有限公司, 三星電子株式會社