技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)學(xué)圖像數(shù)據(jù)中的解剖對象檢測，并且更特別地，涉及使用深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像數(shù)據(jù)中的解剖對象檢測。

背景技術(shù)：

快速且魯棒的解剖對象檢測是醫(yī)學(xué)圖像分析中的基本任務(wù)，其支撐來自診斷、患者層化、治療規(guī)劃、介入、和后續(xù)跟進的整個臨床成像工作流程。解剖對象的自動檢測是許多醫(yī)學(xué)圖像分析任務(wù)(例如分割、運動追蹤、以及疾病診斷和量化)的先決條件。先前引入邊緣空間學(xué)習(xí)(MSL)來解決醫(yī)學(xué)圖像(例如計算機斷層(CT)、磁共振(MR)、超聲、和熒光圖像)中的解剖結(jié)構(gòu)檢測和追蹤的問題。MSL是高效的判別式(discriminative)學(xué)習(xí)框架，其通常使用從訓(xùn)練圖像提取的手工圖像特征來以有監(jiān)督方式訓(xùn)練用于解剖對象檢測的判別式分類器。MSL非常適用于檢測各種二維(2D)和三維(3D)醫(yī)學(xué)成像模態(tài)中的解剖結(jié)構(gòu)。然而，使用MSL的解剖對象檢測并非始終是魯棒的，特別是對于一些具有挑戰(zhàn)性的檢測問題，其中解剖對象在醫(yī)學(xué)圖像中在解剖結(jié)構(gòu)、形狀或外觀上呈現(xiàn)大的變化。

技術(shù)實現(xiàn)要素：

本公開提供了使用邊緣空間深度神經(jīng)網(wǎng)絡(luò)進行解剖對象檢測的方法和系統(tǒng)。本發(fā)明的各實施例將目標(biāo)解剖對象的參數(shù)空間分成具有遞增維度的一系列邊緣搜索空間?；趲ё⑨尩挠?xùn)練數(shù)據(jù)，針對每個邊緣搜索空間訓(xùn)練相應(yīng)深度神經(jīng)網(wǎng)絡(luò)。代替使用手工圖像特征，每個深度神經(jīng)網(wǎng)絡(luò)直接輸入來自訓(xùn)練數(shù)據(jù)的圖像塊并且學(xué)習(xí)高等級域特有圖像特征。針對特定邊緣搜索空間的經(jīng)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)可以是判別式的，這是因為它針對搜索空間內(nèi)給定的假設(shè)(hypothesis)來計算搜索空間內(nèi)該假設(shè)正確的概率，或者可提供回歸函數(shù)(回歸器)，回歸函數(shù)針對搜索空間內(nèi)的每個假設(shè)來計算從該假設(shè)到搜索空間內(nèi)對象的預(yù)測姿勢參數(shù)的差值向量。一旦一系列深度神經(jīng)網(wǎng)絡(luò)被訓(xùn)練，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)就能夠被應(yīng)用于輸入醫(yī)學(xué)圖像，以檢測輸入醫(yī)學(xué)圖像中的目標(biāo)解剖對象。

附圖說明

圖1圖示了根據(jù)本發(fā)明實施例的、針對醫(yī)學(xué)圖像中的解剖對象檢測來訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)的方法；

圖2圖示了示例性自動編碼器神經(jīng)網(wǎng)絡(luò)；

圖3圖示了訓(xùn)練針對特定參數(shù)空間的深度多層神經(jīng)網(wǎng)絡(luò)回歸器；

圖4圖示了根據(jù)本發(fā)明實施例的、在具有遞增維度的一系列邊緣搜索空間內(nèi)訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)；

圖5圖示了根據(jù)本發(fā)明實施例的、使用一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)檢測醫(yī)學(xué)圖像中的解剖對象的方法；

圖6圖示了根據(jù)本發(fā)明實施例的、使用邊緣空間深度學(xué)習(xí)在2D MR圖像中檢測左心室尖的方法；

圖7圖示了針對LV尖位置檢測的、具有隨機旋轉(zhuǎn)的示例性豐富化正訓(xùn)練樣本；

圖8圖示了堆疊式去噪自動編碼器(DAE)的第一隱藏層的示例性學(xué)習(xí)權(quán)重；

圖9圖示了根據(jù)本發(fā)明實施例的、使用邊緣空間深度回歸(MSDR)在MR心臟長軸圖像中進行左心室(LV)界標(biāo)檢測的方法；

圖10圖示了各種MR心臟長軸圖像中的示例性LV界標(biāo)；

圖11圖示了使用圖9的方法檢測MR圖像中LV界標(biāo)的示例性結(jié)果；

圖12圖示了針對LV尖和二尖瓣環(huán)點檢測的測試集上檢測誤差的概率；

圖13圖示了根據(jù)本發(fā)明實施例的、通過逼近邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來進行解剖對象檢測的方法；

圖14圖示了使用經(jīng)訓(xùn)練邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在全身計算機斷層(CT)掃描中的界標(biāo)檢測的示例性結(jié)果；以及

圖15是能夠?qū)嵤┍景l(fā)明的計算機的高等級框圖。

具體實施例

本發(fā)明涉及使用邊緣空間深度神經(jīng)網(wǎng)絡(luò)進行解剖對象檢測的方法和系統(tǒng)。本發(fā)明的各實施例在本文中描述以給出對于用于解剖對象檢測的基于機器學(xué)習(xí)的方法的直觀理解。數(shù)字圖像通常由一個或多個對象(或形狀)的數(shù)字表示來組成。對象的數(shù)字表示在本文中通常在識別和操縱對象方面來描述。這種操縱是在計算機系統(tǒng)的存儲器或其他電路/硬件中實現(xiàn)的直觀操縱。因而，應(yīng)當(dāng)理解的是，本發(fā)明的各實施例可以在計算機系統(tǒng)內(nèi)使用計算機系統(tǒng)內(nèi)存儲的數(shù)據(jù)來執(zhí)行。

邊緣空間學(xué)習(xí)(MSL)是一種高效的判別式學(xué)習(xí)框架，其能夠用于醫(yī)學(xué)圖像中的解剖對象檢測和追蹤，醫(yī)學(xué)圖像例如但不限于計算機斷層(CT)、磁共振成像(MRI)、超聲、和X射線熒光檢查。MSL利用具有專家注釋的大圖像數(shù)據(jù)庫以受監(jiān)督方式在來自正(對象)和負(非對象)訓(xùn)練樣本的邊緣特征分布上訓(xùn)練判別式分類器。通過逐漸增加搜索空間的維度并且僅聚焦在正分布區(qū)域上來順序地訓(xùn)練分類器。MSL高效地處理相對于參數(shù)空間的維度來說以指數(shù)方式增加的假設(shè)的數(shù)目的問題。給定一幅新的圖像，利用經(jīng)訓(xùn)練的分類器順序地搜索輸入?yún)?shù)空間以發(fā)現(xiàn)正確的解剖對象位置。MSL通常使用手工圖像特征(例如針對對象位置估計的Haar小波特征，以及針對位置-定向估計和位置-定向-尺度估計的可操縱特征)來實施。盡管這些特征是高效的，但它們的分類能力是弱的。MSL依賴于提升技術(shù)，例如使用概率提升樹(PBT)，以將大量的弱特征整合到強分類器中。雖然MSL非常適用于在各種2D或3D醫(yī)學(xué)成像模態(tài)中檢測許多解剖結(jié)構(gòu)，但是，當(dāng)解剖對象的外觀相對于參數(shù)空間來說是復(fù)雜的時，或者當(dāng)背景和感興趣解剖對象之間存在很大程度的模糊時，利用標(biāo)準(zhǔn)圖像特征在判別式MSL框架中捕獲這些分布仍然存在問題。

本發(fā)明的各實施例利用直接在圖像數(shù)據(jù)上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，而不是從圖像數(shù)據(jù)提取的手工特征，來學(xué)習(xí)復(fù)雜圖像模式并基于復(fù)雜圖像模式檢測解剖對象。深度神經(jīng)網(wǎng)絡(luò)是基于機器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，其在輸入數(shù)據(jù)和輸出數(shù)據(jù)之間具有學(xué)習(xí)特征或者變量的多個隱藏層。深度神經(jīng)網(wǎng)絡(luò)通常將被實施為具有三個或更多個隱藏層。深度神經(jīng)網(wǎng)絡(luò)通常用于直接多類分類情境并且通常不應(yīng)用于解剖對象檢測任務(wù)，原因在于，由于需要掃描大的圖像參數(shù)空間(特別是針對大的2D+時間或3D體積圖像)，深度神經(jīng)網(wǎng)絡(luò)到解剖對象檢測任務(wù)的延伸在計算上可能是相當(dāng)復(fù)雜的。本發(fā)明的各實施例提供了用于利用深度神經(jīng)網(wǎng)絡(luò)進行醫(yī)學(xué)圖像中的解剖對象檢測的計算上高效的方法。

圖1圖示了根據(jù)本發(fā)明實施例的、訓(xùn)練用于醫(yī)學(xué)圖像中解剖對象檢測的一系列深度神經(jīng)網(wǎng)絡(luò)的方法。圖1的方法利用訓(xùn)練圖像數(shù)據(jù)庫在遞增維度的一系列邊緣搜索空間內(nèi)訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)，從而確定針對醫(yī)學(xué)圖像中解剖對象的全姿勢參數(shù)空間。在可能的實施方式中，圖1的方法能夠?qū)⒚總€深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練為判別式的，其中它針對搜索空間內(nèi)的給定假設(shè)計算搜索空間內(nèi)該假設(shè)是正確的概率。在另一可能的實施方式中，圖1的方法能夠?qū)⒚總€深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練為回歸函數(shù)(回歸器)，回歸函數(shù)針對搜索空間內(nèi)的每個假設(shè)計算從該假設(shè)到搜索空間內(nèi)目標(biāo)解剖對象的預(yù)測姿勢參數(shù)的差值向量。還可能的是，一個或多個深度神經(jīng)網(wǎng)絡(luò)可能是判別式的并且一個或多個深度神經(jīng)網(wǎng)絡(luò)可以是回歸器。

參照圖1，在步驟102，接收訓(xùn)練圖像。特別地，裝載來自數(shù)據(jù)庫的多幅訓(xùn)練圖像。訓(xùn)練圖像可以是使用任意醫(yī)學(xué)成像模態(tài)獲取的2D或3D醫(yī)學(xué)圖像，醫(yī)學(xué)成像模態(tài)例如但不限于CT、MRI、超聲、X射線熒光檢查、DynaCT等。訓(xùn)練圖像的至少一個子集注釋有目標(biāo)解剖對象的姿勢(例如，位置、定向、和尺度)。訓(xùn)練圖像也還可包括不帶注釋的圖像。

在步驟104，目標(biāo)解剖對象的參數(shù)空間被分為一系列邊緣搜索空間。訓(xùn)練圖像中注釋的目標(biāo)對象被參數(shù)化并且目標(biāo)解剖對象的參數(shù)空間被分為具有遞增維度的一系列邊緣搜索空間。例如，針對目標(biāo)解剖對象的一組參數(shù)可以是限定圖像中對象姿勢的剛性位置(平移)、定向(旋轉(zhuǎn))和尺度，并且目標(biāo)解剖對象的參數(shù)空間能夠被分成位置、位置+定向和位置+定向+尺度的邊緣搜索空間。根據(jù)帶注釋的訓(xùn)練圖像來確定每個參數(shù)空間的范圍。針對2D圖像中目標(biāo)對象的參數(shù)空間具有五個自由度(兩個針對位置、一個針對定向、以及兩個針對各向異性尺度)，而針對3D圖像中目標(biāo)對象的參數(shù)空間具有九個自由度(三個針對位置、三個針對定向、以及三個針對各向異性尺度)。針對2D圖像，全參數(shù)空間能夠表示為(x，y，θ，s_x，s_y)，其中(x，y)表示目標(biāo)解剖對象的中心位置，θ表示解剖對象的定向或旋轉(zhuǎn)，并且(s_x，s_y)表示解剖對象在x和y方向的尺度，并且參數(shù)空間能夠被分為下列邊緣搜索空間：(x，y)、(x，y，θ)和(x，y，θ，s_x，s_y)。針對3D圖像，全參數(shù)空間能夠表示為(x，y，z，θ_x，θ_y，θ_z，s_x，s_y，s_z)，其中(x，y，z)表示目標(biāo)解剖對象的中心位置，(θ_x，θ_y，θ_z)表示解剖對象的定向，并且(s_x，s_y，s_z)表示解剖對象的尺度，并且該參數(shù)空間能夠被分為下列邊緣搜索空間：(x，y，z)、(x，y，z，θ_x，θ_y，θ_z)和(x，y，z，θ_x，θ_y，θ_z，s_x，s_y，s_z)。代替訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)以直接檢測全參數(shù)空間內(nèi)的目標(biāo)對象，圖1的方法通過訓(xùn)練每個邊緣搜索空間中的相應(yīng)深度神經(jīng)網(wǎng)絡(luò)來順序地訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)，以檢測目標(biāo)解剖對象的參數(shù)。

在步驟106，針對當(dāng)前邊緣搜索空間生成訓(xùn)練樣本。訓(xùn)練樣本是圖像塊，圖像塊用作當(dāng)前搜索空間中的假設(shè)用于針對該搜索空間訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。對于第一搜索空間(例如，位置)，通過從訓(xùn)練圖像中選擇圖像塊來生成訓(xùn)練樣本。對于訓(xùn)練判別式深度神經(jīng)網(wǎng)絡(luò)，第一搜索空間的完全真實(ground truth)圖像塊被選擇作為正訓(xùn)練樣本，而隨機非完全真實圖像塊被選擇作為負訓(xùn)練樣本。例如，在第一邊緣搜索空間是目標(biāo)解剖對象的位置的情形中，以每幅帶注釋的訓(xùn)練圖像中目標(biāo)解剖對象的完全真實中心位置為中心的圖像塊被選擇作為正訓(xùn)練樣本，而定位成距離目標(biāo)解剖對象的完全真實中心位置超過預(yù)定距離(例如，5mm)的一個或多個隨機圖像塊被從每幅帶注釋的訓(xùn)練圖像中隨機地選擇作為負訓(xùn)練樣本。為了將深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練為回歸器，針對第一搜索空間的訓(xùn)練樣本(假設(shè))是選自訓(xùn)練圖像中第一搜索空間的范圍的圖像塊。對于后續(xù)的邊緣搜索空間，通過如下步驟生成針對當(dāng)前搜索空間的訓(xùn)練樣本：使用針對先前搜索空間的經(jīng)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)評估來自先前搜索空間的訓(xùn)練樣本以確定先前搜索空間內(nèi)的多個候選，并隨后利用從訓(xùn)練圖像中的當(dāng)前搜索空間范圍采樣的當(dāng)前搜索空間的其他參數(shù)來擴充由經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在先前的搜索空間內(nèi)選擇的候選。

在步驟108，針對當(dāng)前邊緣搜索空間來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在可能的實施例中，針對當(dāng)前搜索空間的深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其將圖像的各圖像塊作為假設(shè)并且針對每個圖像塊計算針對當(dāng)前搜索空間的圖像塊參數(shù)是針對當(dāng)前搜索空間內(nèi)目標(biāo)解剖對象的參數(shù)的概率。在另一可能的實施方式中，第一深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入圖像的圖像塊作為假設(shè)并針對每個輸入圖像塊計算當(dāng)前搜索空間內(nèi)的圖像塊的參數(shù)和當(dāng)前搜索空間內(nèi)目標(biāo)解剖對象的參數(shù)之間的差值向量，從而產(chǎn)生當(dāng)前搜索空間內(nèi)目標(biāo)解剖對象的預(yù)測參數(shù)。

在步驟110，確定針對所有邊緣搜索空間的訓(xùn)練是否完成。如果針對所有邊緣搜索空間的訓(xùn)練并未完成，則該方法行進至步驟112。如果針對所有邊緣搜索空間的訓(xùn)練已完成，則該方法行進至步驟114。在步驟112，該方法行進至下一邊緣搜索空間并隨后返回到步驟106且重復(fù)步驟106、108和110。特別地，當(dāng)該方法返回步驟106時，使用針對先前搜索空間訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來評估先前搜索空間內(nèi)的假設(shè)，以確定先前搜索空間內(nèi)的候選，并且通過利用針對下一搜索空間的附加參數(shù)擴充先前搜索空間內(nèi)的候選來生成針對下一搜索空間的訓(xùn)練樣本(假設(shè))。然后訓(xùn)練針對下一搜索空間的深度神經(jīng)網(wǎng)絡(luò)，并且重復(fù)這些步驟直到針對每個邊緣搜索空間訓(xùn)練了相應(yīng)的深度神經(jīng)網(wǎng)絡(luò)。最終的深度神經(jīng)網(wǎng)絡(luò)將檢測全參數(shù)空間內(nèi)的解剖對象。例如，可以重復(fù)步驟108和110以訓(xùn)練第一深度神經(jīng)網(wǎng)絡(luò)，從而檢測目標(biāo)解剖對象的位置，訓(xùn)練第二深度神經(jīng)網(wǎng)絡(luò)以檢測目標(biāo)解剖對象的位置和定向，以及訓(xùn)練第三深度神經(jīng)網(wǎng)絡(luò)以檢測解剖對象的位置、定向和尺度。在步驟114，一旦針對所有邊緣空間的訓(xùn)練已完成，這一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)能夠用于檢測新圖像中的解剖對象。在訓(xùn)練階段中能夠離線地執(zhí)行步驟102-112，并且隨后這一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)能夠存儲在計算機系統(tǒng)的存儲器或存儲裝置中，并且當(dāng)接收到新的圖像時，能夠使用存儲的一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)執(zhí)行步驟114。當(dāng)接收到新的圖像時，通過將新圖像的各圖像塊輸入到第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中并隨后通過這一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)順序地處理這些圖像塊，能夠執(zhí)行解剖對象檢測。

在第一實施例中，圖1的方法能夠用于訓(xùn)練一系列判別式深度神經(jīng)網(wǎng)絡(luò)，針對其邊緣搜索空間內(nèi)的給定假設(shè)，每個判別式深度神經(jīng)網(wǎng)絡(luò)計算搜索空間內(nèi)該假設(shè)正確的概率。用于在遞增維度的一系列邊緣空間中訓(xùn)練一系列連續(xù)的判別式深度神經(jīng)網(wǎng)絡(luò)的這種框架能夠被稱為邊緣空間深度學(xué)習(xí)(MSDL)。在MSDL中，深度學(xué)習(xí)用于直接從醫(yī)學(xué)圖像數(shù)據(jù)自動學(xué)習(xí)高等級域特有圖像特征。前饋神經(jīng)網(wǎng)絡(luò)是具有稱為后向傳播的高效訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。雖然足夠強力以逼近復(fù)雜的目標(biāo)函數(shù)，大的前饋神經(jīng)網(wǎng)絡(luò)傾向于過擬合訓(xùn)練數(shù)據(jù)。難以利用良好泛化能力訓(xùn)練具有多于兩個隱藏層的網(wǎng)絡(luò)。在可能的實施例中，無監(jiān)督的預(yù)訓(xùn)練之后進行有監(jiān)督細調(diào)能夠用于克服過擬合問題。該技術(shù)能夠用于訓(xùn)練具有三個或多個隱藏層的網(wǎng)絡(luò)。預(yù)訓(xùn)練能夠被視為無監(jiān)督的學(xué)習(xí)過程，以從輸入圖像數(shù)據(jù)中發(fā)現(xiàn)強力的圖像特征。諸如自動編碼器(AE)或受限玻爾茲曼機(RBM)的各種深度學(xué)習(xí)技術(shù)能夠用于預(yù)訓(xùn)練隱藏層。圖2圖示了示例性AE神經(jīng)網(wǎng)絡(luò)。如圖2中所示，AE 200是具有一個隱藏層204的前饋神經(jīng)網(wǎng)絡(luò)。AE200具有輸入層L₁ 202、隱藏層L₂和輸出層L₃ 206。如果AE 200是全連接網(wǎng)絡(luò)，則輸入層202中的每個節(jié)點能夠?qū)?yīng)于圖像塊的相應(yīng)體素或像素。忽略偏項(在圖2中標(biāo)示為+1的節(jié)點)，輸入和輸出層202和206分別具有相同數(shù)量的節(jié)點。AE的目標(biāo)是使輸入和輸出向量之間的差值最小化。如果隱藏層204具有與輸入層202相同或比其更大的尺寸，則AE可學(xué)習(xí)恒等變換(identify transformation)。為了避免這一平凡解，AE能夠被建立成具有相比輸入層202更少節(jié)點的隱藏層204。隱藏層204的節(jié)點能夠作為偏項和輸入層202的節(jié)點的加權(quán)和的函數(shù)來計算，其中相應(yīng)權(quán)重分配給輸入層202的節(jié)點和隱藏層204的節(jié)點之間的每個連接。在AE 200的訓(xùn)練中學(xué)習(xí)輸入層202和隱藏層204之間的權(quán)重以及偏項，例如使用后向傳播算法。

去噪自動編碼器(DAE)可用于學(xué)習(xí)輸入圖像數(shù)據(jù)的更有意義的表達。在DAE中，隨機選擇一定百分比(例如，50％)的輸入節(jié)點進行擾動(例如，將值設(shè)置為等于0)，并且在給定受污染的觀測結(jié)果的情況下，需要DAE來重構(gòu)初始輸入向量。DAE中的隱藏層可具有多于輸入層的節(jié)點，以實現(xiàn)過完備(over complete)表示。根據(jù)有益的實施例，為了針對特定邊緣搜索空間訓(xùn)練判別式深度神經(jīng)網(wǎng)絡(luò)(圖1的步驟108)，在訓(xùn)練AE(或DAE)后，丟棄輸出層并使用已經(jīng)訓(xùn)練的隱藏層的激活響應(yīng)作為新AE(或DAE)的輸入來堆疊另一AE(或DAE)。該過程能夠被重復(fù)以逐層訓(xùn)練和擴展網(wǎng)絡(luò)。在可能的實施方式中，在預(yù)訓(xùn)練多個隱藏層后，隱藏層的輸出能夠被視為高等級圖像特征并用于訓(xùn)練判別式分類器，以用于檢測當(dāng)前參數(shù)空間內(nèi)的解剖對象?？商娲?，針對目標(biāo)輸出的附加層能夠被添加至網(wǎng)絡(luò)，并且可以使用后向傳播來細化整個網(wǎng)絡(luò)。

如上所述，圖1的方法使用深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練一系列邊緣搜索空間內(nèi)的姿勢分類器，以用于醫(yī)學(xué)圖像數(shù)據(jù)中的解剖對象檢測(圖1的步驟108)。根據(jù)有益的實施方式，堆疊式去噪自動編碼器(DAE)能夠用于訓(xùn)練一個或多個判別式分類器。然而，本發(fā)明并不限于這種特定類型的深度神經(jīng)網(wǎng)絡(luò)，并且諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、堆疊式RBM、或稀疏AE之類的其他類型的深度神經(jīng)網(wǎng)絡(luò)也能夠用于訓(xùn)練判別式分類器。

在第二實施例中，圖1的方法能夠使用深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練一系列回歸器，回歸器中的每一個針對搜索空間內(nèi)的每個假設(shè)來計算從該假設(shè)到搜索空間內(nèi)對象的預(yù)測姿勢參數(shù)的差值向量。這種用于在一系列遞增維度的邊緣空間內(nèi)訓(xùn)練一系列連續(xù)的深度神經(jīng)網(wǎng)絡(luò)回歸器的框架能夠稱為邊緣空間深度回歸(MSDR)。在MSDR中，從每個邊緣搜索空間內(nèi)的當(dāng)前假設(shè)參數(shù)至正確對象參數(shù)學(xué)習(xí)映射函數(shù)。映射函數(shù)具有對應(yīng)于當(dāng)前假設(shè)參數(shù)的圖像塊作為輸入，以及目標(biāo)參數(shù)偏移作為輸出。每個當(dāng)前假設(shè)將通過回歸函數(shù)產(chǎn)生新的假設(shè)，當(dāng)學(xué)習(xí)成功時回歸函數(shù)收斂為正確的對象參數(shù)。在新圖像中的訓(xùn)練和對象檢測這兩者期間，回歸的假設(shè)經(jīng)過逐漸遞增的邊緣空間。MSDR相對于傳統(tǒng)的判別式學(xué)習(xí)的可能優(yōu)勢在于MSDR極大地利用了背景信息，MSDR學(xué)習(xí)比二元分類器更為平滑的輸出函數(shù)，這改進了魯棒性，并且通過僅在投射子空間(邊緣搜索空間)內(nèi)進行學(xué)習(xí)，MSDR是高效的。此外，使用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的回歸函數(shù)能夠迭代地應(yīng)用以收斂至正確的參數(shù)區(qū)域并消除異常值。

在MSDR中，針對特定的搜索空間，通過使用直接從圖像塊提取相關(guān)特征的深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，解決了從圖像數(shù)據(jù)學(xué)習(xí)回歸函數(shù)的復(fù)雜問題。根據(jù)有益的實施方式，通過經(jīng)由堆疊深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)一個或多個隱藏層，復(fù)雜圖像模式能夠以分層特征編碼，如上所述。為了解決針對特定搜索空間的回歸問題，在輸出層，能夠在由已學(xué)習(xí)的隱藏層提取的神經(jīng)網(wǎng)絡(luò)特征上訓(xùn)練離散化多類分類器或線性/非線性回歸器。因而，這種深度神經(jīng)網(wǎng)絡(luò)回歸函數(shù)能夠在不依賴手工圖像特征的情況下來分層編碼復(fù)雜模式，并且能夠利用未標(biāo)示的數(shù)據(jù)來預(yù)訓(xùn)練下層神經(jīng)網(wǎng)絡(luò)(例如，使用堆疊式自動編碼器結(jié)構(gòu)或深度信任網(wǎng)絡(luò))。這種經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器還能夠解決多類問題。例如，能夠通過在輸入圖像中對已學(xué)習(xí)參數(shù)空間的分層回歸搜索以及在最終參數(shù)空間內(nèi)采用最高假設(shè)來實現(xiàn)對象檢測。從由參考圖像中的對象給定的參數(shù)集開始，類似地完成對象追蹤。

為了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)回歸器(圖1的步驟108)，給定訓(xùn)練圖像的數(shù)據(jù)庫，其具有在訓(xùn)練圖像的全部或子集中注釋的目標(biāo)對象，將對象位置(姿勢)參數(shù)化并建立邊緣空間層次，如上文在步驟104中所述。如上文在步驟106中所述，在當(dāng)前搜索空間中生成假設(shè)。針對第一搜索空間，直接從當(dāng)前范圍生成假設(shè)，并且針對其他搜索空間，從當(dāng)前假設(shè)集合生成該假設(shè)，當(dāng)前假設(shè)集合擴充有從當(dāng)前對應(yīng)范圍采樣的附加參數(shù)。給定針對當(dāng)前搜索空間的假設(shè)集合，訓(xùn)練深度多層神經(jīng)網(wǎng)絡(luò)，其具有作為輸入的由對應(yīng)假設(shè)參數(shù)參數(shù)化的子圖像(圖像塊)，以及作為輸出的針對當(dāng)前搜索空間的目標(biāo)解剖對象的目標(biāo)或完全真實參數(shù)和當(dāng)前參數(shù)之間的差值。圖3圖示了針對特定參數(shù)空間來訓(xùn)練深度多層神經(jīng)網(wǎng)絡(luò)回歸器。如圖3中所示，P是當(dāng)前參數(shù)空間(邊緣空間)，P⁽²⁾是參數(shù)空間中假設(shè)的參數(shù)，根據(jù)該參數(shù)，從圖像空間I中的第i圖像生成圖像塊I_i(P⁽²⁾)。使用參數(shù)化的圖像塊作為輸入給多層深度神經(jīng)網(wǎng)絡(luò)300，并通過當(dāng)前參數(shù)空間P內(nèi)假設(shè)參數(shù)P⁽²⁾和完全真實參數(shù)P⁽¹⁾之間的參數(shù)差dp⁽²⁾以及可選擇地通過置信度量，給出有監(jiān)督的輸出。能夠基于與完全真實量(在該情形中，P⁽¹⁾是有注釋的參數(shù)集)的差值直接訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)300，或者能夠基于訓(xùn)練圖像中對于完全真實量的偏移來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)300。深度神經(jīng)網(wǎng)絡(luò)300具有輸入層302、多個隱藏層304和306，以及輸出層308。輸入層302直接輸入與針對當(dāng)前參數(shù)空間的假設(shè)的參數(shù)對應(yīng)的圖像塊。能夠訓(xùn)練隱藏層304和306，從而通過在無監(jiān)督的預(yù)訓(xùn)練階段中堆疊多個深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來從輸入圖像塊中分層地提取特征。輸出層308計算針對每個輸入圖像塊的假設(shè)參數(shù)和針對當(dāng)前參數(shù)空間的目標(biāo)解剖對象的參數(shù)之間的偏移向量。所估計的圖像塊與針對解剖對象位置的完全真實圖像塊的距離的倒數(shù)用于訓(xùn)練置信分?jǐn)?shù)。

針對深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練，能夠使用各種類型的神經(jīng)網(wǎng)絡(luò)，例如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、堆疊式受限玻爾茲曼機(RBM)、或堆疊式自動編碼器(AE)。在RBM或AE的情形中，在使用帶注釋的訓(xùn)練圖像的子集進行有監(jiān)督訓(xùn)練之前，我們能夠使用所有可用訓(xùn)練圖像(包括不帶注釋的訓(xùn)練圖像)以無監(jiān)督方式預(yù)訓(xùn)練網(wǎng)絡(luò)，以確定表征來自大數(shù)據(jù)庫的數(shù)據(jù)類別的代表性特征。在有益的實施例中，在兩個階段中使用堆疊式去噪自動編碼器(DAE)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。第一階段是無監(jiān)督的，其中訓(xùn)練多層深度神經(jīng)網(wǎng)絡(luò)的每一層以重構(gòu)輸入。在該階段，類似于輸入的虛擬層被添加至輸出并且在該虛擬層中使到輸入的誤差最小化，從而針對每個隱藏層的節(jié)點學(xué)習(xí)權(quán)重。第二階段是有監(jiān)督的，并且相對于從預(yù)訓(xùn)練網(wǎng)絡(luò)權(quán)重開始的輸出訓(xùn)練數(shù)據(jù)，使整個網(wǎng)絡(luò)誤差最小化。DAE的一個特性是：在訓(xùn)練期間它隨機下降一定百分比(高達50％)的輸入，這顯著增加了所產(chǎn)生的分類器或回歸器的魯棒性。能夠使用線性函數(shù)直接回歸輸出參數(shù)空間，或者輸出參數(shù)空間能夠相對于參數(shù)空間被離散化并作為多類分類問題被解決。第二種構(gòu)想的優(yōu)勢在于它能夠直接編碼輸出概率并且能夠例如針對不同的解剖對象生成多個假設(shè)。

隨后，針對當(dāng)前參數(shù)空間的當(dāng)前假設(shè)的集合通過經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)傳播，并且在可能的實施例中，能夠使用相同的深度神經(jīng)網(wǎng)絡(luò)或者通過新訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來迭代地細化新的假設(shè)集合。這一迭代過程能夠排除遠離解(非重疊)的樣本并生成更接近真實位置的樣本以提高精度。圖3示出了這一迭代過程的結(jié)果。如圖3中所示，在第一次迭代中，針對當(dāng)前假設(shè)參數(shù)P⁽²⁾的圖像塊I_i(P⁽²⁾)被輸入至深度神經(jīng)網(wǎng)絡(luò)300，并且由深度神經(jīng)網(wǎng)絡(luò)300輸出的偏移向量dp⁽²⁾將假設(shè)參數(shù)P⁽²⁾映射至目標(biāo)參數(shù)P⁽¹⁾。在第二次迭代中，參數(shù)P⁽¹⁾隨后被返回輸入至深度神經(jīng)網(wǎng)絡(luò)300中，從而細化估計的目標(biāo)參數(shù)，并且深度神經(jīng)網(wǎng)絡(luò)330輸出偏移向量，偏移向量將參數(shù)P⁽¹⁾映射至細化的目標(biāo)參數(shù)P⁽⁰⁾。一旦針對特定邊緣搜索空間的假設(shè)行進穿過經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，新的假設(shè)集合就被擴充有來自后續(xù)邊緣空間的新的參數(shù)，并且針對后續(xù)邊緣空間重復(fù)該過程。這產(chǎn)生了針對每個邊緣空間的相應(yīng)經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器。

圖4圖示了根據(jù)本發(fā)明實施例的、在具有遞增維度的一系列邊緣搜索空間中訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)。特別地，圖4的方法提供了：當(dāng)醫(yī)學(xué)圖像中的解剖對象的參數(shù)空間被分為位置、位置-定向、和位置-定向-尺度的邊緣搜索空間時，用于訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)以用于醫(yī)學(xué)圖像中的解剖對象檢測的詳細方法。參照圖4，在步驟402，接收訓(xùn)練圖像。圖4的步驟402能夠類似于圖1的步驟102實施。訓(xùn)練圖像可以是2D或3D圖像，這取決于成像模態(tài)和待檢測的解剖對象。圖4的描述假定圖像為3D圖像并且將圖像的元素稱為體素。應(yīng)當(dāng)理解的是，圖4的方法也能夠類似地應(yīng)用于2D圖像，并且在整個對圖4的描述中，術(shù)語“像素”能夠替代“體素”。

在步驟404，訓(xùn)練第一深度神經(jīng)網(wǎng)絡(luò)，以基于訓(xùn)練圖像檢測位置候選。在可能的實施方式中，第一深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入圖像的體素作為假設(shè)并且針對每一個體素計算以該體素為中心的圖像塊是感興趣對象的概率。在該情形中，訓(xùn)練圖像中的解剖對象的完全真實位置能夠用作正訓(xùn)練樣本，并且距訓(xùn)練圖像中的完全真實位置超過預(yù)定距離的隨機選擇的位置能夠被用作負訓(xùn)練樣本。在另一可能的實施方式中，第一深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入圖像的體素作為假設(shè)并針對每個輸入計算差值向量，從而產(chǎn)生針對每個輸入體素計算得到的預(yù)測位置。在該情形中，可以從每幅訓(xùn)練圖像隨機選擇多個位置假設(shè)，其中與訓(xùn)練圖像中目標(biāo)解剖對象的位置的完全真實偏移對于每個位置假設(shè)而言是已知的。如上所述，能夠在兩個階段中訓(xùn)練第一深度神經(jīng)網(wǎng)絡(luò)(判別式或回歸器)，所述兩個階段包括用于從輸入圖像塊學(xué)習(xí)復(fù)雜特征的隱藏層的無監(jiān)督預(yù)訓(xùn)練(例如，使用堆疊式DAE)以及基于由隱藏層提取的特征和帶注釋的訓(xùn)練樣本進行輸出層的有監(jiān)督訓(xùn)練。

在步驟406，訓(xùn)練樣本穿過經(jīng)訓(xùn)練的第一深度神經(jīng)網(wǎng)絡(luò)，并且保留多個最佳位置候選。對于判別式深度神經(jīng)網(wǎng)絡(luò)，具有由經(jīng)訓(xùn)練的第一深度神經(jīng)網(wǎng)絡(luò)計算的最高概率的多個位置假設(shè)能夠被保留作為針對每幅訓(xùn)練圖像的位置候選。對于深度神經(jīng)網(wǎng)絡(luò)回歸器，可以針對每個差值向量計算置信分?jǐn)?shù)，或者由經(jīng)訓(xùn)練的第一深度神經(jīng)網(wǎng)絡(luò)計算每個預(yù)測位置，并且具有最高置信分?jǐn)?shù)的多個預(yù)測位置被保留作為位置候選。

在步驟408，位置候選擴充為具有定向參數(shù)，以生成位置-定向搜索空間內(nèi)的假設(shè)。例如，通過把以位置候選為中心的每個圖像塊旋轉(zhuǎn)至多個可能的旋度，可以生成針對每個位置候選的多個位置-定向假設(shè)。通過帶注釋的訓(xùn)練數(shù)據(jù)中完全真實對象的定向范圍能夠確定這些旋度的范圍。

在步驟410，訓(xùn)練第二深度神經(jīng)網(wǎng)絡(luò)，從而基于位置-定向假設(shè)來檢測位置-定向候選。在可能的實施方式中，第二深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入圖像的對應(yīng)于位置-定向搜索空間內(nèi)的假設(shè)的圖像塊，并針對每個圖像塊計算該圖像塊是感興趣對象的概率。在另一可能的實施方式中，第二深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入圖像的對應(yīng)于位置-定向搜索空間內(nèi)的假設(shè)的圖像塊，并針對每個輸入計算位置-定向參數(shù)空間內(nèi)的差值向量，從而產(chǎn)生預(yù)測位置和定向以及圖像中的對應(yīng)圖像塊。能夠在兩個階段中訓(xùn)練第二深度神經(jīng)網(wǎng)絡(luò)(判別式或回歸器)，所述兩個階段包括：隱藏層的無監(jiān)督預(yù)訓(xùn)練(例如，使用堆疊式DAE)，用于從對應(yīng)于位置-定向假設(shè)的輸入圖像塊學(xué)習(xí)復(fù)雜特征；以及基于由隱藏層提取的特征和位置-定向假設(shè)的輸出層的有監(jiān)督訓(xùn)練。因而，僅基于從使用第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)檢測到的位置候選生成的位置-定向假設(shè)來訓(xùn)練第二深度神經(jīng)網(wǎng)絡(luò)。

在步驟412，位置-定向假設(shè)經(jīng)過經(jīng)訓(xùn)練的第二深度神經(jīng)網(wǎng)絡(luò)，并且保留多個最佳位置-定向候選。對于判別式深度神經(jīng)網(wǎng)絡(luò)，具有由經(jīng)訓(xùn)練的第二深度神經(jīng)網(wǎng)絡(luò)計算的最高概率的多個位置-定向假設(shè)能夠被保留作為針對每幅訓(xùn)練圖像的位置-定向候選。對于深度神經(jīng)網(wǎng)絡(luò)回歸器，對應(yīng)于具有最高置信分?jǐn)?shù)的預(yù)測位置和定向的多個圖像塊被保留作為位置-定向候選。

在步驟414，位置-定向候選被擴充為具有尺度參數(shù)，以生成位置-定向-尺度搜索空間內(nèi)的假設(shè)。例如，通過將對應(yīng)于位置-定向候選的每個圖像塊縮放至多個可能的尺度，能夠針對每個位置-定向候選生成多個位置-定向-尺度假設(shè)。這些尺度的范圍由帶注釋的訓(xùn)練數(shù)據(jù)中完全真實的對象的尺度范圍來確定。

在步驟416，訓(xùn)練第三深度神經(jīng)網(wǎng)絡(luò)，從而基于位置-定向-尺度假設(shè)來檢測感興趣對象的全參數(shù)集(位置-定向-尺度)。在可能的實施方式中，第三深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入圖像的對應(yīng)于位置-定向-尺度搜索空間內(nèi)的假設(shè)的圖像塊，并且針對每個圖像塊計算該圖像塊是感興趣對象的概率。在另一可能的實施方式中，第三深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入圖像的對應(yīng)于位置-定向-尺度搜索空間內(nèi)的假設(shè)的圖像塊，并針對每個輸入計算位置-定向-尺度參數(shù)空間內(nèi)的差值向量，從而產(chǎn)生預(yù)測的位置、定向和尺度以及圖像中的對應(yīng)圖像塊。能夠在兩個階段中訓(xùn)練第三深度神經(jīng)網(wǎng)絡(luò)(判別式或回歸器)，該兩個階段包括：隱藏層的無監(jiān)督預(yù)訓(xùn)練(例如，使用堆疊式DAE)，用于從對應(yīng)于位置-定向-尺度假設(shè)的輸入圖像塊學(xué)習(xí)復(fù)雜特征；以及輸出層的有監(jiān)督訓(xùn)練，基于由隱藏層提取的特征和位置-定向-尺度假設(shè)。因而，僅基于從使用第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)檢測到的位置-定向候選生成的位置-定向-尺度假設(shè)來訓(xùn)練第三深度神經(jīng)網(wǎng)絡(luò)。

圖5圖示了根據(jù)本發(fā)明實施例的、使用一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來檢測醫(yī)學(xué)圖像中解剖對象的方法。圖5的方法能夠使用利用圖4的方法所訓(xùn)練的一系列深度神經(jīng)網(wǎng)絡(luò)來執(zhí)行。參照圖5，在步驟502，接收患者的醫(yī)學(xué)圖像。醫(yī)學(xué)圖像可以是2D或3D的，并且能夠使用任意類型的醫(yī)學(xué)成像模態(tài)(例如但不限于CT、MRI、超聲、X射線熒光檢查、DynaCT等)來獲取。醫(yī)學(xué)圖像能夠直接從圖像獲取設(shè)備(例如CT掃描器、MRI掃描器等)接收，或者能夠通過裝載來自計算機系統(tǒng)的存儲器或存儲裝置的先前獲取的患者的醫(yī)學(xué)圖像來接收。圖5的描述假定醫(yī)學(xué)圖像是3D圖像，并且將醫(yī)學(xué)圖像的元素稱為體素。應(yīng)當(dāng)理解的是，圖5的方法也能夠類似地應(yīng)用于2D圖像，并且在整個對圖5的描述中，術(shù)語“像素”能夠替代“體素”。

在步驟504，使用第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像中檢測位置候選。第一深度神經(jīng)網(wǎng)絡(luò)直接對醫(yī)學(xué)圖像的體素進行操作，而不是對從醫(yī)學(xué)圖像提取的手工特征進行操作。第一深度神經(jīng)網(wǎng)絡(luò)輸入以該醫(yī)學(xué)圖像的體素為中心的圖像塊，并基于輸入圖像塊計算醫(yī)學(xué)圖像中的多個位置候選。第一深度神經(jīng)網(wǎng)絡(luò)能夠評估醫(yī)學(xué)圖像中的每個體素或者醫(yī)學(xué)圖像中體素的子集，從而計算位置候選。在可能的實施方式中，第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入以醫(yī)學(xué)圖像的體素為中心的圖像塊，并針對每個體素計算該體素是目標(biāo)解剖對象的中心位置的概率。在這種情形中，具有由第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)計算的最高概率的多個位置候選被保留。在另一可能的實施方式中，第一深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入以該醫(yī)學(xué)圖像的體素為中心的圖像塊，并針對每個體素計算差值向量，以產(chǎn)生針對每個輸入體素計算的解剖對象的預(yù)測中心位置。在這種情形中，第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)還能夠針對每個預(yù)測位置計算置信分?jǐn)?shù)，并且保留具有最高置信分?jǐn)?shù)的多個預(yù)測位置。

在步驟506，由第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)檢測到的位置候選被擴充為具有定向參數(shù)，以生成位置-定向假設(shè)。例如，通過將以位置候選為中心的每個圖像塊旋轉(zhuǎn)至從針對目標(biāo)解剖對象的定向的預(yù)定范圍采樣的多個可能的定向，能夠針對每個所檢測到的位置候選生成多個位置-定向假設(shè)。能夠通過帶注釋的訓(xùn)練數(shù)據(jù)集中完全真實對象的定向范圍來確定定向的預(yù)定范圍。應(yīng)當(dāng)指出的是，在這種情形中，其中步驟508中用于檢測位置-定向候選的第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，在一些實施方式中，利用定向參數(shù)對位置候選的擴充可以不執(zhí)行。盡管附加的位置-定向假設(shè)可以導(dǎo)致位置-定向估計的精度增加，但是因為經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器將預(yù)測目標(biāo)解剖對象的位置和定向以及針對對應(yīng)于位置候選的每個輸入圖像塊的對應(yīng)目標(biāo)圖像塊，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器能夠直接對對應(yīng)于位置候選的圖像塊運行，并且不必將位置候選擴充為具有多個定向參數(shù)。

在步驟508，使用第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)從位置-定向假設(shè)來檢測位置-定向候選。第二深度神經(jīng)網(wǎng)絡(luò)直接對醫(yī)學(xué)圖像的對應(yīng)于位置-定向假設(shè)的圖像塊進行操作。第二深度神經(jīng)網(wǎng)絡(luò)輸入對應(yīng)于位置-定向假設(shè)的圖像塊并基于輸入圖像塊來計算醫(yī)學(xué)圖像中的多個位置-定向候選。在可能的實施方式中，第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入對應(yīng)于位置-定向假設(shè)的圖像塊并針對每個位置-定向假設(shè)計算對應(yīng)圖像塊是目標(biāo)解剖對象的概率。在這種情形中，保留具有由第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)計算出的最高概率的多個位置-定向候選。在另一可能的實施方式中，第二深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入對應(yīng)于位置-定向候選的圖像塊并針對每個圖像塊計算差值向量，從而產(chǎn)生解剖對象的預(yù)測位置和定向以及針對每個輸入的位置-定向假設(shè)計算的對應(yīng)預(yù)測圖像塊。在這種情形中，第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)還能夠針對每個預(yù)測圖像塊計算置信分?jǐn)?shù)，并且具有最高置信分?jǐn)?shù)的多個預(yù)測圖像塊被保留作為位置-定向候選。

在步驟510，由第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)檢測到的位置-定向候選被擴充為具有尺度參數(shù)，以生成位置-定向-尺度假設(shè)。例如，通過將對應(yīng)于位置-定向候選的每個圖像塊縮放至從針對目標(biāo)解剖對象的尺度的預(yù)定范圍采樣的多個可能的尺度，能夠針對每個檢測到的位置-定向候選來生成多個位置-定向-尺度假設(shè)。尺度的預(yù)定范圍能夠由一組帶注釋的訓(xùn)練數(shù)據(jù)中完全真實對象的尺度的范圍來確定。應(yīng)當(dāng)指出的是，在用于在步驟508中檢測目標(biāo)解剖對象的全參數(shù)集的第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器的情形中，利用尺度參數(shù)對位置-定向候選的擴充在一些實施方式中可以被執(zhí)行。盡管附加的位置-定向-尺度假設(shè)可以導(dǎo)致全參數(shù)集估計的精度增加，但是因為經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器將預(yù)測目標(biāo)解剖對象的位置、定向和尺度以及針對對應(yīng)于位置-定向候選的每個輸入圖像塊的對應(yīng)目標(biāo)圖像塊，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器能夠直接對對應(yīng)于位置-定向候選的圖像塊運行，并且不必將位置-定向候選擴充為具有多個尺度參數(shù)。

在步驟512，使用第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)從位置-定向-尺度假設(shè)檢測目標(biāo)解剖對象的全參數(shù)集(位置、定向、和尺度)。第三深度神經(jīng)網(wǎng)絡(luò)直接對對應(yīng)于位置-定向-尺度假設(shè)的醫(yī)學(xué)圖像的圖像塊進行操作。第三深度神經(jīng)網(wǎng)絡(luò)輸入對應(yīng)于位置-定向-尺度假設(shè)的圖像塊，并基于輸入圖像塊計算全參數(shù)集，全參數(shù)集限定醫(yī)學(xué)圖像中解剖對象的姿勢。在可能的實施方式中，第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)可以是判別式深度神經(jīng)網(wǎng)絡(luò)，其輸入對應(yīng)于位置-定向-尺度假設(shè)的圖像塊，并針對每個位置-定向-尺度假設(shè)來計算對應(yīng)圖像塊是目標(biāo)解剖對象的概率。在這種情形中，對應(yīng)于具有由第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)計算的最高概率的位置-定向-尺度假設(shè)的圖像塊能夠被輸出作為針對解剖對象的檢測結(jié)果。還可能的是，對應(yīng)于具有最高概率的位置-定向-尺度的多個圖像塊能夠被聚類以生成針對解剖對象的最終檢測結(jié)果。在另一可能的實施方式中，第三深度神經(jīng)網(wǎng)絡(luò)可訓(xùn)練回歸函數(shù)，回歸函數(shù)輸入對應(yīng)于位置-定向-尺度假設(shè)的圖像塊并針對每個圖像塊計算差值向量，從而產(chǎn)生解剖對象的預(yù)測位置、定向、和尺度以及針對每個輸入位置-定向-尺度假設(shè)計算的對應(yīng)預(yù)測圖像塊。在這種情形中，第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)還能夠針對每個預(yù)測圖像塊計算置信分?jǐn)?shù)，并且具有最高置信分?jǐn)?shù)的圖像塊隨后能夠被輸出作為針對解剖對象的檢測結(jié)果。還可能的是，具有最高置信分?jǐn)?shù)的多個預(yù)測圖像塊能夠被聚類以生成針對解剖對象的最終檢測結(jié)果。

所檢測到的解剖對象能夠顯示在計算機的顯示設(shè)備上，例如，通過顯示醫(yī)學(xué)圖像以及使用具有檢測到的位置、定向、和尺度的邊界框指示醫(yī)學(xué)圖像上目標(biāo)解剖對象的姿勢。根據(jù)有益的實施例，圖5的方法能夠擴展到目標(biāo)解剖對象的分割。例如，目標(biāo)解剖對象的均值模型(例如，3D網(wǎng)孔)能夠根據(jù)一組帶注釋的訓(xùn)練數(shù)據(jù)來計算，并且一旦在醫(yī)學(xué)圖像中檢測到目標(biāo)解剖對象的全參數(shù)(位置、定向、和尺度)，就可以使用目標(biāo)解剖對象的檢測到的位置、定向和尺度把均值模型嚴(yán)格配準(zhǔn)至醫(yī)學(xué)圖像，從而產(chǎn)生醫(yī)學(xué)圖像中目標(biāo)解剖對象的分割模型。在這種情形中，在將均值模型配準(zhǔn)至醫(yī)學(xué)圖像后，能夠執(zhí)行局部邊界細化。在局部邊界細化中，通過使用經(jīng)訓(xùn)練的邊界檢測器沿垂直于模型表面的線在兩個定向上評估各個點來細化目標(biāo)解剖對象的分割模型的每個邊界點。細化模型能夠隨后使用活動(active)形狀模型被投影至目標(biāo)解剖對象的經(jīng)學(xué)習(xí)的形狀空間。使用經(jīng)訓(xùn)練的邊界檢測器細化模型以及將細化模型投影至經(jīng)學(xué)習(xí)的形狀空間的步驟能夠被迭代直至收斂，或者進行預(yù)定數(shù)量的迭代。在可能的實施方式中，經(jīng)訓(xùn)練的邊界檢測器可以是深度神經(jīng)網(wǎng)絡(luò)，其直接應(yīng)用于圖像數(shù)據(jù)?？商娲?，經(jīng)訓(xùn)練的邊界檢測器能夠使用從圖像數(shù)據(jù)提取的手工特征，例如可操縱特征。

圖4和5的方法描述了針對一個實施例的訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)以及使用經(jīng)訓(xùn)練的這一系列深度神經(jīng)網(wǎng)絡(luò)的解剖對象檢測，在該實施例中針對解剖對象的姿勢的參數(shù)空間被分為位置、位置-定向、和位置-定向-尺度的邊緣搜索空間。然而，本發(fā)明并不限于這些特定的邊緣形狀空間。例如，這些方法能夠類型地使用位置、位置-尺度、和位置-尺度-定向的邊緣形狀空間來執(zhí)行。應(yīng)當(dāng)理解的是，本發(fā)明的各實施例能夠應(yīng)用于具有遞增維度的任意系列的邊緣搜索空間。

圖1和4的方法針對每個邊緣形狀空間來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在一個可能的實施方式中，每個經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是判別式深度神經(jīng)網(wǎng)絡(luò)。在另一可能的實施方式中，每個經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)回歸器。其他混合實施方式也是可能的，其中判別式深度神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)回歸器針對邊緣搜索空間中不同的邊緣搜索空間被使用，或者其中深度神經(jīng)網(wǎng)絡(luò)(判別式或回歸器)針對邊緣搜索空間中的一個或多個被使用，并且另一類型的分類器針對邊緣搜索空間中的一個或多個被訓(xùn)練。

圖6圖示了根據(jù)本發(fā)明實施例的、使用邊緣空間深度學(xué)習(xí)在2D MR圖像中檢測左心室尖的方法。圖6的方法提供了應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來檢測2D MR圖像中左心室(LV)尖的示例。根據(jù)各種可能的實施方式，圖6的方法能夠使用針對每個邊緣搜索空間的判別式深度神經(jīng)網(wǎng)絡(luò)、使用判別式深度神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)回歸器兩者、或者使用具有其他類型分類器的判別式深度神經(jīng)網(wǎng)絡(luò)來實施。盡管圖6的方法被描述為在2D MR圖像中檢測LV尖，但應(yīng)當(dāng)理解的是，該方法的各種變型能夠類似地被應(yīng)用于其他解剖對象和其他2D或3D成像模態(tài)。參照圖6，在步驟602，接收2D MR圖像。2D MR圖像可以是患者心臟區(qū)域的MR圖像。2D MR圖像可以直接從MR掃描器接收或者可以通過裝載先前獲取的患者的2D MR圖像來接收。

在步驟604，使用經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)在2D MR圖像中檢測LV尖位置候選?；谄渲蠰V尖被注釋的訓(xùn)練圖像來對經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。對于每幅訓(xùn)練圖像，以帶注釋的LV尖為中心的圖像塊(例如，32×32像素)被視為正訓(xùn)練樣本，并且距離帶注釋的LV尖超過預(yù)定距離(例如，5mm)定位的相同尺寸的另一圖像塊則被隨機選擇作為負訓(xùn)練樣本。如上所述，能夠使用無監(jiān)督的預(yù)訓(xùn)練階段來訓(xùn)練判別式深度神經(jīng)網(wǎng)絡(luò)，在無監(jiān)督的預(yù)訓(xùn)練階段中訓(xùn)練隱藏層(例如，使用堆疊式DAE)，以便從輸入圖像塊學(xué)習(xí)復(fù)雜特征，然后是基于由隱藏層提取的特征和帶注釋的訓(xùn)練樣本有監(jiān)督地訓(xùn)練輸出層，從而針對每個輸入圖像塊來計算概率并基于該概率將輸入圖像塊分類為正或負。

在由本發(fā)明人執(zhí)行的示例性測試中，使用來自184名患者的7961幅2D MR圖像的訓(xùn)練集。75％的訓(xùn)練圖像被隨機選擇以用于訓(xùn)練(來自139名患者的5970幅圖像)以及25％用于測試(來自46名患者的1991幅圖像)。在該實驗中，來自同一患者的圖像出現(xiàn)在訓(xùn)練集或者測試集中，但是并不是二者都有(患者方面交叉驗證)。對于每幅訓(xùn)練圖像，以帶注釋的LV尖為中心的32×32像素的圖像塊被選擇作為正訓(xùn)練樣本，并且距離帶注釋的LV尖超過5mm定位的相同尺寸的另一圖像塊被隨機選擇作為負訓(xùn)練樣本。利用均衡的正/負訓(xùn)練樣本，基于使用概率提升樹(PBT)從訓(xùn)練圖像提取的Haar小波特征訓(xùn)練的傳統(tǒng)MSL位置分類器達到針對LV尖位置檢測的30％的測試誤差?？梢曰诜浅４髷?shù)量的負樣本訓(xùn)練MSL位置分類器。當(dāng)基于從訓(xùn)練集中隨機選擇的1千萬負訓(xùn)練樣本訓(xùn)練MSL位置分類器時，MSL位置分類器的測試誤差減小到23％?；诔跏驾斎雺K(使用原始圖像強度作為具有32×32＝1024特征的特征)訓(xùn)練的支持向量機(SVM)達到13％的測試誤差。CNN達到16.9％的誤差。具有基于訓(xùn)練樣本訓(xùn)練的尺寸為1024-1024-300-100-2的層的堆疊式DAE(SDAE)達到7.3％的測試誤差，這顯著地優(yōu)于其他分類方案。

在2D MR圖像中檢測LV尖位置的主要挑戰(zhàn)在于：LV定向存在大的變化，這導(dǎo)致LV尖的外觀基于MR圖像的定向具有大的變化。根據(jù)有益的實施方式，通過將以完全真實LV尖位置為中心的每個圖像塊旋轉(zhuǎn)至多個可能的旋度，可以生成針對LV尖檢測的附加正訓(xùn)練樣本。例如，針對每幅訓(xùn)練圖像，除了以帶注釋的LV尖位置為中心的初始圖像塊以外，以帶注釋的LV尖位置為中心的九幅隨機旋轉(zhuǎn)的圖像塊能夠用作正訓(xùn)練樣本。圖7圖示了用于LV尖位置檢測的具有隨機旋轉(zhuǎn)的示例性豐富化正訓(xùn)練樣本。如圖7中所示，每一列示出了從一幅訓(xùn)練圖像取得的10個正訓(xùn)練樣本。每一列中的頂部圖像塊是以針對訓(xùn)練圖像的LV尖位置為中心的初始圖像塊，并且每一列中的其他圖像塊是隨機旋轉(zhuǎn)的圖像塊。負訓(xùn)練樣本并不旋轉(zhuǎn)。然而，由于從每幅訓(xùn)練圖像選擇了更多的正訓(xùn)練樣本，十個負訓(xùn)練樣本能夠從每幅訓(xùn)練圖像被隨機采樣，從而使正和負訓(xùn)練樣本的數(shù)量均衡。通過訓(xùn)練SDAE以用于在由本發(fā)明人執(zhí)行的這次實驗中使用豐富化的訓(xùn)練樣本來檢測LV尖位置，測試誤差從7.3％減小到3.1％。如上所述，深度神經(jīng)網(wǎng)絡(luò)的經(jīng)訓(xùn)練的隱藏層直接從輸入圖像塊學(xué)習(xí)高等級圖像特征。圖8圖示了堆疊式去噪自動編碼器(DAE)的第一隱藏層的示例性學(xué)習(xí)權(quán)重。圖8中示出的學(xué)習(xí)權(quán)重能夠被視為用于提取高等級圖像特征的濾波器。圖8中示出的一些濾波器(學(xué)習(xí)權(quán)重)類似于Gabor特征，而一些濾波器(在圖8中以邊框突出顯示)是具有不同定向的LV尖的特定檢測器。

一旦訓(xùn)練了判別式深度神經(jīng)網(wǎng)絡(luò)位置檢測器，經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)就用于測試2D醫(yī)學(xué)圖像中的每個像素，并且具有最大分類分?jǐn)?shù)(最高概率)的多個(例如，200個)候選被保存為位置候選。在可能的實施方式中，由于LV尖是解剖界標(biāo)，該方法能夠在這一步驟終止并輸出由經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)檢測到的位置作為LV尖位置。在這種情形中，能夠?qū)z測到的位置候選執(zhí)行聚類分析并且最大聚類的中心能夠用作針對LV尖的最終檢測結(jié)果。然而，位置-定向和位置-定向尺度檢測能夠被用作引導(dǎo)分類器，以移除位置檢測中的誤判。在由本發(fā)明人執(zhí)行的測試中，如果檢測到的LV尖遠離完全真實位置超過10mm，檢測就被認為失敗。僅使用利用SDAE訓(xùn)練的位置檢測器進行LV尖檢測，失敗率達到16.3％。為了比較，使用利用手工圖像特征(針對位置的Haar小波以及針對位置-定向和位置-定向-尺度的可操縱特征)和PBT訓(xùn)練的整個MSL管路，失敗率達21.1％。因而，利用SDAE訓(xùn)練的位置檢測器勝過使用手工圖像特征的整個MSL管路。在可能的混合方法中，能夠使用SDAE來檢測針對LV尖的位置候選，并且這些位置候選能夠被饋送至使用手工圖像特征(可操縱特征)和PBT訓(xùn)練的MSL位置-定向和位置-定向-尺度分類器。使用這種混合方法，達到11.7％的檢測失敗，這約為初始MSL失敗率的一半。

返回圖6，在步驟606，基于檢測到的位置候選來檢測針對LV尖的位置-定向候選。在第一可能的實施例中，能夠使用上述的混合方法，其中經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)替代MSL管路中的位置檢測器，并且檢測到的位置候選被饋送至使用可操縱特征和PBT訓(xùn)練的MSL位置-定向分類器。在其他可能的實施例中，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)還能夠被應(yīng)用于執(zhí)行位置-定向估計。

在第二可能的實施例中，類似于如上所述的圖5的方法，以每個位置候選為中心的旋轉(zhuǎn)圖像塊可以被裁剪并被輸入至第二經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)分類器中，第二經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)分類器被訓(xùn)練為二元分類器，以區(qū)分對應(yīng)于正確假設(shè)的圖像塊和對應(yīng)于錯誤假設(shè)的圖像塊。保存具有最優(yōu)分類分?jǐn)?shù)的多個位置-定向候選。這非常適合于2D圖像，因為對于2D旋轉(zhuǎn)僅存在一個自由度。此外，2D圖像能夠被預(yù)旋轉(zhuǎn)至多個可能的定向，并且能夠通過從對應(yīng)的預(yù)旋轉(zhuǎn)圖像裁剪圖像塊來生成旋轉(zhuǎn)的圖像塊。然而，這對于3D來說可能是不現(xiàn)實的，因為對于3D旋轉(zhuǎn)存在三個自由度，并且旋轉(zhuǎn)3D體積是耗時的。

在第三可能的實施例中，可操縱特征能夠被用作圖像特征，以結(jié)合從位置候選生成的位置和定向假設(shè)。在任意位置、定向和尺度下，可操縱特征是高效的。在該實施例中，代替使用PBT來訓(xùn)練分類器，深度神經(jīng)網(wǎng)絡(luò)能夠用于訓(xùn)練用于檢測位置-定向候選的判別式分類器，而不基于可操縱特征訓(xùn)練該分類器，并且不是基于輸入圖像塊直接訓(xùn)練分類器。經(jīng)訓(xùn)練的判別式分類器隨后用于基于從檢測到的位置候選生成的位置-定向假設(shè)的可操縱特征來檢測位置-定向候選。

在第四可能的實施例中，位置-定向問題被表達為回歸問題，并且經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器用于基于由經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)檢測的位置候選來檢測位置-定向候選。給定對應(yīng)于位置候選的輸入圖像塊，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器能夠直接計算目標(biāo)對象(例如，LV尖)的位置和定向的估計值。此外，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器能夠被擴充以針對每個估計的目標(biāo)圖像塊來輸出置信分?jǐn)?shù)。為了訓(xùn)練這一置信分?jǐn)?shù)，使用估計的圖像塊到完全真實尖端位置的距離的倒數(shù)。對于每個保留的位置候選，以該位置候選為中心的對應(yīng)圖像塊被輸入至經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，并且基于輸入圖像塊來預(yù)測目標(biāo)圖像塊。在該實施例中，不需要旋轉(zhuǎn)對應(yīng)于位置候選的圖像塊。經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器不僅提供了目標(biāo)對象位置和定向的估計值，還提供了量化估計值可靠程度的置信分?jǐn)?shù)。隨后使用置信分?jǐn)?shù)排列估計的位置-定向圖像塊，并且保留具有最大置信分?jǐn)?shù)的多個位置-定向候選。

在步驟608，基于位置-定向候選來檢測針對LV尖的全參數(shù)集(位置、定向、和尺度)。這一步驟能夠類似于位置-定向估計步驟使用針對該步驟描述的實施例之一來執(zhí)行。例如，在第一可能的實施例中，檢測到的位置-定向候選被饋送至使用可操縱特征和PBT訓(xùn)練的MSL位置-定向-尺度分類器。在第二可能的實施例中，對應(yīng)于位置-定向候選的每個圖像塊能夠縮放至多個尺度，并且由經(jīng)訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)評估縮放后的圖像塊以檢測具有最高分類分?jǐn)?shù)的圖像塊。在第三可能的實施例中，使用可操縱特征訓(xùn)練的判別式深度神經(jīng)網(wǎng)絡(luò)能夠用于評估處于不同尺度的位置-定向候選。在第四可能的實施例中，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器能夠用于針對每個位置-定向候選來估計目標(biāo)位置-定向-尺度圖像塊，并且具有最高置信分?jǐn)?shù)的目標(biāo)圖像塊能夠被選擇作為最終檢測結(jié)果。

圖9圖示了根據(jù)本發(fā)明實施例的、使用邊緣空間深度回歸(MSDR)進行MR心臟長軸圖像中左心室(LV)界標(biāo)檢測的方法。圖9的方法是一系列經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器用于檢測具有遞增維度的一系列邊緣空間中的多個LV界標(biāo)的示例。特別地，圖9的方法檢測MR心臟長軸圖像中LV尖的位置以及兩個二尖瓣環(huán)點。圖10圖示了各個MR心臟長軸圖像中的示例性LV界標(biāo)。特別地，圖10在三幅MR長軸圖像中示出了以LV中心位置為中心的LV邊界框1002、LV尖1004、以及二尖瓣環(huán)點1006和1008。該檢測問題的一個困難是MR圖像的大外觀和參數(shù)變化性特性。能夠考慮所有類型的長軸視圖(例如，4腔視圖，2腔視圖，和3腔視圖)，這增加了該問題的難度。

參照圖9，在步驟902，接收MR圖像。MR圖像可以是任意長軸視圖(例如，4腔視圖，2腔視圖，或3腔視圖)的2D MR長軸圖像。MR圖像可以從MR掃描器直接接收，或者通過裝載來自計算機系統(tǒng)的存儲器或存儲裝置的先前存儲的MR圖像來接收。在步驟904，使用第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測MR圖像中的LV中心位置。在步驟906，使用第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，基于檢測到的LV位置來檢測LV定向。在步驟908，使用第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，基于所檢測到的LV位置和定向來檢測LV尖和二尖瓣環(huán)點的位置。代替在位置、位置-定向、和位置-定向尺度的邊緣搜索空間中檢測醫(yī)學(xué)圖像中的單個解剖對象，圖9的方法在如下系列的邊緣搜索空間中執(zhí)行界標(biāo)檢測：LV位置、LV位置和定向、以及包括LV尖和二尖瓣環(huán)點的位置的全參數(shù)集。也就是說，圖9的方法發(fā)現(xiàn)LV的位置和定向(在步驟904和906中)，并隨后使用這一信息來預(yù)測LV尖和二尖瓣環(huán)點的位置(在步驟908中)。

基于從對應(yīng)于訓(xùn)練樣本位置假設(shè)的圖像塊(例如，32×32像素)到以每幅訓(xùn)練圖像中完全真實LV中心位置為中心的圖像塊的2D偏移來訓(xùn)練步驟904中用于LV位置檢測的第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器。使用由旋轉(zhuǎn)至多個不同定向的第一經(jīng)訓(xùn)練的分類器輸出的預(yù)測的圖像塊來訓(xùn)練第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，從而預(yù)測以具有正確LV定向的LV中心位置為中心的圖像塊?；趯?yīng)于三個LV界標(biāo)(LV尖和二尖瓣環(huán)點)中每一個的位置的2D偏移來訓(xùn)練第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器。第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器輸入對應(yīng)于檢測到的LV中心位置和LV定向的圖像塊，并輸出：將輸入圖像塊映射至LV尖位置的第一偏移向量、將輸入圖像塊映射至二尖瓣環(huán)點之一的位置的第二偏移向量、以及將輸入圖像塊映射至另一個二尖瓣環(huán)點的第三偏移向量。在示例性實施方式中，可以針對每個邊緣搜索空間訓(xùn)練針對每個參數(shù)值的具有離散化多類輸出的3級(three level)DAE。經(jīng)訓(xùn)練的DAE能夠限制偏移向量的長度(例如，平移達到24個像素偏移)，并且能夠反復(fù)掃描圖像以確定針對每個邊緣搜索空間的最終參數(shù)集。

圖11圖示了使用圖9的方法檢測MR圖像中LV界標(biāo)的示例結(jié)果。如圖11中所示，圖像1100示出了第一檢測階段(圖9的步驟904)，其中使用第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器來檢測LV位置。如圖像1100中所示，MR圖像中以各個像素為中心的圖像塊1102和1104被輸入至第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器，并且第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器針對每個圖像塊1102和1104計算從每個圖像塊1102和1104的中心位置到LV中心位置的相應(yīng)偏移1106和1108。圖像1110示出了參數(shù)空間內(nèi)由第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的檢測到的LV中心位置1112，并且圖像1115示出了MR圖像中檢測到的LV中心位置1112。如本文所述，第一檢測階段(步驟904)檢測單個LV中心位置。例如，由第一經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的具有最高置信分?jǐn)?shù)的LV中心位置能夠被傳播至第二檢測階段(步驟906)。在替代實施方式中，多個LV中心位置候選能夠被傳播至第二檢測階段。在第二檢測階段(步驟906)中，基于由第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的LV中心位置來檢測LV定向。圖像1120示出了MR圖像，其被旋轉(zhuǎn)為與由第二經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的LV旋度對齊。如本文所述，第一檢測階段(步驟904)預(yù)測對應(yīng)于特定LV中心位置和LV定向的圖像塊。在替代實施方式中，多個LV位置-定向候選能夠被傳播至第三檢測階段。在第三檢測階段(步驟909)中，基于由第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的LV中心位置和LV定向來檢測LV尖和二尖瓣環(huán)點的位置。圖像1130示出了參數(shù)空間內(nèi)由第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的檢測到的LV尖位置1132，并且圖像1135示出了MR圖像中檢測到的LV尖位置1132。圖像1140示出了由第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的參數(shù)空間內(nèi)的第一二尖瓣環(huán)點1142的檢測到的位置，并且圖像1145示出了MR圖像中第一二尖瓣環(huán)點1142的檢測到的位置。圖像1150示出了參數(shù)空間內(nèi)由第三經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器檢測到的第二二尖瓣環(huán)點1152的檢測到的位置，并且圖像1155示出了MR圖像中第二二尖瓣環(huán)點1152的檢測到的位置。

本發(fā)明人使用來自184名患者的7961幅圖像的數(shù)據(jù)庫測試了圖9的方法，7961幅圖像隨機分成5970幅圖像用于訓(xùn)練(75％的數(shù)據(jù)，來自138名患者)以及1991幅圖像用于測試(25％的數(shù)據(jù)，來自46名患者)。訓(xùn)練和測試集在患者層面不相交。對于第一和第二邊緣搜索空間，原始圖像的一半與32×32像素的圖像塊一起使用。針對每個邊緣搜索空間，使用具有針對每個參數(shù)值的離散化多類輸出的3級DAE(平移達到24個像素偏移)。每幅測試圖像被反復(fù)掃描以確定最終參數(shù)集。圖12圖示了用于檢測LV尖和二尖瓣環(huán)點的測試集上檢測誤差的概率。如圖12中所示，80％的測試數(shù)據(jù)具有小于8mm的誤差。表1示出了圖9的方法在沒有引導(dǎo)的情況下用于檢測測試集中LV中心、LV尖、右二尖瓣環(huán)點、和左二尖瓣環(huán)點的性能。

表1

為了比較，使用傳統(tǒng)MSL框架的LV尖檢測達到20.39mm的平均誤差，4.38mm的中值誤差，在80％處11.04mm，以及21.1％的異常值(距完全真實位置大于10mm的誤差)。使用MSDR的LV界標(biāo)檢測的性能通過引導(dǎo)結(jié)果穿過新訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)來對假設(shè)集進行濾波而得到進一步提高。使用標(biāo)準(zhǔn)個人計算機(PC)，使用圖9的MSDR框架進行測試的檢測時間小于2s。

當(dāng)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被用于在特定參數(shù)空間內(nèi)進行對象檢測的基礎(chǔ)分類器時，如上文所描述的實施例中那樣，當(dāng)在高維空間內(nèi)搜索(例如在容積內(nèi)的3D位置上搜索)時，由于在針對這種深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的高維度和復(fù)雜權(quán)重矩陣的情況下掃描，可縮放性可能會受限。這可能要求卷積層以及全連接濾波器，盡管卷積層的操作能夠高效執(zhí)行，例如通過使用快速傅里葉變換(FFT)將卷積通過傅里葉空間進行映射。根據(jù)本發(fā)明的實施例，用于逼近邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法能夠用于解決這種可縮放性挑戰(zhàn)。

圖13圖示了根據(jù)本發(fā)明實施例的、通過逼近邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行解剖對象檢測的方法。圖13的方法能夠被應(yīng)用于使用判別式深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)或深度神經(jīng)網(wǎng)絡(luò)回歸函數(shù)結(jié)構(gòu)的對象檢測。參照圖13，在步驟1302，訓(xùn)練邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以用于解剖對象檢測。例如，使用上述圖1的方法或者圖4的方法，可以通過針對具有遞增維度的一系列邊緣搜索空間訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)來訓(xùn)練邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。如上所述，通過學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的多層的權(quán)重連接節(jié)點來訓(xùn)練每個深度神經(jīng)網(wǎng)絡(luò)。在步驟1304，計算邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近。通過計算每個經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的相應(yīng)逼近來計算邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近。通過逼近經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)權(quán)重來計算每個經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的逼近。在步驟1306，使用邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近而不使用初始訓(xùn)練的邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來執(zhí)行醫(yī)學(xué)圖像中的對象檢測。

根據(jù)各個可能的實施例，可以通過以下方式來執(zhí)行經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)權(quán)重的逼近(步驟1304)：a)低秩張量分解；b)通過更高效特征的逼近；或者c)直接使用稀疏逼近權(quán)重矩陣在可拆分低空間(separable low space)中學(xué)習(xí)權(quán)重。使用逼近權(quán)重矩陣的目的在于保持已經(jīng)訓(xùn)練的邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的分類性能，同時顯著地提高將邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于輸入假設(shè)的速度。例如，使用3D中的可拆分張量分解，能夠?qū)⑨槍³個體素與內(nèi)核k³個體素卷積/利用內(nèi)核k³個體素濾波的體積的計算復(fù)雜度從(k³·n³)階減小到(k·n³)階。在解剖對象檢測的情境下，邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中權(quán)重矩陣的逼近能夠與基于已經(jīng)學(xué)習(xí)的圖像特征訓(xùn)練的級聯(lián)分類器結(jié)構(gòu)相組合。級聯(lián)能夠使用來自第一網(wǎng)絡(luò)層的特征的貪心遞增特征選擇來訓(xùn)練并隨后微調(diào)級聯(lián)以接近100％真陽性率。

根據(jù)可能的實施例，給定已經(jīng)訓(xùn)練的邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練權(quán)重能夠通過低秩張量因子分解方法來逼近(步驟1304)。能夠指出的是，在高維度，在不保證全局最優(yōu)逼近解的情況下，這一任務(wù)通常是NP-hard。因而，最低秩張量因子分解方法基于目標(biāo)張量和它的低秩表示之間的距離函數(shù)的迭代優(yōu)化。優(yōu)化聚焦于在相等分布噪聲下最小化二范數(shù)(最小乘方)誤差或者低秩分解和目標(biāo)張量之間的Kullback-Leibler散度。能夠使用針對低秩張量因子分解的任意這種方法，以便逼近經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)權(quán)重。在有益的實施方式中，每個經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)張量權(quán)重能夠通過固定重構(gòu)的最小化誤差或者秩而被替換為逼近分解。特定經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的逼近能夠通過下列過程中的一個來迭代細化：(1)在每個滿秩訓(xùn)練時期后，投影低秩空間中的每個張量并迭代地重復(fù)直到誤差保持穩(wěn)定；或者(2)在每個時期，直接更新低秩空間中的權(quán)重并迭代重復(fù)直到誤差保持穩(wěn)定。

圖14圖示了使用經(jīng)訓(xùn)練的邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近在全身計算機斷層(CT)掃描中進行界標(biāo)檢測的示例性結(jié)果。如圖14中所示，使用經(jīng)訓(xùn)練的邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近在全身CT體積中檢測目標(biāo)血管界標(biāo)1402。在圖14的示例中，使用來自206名患者的272個帶注釋的3D CT體積的數(shù)據(jù)庫，其中204個體積用于訓(xùn)練，68個體積用于測試。在圖像上掃描的輸入框具有20×20×20mm的尺寸。利用具有下列結(jié)構(gòu)的引導(dǎo)來訓(xùn)練具有卷積層的判別式邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：1：具有5×5×5內(nèi)核的6個卷積層；2：具有2×2×2內(nèi)核的聚集層；3：具有5×5×5內(nèi)核的6×12卷積層；4：具有2×2×2內(nèi)核的聚集層；5：具有兩個類的線性分類器層。秩2分解用于逼近邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的權(quán)重。在該示例中，滿秩邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)達到在2.0％測試數(shù)據(jù)上的分類器誤差。滿秩邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)達到均值為1.38mm、標(biāo)準(zhǔn)差為0.67mm、中值為1.25mm、以及在80％處的誤差為1.90mm的訓(xùn)練誤差。滿秩邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)達到均值為1.49mm、標(biāo)準(zhǔn)差為1.07mm、中值為1.32mm、以及在80％處的誤差為2.06mm的測試誤差。邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的降秩逼近達到在3.0％測試數(shù)據(jù)上的逼近分類器誤差。邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的降秩逼近達到均值為1.34mm、標(biāo)準(zhǔn)差為0.63mm、中值為1.28mm、以及在80％處的誤差為1.73mm的訓(xùn)練誤差。邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的降秩逼近達到均值為1.62mm、標(biāo)準(zhǔn)差為1.36mm、中值為1.36mm、以及在80％處的誤差為2.09mm的測試誤差。因而，邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)逼近的性能非常類似于滿秩邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的性能。然而，降秩逼近的運行時間大大快于滿秩邊緣空間深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的運行時間。

用于訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)、使用經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)進行解剖對象檢測、以及使用經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的逼近進行解剖對象檢測的上述方法能夠使用公知的計算機處理器、存儲器單元、存儲設(shè)備、計算機軟件、和其他組件在計算機上實施。這種計算機的高等級框圖在圖15中圖示。計算機1502包括處理器1504，其通過執(zhí)行限定整體操作的計算機程序指令來控制計算機1502的整體操作。計算機程序指令可以存儲在存儲設(shè)備1512(例如，磁盤)中并且當(dāng)期望執(zhí)行計算機程序指令時裝載到存儲器1510中。因而，圖1、4、5、6、9和13的方法的步驟可以由存儲在存儲器1510和/或存儲裝置1512內(nèi)的計算機程序指令來限定，并且由執(zhí)行計算機程序指令的處理器1504來控制。諸如MR掃描設(shè)備、CT掃描設(shè)備、超聲設(shè)備、X射線圖像獲取設(shè)備等的圖像獲取設(shè)備1520能夠連接至計算機1502，以輸入圖像數(shù)據(jù)至計算機1502?？梢詫D像獲取設(shè)備1520和計算機1502實施為一個設(shè)備。圖像獲取設(shè)備1520和計算機1502還可以通過網(wǎng)絡(luò)無線通信。在可能的實施例中，計算機1502可定位成遠離圖像獲取設(shè)備1520，并且計算機1502可執(zhí)行作為基于服務(wù)器或者云的服務(wù)的一部分的方法步驟。計算機1502還包括一個或多個網(wǎng)絡(luò)接口1506，用于通過網(wǎng)絡(luò)與其他設(shè)備通信。計算機1502還包括其他輸入/輸出設(shè)備1508，其使得用戶能夠與計算機1502(例如，顯示器、鍵盤、鼠標(biāo)、揚聲器、按鍵等)交互。這樣的輸入/輸出設(shè)備1508可用于與計算機程序集一起用作注釋工具從而對從圖像獲取設(shè)備1520接收的體積進行注釋。本領(lǐng)域技術(shù)人員將意識到，實際計算機的實施還能夠包含其他部件，并且圖15是處于說明目的的這種計算機的一些部件的高等級表示。

前面的詳細描述應(yīng)當(dāng)在每個方面理解為是說明性和示例性的，而非限制性的，并且本文公開的本發(fā)明的范圍并不從詳細描述來確定，而是從權(quán)利要求如由專利法允許的完整寬度來理解的那樣確定。應(yīng)當(dāng)理解的是，本文所示和所述的各實施例僅僅是本發(fā)明原理的說明，并且本領(lǐng)域技術(shù)人員可以在不背離本發(fā)明的范圍和精神的情況下實施各種修改。本領(lǐng)域技術(shù)人員能夠在不背離本發(fā)明的范圍和精神的情況下實施各種其他特征組合。