一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法
【專利摘要】本發(fā)明公開了一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，首先運(yùn)用深度模型提取特征，然后運(yùn)用滑動窗口技術(shù)作用于病理切片圖像中細(xì)胞自動檢測的方法。具體步驟包括：對切片圖像取塊，特征提取模型堆疊稀疏自編碼的訓(xùn)練，檢測器訓(xùn)練，滑動窗口掃描大圖像，標(biāo)注細(xì)胞位置。本發(fā)明以大幅切片圖為研究對象，采用檢測器加滑動窗口的新方法，更能準(zhǔn)確找到圖像中細(xì)胞的位置，且更加快速和全面，對圖像中一些不是很明顯的細(xì)胞也能起到很好的檢測效果。本發(fā)明提出的細(xì)胞自動檢測方法能輔助臨床醫(yī)生對數(shù)字病理學(xué)切片進(jìn)行量化評估，準(zhǔn)確快速的進(jìn)行臨床診斷，減少不同的觀察者或者同一個觀察者在不同時間段之間的診斷差異性。
【專利說明】一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明公開了一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，涉及圖像 信息處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 隨著大幅切片圖像數(shù)字掃描技術(shù)的產(chǎn)生以及掃描的高效率性提高，組織病理切片 的數(shù)字化顯示和存儲變得現(xiàn)實可行。利用數(shù)字化技術(shù)可以對病理圖像進(jìn)行更高質(zhì)量的分 析。因為從組織切片病理成像圖相中幾乎可以找出各種癌癥細(xì)胞和組織的特征，并可以用 來輔助醫(yī)生診斷，但是現(xiàn)有的針對醫(yī)學(xué)圖像處理的技術(shù)研究仍然很少，所以研究一套針對 病理圖像的分析工具十分重要。
[0003] 在組織病理圖像的研究中很大一部分集中在特定組織結(jié)構(gòu)的分辨上，如淋巴細(xì)胞 檢測，癌癥細(xì)胞檢測，腺體檢測。這些組織的位置，大小，形狀，或其他的特有性質(zhì)表示對預(yù) 測病人的疾病狀況都是十分重要的指標(biāo)，例如在乳腺癌診斷中，切片中的細(xì)胞大小和分布 以及細(xì)胞形態(tài)都是重要的預(yù)測癌癥等級的生物標(biāo)志。然而人工的細(xì)胞標(biāo)定是一項十分費(fèi)時 費(fèi)力的任務(wù)，不利于臨床治療。如果有計算機(jī)輔助的自動檢測工具將會大大幫助臨床醫(yī)生 做出快速的診斷結(jié)果。
[0004] 與放射和其他形式的圖像相比，處理病理組織學(xué)圖像的最大挑戰(zhàn)在于其中巨大的 組織結(jié)構(gòu)密度。舉例來說，放大40倍的前列腺切片組織圖像就有15000*15000個像素。除 了高密度，組織圖像本身結(jié)構(gòu)也很復(fù)雜，包含很多組織結(jié)構(gòu)，而且這些結(jié)構(gòu)沒有明顯的邊 界，同一結(jié)構(gòu)還存在很多的形態(tài)，這些都給處理帶來巨大挑戰(zhàn)。Wolberg針對乳腺癌圖像最 早提出了基于主動輪廓模型的分割方法。在運(yùn)用中它需要使用者手動輸入細(xì)胞核的位置， 來方便程序進(jìn)行分割。但是所遇到的問題是，位于基質(zhì)但不在上皮層組織中的細(xì)胞數(shù)量是 十分巨大的。以前基于細(xì)胞或細(xì)胞核的檢測是利用分割算法來實現(xiàn)的，這些方法包括區(qū)域 增長法、自適應(yīng)閾值法、非監(jiān)督的顏色聚類法，水平集法，形態(tài)學(xué)基礎(chǔ)的方法和基于監(jiān)督的 顏色紋理方法。但是這些方法對處理多變化形狀和多尺度大小的乳腺癌細(xì)胞時顯得不是很 魯棒。這其中還存在組織切片獲取，染色和數(shù)字化過程中人為造成的不可避免的干擾現(xiàn)象。
[0005] 對于組織切片圖像來說，為學(xué)習(xí)和訓(xùn)練模型而獲取足夠的標(biāo)注圖像付出的代價 是十分昂貴的，因為這些標(biāo)注工作需要具有專業(yè)知識的人才能夠來完成。而另一方面隨著 數(shù)字化顯示組織圖像技術(shù)的快速發(fā)展，我們可以很容易獲得大量的未標(biāo)注數(shù)據(jù)。如果我們 能夠找到一種有效的方法來利用這些未標(biāo)注的高信息度的數(shù)據(jù)，那我們就能提高現(xiàn)有的基 于監(jiān)督的模型處理效果。對這些大量未標(biāo)注的數(shù)據(jù)提取更高層次的特征表示將是一個解決 此問題的處理方法。一個豐富全面描述原圖像的特征能夠幫助識別模型更準(zhǔn)確地區(qū)分我們 的目標(biāo)結(jié)構(gòu)。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有基于分割檢測算法無法處理病理切片 細(xì)胞時出現(xiàn)的細(xì)胞形狀多變化和尺度不同的問題，提供一種基于滑動窗口和提取深層特征 的細(xì)胞檢測方法，在充分利用大量未標(biāo)注的細(xì)胞數(shù)據(jù)的同時，有效地檢測出圖片中的各類 細(xì)胞，取得比基于分割的檢測更高的準(zhǔn)確度結(jié)果。
[0007] 本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：
[0008] -種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，包括以下步驟：
[0009] 步驟1、在病理圖像中選取細(xì)胞正樣本和細(xì)胞負(fù)樣本，得到圖像集；
[0010] 步驟2、對選取的圖像集進(jìn)行特征提取訓(xùn)練，特征提取方法為深度結(jié)構(gòu)提取特征， 運(yùn)用稀疏自編碼器進(jìn)行一層稀疏自編碼的訓(xùn)練，使得重構(gòu)誤差低于設(shè)定的閾值，得到第一 層特征；
[0011] 步驟3、在得到第一層特征的基礎(chǔ)上，再次運(yùn)用稀疏自編碼器以第一層特征作為原 始輸入進(jìn)行第二次特征提取，滿足重構(gòu)誤差低于設(shè)置的閾值，得到第二層特征；
[0012] 步驟4、把第二層特征輸入細(xì)胞分類器，訓(xùn)練細(xì)胞分類器；
[0013] 步驟5、將第一層特征的結(jié)構(gòu)、第二層特征的結(jié)構(gòu)和細(xì)胞分類器的結(jié)構(gòu)串連組成整 體，對整體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)，使得整個網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)；
[0014] 步驟6、對要檢測的病理切片圖像運(yùn)用鏡像邊界的方法擴(kuò)充圖像邊緣；
[0015] 步驟7、以訓(xùn)練好的細(xì)胞分類器為監(jiān)測器，利用滑動窗口的方法對病理切片圖像進(jìn) 行檢測，依次對窗口內(nèi)的病理圖像切片小塊進(jìn)行標(biāo)記；
[0016] 步驟8、運(yùn)用去重疊的方法排除重復(fù)的細(xì)胞位置，并在病理切片圖像中標(biāo)記出所有 的細(xì)胞位置。
[0017] 作為本發(fā)明的進(jìn)一步優(yōu)選方案，所述細(xì)胞分類器為Softmax分類器。
[0018] 作為本發(fā)明的進(jìn)一步優(yōu)選方案，所述步驟1中，圖像集的選取方法具體為：
[0019] 根據(jù)專業(yè)病理知識在病理圖像中標(biāo)記出細(xì)胞塊標(biāo)記點，以標(biāo)記點為中心，選取邊 長為34個像素的正方形病理圖像切片小塊，所述包含細(xì)胞的正方形病理圖像切片小塊作 為細(xì)胞正樣本；
[0020] 設(shè)定包含部分細(xì)胞和完全不包括細(xì)胞的病理圖像切片小塊為細(xì)胞負(fù)樣本，細(xì)胞負(fù) 樣本在病理圖像中隨機(jī)選取，且滿足條件：
[0021] (301)離專家標(biāo)注的點距離34個像素；
[0022] (302)選取的細(xì)胞負(fù)樣本不重復(fù)。
[0023] 作為本發(fā)明的進(jìn)一步優(yōu)選方案，在利用滑動窗口的方法對病理切片圖像進(jìn)行檢測 的過程中，當(dāng)遇到重復(fù)的檢測窗口響應(yīng)時，采用局部極值響應(yīng)的方法排除同一區(qū)域內(nèi)的重 復(fù)響應(yīng)。
[0024] 本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：
[0025] ⑴在同樣的實驗條件下，本發(fā)明方法的檢測準(zhǔn)確率比基于分割檢測方法的準(zhǔn)確率 高，且消耗時間少；
[0026] ⑵本發(fā)明方法在檢測細(xì)胞位置的同時并在原圖上做出標(biāo)記，方便臨床醫(yī)生直接觀 看，并在此基礎(chǔ)上做出后續(xù)診斷；
[0027] ⑶本發(fā)明方法針對邊緣細(xì)胞，采取鏡像邊緣像素的方法來擴(kuò)充邊緣，從而來檢測 這些細(xì)胞的位置。

【專利附圖】

【附圖說明】
[0028] 圖1是自動編碼器編碼解碼的訓(xùn)練結(jié)構(gòu)示意圖。
[0029] 圖2是自動編碼器編碼解碼訓(xùn)練完成后提取的特征結(jié)構(gòu)示意圖。
[0030] 圖3是本發(fā)明基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測結(jié)構(gòu)示意圖。
[0031] 圖4是本發(fā)明方法中用兩層稀疏自動編碼器訓(xùn)練得到的第一層特征顯示示意圖。
[0032] 圖5是本發(fā)明方法中用兩層稀疏自動編碼器訓(xùn)練得到的第二層特征顯示示意圖。

【具體實施方式】
[0033]下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)說明：
[0034] 本發(fā)明的一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，如圖3所示， 包括以下步驟：
[0035] 步驟1、訓(xùn)練樣本的選取：在病理圖像中選取包含細(xì)胞的小塊和非細(xì)胞小塊，其中 非細(xì)胞小塊包括有部分細(xì)胞的小塊和完全不包括細(xì)胞的小塊；
[0036] 關(guān)于細(xì)胞塊的選取，完全由擁有專業(yè)病理知識的臨床醫(yī)生在大幅切片圖像中進(jìn)行 標(biāo)記，程序會根據(jù)這些標(biāo)記點到原圖中截取以標(biāo)注點為中心，邊長為34個像素的正方形小 塊。這些包含細(xì)胞的小塊作為細(xì)胞正樣本。對于大細(xì)胞，采取50個像素的框?qū)⑵淙〕?。?改變其大小為34*34。對于細(xì)胞負(fù)樣本，我們規(guī)定包含部分細(xì)胞和完全不包括細(xì)胞的切片小 塊為樣本。設(shè)計程序為在原圖像中隨機(jī)取點，且這些點滿足一下兩個條件：離專家標(biāo)注的點 距離34個像素；所取的點不重復(fù)，一共選取這樣的小塊40000幅。
[0037]步驟2、第一層特征提取結(jié)構(gòu)的訓(xùn)練：由于要提取深度結(jié)構(gòu)的特征，本發(fā)明采取逐 層預(yù)訓(xùn)練的方式先訓(xùn)練第一層的結(jié)構(gòu)，提取第一層的特征。下面先介紹基礎(chǔ)的自動編碼器 的結(jié)構(gòu)特征和訓(xùn)練方式。
[0038] 自動編碼器是非監(jiān)督的特征學(xué)習(xí)結(jié)構(gòu)，它的訓(xùn)練目的在于找到關(guān)于原始高維數(shù)據(jù) 壓縮的更好的特征表示。自動編碼可以簡單地理解為一個前向傳播神經(jīng)網(wǎng)絡(luò)，并通過后向 傳播算法調(diào)節(jié)網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重。這個調(diào)節(jié)過程以盡可能地減小重構(gòu)圖像和原始圖像的誤差為 目標(biāo)。自編碼神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖1所示，自動編碼器編碼解碼訓(xùn)練完成后提取的特 征結(jié)構(gòu)示意圖如圖2所示；它分為編碼過程和解碼過程，其中X = (x(l)，x(2)，. . .，x(N))t 代表整個訓(xùn)練樣本集，歡/〇 e #，k e [1，2, . . .，N]，N為訓(xùn)練樣本的數(shù)量，R為特征空間， dx為一幅圖像中的像素個數(shù)。對應(yīng)的圖片標(biāo)簽用Y= (7(1)，7(2)，...，7(沁）1表示。對于 本發(fā)明中的病理圖像細(xì)胞檢測，y(k) G {〇, 1}，'1'代表細(xì)胞圖片，'〇'代表非細(xì)胞圖片。 盡管對于每一幅訓(xùn)練圖片都有一個標(biāo)注信息，但是在本發(fā)明中的訓(xùn)練部分沒有用到標(biāo)注信 息，在之后的監(jiān)督分類中才會用到。此外圖中的/Ak)? h(k).//2(h(k).....，/，以表示對第 k幅圖像提取的第1層的特征，dh為當(dāng)前1層的隱層節(jié)點數(shù)。在圖1中 <代表第一隱含層 的第i個隱層節(jié)點。一般自動編碼器的輸入層包含在編碼過程中，它轉(zhuǎn)化輸入圖像x為隱 層特征表示h，h可以看做是輸入數(shù)據(jù)的另一種表示。對應(yīng)的，輸出層是一個解碼過程，它 利用隱層特征表示h，重建輸入層圖像X。訓(xùn)練自動編碼器即訓(xùn)練輸入層和隱藏層之間的連 接權(quán)重W和偏置b，使得輸入圖像x和重構(gòu)圖像x之間的誤差最小。稀疏自編碼的重構(gòu)誤差 可以用下面的重構(gòu)代價函數(shù)表示：

【權(quán)利要求】
1. 一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，其特征在于，包括w下步 驟： 步驟1、在病理圖像中選取細(xì)胞正樣本和細(xì)胞負(fù)樣本，得到圖像集； 步驟2、對選取的圖像集進(jìn)行特征提取訓(xùn)練，特征提取方法為深度結(jié)構(gòu)提取特征，運(yùn)用 稀疏自編碼器進(jìn)行一層稀疏自編碼的訓(xùn)練，使得重構(gòu)誤差低于設(shè)定的闊值，得到第一層特 征； 步驟3、在得到第一層特征的基礎(chǔ)上，再次運(yùn)用稀疏自編碼器W第一層特征作為原始輸 入進(jìn)行第二次特征提取，滿足重構(gòu)誤差低于設(shè)置的闊值，得到第二層特征； 步驟4、把第二層特征輸入細(xì)胞分類器，訓(xùn)練細(xì)胞分類器； 步驟5、將第一層特征的結(jié)構(gòu)、第二層特征的結(jié)構(gòu)和細(xì)胞分類器的結(jié)構(gòu)串連組成整體， 對整體網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)，使得整個網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)； 步驟6、對要檢測的病理切片圖像運(yùn)用鏡像邊界的方法擴(kuò)充圖像邊緣； 步驟7、W訓(xùn)練好的細(xì)胞分類器為監(jiān)測器，利用滑動窗口的方法對病理切片圖像進(jìn)行檢 巧1|，依次對窗口內(nèi)的病理圖像切片小塊進(jìn)行標(biāo)記； 步驟8、運(yùn)用去重疊的方法排除重復(fù)的細(xì)胞位置，并在病理切片圖像中標(biāo)記出所有的細(xì) 胞位置。
2. 如權(quán)利要求1所述一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，其特征 在于；所述細(xì)胞分類器為Softmax分類器。
3. 如權(quán)利要求1所述一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，其特征 在于，所述步驟1中，圖像集的選取方法具體為： 根據(jù)專業(yè)病理知識在病理圖像中標(biāo)記出細(xì)胞塊標(biāo)記點，W標(biāo)記點為中也，選取邊長為 34個像素的正方形病理圖像切片小塊，所述包含細(xì)胞的正方形病理圖像切片小塊作為細(xì)胞 正樣本； 設(shè)定包含部分細(xì)胞和完全不包括細(xì)胞的病理圖像切片小塊為細(xì)胞負(fù)樣本，細(xì)胞負(fù)樣本 在病理圖像中隨機(jī)選取，且滿足條件： (301) 離專家標(biāo)注的點距離34個像素； (302) 選取的細(xì)胞負(fù)樣本不重復(fù)。
4. 如權(quán)利要求1所述一種基于滑動窗口和深度結(jié)構(gòu)提取特征的細(xì)胞檢測方法，其特征 在于；在利用滑動窗口的方法對病理切片圖像進(jìn)行檢測的過程中，當(dāng)遇到重復(fù)的檢測窗口 響應(yīng)時，采用局部極值響應(yīng)的方法排除同一區(qū)域內(nèi)的重復(fù)響應(yīng)。
【文檔編號】G06K9/46GK104346617SQ201410155802
【公開日】2015年2月11日 申請日期:2014年4月18日 優(yōu)先權(quán)日:2014年4月18日
【發(fā)明者】徐軍, 項磊 申請人:南京信息工程大學(xué)