一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法
【專利摘要】本發(fā)明公開了一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，應用于數(shù)字病理全切片圖像數(shù)據(jù)庫，包括線下訓練階段和線上檢測階段，通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視口，對其進行拼接得到完整的感興趣區(qū)域，采用有重疊的滑窗方法從感興趣區(qū)域中提取的矩形區(qū)域作為正樣本，從非感興趣區(qū)域中采樣到的矩形區(qū)域作為負樣本，以此用來訓練分類器；再用該分類器對從未知全切片提取的矩形區(qū)域進行判斷并返回結果。本發(fā)明只需記錄醫(yī)生觀察切片的操作即可實現(xiàn)矩形區(qū)域樣本的獲取，在保證正確性的前提下可大幅降低樣本獲取難度，使得全切片感興趣區(qū)域的自動檢測易于實現(xiàn)，既省時省力，又快速準確。
【專利說明】
一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法
技術領域
[0001]本發(fā)明涉及數(shù)字圖像處理與機器學習領域，特別涉及一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法。
【背景技術】
[0002]數(shù)字病理全切片圖像(以下簡稱全切片)是將傳統(tǒng)的玻璃病理切片通過全自動顯微鏡或光學放大系統(tǒng)掃描采集得到的大尺寸高分辨數(shù)字圖像，是病理醫(yī)生在診斷時的重要依據(jù)。近年來，隨著病理學和計算機技術的快速發(fā)展，全切片的數(shù)量迅速增長。通過大量已知全切片通過機器學習實現(xiàn)未知全切片的感興趣區(qū)域自動檢測，對病理醫(yī)生快速診斷以及計算機自動診斷有很大參考價值。
[0003]在該過程中，機器學習樣本的獲取是讓計算機得到醫(yī)生經(jīng)驗的重要環(huán)節(jié)。針對該環(huán)節(jié)，國內(nèi)外學者主要采用的方法是請病理專家標記大量全切片中的所有感興趣區(qū)域，以標記區(qū)域為正樣本，未標記區(qū)域為負樣本進行學習，這種方法結果準確，但需要花費專家的大量人力和時間，在大規(guī)模數(shù)據(jù)庫中無法實現(xiàn)。注意到病理醫(yī)生做出診斷需要通過詳細觀察全切片，而全切片在原始高倍鏡下尺寸巨大(可達100000 X 100000像素)，為了迅速找到感興趣區(qū)域，醫(yī)生一般會在低倍鏡下概略瀏覽切片全貌，發(fā)現(xiàn)一個興趣點將鏡頭鎖定此處放大倍率仔細觀察，然后回到低倍鏡下尋找下一個興趣點，因此在觀察過程中會有多種瀏覽動作，例如鏡頭縮放、停留、移動，這些動作代表醫(yī)生對全切片中不同區(qū)域的重視程度，通過設置標準和閾值即可得到每張醫(yī)生瀏覽過切片的感興趣區(qū)域(正樣本)和其他區(qū)域(負樣本)。因此亟需根據(jù)醫(yī)生瀏覽切片的操作設計一種既可以省時省力又可以快速準確的檢測出未知病理全切片圖像的感興趣區(qū)域的方法。

【發(fā)明內(nèi)容】

[0004]針對上述問題，本發(fā)明的目的在于提供一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，該方法以已記錄醫(yī)生瀏覽操作的全切片數(shù)據(jù)庫與未知全切片為對象，通過醫(yī)生瀏覽操作對數(shù)據(jù)庫中全切片設置標準得到感興趣區(qū)域，再以此為樣本進行機器學習，最終使計算機能夠對未知全切片自動檢測感興趣區(qū)域。
[0005]為達到上述目的，本發(fā)明所提出的技術方案為:一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，應用于數(shù)字病理全切片圖像數(shù)據(jù)庫，包括線下訓練階段和線上檢測階段，所述線下訓練階段的操作步驟如下:
[0006](I)通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視P;
[0007](2)對步驟(I)中提取的感興趣視口進行拼接，得到每張全切片中完整的感興趣區(qū)域，在其中使用有重疊的滑窗方法采樣提取一系列固定尺寸的矩形區(qū)域；
[0008](3)將步驟(2)中提取出來的感興趣區(qū)域作為正樣本，從非感興趣區(qū)域中隨機采樣得到與正樣本相同尺寸和數(shù)量的矩形區(qū)域作為負樣本，采用一定的方法得到每個樣本的向量表示，以此訓練分類器；
[0009]所述線上檢測階段的操作步驟如下:
[0010](I)對未知全切片使用與線下訓練階段步驟(2)中相同的滑窗方法采樣得到一系列固定尺寸的矩形區(qū)域；
[0011](2)使用線下訓練階段步驟(3)中訓練好的分類器來判斷線上檢測階段步驟(I)中得到的每個矩形區(qū)域是否屬于感興趣區(qū)域，合并重疊部分并返回檢測結果。
[0012]進一步的，所述線下訓練階段步驟(I)中通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視口，該步驟中定義有以下三種標準視口，只要符合其中任意一種標準視口即可定義為感興趣視口:①倍率峰值，該視口條目對應的鏡頭倍率同時大于其相鄰兩視口條目的鏡頭倍率，數(shù)學表示式為zoom(i)>zoom(1-Ι)且zoom(i)>zoom(i+1);②視口微動，鏡頭倍率相同的兩個相鄰視口條目在該鏡頭倍率下之間的像素距離小于100像素，數(shù)學表示式為200!11(；0=200111(丨+ 1)且(1丨8(；0〈10(^丨161;@視口鎖定，醫(yī)生在一個視口條目的停留時間超過2秒，數(shù)學表示式為time(i + l)-time(i)>2second;其中，zoom(i)為第i個視口條目對應的放大倍率，dis(i)第i個與第i+1個視口條目在當前鏡頭倍率下的像素距離，time(i)為第i個視口條目的操作時間。
[0013]進一步的，所述矩形區(qū)域為大小3600X 3600像素、橫縱間隔為1200像素的矩形區(qū)域。
[0014]進一步的，所述分類器為支持向量機，還可為其他分類器，本發(fā)明不以此為限。
[0015]進一步的，所述每個樣本的向量表示是通過使用圖像特征結合詞袋模型得到的，也可以采用其他方法，本發(fā)明不以此為限。
[0016]進一步的，所述圖像特征為尺度不變特征變換(SIFT)或局部二值模式(LBP)。
[0017]采用上述技術方案，本發(fā)明只需記錄醫(yī)生觀察切片的操作即可實現(xiàn)矩形區(qū)域樣本的獲取，在保證正確性的前提下可大幅降低樣本獲取難度，使得全切片感興趣區(qū)域的自動檢測易于實現(xiàn)，既省時省力，又快速準確。采用本發(fā)明提取的感興趣區(qū)域對病理醫(yī)生快速診斷以及計算機自動診斷有很大參考價值。
【附圖說明】
[0018]圖1為本發(fā)明的流程不意圖；
[0019]圖2為醫(yī)生觀察全切片的原始視口示意圖；
[0020]圖3為對圖2的視口進行鏡頭放大的視口示意圖；
[0021]圖4為對圖3的視口進行鏡頭平移的視口示意圖；
[0022]圖5為全切片中感興趣區(qū)域的分布示意圖。
【具體實施方式】
[0023]下面結合附圖和【具體實施方式】，對本發(fā)明做進一步說明。
[0024]如圖1所示，一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，應用于數(shù)字病理全切片圖像數(shù)據(jù)庫，包括線下訓練階段和線上檢測階段。
[0025](一)線下訓練階段的操作步驟
[0026](I)通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視P
[0027]本發(fā)明通過醫(yī)生視口記錄得到感興趣區(qū)域，視口指醫(yī)生在觀察時全切片在屏幕中的可見部分，如圖2、圖3、圖4所示，其左上角為全切片的縮略圖以及視口在全切片中的位置，其右上角為視口的鏡頭倍率。每次醫(yī)生改變視口內(nèi)容，例如鏡頭縮放、平移，都會在視口記錄中留下一個視口條目，內(nèi)容包括當前的鏡頭倍率、視口代表的矩形區(qū)域以及操作時刻。如果兩個相鄰視口條目的鏡頭倍率相同，可以計算這兩個視口條目之間的像素距離。對一個視口條目及其后鄰的操作時刻做差可以得醫(yī)生在該視口的停留時間。
[0028]在上述步驟(I)中定義有三種標準視口，只要符合其中任意一種標準的視口即可定義為感興趣視口:①倍率峰值，該視口條目對應的鏡頭倍率同時大于其相鄰兩視口條目的鏡頭倍率，采用數(shù)學表示式表述為zoom( i )>zoom( 1-Ι)且zoom( i )>zoom( i+1)；②視口微動，鏡頭倍率相同的兩個相鄰視口條目在該鏡頭倍率下之間的像素距離小于屏幕上的100像素，采用數(shù)學表示式表述為zoom(i) = zoom(i + l)且dis(i)〈100pixel;③視口鎖定，醫(yī)生在一個視口條目的停留時間超過2秒，采用數(shù)學表示式表述為time( i + 1 )-time(i )>2second。其中，zoom( i)為第i個視口條目對應的放大倍率，dis(i)第i個與第i+1個視口條目在當前倍率下的像素距離，time(i)為第i個視口條目的操作時刻。
[0029](2)對步驟(I)中提取的感興趣視口進行拼接，得到每張全切片中完整的感興趣區(qū)域，在其中使用有重疊的滑窗方法采樣提取一系列固定尺寸的矩形區(qū)域
[0030]由于步驟(I)中得到的感興趣視口來自不同放大倍率和不同位置的視口條目，因此在全切片中所對應的區(qū)域在大小和位置上有很大差異，將這些視口在最高鏡頭倍率下進行拼接，就得到每張全切片中感興趣區(qū)域總和，如圖5中黑框部分所示。然后采用滑窗方法采樣提取大小為3600 X 3600像素、橫縱間隔為1200像素的一系列矩形區(qū)域。
[0031](3)將步驟(2)中提取出來的感興趣區(qū)域作為正樣本，從非感興趣區(qū)域中隨機采樣得到與正樣本相同尺寸和數(shù)量的矩形區(qū)域作為負樣本，采用一定的方法得到每個樣本的向量表示，以此訓練分類器
[0032]得到正負樣本后，可以使用尺度不變特征變換(SIFT)、局部二值模式(LBP)等圖像特征結合詞袋模型得到每個樣本的向量表示，也可以采用其他方法來得到每個樣本的向量表示，本發(fā)明不以此為限。所采用的訓練分類器可為支持向量機(SVM)，還可以為其他的分類器，但本發(fā)明并不限于此。
[0033](二)線上檢測階段的操作步驟
[0034](I)對未知全切片使用與線下訓練階段步驟(2)中相同的滑窗方法采樣得到一系列矩形區(qū)域
[0035]對新的未知切片在最高鏡頭倍率下采用相同的滑窗方法采樣提取大小為3600X3600像素、橫縱間隔為1200像素的一系列矩形區(qū)域。
[0036](2)使用線下訓練階段步驟(3)中訓練好的分類器來判斷線上檢測階段步驟(I)中得到的每個矩形區(qū)域是否屬于感興趣區(qū)域，合并重疊部分并返回檢測結果
[0037]使用訓練好的分類器判斷線上檢測階段步驟(I)中得到的每個矩形區(qū)域是否屬于感興趣區(qū)域，由于滑窗方法采樣時窗口有重疊，經(jīng)過分類器得到的矩形感興趣區(qū)域也可能存在重疊，將重疊部分合并后即可得到完整的感興趣區(qū)域預測值，即為檢測結果，并返回該檢測結果。
[0038]盡管結合優(yōu)選實施方案具體展示和介紹了本發(fā)明，但所屬領域的技術人員應該明白，在不脫離所附權利要求書所限定的本發(fā)明的精神和范圍內(nèi)，在形式上和細節(jié)上對本發(fā)明做出各種變化，均為本發(fā)明的保護范圍。
【主權項】
1.一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，應用于數(shù)字病理全切片圖像數(shù)據(jù)庫，其特征在于，包括線下訓練階段和線上檢測階段，所述線下訓練階段的操作步驟如下: (1)通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視口； (2)對步驟(I)中提取的感興趣視口進行拼接，得到每張全切片中完整的感興趣區(qū)域，在其中使用有重疊的滑窗方法采樣提取一系列固定尺寸的矩形區(qū)域； (3)將步驟(2)中提取出來的感興趣區(qū)域作為正樣本，從非感興趣區(qū)域中隨機采樣得到與正樣本相同尺寸和數(shù)量的矩形區(qū)域作為負樣本，采用一定的方法得到每個樣本的向量表示，以此訓練分類器； 所述線上檢測階段的操作步驟如下: (1)對未知全切片使用與線下訓練階段步驟(2)中相同的滑窗方法采樣得到一系列固定尺寸的矩形區(qū)域； (2)使用線下訓練階段步驟(3)中訓練好的分類器來判斷線上檢測階段步驟(I)中得到的每個矩形區(qū)域是否屬于感興趣區(qū)域，合并重疊部分并返回檢測結果。2.如權利要求1所述的一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，其特征在于，所述線下訓練階段步驟(I)中通過醫(yī)生觀察全切片的操作設置標準提取數(shù)據(jù)庫中每張全切片中的感興趣視口，該步驟中定義有以下三種標準視口，只要符合其中任意一種標準視口即定義為感興趣視口:①倍率峰值，該視口條目對應的鏡頭倍率同時大于其相鄰兩視口條目的鏡頭倍率，數(shù)學表示式為zoom(i)>zoom(i_l)且zoom(i)>zoom(i+1)；②視口微動，鏡頭倍率相同的兩個相鄰視口條目在該鏡頭倍率下之間的像素距離小于100像素，數(shù)學表示式為^00!11(；0=200111(1+1)且(118(；0〈100 pixel;③視口鎖定，醫(yī)生在一個視口條目的停留時間超過2秒，數(shù)學表示式為time(i+l)-time(i)>2 second;其中，zoom(i)為第i個視口條目對應的放大倍率，dis(i)第i個與第i+Ι個視口條目在當前鏡頭倍率下的像素距離，time(i)為第i個視口條目的操作時間。3.如權利要求1或2所述的一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，其特征在于，所述矩形區(qū)域為大小3600X3600像素、橫縱間隔為1200像素的矩形區(qū)域。4.如權利要求1或2所述的一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，其特征在于，所述分類器為支持向量機。5.如權利要求1或2所述的一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，其特征在于，所述每個樣本的向量表示是通過使用圖像特征結合詞袋模型得到的。6.如權利要求5所述的一種數(shù)字病理全切片圖像感興趣區(qū)域自動檢測方法，其特征在于，所述圖像特征為尺度不變特征變換(SIFT)或局部二值模式(LBP)。
【文檔編號】G06K9/62GK106022338SQ201610346092
【公開日】2016年10月12日
【申請日】2016年5月23日
【發(fā)明人】姜志國, 麻義兵
【申請人】麥克奧迪（廈門）醫(yī)療診斷系統(tǒng)有限公司