本發(fā)明屬于醫(yī)學(xué)數(shù)字圖像處理領(lǐng)域，具體涉及一種全切片數(shù)字病理圖像處理分析方法。

背景技術(shù)：

目前，病理檢驗(yàn)醫(yī)學(xué)正朝著“五化”發(fā)展，即標(biāo)準(zhǔn)化、自動(dòng)化、信息化、人性化和臨床化。高清晰度、高分辨率的數(shù)字掃描切片的出現(xiàn)完成了光學(xué)顯微圖像-數(shù)字化顯微圖像的轉(zhuǎn)換，但這只是數(shù)字病理技術(shù)的基礎(chǔ)，研究和開(kāi)發(fā)數(shù)字病理圖像處理分析方法，對(duì)數(shù)字病理技術(shù)的發(fā)展起著更大的決定性作用。

盡管數(shù)字掃描切片和數(shù)字切片圖像分析技術(shù)逐漸在各大醫(yī)院及研究機(jī)構(gòu)推廣應(yīng)用，但是醫(yī)生主要還是通過(guò)肉眼瀏覽全切片數(shù)字病理圖像，根據(jù)經(jīng)驗(yàn)對(duì)其進(jìn)行分析診斷，沒(méi)有客觀的量化數(shù)據(jù)，主觀性強(qiáng)，憑個(gè)人的經(jīng)驗(yàn)進(jìn)行分析診斷，不同病理醫(yī)生對(duì)同一張切片的判斷相異；且肉眼所能判斷的變化有限，很難對(duì)組織切片中所提示的病理現(xiàn)象進(jìn)行完整的觀察。

雖然現(xiàn)有技術(shù)也有采用計(jì)算機(jī)對(duì)全切片數(shù)字病理圖像分析技術(shù)，其中通常采用的也僅是對(duì)局部多個(gè)視野的圖像進(jìn)行選取及分析，這些預(yù)選區(qū)域被認(rèn)為是代表著生物學(xué)重要的表達(dá)，然而，區(qū)域分配是主觀的，依賴(lài)于觀察者的經(jīng)驗(yàn)，一旦選擇偏差將導(dǎo)致結(jié)果缺乏再現(xiàn)性。再者由于全切片數(shù)字掃描圖像高通量的特點(diǎn)，通常一張全切片數(shù)字掃描圖像的大小在幾百M(fèi)B甚至幾個(gè)GB之間，因此，現(xiàn)有技術(shù)中對(duì)全切片圖像的分析耗時(shí)較長(zhǎng)，未能得到普及。同時(shí)，有現(xiàn)有技術(shù)中對(duì)全切片圖像的分析只是基于像素的分析，其分析結(jié)果只是簡(jiǎn)單的根據(jù)像素給出陽(yáng)性百分比?；谙袼氐腤SI分析可以很簡(jiǎn)單的直接完成，因?yàn)橄噜彽膮^(qū)域僅僅簡(jiǎn)單的合并在一起，而并未考慮對(duì)象大小和邊界連接處的多樣性，從而導(dǎo)致分析結(jié)果不準(zhǔn)確。

雖然現(xiàn)有技術(shù)還存在諸多問(wèn)題，但對(duì)全切片數(shù)字病理圖像全片分析的需求卻日漸增長(zhǎng)，世界上的專(zhuān)家爭(zhēng)相攻克這個(gè)難題。故，針對(duì)現(xiàn)有技術(shù)的問(wèn)題，實(shí)有必要提供一種技術(shù)方案，以克服現(xiàn)有技術(shù)存在的缺陷。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種全切片數(shù)字病理圖像處理分析方法，借助計(jì)算機(jī)以及精細(xì)的算法將整張切片圖像分割成多區(qū)域，自動(dòng)進(jìn)行高精度多視野無(wú)縫隙拼接和處理，縮短分析時(shí)間和精度，獲得優(yōu)質(zhì)的可視化數(shù)據(jù)以應(yīng)用于病理組織學(xué)的各個(gè)領(lǐng)域。

為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明的技術(shù)方案如下：

一種全切片數(shù)字病理圖像處理分析方法，包括以下步驟：

步驟1：計(jì)算機(jī)獲取全切片數(shù)字病理圖像；

步驟2：將全切片數(shù)字病理圖像分割為多個(gè)能夠直接加載分析的矩形區(qū)域；

步驟3：以多線(xiàn)程的方式對(duì)分割好的每個(gè)矩形區(qū)域進(jìn)行對(duì)象分析并存儲(chǔ)分析結(jié)果；

步驟4：根據(jù)矩形區(qū)域邊界線(xiàn)處的對(duì)象情況劃分用于實(shí)現(xiàn)無(wú)縫拼接的邊界區(qū)域，其中，相鄰的矩形區(qū)域的邊界區(qū)域至少包含同一對(duì)象中的至少一個(gè)共同特征；

步驟5：根據(jù)所包含對(duì)象的共同特征實(shí)現(xiàn)相鄰矩形區(qū)域的無(wú)縫拼接；

步驟6：對(duì)每個(gè)矩形區(qū)域進(jìn)行無(wú)縫拼接，該無(wú)縫拼接過(guò)程需要先從左到右再?gòu)纳系较禄蛳葟纳系较略購(gòu)淖蟮接也粩嘀貜?fù)直至所有邊界區(qū)域內(nèi)的對(duì)象完成拼接或替換；

步驟7：去除邊界區(qū)域的拼接線(xiàn)，完成無(wú)縫拼接。

優(yōu)選地，在所述步驟5中，找到相鄰矩形區(qū)域中各自邊界區(qū)域所包含的共同特征并且確定該共同特征在相應(yīng)矩形區(qū)域中坐標(biāo)的對(duì)應(yīng)關(guān)系，進(jìn)而完成相鄰矩形區(qū)域的圖像拼接。

優(yōu)選地，當(dāng)邊界區(qū)域中的對(duì)象的像素較大時(shí)，根據(jù)該對(duì)象的輪廓邊界直接拼接。

優(yōu)選地，當(dāng)邊界區(qū)域中的對(duì)象的像素較小時(shí)，屏蔽邊界區(qū)域中所有完整對(duì)象，并在原圖中重新查找進(jìn)行替換。

優(yōu)選地，所述邊界區(qū)域的寬度應(yīng)至少為期望對(duì)象最大直徑的兩倍。

采用本發(fā)明提供的技術(shù)方案，與現(xiàn)有技術(shù)相比，具有如下顯著效果：

本發(fā)明擯棄了現(xiàn)有的圖像無(wú)縫拼接所使用的加權(quán)平均法，率先提出通過(guò)基于對(duì)象的無(wú)縫拼接技術(shù)實(shí)現(xiàn)了全切片數(shù)字病理圖像基于對(duì)象(如細(xì)胞核、細(xì)胞質(zhì)膜)的檢測(cè)和量化的WSI分析，從而大大提高了分析結(jié)果的準(zhǔn)確性以及分析速度。在圖像拼接中，給定的序列圖像中有一個(gè)或若干個(gè)共同點(diǎn)，即在兩幅切割圖像的邊界處都有一部分圖像包含了同一對(duì)象，若能找到兩幅相鄰圖像中交界區(qū)域的相應(yīng)目標(biāo)，并且確定該目標(biāo)在兩幅圖像中坐標(biāo)的對(duì)應(yīng)關(guān)系，通過(guò)一些拼接處理算法和重新查找替代程序?qū)ζ溥M(jìn)行處理，即可完成圖像的拼接。本發(fā)明可移除所有的邊界目標(biāo)，進(jìn)一步改進(jìn)了分析的準(zhǔn)確性和效率。當(dāng)相當(dāng)多的對(duì)象與邊界相交時(shí)，若未移除邊界效應(yīng)，則會(huì)有計(jì)算出錯(cuò)誤和耗時(shí)過(guò)長(zhǎng)等問(wèn)題。

說(shuō)明書(shū)附圖

圖1為本發(fā)明全切片數(shù)字病理圖像處理分析方法的流程框圖。

圖2為本發(fā)明中直接拼接邊界連接的對(duì)象的示意圖。

圖3A是最簡(jiǎn)單的拼接對(duì)象拼接的示意圖。

圖3B是內(nèi)部有空洞的對(duì)象拼接的示意圖。

圖4是處在角落里的對(duì)象拼接的示意圖。

圖5是復(fù)雜對(duì)象拼接的示意圖。

圖6是通過(guò)屏蔽所有完整對(duì)象再重新查找對(duì)象進(jìn)行拼接的示意圖。

圖7是本發(fā)明實(shí)施例中底部的腫瘤區(qū)域被分割為20個(gè)左右的子區(qū)域的示意圖。

圖8是本發(fā)明實(shí)施例中拼接后的腫瘤細(xì)胞的示意圖。

圖9是本發(fā)明實(shí)施例中20倍下觀察示意圖。

圖10是本發(fā)明實(shí)施例中查看細(xì)胞核信息的示意圖。

具體實(shí)施方式

為進(jìn)一步了解本發(fā)明的內(nèi)容，結(jié)合附圖對(duì)本發(fā)明作詳細(xì)描述。

現(xiàn)有的組織病理分析技術(shù)僅能對(duì)全切片數(shù)字圖像進(jìn)行瀏覽，不能實(shí)現(xiàn)全切片的分析和無(wú)縫拼接，且效率低、耗時(shí)長(zhǎng)。如德國(guó)Definiens公司的Tissue Studio分析一張2GB的WSI數(shù)字切片圖像需耗時(shí)5小時(shí)以上?，F(xiàn)有的圖像無(wú)縫拼接通常使用的是加權(quán)平均法，雖然可在一定程度上平滑縫隙，但也使圖像過(guò)于模糊，無(wú)法用于病理切片圖像這種對(duì)圖像精度要求非常高的應(yīng)用。

為了解決上述技術(shù)問(wèn)題，參見(jiàn)圖1，所示為本發(fā)明一種全切片數(shù)字病理圖像處理分析方法的流程框圖，具體包括以下步驟：

步驟1：計(jì)算機(jī)獲取全切片數(shù)字病理圖像；

步驟2：將全切片數(shù)字病理圖像分割為多個(gè)能夠直接加載分析的矩形區(qū)域；

步驟3：以多線(xiàn)程的方式對(duì)分割好的每個(gè)矩形區(qū)域進(jìn)行對(duì)象分析并存儲(chǔ)分析結(jié)果；

步驟4：根據(jù)矩形區(qū)域邊界線(xiàn)處的對(duì)象情況劃分用于實(shí)現(xiàn)無(wú)縫拼接的邊界區(qū)域，其中，相鄰的矩形區(qū)域的邊界區(qū)域至少包含同一對(duì)象中的至少一個(gè)共同特征；

步驟5：根據(jù)所包含對(duì)象的共同特征實(shí)現(xiàn)相鄰矩形區(qū)域的無(wú)縫拼接；

步驟6：對(duì)每個(gè)矩形區(qū)域進(jìn)行無(wú)縫拼接，該無(wú)縫拼接過(guò)程需要先從左到右再?gòu)纳系较禄蛳葟纳系较略購(gòu)淖蟮接也粩嘀貜?fù)直至所有邊界區(qū)域內(nèi)的對(duì)象完成拼接或替換；

步驟7：去除邊界區(qū)域的拼接線(xiàn)，完成無(wú)縫拼接。

步驟2中，將WSI圖像分割成幾個(gè)區(qū)域，分別分析每個(gè)區(qū)域。圖像分割的具體算法如下：

1)按照協(xié)議文件分析WSI圖像，確定目標(biāo)區(qū)域；

2)目標(biāo)區(qū)域有大有小，小的可以在一個(gè)框架中加載后直接分析，針對(duì)過(guò)大區(qū)域，根據(jù)適合的長(zhǎng)寬比例，分割成為大小合適可以直接加載分析的矩形區(qū)域，區(qū)域邊緣部分非矩形；

3)這些區(qū)域被臨時(shí)保存在文件夾中，為后續(xù)分析做準(zhǔn)備。

4)單線(xiàn)分析速度慢，耗時(shí)長(zhǎng)。本發(fā)明運(yùn)用多線(xiàn)程并行分析，從而達(dá)到時(shí)間優(yōu)化的同時(shí)，保證精確度。

步驟4中，查找拼接區(qū)域邊界附近的對(duì)象并使相鄰局域區(qū)域中所劃定的邊界區(qū)域中包含該對(duì)象的部分共同特征。拼接區(qū)域邊界的對(duì)象是WSI分析中最大的挑戰(zhàn)，其具體實(shí)現(xiàn)如下：對(duì)選擇的目標(biāo)區(qū)域進(jìn)行區(qū)域劃分。主界面放大某一倍后，對(duì)操作者自行定義的目標(biāo)區(qū)域自動(dòng)地平均劃分為若干個(gè)小格區(qū)域。然后對(duì)劃分的每個(gè)區(qū)域進(jìn)行逐個(gè)分析后，進(jìn)行無(wú)縫拼接。無(wú)縫拼接是WSI圖像分析的關(guān)鍵。多種算法需要獨(dú)立應(yīng)用于對(duì)象的形態(tài)、大小及其復(fù)雜性。無(wú)縫拼接過(guò)程需要先從左到右再?gòu)纳系较禄蛳葟纳系较略購(gòu)淖蟮接?。此過(guò)程需要不斷重復(fù)直至所有邊界內(nèi)的對(duì)象并完整拼接或替換。實(shí)際中可以采用如下兩種拼接方法。

方法一采用的技術(shù)方案為：當(dāng)邊界區(qū)域中的對(duì)象的像素較大時(shí)，根據(jù)該對(duì)象的輪廓邊界直接拼接。由于實(shí)際中對(duì)象和邊界情況各異，具體操作又分為多種情況。如圖2所示直接拼接邊界連接的對(duì)象，先將圖像分割為區(qū)域1、區(qū)域2、區(qū)域3、區(qū)域4，在每個(gè)小區(qū)域分別尋找出所有對(duì)象，然后拼接。圖3A是最簡(jiǎn)單的拼接，需要拼接的對(duì)象僅在一側(cè)相交且在內(nèi)部沒(méi)有洞。具體方法為，獲取邊緣對(duì)象的坐標(biāo)，將兩張相連接的圖目標(biāo)物相同坐標(biāo)位置連接成為一個(gè)整體。去掉中間的切割線(xiàn)。圖3B是很具有挑戰(zhàn)性的一種拼接，該對(duì)象內(nèi)部有兩個(gè)空洞。對(duì)于內(nèi)部有空洞的對(duì)象，用最簡(jiǎn)單拼接法拼接對(duì)象外緣，再將內(nèi)部空洞按相同坐標(biāo)位置連接形成完整空洞。圖4是處在角落里的對(duì)象，更為復(fù)雜，需要拼接水平和垂直方向上的多個(gè)對(duì)象。按順序?qū)⒛繕?biāo)對(duì)象整體拼接，再多角度拼接內(nèi)部空洞。圖5拼接需要考慮各種類(lèi)型的形狀和情況。先按順序?qū)⒓?xì)胞核拼接完成，再完成其他部分的拼接。

方法二采用的技術(shù)方案為：當(dāng)邊界區(qū)域中的對(duì)象的像素較小時(shí)，屏蔽邊界區(qū)域中所有完整對(duì)象，并在原圖中重新查找進(jìn)行替換。如圖6所示，通過(guò)先刪除接觸到或者和邊界非常靠近的對(duì)象，屏蔽所有完整對(duì)象，再重新查找。例如，AD，F(xiàn)C是區(qū)域1和區(qū)域2的邊緣。其組成的十字形R區(qū)域(如圖6)若縱觀整個(gè)WSI圖像則為網(wǎng)狀圖形(如圖6-1)，其中包含了所有可以重新查找的對(duì)象。在R區(qū)域內(nèi)屏蔽已找尋到所有完整的不需要拼接的對(duì)象，后再次尋找對(duì)象。只有這些找到的對(duì)象會(huì)被認(rèn)為是正確的。邊界區(qū)域的寬度應(yīng)至少為期望對(duì)象最大直徑的兩倍。

如果拼接R區(qū)域太大而導(dǎo)致無(wú)法被加載在一個(gè)框架內(nèi)，則較低放大率的圖像需要再次按照如上所述方法，將邊界區(qū)域圖像作為一個(gè)WSI圖像，進(jìn)一步加載、分割、分析和合并，這個(gè)過(guò)程將一直重復(fù)，直到所有感興趣的對(duì)象分析完成。

兩種無(wú)縫拼接方法系統(tǒng)將自動(dòng)評(píng)判審核，如若目標(biāo)對(duì)象很大(例如幾百個(gè)像素)，用第二種方法會(huì)使得邊界區(qū)域面積過(guò)大，重新分析時(shí)間長(zhǎng)，第一個(gè)方法將會(huì)更有效且會(huì)占用很少的內(nèi)存。第二種方法更適合于對(duì)象像素適中，拼接情況復(fù)雜，若采用第一種方法計(jì)算時(shí)間長(zhǎng)，影響精確度。

本發(fā)明總體就是將大通量的WSI數(shù)字圖像分割成更小的部分，采用多線(xiàn)程并行處理方式，大大縮短處理時(shí)間，提高分析圖像的效率。然后對(duì)劃分的每個(gè)區(qū)域進(jìn)行逐個(gè)分析后，進(jìn)行無(wú)縫拼接。

實(shí)施例1

尋找腫瘤區(qū)域需要用到的是軟件功能中的人工智能。在這個(gè)例子中，全切片中的組織分為兩類(lèi)，腫瘤組織和正常組織，所要研究的是腫瘤區(qū)域中細(xì)胞核定量和分級(jí)。通過(guò)此分析，結(jié)合附圖7-10，具體說(shuō)明本發(fā)明實(shí)施方式，分析步驟包括圖像分割和分析、無(wú)縫拼接和導(dǎo)出數(shù)據(jù)三個(gè)部分。

1，圖像分割和分析

根據(jù)設(shè)定的協(xié)議文件，查找組織并分類(lèi)，腫瘤組織部分為小塊組成，可以直接分析，僅有一個(gè)底部的腫瘤區(qū)域由于太大而無(wú)法在一個(gè)框架中加載，因此它被分割為20個(gè)左右的子區(qū)域，如圖7所示。

2，無(wú)縫拼接

1)圖7所示，拼接組織對(duì)象內(nèi)部有空隙，且像素大，使用第一種無(wú)縫拼接方法，根據(jù)接縫處的目標(biāo)對(duì)象坐標(biāo)，多角度拼接內(nèi)部空洞。

2)在每個(gè)區(qū)域內(nèi)尋找細(xì)胞核，且細(xì)胞核直徑小，接縫處的細(xì)胞核被分割開(kāi)來(lái)，需要運(yùn)用無(wú)縫拼接技術(shù)進(jìn)行拼接，軟件根據(jù)此情況選用第二種無(wú)縫拼接方法，將邊緣上的被分割的細(xì)胞核先刪除，并將拼接R區(qū)域完整的細(xì)胞核屏蔽，重新查找邊緣細(xì)胞核，得到拼接后的腫瘤細(xì)胞，如圖8所示。

3)圖9顯示的是在更高的放大倍數(shù)下的顯示效果，這樣有更好的視覺(jué)顯示效果。但是，如果拼接R區(qū)域太大而導(dǎo)致無(wú)法被加載在一個(gè)框架內(nèi)，則較低放大率的圖像需要按照如上所述方法進(jìn)行加載、分割、分析和合并，個(gè)別提取對(duì)象將在如上所述WSI高倍鏡下被分析。這個(gè)過(guò)程將一直重復(fù)，直到所有感興趣的對(duì)象分析完成。

3，導(dǎo)出數(shù)據(jù)

按照協(xié)議文件對(duì)拼接好的細(xì)胞核進(jìn)行分級(jí)，得出細(xì)胞核信息，每塊腫瘤區(qū)域?yàn)橐粋€(gè)小組，按拼接好的結(jié)果，可查看每個(gè)細(xì)胞核對(duì)應(yīng)的數(shù)據(jù)信息。如圖10所示。

以上示意性的對(duì)本發(fā)明及其實(shí)施方式進(jìn)行了描述，該描述沒(méi)有限制性，附圖中所示的也只是本發(fā)明的實(shí)施方式之一，實(shí)際的結(jié)構(gòu)并不局限于此。所以，如果本領(lǐng)域的普通技術(shù)人員受其啟示，在不脫離本發(fā)明創(chuàng)造宗旨的情況下，不經(jīng)創(chuàng)造性的設(shè)計(jì)出與該技術(shù)方案相似的結(jié)構(gòu)方式及實(shí)施例，均應(yīng)屬于本發(fā)明的保護(hù)范圍。