一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法
【專利摘要】本發(fā)明涉及一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法。該方法共有三大步驟，步驟一：對(duì)病理圖像進(jìn)行著色分離。步驟二：利用紅藍(lán)對(duì)比度、顏色偏離度、顏色信息熵、空隙區(qū)域破碎度四個(gè)指標(biāo)對(duì)病理圖像進(jìn)行評(píng)價(jià)。步驟三：利用樣本集訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)模型，用該模型對(duì)測(cè)試集進(jìn)行綜合評(píng)價(jià)，將評(píng)價(jià)值與真值比對(duì)，并計(jì)算正確率。本發(fā)明填補(bǔ)了病理圖像顏色質(zhì)量評(píng)價(jià)的空白，利用著色分離及神經(jīng)網(wǎng)絡(luò)取得了較好的評(píng)價(jià)結(jié)果，在病理圖像質(zhì)量評(píng)價(jià)領(lǐng)域里具有廣闊的應(yīng)用前景。
【專利說(shuō)明】一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法

【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法，屬于病理圖像 質(zhì)量評(píng)價(jià)【技術(shù)領(lǐng)域】。

【背景技術(shù)】：
[0002] 病理圖像是病理切片的數(shù)字化圖像。病理學(xué)既是醫(yī)學(xué)基礎(chǔ)學(xué)科，同時(shí)又是一門實(shí) 踐性很強(qiáng)的具有臨床性質(zhì)的學(xué)科，稱之為診斷病理學(xué)（diagnosticpathology)。臨床上，將 部分有病變的組織或臟器經(jīng)過(guò)各種化學(xué)品和埋藏法的處理，使之固定硬化，在切片機(jī)上切 成薄片，粘附在玻片上，染以各種顏色，即得到病理切片。在顯微鏡下檢查該病理切片，觀察 患病機(jī)體有關(guān)部分的形態(tài)結(jié)構(gòu)、代謝和功能發(fā)生的種種改變，既能得到研究和認(rèn)識(shí)疾病的 重要理論知識(shí)，又可以做出疾病的病理學(xué)診斷和鑒別診斷，直接為臨床防治疾病服務(wù)。病理 切片的制作要經(jīng)過(guò)取材、固定、脫水、染色等一系列過(guò)程，其中染色環(huán)節(jié)至關(guān)重要。常用的染 色方法是蘇木素 -伊紅（Hematoxylin-Eosin)染色法，簡(jiǎn)稱H.E染色法。這種方法對(duì)任何 固定液固定的組織和應(yīng)用各種包埋法的切片均可使用。蘇木素是一種堿性染料，可使組織 中的嗜堿性物質(zhì)染成藍(lán)色，如細(xì)胞核中的染色質(zhì)等；伊紅是一種酸性染料，可使組織中的嗜 酸性物質(zhì)染成紅色，如多數(shù)細(xì)胞的胞質(zhì)、核仁等在H.E染色的切片中均呈紅色。
[0003]H.E染色是一種多步驟、多因素決定的實(shí)驗(yàn)方法，無(wú)論是手工還是機(jī)器操作，都 存在著許多影響因素，甚至?xí)霈F(xiàn)不理想的染色結(jié)果。在實(shí)際應(yīng)用中，切片染色質(zhì)量的好壞 直接影響病理診斷的正確率，一張質(zhì)量上乘的H.E切片是病理醫(yī)生得以做出正確診斷的關(guān) 鍵。許多所謂的"疑難病理案例"，大多數(shù)是由于切片顏色質(zhì)量差造成的，因此有必要對(duì)采集 到的病理切片圖像進(jìn)行顏色質(zhì)量評(píng)價(jià)，以篩選出質(zhì)量差的切片圖像并剔除，以免后續(xù)計(jì)算 機(jī)自動(dòng)診斷或臨床醫(yī)師診斷出錯(cuò)，并且給出反饋，以便重新采集相關(guān)部位的切片圖像。染色 理想的切片在顯微鏡下應(yīng)是：細(xì)胞核與細(xì)胞漿應(yīng)藍(lán)紅相映，鮮艷美麗；細(xì)胞核與胞漿無(wú)過(guò) 染或染色不充分現(xiàn)象；細(xì)胞核、漿著色均勻；除細(xì)胞核、漿外無(wú)空隙區(qū)域或雜質(zhì)。
[0004] 綜上所述，一幅H.E染色的病理圖像主要包含偏藍(lán)色的細(xì)胞核和偏紅色的細(xì)胞質(zhì) 兩部分。病理圖像顏色的失真包括：細(xì)胞核、質(zhì)染色混雜，區(qū)分度弱；過(guò)度染色或著色過(guò)弱； 染色不均；存在空隙區(qū)域。針對(duì)臨床上對(duì)病理圖像染色質(zhì)量的要求，本發(fā)明提出了紅藍(lán)對(duì)比 度、顏色偏離度、顏色信息熵、空隙區(qū)域破碎度共四個(gè)指標(biāo)特征對(duì)病理圖像顏色質(zhì)量進(jìn)行評(píng) 價(jià)。
[0005] 紅藍(lán)對(duì)比度評(píng)價(jià)細(xì)胞核、質(zhì)顏色對(duì)比是否鮮明；顏色偏離度評(píng)價(jià)細(xì)胞核、質(zhì)染色偏 離標(biāo)準(zhǔn)色的程度；顏色信息熵評(píng)價(jià)染色的均勻程度；空隙區(qū)域破碎度評(píng)價(jià)病理圖像中空隙 區(qū)域的面積及離散程度。這四個(gè)指標(biāo)評(píng)價(jià)的是細(xì)胞核、質(zhì)之間的顏色對(duì)比和各自染色是否 正常以及除這兩部分之外的空隙區(qū)域的影響，因此，計(jì)算這些指標(biāo)首先要得到獨(dú)立的細(xì)胞 核、質(zhì)圖像。本發(fā)明中采用顏色反卷積方法來(lái)獲得單著色的細(xì)胞核、質(zhì)圖像。
[0006]由于病理圖像一般不只包含一種顏色失真，因此需要對(duì)其顏色質(zhì)量進(jìn)行綜合評(píng) 價(jià)。綜合評(píng)價(jià)過(guò)程為：將上述四個(gè)指標(biāo)的評(píng)價(jià)值輸入到神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練得到綜合質(zhì)量評(píng)價(jià) 模型，利用該模型對(duì)未知質(zhì)量等級(jí)的病理圖像進(jìn)行評(píng)價(jià)，得到綜合評(píng)價(jià)值。
[0007] 臨床上對(duì)于病理圖像的質(zhì)量評(píng)價(jià)需要無(wú)參考的質(zhì)量評(píng)價(jià)方法。然而，與其他的病 理圖像分析技術(shù)不同，國(guó)內(nèi)外科技工作者在病理圖像的質(zhì)量評(píng)價(jià)方面的研究還很薄弱。目 前存在的病理圖像質(zhì)量評(píng)價(jià)有針對(duì)高斯模糊、高斯白噪聲的基于局部結(jié)構(gòu)信息度量的無(wú)參 考型圖像質(zhì)量評(píng)價(jià)方法，針對(duì)病理圖像顏色質(zhì)量評(píng)價(jià)的研究還很少。本發(fā)明針對(duì)染色質(zhì)量 評(píng)價(jià)問(wèn)題，提出一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法以實(shí)現(xiàn)病理圖像的顏 色質(zhì)量評(píng)價(jià)，評(píng)價(jià)效果較好。


【發(fā)明內(nèi)容】
：
[0008] 1、目的：本發(fā)明的目的是提供一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方 法，該方法利用顏色反卷積和BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)病理圖像顏色質(zhì)量的客觀評(píng)價(jià)。
[0009] 2、技術(shù)方案：本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0010] 本發(fā)明是一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法，對(duì)于一幅待評(píng)價(jià) 的普通H.E染色病理圖像，本發(fā)明的技術(shù)方案主要包括以下步驟：
[0011] 步驟一：對(duì)病理圖像進(jìn)行著色分離
[0012] (1)建立顏色反卷積矩陣
[0013] 透過(guò)樣本的單色光與樣本的著色量之間的關(guān)系可以通過(guò)下面公式表示：
[0014] I。（入）=]^(入）exp(_A*c(入））
[0015] 其中，1。（\)是穿過(guò)樣本之后的波長(zhǎng)為入的光線強(qiáng)度，IiU)是波長(zhǎng)為入的入 射光強(qiáng)度，A是樣本的著色量，cu)是某種著色的依賴于波長(zhǎng)的吸收因子。
[0016] I。（入）以非線性的方式依賴于樣本的著色量A，所以RGB圖像的三個(gè)通道的相對(duì) 強(qiáng)度IK、Ie、IB均不能直接應(yīng)用于每種著色的分離和測(cè)量。但每個(gè)通道的光學(xué)密度（0D)為： 0D= -loga。/%) =A*c，每種著色劑在R、G、B三個(gè)通道有相應(yīng)的光學(xué)密度值，可以用一個(gè) 3xl的0D向量來(lái)表示，則三種混合著色的顏色系統(tǒng)可描述為如下矩陣：

【權(quán)利要求】
1. 一種基于著色分離的病理圖像顏色質(zhì)量綜合評(píng)價(jià)方法，其特征在于：它包括以下步 驟： 步驟一：對(duì)病理圖像進(jìn)行著色分離 (1) 建立顏色反卷積矩陣 透過(guò)樣本的單色光與樣本的著色量之間的關(guān)系通過(guò)下面公式表示： 1〇 (入）=(入）exp(_A*C (入）） 其中，1。（入）是穿過(guò)樣本之后的波長(zhǎng)為入的光線強(qiáng)度，Ii(A)是波長(zhǎng)為入的入射光 強(qiáng)度，A是樣本的著色量，cU)是某種著色的依賴于波長(zhǎng)的吸收因子； 1。（入）以非線性的方式依賴于樣本的著色量A，所以RGB圖像的三個(gè)通道的相對(duì)強(qiáng) 度IK、IpIB均不能直接應(yīng)用于每種著色的分離和測(cè)量，但每個(gè)通道的光學(xué)密度0D為：0D =-loga。/%) =A*c，每種著色劑在R、G、B三個(gè)通道有相應(yīng)的光學(xué)密度值，用一個(gè)3x1的 0D向量來(lái)表示，則三種混合著色的顏色系統(tǒng)描述為如下矩陣：
其中，每行代表一種著色，每列代表每種著色的一個(gè)通道；將該矩陣進(jìn)行正交變換及標(biāo) 準(zhǔn)化，得到的標(biāo)準(zhǔn)化0D矩陣設(shè)為M，采用經(jīng)驗(yàn)標(biāo)準(zhǔn)化矩陣如下：
定義反卷積矩陣D= 1VT1，計(jì)算得：
在該矩陣中，對(duì)角線元素大于1，而非對(duì)角線元素是負(fù)的，意味著，校正的光學(xué)密度值是 通過(guò)下述方法獲得的： 蘇木素：增強(qiáng)紅色通道的0D值，減弱綠色、藍(lán)色通道的0D; 其他染色劑：增強(qiáng)綠色通道的0D，減弱紅色、藍(lán)色通道的0D; 伊紅：增強(qiáng)藍(lán)色通道的0D，減弱紅色、綠色通道的0D; 由于采用的病理圖像是蘇木素-伊紅染色制作而成，所以著色分離之后得到的三幅單 著色圖像中"其他染色劑"對(duì)應(yīng)的圖像不予考慮； (2) 求單著色信息 令A(yù)為一個(gè)1X3的向量，表示一個(gè)像素點(diǎn)的三種著色量，每個(gè)像素點(diǎn)的光學(xué)密度向量 設(shè)為y，y=A*M，則單著色信息為A= [y]*D;分別對(duì)病理圖像進(jìn)行著色分離求取單著色信 息即得到兩幅單著色圖像，分別為病理圖像細(xì)胞核顏色偏藍(lán)部分與細(xì)胞質(zhì)顏色偏紅部分； 步驟二：設(shè)計(jì)顏色質(zhì)量評(píng)價(jià)指標(biāo) 針對(duì)兩幅單著色圖像的顏色特點(diǎn)，設(shè)計(jì)了紅藍(lán)對(duì)比度、顏色偏離度、顏色信息熵、空隙 區(qū)域破碎度共四個(gè)指標(biāo)對(duì)其顏色質(zhì)量進(jìn)行評(píng)價(jià)； (1) 紅藍(lán)對(duì)比度 "紅藍(lán)對(duì)比度"評(píng)價(jià)病理圖像中細(xì)胞核、質(zhì)的顏色對(duì)比是否分明， 公式如下：
其中，d為核、質(zhì)像素集的中心點(diǎn)之間的歐氏距離，&、02分別為核、質(zhì)像素集的方差； 由該式含義可知，"紅藍(lán)對(duì)比度"越大，細(xì)胞核、質(zhì)顏色對(duì)比越鮮明；反之，核、質(zhì)顏色越接近； 處理3000幅320像素X260像素的病理圖像，對(duì)于紅藍(lán)對(duì)比度的計(jì)算值范圍為：16-93,該 值為93時(shí)，紅藍(lán)對(duì)比最明顯，為16時(shí)，對(duì)比不清晰；為了后續(xù)綜合評(píng)價(jià)時(shí)保持?jǐn)?shù)據(jù)的統(tǒng)一 性，將每個(gè)指標(biāo)取值范圍進(jìn)行歸一化，歸一化公式如下：
編程時(shí)采用向上取整，即可將取值范圍量化為1-5等五個(gè)等級(jí)，1代表最差，5代表最 好； (2) 顏色偏離度 由于正常染色的細(xì)胞核、質(zhì)分別呈現(xiàn)藍(lán)、紅色，因此需要評(píng)價(jià)細(xì)胞核、質(zhì)染色是否正 常；分別將病理圖像的核、質(zhì)圖像分別轉(zhuǎn)換到Lab彩色空間，計(jì)算其a、b通道均值；Lab模 型是慣常用來(lái)描述人眼可見的所有顏色的最完備的色彩模型，a和b的值域都是由+127 至-128,其中a為+127時(shí)就是紅色，漸漸過(guò)渡到-128的時(shí)候就變成綠色；同理，b為+127 是黃色，-128時(shí)是藍(lán)色；由RGB空間轉(zhuǎn)換到Lab空間有多種公式，采用以下經(jīng)典轉(zhuǎn)換公式：
其中：
a= 500*(f(X)-f(Y)) b= 200*(f(Y)-f(Z)) 臨床上給定的標(biāo)準(zhǔn)染色的病理圖像，其a、b通道值選定為標(biāo)準(zhǔn)值，其值為：(a，b)= (85, -35)，顏色偏離度為病理圖像a、b通道值組成的二維向量與標(biāo)準(zhǔn)值之間的歐氏距離， 定義為： Color_Deviation=sqrt((a-a^ 2+(b-b^2) 與紅藍(lán)對(duì)比度一樣，該指標(biāo)取值范圍為：〇-56 ;該距離為0時(shí)，病理圖像顏色最標(biāo)準(zhǔn)，為 56時(shí)，色彩偏差最大；與紅藍(lán)對(duì)比度相同，將該指標(biāo)取值范圍量化為1-5四個(gè)等級(jí)； (3) 顏色信息熵 顏色信息熵評(píng)價(jià)核、質(zhì)圖像顏色的均勻度；顏色直方圖及其組成的空間作為圖像識(shí)別 的訓(xùn)練集即數(shù)據(jù)庫(kù)中的顏色特征；利用信息論的方法擴(kuò)展基于顏色信息的圖像屬性特征得 到顏色信息熵，根據(jù)顏色直方圖的定義推出該圖像的概率密度函數(shù)如下：
其中，N(Ci)表示圖像中像素顏色是Q的像素總數(shù)；定義向量Vi為被量化的顏色i的 像素在圖像I中所占的百分比，它的值等于顏色i的概率密度函數(shù)Pi的值，即顏色i的直 方圖塊，因此圖像顏色信息熵由下式定義：
此處，該指標(biāo)對(duì)細(xì)胞核、質(zhì)單色圖像進(jìn)行獨(dú)立評(píng)價(jià)，計(jì)算得細(xì)胞核圖像顏色信息熵取值 范圍為：2. 04-3. 52 ;細(xì)胞質(zhì)圖像取值范圍為：2. 17-3. 35,病理圖像細(xì)胞核、質(zhì)染色過(guò)程相 同，因此均勻程度相似，為了后續(xù)計(jì)算簡(jiǎn)便，取細(xì)胞核、質(zhì)顏色信息熵的均值作為病理圖像 顏色信息熵；熵值最小時(shí)，圖像灰度最均勻，最大時(shí)，灰度分布最混亂；與上面兩個(gè)指標(biāo)一 樣，細(xì)胞核和細(xì)胞質(zhì)的顏色信息熵取值范圍也被量化為1-5五個(gè)等級(jí)； (4) 空隙區(qū)域破碎度 空隙區(qū)域破碎度評(píng)價(jià)病理圖像中空隙區(qū)域的面積及其離散程度；空隙區(qū)域面積越大， 病理圖像質(zhì)量越差，相同面積時(shí)，破碎度越高，即空隙區(qū)域越離散，病理圖像信息損失越大， 質(zhì)量越差；將病理圖像原圖中去掉單著色的核、質(zhì)圖像，然后進(jìn)行形態(tài)學(xué)處理，先做開運(yùn)算， 后做閉運(yùn)算，得到空隙區(qū)域圖像；將該圖像進(jìn)行二值化，圖像中有效點(diǎn)像素值為1，背景區(qū) 域像素值為〇 ;提取圖像中連通區(qū)域，并記錄其個(gè)數(shù)為單幅圖像空隙區(qū)域數(shù)量統(tǒng)計(jì)結(jié)果n; 計(jì)算上述n塊連通區(qū)域面積S1，S2，…，Sn，單位面積空隙區(qū)域方差定義為：
式中，Sc =SdS2+…+Sn，Sc相等的兩幅相異圖像如果SM1〈SM2，表示大塊連續(xù)空隙區(qū)對(duì)圖 像的破壞程度要小于數(shù)目多且面積小的空隙區(qū)對(duì)圖像的破壞度；定義空隙區(qū)域破碎度(^為 單位面積空隙區(qū)域像素在圖像空間被分割的程度，根據(jù)連通區(qū)域的空隙區(qū)域數(shù)量和大小， CF計(jì)算公式為：
該指標(biāo)取值范圍為：23-62,破碎度為23時(shí)，空隙區(qū)域面積小且均勻，為62時(shí)，空隙區(qū)域 面積大且分布不均，同樣地，將該指標(biāo)值量化為1-5 ; 步驟三：建立BP神經(jīng)網(wǎng)絡(luò)模型 在評(píng)價(jià)病理圖像顏色綜合質(zhì)量時(shí)，將步驟二中四個(gè)特征共4個(gè)指標(biāo)值作為神經(jīng)網(wǎng)絡(luò)的 輸入向量x=(XpX2,…，Xn)，其中，n= 4 ;將病理圖像的顏色質(zhì)量等級(jí)評(píng)分作為神經(jīng)網(wǎng)絡(luò) 的輸出y，定義y的取值為：5、4、3、2、1，分別對(duì)應(yīng)顏色質(zhì)量的優(yōu)、良、中、差、很差；首先根據(jù) 人眼主觀打分，將病理圖像的綜合質(zhì)量分為上述五個(gè)等級(jí)，每幅圖像的等級(jí)值作為其顏色 質(zhì)量的真值； 有了輸入和輸出，接下來(lái)是BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試；評(píng)價(jià)模型中輸入為病理圖 像顏色質(zhì)量的四個(gè)指標(biāo)值，故輸入神經(jīng)元數(shù)目Pn = 4,模型輸出為圖像的綜合質(zhì)量等級(jí)，故 輸出神經(jīng)元的個(gè)數(shù)r= 1 ;選取了結(jié)構(gòu)相對(duì)簡(jiǎn)單的3層BP網(wǎng)絡(luò)，處理了 3000幅病理圖像， 將病理圖像隨機(jī)分為訓(xùn)練樣本集與測(cè)試集；具體訓(xùn)練和測(cè)試過(guò)程如下： (1) 訓(xùn)練過(guò)程 將樣本集中每幅圖像的四個(gè)顏色評(píng)價(jià)值作為一個(gè)向量輸入到三層神經(jīng)網(wǎng)絡(luò)中，樣本的 主觀顏色質(zhì)量真值作為輸出；通過(guò)反復(fù)迭代，學(xué)習(xí)得到神經(jīng)網(wǎng)絡(luò)持有的權(quán)系數(shù)值和閾值 叫的正確內(nèi)部表示； (2) 測(cè)試過(guò)程 測(cè)試神經(jīng)網(wǎng)絡(luò)模型時(shí)，利用上述步驟中訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試集中病理圖像 進(jìn)行綜合評(píng)價(jià)；將測(cè)試集中病理圖像的四個(gè)顏色指標(biāo)值輸入到神經(jīng)網(wǎng)絡(luò)中，得到該圖像的 綜合質(zhì)量評(píng)分； (3) 計(jì)算正確率 將算法對(duì)圖像的評(píng)價(jià)值與圖像的主觀真值進(jìn)行比對(duì)，計(jì)算出神經(jīng)網(wǎng)絡(luò)模型評(píng)價(jià)的正確 率，公式為：
其中，err〇r_N為神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)值與主觀分類值不同的個(gè)數(shù)，Total表示參與評(píng)價(jià)的病 理圖像總數(shù)；對(duì)3000幅病理圖像采取五折交叉驗(yàn)證的方法測(cè)試神經(jīng)網(wǎng)絡(luò)模型的評(píng)價(jià)準(zhǔn)確 度，正確率為90.4%。
【文檔編號(hào)】G06T7/00GK104408717SQ201410680516
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月24日 優(yōu)先權(quán)日:2014年11月24日
【發(fā)明者】謝鳳英, 劉鴻蕾, 盧亞楠, 姜志國(guó) 申請(qǐng)人:北京航空航天大學(xué)