專利名稱：基于質(zhì)心跟蹤框架的特征關(guān)聯(lián)細胞跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，涉及視頻顯微圖像中運動細胞的自動跟蹤， 可用于細胞視頻顯微圖像中對運動細胞的分析。
背景技術(shù)：
作為生物學中的一個新的研究熱點，細胞圖像處理對細胞研究具有很重要的指導(dǎo) 意義。顯微技術(shù)的發(fā)展給觀察和研究細胞周期性活動提供了一個很重要的工具。在新藥的 研制過程中，往往需要在顯微鏡下觀察活體細胞在注藥之后的反應(yīng)，當實驗成熟之后會進 一步在生物體內(nèi)測試，當研究某種病毒細胞的擴散方式和程度時，會采用同樣的方式，觀察 病毒細胞入侵正常細胞的過程，當然還有許多需要細胞運動研究的地方，其應(yīng)用范圍也在 不斷的擴大。不過，傳統(tǒng)的方法還是借助顯微設(shè)備的人工定時檢測和記錄，其自動化程度較 低，人工觀測過程也比較困難，費時費力而且不準確。如今，用于視頻顯微圖像下的細胞自 動跟蹤系統(tǒng)，作為生物學研究中的一個新興研究方向，已經(jīng)受到很多科研組織的重視。隨著計算機在生物學中的應(yīng)用，廣泛的計算機視覺領(lǐng)域的研究已造成強大和靈活 的可視化算法。細胞跟蹤的目標是完善的提供細胞的運動行為，包括細胞的移動、分裂、出 現(xiàn)、消失等。目前，存在的細胞跟蹤方法，大致可以分為三類基于數(shù)據(jù)關(guān)聯(lián)、單獨幀獨立分 割的方法；基于輪廓變化模型的方法；隨機濾波和概率統(tǒng)計的方法。其中1.基于數(shù)據(jù)關(guān)聯(lián)、單獨幀獨立分割的方法，是細胞跟蹤當中比較有效的方法。 Al-Kofahi等人在各種匹配假說中使用了線性規(guī)則，但是他們的方法不能捕獲聚集的細胞 以及進入或者離開圖像視角的細胞。Dehauwer等人采用了基于歐氏距離匹配的方法，在幀 間進行關(guān)聯(lián)。Padfield等人通過跟蹤單一細胞訓練出的特征，在時空上關(guān)聯(lián)細胞。不過，各 種相關(guān)的分割匹配技術(shù)在關(guān)聯(lián)進入或移出的細胞方面不是很有效，在細胞的分裂跟聚集情 況上也都需要特別處理。2.基于輪廓變化模型的方法，如水平集算法也是常用于細胞跟蹤的方法。由于水 平集方法可以很容易的在拓撲結(jié)構(gòu)下傳遞變化信息，為此Yang和Padfield等人采用該方 法，將進化水平集用于時空上，能及時有效的關(guān)聯(lián)檢測目標。其他相關(guān)方法，如Dufour等人 提出的水平集方法，采用由先前圖像得到的輪廓作為初始，來實時傳播變化信息。這種基于 輪廓變化模型的方法，雖然能非常有效的處理拓撲結(jié)構(gòu)的變化，但是，在細胞的快速移動或 者出現(xiàn)、消失時，都要求重新進行參數(shù)的初始化，而大量參數(shù)的及時獲取和初始化是比較復(fù) 雜和困難的，無疑會影響該方法的效果。3.用以跟蹤的隨機濾波和概率統(tǒng)計的方法，一般情況下都依賴于強有力的模型 假設(shè)。例如，均值漂移算法可以通過一個基本的外觀模型來跟蹤目標，這種方法的效果取 決于目標定位的精確性，以及模型的實時轉(zhuǎn)移傾向；又如卡爾曼濾波算法，如果該方法采 用的狀態(tài)轉(zhuǎn)移模型可以較好的模擬跟蹤目標的運動狀態(tài)，那么這種濾波方法將非常有效。 Kachouie等人提出了一種基于概率準則的最大后驗概率，用以細胞追蹤，但是由于該算法 需要大量的假設(shè)，所以該系統(tǒng)能跟蹤的細胞數(shù)目受到一定限制。事實上，由于細胞自身的非線性運動，不能找到理想的模型去較好的模擬所有細胞的運動，以及視頻圖像中待跟蹤的 細胞數(shù)目相對較多，增加了跟蹤的復(fù)雜度，傳統(tǒng)的隨機濾波和概率統(tǒng)計的方法用于細胞跟 蹤都不是非常理想。綜上，現(xiàn)有的細胞跟蹤方法有如下一些缺點(1)有些方法不能對細胞運動變化 做出準確的判斷，如細胞的出現(xiàn)或消失，即使做出判斷，對于復(fù)雜的運動也不能達到理想的 跟蹤效果；(2)有些方法對跟蹤的目標數(shù)目有一定的限制，不能跟蹤視頻圖像中的所有細 胞，僅能跟蹤一定數(shù)目的細胞；(3)有些方法不具有很好的魯棒性，僅對某些視頻圖像中具 有特定特征或者運動規(guī)律的細胞有較為理想的跟蹤效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出一種基于質(zhì)心跟蹤框架的特征 關(guān)聯(lián)細胞跟蹤方法，在兩幀之間選擇最佳匹配關(guān)聯(lián)細胞，以對每個細胞的運動變化做出準 確的判斷，提供精確的細胞運動軌跡，并且對視頻圖像中的細胞及跟蹤的細胞數(shù)目沒有限 制。實現(xiàn)本發(fā)明目的的技術(shù)思路是將特征關(guān)聯(lián)方法引入到基于質(zhì)心跟蹤的框架中，得 到跟蹤細胞的準確位置。其具體實現(xiàn)步驟包括如下(1)對視頻的每幀圖像運用OtSU方法進行二值化分割，并對二值圖像中的細胞區(qū) 域進行標記，提取每個細胞的中心位置；(2)根據(jù)每個細胞的中心位置，對二值圖像中出現(xiàn)的細胞進行質(zhì)心跟蹤，記錄得到 的細胞跟蹤軌跡；(3)根據(jù)每個細胞的跟蹤軌跡，判斷二值圖像是否為細胞跟蹤軌跡的起始圖像和 終止圖像，并將起始圖像和終止圖像中細胞軌跡的起始和終止坐標分別記錄于起始坐標集 合和終止坐標集合中；(4)根據(jù)軌跡的終止坐標集合和軌跡起始坐標集合，先對視頻的相鄰兩幀二值圖 像進行判斷如果當前二值圖像為細胞跟蹤軌跡的終止圖像，且下一幀二值圖像為細胞跟 蹤軌跡的起始圖像，則把當前二值圖像中軌跡終止坐標代表的細胞作為待跟蹤細胞，建立 待跟蹤細胞的鄰域匹配區(qū)域，選擇待關(guān)聯(lián)細胞，如果沒有待關(guān)聯(lián)細胞，判定待跟蹤細胞在下 一幀二值圖像中消失，停止對此待跟蹤細胞進行跟蹤；(5)采用特征關(guān)聯(lián)方法對待跟蹤細胞與該細胞鄰域匹配區(qū)域中的待關(guān)聯(lián)細胞進行 特征關(guān)聯(lián)跟蹤，計算待跟蹤細胞與每個待關(guān)聯(lián)細胞的相似度，將與待跟蹤細胞相似度最大 的待關(guān)聯(lián)細胞確定為待跟蹤細胞的匹配細胞，并將此待關(guān)聯(lián)細胞的跟蹤軌跡作為待跟蹤細 胞的后續(xù)跟蹤軌跡；(6)循環(huán)步驟(4)到步驟(5)直到最后一幀二值圖像，完成對所有細胞的跟蹤。本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點1)本發(fā)明由于采用特征關(guān)聯(lián)方法，很好的克服了現(xiàn)有基于運動模型的濾波跟蹤方 法由于細胞無規(guī)律的布朗運動而導(dǎo)致的跟蹤失敗的缺點，提高了跟蹤的正確率；2)本發(fā)明由于將質(zhì)心跟蹤作為整體的跟蹤框架，當細胞的運動狀態(tài)發(fā)生變化，如 細胞出現(xiàn)與消失時，仍然能做出準確的判斷；3)本發(fā)明由于將質(zhì)心跟蹤作為跟蹤的第一步，使得在待跟蹤細胞的鄰域匹配區(qū)域內(nèi)，部分細胞已經(jīng)通過質(zhì)心跟蹤方法所跟蹤，減少了待關(guān)聯(lián)細胞的數(shù)目，從而極大降低了跟 蹤匹配錯誤的情況，提高了該發(fā)明的跟蹤可靠性。


圖1是本發(fā)明的流程示意圖；圖2是本發(fā)明仿真使用的2種細胞顯微視頻圖像；圖3是本發(fā)明仿真實現(xiàn)的圖像預(yù)處理后得到的細胞二值圖像；圖4是本發(fā)明仿真實現(xiàn)的細胞跟蹤軌跡圖。
具體實施例方式參照圖1，本發(fā)明的具體實現(xiàn)步驟如下步驟1，對每幀圖像進行二值化分割，提取每個細胞的中心位置。(Ia)采用傳統(tǒng)的Otsu方法計算原始圖像的閾值，對圖像進行二值化分割，同時， 由于圖像噪聲的影響，去除二值圖像中面積小于20的區(qū)域，得到最終二值圖像；(Ib)采用4鄰域連通標記算法，對最終二值圖像中的細胞區(qū)域進行標記，提取每 個細胞區(qū)域的中心，即得到每個細胞的中心位置。步驟2，根據(jù)每個細胞的中心位置，對二值圖像中出現(xiàn)的細胞進行質(zhì)心跟蹤，記錄 得到的細胞跟蹤軌跡。2a)將需要進行質(zhì)心跟蹤的細胞確定為跟蹤細胞A ；2b)如果跟蹤細胞A的坐標在下一幀二值圖像某個細胞B的區(qū)域內(nèi)部，將細胞A和 B確定為同一個細胞，并將細胞B的坐標作為跟蹤細胞A在下一幀二值圖像中的坐標；
2c)將細胞B的坐標加入到跟蹤細胞A的跟蹤軌跡中，實現(xiàn)對跟蹤細胞A的跟蹤軌 跡更新；2d)循環(huán)步驟2b)到步驟2c)，直到跟蹤細胞A的坐標不再在細胞B的區(qū)域內(nèi)部， 完成跟蹤細胞A的質(zhì)心跟蹤。步驟3，根據(jù)每個細胞的跟蹤軌跡，判斷二值圖像是否為細胞跟蹤軌跡的起始圖像 和終止圖像，并將起始圖像和終止圖像中細胞軌跡的起始和終止坐標分別記錄于起始坐標 集合和終止坐標集合中。3a)如果細胞跟蹤軌跡的起始坐標在二值圖像上，將此二值圖像作為細胞跟蹤軌 跡的起始圖像；如果細胞跟蹤軌跡的終止坐標在二值圖像上，將此二值圖像作為細胞跟蹤 軌跡的終止圖像；3b)將起始圖像和終止圖像中細胞軌跡的起始和終止坐標分別記錄于起始坐標集 合和終止坐標集合中；3c)循環(huán)步驟3a)到步驟3b)，直到最后一幀二值圖像。步驟4，確定待跟蹤細胞，建立待跟蹤細胞的鄰域匹配區(qū)域，選擇待關(guān)聯(lián)細胞。細胞的運動有時會超出質(zhì)心跟蹤的范圍，導(dǎo)致質(zhì)心跟蹤中斷，致使本來完整的細 胞運動被跟蹤成幾個平穩(wěn)的軌跡，這些跟蹤軌跡由質(zhì)心跟蹤得來。因此需要將屬于同一細 胞的跟蹤軌跡確定，將其按順序連接，以形成對細胞的完整跟蹤。根據(jù)軌跡的終止坐標集合和軌跡起始坐標集合，先對視頻的相鄰兩幀二值圖像進
6行判斷如果當前二值圖像為某些細胞跟蹤軌跡的終止圖像，且下一幀二值圖像為某些細 胞跟蹤軌跡的起始圖像，說明在當前二值圖像中，跟蹤軌跡終止的細胞，有可能在下一幀圖 像中消失，也有可能因為細胞的運動變化較大，導(dǎo)致質(zhì)心跟蹤中斷，需要與下一幀圖像中起 始的跟蹤軌跡代表的細胞進行匹配。因此，把當前二值圖像中軌跡終止坐標代表的細胞作為待跟蹤細胞，然后建立合 適的待跟蹤細胞的鄰域匹配區(qū)域，保證待跟蹤細胞在下一幀圖像中的位置在該鄰域匹配區(qū) 域內(nèi)，在該鄰域匹配區(qū)域內(nèi)選擇與待跟蹤細胞的待關(guān)聯(lián)細胞，具體操作步驟如下4a)以待跟蹤細胞在當前二值圖像中的坐標為中心，在下一幀二值圖像中建立一 個窗口寬度為H的矩形區(qū)域，作為待跟蹤細胞的鄰域匹配區(qū)域，通常，為了保證待跟蹤細胞 在下一幀圖像中的位置一定在該鄰域匹配區(qū)域內(nèi)，H設(shè)定為細胞在兩幀圖像中的最大移動 距離，在此設(shè)為50 ；4b)選擇細胞中心在該鄰域匹配區(qū)域中的細胞，作為備選細胞，如果下一幀二值圖 像正好是備選細胞的軌跡起始圖像，將備選細胞作為待關(guān)聯(lián)細胞，如果沒有滿足條件的待 關(guān)聯(lián)細胞，判定待跟蹤細胞在下一幀圖像中消失，停止對此待跟蹤細胞進行跟蹤。步驟5，計算待跟蹤細胞與每個待關(guān)聯(lián)細胞的相似度，將相似度最大的待關(guān)聯(lián)細胞 跟蹤軌跡連接到待跟蹤細胞的跟蹤軌跡之后，以實現(xiàn)對待跟蹤細胞的跟蹤軌跡更新。選擇合適的特征，計算待跟蹤細胞與該細胞鄰域匹配區(qū)域中每個待關(guān)聯(lián)細胞的相 似度，相似度最大的待關(guān)聯(lián)細胞被認為是待跟蹤細胞的匹配細胞，并確定該細胞的跟蹤軌 跡為待跟蹤細胞的后續(xù)跟蹤軌跡，將該細胞的跟蹤軌跡連接到待跟蹤細胞的跟蹤軌跡，實 現(xiàn)對待跟蹤細胞的跟蹤軌跡更新。本實施例以代價函數(shù)來評判兩個細胞之間的相似程度，代價函數(shù)越小，則相似度 越大，因此，以代價函數(shù)的倒數(shù)來表示兩個細胞的相似度，選擇距離、面積和偏心率作為細 胞的關(guān)聯(lián)特征，具體的相似度計算步驟如下5a)計算每個待關(guān)聯(lián)細胞與待跟蹤細胞之間的代價函數(shù)cost cost(i，j) = aD(i, j) + ^A(i, j) + yE(i, j)其中，i表示待關(guān)聯(lián)細胞，j表示待跟蹤細胞，η表示鄰域匹配區(qū)域中待關(guān)聯(lián)的細胞 數(shù)目，α、β、Υ分別表示三個特征的權(quán)值，取值分別為0. 7、0. 15、0. 15，α+β + y =1，
dI加O,-加a, I , 、 \Eccen、-Eccent
權(quán)利要求
一種基于質(zhì)心跟蹤框架的特征關(guān)聯(lián)細胞跟蹤方法，包括如下步驟(1)對視頻的每幀圖像運用Otsu方法進行二值化分割，并對二值圖像中的細胞區(qū)域進行標記，提取每個細胞的中心位置；(2)根據(jù)每個細胞的中心位置，對二值圖像中出現(xiàn)的細胞進行質(zhì)心跟蹤，記錄得到的細胞跟蹤軌跡；(3)根據(jù)每個細胞的跟蹤軌跡，判斷二值圖像是否為細胞跟蹤軌跡的起始圖像和終止圖像，并將起始圖像和終止圖像中細胞軌跡的起始和終止坐標分別記錄于起始坐標集合和終止坐標集合中；(4)根據(jù)軌跡的終止坐標集合和軌跡起始坐標集合，先對視頻的相鄰兩幀二值圖像進行判斷如果當前二值圖像為細胞跟蹤軌跡的終止圖像，且下一幀二值圖像為細胞跟蹤軌跡的起始圖像，則把當前二值圖像中軌跡終止坐標代表的細胞作為待跟蹤細胞，建立待跟蹤細胞的鄰域匹配區(qū)域，選擇待關(guān)聯(lián)細胞，如果沒有待關(guān)聯(lián)細胞，判定待跟蹤細胞在下一幀二值圖像中消失，停止對此待跟蹤細胞進行跟蹤；(5)采用特征關(guān)聯(lián)方法對待跟蹤細胞與該細胞鄰域匹配區(qū)域中的待關(guān)聯(lián)細胞進行特征關(guān)聯(lián)跟蹤，計算待跟蹤細胞與每個待關(guān)聯(lián)細胞的相似度，將與待跟蹤細胞相似度最大的待關(guān)聯(lián)細胞確定為待跟蹤細胞的匹配細胞，并將此待關(guān)聯(lián)細胞的跟蹤軌跡作為待跟蹤細胞的后續(xù)跟蹤軌跡；(6)循環(huán)步驟(4)到步驟(5)直到最后一幀二值圖像，完成對所有細胞的跟蹤。
2.根據(jù)權(quán)利要求1所述的細胞跟蹤方法，其中步驟(2)所述的對二值圖像中出現(xiàn)的細 胞進行質(zhì)心跟蹤，按如下步驟進行2a)將需要進行質(zhì)心跟蹤的細胞確定為跟蹤細胞A ；2b)如果跟蹤細胞A的坐標在下一幀二值圖像某個細胞B的區(qū)域內(nèi)部，將細胞A和B確 定為同一個細胞，并將細胞B的坐標作為跟蹤細胞A在下一幀二值圖像中的坐標；2c)更新跟蹤細胞A的跟蹤軌跡，即將細胞B的坐標加入到跟蹤細胞A的跟蹤軌跡中；2d)循環(huán)步驟2b)到步驟2c)，直到跟蹤細胞A的坐標不再滿足2b)中的條件，完成跟 蹤細胞A的質(zhì)心跟蹤。
3.根據(jù)權(quán)利要求1所述的細胞跟蹤方法，其中步驟(3)所述的判斷二值圖像是否為細 胞跟蹤軌跡的起始圖像和終止圖像，按如下準則判斷如果細胞跟蹤軌跡的起始坐標在二值圖像上，將此二值圖像作為細胞跟蹤軌跡的起始 圖像；如果細胞跟蹤軌跡的終止坐標在二值圖像上，將此二值圖像作為細胞跟蹤軌跡的終止 圖像。
4.根據(jù)權(quán)利要求1所述的細胞跟蹤方法，其中步驟(4)所述的建立待跟蹤細胞的鄰域 匹配區(qū)域，選擇待關(guān)聯(lián)細胞，具體步驟如下4a)以待跟蹤細胞在當前二值圖像中的坐標為中心，在下一幀二值圖像中建立一個窗 口寬度為H的矩形區(qū)域，作為待跟蹤細胞的鄰域匹配區(qū)域；4b)選擇細胞中心在該鄰域匹配區(qū)域中的細胞，作為備選細胞，如果下一幀二值圖像正 好是備選細胞的軌跡起始圖像，將該備選細胞作為待關(guān)聯(lián)細胞，如果沒有待關(guān)聯(lián)細胞，判定 待跟蹤細胞在下一幀圖像中消失，停止對此待跟蹤細胞進行跟蹤。
5.根據(jù)權(quán)利要求1所述的細胞跟蹤方法，其中步驟(5)所述的采用特征關(guān)聯(lián)方法對待 跟蹤細胞與該細胞鄰域匹配區(qū)域中的待關(guān)聯(lián)細胞進行特征關(guān)聯(lián)，計算待跟蹤細胞與每個待 關(guān)聯(lián)細胞的相似度，具體步驟如下5a)通過計算每個待關(guān)聯(lián)細胞與待跟蹤細胞之間的代價函數(shù)cost，實現(xiàn)對每個待關(guān)聯(lián) 細胞與待跟蹤細胞的特征的關(guān)聯(lián)，計算公式如下 cost(i, j) = aD
全文摘要
本發(fā)明公開了一種基于質(zhì)心跟蹤框架的特征關(guān)聯(lián)細胞跟蹤方法，主要解決現(xiàn)有細胞跟蹤方法正確率低的問題。其過程為對視頻圖像進行二值化分割，提取每個細胞的中心位置；對細胞進行質(zhì)心跟蹤，記錄細胞的跟蹤軌跡；將軌跡的起始和終止坐標分別記錄起始坐標集合和終止坐標集合中，選擇待跟蹤細胞，在待跟蹤細胞的鄰域匹配區(qū)域內(nèi)，選擇待關(guān)聯(lián)細胞；采用特征關(guān)聯(lián)方法對待跟蹤細胞與待關(guān)聯(lián)細胞進行特征關(guān)聯(lián)，更新待跟蹤細胞軌跡；最后循環(huán)上述步驟直到最后一幀圖像，完成對所有細胞的跟蹤。本發(fā)明較其它幾種傳統(tǒng)的跟蹤方法，在跟蹤效果及正確率方面都有提高，可用于醫(yī)學顯微視頻圖像中對運動細胞的分析。
文檔編號G06T7/20GK101950424SQ20101027804
公開日2011年1月19日 申請日期2010年9月9日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者于昕, 侯彪, 李悅, 沈威, 焦李成, 王爽, 韓紅, 馬文萍, 高婷婷 申請人:西安電子科技大學