專利名稱：細胞觀察圖像的圖像解析方法、圖像處理程序和圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及導出細胞的預測移動方向的細胞觀察的圖像處理技術。
背景技術：
作為預測移動物體(移動體)的移動預測技術，以往普遍應用通過對拍攝到移動 體的圖像進行處理、解析，預測該移動體今后將如何移動的圖像處理技術。在這樣的移動預 測中，利用了線性預測、和卡爾曼過濾等基于過去的移動量的時間系列預測(例如參照專 利文獻1)。專利文獻1 特開2007-303886號公報但是，在觀察對象是細胞的情況下，細胞的運動頻繁發(fā)生急劇的運動和靜止等，多 數(shù)情況難以進行線性預測。另外，作為在難以進行該線性預測的情況下的預測方法，還提 出有一種能夠進行非線性預測的微粒過濾等方案，但存在的問題是對于近乎隨機運動的預 測，還不能達到充分的預測精度。另外，由于以往的移動預測是通過對多個時間系列圖像進行圖像處理，來預測將 來的移動方向，所以存在著圖像處理裝置的處理負擔重，為了進行快速的預測處理，而需要 圖像處理裝置大型化和高價化的問題。

發(fā)明內容
本發(fā)明就是鑒于上述問題而提出的，其目的是提供一種能夠以簡單的結構實現(xiàn)細 胞的移動預測的技術。根據本發(fā)明的第1實施方式，提供一種細胞觀察圖像的圖像解析方法，其特征在 于，取得由攝像裝置拍攝到觀察細胞的觀察圖像，從取得的上述觀察圖像中抽出上述觀察 細胞的輪廓，使將細胞的外形形狀模型化了的細胞模型，匹配于被抽出了輪廓的上述觀察 細胞，利用匹配的上述細胞模型，導出預測上述觀察細胞移動的移動方向。根據本發(fā)明的第2實施方式，提供一種細胞觀察圖像的圖像解析方法，其特征在 于，取得由攝像裝置拍攝到觀察細胞的觀察圖像，從取得的上述觀察圖像中抽出上述觀察 細胞的輪廓，計算出被抽出了輪廓的上述觀察細胞的相對輪廓形狀的內部構造的偏移，根 據計算出的上述內部構造的偏移，導出預測上述觀察細胞移動的移動方向。根據本發(fā)明的第3實施方式，提供一種細胞觀察圖像的圖像處理程序，其特征在 于，包括取得由攝像裝置拍攝到觀察細胞的觀察圖像的步驟；從取得的上述觀察圖像中 抽出上述觀察細胞的輪廓的步驟；使將細胞的外形形狀模型化了的細胞模型，匹配于被抽 出了輪廓的上述觀察細胞的步驟；利用匹配的上述細胞模型，導出預測上述觀察細胞移動 的移動方向的步驟；把導出的上述觀察細胞的移動方向，向外部輸出的步驟。根據本發(fā)明的第4實施方式，提供一種細胞觀察圖像的圖像處理程序，其特征在 于，包括取得由攝像裝置拍攝到觀察細胞的觀察圖像的步驟；從取得的上述觀察圖像中抽出上述觀察細胞的輪廓的步驟；計算出被抽出了輪廓的上述觀察細胞的相對輪廓形狀的 內部構造的偏移的步驟；根據計算出的上述內部構造的偏移，導出預測上述觀察細胞移動 的移動方向的步驟；和把導出的上述觀察細胞的移動方向，向外部輸出的步驟。
根據本發(fā)明的第5實施方式，提供一種細胞觀察的圖像處理裝置，其特征在于，具 有拍攝細胞的攝像裝置；圖像解析部，其取得由上述攝像裝置拍攝到觀察細胞的觀察圖 像，導出預測上述觀察細胞移動的移動方向；輸出部，其把由上述圖像解析部導出的上述觀 察細胞的移動方向向外部輸出，并且構成為，上述圖像解析部從上述觀察圖像中抽出上述 觀察細胞的輪廓，使將細胞的外形形狀模型化了的細胞模型，匹配于被抽出了輪廓的上述 觀察細胞，利用匹配的上述細胞模型，導出預測上述觀察細胞移動的移動方向。根據本發(fā)明的第6實施方式，提供一種細胞觀察的圖像處理裝置，其特征在于，具 有拍攝細胞的攝像裝置；圖像解析部，其取得由上述攝像裝置拍攝到觀察細胞的觀察圖 像，導出預測上述觀察細胞移動的移動方向；輸出部，其把由上述圖像解析部導出的上述 觀察細胞的移動方向向外部輸出，并且構成為，上述圖像解析部從上述觀察圖像中抽出上 述觀察細胞的輪廓，計算出被抽出了輪廓的上述觀察細胞的相對輪廓形狀的內部構造的偏 移，根據計算出的上述內部構造的偏移，導出預測上述觀察細胞移動的移動方向。根據上述那樣的細胞觀察圖像的圖像解析方法、圖像處理程序、和圖像處理裝置， 可以根據攝像裝置拍攝的1個圖像預測出細胞的移動方向。因此，可提供一種能夠以簡單 的結構實現(xiàn)細胞的移動預測的技術。


圖1是根據從細胞模型中突出的觀察細胞的位置，導出移動方向的移動預測方法 的概念圖。圖2是作為本發(fā)明的適用例所表示的培養(yǎng)觀察系統(tǒng)的概要結構圖。圖3是上述培養(yǎng)觀察系統(tǒng)的方框圖。圖4是舉例說明進行細胞的輪廓抽出的輪廓抽出處理的狀況的模式圖。圖5是根據與觀察細胞匹配的細胞模型，導出移動方向的移動預測方法的概念 圖。圖6是根據細胞模型的重心與觀察細胞的重心的偏差，導出移動方向的移動預測 方法的概念圖。圖7是根據觀察細胞的密度分布，導出移動方向的移動預測方法的概念圖。圖8是表示圖像處理裝置的概要結構的方框圖。圖9是表示圖像處理程序中的主程序的流程圖。圖10是與在主程序中選擇的預測算法A對應的流程圖。圖11是與在主程序中選擇的預測算法B對應的流程圖。圖12是與在主程序中選擇的預測算法C對應的流程圖。圖13是在執(zhí)行了圖像處理程序的情況下，在顯示屏上顯示的細胞移動跟蹤界面 的顯示圖像的構成例。附圖標記說明BS_培養(yǎng)觀察系統(tǒng)；GP-圖像處理程序；C-觀察細胞；54宏觀觀察 系統(tǒng)；54c-攝像裝置；55-顯微觀察系統(tǒng)；55c-攝像裝置；100-圖像處理裝置；120-圖像解析部；130-輸出部。
具體實施例方式下面，參照附圖，對用于實施本發(fā)明的實施方式進行說明。作為應用本發(fā)明的細胞 觀察的圖像處理裝置的系統(tǒng)的一例，在圖2和圖3中分別圖示了培養(yǎng)觀察系統(tǒng)的概要結構 圖和方框圖。該培養(yǎng)觀察系統(tǒng)BS大體上由設在箱體1的上部的培養(yǎng)室2、收容保持多個培養(yǎng)容 器10的貨架狀的儲料器3、觀察培養(yǎng)容器10內的試驗料的觀察單元5、把培養(yǎng)容器10在儲 料器3與觀察單元5之間搬運的搬運單元4、控制系統(tǒng)的動作的控制單元6、具備了圖像顯 示裝置的操作盤7等構成。培養(yǎng)室2是形成并維持根據要培養(yǎng)的細胞的種類和目的等的培養(yǎng)環(huán)境的室，為了 防止環(huán)境變化和污染而在投入樣品后保持密閉狀態(tài)。作為培養(yǎng)室2的附帶設備，設有使培 養(yǎng)室內的溫度升溫、降溫的溫度調整裝置21、調整濕度的加濕器22、供應C02和N2等氣體 的氣體供應裝置23、用于使培養(yǎng)室2整體的環(huán)境均勻的循環(huán)風扇24、檢測培養(yǎng)室2的溫度 和濕度的環(huán)境傳感器25等。由控制單元6控制各個設備的動作，把基于培養(yǎng)室2的溫度、 濕度、二氧化碳濃度等的規(guī)定的培養(yǎng)環(huán)境維持在與在操作盤7中設定的培養(yǎng)條件一致的狀 態(tài)。儲料器3形成為在圖2中的與紙面正交的前后方向和上下方向分別被分隔為多個 的貨架狀。對各個貨架分別設有固有地址，例如在把前后方向設為A C列、把上下方向設 為1 7層的情況下，A列5層的貨架被設定為A-5。培養(yǎng)容器10具有燒瓶、盤、井板等種類，并具有圓形、方形等形態(tài)和尺寸，可根據 要培養(yǎng)的細胞的種類和目的，選擇使用適宜的容器。在本實施方式中，舉例說明了使用盤的 結構。把細胞等的試驗料、與添加了酚紅等PH試劑的液體培養(yǎng)基一同注入培養(yǎng)容器10中。 對培養(yǎng)容器10付與代碼編號，與儲料器3的指定編號對應收容。另外，在培養(yǎng)容器10中， 根據容器的種類和形態(tài)等形成的搬送用容器托架，在被裝入的狀態(tài)下被收容保持在各個貨 架中。搬送單元4由在培養(yǎng)室2內部可上下方向移動設置的，基于Z軸驅動機構升降的 Z臺41、可前后方向移動地安裝在Z臺41上的基于Y軸驅動機構而前后移動的Y臺42、和 可左右方向移動地安裝在Y臺42上的基于X軸驅動機構而向左右移動的X臺43等構成， 在相對Y臺左右移動的X臺43的前端側設有將培養(yǎng)容器10抬起支撐的支撐臂45。搬送單 元4構成為使支撐臂45具有在儲料器3的全部貨架與觀察單元5的試驗料臺15之間可移 動的移動范圍。X軸驅動機構、Y軸驅動機構、Z軸驅動機構例如由滾珠絲杠和帶編碼器的 伺服電機構成，由控制單元6控制其工作。觀察單元50由第1照明部51、第2照明部52、第3照明部53、進行試驗料的宏觀 觀察的宏觀觀察系統(tǒng)54、進行試驗料的微觀觀察的微觀觀察系統(tǒng)55、圖像處理裝置100等 構成。試驗料臺15由具有透光性的材質構成，并且在顯微觀察系統(tǒng)55的觀察區(qū)域設有透 明窗部16。第1照明部51由設在下部框架lb側的面發(fā)光光源構成，從試驗料臺15的下側對 培養(yǎng)容器10整體進行背光照明。第2照明部52具有LED等光源、和由相位環(huán)和聚光透鏡等構成的照明光學系統(tǒng)，并被設置在培養(yǎng)室2內，從試驗料臺15的上方沿著顯微觀察系統(tǒng) 5的光軸，對培養(yǎng)容器中的試驗料進行照明。第3照明部53具有由可分別射出適合進行落 射照明觀察和熒光觀察的波長的光的多個LED和水銀燈等光源、和把從各個光源射出的光 重疊在顯微觀察系統(tǒng)55的光軸上的分光鏡和熒光濾鏡等構成的照明光學系統(tǒng)，其被配置 在培養(yǎng)室2下側的下部框架lb內，從試驗料臺15的下方沿著顯微觀察系統(tǒng)5的光軸，對培 養(yǎng)容器中的試驗料進行照明。宏觀觀察系統(tǒng)54具有觀察光學系統(tǒng)54a、和對由觀察光學系統(tǒng)成像的試驗料的像 進行拍攝的(XD照相機等攝像裝置54c，其位于第1照明部51的上方，并被設在培養(yǎng)室2 內。宏觀觀察系統(tǒng)54拍攝由第1照明部51背光照明的培養(yǎng)容器10的從上方觀察的整體 觀察圖像(宏觀像)。微觀觀察系統(tǒng)55具有由物鏡、中間變倍透鏡、和熒光濾鏡等構成的觀察光學系統(tǒng) 55a、和拍攝由觀察光學系統(tǒng)55a成像的試驗料的像的，冷卻(XD照相機等攝像裝置55c，其 被設置在下部框架lb的內部。分別設置有多個物鏡和中間變倍透鏡，并且構成為使用省略 了詳細圖示的轉換器和滑塊等變位機構可設定多個倍率的結構，其根據初始選擇的透鏡設 定，能夠在例如2倍 80倍等的范圍內變倍。顯微觀察系統(tǒng)55拍攝通過顯微鏡觀察了由 第2照明部52照明的，透過了細胞的透過光、或由第3照明部53照明的，從細胞反射的反 射光、或由第3照明部53照明的，從細胞發(fā)出的熒光的顯微觀察像(微觀像)。圖像處理裝置100對從宏觀觀察系統(tǒng)的攝像裝置54c和顯微觀察系統(tǒng)的攝像裝置 55c輸入的信號進行A/D轉換，并且實施各種圖像處理，生成整體觀察圖像或顯微觀察圖像 的圖像數(shù)據。另外，圖像處理裝置100對這些觀察圖像的圖像數(shù)據實施圖像解析，進行隔時 圖像的生成和細胞的移動量計算、細胞的運動狀態(tài)的解析等。圖像處理裝置100具體是通 過執(zhí)行在后述的控制裝置6的ROM中保存的圖像處理程序構筑而成。另外，關于圖像處理 裝置100，將在后面詳細說明?？刂茊卧?具有CPTO1、設定并保存了控制培養(yǎng)觀察系統(tǒng)BS的動作的控制程序、 用于保存控制各部的數(shù)據的R0M62、暫時保存圖像數(shù)據等的RAM63等，并且構成為由數(shù)據總 線把這些連接的結構?？刂茊卧?的輸入輸出口與培養(yǎng)室2中的溫度調整裝置21、加濕器 22、氣體供應裝置23、循環(huán)風扇24、環(huán)境傳感器25、搬送裝置4中的X、Y、Z臺43、42、41的 各軸的驅動機構、觀察單元5中的第1、第2、第3照明部51、52、53、宏觀觀察系統(tǒng)54、顯微 觀察系統(tǒng)55、操作盤7中的操作面板71、和顯示屏72等連接。從上述各部向CPU61輸入檢 測信號，由CPU61根據預先設定的控制程序，控制上述各部。在操作盤7上設有設置了鍵盤、片式開關、和對磁記錄介質或光盤等進行信息的 讀出和寫入的讀/寫裝置等輸入輸出裝置的操作面板71、以及顯示各種操作畫面和圖像數(shù) 據等的顯示屏72，通過一邊參照顯示屏72，一邊利用操作面板71輸入觀察程序(動作條 件)的設定和條件選擇、和動作指令等，通過CPU61使培養(yǎng)觀察系統(tǒng)BS的各部動作。艮口， CPU61根據來自操作面板71的輸入，進行培養(yǎng)室2的環(huán)境調整、培養(yǎng)室2內的培養(yǎng)容器10 的搬送、基于觀察單元5的試驗料的觀察、取得的圖像數(shù)據的解析、和在顯示屏72上的顯示 等。在顯示屏72上，除了顯示動作指令和條件選擇的輸入畫面以外，還顯示培養(yǎng)室2的環(huán) 境條件的各個數(shù)值、被解析的圖像數(shù)據、和發(fā)生異常時的警告等。另外，CPU61通過根據有 線或無線的通信規(guī)格構成的通信部65，能夠在與外部連接的計算機等之間進行數(shù)據的發(fā)送接收。RAM63中記錄有在操作面板71上設定的觀察程序的動作條件、例如培養(yǎng)室2的溫 度和濕度等環(huán)境條件、每個培養(yǎng)容器10的觀察時間安排、觀察單元5中的觀察種類、觀察位 置、觀察倍率等觀察條件等。另外，還記錄有被收容在培養(yǎng)室2中的各個培養(yǎng)容器10的代 碼編號、收容了各個代碼編號的培養(yǎng)容器10的儲料器3的收納地址等培養(yǎng)容器10的管理 數(shù)據、和在圖像解析中使用的各種數(shù)據。在RAM63中，設有記錄由觀察單元5拍攝的圖像數(shù) 據的圖像數(shù)據存儲區(qū)域，在各個圖像數(shù)據中，與其對應地記錄有包括培養(yǎng)容器10的代碼編 號和攝影時間的索引數(shù)據。這樣概要構成的培養(yǎng)觀察系統(tǒng)BS，根據在操作盤7上設定的觀察程序的設定條 件，由CPTO1根據在R0M62中保存的控制程序控制各部的動作，同時自動地進行培養(yǎng)容器10 內的試驗料的攝影。即，如果通過對操作面板71的面板操作(或通過通信部65的遠程操 作)開始了觀察程序，CPU61讀取出在RAM64中保存的環(huán)境條件的各個條件值，同時檢測出 從環(huán)境傳感器25輸入的培養(yǎng)室2的環(huán)境狀態(tài)，根據條件值與實測值的差異，使溫度調整裝 置21、加濕器22、氣體供應裝置23、循環(huán)風扇24等動作，對培養(yǎng)室2的溫度、濕度、二氧化碳 濃度等培養(yǎng)環(huán)境進行反饋控制。另外，CPTO1讀取出在RAM63中保存的觀察條件，根據觀察時間安排，使搬送單元4 的X、Y、Z臺43、42、41的各軸的驅動機構動作，把觀察對象的培養(yǎng)容器10從儲料器3搬送 到觀察單元5的試驗料臺15，開始觀察單元5的觀察。例如，在觀察程序中設定的觀察是 宏觀觀察的情況下，把由搬送單元4從儲料器3搬送來的培養(yǎng)容器10定位在宏觀觀察系統(tǒng) 54的光軸上，并載置在試驗料臺15上，使第1照明部51的光源點燈，從被背光照明的培養(yǎng) 容器10的上方，由攝像裝置54c拍攝整體觀察像。從攝像裝置54c被輸入到控制裝置6的 信號由圖像處理裝置100進行處理，生成整體觀察圖像，其圖像數(shù)據與拍攝時間等索引數(shù) 據等一同被記錄在RAM63中。另外，在觀察程序中設定的觀察是對培養(yǎng)容器10內的特定位置的試驗料的微觀 觀察的情況下，把由搬送單元4搬送來的培養(yǎng)容器10的特定位置定位在顯微觀察系統(tǒng)55 的光軸上，并把其載置在試驗料臺15上，使第2照明部52或第3照明部53的光源點燈，由 攝像裝置55c拍攝基于透過照明、落射照明、熒光的顯微觀察像。由攝像裝置55c拍攝的， 被輸入到控制裝置6的信號，由圖像處理裝置100進行處理，生成顯微觀察圖像，該圖像數(shù) 據與拍攝時間等索引數(shù)據等一同被保存在RAM63中。CPU61對被收容在儲料器3中的多個培養(yǎng)容器的試驗料，按照基于觀察程序的30 分鐘 2小時左右的時間間隔的觀察時間安排，順序進行上述那樣的觀察，并順序進行整 體觀察像和顯微觀察像的攝影。另外，在本實施方式中，攝影的時間間隔可以固定，也可以 不同。攝影的整體觀察像和顯微觀察像的圖像數(shù)據，與培養(yǎng)容器10的代碼編號一同被保存 在RAM63的圖像數(shù)據存儲區(qū)域中。被記錄在RAM63中的圖像數(shù)據，根據從操作面板71輸入 的圖像顯示指令，被從RAM63中讀出，在操作盤7的顯示屏72上顯示指定時刻的整體觀察 圖像和顯微觀察圖像(單體圖像)、或指定時間層的整體觀察像和顯微觀察像的隔時圖像。(細胞移動預測方法)在如上述那樣構成的培養(yǎng)觀察系統(tǒng)BS中，圖像處理裝置100不僅具有隔時圖像的 生成和細胞的跟蹤等功能，而且還具有預測細胞的移動方向的功能。在本說明書中，作為進
8行細胞的移動預測的方法，提示出從拍攝到成為觀察對象的細胞(觀察細胞)的圖像中抽 出觀察細胞的形狀特征，進行移動預測的移動預測的方法、和抽出觀察細胞的內部構造特 征，進行移動預測的方法。下面，從基本的概念方面，對I 基于形狀特征的移動預測、II 基 于內部構造特征的移動預測進行說明。(前處理)在細胞移動預測處理之前，進行細胞的最外側的輪廓抽出。圖4是表示該最外輪 廓抽出處理的狀況的模式圖，對由攝像裝置55c(54c)取得的圖像(a)進行圖像處理，如(b) 所示那樣抽出細胞的最外側的輪廓。在該輪廓抽出處理中，例如可以采用基于輝度值進行 二值化、基于分散值的二值化、和Snakes、和Level Set等動態(tài)輪廓抽出方法等。另外，在本 說明書中，把進行移動預測的觀察對象的細胞稱為“觀察細胞”。(I 基于形狀特征的移動預測)基于細胞的形狀特征的移動預測是使將細胞的外形形狀模型化了的細胞模型，匹 配于通過前處理抽出了最外輪廓的觀察細胞，利用匹配的細胞模型，導出預測觀察細胞移 動的移動方向。作為在該移動預測中包含的具體的預測方法，提出有(1)根據與觀察細胞 匹配的細胞模型的形狀特征進行的預測方法、(2)根據抽出了與觀察細胞匹配的細胞模型 的重心位置和輪廓的觀察細胞的重心位置偏差進行的預測方法、(3)根據與觀察細胞匹配 的細胞模型的輪廓形狀、與觀察細胞的輪廓形狀的偏差進行的預測方法。首先，針對觀察細胞的細胞模型的匹配，例如，如圖5、圖6、和圖1中表示匹配了橢 圓形狀的細胞模型Mc的示例那樣，對在前處理中抽出的觀察細胞C的最外輪廓，進行橢圓 模型的近似。這里所說的橢圓近似，例如可列舉出最小乘方法和基于力矩計算的方法。另 外，也可以推定與充滿觀察細胞C的輪廓內部的形狀的相關最高的橢圓模型。利用該細胞 模型Mc推定細胞移動的預測方向。(1)的根據細胞模型的形狀特征進行的預測方法是，把細胞模型Mc的橢圓的長軸 方向(圖5中的箭頭方向)作為觀察細胞C的預測的移動方向(預測移動方向)導出。艮口， 在是被近似為縱橫比為一定以上的橢圓形狀的細胞的情況下，一般該細胞的移動方向是長 度方向、即近似的橢圓的長軸方向的概率高。該預測方法利用這樣的細胞的形狀特征與移 動方向的關系，推定移動方向。在這種情況下，雖然不能直接導出觀察細胞C向沿著橢圓的 長軸的左右的哪一側移動，但可大幅縮小進行細胞跟蹤計算時的角度范圍，其對于預備預 測，是充分的信息。(2)的根據細胞模型的重心位置與觀察細胞的重心位置的偏差進行的預測方法 是，如圖6所示，對觀察細胞C匹配細胞模型Mc，并且根據觀察細胞C的輪廓形狀，通過圖形 處理求出其重心位置G，根據細胞模型Mc的橢圓中心0與觀察細胞C的重心位置G的偏差， 導出觀察細胞的移動方向。其在是通過改變自身的形狀進行移動的細胞的情況下，利用細 胞的重心位置偏向于移動方向(或相反方向)的特征，推定移動方向。例如，如圖6所示， 在觀察細胞的重心G從橢圓近似的細胞模型Mc的中心0偏向于右側的情況下，可以把該中 心G的偏移方向作為預測移動方向導出。(3)的根據細胞模型的輪廓形狀于觀察細胞的輪廓形狀的偏差進行預測的方法 是，作為更復雜的情況，是如圖1所示那樣，相對橢圓形狀的細胞模型Mc,細胞輪廓復雜的 情況。在這種情況下，根據從細胞模型Mc突出來的細胞輪廓的位置和大小，把存在突出量最大的部位的方位預測為觀察細胞C移動的方向、或把隔著橢圓中心O的反對側的方位預 測為觀察細胞C移動的方向。總之，無論在哪種情況下，都是利用細胞在移動時使身體的一 部分(腳)伸展的特征、或各種細胞在移動時保留接觸面的特征。另外，根據細胞的種類來 決定向哪個方向前進。另外，作為細 胞模型Mc的結構例，舉例說明了橢圓形狀，但可以根據成為觀察對 象的細胞的形態(tài)特征，采用適宜的形狀，例如，可采用三角形、矩形、星形、和弓形等。(II 基于內部構造特征的移動預測)基于細胞的內部構造特征的移動預測是，計算出通過前處理抽出的最外輪廓的觀 察細胞相對輪廓形狀的內部構造的偏移，根據計算出的內部構造的偏移，導出預測觀察細 胞移動的移動方向。作為檢測內部構造的偏移的具體方法，提出有基于觀察細胞的細胞密 度的方法、和基于觀察細胞的紋理特征的方法。作為檢測觀察細胞的內部構造的偏移的方法，首先舉例說明基于細胞內部的密度 的方法。細胞密度可以用顯微觀察圖像中的細胞輪廓內部的輝度值的分散表現(xiàn)。因此，根 據輝度值的分散，求出細胞輪廓內的細胞密度，如圖7所示那樣，計算出從細胞密度低的區(qū) 域向高的區(qū)域的方向，把該方向或其反方向作為移動預測方向。該移動預測方法利用細胞 在移動時，傾向于使內部組織向移動的方向移動，或向相反方向移動的特性，推定細胞移動 的預測方向。另外，根據細胞的種類，確定密度的變化方向與細胞的移動方向的關系。另外，作為檢測觀察細胞的內部構造的方法，還有基于觀察細胞的紋理特征的方 法。在細胞內部存在核和內部纖維等紋理，在移動時，這些內部構造也移動或變化。因此， 該移動預測方法通過分散過濾等求出細胞輪廓內部的紋理，例如，根據細胞輪廓內的核的 位置和內部纖維的延伸方向等，預測移動方向。(實施例)下面，同時參照圖8 圖12的各個圖，對在培養(yǎng)觀察系統(tǒng)BS的圖像處理裝置100 中執(zhí)行的圖像解析的具體應用程序進行說明。這里，圖8是表示圖像處理裝置100的概要 結構的方框圖，圖9是表示圖像處理程序GP中的主程序的流程圖，圖10 圖12是與在主 程序中選擇的預測算法A、B、C對應的流程圖。圖像處理裝置100具有取得由攝像裝置55c (54c)拍攝到觀察細胞的觀察圖像，導 出預測觀察細胞移動的移動方向的圖像解析部120、和把由圖像解析部120導出的觀察細 胞c的移動方向輸出到外部的輸出部130，并且構成為，把由圖像解析部120導出的預測移 動方向例如輸出到顯示屏72進行顯示的結構。圖像處理裝置100構成為由CPU61讀取被 預先設定保存在R0M62種的圖像處理程序GP，并由CPTO1順序執(zhí)行基于圖像處理程序GP的 處理。因此，圖像解析部120在圖像解析程序GP的主程序中選擇了 A或B的算法的情況 下，從取得的觀察圖像中抽出觀察細胞C的輪廓，使將細胞的外形形狀模型化了的細胞模 型Mc，匹配于被抽出了輪廓的觀察細胞C，利用匹配的細胞模型Mc導出觀察細胞C的預測 移動方向(參照圖4 圖6、和圖1)。另一方面，在圖像解析程序GP的主程序中選擇了 C 的算法的情況下，圖像解析部120從取得的觀察圖像中抽出觀察細胞C的輪廓，計算出相對 被抽出輪廓的觀察細胞C的輪廓形狀的內部構造的偏移，根據計算出的內部構造的偏移， 導出預測觀察細胞C移動的移動方向(參照圖4、圖7)。
關于上述那樣的基于圖像解析部120的圖像解析處理，不僅能夠讀出已經被保存 在RAM63中的包含觀察細胞C的觀察圖像的圖像數(shù)據，來執(zhí)行該處理，而且還能夠由圖像裝 置取得即將開始觀察的細胞的圖像，來執(zhí)行該處理。因此，在本實施方式中，參照圖13所示 的在顯示屏72上顯示的移動預測界面的顯示圖像構成例，對取得當前時刻的圖像，進行移 動預測的情況進行說明。在該界面中，當在操作面板71中選擇了“細胞的移動預測”，并開始執(zhí)行時，首先 在顯示屏72上顯示“盤選擇”框721，并顯示被收納在儲料器3中的培養(yǎng)容器10的代碼編 號一覽表，進行觀察對象的培養(yǎng)容器10的選擇。圖13中表示由設在操作面板71上的游標 選擇了代碼編號Cell-0002的培養(yǎng)細胞盤(培養(yǎng)容器)的狀態(tài)。如果選擇了培養(yǎng)容器，則CPTO1使搬送單元4的各個軸的驅動機構動作，把觀察對 象的培養(yǎng)容器10從儲料器3搬送到觀察單元5。然后，由攝像裝置55c進行基于顯微觀察 系統(tǒng)55的顯微觀察像的攝影，并把該圖像顯示在“觀察位置”框722中。然后，為了取得包含被設定為觀察對象的細胞(觀察細胞)的觀察圖像，進行觀察 圖像的區(qū)域設定。圖13中表示觀察者利用在操作面板71上附帶設置的鼠標，指定了中央 靠右的網格區(qū)域的狀態(tài)。由此，觀察者所指定的區(qū)域的圖像被作為觀察圖像，由圖像解析部 120取得(步驟S1)。取得的觀察圖像由圖像解析部120瞬時實施細胞的最外輪廓抽出處理(分區(qū)) (步驟S2)，在顯示屏72的“觀察圖像”框723中，顯示被抽出了最外輪廓的細胞的圖像。 因此，如圖13所示，在觀察圖像中，使用鼠標等指定進行移動方向預測的觀察圖像(注目細 胞)步驟S3)。另外，觀察細胞的指定也可以指定已經通過跟蹤等檢測出的細胞。此時，在 觀察圖像框723的下側形成“移動預測選項”，在該框內形成“移動預測方法”框725，顯示 運用哪個預測算法進行移動預測，和移動預測方法的選擇鍵725a、725b、725c。在圖示的實施例中，構成為作為預測算法可從以下3種方法中選擇設定，A 基于最外輪廓偏心方向的預測，即，在I 基于形狀特征的移動預測的(2)中結 合圖6說明的，根據細胞模型Mc的重心位置0與觀察細胞C的重心位置G的偏差，預測移 動方向的方法。B 基于橢圓突出方向的預測，即，在I 基于形狀特征的移動預測的(3)中結合圖 1說明的，根據細胞模型Mc的輪廓形狀與觀察細胞C的輪廓形狀的偏差，預測移動方向的方法。C:基于細胞組織密度方向的預測，S卩，在II 基于內部構造的特征的移動預測的 結合圖7說明的，根據觀察細胞C的內部構造的特征，預測移動方向的方法。構成為在主畫面中顯示了 A 基于最外輪廓偏心方向的預測方法的選擇鍵725a、 B 基于橢圓突出方向的預測方法的選擇鍵725b、C 基于細胞組織密度方向的預測方法的 選擇鍵725c。在步驟S4中，觀察者通過選擇任意一個選擇鍵725a、725b、725c，進行預測算法A、 B、C的選擇，根據該選擇，在步驟S5中，進入S5A 基于最外輪廓偏心方向的預測算法子程 序、S5B 基于橢圓突出方向的預測算法子程序、S5C 基于細胞組織密度方向的預測算法子 程序的任意分支。(S5A 基于最外輪廓偏心方向的預測算法子程序)
11
基于最外輪廓偏心方向的預測算法，如圖10所示，首先在步驟S11中，對觀察細胞 的最外輪廓進行細胞模型Mc的近似處理，例如，如圖6中點劃線所示那樣，對觀察細胞C匹 配橢圓形狀的細胞模型Mc。然后，在步驟S12中，分別計算出細胞模型Mc的重心位置(在 橢圓的情況下是中心位置)0、和觀察細胞C的輪廓形狀中的重心位置G，然后進入步驟S13。在步驟S13中，在“移動預測選項”框724中形成“細胞模型的選擇”框726，在該 框內顯示選擇觀察細胞C的移動特性的選擇鍵。這里，選擇在移動時使重心位置移動的“細 胞內部移動型”的選擇鍵726a、或使細胞體的一部分伸長的“細胞輪廓(腳)移動型”的選 擇鍵726b。對應這些選擇鍵，顯示用于選擇使重心向細胞的移動方向偏移的形式還是相反 的形式(726a)、使腳伸展的形式還是保留接觸面的形式(726b)等的子畫面(未圖示)，指 定觀察細胞C的移動特性。另外，關于細胞的移動特性，預先構筑預先把細胞的名稱(種類、識別編號等)與 移動特性相互對應登錄的數(shù)據庫，并設置通過選擇數(shù)據庫檢索鍵726c，輸入觀察細胞的名 稱，可檢索數(shù)據庫，自動決定細胞的移動特性的項目。由此，可減輕觀察者的輸入負擔，并且 可防止誤選擇，提高移動預測的預測精度。然后，在步驟S14中，根據在步驟S13中選擇的細胞的移動特性執(zhí)行移動方向的檢 測。例如，在步驟S12中計算出的細胞模型Mc的中心0與觀察細胞C的重心G的位置關系， 如圖6所示那樣，在被計算出觀察細胞的重心G位于細胞模型Mc的中心0的右側，在步驟 S13中選擇的細胞的移動特性是使重心G向移動方向偏移的特性的情況下，在步驟S14中， 被計算出從細胞模型的橢圓中心0朝向觀察細胞的重心G的方向。另一方面，在步驟S12中 計算出的細胞模型Mc的中心0與觀察細胞C的重心G的位置關系雖然相同，但在步驟S13 中選擇的細胞的移動特性是與使重心G向與移動方向相反的方向偏移的特性的情況下，在 步驟S14中，被計算出從觀察細胞的重心G朝向細胞模型的橢圓中心0的方向。然后，在步 驟S15中把在步驟S14中計算出的方向決定為觀察細胞C的移動預測方向，然后返回移動 預測主程序，進入步驟S6。 在步驟S6中，在顯示畫面中形成“注目細胞的跟蹤”框727，在該框內，進行在步驟 S3中指定的觀察細胞C的特寫顯示、并且，通過矢量顯示，顯示該觀察細胞C的預測移動方 向。另外，在對位于觀察圖像內的全部細胞執(zhí)行移動預測的情況下，通過把形成在“觀察圖 像”框723下側的“全部細胞移動預測矢量顯示”的選擇鍵設定為0N，可如圖所示那樣，在 觀察圖像中的各個細胞上重疊顯示移動矢量。(S5B 基于橢圓突出方向的預測算法子程序)基于橢圓突出方向的預測算法，如圖11所示，首先在步驟S21中，對觀察細胞的最 外輪廓進行細胞模型Mc的近似處理，例如，如圖1中點劃線所示那樣，對觀察細胞C匹配橢 圓形狀的細胞模型Mc。然后，在步驟S22中，計算出從細胞模型Mc突出的觀察細胞C的位 置和大小，計算出突出量最大的方位，然后進入步驟S23。在步驟S23中，在顯示畫面的“移動預測選項”框724中形成“細胞模型的選擇”框 726，顯示選擇觀察細胞C的移動特性的選擇鍵。觀察者與上述同樣地，根據觀察細胞選擇 “細胞內部移動型”的選擇鍵726a、或“細胞輪廓(腳)移動型”的選擇鍵726b。而且，從對 應各個選擇鍵顯示的子畫面(未圖示)，選擇使重心向細胞的移動方向偏移的形式還是相 反的形式(726a)、或使腳伸展的形式還是留在接觸面上的形式(726b等，由此，指定觀察細
12胞C的移動特性。另外，與上述同樣，預先構筑關于細胞的移動特性的數(shù)據庫，并設置通過 選擇數(shù)據庫檢索鍵726c，輸入觀察細胞的名稱，可自動決定細胞的移動特性的項目。由此， 可減輕觀察者的輸入負擔，并且可防止誤選擇，提高移動預測的預測精度。然后，在步驟S24中，根據在步驟S23中選擇的細胞的移動特性執(zhí)行移動方向的檢 測。例如，在步驟S22中計算出的相對細胞模型Mc的觀察細胞C的最大突出部分，如圖1 所示那樣，在被計算出在細胞模型Mc的左下方，在步驟S23中選擇的細胞的移動特性是在 移動時保留接觸面的特性的情況下，在步驟S24中，被計算出是從突出位置朝向橢圓中心 的方向。另一方面，在步驟S22中計算出的相對細胞模型Mc的觀察細胞C的最大突出部分 相同的情況下，在步驟S23中選擇的細胞的移動特性是在移動時使腳向移動方向伸展的特 性的情況下，在步驟S24中，被計算出是從橢圓中心朝向突出位置的方向。然后，在步驟S25 中把在步驟S24中計算出的方向決定為觀察細胞C的移動預測方向，然后返回移動預測主 程序，進入步驟S6。在步驟S6中，在顯示畫面中形成“注目細胞的跟蹤”框727，在該框內，進行在步驟 S3中指定的觀察細胞C的特寫顯示、并且，通過如圖所示的矢量顯示，顯示該觀察細胞C的 預測移動方向。另外，在對位于觀察圖像內的全部細胞執(zhí)行移動預測的情況下，通過把形成 在“觀察圖像”框723下側的“全部細胞移動預測矢量顯示”的選擇鍵設定為0N，可如圖所 示那樣，在觀察圖像中的各個細胞上重疊顯示移動矢量。(S5C 基于細胞組織密度方向的預測算法子程序)基于細胞組織密度方向的預測算法，如圖12所示，首先在步驟S32中，通過計算觀 察細胞輪廓內的輝度值的分散，計算出細胞內部的密度分布。由此，如圖7所示那樣，即使 是輪廓形狀復雜的細胞，也能夠基于細胞內部的構造特征，計算出細胞密度低的區(qū)域 高 的區(qū)域的分布，然后進入步驟S33。在步驟S33中，在顯示畫面的“移動預測選項”框724中形成“細胞模型的選擇”框 726，顯示選擇觀察細胞C的移動特性的選擇鍵。這里，選擇在移動時使移動方向的密度增 加的“高密度方向移動型”的選擇鍵、或使移動方向的密度降低的“低密度方向移動型”的選 擇鍵(均未圖示)。另外，與上述同樣，預先構筑關于細胞的移動特性的數(shù)據庫，并設置通過 選擇數(shù)據庫檢索鍵726c，輸入觀察細胞的名稱，可自動決定細胞的移動特性的項目。由此， 可減輕觀察者的輸入負擔，并且可防止誤選擇，提高移動預測的預測精度。在步驟S34中，根據在步驟S33中選擇的細胞的移動特性，執(zhí)行移動方向的檢測。 例如，如圖7所示那樣，在步驟S32中計算出的細胞內部的密度分布是，在被計算出在觀察 細胞C的右上方密度高，左下方的密度低，在步驟S33中選擇的細胞的移動特性是，向密度 高的方向移動的高密度方向移動型的情況下，在步驟S34中，被計算出是從密度低的區(qū)域 朝向密度高的區(qū)域的方向。另一方面，雖然是相同的密度分布，但在步驟S33中計算出的細 胞的移動特性是向密度低的方向移動的低密度方向移動型的情況下，在步驟S34中，被計 算出是從密度高的區(qū)域朝向密度低的區(qū)域的方向。然后，在步驟S35中把在步驟S34中計 算出的方向決定為觀察細胞C的移動預測方向，然后返回移動預測主程序，進入步驟S6。
在步驟S6中，在顯示畫面中形成“注目細胞的跟蹤”框727，在該框內，進行在步驟 S3中指定的觀察細胞C的特寫顯示、并且，通過矢量顯示，顯示該觀察細胞C的預測移動方 向。另外，在對位于觀察圖像內的全部細胞執(zhí)行移動預測的情況下，通過把形成在“觀察圖像”框723下側的“全部細胞移動預測矢量顯示”的選擇鍵設定為0N，可如圖所示那樣，在 觀察圖像中的各個細胞上重疊顯示移動矢量。由此，可根據觀察對象的特征選擇運用適合的預測算法，在運用了任意的預測算 法的情況下，觀察者都能夠通過觀察“注目細胞的跟蹤”框727，詳細掌握觀察對象的細胞的 移動方向，通過在“觀察圖像”框723中，在觀察圖像中的各個細胞上重疊顯示移動矢量，可 把握觀察區(qū)域整體的細胞的移動狀態(tài)。而且，如以上說明的那樣，根據本發(fā)明的圖像處理程序GP、通過執(zhí)行該圖像處理程 序GP而構成的圖像解析方法、以及圖像處理裝置100，不需要讀出由攝像裝置拍攝的，被保 存的多個圖像進行圖像處理，而只需根據當前時刻或已經記錄的1個圖像，即可預測出細 胞的移動方向。從而能夠提供一種以極為簡單的結構，對細胞的移動進行高速預測處理的 技術。
權利要求
一種細胞觀察圖像的圖像解析方法，其特征在于，取得由攝像裝置拍攝到觀察細胞的觀察圖像，從取得的所述觀察圖像中抽出所述觀察細胞的輪廓，使將細胞的外形形狀模型化了的細胞模型匹配于被抽出了輪廓的所述觀察細胞，利用匹配的所述細胞模型，導出預測所述觀察細胞移動的移動方向。
2.根據權利要求1所述的細胞觀察圖像的圖像解析方法，其特征在于， 所述移動方向的導出是根據所述匹配的所述細胞模型的形狀特征進行的。
3.根據權利要求1所述的細胞觀察圖像的圖像解析方法，其特征在于， 所述移動方向的導出是根據所述匹配的所述細胞模型的重心位置與被抽出了輪廓的 所述觀察細胞的重心位置的偏差進行的。
4.根據權利要求1所述的細胞觀察圖像的圖像解析方法，其特征在于，所述移動方向的導出是根據所述匹配的所述細胞模型的輪廓形狀與所述觀察細胞的 輪廓形狀的偏差進行的。
5.一種細胞觀察圖像的圖像解析方法，其特征在于， 取得由攝像裝置拍攝到觀察細胞的觀察圖像，從取得的所述觀察圖像中抽出所述觀察細胞的輪廓，計算出被抽出了輪廓的所述觀察細胞的相對輪廓形狀的內部構造的偏移，根據計算出的所述內部構造的偏移，導出預測所述觀察細胞移動的移動方向。
6.根據權利要求5所述的細胞觀察圖像的圖像解析方法，其特征在于， 所述內部構造的偏移是所述觀察細胞的細胞密度。
7.根據權利要求5所述的細胞觀察圖像的圖像解析方法，其特征在于， 所述內部構造的偏移是所述觀察細胞的紋理特征。
8.一種細胞觀察圖像的圖像處理程序，其特征在于，包括 取得由攝像裝置拍攝到觀察細胞的觀察圖像的步驟；從取得的所述觀察圖像中抽出所述觀察細胞的輪廓的步驟；使將細胞的外形形狀模型化了的細胞模型匹配于被抽出了輪廓的所述觀察細胞的步驟；利用匹配的所述細胞模型，導出預測所述觀察細胞移動的移動方向的步驟； 將導出的所述觀察細胞的移動方向向外部輸出的步驟。
9.根據權利要求8所述的細胞觀察圖像的圖像處理程序，其特征在于， 所述移動方向的導出是根據所述匹配的所述細胞模型的形狀特征進行的。
10.根據權利要求8所述的細胞觀察圖像的圖像處理程序，其特征在于，所述移動方向的導出是根據所述匹配的所述細胞模型的重心位置與被抽出了輪廓的 所述觀察細胞的重心位置的偏差進行的。
11.根據權利要求8所述的細胞觀察圖像的圖像處理程序，其特征在于，所述移動方向的導出是根據所述匹配的所述細胞模型的輪廓形狀與所述觀察細胞的 輪廓形狀的偏差進行的。
12.一種細胞觀察圖像的圖像處理程序，其特征在于，包括 取得由攝像裝置拍攝到觀察細胞的觀察圖像的步驟；從取得的所述觀察圖像中抽出所述觀察細胞的輪廓的步驟； 計算出被抽出了輪廓的所述觀察細胞的相對輪廓形狀的內部構造的偏移的步驟； 根據計算出的所述內部構造的偏移，導出預測所述觀察細胞移動的移動方向的步驟； 將導出的所述觀察細胞的移動方向向外部輸出的步驟。
13.根據權利要求12所述的細胞觀察圖像的圖像處理程序，其特征在于， 所述內部構造的偏移是所述觀察細胞的細胞密度。
14.根據權利要求12所述的細胞觀察圖像的圖像處理程序，其特征在于， 所述內部構造的偏移是所述觀察細胞的紋理特征。
15.一種細胞觀察圖像的圖像處理裝置，其特征在于，具有 拍攝細胞的攝像裝置；圖像解析部，其取得由所述攝像裝置拍攝到觀察細胞的觀察圖像，導出預測所述觀察 細胞移動的移動方向；輸出部，其將由所述圖像解析部導出的所述觀察細胞的移動方向向外部輸出， 并且構成為，所述圖像解析部從所述觀察圖像中抽出所述觀察細胞的輪廓，使將細胞 的外形形狀模型化了的細胞模型匹配于被抽出了輪廓的所述觀察細胞，利用匹配的所述細 胞模型，導出預測所述觀察細胞移動的移動方向。
16.根據權利要求15所述的細胞觀察圖像的圖像處理裝置，其特征在于， 所述移動方向的導出是根據所述匹配的所述細胞模型的形狀特征進行的。
17.根據權利要求15所述的細胞觀察圖像的圖像處理裝置，其特征在于，所述移動方向的導出是根據所述匹配的所述細胞模型的重心位置與被抽出了輪廓的 所述觀察細胞的重心位置的偏差進行的。
18.根據權利要求15所述的細胞觀察圖像的圖像處理裝置，其特征在于，所述移動方向的導出是根據所述匹配的所述細胞模型的輪廓形狀與所述觀察細胞的 輪廓形狀的偏差進行的。
19.一種細胞觀察圖像的圖像處理裝置，其特征在于，具有 拍攝細胞的攝像裝置；圖像解析部，其取得由所述攝像裝置拍攝到觀察細胞的觀察圖像，導出預測所述觀察 細胞移動的移動方向；輸出部，其將由所述圖像解析部導出的所述觀察細胞的移動方向向外部輸出， 并且構成為，所述圖像解析部從所述觀察圖像中抽出所述觀察細胞的輪廓，計算出被 抽出了輪廓的所述觀察細胞的相對輪廓形狀的內部構造的偏移，根據計算出的所述內部構 造的偏移，導出預測所述觀察細胞移動的移動方向。
20.根據權利要求19所述的細胞觀察圖像的圖像處理裝置，其特征在于， 所述內部構造的偏移是所述觀察細胞的細胞密度。
21.根據權利要求19所述的細胞觀察圖像的圖像處理裝置，其特征在于， 所述內部構造的偏移是所述觀察細胞的紋理特征。
全文摘要
本發(fā)明提供一種細胞觀察圖像的圖像解析方法、圖像處理程序和圖像處理裝置，其能夠以簡單的結構實現(xiàn)細胞的移動預測。其從由攝像裝置取得的細胞的觀察圖像抽出觀察細胞(C)的輪廓，并匹配將細胞的外形形狀模型化了的細胞模型Mc，利用匹配的上述細胞模型Mc，導出預測上述觀察細胞移動的移動方向。
文檔編號G01N21/17GK101868553SQ20098010107
公開日2010年10月20日 申請日期2009年3月12日 優(yōu)先權日2008年3月24日
發(fā)明者三村正文, 伊藤啟 申請人:株式會社尼康