用于使用監(jiān)督式高品質(zhì)成像的圖像采集的系統(tǒng)和方法
【專利摘要】本申請(qǐng)公開一種用于使設(shè)置在由板支撐的培養(yǎng)基上的生物樣品成像的圖像采集系統(tǒng)和方法。該系統(tǒng)具有校準(zhǔn)模塊、圖像采集模塊和圖像展示模塊。當(dāng)該系統(tǒng)接收用于成像的培養(yǎng)板時(shí)，針對(duì)培養(yǎng)板和培養(yǎng)基的默認(rèn)值被用于在給定時(shí)間內(nèi)開始圖像采集。采集的圖像然后被用于創(chuàng)建圖像的逐像素映射。該系統(tǒng)針對(duì)飽和像素以及針對(duì)信噪比檢測(cè)逐像素映射，如果飽和像素的數(shù)量在預(yù)定的閾值處或高于預(yù)定的閾值，或者像素的信噪比低于預(yù)定的閾值，該系統(tǒng)獲取新的圖像。光子通量和/或曝光時(shí)間的新值從這個(gè)檢測(cè)中被確定，以及使用該新值采集新的圖像，并且該步驟被重復(fù)。一旦針對(duì)不飽和像素的預(yù)定的閾值信噪比的決定被獲得，或當(dāng)針對(duì)圖像采集的時(shí)間間隔的預(yù)定的較高閾值逝去時(shí)，該系統(tǒng)提供給定的時(shí)間的最終圖像。
【專利說明】用于使用監(jiān)督式高品質(zhì)成像的圖像采集的系統(tǒng)和方法
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求申請(qǐng)日為2014年1月30的美國(guó)臨時(shí)申請(qǐng)No. 61 /933，426的優(yōu)先權(quán)，其公 開通過參考的方式被合并于此。
【背景技術(shù)】
[0003] 高動(dòng)態(tài)范圍化DR)成像是一種捕獲圖像在最亮和最暗區(qū)域之間的較高動(dòng)態(tài)范圍的 數(shù)字成像技術(shù)。化ri Stiansen等人的美國(guó)專利No. 7，978，258中描述了用于自動(dòng)地優(yōu)化從數(shù) 字圖像獲得的像素強(qiáng)度的動(dòng)態(tài)范圍的過程。HDR在不同的曝光等級(jí)處拍攝若干圖像，并且使 用算法將它們拼湊在一起W創(chuàng)建既有黑點(diǎn)又有亮點(diǎn)的圖像，不連累兩者中任一個(gè)的質(zhì)量。 然而，皿R能夠顯示實(shí)際的失真，因?yàn)樗でw圖像的強(qiáng)度。相應(yīng)地，繼續(xù)尋求不扭曲圖像 的強(qiáng)度而增強(qiáng)對(duì)比的皿R技術(shù)。
[0004] Allano等人的WO 2012/152769中描述了用于增強(qiáng)生物樣品的圖像的技術(shù)。其中 Allano等人的文章中認(rèn)定的運(yùn)種樣品成像的問題是：
[0005] i)被觀察的菌落的大小；
[0006] ii)-個(gè)菌落與另一個(gè)菌落的接近度；
[0007] iii)菌落的顏色混合；
[000引 iv)有蓋培養(yǎng)皿(Petri Dish)的種類；W及
[0009] V)培養(yǎng)基的種類;和其他要素。
[0010] Allano等人提出的生物樣品成像問題的方案是準(zhǔn)備從每種顏色獲得的圖像創(chuàng)建 的源圖像，針對(duì)培養(yǎng)基和培養(yǎng)容器移除預(yù)定的吸收效應(yīng)，并且使用預(yù)定的曝光確定光子通 量和曝光時(shí)間的值W獲得圖像，該圖像隨后被剖割成亮度區(qū)域。由此，圖像亮度被獲得并且 用于確定所使用的光子通量和曝光時(shí)間的值是否正確或者光子通量和曝光時(shí)間的新值是 否應(yīng)該被用于圖像捕獲。
[0011] 上述技術(shù)的問題是它們不提供具有提供能夠檢測(cè)非常微小變化的成像條件的能 力的系統(tǒng)，相比之下該微小變化對(duì)于生長(zhǎng)培養(yǎng)基上的微生物的基于圖像的檢測(cè)/識(shí)別是必 需的。由于微生物基于圖像的證據(jù)和/或它們?cè)谂囵B(yǎng)基上的生長(zhǎng)是（或至少能夠是）很難檢 測(cè)的，所W尋求用于運(yùn)種樣品成像的更加穩(wěn)健的技術(shù)。

【發(fā)明內(nèi)容】

[0012] 此中所述的是針對(duì)具有低的或可變對(duì)比度的圖像，增強(qiáng)圖像捕獲的系統(tǒng)和方法。 運(yùn)種挑戰(zhàn)性的成像環(huán)境的一個(gè)示例是生長(zhǎng)在瓊脂(agar)生長(zhǎng)板上的細(xì)菌菌落。細(xì)菌菌落反 射的光與瓊脂的不同。此外，細(xì)菌菌落能夠從淺顏色到深顏色變化并且反射與瓊脂不同的 光。捕獲菌落的圖像的時(shí)間是短的（大約一秒）。典型地，生長(zhǎng)板的圖像每3到6小時(shí)拍攝一 次。
[001引圖像的獲得是在每個(gè)時(shí)間間隔V (即，t0，ti，'''tx)處的一系列的N次圖像采集。第 一次采集(N= 1)使用光強(qiáng)度和曝光時(shí)間本文稱為"光子通量和曝光時(shí)間"的默認(rèn)值。光子通 量值限定每個(gè)單位時(shí)間和單位面積到達(dá)視景的光子數(shù)（（光子量）?（時(shí)間^) ?(面積^))。 該時(shí)間是照相機(jī)傳感器的積分時(shí)間。曝光時(shí)間決定由傳感器一帖采集所獲得的光子數(shù)。換 句話說，光子通量是來自光源的光子流動(dòng)率，并且曝光時(shí)間影響由傳感器所接收的針對(duì)圖 像采集的那些光子的量。對(duì)于給定的光子通量，曝光時(shí)間控制圖像強(qiáng)度。
[0014] 本領(lǐng)域的技術(shù)人員意識(shí)到很多不同的方法來控制光子通量W影響圖像強(qiáng)度。如上 所見，一種技術(shù)控制圖像的曝光時(shí)間。有其他技術(shù)能夠用于控制傳輸?shù)絺鞲衅鞯墓獾膹?qiáng)度。 例如，濾波器、光圈等用于控制光子通量，其進(jìn)而控制強(qiáng)度。運(yùn)種技術(shù)被技術(shù)人員所熟知，在 此不詳細(xì)描述。為了在此描述本發(fā)明的實(shí)施例的目的，光強(qiáng)度被設(shè)置為常數(shù)，并且曝光時(shí)間 是可變的用于控制光子通量積分。
[0015] 在通過控制曝光時(shí)間來控制光子通量的實(shí)施例中，初始曝光時(shí)間值從系統(tǒng)校準(zhǔn)獲 得。該系統(tǒng)使用校準(zhǔn)板的庫(kù)被校準(zhǔn)。獲得基線校準(zhǔn)作為板的類型和培養(yǎng)基類型的函數(shù)。當(dāng)該 系統(tǒng)被用于詢問新的生長(zhǎng)板時(shí)，針對(duì)特定板的類型和培養(yǎng)基類型的校準(zhǔn)數(shù)據(jù)被選擇。就此 而言，生長(zhǎng)板能夠是：?jiǎn)伟澹矗槍?duì)一個(gè)培養(yǎng)基）；雙板(兩個(gè)培養(yǎng)基）；=板(=個(gè)培養(yǎng)基） 等。每種類型的生長(zhǎng)板呈現(xiàn)獨(dú)特的成像挑戰(zhàn)。校準(zhǔn)提供默認(rèn)的曝光時(shí)間用于捕獲生長(zhǎng)板的 第一圖像(圖像N=l)。校準(zhǔn)也使系統(tǒng)(或系統(tǒng)操作員）可W確定哪些部分的圖像是板(即，不 是背景）W及，在圖像的板部分中，哪些部分是培養(yǎng)基（用于培養(yǎng)細(xì)菌的營(yíng)養(yǎng)素）W及哪些部 分至少潛在地是菌落。
[0016] 使用從校準(zhǔn)獲得的默認(rèn)值捕獲生長(zhǎng)板的N=I圖像。如果平均技術(shù)被用于捕獲生長(zhǎng) 板的數(shù)字圖像，亮像素與暗像素相比將具有更好的信噪比（SNR)。在此中所述的方法中，信 號(hào)針對(duì)各個(gè)像素是孤立的，不考慮像素是亮還是暗。對(duì)于預(yù)定數(shù)量的像素，強(qiáng)度、曝光時(shí)間 和SNR是確定的。在圖像環(huán)境中的運(yùn)些值的"映射"被準(zhǔn)備。從運(yùn)個(gè)映射中，挑選出將優(yōu)選地 不使多于一個(gè)預(yù)定分?jǐn)?shù)的像素飽和的新的曝光時(shí)間用于N+1的圖像采集。優(yōu)選地，在其中使 只有非常小的部分的像素(或較少的)飽和的曝光時(shí)間被確定，并且被用于捕獲最終圖像。
[0017] 從此生成每個(gè)像素的SN則央射，其中每個(gè)不飽和的像素的SNR被更新（即，灰度值被 精煉并且針對(duì)不飽和像素改善SNR)?；谠撚成淠M圖像。
[0018] 優(yōu)化函數(shù)算法被用于將每個(gè)像素的每個(gè)灰度值強(qiáng)度映射到與最佳的SNR對(duì)應(yīng)的像 素需要的曝光時(shí)間。該優(yōu)化算法通過查看初始圖像(N=I)開始，該圖像使用預(yù)定的默認(rèn)曝 光時(shí)間被捕獲。針對(duì)整個(gè)圖生成強(qiáng)度、曝光、和SN則央射?；趫D像的周整每個(gè)像素的曝光時(shí) 間和捕獲另一圖像(N+1)。如上所述，選擇將使暗的部分的信號(hào)飽和的新的曝光時(shí)間，導(dǎo)致 亮的部分過度曝光。針對(duì)每個(gè)像素更新強(qiáng)度映射、曝光映射、和SN則央射。運(yùn)是一個(gè)迭代過 程，并且獲得圖像直到達(dá)到圖像的每個(gè)像素的最大SNR，或者達(dá)到圖像的最大數(shù)量，或者已 經(jīng)達(dá)到最大分配時(shí)間。
[0019] 實(shí)質(zhì)上，暗點(diǎn)保持黑暗，亮點(diǎn)保持明亮并且SNR被改善。瓊脂生長(zhǎng)培養(yǎng)基作為數(shù)字 圖像的背景。圖像中W某些方式（即，不同的強(qiáng)度)不同于先前的圖像的像素表明菌落正在 生長(zhǎng)或者板上有污染物(例如，灰塵）。運(yùn)種技術(shù)能夠用于一次性觀察多個(gè)板。
[0020] 當(dāng)SNR顯著地改善時(shí)，能夠（用置信度（confidence))掲露在定時(shí)板成像中不能被 看到/信任允許檢測(cè)早期的小菌落的細(xì)節(jié)。該系統(tǒng)和方法也提供對(duì)應(yīng)于最佳曝光時(shí)間的圖 像，該曝光時(shí)間對(duì)應(yīng)于對(duì)視景或目標(biāo)物體的特定的和受控制的飽和。
[0021] 一旦在時(shí)間to完成圖像采集，迭代的圖像采集過程在此時(shí)間間隔期間停止。當(dāng)從to 到tl的預(yù)定的時(shí)間間隔已經(jīng)逝去，重復(fù)迭代的圖像采集過程直到已經(jīng)獲得由此采集的圖像 的完整性中期望的置信度。信噪比與標(biāo)準(zhǔn)差成反比（即，SNR=gvV標(biāo)準(zhǔn)差）。因此，產(chǎn)生每像 素最大SNR(即，每像素最小標(biāo)準(zhǔn)差）的圖像采集將提供具有與時(shí)間"Tx"相聯(lián)系的高置信度 的圖像。例如，獲得已經(jīng)培養(yǎng)了四個(gè)小時(shí)(Ti = 4小時(shí)）的板的高SNR圖像。相同的板的另一個(gè) 高SNR圖像在已近培養(yǎng)了附加的四個(gè)小時(shí)(Tx=8小時(shí))的板之后獲得。
[0022] -旦獲得與隨后的時(shí)間(Tw)相聯(lián)系的圖像，該圖像(或與目標(biāo)物體相聯(lián)系的圖像 的至少被選擇像素）能夠和與先前的時(shí)間（Tx)相聯(lián)系的圖像比較，W確定隨后的圖像是否 提供微生物生長(zhǎng)的證據(jù)或者W確定板的進(jìn)一步加工。
【附圖說明】
[0023] 圖1根據(jù)本發(fā)明的一個(gè)實(shí)施例是用于圖像采集的=模塊系統(tǒng)的原理描述和展示；
[0024] 圖2是圖1中所述的S模塊系統(tǒng)的系統(tǒng)操作流程圖；
[0025] 圖討良據(jù)本發(fā)明的一個(gè)實(shí)施例是圖1中所述的校準(zhǔn)模塊的功能的描述，其用于照明 校準(zhǔn)、光學(xué)器件校準(zhǔn)、和照相機(jī)校準(zhǔn)；
[0026] 圖4根據(jù)一個(gè)實(shí)施例是從校準(zhǔn)板確定的W校準(zhǔn)圖1的系統(tǒng)的數(shù)據(jù)的說明；
[0027] 圖5根據(jù)本發(fā)明的一個(gè)實(shí)施例是圖1中所述的圖像采集模塊的功能的描述；
[0028] 圖6根據(jù)一個(gè)實(shí)施例是使用圖1的系統(tǒng)的圖像采集方法的原理圖；
[0029] 圖7是由圖5中所述的圖像采集模塊執(zhí)行的功能的更詳細(xì)描述；
[0030] 圖8根據(jù)一個(gè)實(shí)施例說明用于選擇下一個(gè)圖像采集時(shí)間的方法；
[0031] 圖9是完成圖像采集所采取的步驟的描述;W及
[0032] 圖10是如何確定系統(tǒng)完整性的工序流程原理圖。
【具體實(shí)施方式】
[0033] 此中所述的系統(tǒng)能夠在光學(xué)系統(tǒng)中實(shí)施用于針對(duì)微生物識(shí)別和此類微生物的微 生物生長(zhǎng)檢測(cè)的微生物樣品成像。有很多此類商業(yè)上可利用的系統(tǒng)，在本文不詳細(xì)描述。一 個(gè)示例是抓Kiestra? ReadA Compact智能培養(yǎng)和成像系統(tǒng)（第二代抓Kiestra?恒溫 箱）。運(yùn)種光學(xué)成像平臺(tái)已經(jīng)商業(yè)上利用了很多年(最初來自Kiestra?實(shí)驗(yàn)室自動(dòng)化技術(shù) 的CamerA PrimerA)，因此被本領(lǐng)域的技術(shù)人員所熟知，在此不詳細(xì)描述。在一個(gè)實(shí)施例中， 系統(tǒng)是非臨時(shí)的計(jì)算機(jī)可讀媒介（例如，軟件程序），其與圖像采集裝置(例如，照相機(jī))協(xié) 作，通過相互作用提供圖像的高質(zhì)量成像W向圖像中的每個(gè)像素提供最大的信噪比（SNR)。 對(duì)于每個(gè)像素和每種顏色(例如，通道），強(qiáng)度和曝光時(shí)間被記錄并且系統(tǒng)隨后預(yù)測(cè)下一個(gè) 最佳曝光時(shí)間W改善整個(gè)視景的或視景中的目標(biāo)物體的信噪比。本領(lǐng)域的技術(shù)人員將意識(shí) 到所獲得的每像素的多個(gè)值將取決于像素和成像系統(tǒng)。例如，在RBG成像系統(tǒng)中，獲取每個(gè) 通道(即，紅、綠、或藍(lán))的值。在其他系統(tǒng)中，獲取不同的頻譜帶或波長(zhǎng)的值。
[0034] 最初，系統(tǒng)被校準(zhǔn)。諸如本文中所述的一個(gè)成像系統(tǒng)的校準(zhǔn)被本領(lǐng)域的技術(shù)人員 所熟知。已知各種各樣的校準(zhǔn)方法。本文中所述的是提供與已捕獲的圖像被評(píng)估相比較的 基線的系統(tǒng)校準(zhǔn)的示例。在校準(zhǔn)期間，校準(zhǔn)板(例如，具有培養(yǎng)基但是沒有菌落的板)被使 用，并且系統(tǒng)圖像采集對(duì)比已知輸入被校準(zhǔn)。創(chuàng)建針對(duì)每種類型的板培養(yǎng)基的校準(zhǔn)值的庫(kù)， 并且基于測(cè)試板中的培養(yǎng)基選擇針對(duì)特定板使用的校準(zhǔn)數(shù)據(jù)。系統(tǒng)和數(shù)據(jù)都被校準(zhǔn)。對(duì)于 數(shù)據(jù)校準(zhǔn)，確定校準(zhǔn)板的捕獲圖像的每個(gè)像素的SNR、線性度、黑度水平等。系統(tǒng)校準(zhǔn)包括， 但不限于，鏡頭失真、色差、空間分辨率等。
[0035] 校準(zhǔn)之后，獲得新板的圖像。為了估計(jì)曝光時(shí)間，圖像中的像素被實(shí)時(shí)分析，該曝 光時(shí)間將改善具有低于預(yù)定闊值的SNR的像素的SNR或改善具有最低SNR的那些像素的SNR。 典型的成像系統(tǒng)只針對(duì)圖像中的像素保持強(qiáng)度值。在本文中所述的實(shí)施例中，針對(duì)每個(gè)像 素記錄強(qiáng)度和曝光時(shí)間。相同的像素在不同的曝光時(shí)間成像，并且結(jié)合強(qiáng)度信息生成高的 SNR數(shù)據(jù)。從此信息來看，在任何特定的曝光時(shí)間期間能夠生成圖像，或者能夠提取最佳曝 光時(shí)間W控制像素飽和。
[0036] 從定量方面看，由于高的SNR，在細(xì)微的強(qiáng)度變化上的置信度、顏色上的置信度和 紋理被極大地改善，允許隨后的物體識(shí)別或數(shù)據(jù)庫(kù)比較的更好的性能。在都與先驗(yàn)圖像中 的像素的灰度值（即，對(duì)于圖像N，圖像N-I中的像素的值)相比較的灰色標(biāo)度上完成分析。除 了在先驗(yàn)圖像中的相同像素灰度值的比較之外，鄰近像素的像素灰度值也與像素灰度值相 比較W確定差異(例如，菌落/培養(yǎng)基的界面）。
[0037] 有顏色的物體的深色信噪比在不同的通道中是不均勻的，或與亮的物體相比非常 差。為了對(duì)其進(jìn)行改善，本文中所述的系統(tǒng)和方法配置了圖像檢測(cè)模塊，其中物體檢測(cè)基于 對(duì)比度、SNR、和尺寸/分辨率。SNR在暗區(qū)域和亮區(qū)域中都被改善。標(biāo)準(zhǔn)差被減小，并且因此 亮區(qū)域和暗區(qū)域中的局部對(duì)比度由為重要。運(yùn)里的目標(biāo)是提供一種系統(tǒng)，該系統(tǒng)將檢測(cè)被 懷疑包含生長(zhǎng)的培養(yǎng)物的板的X和X+1時(shí)間間隔圖像之間甚至細(xì)微的差異。那些差異一定是 區(qū)別于"噪聲"的，該"噪聲"從信號(hào)變化中得出，但不是從由生長(zhǎng)的培養(yǎng)物引起的樣品中的 變化得出。當(dāng)視景中的目標(biāo)物體可W展示非常不同的顏色和強(qiáng)度(反射率或吸收率)時(shí)，本 文中所述的系統(tǒng)和方法特別有價(jià)值。
[0038] 特定地，該系統(tǒng)和方法提供動(dòng)態(tài)范圍的自動(dòng)適配(擴(kuò)大的動(dòng)態(tài)范圍）W適應(yīng)視景。 該系統(tǒng)和方法提供用于使最亮像素飽和的最小曝光時(shí)間和用于使最暗像素飽和的最大曝 光時(shí)間（在圖像采集裝置(例如，照相機(jī)）的物理和電子約束之內(nèi)）。該系統(tǒng)和方法提供與圖 像平均相比朝向每像素最小SNR的更快速的收斂。該系統(tǒng)和方法提供顏色上改善的置信度。 特定地，SNR針對(duì)紅、綠和藍(lán)的值是均勻的，不考慮紅色、綠色和藍(lán)色中的強(qiáng)度差異。
[0039] 每像素的強(qiáng)度置信度間隔是已知的，其對(duì)于任何隨后的分類工作非常有價(jià)值。由 該系統(tǒng)和方法提供的SNR最佳化能夠被監(jiān)督(檢測(cè)的目標(biāo)物體的權(quán)重W計(jì)算下個(gè)圖像采集 的曝光時(shí)間）。
[0040] 對(duì)于每個(gè)像素，強(qiáng)度、曝光時(shí)間和估計(jì)SNR都從校準(zhǔn)和物理理論確定。為了進(jìn)一步 改善圖像質(zhì)量，色差和鏡頭失真也被校準(zhǔn)和改正W使圖像沒有運(yùn)種缺陷。
[0041] 該系統(tǒng)和方法能夠控制自動(dòng)模式或監(jiān)督模式中的圖像的像素 SNR，其中特定部分 的圖像是特別的興趣。在自動(dòng)模式中，視景的整個(gè)圖像被優(yōu)化，W及所有像素被同等對(duì)待。 在監(jiān)督模式中，當(dāng)獲得視景W檢測(cè)目標(biāo)物體時(shí)，視景被進(jìn)一步分析。SNR最大化支持目標(biāo)物 體區(qū)域。
[0042] 在自動(dòng)模式中，圖像采集將在下面=種情況中的首先發(fā)生的一個(gè)之后停止：（1)針 對(duì)每個(gè)像素達(dá)到最低程度的SNR; (2)在該視景已經(jīng)執(zhí)行了預(yù)定數(shù)量的采集;或(3)已近達(dá)到 最大允許的采集時(shí)間。
[0043] 參考圖1，說明一個(gè)實(shí)施例的系統(tǒng)的原理圖。系統(tǒng)100具有S個(gè)模塊。第一是系統(tǒng)校 準(zhǔn)模塊110。校準(zhǔn)模塊校準(zhǔn)圖像的照明、用于收集圖像的光學(xué)器件、W及由系統(tǒng)評(píng)估下的新 板的基準(zhǔn)數(shù)據(jù)。
[0044] 圖像采集模塊120與系統(tǒng)校準(zhǔn)模塊110通信。圖像采集模塊捕獲被分析的物體的圖 像。使用曝光時(shí)間和特定示例環(huán)境中的詳細(xì)下文中所述的方式所確定的其他標(biāo)準(zhǔn)捕獲圖 像。如上所述，圖像采集W迭代的方式進(jìn)行，直到針對(duì)每個(gè)像素滿足預(yù)定SNR闊值，或者直到 已經(jīng)捕獲預(yù)定數(shù)量的圖像。圖像展示模塊提供具有最好動(dòng)態(tài)范圍的圖像(即，僅在飽和之下 的最亮的非飽和像素），其或是全局地（即，在自動(dòng)模式中）或限制到目標(biāo)物體(即，在監(jiān)督模 式中）。
[0045] 參考圖2,外部數(shù)據(jù)和校準(zhǔn)板(即，測(cè)試板和培養(yǎng)基的結(jié)合的范圍）都被用于校準(zhǔn)系 統(tǒng)。系統(tǒng)校準(zhǔn)和數(shù)據(jù)校準(zhǔn)都由校準(zhǔn)確定。系統(tǒng)和數(shù)據(jù)校準(zhǔn)值被用于新板的圖像采集。校準(zhǔn)被 用于根據(jù)圖像映射驗(yàn)證新圖像（即，哪些像素是板外區(qū)域、哪些是板內(nèi)區(qū)域但培養(yǎng)基沒有菌 落、W及哪些區(qū)域顯示菌落）。
[0046] 圖3進(jìn)一步說明被校準(zhǔn)的系統(tǒng)裝置的具體方面。在(一個(gè)或更多個(gè))照明組件111的 預(yù)熱時(shí)間期間，強(qiáng)度(A)=f (輸入功率)和場(chǎng)均勻性被確定。此外，對(duì)于測(cè)試板，培養(yǎng)基針對(duì) 適用區(qū)域（即，單板的整個(gè)板、雙板的半個(gè)板W及=板的=分之一板)應(yīng)該是均勻的。對(duì)于光 學(xué)校準(zhǔn)112,對(duì)準(zhǔn)、色差和幾何失真被確定。對(duì)于照相機(jī)校準(zhǔn)113,基線水平被確定。運(yùn)種基線 數(shù)據(jù)是:預(yù)熱時(shí)間；線性度(灰度值與到達(dá)傳感器的光子數(shù)量的固定關(guān)系）和黑度水平作為 曝光時(shí)間的函數(shù)、SNR作為像素強(qiáng)度的函數(shù);場(chǎng)均勻性;色差;和幾何失真被全部確定為與估 計(jì)獲得的圖像相對(duì)比的基線。運(yùn)種基線數(shù)據(jù)被本領(lǐng)域的技術(shù)人員所熟知，不進(jìn)一步詳細(xì)描 述。
[0047] 圖4是進(jìn)入校準(zhǔn)系統(tǒng)中的輸入(即，系統(tǒng)信息、校準(zhǔn)板的庫(kù)和其他輸入)的進(jìn)一步細(xì) 節(jié)。對(duì)于每個(gè)校準(zhǔn)板，獲得圖像并且，每個(gè)像素被分配黑度水平、SNR、線性度和照明的值。針 對(duì)系統(tǒng)（即，非逐像素的）模型確定反應(yīng)系統(tǒng)因素，諸如失真、色差、空間分辨率和白平衡的 值。運(yùn)些值被全部收集W提供校準(zhǔn)的系統(tǒng)和校準(zhǔn)的數(shù)據(jù)用于在板的評(píng)價(jià)中使用。如下可知， 運(yùn)些值被用于完成圖像采集。
[0048] 關(guān)于圖像采集模塊的更多細(xì)節(jié)在圖5中描述。在第一步驟中，使用默認(rèn)值獲得圖 像。根據(jù)運(yùn)個(gè)第一圖像，針對(duì)每個(gè)像素的強(qiáng)度、曝光時(shí)間和SNR被確定。通過從測(cè)量的強(qiáng)度值 減去像素的"黑度水平"確定強(qiáng)度。黑度水平和SNR從先前所述的校準(zhǔn)獲得。
[0049] 圖像采集發(fā)生在時(shí)間to、ti、……tx處。在每個(gè)時(shí)間處，圖像通過一系列的N次圖像 采集獲得。該一系列的N次圖像采集向SNR迭代用于與圖像強(qiáng)度中的高置信度關(guān)聯(lián)的獲得的 圖像。
[0050] 圖6中說明在給定時(shí)間（例如，to)的圖像采集和更新。新板610的圖像在步驟620中 獲得。系統(tǒng)630和數(shù)據(jù)640校準(zhǔn)告知圖像采集。板的交通狀況（即，每單位時(shí)間的板的數(shù)量)也 被用于校準(zhǔn)和控制系統(tǒng)。在圖像采集過程期間的后面的時(shí)間點(diǎn)處，隨后的圖像被獲得650并 且與先驗(yàn)圖像比較（自動(dòng)地或被監(jiān)督）。典型地，在每個(gè)時(shí)間間隔將有大約四個(gè)到大約十個(gè) 圖像采集W獲得具有可接受的置信度的圖像。一旦獲得針對(duì)選擇的物體的期望的SNR，針對(duì) 最終圖像采集660確定曝光時(shí)間。
[0051] 根據(jù)一個(gè)實(shí)施例，像素更新如下?；叶戎?、參考曝光時(shí)間和信噪比表示存儲(chǔ)的每板 (圖像物體）的每個(gè)照明配置(頂部、側(cè)面、底部、或它們的混合）的信息。該信息在每個(gè)新的 采集之后被更新。首先，該信息使用第一圖像采集(N=I)被更新。
[0052]灰度值、參考曝光時(shí)間和信噪比表示存儲(chǔ)的每板的每個(gè)照明配置(頂部、側(cè)面、底 部、或它們的混合)的信息。該信息在每個(gè)新的采集之后被更新。首先，該信息根據(jù)第一圖像 采集(N=I)被初始化。在一個(gè)實(shí)施例中，gvx,y,i是圖像位置(x，y)處的灰度值(gv)，其對(duì)應(yīng)于 使用曝光時(shí)間Ei和各自的信噪比（SNRgv)的板的第一圖像捕獲(N=l)。在該實(shí)施例中：
[0化引 ? WacAwA是(x，y)處對(duì)應(yīng)于曝光時(shí)間Ei的黑度參考值點(diǎn)；
[0054] ? x,y,i是在1義集之后(x，y)處更新的參考時(shí)間點(diǎn)；
[0化日]? g'V'w.i.A是在相等的曝光時(shí)間護(hù)^,1的1采集之后x，y處更新的灰度值；
[0056] ? SNR'x.y.i是1采集之后x，y處更新的SNR;
[0057] x,y,i = Ei
[0化引 [0化9]
[0060] 黑度水平是有噪聲的并且迭代圖像采集過程獲得"低噪聲的"圖像（即，具有較高 置信度水平的圖像）。黑度值是默認(rèn)值，其在圖像采集期間不被重新計(jì)算。黑度值是曝光時(shí) 間的函數(shù)。
[0061] 對(duì)于給定的曝光時(shí)間和光源強(qiáng)度，當(dāng)像素是飽和的，SNR = 0(因此沒有改進(jìn)SNR)。 只有來自非飽和的像素的值被更新。
[0062] N = 1 :初始曝光時(shí)間是熟知的默認(rèn)曝光時(shí)間（一種先驗(yàn)的），或任意值（例如： -
)。對(duì)于被分析的新板的特定板和培養(yǎng)基，運(yùn)由校準(zhǔn)確定。
[0063] 灰度值、參考曝光時(shí)間和信噪比在每個(gè)新圖像采集之后（即，N = 2,3,4...N)根據(jù) 下面的實(shí)施例被更新。對(duì)于圖像位置(X，y)的灰度值gVx, y, N對(duì)應(yīng)于使用曝光時(shí)間En和各自的 信噪比（SNRx,y,N)的板的第N圖像捕獲。在該實(shí)施例中：
[0064] ? 是(x，y)處對(duì)應(yīng)于曝光時(shí)間En的黑度參考值點(diǎn)；
[0065] ? E^x,y,N是N次采集之后(x，y)處更新的參考時(shí)間點(diǎn)；
[0066] ?如是在相等的曝光時(shí)間N的N次采集之后(x，y)處更新的灰度值；
[0067] ? SNR'x.y.N是N次采集之后x，y處更新的SNR。
[006引
[0069]
[0070]
[0071] 因此，針對(duì)在第N次圖像采集中的像素所更新的SNR是先驗(yàn)圖像采集的更新的信噪 比的平方和當(dāng)前圖像采集的信噪比的平方的平方根。每次采集為每個(gè)像素提供更新的值 (例如，E\,y,N)。隨后該更新的值被用于為下次圖像采集計(jì)算更新的值。當(dāng)像素對(duì)于給定的 曝光時(shí)間和光源強(qiáng)度是飽和的，對(duì)于像素 SNR = 0。只有非飽和的像素被更新。第N次曝光時(shí) 間對(duì)應(yīng)于監(jiān)督的最優(yōu)化，其目標(biāo)是使目標(biāo)物體的SNR最大化。目標(biāo)物體能夠是整個(gè)板、菌群、 板的一部分、或整個(gè)圖像。
[0072] 利用新的采集更新圖像數(shù)據(jù)之后，采集系統(tǒng)能夠根據(jù)環(huán)境約束(最小需求SNR、飽 和約束、最大允許采集時(shí)間、目標(biāo)區(qū)域)提出最佳的下次采集時(shí)間，其將使SNR最大化。在圖 像采集被監(jiān)督的實(shí)施例中：x，y G物體表示在監(jiān)督模式中，物體的像素僅僅被考慮用于評(píng) 估。在圖像采集不受監(jiān)督的那些實(shí)施例中，默認(rèn)物體為整個(gè)圖像。
[0073] 根據(jù)圖7,根據(jù)獲得的圖像分析，使用上述自動(dòng)模式或監(jiān)督模式確定針對(duì)圖像采集 系列中給定時(shí)間間隔處的下次圖像(N+1)的曝光時(shí)間。參考圖7,對(duì)于自動(dòng)過程，每個(gè)像素權(quán) 重相等（即，分配的值為1)。對(duì)于監(jiān)督的方法，與物體(例如，培養(yǎng)物)相關(guān)的像素權(quán)重不同。 監(jiān)督過程需要附加的成像步驟。如果像素顯著的部分(例如，比十萬分之一大)是飽和的，并 且它們的權(quán)重不為0,則提出一個(gè)比先前用于獲取圖像的最小曝光時(shí)間短的（例如，1/5)新 的曝光時(shí)間。運(yùn)種調(diào)整針對(duì)飽和像素改善得到非飽和信息的可能性。在替代的實(shí)施例中計(jì) 算新的曝光時(shí)間。如果沒有顯著的像素飽和，則，對(duì)于每個(gè)像素，從曝光和強(qiáng)度映射中確定 將不會(huì)導(dǎo)致像素飽和的最大曝光時(shí)間。由此，確定圖像的曝光時(shí)間，并且模擬強(qiáng)度圖。由此， 確定對(duì)應(yīng)權(quán)重的SN則央射。
[0074] 參考圖8,樣品圖像被用于逐像素更新圖像映射中的圖像數(shù)據(jù)。該樣品數(shù)據(jù)隨后被 饋送到圖像分析儀，并且被執(zhí)行針對(duì)每個(gè)像素的SNR上預(yù)定的約束、其他飽和約束、物體約 束等W及時(shí)間或交通約束(即，捕獲和分析的持續(xù)時(shí)間）定制的圖像分析。
[0075] 在一個(gè)實(shí)施例中，具體地，針對(duì)飽和的像素逐像素分析獲取的圖像。如果En導(dǎo)致超 過預(yù)定限制的像素飽和，則選擇一個(gè)較低的值En+1。例如，如果還沒有獲得最小的曝光時(shí)間 并且飽和像素的百分?jǐn)?shù)（％ )超過預(yù)定限制（例如，>1/1〇5)，W預(yù)定的 增量提出一個(gè)新的曝光時(shí)間（例如，先前使用的最小曝光時(shí)間的五分之一）。較低的限制 (即，最小可接受的曝光時(shí)間）也被預(yù)定。曝光時(shí)間上的運(yùn)些約束允許向著非飽和圖像采集 條件更快速地收斂。
[0076] 在新的曝光時(shí)間獲得新的圖像。對(duì)于新的圖像，次級(jí)檢查約束是每像素最小的期 望SNR(運(yùn)是較低的SNR闊值），并且是允許用于該圖像的全部采集時(shí)間（或Nmax)。如果該視景 的全部采集時(shí)間已經(jīng)達(dá)到時(shí)間限制，或者如果對(duì)于每個(gè)像素的每個(gè)更新的SNR使得SNlTx,y,N ^MinSNR,然后圖像數(shù)據(jù)被看作是可接受的，并且視景的采集在時(shí)間間隔（例如，to)結(jié)束。 當(dāng)圖像采集在時(shí)間tx(例如，時(shí)間ti)開始，導(dǎo)致由先前的采集(例如，在時(shí)間to)的亞飽和狀 態(tài)的最好曝光時(shí)間化Nfinal)被當(dāng)作初始值E。在tx用于圖像采集的過程在其他方面與在時(shí)間 to的過程相同。
[0077] 如果飽和約束被提升(沒有顯著的飽和），則確定和研究下次最佳曝光時(shí)間。首先， 在目標(biāo)區(qū)域上方計(jì)算曝光時(shí)間邊界限制。運(yùn)些曝光時(shí)間邊界是：i)使最亮像素飽和的曝光 時(shí)間；和i i)使最暗像素飽和的曝光時(shí)間。
[0078] 用于使最亮非飽和像素飽和的曝光時(shí)間Emin由對(duì)應(yīng)于絕對(duì)最大強(qiáng)度和其相 關(guān)曝光時(shí)間）的灰度值gVmax從W下公式確定：
[0079] 與 E'x,y,N 有關(guān)
[0081 ]用于使最暗像素飽和的曝光時(shí)間Emax由對(duì)應(yīng)于絕對(duì)最小強(qiáng)度的灰度值gVmin確定， 并且^Vmln是其相關(guān)的曝光時(shí)間：
[0080]
[0082] 非'x,y,N 有關(guān)
[0083]
[0084] ,,八丄…心山。腸……琴,心r。、心.W尤時(shí)間之間中選擇。具 體地，在測(cè)試的曝光時(shí)間Etest,N+1增加模擬的圖像之后，由模擬確定將會(huì)使更新的平均值SNR 最大化的曝光時(shí)間(針對(duì)最小信噪比闊值下面的所有像素）。在Etest,N+1的模擬的圖像由如下 所述(針對(duì)每個(gè)像素)生成。
[0085] 灰度值W應(yīng)W是對(duì)應(yīng)于當(dāng)前更新的圖像數(shù)據(jù)的像素?cái)?shù)據(jù)。如果一個(gè)新的時(shí)間點(diǎn) Etest, N+1被選擇，則期望的灰度值為：
[0086]
[0087]用在時(shí)間點(diǎn)Etest,N+1圖像的來自模擬的圖像的像素的值更新該值W后，該(x，y)像 素的SN時(shí)尋為：
[008引
[00例下個(gè)最佳曝光時(shí)間Ebest,N+1然后由下式確定：
[0090] Ebest,N+l = Etest,N+lG [Emin,Emax]；
[00川其中， ]最大。
[0092] 如果閣像米果W分仍田X，y G物體監(jiān)督，則SNR只針對(duì)目標(biāo)物體積分。在自動(dòng)模式 中，該物體是整個(gè)圖像。
[0093] 圖9描述圖像采集的最終步驟。運(yùn)些步驟是本領(lǐng)域的技術(shù)人員熟知的常規(guī)圖像處 理技術(shù)，在此不詳細(xì)描述。
[0094] 圖10說明在圖像采集期間確定系統(tǒng)完整性的方法。注意到，一旦系統(tǒng)完整性被檢 查，樣品被載入系統(tǒng)中，并且來自樣品的數(shù)據(jù)被捕獲。數(shù)據(jù)捕獲如上所述由校準(zhǔn)信息告知。 捕獲的數(shù)據(jù)被提供到系統(tǒng)完整性檢查和系統(tǒng)事件分析儀二者。
[00M]如上所述一旦已經(jīng)獲得圖像，其與已經(jīng)培養(yǎng)了不同量的時(shí)間的板的圖像相比較。 例如，如本文中所述在板已經(jīng)培養(yǎng)了四小時(shí)(Ti = 4)之后獲得板的圖像。四小時(shí)或更多小時(shí) 之后，如上所述獲得板的另一個(gè)圖像(Tx = 8小時(shí)）。在Tw時(shí)獲得高SNR的圖像能夠隨后與在 Tx時(shí)的高SNR圖像對(duì)比。評(píng)估運(yùn)兩個(gè)圖像的變化W確定微生物生長(zhǎng)的證據(jù)。進(jìn)一步處理（例 如，板是陽性的，板是陰性的，板需要進(jìn)一步培養(yǎng))的決定基于該對(duì)比。
[0096]盡管此中的發(fā)明已經(jīng)根據(jù)特定實(shí)施例描述，將了解到運(yùn)些實(shí)施例只是本發(fā)明說明 性的原理和應(yīng)用。因此，將了解到可W對(duì)說明性的實(shí)施例做出許多修改，并且可W設(shè)計(jì)其他 安排，而不脫離如附加權(quán)利要求所限定的本發(fā)明的精神和范圍。
【主權(quán)項(xiàng)】
1. 一種用于使設(shè)置在培養(yǎng)基中的生物樣品成像的系統(tǒng)，所述系統(tǒng)包括： 系統(tǒng)校準(zhǔn)模塊，其提供默認(rèn)值，所述默認(rèn)值用于捕獲設(shè)置在板中的培養(yǎng)基上的生物樣 品的圖像； 圖像采集模塊，所述圖像采集模塊包括照相機(jī)，其中，該模塊適于在給定時(shí)間間隔期間 獲得一系列的圖像的數(shù)據(jù)，與所述系統(tǒng)校準(zhǔn)模塊通信，所述圖像采集被配置以：i)使用光子 通量和曝光時(shí)間的默認(rèn)值從所述系統(tǒng)校準(zhǔn)模塊獲得第一圖像數(shù)據(jù)，并且創(chuàng)建所述圖像數(shù)據(jù) 的逐像素映射，每個(gè)像素與信噪比、光子通量和曝光時(shí)間、以及強(qiáng)度相聯(lián)系；ii)通過檢查所 述圖像數(shù)據(jù)更新所述圖像采集時(shí)間，以基于飽和的像素的數(shù)量是否大于或小于預(yù)定的閾值 識(shí)別飽和的像素并選擇新的光子通量、新的曝光時(shí)間中的一個(gè)或兩者；并且基于該決定， iii)使用所述光子通量、所述曝光時(shí)間或兩者的新值以獲得新圖像的數(shù)據(jù)以及iv)用信噪 比、所述光子通量、所述曝光時(shí)間或兩者以及像素強(qiáng)度的新值更新所述圖像數(shù)據(jù)的映射， 其中，如果非飽和像素的所述信噪比小于預(yù)定的閾值或飽和像素的數(shù)量超過所述預(yù)定 的閾值，所述圖像采集模塊被配置以獲得新圖像的數(shù)據(jù)， 其中，當(dāng)已經(jīng)獲得所述非飽和像素的所述預(yù)定的閾值信噪比，用于圖像采集的預(yù)定的 分配時(shí)間已經(jīng)逝去，或者已經(jīng)獲得圖像的預(yù)定的最大數(shù)量時(shí)，所述圖像采集模塊完成圖像 米集；以及 圖像展示模塊，所述圖像展示模塊將所述圖像數(shù)據(jù)從所述圖像采集模塊轉(zhuǎn)換成用于觀 察或分析的圖像。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述光子通量為設(shè)定值，并且所述系統(tǒng)通過控制 曝光時(shí)間控制照相機(jī)傳感器積分，其中，所述校準(zhǔn)模塊確定用于多種板和培養(yǎng)基的默認(rèn)光 子通量和曝光時(shí)間。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，針對(duì)分散在所述培養(yǎng)基上的所述樣品的圖像的至 少一部分確定信噪比。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像采集模塊針對(duì)至少一個(gè)或更多個(gè)通道或 者一個(gè)或更多個(gè)頻譜帶獲得來自所述照相機(jī)的圖像數(shù)據(jù)。5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像采集模塊針對(duì)每個(gè)圖像采集為每個(gè)像素 分配灰度值，并且每個(gè)像素的所述灰度值在每個(gè)圖像采集之后被更新。6. 根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述更新的灰度值是所述先前的灰度值減去預(yù)定 的參考值，其中，所述預(yù)定的參考值是基于所述板、所述板培養(yǎng)基的預(yù)定值，并且所述圖像 采集模塊的所述曝光時(shí)間針對(duì)每個(gè)采集為每個(gè)像素分配灰度值，以及每個(gè)像素的所述灰度 值在每個(gè)圖像采集之后被更新。7. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，通過使用新的曝光時(shí)間或者新的光強(qiáng)值或兩者獲 得所述光子通量的新值。8. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像采集模塊被配置以在自動(dòng)模式或監(jiān)督模 式中的至少一個(gè)中操作，在所述自動(dòng)模式中，所有像素被同等對(duì)待，在所述監(jiān)督模式中，被 分析的像素是已經(jīng)被識(shí)別為與一個(gè)或更多個(gè)目標(biāo)物體相聯(lián)系的像素。9. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述光子通量是設(shè)定值，并且所述系統(tǒng)通過控制 曝光時(shí)間控制照相機(jī)傳感器積分。10. -種用于使設(shè)置在培養(yǎng)基中的生物樣品成像的方法，所述系統(tǒng)包括： 確定默認(rèn)值，所述默認(rèn)值用于獲得設(shè)置在支撐在板中的培養(yǎng)基上的生物樣品的圖像； 獲得數(shù)據(jù)，所述數(shù)據(jù)對(duì)應(yīng)于在第一時(shí)間間隔上的第一時(shí)間的一系列圖像，使用光子通 量和曝光時(shí)間的預(yù)定默認(rèn)值采集所述一系列中的所述第一圖像的數(shù)據(jù)； 創(chuàng)建所述圖像數(shù)據(jù)的逐像素映射； 使每個(gè)像素的數(shù)據(jù)與信噪比、光子通量值、曝光時(shí)間、和強(qiáng)度相關(guān)聯(lián)； 通過以下步驟，更新所述圖像光子通量值和曝光時(shí)間值中的至少一個(gè)： i) 檢查飽和像素的所述圖像數(shù)據(jù)和所述像素的信噪比，并且基于所述飽和像素的數(shù)量 是否大于或小于預(yù)定的閾值以及所述信噪比是高于還是低于預(yù)定的閾值，針對(duì)光子通量和 曝光時(shí)間中的至少一個(gè)選擇新值，并且基于該決定，使用光子通量、曝光時(shí)間、或兩者的新 值以獲得新圖像，并且用信噪比、光子通量和曝光時(shí)間、以及像素強(qiáng)度的所述新值更新所述 圖像的映射； ii) 使用光子通量和曝光時(shí)間中的至少一個(gè)新值獲得所述新圖像的數(shù)據(jù)； iii) 可選擇地重復(fù)步驟i)和ii); 當(dāng)所述圖像數(shù)據(jù)在所述預(yù)定的信噪比閾值處或大于所述預(yù)定的信噪比閾值，用于圖像 采集的預(yù)定的最大分配時(shí)間已經(jīng)逝去或者已經(jīng)獲得所述圖像的預(yù)定的最大數(shù)量時(shí)，在所述 時(shí)間間隔期間完成圖像數(shù)據(jù)采集;以及 在第二時(shí)間間隔的第二時(shí)間期間重復(fù)采集、創(chuàng)建、相關(guān)聯(lián)、更新和完成的步驟；以及 將第一時(shí)間間隔和第二時(shí)間間隔獲得的所述圖像數(shù)據(jù)轉(zhuǎn)換為第一圖像和第二圖像，所 述第一圖像在所述第一時(shí)間獲得以及所述第二圖像在第二時(shí)間獲得。11. 根據(jù)權(quán)利要求10所述的方法，其中，所述光子通量值為常數(shù)，并且所述曝光時(shí)間值 被更新，并且其中，所述預(yù)定的默認(rèn)值基于板、板培養(yǎng)基和曝光時(shí)間。12. 根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包括確定所述像素，針對(duì)所述像素的圖像映 射將被創(chuàng)建，其中所述像素與目標(biāo)物體相關(guān)聯(lián)。13. 根據(jù)權(quán)利要求12所述的方法，其中所述默認(rèn)值包括在默認(rèn)曝光時(shí)間與目標(biāo)物體相 關(guān)聯(lián)的所述像素的黑度水平。14. 根據(jù)權(quán)利要求10所述的方法，其中，所述逐像素映射是針對(duì)每個(gè)像素的灰度值、所 述信噪比和所述曝光時(shí)間。
【文檔編號(hào)】G01N21/25GK105960586SQ201580006407
【公開日】2016年9月21日
【申請(qǐng)日】2015年1月30日
【發(fā)明人】R·R·馬爾科爾波利, C·奧爾尼, D·莫雷爾
【申請(qǐng)人】Bd科斯特公司