用于從對象的圖像生成立體地形圖的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種用于從對象的多個(gè)圖像生成該對象表面的立體地形圖（raised relief map)的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。
【背景技術(shù)】
[0002] 在圖像處理領(lǐng)域，光度立體法是用于生成對象的表面的立體地形圖的公知方法。 光度立體法通過使用對象的多個(gè)圖像進(jìn)行操作，運(yùn)些圖像是在一個(gè)或多個(gè)照射源提供不同 方向的照射時(shí)，W固定位置處的相機(jī)拍攝的。光度立體法的目標(biāo)是通過對與拍攝的圖像相 關(guān)的數(shù)據(jù)應(yīng)用特定的算法，來提供對象的表面的立體地形圖。在生物分析的領(lǐng)域，例如，對 象包括微生物。使用運(yùn)樣的方法得到的例如為微生物的對象的立體地形圖允許鑒別該微生 物的若干特點(diǎn)，例如其表面的紋理和地形(relief)的類型。因此，該算法產(chǎn)生該對象的表面 的立體地形圖或深度地圖（deepness map),也被稱作深度圖（ckpth map)。
[0003] 此外，在生物分析的特定領(lǐng)域中，執(zhí)行生物樣品的體外分析，W確定可能存在于生 物樣品中的微生物類型。特定環(huán)境與生物樣品關(guān)聯(lián)，W允許微生物的生長。特定環(huán)境例如可 W位于皮式培養(yǎng)皿中。在包括生物樣品的皮式培養(yǎng)皿培養(yǎng)W后，皮式培養(yǎng)皿的表面可W被 成像系統(tǒng)照射，如在已公布的歐洲專利申請EP2520923中描述的那樣。成像系統(tǒng)包括位于生 物樣品周圍的若干照射源。每個(gè)照射源可W從不同方向照射生物樣品。固定位置相機(jī)可W 拍攝皮式培養(yǎng)皿的同一個(gè)表面的不同圖像。與不同照射方向相關(guān)的多個(gè)照射源代表復(fù)雜的 照射條件。
[0004] 在現(xiàn)有技術(shù)中，如在參考文獻(xiàn)[12]中公開的光度立體法包括運(yùn)樣的算法：當(dāng)照射 發(fā)生時(shí)，其考慮了與描述灰度圖像的圖像特性的Ξ個(gè)分量有關(guān)的Ξ個(gè)矩陣。第一矩陣A設(shè)及 表示入射光被對象的表面反射的比例的反射率值。當(dāng)整個(gè)表面假定由相同材料制成時(shí)，矩 陣A對于所有像素包括相同值。第二矩陣V表示對于被相機(jī)捕捉的每個(gè)圖像而言照射源的位 置。第Ξ矩陣N表示在Ξ維空間中每個(gè)圖像的每個(gè)像素的法向量值(normal value)。然而， 運(yùn)樣的算法僅在如果照射源為點(diǎn)光源并且照射源的方向已知時(shí)才起作用。在生物分析領(lǐng)域 中，舉例來說，照射源不是點(diǎn)光源并且照射源的位置或者未知或者不易于建模。因此，所述 算法不能被應(yīng)用到運(yùn)樣的圖像。另外，生物對象表面的光學(xué)性質(zhì)或取向不是已知的。因此， 用于運(yùn)樣的對象的反射率不是已知的。此外，在該算法中沒有考慮到與照射源的強(qiáng)度相關(guān) 的參數(shù)。因此，在重構(gòu)處理期間，與對象表面的特性相關(guān)的信息可能缺乏或不夠，從而導(dǎo)致 對對象表面的錯(cuò)誤表示。結(jié)果，運(yùn)樣的算法并不總是適用于生物分析領(lǐng)域中拍攝的圖像的 光度立體重構(gòu)，也不適用于由固定位置相機(jī)在復(fù)雜的照射條件或未知照射方向下拍攝的任 何圖像的光度立體重構(gòu)。
[0005] 參考文獻(xiàn)[13]公開了一種用于光度立體法的改進(jìn)算法。該算法考慮了與值L相關(guān) 的第四矩陣，值L表示照射源的各種強(qiáng)度。然而，運(yùn)樣的算法僅在如果照射源的位置和/或圖 像的特定像素的法向量已知時(shí)才起作用。在一些情形中，運(yùn)樣的信息或者不可利用，或者難 w獲得。因此，近似值對應(yīng)用該算法來說是所必需的。結(jié)果，如果如生物分析領(lǐng)域中通常的 情形那樣，照射條件是未知的，那么運(yùn)樣的算法不適于生成對象表面的精確圖像。另外，近 似值可能在圖像重構(gòu)處理結(jié)束時(shí)導(dǎo)致對對象表面圖像的錯(cuò)誤表示。
[0006] 結(jié)果，存在運(yùn)樣的需求:改進(jìn)標(biāo)準(zhǔn)光度立體法來允許生成對象表面的立體地形圖， W在對象沒有先前信息可利用且與多個(gè)具有不同照射方向的照射源關(guān)聯(lián)的情況下實(shí)現(xiàn)該 對象的表面的重構(gòu)。
[0007] 發(fā)明目的
[0008] 本發(fā)明的目的是克服與現(xiàn)有技術(shù)關(guān)聯(lián)的至少一些問題。
[0009] 本發(fā)明的進(jìn)一步目的是提供一種方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品，用于利用光度立 體法產(chǎn)生對象的表面的立體地形圖或模型，而不需要使用與照射對象的照射源的位置和/ 或方向相關(guān)的任何信息且不需要使用與對象的表面的法向量相關(guān)的任何信息。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明提供一種用于產(chǎn)生對象的表面的立體地形圖的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn) 品，如在所附權(quán)利要求中陳述的那樣。
[0011] 根據(jù)本發(fā)明的一方面，提供了一種方法，用于從對象的多個(gè)圖像獲得所述對象的 表面的模型，其中所述對象由一個(gè)或多個(gè)照射源照射，該方法包括：
[0012] -獲得圖像的集合，每個(gè)圖像包括像素陣列且表示所述對象的類似視圖，其中所述 類似視圖在不同的照射條件下獲得；
[0013] -依據(jù)下列未知的模型分量定義表達(dá)所述圖像的已知像素強(qiáng)度值的模型函數(shù)：
[0014] -第一模型分量，表示所述對象在每一個(gè)像素位置的反射率，并且所述第一模型分 量是對于所述多個(gè)圖像都相同的反射率值；
[0015] -第二模型分量，表示用于每個(gè)圖像的照射強(qiáng)度，所述第二模型分量是對于每個(gè)圖 像的所有像素都相同的照射源強(qiáng)度值；
[0016] -第Ξ模型分量，表示特定的照射方向，所述第Ξ模型分量是對于每個(gè)圖像都不同 但對于每個(gè)圖像的所有像素都相同的照射向量；
[0017] -第四模型分量，表示所述對象表面在每一個(gè)像素位置的表面法向量方向，所述第 四模型分量是對于所有圖像都相同的法線向量；
[0018] -執(zhí)行一個(gè)或多個(gè)序列的最小化運(yùn)算來最小化從所述圖像的集合獲得的像素值與 使用所述模型函數(shù)計(jì)算得到的像素值之間的差函數(shù)，每個(gè)最小化運(yùn)算通過允許所述模型分 量其中之一變動(dòng)而其他模型分量保持不變來執(zhí)行；
[0019] -輸出所述第四模型分量作為所述對象表面的所述模型。
[0020] 優(yōu)選地，所述序列的最小化運(yùn)算包括迭代循環(huán)，在所述迭代循環(huán)中每個(gè)所述模型 分量在后續(xù)迭代之前輪流改變至少一次，所述迭代循環(huán)重復(fù)直到滿足結(jié)束條件。
[0021] 優(yōu)選地，所述迭代循環(huán)包括一個(gè)或多個(gè)內(nèi)部循環(huán)，其中所述模型分量的子集在所 述模型分量的另一個(gè)子集變動(dòng)之前變動(dòng)多次。
[0022] 優(yōu)選地，一個(gè)內(nèi)部循環(huán)包括改變所述第Ξ模型分量和所述第四模型分量多次。
[0023] 優(yōu)選地，一個(gè)內(nèi)部循環(huán)包括改變所述第一模型分量和所述第二模型分量。
[0024] 優(yōu)選地，改變所述第Ξ模型分量和所述第四模型分量的最小化運(yùn)算在改變所述第 一模型分量和所述第二模型分量的最小化被執(zhí)行前執(zhí)行多次。
[0025] 優(yōu)選地，所述第一模型分量包括第一模型子分量和第一結(jié)構(gòu)分量，其中所述第一 結(jié)構(gòu)分量調(diào)適所述第一模型子分量來復(fù)制所述對象的表面特性。
[0026] 優(yōu)選地，所述第二模型分量包括第二模型子分量和第二結(jié)構(gòu)分量，其中所述第二 結(jié)構(gòu)分量調(diào)適所述第二模型子分量來復(fù)制所述照射源的照射條件。
[0027] 優(yōu)選地，所述第Ξ模型分量包括第Ξ模型子分量和第Ξ結(jié)構(gòu)分量，其中所述第Ξ 結(jié)構(gòu)分量調(diào)適所述第Ξ模型子分量來復(fù)制所述照射源的所述照射條件。
[0028] 優(yōu)選地，所述第一結(jié)構(gòu)分量表示對于所述多個(gè)圖像都相同的系數(shù)，該系數(shù)包括對 于所述多個(gè)圖像的每個(gè)像素都相同的反射率值。
[0029] 優(yōu)選地，所述第二結(jié)構(gòu)分量表示對于來自所述多個(gè)圖像中一個(gè)圖像的所述像素都 相同的強(qiáng)度系數(shù)。
[0030] 優(yōu)選地，所述第Ξ結(jié)構(gòu)分量表示與所述多個(gè)圖像中一個(gè)圖像關(guān)聯(lián)的一個(gè)照射源的 照射方向，運(yùn)對于來自所述多個(gè)圖像中一個(gè)圖像的所有像素都是相同的。
[0031] 優(yōu)選地，所述一個(gè)或多個(gè)照射源包括紅色通道、綠色通道和藍(lán)色通道。
[0032] 優(yōu)選地，所述第一模型分量對于用于所述多個(gè)圖像的每個(gè)像素和每個(gè)色彩通道都 是相同的，并且所述第二模型分量對于用于每個(gè)圖像的所有像素的每個(gè)色彩通道都是相同 的。
[0033] 優(yōu)選地，所述第一結(jié)構(gòu)分量包括對于用于多個(gè)圖像的每個(gè)色彩通道的每個(gè)像素都 相同的反射率。
[0034] 優(yōu)選地，所述第二結(jié)構(gòu)分量表示對于用于每個(gè)圖像的所有像素的每個(gè)色彩通道都 相同的強(qiáng)度系數(shù)。
[0035] 優(yōu)選地，模型函數(shù)包括修改后的模型函數(shù)，其中與所述第一、第二、第Ξ和第四模 型分量相關(guān)的所述模型函數(shù)等同于與所述第一、第二和第Ξ模型子分量和所述第四模型分 量相關(guān)的所述修改后的模型函數(shù)。
[0036] 根據(jù)本發(fā)明的第二方面，提供了 一種計(jì)算機(jī)程序產(chǎn)品，包括指令，所述指令被執(zhí)行 時(shí)使得可編程數(shù)據(jù)處理設(shè)備來執(zhí)行該方法的步驟。
[0037] 根據(jù)本發(fā)明的第Ξ方面，提供了一種成像系統(tǒng)，用于從對象的多個(gè)圖像獲得所述 對象的模型，該成像系統(tǒng)包括：
[0038] --個(gè)或多個(gè)照射源，在不同的照射方向上照射所述對象，其中每個(gè)圖像與確定的 照射方向關(guān)聯(lián)；
[0039] -圖像捕捉設(shè)備，用于檢測所述多個(gè)圖像中每個(gè)圖像的每個(gè)像素的像素值；
[0040] -數(shù)據(jù)處理器，包括第一存儲(chǔ)部件，用于存儲(chǔ)下列未知的模型分量：
[0041] -第一模型分量，表示所述對象在每一個(gè)像素位置的反射率，所述第一模型分量是 對于所述多個(gè)圖像都相同的反射率值；
[0042] -第二模型分量，表示用于每個(gè)圖像的照射強(qiáng)度，所述第二模型分量是對于每個(gè)圖 像的所有像素都相同的照射源強(qiáng)度值；
[0043] -第Ξ模型分量，表示特定的照射方向，所述第Ξ模型分量是對于每個(gè)圖像都不同 的但對于每個(gè)圖像的所有像素都相同的照射向量；
[0044] -第四模型分量，表示所述對象表面在每一個(gè)像素位置的表面法向量方向，所述第 四模型分量是法向向量，其是對于所有圖像都相同的法線向量；
[0045] 其中所述數(shù)據(jù)處理器執(zhí)行一個(gè)或多個(gè)序列的最小化運(yùn)算，W最小化在所述圖像的 集合上接收的像素值與使用定義的模型函數(shù)計(jì)算得到的像素值之間的差函數(shù)，所述定義的 模型函數(shù)依據(jù)所述未知的模型分量表示圖像的所述已知像素值；
[0046] 并且
[0047] 其中通過允許所述模型分量其中之一變動(dòng)而其他模型分量保持不變時(shí)來執(zhí)行每 個(gè)最小化運(yùn)算并且
[0048] 用于輸出所述法向量模型分量作為所述對象表面的所述模型。
[0049] 優(yōu)選地，所述數(shù)據(jù)處理器還包括第二存儲(chǔ)部件，用于存儲(chǔ)結(jié)構(gòu)分量W調(diào)適一個(gè)或 多個(gè)所述模型子分量來復(fù)制所述對象的表面特性和所述照射源的照射條件。
【附圖說明】
[0050] 現(xiàn)在將W舉例的方式作出對附圖的參考，其中：
[0051] -圖1示出根據(jù)本發(fā)明一實(shí)施例的成像系統(tǒng)的簡圖，其示出用于對象的各種類型的 照射方向；
[0052] -圖2示出根據(jù)本發(fā)明一實(shí)施例的成像系統(tǒng)的簡圖，其示出成像系統(tǒng)的模塊；
[0053] -圖3示出根據(jù)本發(fā)明一實(shí)施例的模擬光度立體法的數(shù)學(xué)公式；
[0054] -圖4示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的模擬光度立體法的數(shù)學(xué)公式；
[0055] -圖5示出根據(jù)本發(fā)明一實(shí)施例的方法的流程圖；
[0056] -圖6示出根據(jù)本發(fā)明一實(shí)施例的第一對象的初始圖像的例子；
[0057] -圖7示出根據(jù)本發(fā)明一實(shí)施例的第二對象的初始圖像的例子；
[0058] -圖8示出根據(jù)本發(fā)明一實(shí)施例的第Ξ對象的初始圖像的例子；
[0059] -圖9示出根據(jù)本發(fā)明一實(shí)施例的第四對象的初始圖像的例子；
[0060] -圖10示出根據(jù)本發(fā)明一實(shí)施例的圖6的第一對象的立體地形圖；
[0061] -圖11示出根據(jù)本發(fā)明一實(shí)施例的圖7的第二對象的立體地形圖；
[0062] -圖12示出根據(jù)本發(fā)明一實(shí)施例的圖8的第Ξ對象的立體地形圖；
[0063] -圖13示出根據(jù)本發(fā)明一實(shí)施例的圖9的第四對象的立體地形圖；
[0064] -圖14示出根據(jù)本發(fā)明一實(shí)施例的第五對象的初始圖像的例子；
[0065] -圖15示出根據(jù)本發(fā)明一實(shí)施例的、考慮到第五對象的Ξ個(gè)初始圖像時(shí)的圖14的 第五對象的立體地形圖；
[0066] -圖16示出根據(jù)本發(fā)明一實(shí)施例的、考慮到第五對象的五個(gè)初始圖像時(shí)的圖14的 第五對象的立體地形圖；
[0067] -圖17示出根據(jù)本發(fā)明一實(shí)施例的、考慮到第五對象的十個(gè)初始圖像時(shí)的圖14的 第五對象的立體地形圖；
[0068] -圖18、圖19、圖20和圖21示出根據(jù)本發(fā)明一實(shí)施例的第六對象的四個(gè)初始圖像， 每個(gè)初始圖像與不同的照射方向相關(guān)；
[0069] -圖22示出根據(jù)本發(fā)明一實(shí)施例的考慮到圖18、圖19、圖20和圖21的初始圖像時(shí)的 第六對象的立體地形圖的俯視圖；
[0070] -圖23示出根據(jù)本發(fā)明一實(shí)施例的、如圖22示出的第六對象的立體地形圖的側(cè)視 圖；
[0071] -圖24、圖25、圖26和圖27分別示出根據(jù)本發(fā)明一實(shí)施例的各種對象的立體地形圖 的側(cè)視圖；
[0072] -圖28示出一表，其用于比較在本發(fā)明的第一實(shí)施例和第二實(shí)施例中W本發(fā)明的 方法獲得的不同重構(gòu)表面；
[0073] -圖29日、圖29b和圖29c分別設(shè)及初始圖像、參考標(biāo)準(zhǔn)法線(ground化uth normal) 圖像和深度圖圖像；
[0074] -圖29d示出一表，其用于在考慮到不同的初始化運(yùn)算時(shí)比較W本發(fā)明的方法獲得 的不同重構(gòu)表面；
[0075] -圖30示出一表，其用于在考慮到不同的結(jié)束條件時(shí)比較W本發(fā)明的方法獲得的 不同重構(gòu)表面；
[0076] -圖31、圖32、圖33和圖34示出根據(jù)本預(yù)處理一實(shí)施例的同一對象的若干圖像，每 個(gè)圖像包括在不同位置的明亮區(qū)域；
[0077] -圖35、圖36和圖37分別在紅色/綠色/藍(lán)色空間示出根據(jù)本預(yù)處理一實(shí)施例的圖 31的表示；
[0078] -圖38示出根據(jù)本預(yù)處理一實(shí)施例的一曲線圖，表示一圖像的所選擇像素的像素 值與對于特定色彩通道的其他圖像中的對應(yīng)像素的其他像素值的比值；
[0079] -圖39示出根據(jù)本預(yù)處理一實(shí)施例的用于從一圖像除去明亮區(qū)域的S型（Sigmoid) 函數(shù)的表示；
[0080] -圖40示出根據(jù)本預(yù)處理一實(shí)施例的用于從一圖像同時(shí)除去明亮區(qū)域和暗區(qū)域的 S型函數(shù)的表示；
[0081 ]-圖41示出根據(jù)本預(yù)處理的一個(gè)方面的方法的流程圖；
[0082] -圖42、圖43、圖44和圖45示出根據(jù)本預(yù)處理一實(shí)施例的圖31、圖32、圖33和圖34的 同一對象的若干修正后圖像，各明亮區(qū)域被修正；
[0083] -圖46、圖47和圖48分別示出根據(jù)本預(yù)處理一實(shí)施例的、圖42在紅色/綠色/藍(lán)色空 間的表示；
[0084] -圖49示出包括明亮區(qū)域的對象的表示；
[0085]-圖50示出根據(jù)本預(yù)處理一實(shí)施例的在圖49中示出的對象的細(xì)節(jié)的表示，其中表 現(xiàn)了多個(gè)明亮區(qū)域；
[0086] -圖51示出根據(jù)本預(yù)處理一實(shí)施例的、在圖52中示出的細(xì)節(jié)的修正后圖像的表示；
[0087] -圖52、圖53和圖54示出根據(jù)本預(yù)處理一實(shí)施例的同一對象的Ξ個(gè)不同圖像，其中 對象包括特定的明亮區(qū)域和暗區(qū)域；
[0088] -圖55、圖56和圖57分別設(shè)及根據(jù)本預(yù)處理一實(shí)施例的圖52、圖53和圖54的修正后 圖像；
[0089] -圖58示出根據(jù)本預(yù)處理一實(shí)施例的、與在圖53中示出的圖像的紅色通道相關(guān)的 初始圖像Π 的表示；
[0090] -圖59示出根據(jù)本預(yù)處理一實(shí)施例的、與在圖26中示出的圖像的紅色通道相關(guān)的 參考圖像12的表示；
[0091] -圖60示出根據(jù)本預(yù)處理一實(shí)施例的、包括實(shí)線和虛線的曲線圖，實(shí)線表示與在圖 58中示出的初始圖像II的感興趣像素的線有關(guān)的強(qiáng)度值或像素值，虛線表示與在圖59中示 出的參考圖像12的感興趣像素的線相關(guān)的強(qiáng)度值或像素值；
[0092] -圖61示出根據(jù)本預(yù)處理一實(shí)施例的、使用在圖59中示出的參考圖像12修正在圖 58中示出的初始圖像11而得到的修正后圖像11C;
[0093] -圖62示出根據(jù)本預(yù)處理一實(shí)施例的、包括實(shí)線和虛線的曲線圖，實(shí)線表示平均值 W，并且虛線表示用于在圖58中示出的初始圖像II和在圖59中示出的參考圖像12的修正后 函數(shù)f(W);
[0094] -圖63示出根據(jù)本預(yù)處理一實(shí)施例的、包括實(shí)線和虛線的曲線圖，實(shí)線表示用于在 圖58中示出的初始圖像II的感興趣的像素線的強(qiáng)度值或像素值，虛線表示用于在圖61中示 出的修正圖像lie的感興趣的像素線的強(qiáng)度值或像素值；
[00%]-圖64示出根據(jù)本預(yù)處理一實(shí)施例的、包括實(shí)線和虛線的曲線圖，其中實(shí)線表示作 為在圖58中示出的初始圖像II和在圖59中示出的參考圖像12的比值而估算的平均值W，并 且虛線表示作為如圖61中示出的修正后圖像lie與如圖59中示出的參考圖像12的比值而估 算的修正后的平均值We;
[0096] -圖65示出根據(jù)本預(yù)處理一實(shí)施例的、W不同類型的虛線示出的f(W)的Ξ個(gè)表示， 其中k = 0.75且α = 1〇〇而為固定值，并且其中闊值V=l、1.12和1.5;
[0097] -圖66示出根據(jù)本預(yù)處理一實(shí)施例的、W不同類型的虛線示出的f(W)的Ξ個(gè)表示， 其中v = 1.25且α = 1〇〇而為固定值，并且其中k=l、0.75和0.5;
[0098] -圖67示出根據(jù)本預(yù)處理一實(shí)施例的、W