用于處理具有傳感器相關(guān)噪聲的成像數(shù)據(jù)的技術(shù)的制作方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請按照35U.S.C. § 119(e)要求于2013年3月15日提交的美國臨時申請?zhí)?No. 61/786, 796的權(quán)益，本申請的內(nèi)容在法律允許的最大范圍內(nèi)通過引用合并到本文中。
技術(shù)領(lǐng)域
[0003] 在本文中描述的技術(shù)總體上設(shè)及圖像處理。一些實施方式設(shè)及對被傳感器相關(guān)噪 聲所污染的成像數(shù)據(jù)進行處理。
【背景技術(shù)】
[0004] 互補金屬氧化物半導(dǎo)體（CM0巧相機將光信號（例如，可見光）轉(zhuǎn)換成電信號，該 電信號可W被處理W形成圖像或確定被成像區(qū)域的屬性。CMOS相機通常包括像素傳感器的 陣列（"像素"），每個像素傳感器包括用于將光信號轉(zhuǎn)換成電信號的光敏區(qū)域W及用于對 轉(zhuǎn)換后的電信號進行放大和/或所轉(zhuǎn)換的電信號提供給數(shù)據(jù)處理部件的讀出結(jié)構(gòu)。
[0005] CMOS相機可朗尋一些噪聲引入與被成像區(qū)域?qū)?yīng)的電信號。由CMOS相機引入的 一種類型的噪聲是"讀出噪聲"。指代由相機的讀出電路（例如，放大電路，模擬至數(shù)字轉(zhuǎn)換 電路W及將像素的信號禪合至數(shù)據(jù)處理部件的電路）引入的噪聲的讀出噪聲還可W被建 模為具有高斯概率分布的隨機變量。讀出噪聲被認(rèn)為是"像素相關(guān)的"，運是因為CMOS相機 的讀出噪聲的特性可W根據(jù)像素而變化。
[0006] 由CMOS相機引入的另一種類型的噪聲是"光子散粒噪聲"或"散粒噪聲"。散粒噪 聲由光子檢測處理而產(chǎn)生，并且在當(dāng)入射在像素的光敏區(qū)域上的光子的數(shù)目較?。ɡ?， 在低光條件下）時散粒噪聲可能是顯著的，散粒噪聲可W被建模為具有泊松分布的隨機變 量。散粒噪聲取決于入射光子的數(shù)目并且因而與輸入信號相關(guān)聯(lián)。
[0007] 一些定量成像技術(shù)（例如單分子定位技術(shù)（例如，基于定位的納米顯微技術(shù)和/ 或單粒子追蹤））依賴于對單個分子的準(zhǔn)確且精確的定位。僅作為一個示例，單分子開關(guān)納 米顯微（SMSN)技術(shù)用于通過隨機地接通或關(guān)斷單個分子來對單個分子進行定位（例如，W 約IOnm的量級的精度）?？蒞記錄分子的閃爍子集的多個相機帖（例如，數(shù)百個、數(shù)千個或 者甚至數(shù)萬個相機帖）W獲得具有約25nm至40nm的分辨率的單個圖像。運樣的圖像的時 間和空間分辨率受限于若干個因素，所述若干個因素包括每一帖由單個分子所發(fā)射的光子 的數(shù)目、相機的敏感度（例如，量子效率）W及相機的讀出速度。

【發(fā)明內(nèi)容】

[0008] 根據(jù)本公開內(nèi)容的方面，提供了一種處理器實現(xiàn)的成像方法，所述成像方法包括： 獲取由至少第一傳感器元件和第二傳感器元件獲得的并且與被成像區(qū)域?qū)?yīng)的成像數(shù)據(jù)； W及使用處理器來使參數(shù)化模型適合于所述成像數(shù)據(jù)。該參數(shù)化模型包括：由第一傳感器 元件在由第一傳感器元件獲得的成像數(shù)據(jù)的第一部分中生成的噪聲的第一傳感器相關(guān)模 型；W及由第二傳感器元件在由第二傳感器元件獲得的成像數(shù)據(jù)的第二部分中生成的噪聲 的第二傳感器相關(guān)模型。第一傳感器相關(guān)噪聲模型與第二傳感器相關(guān)噪聲模型至少部分不 同。
[0009] 在一些實施方式中，使參數(shù)化模型適合于成像數(shù)據(jù)包括：使用統(tǒng)計估算來使參數(shù) 化模型適合于成像數(shù)據(jù)。
[0010] 在一些實施方式中，成像方法還包括：確定第一傳感器相關(guān)噪聲模型和第二傳感 器相關(guān)噪聲模型中的每一個的一個或更多個相應(yīng)參數(shù)的一個或更多個值；W及使用第一傳 感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模型中的每一個的至少一個參數(shù)值來識別成像 數(shù)據(jù)的至少一個子集W進行進一步處理，其中，使用統(tǒng)計估算來使參數(shù)化模型適合于成像 數(shù)據(jù)包括：估算參數(shù)化模型的一個或更多個相應(yīng)參數(shù)的一個或更多個值；W及利用相應(yīng)的 所估算出的一個或更多個值來表征成像數(shù)據(jù)的至少一個子集與具有一個或更多個參數(shù)的 參數(shù)化模型之間的適合度。
[0011] 在一些實施方式中，使用統(tǒng)計估算來使參數(shù)化模型適合于成像數(shù)據(jù)包括：使用最 大似然估算（ML巧來使參數(shù)化模型適合于成像數(shù)據(jù)，W及，表征成像數(shù)據(jù)的至少一個子集 與參數(shù)化模型之間的適合度包括：使用第一噪聲模型和第二噪聲模型來確定對數(shù)似然比和 /或來確定克拉默-拉奧下限（CRLB)。
[0012] 在一些實施方式中，使用MLE來使參數(shù)化模型適合于成像數(shù)據(jù)包括：根據(jù)下述表 達式來估算一個或更多個相應(yīng)參數(shù)0的一個或更多個值：
[0013] 資==射沒^腿f.....權(quán)哈===f識Oi)/CJi VOTi/gf]\ui(9)>bg, VOTu
[0014] 其中，Di是像素i的觀測模擬至數(shù)字單元（ADU)計數(shù)，U1是像素i的期望光電子 的數(shù)目，gi是像素i的放大增益，O1是像素i的讀出噪聲的偏移量，var1是像素i的讀出噪 聲的方差，并且bg是像素i的期望背景ADU計數(shù)。
[0015] 在一些實施方式中，使用統(tǒng)計估算來使參數(shù)化模型適合于成像數(shù)據(jù)包括：將第一 傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型結(jié)合，W獲取與第一傳感器對應(yīng)的成像 數(shù)據(jù)的第一部分中的傳感器相關(guān)噪聲和光子散粒噪聲的估算值；W及將第二傳感器相關(guān)噪 聲模型與參數(shù)相關(guān)光子散粒噪聲模型結(jié)合，W獲取與第二傳感器對應(yīng)的成像數(shù)據(jù)的第二部 分中的傳感器相關(guān)噪聲和光子散粒噪聲的估算值，其中，參數(shù)相關(guān)光子散粒噪聲模型至少 部分地取決于參數(shù)化模型的一個或更多個估算出的參數(shù)值。
[0016] 在一些實施方式中，將第一傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型結(jié) 合包括：確定第一傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型的卷積。
[0017] 在一些實施方式中，將第一傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型結(jié) 合包括：對第一傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型的卷積進行解析性近 似。
[0018] 在一些實施方式中，對第一傳感器相關(guān)噪聲模型與參數(shù)相關(guān)光子散粒噪聲模型的 卷積進行解析性近似包括：使用包括eIAX項的表達式來對像素i的ADU計數(shù)的概率分布 Pi(X)進行解析地近似。
[0019] 在一些實施方式中，像素i的ADU計數(shù)的概率分布通過下述表達式來給出：
[0020]
[0021] 其中，Di是像素i的觀測ADU計數(shù)，Ui是像素i的期望光電子的數(shù)目，gi是像素i的放大增益，〇1是像素i的讀出噪聲的偏移量，var1是像素i的讀出噪聲的方差，W及 V(X) ^
[0022] 在一些實施方式中，使用第一傳感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模型的 至少一個參數(shù)值來識別成像數(shù)據(jù)的至少一個子集W進行進一步處理包括：使用第一傳感器 相關(guān)噪聲模型的一個或更多個參數(shù)值來對由第一傳感器獲得的成像數(shù)據(jù)的第一部分中的 噪聲進行濾波，并且使用第二傳感器相關(guān)噪聲模型的一個或更多個參數(shù)值來對由第二傳感 器獲得的成像數(shù)據(jù)的第二部分中的噪聲進行濾波。
[0023] 在一些實施方式中，使用第一傳感器相關(guān)噪聲模型的一個或更多個參數(shù)值來對成 像數(shù)據(jù)的第一部分中的噪聲進行濾波包括：使用通過下述表達式定義的濾波核對成像數(shù)據(jù) 的第一部分進行濾波：
[0024]
[00巧]其中，Di是像素i的觀測ADU計數(shù)，g1是像素i的放大增益，O1是像素i的讀出噪 聲的偏移量，vari是像素i的讀出噪聲的方差，n是核尺寸，并且C"。是包括像素i的核區(qū) 域。 陽0%] 在一些實施方式中，估算參數(shù)化模型的一個或更多個相應(yīng)參數(shù)的一個或更多個值 包括：估算一個或更多個相應(yīng)分子和/或粒子的一個或更多個位置。
[0027] 在一些實施方式中，成像方法還包括：使用成像數(shù)據(jù)和一個或更多個相應(yīng)參數(shù)的 一個或更多個估算出的值來執(zhí)行分子定位，粒子追蹤和/或超分辨率顯微技術(shù)。
[0028] 在一些實施方式中，成像方法還包括：至少使用第一傳感器元件和第二傳感器元 件來獲得成像數(shù)據(jù)，其中，至少使用第一傳感器元件和第二傳感器元件來獲得成像數(shù)據(jù)包 括：使用至少第一像素和第二像素來獲得成像數(shù)據(jù)，并且其中，第一像素和第二像素中的每 一個包括半導(dǎo)體的光敏區(qū)域和半導(dǎo)體的被配置成從像素中讀出數(shù)據(jù)的部分。
[0029] 在一些實施方式中，使用至少第一像素和第二像素來獲得成像數(shù)據(jù)包括：使用至 少第一CMOS像素和第二CMOS像素來獲得成像數(shù)據(jù)。
[0030] 在一些實施方式中，使用至少第一像素和第二像素來獲得成像數(shù)據(jù)包括：使用至 少第一sCMOS像素和第二sCMOS像素來獲得成像數(shù)據(jù)。
[0031] 在一些實施方式中，成像方法還包括：確定第一傳感器相關(guān)噪聲模型和第二傳感 器相關(guān)噪聲模型中的每一個的一個或更多個相應(yīng)參數(shù)的一個或更多個值，其中，第一傳感 器相關(guān)噪聲模型的一個或更多個像素值與第二傳感器相關(guān)噪聲模型的一個或更多個像素 值至少部分不同。
[0032] 在一些實施方式中，第一傳感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模型中的每 一個包括高斯概率分布函數(shù)，并且確定第一傳感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模 型中的每一個的一個或更多個參數(shù)值包括：確定由第一傳感器元件生成的噪聲的偏移量、 由第一傳感器元件生成的噪聲的方差和/或第一傳感器元件的增益，作為第一傳感器相關(guān) 噪聲模型的高斯概率分布函數(shù)的一個或更多個參數(shù)值；W及確定由第二傳感器元件生成的 噪聲的偏移量、由第二傳感器元件生成的噪聲的方差和/或第二傳感器元件的增益，作為 第二傳感器相關(guān)噪聲模型的高斯概率分布函數(shù)的一個或更多個參數(shù)值。
[0033] 根據(jù)本公開內(nèi)容的方面，提供了一種成像裝置，該成像裝置包括：一個或更多個處 理電路；W及存儲處理器可執(zhí)行指令的至少一個計算機可讀存儲介質(zhì)，當(dāng)所述處理器可執(zhí) 行指令由一個或更多個處理電路來執(zhí)行時，使成像裝置執(zhí)行方法。該方法包括：獲取由至少 第一傳感器元件和第二傳感器元件獲得的并且與被成像區(qū)域的對應(yīng)的成像數(shù)據(jù)；W及使參 數(shù)化模型適合于成像數(shù)據(jù)。該參數(shù)化模型包括：由第一傳感器元件在由第一傳感器元件獲 得的成像數(shù)據(jù)的第一部分中生成的噪聲的第一傳感器相關(guān)模型；W及由第二傳感器元件在 由第二傳感器元件獲得的成像數(shù)據(jù)的第二部分中生成的噪聲的第二傳感器相關(guān)模型，第一 傳感器相關(guān)噪聲模型與第二傳感器相關(guān)噪聲模型至少部分不同。
[0034] 在一些實施方式中，使參數(shù)化模型適合于成像數(shù)據(jù)包括：使用統(tǒng)計估算來使參數(shù) 化模型適合于成像數(shù)據(jù)。
[0035] 在一些實施方式中，該方法還包括：確定第一傳感器相關(guān)噪聲模型和第二傳感器 相關(guān)噪聲模型中的每一個的一個或更多個相應(yīng)參數(shù)的一個或更多個值；W及使用第一傳感 器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模型中的每一個的至少一個參數(shù)值來識別成像數(shù) 據(jù)的至少一個子集W進行進一步處理，其中，使用統(tǒng)計估算來使參數(shù)化模型適合于成像數(shù) 據(jù)包括：估算參數(shù)化模型的一個或更多個相應(yīng)參數(shù)的一個或更多個值；W及利用相應(yīng)的所 估算出的一個或更多個值來表征成像數(shù)據(jù)的至少一個子集與具有一個或更多個參數(shù)的參 數(shù)化模型之間的適合度。
[0036] 在一些實施方式中，方法還包括：確定第一傳感器相關(guān)噪聲模型和第二傳感器相 關(guān)噪聲模型中的每一個的一個或更多個相應(yīng)參數(shù)的一個或更多個值，并且第一傳感器相關(guān) 噪聲模型的一個或更多個參數(shù)值與第二傳感器相關(guān)噪聲模型的一個或更多個參數(shù)值至少 部分不同。
[0037] 在一些實施方式中，第一傳感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模型中的每 一個包括高斯概率分布函數(shù)，并且確定第一傳感器相關(guān)噪聲模型和第二傳感器相關(guān)噪聲模 型中的每一個的一個或更多個參數(shù)值包括：確定由第一傳感器元件生成的噪聲的偏移量、 由第一傳感器元件生成的噪聲的方差和/或第一傳感器元件的增益，作為第一傳感器相關(guān) 噪聲模型的高斯概率分布函數(shù)的一個或更多個參數(shù)值；W及確定由第二傳感器元件