專利名稱：一種室外場景光照參數(shù)恢復(fù)裝置及其工作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及室外場景光照參數(shù)恢復(fù)，尤其涉及一種室外場景光照參數(shù)恢復(fù)裝置及
其工作方法。
背景技術(shù)：
E. Nakamae于1986年首次提出將一個計算機生成的虛擬物體合成到真實場景的 照片中[NHIN86]。作者通過用戶簡單交互場景中一些漫射材質(zhì)的陰影點和非陰影點建立方 程組分別求解出太陽光和天空光的紅、綠、藍(lán)色道的數(shù)值，再用恢復(fù)出來的這兩個光源繪制 虛擬物體，使虛擬物體和真實照片的光照看起來一致。這種方法對于一幀或者幾幀圖像的 光照恢復(fù)尚具可操作性，對于在線的視頻流則無法進行交互操作，從而完全無法進行處理。 此后，由于場景的外貌很大程度上受到入射光照的影響，在逆向繪制、從明暗恢復(fù)形狀以及 本征圖像分析等領(lǐng)域，都有一些獲取光照參數(shù)的工作。下面對這些方法進行簡單的介紹。
1、逆向繪制 在逆向繪制中，為了避免直接求解的復(fù)雜性，[LDR2000]采用手工測量的方法獲得
室內(nèi)場景中光源的位置、顏色和強度大小。借助于儀器，這種方法可以獲得較為準(zhǔn)確的光照
參數(shù)。但是顯而易見，這種方法對于獲取室外光照是不可行的。為了獲得復(fù)雜場景和復(fù)雜
光照環(huán)境下的光照參數(shù)，[DYB98]提出一種基于圖像的方法。該方法把一個鏡面球放入場
景中來獲得鏡面球所在處的全向(360° )入射光，通過對鏡面球拍攝若干張曝光度不同的
圖像，可以獲得場景的全向的高動態(tài)范圍的光照，把這幅圖像映射到球面或者立方體上就
可以對虛擬物體進行繪制。這種基于圖像的光照環(huán)境的獲取方法在繪制算法中得到了廣泛
的應(yīng)用，極大地方便了復(fù)雜環(huán)境下光照環(huán)境的獲取。但是，這種方法并不適合于恢復(fù)室外場
景的光照環(huán)境。原因有兩個1)、室外光照中，晴朗天氣下太陽光的強度非常大，對現(xiàn)有相機
而言，即使采用最小曝光速度，太陽在鏡面球上的反射光仍然會過飽和，難以恢復(fù)太陽光的
正確亮度，導(dǎo)致光照恢復(fù)的失敗。2)、室外場景中經(jīng)常有云飄過，或者有微風(fēng)拂過，這樣難以
保證用不同曝光度拍攝的多張照片的像素是完全靜止或者是完全對齊的，因此獲得的高動
態(tài)范圍圖像往往不準(zhǔn)確。 2、基于物理的方法 圖像里一個物體的外貌是由物體表面的材質(zhì)屬性(BRDF)，物體幾何以及光照共 同決定的。如果已知場景的幾何和材質(zhì)屬性，則可以求解場景的光照。這種基于物理的求 解方法往往利用圖像像素的亮度信息、陰影、關(guān)鍵點等來求取光照參數(shù)。采用可控光源， [NKGR06]將一張場景圖像分解成兩張圖像，分別為直射光照射下的場景圖像和全局光照 下的場景圖像。此外，在sh即e from shading中也有一些工作恢復(fù)場景的光照參數(shù)，如 [SJ08]。上述基于物理模型的光照求解方法在室內(nèi)環(huán)境下如可控的實驗室內(nèi)能取得令人滿 意的效果。但是，由于這些方法大都需要場景的三維建模，因此不適合于室外場景的光照分 析 3、本征圖像分析
近年來，本征圖像分析受到越來越多的計算機圖形和計算機視覺研究者的關(guān)注 [TFA05]。本征圖像分解技術(shù)將一張自然圖像分解成一張材質(zhì)圖像(本征圖像)和一張光 照圖像，其中光照圖像是光照參數(shù)與場景幾何的乘積。本征圖像分析的主要用途是提取出 場景中光照不變的量即材質(zhì)屬性，可以允許用戶對材質(zhì)圖像做進一步的編輯操作等。由于 光照圖像是光照參數(shù)與場景幾何的乘積，因此這種方法并不能顯式地求解出光照參數(shù)。此 外，現(xiàn)有的從單幅圖像里恢復(fù)場景的本征圖像技術(shù)還不夠魯棒和精確，而且計算復(fù)雜度較 高，不能實時進行。
4、室外場景的光照分析 近年來，室外場景的光照分析越來越受到人們的重視，[SMPR07]將一個靜態(tài)場景 隨時間流逝而拍攝的視頻體分解成3幅材質(zhì)圖像，兩個基曲線，以及一個可壓縮的陰影表 示，視頻體里任意張圖像都可以由上述要素重構(gòu)出來。由于受到假設(shè)條件的影響，即認(rèn)為在 晴朗天氣條件下，所有像素的外貌向量在差了一個偏移量和一個尺度因子的意義下是相同 的，因此這種方法只適合用于晴朗天氣下的視頻分解。進一步的，[SRM08]提出將室外光源 的顏色分布表示為三維線性空間中的一個二維線性子空間，通過陰影提取等方法獲得場景 光源的色度。上述兩種方法對室外場景圖像進行了分析，但是沒有求出明確的光照參數(shù)且 沒有用光照參數(shù)對虛擬物體進行繪制。此外，由于這兩種方法是在視頻體上進行求解的，因 此只適用于對視頻進行后處理，不能在線實時處理視頻。 與本發(fā)明最為相關(guān)的工作是[AJM06]。這篇文章的目標(biāo)也是向一個真實的場景中 添加虛擬物體，當(dāng)場景的光照變化時能實時的改變虛擬物體的光照。該工作把太陽光模擬 為平行光，天空光模擬為泛光，通過對場景建立3D模型，可以確定出圖像上每一個像素所 對應(yīng)的場景點，將室外光照模擬為Phong模型，建立方程組求解太陽光和天空光的值。通過 在離線階段進行一系列的預(yù)處理，并采用基于圖像的繪制方法，使得對虛擬物體的嵌入可 以達(dá)到實時的效果。這種方法的缺點是需要已知場景的三維模型，而如前所述室外場景的 建模非常困難，因此在實際應(yīng)用中具有很大的局限性。 室外場景的光照分析主要存在兩個方面的挑戰(zhàn)(1)幾何復(fù)雜性。與室內(nèi)場景相 比，室外場景的規(guī)模要大得多。另外，室外場景通常包括一些造型復(fù)雜如樹木、地形等難以 建模的物體。而現(xiàn)有的室內(nèi)光照算法一般都要求已知場景的三維表示，因此室內(nèi)的光照分 析方法并不適合于室外場景的光照分析。(2)光照復(fù)雜性。室外場景中的自然光源(太陽 光和天空光)具有一些特殊的屬性，如室外場景的光照受云層、天氣條件的影響較大，而且 不能人為控制，由于場景結(jié)構(gòu)復(fù)雜直接根據(jù)精確的光照明模型來反求光照參數(shù)難以進行， 更難以滿足實時性要求。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種室外場景光照參數(shù)恢復(fù)裝置及 其工作方法。該裝置簡便易行，由一臺計算機及一臺攝像機構(gòu)成。該方法在不需要已知三 維場景的幾何信息和材質(zhì)信息的前提下，能實時地獲取室外場景的光照參數(shù)，使得計算機 生成的虛擬物體可以無縫地融合到任意時刻的真實場景的圖像序列中。光照參數(shù)是指太陽 光和天空光的亮度值。 —種室外場景光照參數(shù)恢復(fù)裝置，包括計算機和攝像機，計算機和攝像機通過數(shù)據(jù)線連接。 —種室外場景光照參數(shù)恢復(fù)裝置的工作方法，方法如下 1)攝像機拍攝場景的一張陰天圖像，作為天空光基圖像，并輸入計算機； 2)根據(jù)天空光基圖像，采用交互的方式確定天空光亮度值的單位； 3)攝像機拍攝任意天氣情況下場景的圖像序列，實時傳送至計算機，計算機對當(dāng)
前幀進行處理； 4)通過權(quán)重函數(shù)計算當(dāng)前幀的每一像素所對應(yīng)的權(quán)重值；
5)根據(jù)當(dāng)前幀所有像素所對應(yīng)的權(quán)重值計算天空光亮度值； 6)當(dāng)前幀圖像的像素值減去天空光亮度值與天空光基圖像對應(yīng)像素值的乘積，得 到當(dāng)前幀圖像對應(yīng)像素的太陽光分量值； 7)判斷當(dāng)前幀是否為圖像序列的第一幀？是，則令太陽光亮度值為l，太陽光分 量值即為太陽光基圖像；否，則用當(dāng)前幀圖像的太陽光分量除以太陽光基圖像得到太陽光 亮度值，通過當(dāng)前幀圖像的太陽光分量值，得到更新的太陽光基圖像； 8)判斷當(dāng)前幀是否為最后一幀？是，工作結(jié)束；否，則下一幀作為當(dāng)前幀，重復(fù)步 驟(3)至(7)。 具體介紹本發(fā)明的五個方面 1)室外光照場景下的圖像線性表示模型 在太陽光為平行光源，天空光為均勻分布的面光源的假設(shè)下，室外場景中任一三 維點x處的光亮度L(x， A)都可表示成由太陽光照射的亮度部分C，(x， A)與由天空光照 射的亮度部分c;ky(x， A)的線性組合。I(x， A)為圖像像素x在A通道的像素值，其中入 =1，2，3分別為紅、綠、藍(lán)三個顏色通道，有 I(x， A) =L，(A)Csun(x， A )+Lsky ( A ) Csky (x ， A) (1) 在上式中，C，(x， A)、Csky(x， A)分別表示x處的陰影、幾何以及x處關(guān)于天空光 和太陽光的遮擋關(guān)系的綜合效果。對于給定的太陽方位，無論太陽光和天空光怎么變化，這 兩項是確定不變的，因此分別將其稱為太陽光和天空光的基圖像。 一般情況下，由于天空光 的泛光特性，其基圖像對任意太陽方位均保持不變。任意一幅室外場景的圖像可以表示成 太陽光基圖像和天空光基圖像的線性組合。
2)天空光基圖像的獲取 由攝像機拍攝一張場景在陰天的圖像，作為該場景的天空光基圖像Csky(x，入)。
3)根據(jù)太陽光基圖像的特點求解每一幀的天空光亮度值 記有在任意時刻拍攝的當(dāng)前幀圖像I(x， A)，計算當(dāng)前幀圖像的每一像素的權(quán)重 值^(;i),其權(quán)重函數(shù)為^(義)1—^',min(l,ln(l + C^(x,;i)/")。再對下面的能量函數(shù)對
不同的顏色通道A分別求最小解以獲取參數(shù)a(A):
<formula>formula see original document page 5</formula> ( 2 ) 其中Q為I(x)中所有像素的集合，則有L浙(A) =a(A)。在本方法中，對于灰
度級為255的圖像，一般取巧=r2 = 18。 4)根據(jù)恢復(fù)出的天空光亮度值，恢復(fù)太陽光亮度值
在恢復(fù)出天空光亮度Lsky(A)后，即可從公式(1)中求解出當(dāng)前幀的太陽光分量 值L，(入)C，(x， A)。因為太陽繞著赤道面緩慢運動，在線圖像序列中兩幀相鄰圖像的太 陽位置相差很小，因此認(rèn)為相鄰兩幀的太陽光基圖像是相同的。如果當(dāng)前幀為第一幀，則其
太陽光分量值L，(A)C，(x， A)為其太陽光基圖像(故相對太陽光亮度為i)，記為c;J(x，
入)；否則，用當(dāng)前幀的太陽光分量值除以第一幀的太陽光基圖像cj(x， A)就可以得到當(dāng) 前幀的太陽光亮度值，而當(dāng)前幀太陽光分量L，(A)C，(x， A)除以太陽光亮度便能獲得當(dāng)
前幀的太陽光基圖像，并將其作為新的太陽光基圖像。 5)本發(fā)明定義的如式(2)所示的目標(biāo)函數(shù)具有如下三個特點 a)使用圖像I(x)中的所有像素來求解天空光亮度值Lsky(A)，而非使用單個像素
求解，提高了算法對噪聲的魯棒性。另一方面，雖然按照定義C，(x，入)應(yīng)為非負(fù)值，但考
慮到圖像噪聲易出現(xiàn)在陰影區(qū)域，因此目標(biāo)函數(shù)要求目標(biāo)函數(shù)在一個平方意義下最小，進
一步提高了算法對噪聲的魯棒性。 b)無需對I(x)進行明確的二值陰影檢測，使用一個權(quán)值函數(shù)控制不同亮度的像
素在目標(biāo)函數(shù)中的權(quán)重。 c)目標(biāo)函數(shù)具有解析解
<formula>formula see original document page 6</formula> 本發(fā)明與背景技術(shù)相比較，其優(yōu)點在于 本發(fā)明采用基于圖像的線性模型方法，不需要場景的三維幾何信息，因而避免了 對大規(guī)模室外場景進行重建時面臨的種種技術(shù)挑戰(zhàn)，使光照恢復(fù)方法更為實用。該方法在 初始設(shè)定完成后，在在線階段不需要人機交互處理，從而保證了方法可以處理視頻流。由于 保證了光照一致性，虛擬物體可以無縫融合到真實場景的背景視頻序列中。


圖l是方法的流程圖。
圖2裝置的示意圖。
具體實施例方式
下面結(jié)合附圖和實例對本發(fā)明作進一步說明。
實施例 —種室外場景光照參數(shù)恢復(fù)裝置，如圖2所示，包括計算機和攝像機，計算機和攝 像機通過數(shù)據(jù)線連接。 —種室外場景光照參數(shù)恢復(fù)裝置的工作方法，如圖1所示，方法如下 1)攝像機拍攝場景的一張陰天圖像，作為天空光基圖像，并輸入計算機； 2)根據(jù)天空光基圖像，采用交互的方式確定天空光亮度值的單位； 3)攝像機拍攝任意天氣情況下場景的圖像序列，實時傳送至計算機，計算機對當(dāng)
前幀進行處理； 4)通過權(quán)重函數(shù)計算當(dāng)前幀的每一像素所對應(yīng)的權(quán)重值；
5)根據(jù)當(dāng)前幀所有像素所對應(yīng)的權(quán)重值計算天空光亮度值；
6)當(dāng)前幀圖像的像素值減去天空光亮度值與天空光基圖像對應(yīng)像素值的乘積，得 到當(dāng)前幀圖像對應(yīng)像素的太陽光分量值； 7)判斷當(dāng)前幀是否為圖像序列的第一幀？是，則令太陽光亮度值為l，太陽光分 量值即為太陽光基圖像；否，則用當(dāng)前幀圖像的太陽光分量除以太陽光基圖像得到太陽光 亮度值，通過當(dāng)前幀圖像的太陽光分量值，得到更新的太陽光基圖像； 8)判斷當(dāng)前幀是否為最后一幀？是，工作結(jié)束；否，則下一幀作為當(dāng)前幀，重復(fù)步 驟(3)至(7)。
權(quán)利要求
一種室外場景光照參數(shù)恢復(fù)裝置，包括計算機和攝像機，其特征在于，計算機和攝像機通過數(shù)據(jù)線連接。
2. 權(quán)利要求1所述的一種室外場景光照參數(shù)恢復(fù)裝置的工作方法，其特征在于，工作 方法如下1) 攝像機拍攝場景的一張陰天圖像，作為天空光基圖像，并輸入計算機；2) 根據(jù)天空光基圖像，采用交互的方式確定天空光亮度值的單位；3) 攝像機拍攝任意天氣情況下場景的圖像序列，實時傳送至計算機，計算機對當(dāng)前幀 進行處理；4) 通過權(quán)重函數(shù)計算當(dāng)前幀的每一像素所對應(yīng)的權(quán)重值；5) 根據(jù)當(dāng)前幀所有像素所對應(yīng)的權(quán)重值計算天空光亮度值；6) 當(dāng)前幀圖像的像素值減去天空光亮度值與天空光基圖像對應(yīng)像素值的乘積，得到當(dāng) 前幀圖像對應(yīng)像素的太陽光分量值；7) 判斷當(dāng)前幀是否為圖像序列的第一幀？是，則令太陽光亮度值為l，太陽光分量值 即為太陽光基圖像；否，則用當(dāng)前幀圖像的太陽光分量除以太陽光基圖像得到太陽光亮度 值，通過當(dāng)前幀圖像的太陽光分量值，得到更新的太陽光基圖像；8) 判斷當(dāng)前幀是否為最后一幀？是，工作結(jié)束；否，則下一幀作為當(dāng)前幀，重復(fù)步驟 (3)至(7)。
全文摘要
本發(fā)明公開了一種室外場景光照參數(shù)恢復(fù)裝置及其工作方法。該裝置由一臺計算機和一臺攝像機構(gòu)成。其基本工作方法是由攝像機拍攝室外場景的圖像或視頻流，輸入至計算機，由計算機進行處理，然后輸出場景的光照參數(shù)的恢復(fù)結(jié)果。該過程分為預(yù)處理階段和在線階段。該裝置的工作原理是任意一張室外場景圖像均可表示成太陽光和天空光基圖像的線性組合，從而將圖像中太陽光和天空光入射光亮度值的恢復(fù)問題歸結(jié)為一個可實時求解的最優(yōu)化問題。該方法不需要場景的三維幾何信息和材質(zhì)信息，可實時獲取室外場景中的太陽光和天空光入射光亮度值。本方法除了可以直接用于增強現(xiàn)實系統(tǒng)，還可用作室外場景視頻序列處理如圖像分割、模式識別等的預(yù)處理。
文檔編號G06T15/50GK101739710SQ20091022998
公開日2010年6月16日 申請日期2009年11月30日 優(yōu)先權(quán)日2009年11月30日
發(fā)明者劉艷麗, 彭群生, 秦學(xué)英, 邢冠宇 申請人:山東大學(xué)