混合圖像分解和投影的制作方法
【專利摘要】混合圖像投影系統(tǒng)和方法可以疊加輸入圖像的圖像分量。輸入圖像可以被劃分成更小分區(qū)，并且可以確定每個分區(qū)的至少一個參數(shù)?？梢曰诿總€分區(qū)的參數(shù)將輸入圖像分解成多個更少相關(guān)的正交或者或者準正交圖像分量。每個投影儀可以顯示相應(yīng)圖像分量，從而可以在屏幕上光學疊加投影的圖像。正交或者準正交圖像分量的疊加可以導致在現(xiàn)有多投影儀圖像系統(tǒng)中的圖像疊加對投影儀間圖像未對準更不敏感。疊加正交或者準正交圖像可以用來避免可見圖像退化，并且在多投影儀系統(tǒng)實現(xiàn)中提供更健壯的圖像質(zhì)量。
【專利說明】混合圖像分解和投影
[0001]有關(guān)申請的交叉引用
[0002]本申請要求標題為“Hybrid Projection for Enhanced Mult1-ProjectorDisplay(用于增強的多投影儀顯示的混合投影)”、于2012年8月16日提交的第61/575，117號美國臨時申請的優(yōu)先權(quán)，其整體通過引用包含于此。
【技術(shù)領(lǐng)域】
[0003]本申請主要地涉及圖像投影系統(tǒng)并且更具體地(但是未必唯一地)涉及可以輸出相互正交或者準正交的圖像分量以用于在顯示時疊加的圖像投影系統(tǒng)。
【背景技術(shù)】
[0004]多投影儀系統(tǒng)可以用來疊加圖像以實現(xiàn)各種益處，諸如更高亮度、無閃爍圖像和具有大量減少的紗門效應(yīng)的圖像。當前多投影儀系統(tǒng)需要非常準確的投影儀間(即在投影儀之間)圖像配準到子像素水平以實現(xiàn)可以從單投影儀系統(tǒng)實現(xiàn)的類似圖像銳度。使用扭曲引擎以將一個投影的圖像扭曲到另一投影的圖像上的當前多投影系統(tǒng)可以在低于一個像素的精度內(nèi)這樣做。然而圖像配準精度可能由于系統(tǒng)測量誤差、光學非均勻性、隨時間的熱漂移和投影儀機械振動而退化。問題可能在投影圖像的分辨率為諸如4096x2160 (4K)或者更高時而惡化，因為這種分辨率可能需要用更精細空間對準精度來疊加。
[0005]可能在疊加的圖像中造成圖像退化的另一問題可能在扭曲一個圖像以與另一圖像匹配時出現(xiàn)，因為扭曲可能具有由數(shù)字像素再采樣引起的圖像質(zhì)量限制。數(shù)字圖像再采樣引起的圖像退化可能由于在再采樣期間的或多或少高頻信息損失而使圖像顯得更柔和、更少銳利。
[0006]當多投影中從投影儀疊加甚至更多投影的圖像以進一步增加疊加的圖像的動態(tài)亮度范圍時，在投影的圖像之間的對準精度可能變得更有挑戰(zhàn)性。在這樣的系統(tǒng)中，特別是如果投影的圖像來自具有不同圖像投影分辨率的投影儀，則疊加的圖像中的圖像可能更容易遭受對準退化，并且限制將在多投影系統(tǒng)中利用增加的投影儀數(shù)目實現(xiàn)的潛力。
[0007]希望提供系統(tǒng)和方法，其可以容許疊加的投影的圖像的更大程度的圖像對準誤差而又允許感知的疊加的圖像具有與如同從一個投影儀所投影的相同的圖像質(zhì)量。

【發(fā)明內(nèi)容】

[0008]某些方面和特征涉及輸出輸入圖像的圖像分量以用于疊加，其中圖像分量相互正交或者準正交。
[0009]在一個方面中，提供一種用于轉(zhuǎn)換用于混合圖像投影系統(tǒng)的輸入圖像數(shù)據(jù)的方法。輸入圖像數(shù)據(jù)代表輸入圖像?；谳斎雸D像的內(nèi)容將輸入圖像數(shù)據(jù)劃分成至少兩個圖像分區(qū)。確定用于圖像分區(qū)的參數(shù)，其中針對圖像分區(qū)中的每個圖像分區(qū)確定至少一個參數(shù)。通過基于參數(shù)分解輸入圖像來產(chǎn)生第一圖像分量和第二圖像分量。第一圖像分量與第二圖像分量正交或者準正交。第一圖像分量由第一顯示設(shè)備顯示。第二圖像分量由第二顯示設(shè)備顯示。第二圖像分量疊加于第一圖像分量上以產(chǎn)生最終圖像。
[0010]在另一方面中，提供一種多投影儀系統(tǒng)。該多投影儀系統(tǒng)包括輸入、處理器、第一系統(tǒng)功能模塊、第二系統(tǒng)功能模塊、第一投影儀和第二投影儀。輸入可以接收代表圖像的輸入圖像數(shù)據(jù)。處理器可以處理輸入圖像數(shù)據(jù)。處理器可以通過如下基于輸入圖像數(shù)據(jù)來輸出第一圖像分量和第二圖像分量:基于圖像內(nèi)容將圖像劃分成圖像分區(qū)并且將圖像劃分成第一圖像分量和與第一圖像分量正交或者準正交的第二圖像分量。第一系統(tǒng)功能模塊可以修改第一圖像分量。第二系統(tǒng)功能模塊可以修改第二圖像分量。第一投影儀可以顯示修改的第一圖像分量。第二投影儀可以顯示在修改的第一圖像分量上疊加的修改的第二圖像分量。
[0011]提到這些示例方面和特征不是為了限制或者限定本發(fā)明而是提供用于輔助理解在本公開內(nèi)容中公開的發(fā)明概念。本發(fā)明的其他方面、優(yōu)點和特征將在回顧整個公開內(nèi)容之后變得清楚。
【專利附圖】

【附圖說明】
[0012]圖1是根據(jù)一個方面的用于混合圖像投影系統(tǒng)的方法的流程圖。
[0013]圖2是根據(jù)一個方面的圖像分解過程的多級結(jié)構(gòu)和層級的流程圖。
[0014]圖3是根據(jù)一個方面的使用改型經(jīng)驗模式圖像分解(MEMD)的混合圖像投影系統(tǒng)的圖像處理步驟的流程圖。
[0015]圖4圖示根據(jù)某些方面的用于基于分區(qū)的自適應(yīng)圖像分解的圖像分區(qū)子劃分。
[0016]圖5是根據(jù)一個方面的MEMD方法的一維(ID)橫截面示例的圖表。
[0017]圖6是圖示來自根據(jù)一個方面的MEMD方法的圖像分解的二維(2D)示例圖片。
[0018]圖7描繪根據(jù)一個方面的使用MEMD在一個級別的圖像分解的ID示例的圖表。
[0019]圖8是圖示在來自在未對準之下的傳統(tǒng)投影的結(jié)果和根據(jù)一個方面的混合圖像投影的結(jié)果之間的疊加的圖像質(zhì)量比較的圖片。
[0020]圖9a_圖9e圖示在根據(jù)某些方面的MEMD方法中使用回退操作時的條件。
[0021]圖10是根據(jù)一個方面的其中處理三分量彩色圖像的MEMD方法的流程圖。
[0022]圖11是根據(jù)一個方面的具有雙投影儀的混合圖像投影系統(tǒng)的系統(tǒng)圖。
【具體實施方式】
[0023]本發(fā)明的某些方面涉及混合圖像投影方法和多投影儀系統(tǒng)。取代如在傳統(tǒng)疊加多投影儀系統(tǒng)中那樣向每個投影儀發(fā)送高度相關(guān)的相同圖像，根據(jù)一些方面的一種混合圖像投影儀可以將輸入圖像劃分成更小分區(qū)并且確定每個分區(qū)的至少一個參數(shù)，然后基于每個分區(qū)的參數(shù)將輸入圖像分解成多個更少相關(guān)的正交或者準正交圖像分量。每個投影儀可以顯示相應(yīng)圖像分量，從而可以在屏幕上光學疊加投影的圖像。即使正交或者準正交圖像的基本性質(zhì)可以不同于原始圖像的基本性質(zhì)，但是在疊加正交或者準正交圖像時，圖像質(zhì)量可以與在理想地疊加原始圖像時基本上相同，或者比在多投影儀系統(tǒng)中略微未對準疊加的原始圖像時更好。正交或者準正交圖像的疊加可以導致在現(xiàn)有多投影儀圖像系統(tǒng)中的圖像疊加對投影儀間圖像未對準更不敏感。疊加正交或者準正交圖像可以用來避免可見圖像退化，并且在多投影儀系統(tǒng)實現(xiàn)中提供更健壯的圖像質(zhì)量。[0024]通過將扭曲處理應(yīng)用于具有較低空間頻率的圖像分量并且讓具有較高空間頻率的圖像分量未扭曲，有可能即使在理想投影儀間對準的條件下仍能增加圖像保真。此外，總系統(tǒng)圖像強度分辨率(有時稱為用于每種顏色的數(shù)字動態(tài)范圍)可以按照至少投影儀總數(shù)的因子而增加。增加圖像強度分辨率可以減少色帶贗像，也稱為彩色輪廓贗像。色帶贗像可以在顏色和/或亮度的階躍改變由于低顏色或者亮度分辨率而可見時出現(xiàn)。條帶贗像可能在使用非常高對比度和高亮度投影儀時顯著。根據(jù)一些方面的系統(tǒng)和方法可以提供用于混合異構(gòu)投影儀、諸如具有不同圖像質(zhì)量性能特性(例如不同空間分辨率或者亮度流明或者對比度)的投影儀的靈活性。在立體雙投影儀系統(tǒng)中，混合圖像投影也可以去耦合在用于2D和3維(3D)顯示的不同光源功率電平運行系統(tǒng)的照明控制。利用混合圖像投影系統(tǒng)，可以實現(xiàn)獨立于用于2D演示的最優(yōu)設(shè)置來調(diào)整3D光電平以更好地滿足對于3D演示的亮度需求的靈活性。對于2D演示，混合圖像投影方法可以在由多個投影儀顯示疊加的圖像并且在疊加的圖像之間存在空間未對準時提高顯示的圖像質(zhì)量的健壯性。例如，使用根據(jù)某些方面的混合圖像投影方法的雙投影系統(tǒng)可以顯示更好的圖像質(zhì)量，或者至少顯示與顯示疊加的相同圖像中的兩個圖像的雙投影系統(tǒng)相同的圖像質(zhì)量。用于顯示疊加的圖像的混合圖像投影方法和系統(tǒng)可以避免產(chǎn)生比疊加相同圖像的傳統(tǒng)投影更差的圖像質(zhì)量。在多投影顯示系統(tǒng)中使用混合圖像投影方法可以是一種用于提高圖像質(zhì)量的低風險解決方案?；旌蠄D像投影可以使得多投影系統(tǒng)能夠組合來自多投影系統(tǒng)和單投影系統(tǒng)二者的益處而又避免二者的缺點。例如，混合圖像投影系統(tǒng)可以創(chuàng)建疊加的圖像，其中圖像銳度類似于單個投影儀投影的圖像的圖像銳度，但是卻可以有增加的圖像亮度和減少的圖像紗門贗像。
[0025]給出這些示意性示例以向讀者介紹這里討論的主要主題內(nèi)容而未旨在于限制任何權(quán)利要求的范圍。以下段落參照附圖描述各種附加方面和示例。
[0026]圖1是圖示根據(jù)一個方面的用于混合圖像投影系統(tǒng)的方法的框圖?；旌蠄D像投影系統(tǒng)可以是包括多于一個投影儀的投影系統(tǒng)。每個投影儀可以是相同類型或者各自可以是不同類型。對于具有η個投影儀的多投影儀顯示系統(tǒng)，η個投影儀可以顯示圖像并且為屏幕上的最終圖像做貢獻?？梢辕B加η個圖像以提升圖像亮度。在傳統(tǒng)雙數(shù)字投影系統(tǒng)中，每個投影儀是相同類型、顯示相同圖像并且需要校準過程以準確地對準圖像。周期性地重復校準過程以維持最優(yōu)圖像顯示性能。在已經(jīng)最優(yōu)地校準投影系統(tǒng)之后，在扭曲操作中執(zhí)行的數(shù)字再采樣可能在屏幕上顯示的最終圖像中引入圖像細節(jié)損失。如果使用更多投影儀，則可能增加圖像細節(jié)損失。若干因素可能使得疊加的圖像之間的空間對準隨時間改變。這樣的因素可以包括熱振動和機械振動。根據(jù)一些方面的混合圖像投影方法可以通過用處理器計算每個投影儀可以為疊加的圖像而顯示的不同圖像分量集來幫助減少改變對圖像質(zhì)量的影響。
[0027]如果被疊加的兩個圖像高度地相似并且在空間域中或者在頻域中具有相關(guān)的圖像信息，則由于它們的非正交性，表示可以高度地非零和重疊并且可能導致存在從一個圖像空間到另一圖像空間的大量信息分量重疊。從空間對準的略微移位可能在顯示的最終疊加的圖像中引起大量空間失真和寄生頻率分量。造成空間失真的此信息重疊可以從傅里葉變換理論方面進行解釋。
[0028]在線性系統(tǒng)中，如果兩個圖像在空間域中疊加，則這兩個圖像也在頻域中疊加。傅里葉變換理論可以表明在空間域中的移位可以轉(zhuǎn)換為在頻域中對信號的傅里葉變換相乘的相移項。如果兩個信號在它們的傅里葉變換中非平凡地重疊，則這可能向最終疊加的信號(即圖像)添加失真。為了使系統(tǒng)對移位不敏感或者基本上不敏感，兩個信號可以具有最小化的頻率重疊。例如，如果兩個信號(即圖像分量)相互正交，則空間配準精度可以對最終疊加的信號具有最小影響。如果它們準正交，則可以減少對空間相對移位的敏感度。
[0029]如果兩個圖像信號被正規(guī)化并且兩個圖像信號的空間2D卷積(數(shù)學上也稱為內(nèi)積或者點積)接近常數(shù)或者0，則這兩個圖像信號可以稱為相互正交或者準正交。當兩個傅里葉變換的相乘接近除了在頻率零之外各處均為零的增量(delta)函數(shù)時，也可以表示正交關(guān)系。兩個正交或者準正交圖像通?？梢员憩F(xiàn)出在空間域中的更少相似性和在頻域中的更少不相交性。
[0030]假設(shè)兩個圖像是f和g，每個圖像的傅里葉變換分別是F和G。正交性測量可以是(f*g) (X) =ff f (y)g(x_y)dy = c或者F *G = c δ (ω)。圖像數(shù)據(jù)可以由計算機生成或者用諸如相機中的圖像傳感器捕獲?？梢陨捎捎嬎銠C生成的圖像數(shù)據(jù)，從而在根據(jù)一些方面的混合圖像投影方法應(yīng)用于該計算機生成的圖像數(shù)據(jù)時，可以計算理想正交圖像分量以供顯示。在一些情形中，圖像數(shù)據(jù)未使得有可能生成理想正交圖像分量并且可以有可能通過使得(f*g) (X) ^ c或者F *G ~ c δ (ω)而生成準正交圖像分量。為了疊加一對準正交圖像，可以大大降低圖像質(zhì)量對空間移位的敏感度。正交性的測量可以應(yīng)用于當兩個信號之一未被正確地正規(guī)化在O至I的范圍中時的例外情況。在這一情況下，以上正交性測量仍然可以用來評估移位不敏感度。
[0031]例如，一個圖像F僅包含低頻信息(即它不具有在閾值頻率ωτ以上的任何信息)，并且存在另一理想圖像G，該理想圖像僅包含高頻信息，使得它不具有在ωτ以下的任何信息。由于兩個圖像的點積F.G = O,所以F和G是正交圖像。在兩個疊加的正交圖像之間的空間相對移位可以對最終顯示的圖像質(zhì)量具有最小影響。只要F *G很小(因此準正交)，低頻圖像和高頻圖像可以對疊加中的少量配準誤差不敏感。然而可能難以獲得這樣的兩個圖像分量，其中一個僅有在ωτ以上的頻率分量而一個具有在ωτ以下的頻率分量。
[0032]在另一示例中，在閾值頻率ωτ以下的圖像信息稱為低頻信息，并且在ωτ以上的圖像信息稱為高頻信息。F是僅包含在下閾值頻率與上閾值頻率之間的中頻分量(ωτ1至ωΤ2)的帶通圖像，其中(^在ωη與ωΤ2之間，并且另一圖像G包含在圖像F覆蓋的頻率以外的頻率，這些頻率包括在下頻率閾值ωτ1以下的頻率和在上頻率閾值ωΤ2以上的高頻。在這一情況下，F(xiàn)和G二者均包含低頻信息的某個部分和高頻信息的某個部分。通過調(diào)整閾值頻率ωτ1和oT2，F(xiàn)和G可以具有低頻能力和高頻能量的任何組合。F和G均不能具有顯著低頻信息或者高頻信息。利用這一示例圖像信號對，由于F.G也很小，所以對于在兩個疊加的圖像分量之間的對準誤差的敏感度可以由于準正交性而變得很低。
[0033]在另一示例中，圖像F是正規(guī)圖像，并且圖像G未被正規(guī)化、但是具有非常小的量值。由于F.G很小，所以可以降低對在兩個疊加的圖像分量之間的對準誤差的敏感度。
[0034]在另一示例中,兩個圖像F和G 二者都僅包含低頻信息(也即，圖像不具有在相同或者不同閾值頻率以上的任何信息)。取決于閾值頻率有多低，F(xiàn).G可以除了針對非常接近零的頻率之外都很小——與增量函數(shù)相似。由于這一準正交性，對在兩個疊加的圖像分量之間的對準誤差的靈敏度可以很低。
[0035]在另一示例中，兩個圖像F和G 二者均包含某個數(shù)量的低頻信息(即圖像具有在相同或者不同閾值頻率以下的信息)。一個圖像也具有高頻信息。在這一情況下，F(xiàn).G可以針對除了非常接近零的頻率之外都很小——與增量函數(shù)很像。由于這一準正交性，對在這兩個疊加的圖像分量之間的對準誤差的靈敏度可以很低。
[0036]在另一示例中，兩個圖像F和G 二者都僅包含高頻信息(即圖像不具有在相同或者不同閾值頻率以下的任何信息)。取決于閾值頻率有多低，F(xiàn).G可以在低頻附近很小而在更高頻率處很大。這些圖像可以相互更少正交，并且對在兩個疊加的圖像分量之間的對準誤差的靈敏度可能很高。
[0037]在另一示例中，一個圖像F包含范圍從低到高的正常頻率信息，并且另一圖像G是正規(guī)化的白噪聲圖像(即G恒定)。F *G可以與F成比例并且可能不會接近增量函數(shù)。圖像相互更少正交，從而對在兩個疊加的圖像分量之間的對準誤差的靈敏度也可能很高。
[0038]在根據(jù)一些方面的混合圖像投影儀中，處理器可以將輸入圖像分解成用于η投影儀投影系統(tǒng)的η個準正交圖像信號。這η個信號可以相互幾乎正交，從而在疊加的準正交圖像之間的空間對準的略微移位不會引起大的感知的圖像質(zhì)量退化。疊加的圖像的合成圖像可以具有與雙投影系統(tǒng)疊加的兩個原始圖像相同或者更好的圖像質(zhì)量，并且合成圖像可以比從單個投影儀顯示的原始圖像更亮。在混合投影儀中使用的圖像分解算法可以是在數(shù)學上準確的并且提供如下約束，該約束導致圖像分量值為非負并且在每個顯示器或者投影儀的亮度范圍能力內(nèi)。
[0039]在圖1中，從圖像播放服務(wù)器向可以實施根據(jù)一些方面的混合圖像投影方法的多投影儀顯示系統(tǒng)發(fā)送用于2D顯示的原始輸入圖像數(shù)據(jù)(105)。輸入圖像可以是伽馬校正并且可以視為在伽馬校正空間中。伽馬校正的圖像可以被伽馬解碼到線性顏色空間中(107)用于后續(xù)步驟和算法。在已經(jīng)將圖像數(shù)據(jù)轉(zhuǎn)換到線性空間之后，圖像分析算法可以用來確定可以如何基于圖像局部內(nèi)容將圖像劃分成多個圖像分區(qū)(110)。圖像分區(qū)可以具有相同大小或者不同大小。例如在一個方面中，3x3圖像像素方形分區(qū)可以用來將圖像劃分成規(guī)則的塊網(wǎng)格，從而導致每個圖像分區(qū)具有相同大小。在另一方面中，分區(qū)分解算法可以用來將圖像劃分成不規(guī)則的塊網(wǎng)格、諸如四叉樹結(jié)構(gòu)，其中較小分區(qū)可以在重紋理化的圖像區(qū)域中展現(xiàn)，稀疏、較大分區(qū)可以在相對平滑的圖像區(qū)域中出現(xiàn)?；趫D像分區(qū)的處理可以幫助調(diào)整圖像分解濾波器的參數(shù)以適應(yīng)于局部圖像內(nèi)容。例如，如果在圖像分解算法中使用空間低通濾波器，則此低通濾波器的截止頻率選擇可以與局部圖像內(nèi)容頻率分布成比例，從而得到最優(yōu)平衡的局部頻率分離，這可能對于減少贗像的異常像素有用。異常像素可以是相對于其他圖像像素具有顯著不同值的像素。較小分區(qū)可以允許更好地跟蹤局部高頻特征，而較大分區(qū)可以適合于稀疏特征和相對平滑的區(qū)域。基于圖像內(nèi)容將圖像劃分成分區(qū)可以提供最優(yōu)適應(yīng)于用于圖像分解算法的局部圖像內(nèi)容(115)并且將信號分解成最少相關(guān)和平衡的圖像分量，或者稱為準正交分量?；诜謪^(qū)的圖像準正交分量分解可以幫助減少可能回退像素的數(shù)目并且提高總圖像質(zhì)量?；赝讼袼乜梢允侨缦履切┫袼?，這些像素包含高頻圖像信息并且被假設(shè)在圖像分量之一中、但是具有超過正規(guī)化的最大閾值(顯示設(shè)備的約束)的值。對于回退像素，超過最大閾值的值數(shù)量可以回退到相對于最大閾值未飽和的其他圖像分量。回退像素可以是在未對準情況下在投影的圖像分量中的贗像的來源并且如果投影儀在亮度、顏色和像素大小上不均勻的話則是彩色贗像的來源。可以修改被標識為回退像素的像素以防止像素贗像在顯示的疊加的圖像中出現(xiàn)。[0040]塊(115)可以對于圖像分解有用。圖像分解可以包括自適應(yīng)圖像分解成每個投影儀可以顯示的多個準正交圖像分量。如前面描述的那樣，可以存在用于構(gòu)造準正交圖像分量集合的若干方法和方式。在一個方面中，可以使用改型經(jīng)驗模式分解(MEME)方法。然而也可以用相似方式應(yīng)用許多其他方法以實現(xiàn)準正交性分解。
[0041]在η投影儀系統(tǒng)中，在MEMD圖像分解之后，第一圖像分量Ltl可以包含具有低頻帶和高頻回退像素的組合的輸入圖像信息。包含在不同頻帶中的不同級別的細節(jié)信息的其他圖像分量可以被標識為U、L2至Hn_lt)以下關(guān)于圖2更具體描述根據(jù)一個方面的此其他圖像分量和圖像分量的層級的標識。每個圖像分量可以包括應(yīng)用于圖像分區(qū)內(nèi)的輸入圖像的局部自適應(yīng)濾波過程所產(chǎn)生的不同空間頻率分量。以下關(guān)于圖3更具體描述圖像分解算法的一種方法。
[0042]在將輸入圖像分解成多個分離分解的圖像分量之后，可以經(jīng)由分離的附加圖像處理路徑向分離的投影儀(130，135，137)提供每個圖像分量以供在屏幕上顯示。附加圖像處理路徑(120，125，127和140，145，147和130，135和137)中的每個圖像處理路徑可以用相似方式處理分離分解的圖像分量。每個分解的圖像分量可以首先在每個圖像分區(qū)內(nèi)在塊(120，125，127)處通過高動態(tài)范圍(HDR)取整函數(shù)R進行處理以提高整個混合圖像投影儀系統(tǒng)的亮度動態(tài)范圍表示能力或者顏色分辨率。HRD取整函數(shù)之后的分解的圖像分量可以通過用于投影儀間配準的基于像素的幾何扭曲過程來修改并且利用伽馬校正以供顯示。每個成員投影儀可以在塊130、135和137中接收和顯示每個處理和校正的圖像分量。塊180代表當圖像分量被投影并且在屏幕上光學疊加時的合成改進的圖像。
[0043]在一個方面中，可以在圖像處理設(shè)備或者圖像增強器硬件中實施塊107、110、115、120、125和127。塊130、135和137代表在每個投影儀內(nèi)的圖像處理，該圖像處理用于在屏幕上顯示圖像以產(chǎn)生合成圖像(180)。
[0044]圖2圖示根據(jù)一個方面的圖1中的塊115的圖像分解過程的多級結(jié)構(gòu)和層級。圖像分解核心算法可以是MEMD 分解算法。MEMD分解算法可以在多級中分解圖像。每級分解可以將輸入圖像(也稱為本征模式函數(shù)(MF))劃分成兩個圖像分量——一個是當前級、最小模式圖像，而另一個是下一級MF圖像。對于投影系統(tǒng)應(yīng)用，接收的輸入圖像數(shù)據(jù)(205)可以在線性空間中。對于雙投影儀系統(tǒng)，需要一級MEMD分解(210)。假設(shè)k代表分解級，k=0。第一圖像分量是Ltl (214)，第二圖像分量是Htl (215)。對于具有多于兩個投影儀的投影儀系統(tǒng)，MEMD可以繼續(xù)下一級k=l分解(220)以產(chǎn)生下一級第一圖像分量L1 (224)和第二級第二圖像分量H1 (225)。在這一級MEMD，前一級第二圖像分量H。變?yōu)楫斍凹壍腗F。在級別k=l，輸出三個分解的圖像分量，這些圖像分量是圖像分量Ltl (214)、L1 (224)和圖像分量H1 (225)。兩級MEMD可以用于三投影儀混合圖像投影系統(tǒng)。如果使用四個或者更多投影儀，則第三級或者更多MEMD可以用來生成新圖像分量(230)。在級別k=2，圖像分量H1 (225)可以變成用于下一級(級別k=3)分解的新MF，直至為每個投影儀生成圖像分量。對于η投影儀混合投影系統(tǒng)，η-1級MEMD圖像分解可以用來生成η個分解的圖像，這些圖像是L0 (214)、L1 (224)、L2'…Llri (234)和Hlri (235)。多級MEMD可以形成二元樹式分解層級，其中每個中間級生成輸出節(jié)點圖像Lk，最后一級MF細節(jié)圖像Hk除外，該MF細節(jié)圖像可以是輸出的節(jié)點圖像。
[0045]圖3圖示將改型經(jīng)驗模式圖像分解(MEMD)用于η投影儀系統(tǒng)的混合圖像投影的圖像處理步驟。假設(shè)來自播放服務(wù)器的輸入圖像數(shù)據(jù)在伽馬校正空間中，并且初始地，MEMD在第一級k=0 (305)，圖像可以首先被伽馬解碼并且被轉(zhuǎn)換成線性空間圖像X (307)。
[0046]在將圖像數(shù)據(jù)轉(zhuǎn)換到線性空間之后，可以在當前級k將在每個分區(qū)內(nèi)的圖像分解成兩個圖像分量。假設(shè)線性空間圖像是X，兩個圖像分量分別是L和H，并且最終疊加的圖像是2X，希望的圖像分解方法可以滿足以下各項:
[0047]I)正交性或者準正交性:分量的傅里葉變換滿足或者基本上滿足F(L).F(H)=δ (ω)；
[0048]2)關(guān)于原始圖像的圖像保真和完整:對于任何圖像像素位置p，L(p)+H(p)=2X(p)；
[0049]3)非負約束:L(p), H(p)>=0 ；
[0050]4)亮度實際限制:L(p)，H(p)〈=l ；
[0051]5)局部自適應(yīng):分解最優(yōu)地適應(yīng)于局部圖像性質(zhì)；以及
[0052]6)亮度平衡控制:mean(L) = α.mean⑶，其中“mean O ”代表圖像分量的平均亮度；α是將預定義并且大于零的期望比值。
[0053]在一個方面中，混合投影系統(tǒng)可以將空間域MEMD分解方法用于將圖像分解成兩個圖像分量(L和H)。在一些實現(xiàn)中，可以使用以下步驟:
[0054]I)對于給定的輸入2D圖像X，確定將其劃分成空間分區(qū)的最優(yōu)方式。
[0055]2)在每個預定義的空間分區(qū)內(nèi)，確定輸入圖像X的局部最小值及其位置；
[0056]3)確定平衡因子b并且通過將每個局部最小值乘以b來修改每個局部最小值。
[0057]4)將修改的局部最小值插值到低頻表面中作為第一圖像分量L，使得疊加的圖像2X的值不小于第一圖像分量L的值卿L=min (L，2X))。
[0058]5)從疊加的圖像2X的值減去圖像分量L的值以獲得第二圖像分量H的值(SPH=2X-L),該第二圖像分量可以與圖像分量L準正交，因為F (L) F⑶〈F (X)2，其中“F O ”代表傅里葉變換運算。
[0059]6)檢測在圖像分量H的值大于T時的分量值(其中T是X的最大可能值)，并且圖像分量H中的過量值回退到圖像分量L的值(即在L=L+max(H-T，0)時)。圖像分量H大于T時的情形可能很罕見。
[0060]以下描述基于利用MEMD分解的以上混合投影。使用預定義函數(shù)的圖像分析算法可以用來確定可以如何基于圖像局部內(nèi)容將圖像最優(yōu)地劃分成多個圖像分區(qū)(310)。圖像分區(qū)可以具有相同大小或者不同大小。例如在一個方面中，方形3x3像素分區(qū)可以用來將圖像劃分成規(guī)則的塊網(wǎng)格，從而導致每個塊圖像分區(qū)具有確切相同大小。在另一方面中，四叉樹結(jié)構(gòu)式分區(qū)分解算法可以用來將圖像劃分成不規(guī)則的塊網(wǎng)格，其中若干較小塊分區(qū)可以在重紋理化的圖像區(qū)域中出現(xiàn)，并且較大塊分區(qū)可以在相對平滑的圖像區(qū)域中出現(xiàn)。
[0061]在確定圖像分區(qū)之后，可以在每個分區(qū)或者塊分區(qū)內(nèi)標識用于每個分區(qū)的至少一個參數(shù)、例如2D局部最小值和那些最小值的位置(315)。如果圖像是彩色圖像，則可以針對彩色圖像中包括的每個顏色分量(例如RGB、XYZ)確定最小值?？梢詫⒆钚≈导捌湮恢枚x為與它們的圖像塊分區(qū)內(nèi)的最小值相等的值。這些值可以稱為2D局部最小值，并且它們的位置可以稱為局部最小位置。結(jié)果可以是2D不規(guī)則網(wǎng)狀網(wǎng)格Mk，該網(wǎng)格具有針對每個塊分區(qū)的已知局部最小值和該塊分區(qū)中的值位置，其中在塊分區(qū)中的其他位置具有未定義的值。這一網(wǎng)狀網(wǎng)格可以用來生成輸入2D圖像X的連續(xù)平滑下邊界表面并且可以是用于分解級k的第一圖像分量Lk的初始估計。
[0062]在塊320中，可以確定亮度平衡因子bk。亮度平衡因子bk可以用來自動控制在每個MEMD級k處對兩個分解的圖像分量L和H的平均圖像亮度的平衡。每級MEMD可以具有它自己的獨立亮度平衡因子。在雙投影儀系統(tǒng)的一個方面中，兩個分解的圖像分量L與H之間的平均圖像亮度可以相同或者相互很接近。對左投影儀和右投影儀的圖像亮度的平衡可以最小化在左投影儀與右投影儀之間的熱漂移，這可以最小化圖像配準或者對準誤差并且允許扭曲與系統(tǒng)最近被校準時一樣有效地工作。可以實現(xiàn)的另一益處在于左圖像與右圖像之間平衡的熱漂移可以最小化雙投影儀設(shè)置中的配準退化。在左投影儀與右投影儀之間不平衡的熱漂移可以造成不可預測的未對準退化?？梢葬槍γ糠N圖像顏色i如下計算用于分解級k的亮度平衡因子:.jnean(Mk,) 、, Λ
【權(quán)利要求】
1.一種用于轉(zhuǎn)換用于混合圖像投影系統(tǒng)的輸入圖像數(shù)據(jù)的方法，所述輸入圖像數(shù)據(jù)代表輸入圖像，所述方法包括: 基于所述輸入圖像的內(nèi)容將所述輸入圖像數(shù)據(jù)劃分成至少兩個圖像分區(qū)； 確定用于所述至少兩個圖像分區(qū)的參數(shù)，至少一個參數(shù)針對所述至少兩個圖像分區(qū)中的每個圖像分區(qū)而被確定； 通過基于所述參數(shù)分解所述輸入圖像來產(chǎn)生第一圖像分量和第二圖像分量，所述第一圖像分量與所述第二圖像分量正交或者準正交； 通過第一顯示設(shè)備顯示所述第一圖像分量；以及 通過第二顯示設(shè)備顯示所述第二圖像分量，所述第二圖像分量疊加于所述第一圖像分量上以產(chǎn)生最終圖像。
2.根據(jù)權(quán) 利要求1所述的方法，其中基于所述輸入圖像的內(nèi)容將所述輸入圖像數(shù)據(jù)劃分成至少兩個圖像分區(qū)包括:基于所述輸入圖像內(nèi)的圖像區(qū)域紋理細節(jié)將所述輸入圖像數(shù)據(jù)劃分成所述至少兩個圖像分區(qū)。
3.根據(jù)權(quán)利要求1或者2所述的方法，其中所述至少兩個圖像分區(qū)包括第一圖像分區(qū)和具有與所述第一圖像分區(qū)不同大小的第二圖像分區(qū)。
4.根據(jù)權(quán)利要求1、2或者3所述的方法，其中通過基于所述參數(shù)分解所述輸入圖像來產(chǎn)生所述第一圖像分量和所述第二圖像分量包括通過以下操作來分解所述輸入圖像: 對所述參數(shù)插值以產(chǎn)生所述第一圖像分量；以及 計算所述輸入圖像的倍數(shù)與所述第一圖像分量之差，以產(chǎn)生所述第二圖像分量。
5.根據(jù)權(quán)利要求4所述的方法，其中所述輸入圖像的所述倍數(shù)基于疊加至少所述第一圖像分量和所述第二圖像分量的、包括至少所述第一顯示設(shè)備和所述第二顯示設(shè)備的投影儀的數(shù)目。
6.根據(jù)權(quán)利要求1至5中的任一權(quán)利要求所述的方法，其中所述最終圖像包括與由單投影儀系統(tǒng)顯示的所述輸入圖像至少兩倍亮的亮度。
7.根據(jù)權(quán)利要求1至6中的任一權(quán)利要求所述的方法，其中所述參數(shù)包括: 第一參數(shù)，所述第一參數(shù)是亮度平衡因子；以及 第二參數(shù)，所述第二參數(shù)是所述至少兩個圖像分區(qū)中的每個圖像分區(qū)的最小值， 其中產(chǎn)生所述第一圖像分量包括: 利用所述第一參數(shù)修改所述至少兩個圖像分區(qū)中的每個圖像分區(qū)的所述最小值；以及使用線性或者非線性過程，將所述至少兩個圖像分區(qū)中的每個圖像分區(qū)的所述第二參數(shù)插值到下邊界表面中。
8.根據(jù)權(quán)利要求4或者5所述的方法，還包括: 通過關(guān)于預定義限制分析所述第二圖像分量來確定將修改所述第一圖像分量；以及響應(yīng)于確定將修改所述第一圖像分量，修改所述第一圖像分量和所述第二圖像分量，并且計算所述輸入圖像的所述倍數(shù)與修改的第一圖像分量之差。
9.根據(jù)權(quán)利要求8所述的方法，其中所述預定義限制基于亮度。
10.根據(jù)權(quán)利要求8所述的方法，其中所述預定義限制基于保留原有色度。
11.根據(jù)權(quán)利要求1所述的方法，還包括: 應(yīng)用于所述輸入圖像數(shù)據(jù)的每種顏色。
12.根據(jù)權(quán)利要求11所述的方法，其中所述顏色包括紅、綠和藍。
13.根據(jù)權(quán)利要求1至12中的任一權(quán)利要求所述的方法，還包括: 通過將去伽馬過程應(yīng)用于所述輸入圖像數(shù)據(jù)來產(chǎn)生圖像數(shù)據(jù)。
14.根據(jù)權(quán)利要求1至13中的任一權(quán)利要求所述的方法，還包括: 在顯示所述第一圖像分量和顯示所述第二圖像分量之前， 將高動態(tài)范圍取整函數(shù)應(yīng)用于所述第一圖像分量和所述第二圖像分量； 將扭曲應(yīng)用于所述第一圖像分量或者所述第二圖像分量；或者 將伽馬校正應(yīng)用于所述第一圖像分量和所述第二圖像分量。
15.根據(jù)權(quán)利要求1所述的方法，還包括: 標識所述第一圖像分量或者所述第二圖像分量中的至少一個圖像分量的值，所述值為負或者大于所述第一顯示設(shè)備或者所述第二顯示設(shè)備被配置用于投影的最大亮度；以及通過修改所述值來減 少所述第一圖像分量或者所述第二圖像分量中的所述至少一個圖像分量中的可視圖像贗像。
16.根據(jù)權(quán)利要求1所述的方法，其中通過基于所述參數(shù)分解所述輸入圖像來產(chǎn)生所述第一圖像分量和所述第二圖像分量包括使用分解濾波器來分解所述輸入圖像；并且 針對所述至少兩個圖像分區(qū)中的每個圖像分區(qū)、基于所述輸入圖像的內(nèi)容來調(diào)整所述分解濾波器。
17.一種多投影儀系統(tǒng)，被配置用于執(zhí)行根據(jù)權(quán)利要求1至16中的任一權(quán)利要求所述的方法，所述多投影儀系統(tǒng)包括處理器、所述第一顯示設(shè)備、所述第二顯示設(shè)備和系統(tǒng)功能模塊。
18.一種多投影儀系統(tǒng)，包括: 輸入，被配置用于接收代表圖像的輸入圖像數(shù)據(jù)； 處理器，被配置用于通過如下來處理所述輸入圖像數(shù)據(jù)以及基于所述輸入圖像數(shù)據(jù)來輸出第一圖像分量和第二圖像分量:基于圖像內(nèi)容將所述圖像劃分成圖像分區(qū)，確定參數(shù)以及將所述圖像分解成所述第一圖像分量和與所述第一圖像分量正交或者準正交的所述第二圖像分量； 系統(tǒng)功能模塊，被配置用于修改所述第一圖像分量并且用于修改所述第二圖像分量；第一投影儀，被配置用于顯示修改的所述第一圖像分量；以及第二投影儀，被配置用于顯示在修改的所述第一圖像分量上疊加的修改的所述第二圖像分量。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述處理器被配置用于將去伽馬過程應(yīng)用于所述輸入圖像數(shù)據(jù)。
20.根據(jù)權(quán)利要求18或者19所述的系統(tǒng)，其中所述系統(tǒng)功能模塊被配置用于在所述第一圖像分量和所述第二圖像分量被顯示之前，向所述第一圖像分量或者所述第二圖像分量中的至少一個圖像分量應(yīng)用: 高動態(tài)范圍取整； 伽馬校正；或者 扭曲。
【文檔編號】H04N5/262GK103765869SQ201280039723
【公開日】2014年4月30日 申請日期:2012年8月14日 優(yōu)先權(quán)日:2011年8月16日
【發(fā)明者】譚瑋寧, S·C·雷德 申請人:圖象公司