指令能夠提供若干進(jìn)程，用于實(shí)施流程圖和/或框圖方框所述功能/操作。
[0019]本發(fā)明旨在解決一個(gè)技術(shù)難題，那就是視頻投影機(jī)投影的影像可能包含焦距不同的區(qū)域，或者影像應(yīng)投影到特定的距離由觀看者感知，而當(dāng)前的投影機(jī)只以單一焦距投影整個(gè)影像?，F(xiàn)有技術(shù)HMD的光學(xué)系統(tǒng)中配備對(duì)焦元件，能夠?qū)@示影像的感知焦距調(diào)節(jié)到適宜用戶眼睛的焦距。但是，該對(duì)焦元件將整個(gè)顯示的影像對(duì)焦到了一個(gè)特定的焦距。這在顯示普通視頻時(shí)效果不太理想，顯示3D內(nèi)容時(shí)更加糟糕，用于OHMD增強(qiáng)現(xiàn)實(shí)感時(shí)尤為糟糕。盡管通過(guò)OHMD光學(xué)元件感知的周?chē)鎸?shí)世界目標(biāo)本身具有不同的距離，但現(xiàn)有OHMD顯示的額外視頻層只有單一焦距，因此會(huì)造成不適且失真的感覺(jué)。
[0020]人眼調(diào)節(jié)其焦距以對(duì)焦到不同距離的目標(biāo)上。因此，人類(lèi)無(wú)法感知明顯處于不同距離同時(shí)又清晰的目標(biāo)。所以，在增強(qiáng)現(xiàn)實(shí)感應(yīng)用中，如果感知到真實(shí)世界目標(biāo)影像與其上覆蓋影像的距離不同，那么觀看者所感知到的投影影像或真實(shí)目標(biāo)影像就會(huì)是模糊的。
[0021]因此，為了提升感知結(jié)果，投影機(jī)應(yīng)以與下層目標(biāo)光學(xué)距離相同的距離投影覆蓋影像，以避免感知到的目標(biāo)或覆蓋影像存在模糊。
[0022]本發(fā)明提出一個(gè)技術(shù)解決方案，即以不同焦距顯示諸如視頻影像(也稱畫(huà)幀)等影像的不同部分。如此一來(lái)，影像的各區(qū)域均以該區(qū)域內(nèi)容對(duì)應(yīng)的焦距顯示。在一些實(shí)施例中，視頻投影機(jī)配備移動(dòng)對(duì)焦元件或可變焦對(duì)焦元件。當(dāng)這些元件在其可能焦點(diǎn)位置或焦值上移動(dòng)時(shí)，幾乎可在所有可能焦距提供投影所需的整個(gè)焦點(diǎn)范圍。例如在單個(gè)畫(huà)幀的顯示期間，投影機(jī)可能需要將有效焦值從感知的約1cm更改到感知的無(wú)限大。然而，在一些實(shí)施例或應(yīng)用中，如為近視眼或遠(yuǎn)視眼用戶進(jìn)行光學(xué)校正，所要求的焦點(diǎn)范圍可能更大。
[0023]對(duì)焦元件可以是能夠沿透鏡光軸移動(dòng)的光學(xué)透鏡。對(duì)焦元件也可以是可改變形狀的透鏡或射鏡，或其他能夠改變光學(xué)系統(tǒng)有效焦距的元件或機(jī)械裝置。在本發(fā)明中，焦點(diǎn)變化、焦點(diǎn)位置變化和其他類(lèi)似的術(shù)語(yǔ)均指改變光學(xué)元件的有效焦點(diǎn)；焦點(diǎn)長(zhǎng)度、焦點(diǎn)距離、焦點(diǎn)位置這三個(gè)術(shù)語(yǔ)可交換使用。
[0024]依照一些實(shí)施例，投影光學(xué)系統(tǒng)可能會(huì)以投影視頻幀頻同等或相關(guān)的頻率定期改變其焦距。投影機(jī)成像元件可能會(huì)在畫(huà)幀顯示時(shí)間的不同子周期顯示不同的影像像素組，這樣一來(lái)，就只會(huì)顯示該子周期內(nèi)焦距與移動(dòng)對(duì)焦元件所提供焦距相對(duì)應(yīng)的影像區(qū)域。因此，只有當(dāng)投影機(jī)大體位于區(qū)域相應(yīng)焦距時(shí)才會(huì)顯示該畫(huà)幀區(qū)域。這樣的結(jié)果就是單個(gè)投影影像或畫(huà)幀的不同部分以不同的焦點(diǎn)位置在不同時(shí)間顯示。這樣一來(lái)，當(dāng)對(duì)焦元件位于適當(dāng)焦點(diǎn)位置時(shí)，影像區(qū)域僅在一部分幀周期顯示。然而，當(dāng)幀頻足夠高時(shí)(如每秒10幀或以上)，由于人類(lèi)視覺(jué)感知的“取平均”特性，當(dāng)以適當(dāng)焦距持續(xù)顯示影像各子部分時(shí)，所感知到的整個(gè)影像是連續(xù)顯示的。
[0025]應(yīng)了解，可逐步或依照周期函數(shù)或重復(fù)函數(shù)，通過(guò)調(diào)和函數(shù)法一一分段線性改變焦距。
[0026]依照本發(fā)明的影像可包含深度信息。深度信息可能作為3D影像的額外圖層提供。從通過(guò)影像處理技術(shù)采集的影像中的數(shù)據(jù)、構(gòu)成影像的視頻流中的數(shù)據(jù)、3D掃描儀采集的數(shù)據(jù)或任何其他數(shù)據(jù)中也可以確定深度信息。例如，在存在兩個(gè)通道并且各通道間存在立體視差的立體流中，可從立體視差中確定深度信息。
[0027]另一種關(guān)于3D HMD的技術(shù)解決方案如下，與本發(fā)明的一些實(shí)施例一致。裝置可配備對(duì)焦元件，如可呈現(xiàn)多個(gè)焦距的透鏡等。透鏡的焦點(diǎn)范圍(即裝置提供的焦距)被分為數(shù)個(gè)子范圍。各待顯示的3D畫(huà)幀被分為數(shù)個(gè)子畫(huà)幀，各子畫(huà)幀包含以對(duì)應(yīng)深度子范圍投影的像素。對(duì)焦透鏡在各視頻畫(huà)幀顯示期間掃過(guò)對(duì)焦范圍，相應(yīng)的子畫(huà)幀顯示在對(duì)焦透鏡相應(yīng)的焦距。應(yīng)了解，各子畫(huà)幀可包含零個(gè)或多個(gè)位于畫(huà)幀各坐標(biāo)的像素。
[0028]在影像顯示期間，當(dāng)焦點(diǎn)適于像素，即當(dāng)透鏡位于給定像素的恰當(dāng)焦點(diǎn)位置時(shí)，所顯示影像的各像素激活(即打開(kāi));在其他大部分顯示時(shí)間失活(即關(guān)閉)。或者，激活像素可以第一亮度級(jí)顯示，失活像素以低于第一亮度級(jí)的第二亮度級(jí)顯示。在一些實(shí)施例中，第一亮度級(jí)可大致等同于像素標(biāo)稱亮度級(jí)，第二亮度級(jí)可等同于最低亮度級(jí)，如零亮度級(jí)。
[0029]由于人眼感知的時(shí)間平均特性，當(dāng)幀頻足夠高時(shí)(如每秒10幀或以上)，用戶所感知到的所有像素均為持續(xù)有源。其中，各像素或像素組在空間內(nèi)存在特定焦距。
[0030]另一個(gè)技術(shù)解決方案是一種控制投影至用戶視網(wǎng)膜上影像質(zhì)量的方法，如通過(guò)HMD眼鏡等可穿戴裝置實(shí)現(xiàn)。影像被投影至視網(wǎng)膜，并通過(guò)與投影光學(xué)系統(tǒng)共享組件的光學(xué)系統(tǒng)反射。反射的影像經(jīng)半透射鏡重新導(dǎo)向至反饋影像傳感器。半透射鏡可成對(duì)角線地放置在有源矩陣和影像傳感器之間，以使二者到半透射鏡和光學(xué)系統(tǒng)的光路相等。因此，投影至屏幕或視網(wǎng)膜的清晰影像將在影像傳感器上形成清晰影像，以監(jiān)控投影質(zhì)量。所述反饋影像傳感器采集到的視頻隨后被進(jìn)行處理，用于監(jiān)控投影至用戶視網(wǎng)膜上的影像、影像清晰度以及相對(duì)于視網(wǎng)膜或其他參數(shù)的位置?？赏ㄟ^(guò)影像處理控制投影影像相對(duì)于視網(wǎng)膜的位置。其中，影像處理考慮到影像細(xì)節(jié)和諸如血管或其他問(wèn)題的視網(wǎng)膜自然模式。通過(guò)在對(duì)焦透鏡呈現(xiàn)恰當(dāng)焦值時(shí)，在畫(huà)幀子區(qū)間期間投影像素，或?qū)?duì)焦透鏡固定在恰當(dāng)焦值，可確定得到最清晰影像的投影機(jī)透鏡的焦點(diǎn)位置，并相應(yīng)調(diào)節(jié)投射。
[0031]本發(fā)明的一個(gè)技術(shù)效果是以適當(dāng)焦距在一部分畫(huà)幀顯示時(shí)間投影影像部分。這樣一來(lái)，即使是在影像不同部分需要不同焦距的目標(biāo)上也可以對(duì)焦整個(gè)投影。
[0032]本發(fā)明的另一技術(shù)效果是投射影像層覆蓋到經(jīng)OHMD半透明元件感知的環(huán)境影像層上。影像不同區(qū)域被以不同焦距投影，以使各影像部分的焦距與下層環(huán)境影像內(nèi)目標(biāo)的焦距相同。此種方案可用于增強(qiáng)現(xiàn)實(shí)感的應(yīng)用中，以同下層真實(shí)世界目標(biāo)的焦距一致的焦距投射影像部分。此種方案也可用于投影3D視頻。
[0033]本發(fā)明的另一技術(shù)效果是提高投射至用戶視網(wǎng)膜的畫(huà)幀中像素的清晰度。其中，各像素或像素組的顯示位置是其在視網(wǎng)膜上對(duì)焦最清晰的位置。這就解決了當(dāng)視頻投影機(jī)顯示影像時(shí)，由于人眼再聚焦而導(dǎo)致影像不斷失焦的問(wèn)題。
[0034]本發(fā)明的另一技術(shù)效果是根據(jù)用戶眼部的眼科學(xué)特征提高畫(huà)質(zhì)。該方案可用于提供視力輔助，讓用戶通過(guò)裝置看到周?chē)h(huán)境。其中，裝置通過(guò)一部或多部攝像機(jī)采集周?chē)h(huán)境視圖，再依照用戶的眼部特征對(duì)這些視圖進(jìn)行處理。
[0035]尤其在一些實(shí)施例中，本發(fā)明可用于以下模式:一部或多部環(huán)境攝像機(jī)捕捉環(huán)境視圖，捕捉到的視頻可依照用戶視力的問(wèn)題和局限進(jìn)行處理，然后立即重新投影至用戶雙目艮。包括以下一項(xiàng)或多項(xiàng)修正內(nèi)容:更改色譜，以提高感色度或顯示紅外線或紫外線等不可見(jiàn)光波段；扭曲影像并將其投影至視網(wǎng)膜的敏感部分，以提升視野局限人士的視野；從側(cè)面或后方攝像機(jī)添加投影；放大信號(hào)提升夜視功能；添加高動(dòng)態(tài)范圍影像或其他應(yīng)用在硬件和/或軟件內(nèi)的多重提升。
[0036]圖1為一臺(tái)3D視頻投影機(jī)的實(shí)施例，與本發(fā)明的一些實(shí)施例一致。視頻投影機(jī)通常指130，包括一個(gè)成像矩陣140和一個(gè)或多個(gè)光學(xué)部件，如能沿起始點(diǎn)和終點(diǎn)之間的范圍151移動(dòng)的對(duì)焦透鏡150。也可通過(guò)其他方法改變系統(tǒng)焦距。觀看者眼前可放置射鏡、半透射鏡或其他投影元件120。
[0037]在成像有源矩陣140生成的像素155投影后，透鏡150形成光束162。
[0038]光束162在到達(dá)射鏡120時(shí)被反射為光束170進(jìn)入用戶眼部。用戶將光束170的延續(xù)部分點(diǎn)187感知為空間內(nèi)對(duì)應(yīng)像素155的點(diǎn)。應(yīng)了解，光束162和170各由兩束光線表示，以實(shí)現(xiàn)可視化之目的并證明點(diǎn)187上的對(duì)焦。
[0039]隨著透鏡150焦點(diǎn)的改變，清晰投影點(diǎn)的感知距離也相應(yīng)改變。像素187在空間上對(duì)應(yīng)像素155及其附近區(qū)域以及透鏡150的焦點(diǎn)位置151。像素182在空間上對(duì)應(yīng)透鏡焦點(diǎn)位置152和有源矩陣上的像素156。
[0040]在本發(fā)明的一個(gè)實(shí)施例中，透鏡150定期在焦點(diǎn)位置兩端間移動(dòng)，其移動(dòng)范圍包括位置151和152。像素156在空間上對(duì)應(yīng)目標(biāo)180上的點(diǎn)182，并在透鏡位于位置152時(shí)打開(kāi)，在透鏡位于其他位置時(shí)關(guān)閉。像素155在空間上對(duì)應(yīng)目標(biāo)185上的點(diǎn)187，并在透鏡位于位置151時(shí)打開(kāi)，在透鏡位于其他位置時(shí)關(guān)閉。
[0041]這樣一來(lái)，在通過(guò)將影像投影至環(huán)境影像上進(jìn)行感知的增強(qiáng)現(xiàn)實(shí)感應(yīng)用中，感知到的覆蓋在真實(shí)世界目標(biāo)上的影像的焦距與其下層對(duì)象影像的焦距相同。
[0042]圖2為一種頭戴式顯示器及其運(yùn)行光模的示意圖，與本發(fā)明的一些實(shí)施例一致。HMD被調(diào)節(jié)，以將影像投影至用戶視網(wǎng)膜上。HMD包括半透射鏡120，該射鏡用于將HMD投影的影像覆蓋在周?chē)锢憝h(huán)境的直接視圖上。在其他實(shí)施例中，可使用其它類(lèi)型的投影元件120。