一種顯示視頻數(shù)據(jù)的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一般的攝像機(jī)和投影機(jī)，尤其是一種高質(zhì)量顯示視頻數(shù)據(jù)的方法和裝置。
【背景技術(shù)】
[0002]視頻投影機(jī)是一種接收視頻輸入信號并投影相應(yīng)影像的投影機(jī)。視頻投影機(jī)用途廣泛，包括但不限于會議室演示、課堂培訓(xùn)、家庭影院和音樂會。視頻投影的新興用途為用于顯示視頻和游戲的可穿戴頭戴式顯示器，該顯示器也可作為一般電腦和智能手機(jī)的顯示界面，具備傳統(tǒng)的顯示功能以及眼動跟蹤等新型顯示功能。視頻投影機(jī)可連接至各種源并接收視頻信號。
[0003]視頻投影機(jī)接收視頻信號，并將相應(yīng)的影像或影像序列映射到投影屏幕、頭戴式顯示器用戶的視網(wǎng)膜或其他目標(biāo)或區(qū)域(以下統(tǒng)稱為“投影屏幕”)。一部視頻投影機(jī)包括一個成像元件和一個光學(xué)系統(tǒng)。其中，成像元件又稱有源矩陣，構(gòu)成同視頻信號相對應(yīng)的影像；光學(xué)系統(tǒng)投射影像并將影像對焦到屏幕、視網(wǎng)膜或其他目標(biāo)。
[0004]視頻投影機(jī)領(lǐng)域內(nèi)涉及影像質(zhì)量的一個重大難題是需要同時(shí)對焦整個投影影像。之所以產(chǎn)生這一問題，是因?yàn)橐曨l投影機(jī)和各種投影區(qū)域之間的距離不同。在顯示3D視頻流、增強(qiáng)現(xiàn)實(shí)感、顯示立體電影或其他涉及頭戴式顯示器的3D用途中，當(dāng)需要以不同焦距對焦影像的不同部分時(shí)，存在相似但更為棘手的難題。
[0005]對該問題的已知解決方案是使用到視頻投影機(jī)距離幾乎相等的合適平面屏幕。但是，這一解決方案限制了可實(shí)施用途的類型。
[0006]另一種解決方案是半關(guān)鏡頭孔徑以增加焦深。但是，半關(guān)孔徑會降低投影機(jī)亮度，并進(jìn)而降低觀看質(zhì)量或電源效率。
[0007]以不同焦距對焦影像不同部分這一難題在頭戴式顯示器(HMD)和光學(xué)頭戴式顯示器(OHMD)領(lǐng)域尤為突出。HMD為形狀為頭盔、眼鏡或其他形狀的可穿戴視頻顯示器，將單獨(dú)的視頻流投影至用戶的每只眼睛。OHMD為帶半透明光學(xué)元件的可穿戴顯示器，該裝置可將投影影像反射至用戶雙眼，并讓用戶能夠透過該裝置看到周圍物理環(huán)境。
[0008]HMD的一種用途是向用戶顯示3D內(nèi)容。人類通過兩大線索感知3D: —個是右眼和左眼所感知到的影像的立體視差，另一個是經(jīng)雙眼恰當(dāng)光學(xué)調(diào)節(jié)所匹配的光學(xué)距離差。傳統(tǒng)3D顯示屏僅提供立體視差這一條線索，通過向左眼和右眼投影不同的內(nèi)容實(shí)現(xiàn)3D效果。范例包括在相同固定距離投影的現(xiàn)有技術(shù)3D電視套件、電影院3D電影以及3D HMD。其中，固定距離可以是到電視屏幕、電影院屏幕或HMD內(nèi)影像焦平面的距離。由于無法呈現(xiàn)第二條3D線索，也就是變化焦距匹配3D立體視差，投影內(nèi)容的3D效果降低。此外，這還嚴(yán)重影響了 HMD在某些用途的性能。
[0009]HMD和OHMD的另一種用途是增強(qiáng)現(xiàn)實(shí)感。在該用途中，顯示內(nèi)容被關(guān)聯(lián)至光學(xué)元件感知或攝像機(jī)捕捉到的現(xiàn)實(shí)影像，經(jīng)裝置重建并由額外視頻內(nèi)容增強(qiáng)現(xiàn)實(shí)感。對于0HMD,用戶通過不同距離的目標(biāo)感知真實(shí)世界。其中，覆蓋在現(xiàn)有技術(shù)OHMD所感知真實(shí)影像上的增強(qiáng)層只有一個焦距。該焦距可能與真實(shí)世界中的一些目標(biāo)相一致，但卻與更近或的目標(biāo)不一致。
[0010]人眼對所感知目標(biāo)的特定距離的對焦可稱為調(diào)節(jié)。由于人眼焦深和調(diào)節(jié)的局限，用戶或?qū)怪聊繕?biāo)并看到模糊的增強(qiáng)層，或?qū)怪猎鰪?qiáng)層看到模糊的目標(biāo)。

【發(fā)明內(nèi)容】

[0011]本發(fā)明的一個典型實(shí)施例是一種通過投影裝置顯示影像的方法，該方法包括:接收包含深度信息的影像；基于深度信息至少確定第一像素組和第二像素組；以及將第一像素組顯示在投影裝置的第一焦點(diǎn)位置，并將第二像素組顯示在投影裝置的第二焦點(diǎn)位置。在該方法中，投影裝置為頭戴式顯示器。在該方法中，投影裝置為光學(xué)頭戴式顯示器，同時(shí)接收投影的視頻和投影裝置的周圍環(huán)境。在該方法中，深度信息根據(jù)投影影像下的環(huán)境影像計(jì)算得出。該方法可進(jìn)一步包含對一個視頻流中多個影像重復(fù)進(jìn)行上述接收、確定和顯示。其中，視頻流以至少約為每秒10幀的幀頻顯示。在該方法中，視頻為立體視頻。該視頻包含左眼通道和右眼通道，并且左眼通道和右眼通道間存在立體視差。其中，第一組序列包含顯示在觀看者左眼的影像，第二組序列包含顯示在觀看者右眼的影像；兩組序列影像從視頻中檢索得出。深度信息從分別顯示在左眼和右眼的影像間的立體視差得出。其中，所述顯示包括將第一組序列投影至觀看者左眼，將第二組序列投影至觀看者右眼。
[0012]本發(fā)明的另一個典型實(shí)施例是一個投影系統(tǒng)，該系統(tǒng)包括:一個形成投影影像的有源矩陣和一個將影像投影到屏幕的光學(xué)系統(tǒng)。其中，光學(xué)系統(tǒng)的焦距會在影像顯示期間變化。在該投影系統(tǒng)中，影像內(nèi)第一像素組中的像素在光學(xué)系統(tǒng)呈現(xiàn)第一焦點(diǎn)位置時(shí)打開，其他焦點(diǎn)位置時(shí)關(guān)閉；影像內(nèi)第二像素組中的像素在光學(xué)系統(tǒng)呈現(xiàn)第二焦點(diǎn)位置時(shí)打開，其他焦點(diǎn)位置時(shí)關(guān)閉。在該投影系統(tǒng)中，影像內(nèi)第一像素組在光學(xué)系統(tǒng)呈現(xiàn)第一焦點(diǎn)位置時(shí)顯示；影像內(nèi)第二像素組在光學(xué)系統(tǒng)呈現(xiàn)第二焦點(diǎn)位置時(shí)顯示。
[0013]本發(fā)明的另一個典型實(shí)施例是一個視頻投影系統(tǒng)，該系統(tǒng)包含:一個形成投影影像的有源矩陣、一個將影像投影到屏幕的光學(xué)系統(tǒng)、一個反饋影像傳感器和一個半透射鏡。其中，半透射鏡的放置位置使有源矩陣和反饋影像傳感器形成到半透射鏡相等的光路。在該視頻投影系統(tǒng)中，影像從屏幕反射，并由反饋影像傳感器采集，用于控制視頻投影系統(tǒng)的運(yùn)行參數(shù)。在該視頻投影系統(tǒng)中，影像投影至觀看者的一邊視網(wǎng)膜，并且反饋影像傳感器采集的信息用于控制視頻投影系統(tǒng)的運(yùn)行參數(shù)，以對焦影像或在視網(wǎng)膜上對焦。該視頻投影系統(tǒng)中包含一部觀看者可穿戴裝置。
[0014]本發(fā)明的另一個典型實(shí)施例是一種視力輔助裝置，該裝置包括:至少一部采集裝置周圍環(huán)境視頻流的攝像機(jī)；一個處理所捕捉視頻的處理單元和一個由成像有源矩陣構(gòu)成、用于將所捕捉視頻流投影至用戶一邊視網(wǎng)膜的頭戴式顯示器。其中，視力輔助裝置為可穿戴式裝置。在該視力輔助裝置中，攝像機(jī)包括第一攝像機(jī)和第二攝像機(jī)。第一攝像機(jī)捕捉到的視頻投影至用戶左眼；第二攝像機(jī)捕捉到的視頻投影至用戶右眼。在該視力輔助裝置中，處理單元對視頻進(jìn)行處理，以改變一個或多個投影參數(shù)。各投影參數(shù)從由色譜、亮度和布局幾何結(jié)構(gòu)組成的參數(shù)組中選出。該視力輔助裝置包含一個反饋影像傳感器和一個半透射鏡。其中，半透射鏡成對角線地放置在影像傳感器和有源矩陣之間，使二者到該半透射鏡的光路相等。在該視力輔助裝置中，處理單元將視頻流的影像扭曲并重新映射到視網(wǎng)膜中至少一個敏感部分。其中，采用反饋影像傳感器在眼球移動期間控制視網(wǎng)膜上影像的對齊。
【附圖說明】
[0015]通過以下附圖和詳細(xì)描述可更好的理解和領(lǐng)會本發(fā)明。在這些附圖中，相應(yīng)或類似的數(shù)字或符號代表相應(yīng)或類似的組成部分。除非另有說明，否則這些附圖僅示例本發(fā)明的典型實(shí)施例或本發(fā)明的各個方面，而非局限本發(fā)明的范圍。在這些附圖中:
圖1為一部3D視頻投影機(jī)的示意圖，與本發(fā)明的一些實(shí)施例一致；
圖2為頭戴式顯示器和光學(xué)頭戴式顯示器的示意圖，與本發(fā)明的一些實(shí)施例一致；
圖3為帶影像反饋傳感器的3D投影機(jī)的示意圖，與本發(fā)明的一些實(shí)施例一致；
圖4為以不同焦距投影影像不同部分的示意圖，與本發(fā)明的一些實(shí)施例一致；
圖5為以不同焦距投影不同像素組時(shí)透鏡運(yùn)動和像素激活的時(shí)間圖，與本發(fā)明的一些實(shí)施例一致；
圖6為以不同焦距顯示影像不同部分的方法的流程圖，與本發(fā)明的一些實(shí)施例一致；
圖7為使用反饋攝像機(jī)調(diào)節(jié)影像不同部分焦距進(jìn)行投影的方法的步驟流程圖，與本發(fā)明的一些實(shí)施例一致；
圖8為展示增強(qiáng)現(xiàn)實(shí)感的方法的步驟流程圖，與本發(fā)明的一些實(shí)施例一致；
圖9為一種用戶視力輔助方法的步驟流程圖，與本發(fā)明的一些實(shí)施例一致。
[0016]詳細(xì)說明
本發(fā)明詳述如下，并附有方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖，與本發(fā)明的實(shí)施例一致。應(yīng)當(dāng)理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中多個方框的組合，都可以由計(jì)算機(jī)程序指令和/或電子電路實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用處理器、應(yīng)用處理器和專用集成電路，通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器進(jìn)行執(zhí)行，從而創(chuàng)造方法實(shí)施流程圖和/或框圖方框中指定的功能/操作。
[0017]這些計(jì)算機(jī)程序指令也可存儲在能指示計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置以特定方式工作的計(jì)算機(jī)可讀介質(zhì)中，這樣，存儲在計(jì)算機(jī)可讀介質(zhì)中的指令會產(chǎn)生一個包含指令方法的制品，實(shí)施流程圖和/或框圖中單個或多個方框指定的功能/操作。
[0018]這些計(jì)算機(jī)程序指令還可以加載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置上，從而在這些設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生一個由計(jì)算機(jī)實(shí)現(xiàn)的進(jìn)程，使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行的