專利名稱：具有運動視差的三維顯示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維顯示。
背景技術(shù)：
人類大腦以各種方式得到其三維(3D)線索。這些方式中的一種是經(jīng)由立體視覺， 它與呈現(xiàn)給左眼和右眼的所觀看到的圖像之間的差異相對應(yīng)。另一種方式是通過運動視差，這與在觀看角度變化時(如在觀看者的頭部移動時)，觀看者看到的場景的變化方式相對應(yīng)。當(dāng)前3D顯示基于立體視覺。一般而言，3D電視機和其他顯示器經(jīng)由具有阻塞某些幀而令其他幀透過的透鏡的3D眼鏡或眼鏡向每一只眼睛輸出分開的視頻幀。各示例包括在眼鏡帶有對應(yīng)過濾器的情況下對左圖像和右圖像使用不同的色彩、使用光偏振并且對左圖像和右圖像使用對應(yīng)的不同偏振、以及在眼鏡中使用快門。大腦以觀看者體驗到3D深度作為立體線索的結(jié)果的方式來組合各幀。當(dāng)前技術(shù)允許在不使用眼鏡的情況下將不同的幀定向到每一只眼睛，從而實現(xiàn)相同結(jié)果。這樣的顯示器被設(shè)計成通常通過將屏幕的各像素安排在某種光學(xué)障礙或光學(xué)透鏡之間以呈現(xiàn)來自不同的角度的不同視圖。在觀看者的頭部大部分靜止的情況下，三維顯示技術(shù)表現(xiàn)良好。然而，在觀看者的頭部移動時視圖不變化，由此立體線索與運動視差相抵觸。這一抵觸使得一些觀看者在觀看3D顯示上的內(nèi)容時體驗到疲勞和不適。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些代表性概念。本發(fā)明內(nèi)容不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在以限制所要求保護的主題的范圍的任何方式來使用。簡言之，本發(fā)明的各方面涉及混合立體圖像/運動視差技術(shù)，該技術(shù)使用立體3D 視覺技術(shù)來向觀看者的每一只眼睛呈現(xiàn)不同圖像，結(jié)合運動視差技術(shù)針對觀看者的眼睛的位置來調(diào)整每一圖像的呈現(xiàn)或獲取。以此方式，在觀看者觀看3D場景時移動的情況下，該觀看者接收立體線索和視差線索兩者。在一個方面，左圖像和右圖像由立體相機捕捉，并被接收和處理以根據(jù)與當(dāng)前觀看者位置相對應(yīng)的位置傳感器數(shù)據(jù)進行運動視差調(diào)整。這些經(jīng)調(diào)整的圖像隨后被分別輸出給觀看者的左眼和右眼以用作分開的左顯示和右顯示。或者，當(dāng)前觀看者位置可被用來獲取場景的圖像，例如通過對應(yīng)地移動機器人立體相機。本發(fā)明還適用于多個觀看者觀看同一場景，包括在獨立地跟蹤并給出獨立視圖的情況下在同一屏幕上。在一個方面，跟蹤觀看者頭部和/或眼睛位置。注意，可直接跟蹤每一只眼睛的眼睛位置或從頭部跟蹤數(shù)據(jù)估計每一只眼睛的眼睛位置，頭部跟蹤數(shù)據(jù)可包括3D空間中的頭部位置加頭部的注視方向(和/或轉(zhuǎn)動，以及可能更多(如傾斜))并且因而提供與每一只眼睛的位置相對應(yīng)的數(shù)據(jù)。因此，“位置數(shù)據(jù)”包括每一只眼睛的位置的概念，而不管是如何獲取的，例如直接或經(jīng)由根據(jù)頭部位置數(shù)據(jù)的估計。帶有傳感器或發(fā)射器的眼鏡可被用于跟蹤，包括使用透鏡或快門來向眼睛通過/ 阻塞不同圖像的同一 3D過濾眼鏡；(注意，如本文所使用的，“快門”是一種類型的過濾器， 即定時過濾器)?；蛘撸嬎銠C視覺可被用來跟蹤頭部或眼睛位置，尤其用于無眼鏡3D顯示技術(shù)。然而，計算機視覺系統(tǒng)可被訓(xùn)練來跟蹤眼鏡的位置或眼鏡的一個或多個透鏡的位置。跟蹤與每一只眼睛相對應(yīng)的當(dāng)前觀看者位置還允許基于水平視差和垂直視差兩者來獲取或調(diào)整圖像。因而，例如，傾斜、觀看高度、以及頭部轉(zhuǎn)動/傾斜數(shù)據(jù)也可被用于調(diào)整或獲取圖像，或用于既調(diào)整又獲取圖像。結(jié)合附圖閱讀以下具體實施方式
，本發(fā)明的其他優(yōu)點會變得顯而易見。


作為示例而非限制，在附圖中示出了本發(fā)明，附圖中相同的附圖標記指示相同或相似的元素，附圖中圖I是觀看者觀看立體顯示的表示，其中立體相機提供左立體圖像和右立體圖像。圖2是觀看者觀看立體顯示的表示，其中左相機和右相機提供左立體圖像和右立體圖像，并且運動視差處理基于觀看者的當(dāng)前左眼和右眼位置來調(diào)整每一圖像的呈現(xiàn)。圖3是表示用于對分開的左圖像和右圖像執(zhí)行運動視差處理的示例步驟的流程圖。圖4是表示其中可實現(xiàn)此處所描述各種實施例的一個或多個方面的示例性非限制計算系統(tǒng)或操作環(huán)境的框圖。
具體實施例方式本發(fā)明的各方面一般涉及混合立體圖像/運動視差系統(tǒng)，該系統(tǒng)使用立體3D視覺技術(shù)來向每一只眼睛呈現(xiàn)不同圖像，結(jié)合運動視差技術(shù)針對觀看者的眼睛的位置來調(diào)整左圖像和右圖像。以此方式，當(dāng)觀看者在觀看3D場景時移動時，觀看者接收立體線索和視差線索兩者，這往往對觀看者造成較大的視覺舒適度/較少的疲勞。為此，每一只眼睛的位置 (或眼鏡透鏡，如下所述)可被直接或經(jīng)由估計來跟蹤。使用從觀看者的觀看點計算得到的透視投影來向每一只眼睛實時地呈現(xiàn)場景的3D圖像，從而提供視差線索。應(yīng)當(dāng)理解，此處的任何示例均是非限制性的。因此，本發(fā)明不限于在此描述的任何具體的實施例、方面、概念、結(jié)構(gòu)、功能或示例。相反，此處所描述的任何實施例、方面、概念、 結(jié)構(gòu)、功能或示例都是非限制性的，并且本發(fā)明一般能夠以在顯示技術(shù)方面提供好處和優(yōu)點的各種方式來使用。圖I是的觀看者100觀看在3D立體顯示器104上示出的由左立體相機和右立體相機106捕捉到的3D場景102的表示。在圖I中，觀看者的眼睛可被假定處于起始位置(零運動視差)。注意，場景102中的物體中的每一個被表示為顯得從顯示器中出來以指示該場景正示出由觀看者100感知為3D的分開的左圖像和右圖像。圖2是同一觀看者100通過3D立體顯示器104觀看由左立體相機和右立體相機106捕捉到的同一 3D場景102的表示；然而，在圖2中，觀看者相對于圖I移動了。示例移動包括垂直和/或水平移動、頭的轉(zhuǎn)動、頭的俯仰和/或傾斜。如此，從位置傳感器/眼睛跟蹤傳感器110的數(shù)據(jù)感測到或估計(例如，從頭部位置數(shù)據(jù)(其可包括3D位置、轉(zhuǎn)動、方向、傾斜等)估計)的眼睛位置彼此不同。在下文中描述這樣的位置傳感器/眼睛跟蹤傳感器的示例。如在單個圖像(“單”)視差場景中已知的，相機捕捉到的圖像可通過相對直接的幾何計算來調(diào)整，以匹配觀看者的大致頭部位置，并且因而匹配水平觀看角度。例如， 基于相機和計算機視覺算法的頭部跟蹤系統(tǒng)已被用來實現(xiàn)“單3D”效果，如在Cha Zhang, Zhaozheng Yin 及 Dinei Florencio 的“Improving DepthPerception with Motion Parallax and Its Application in Teleconferencing(使用運動視差改進深度感知及其在遠程會議中的應(yīng)用)”，2009年10月5日-7日，MMSP09會議錄，http://research, microsoft. com/en-us/um/people/chazhang/publications/mmsp09_ChaZhang. pdf,中角軍釋的。在這樣的單視差場景中，基本上存在“虛擬”相機，它看起來在場景內(nèi)移動，被看作觀看者的頭部水平移動。然而，對于分開的左圖像和右圖像，沒有這樣的已知技術(shù)是有效的， 并且因而沒有構(gòu)想立體圖像。此外，頭部傾斜、觀看高度和/或頭部轉(zhuǎn)動不改變觀看到的圖像。并非虛擬相機，可以理解，圖I的相機是立體機器人相機，它在真實環(huán)境中移動以從不同的角度捕捉場景，如通過移動到與圖2的虛擬相機206相同的位置/定向。另一替換方案是調(diào)整預(yù)記錄的單個立體視頻，或?qū)碜詮母鱾€角度捕捉/記錄3D場景的多個立體相機的視頻進行內(nèi)插。如此，帶有本文描述的運動視差技術(shù)的三維顯示部分地通過基于傳感到的觀看者位置數(shù)據(jù)以獲取和/或調(diào)整左圖像和右圖像來工作。如本文所描述的，運動視差處理是由運動視差處理組件112分別對左圖像和右圖像執(zhí)行的，從而分別提供調(diào)整了視差的左圖像和右圖像114和115。注意，根據(jù)頭部(或單個眼睛)位置數(shù)據(jù)來估計雙眼的位置是可行的，然而這不能針對頭部傾斜、俯仰和/或頭部注視轉(zhuǎn)動/方向來調(diào)整，除非感測到比只有頭部的一般位置更多的與頭部有關(guān)的信息并將其作為數(shù)據(jù)提供給運動視差處理組件。因此，感測到的位置數(shù)據(jù)還可包括頭部傾斜、俯仰、 和/或頭部轉(zhuǎn)動數(shù)據(jù)。因此，如圖2所概括表示的，虛擬左(立體)相機和右(立體)相機206隨觀看者的位置有效地移動、轉(zhuǎn)動、和/或傾斜。機器人相機或多個相機的經(jīng)處理的圖像也可做到這樣。觀看者因而分別經(jīng)由左立體圖像214和右立體圖像215看到3D場景，每一圖像都針對視差補償進行了調(diào)整。注意，圖2中示出的各對象旨在表示從與圖I的不同觀看點示出的相同對象，但這只是出于說明的目的，并且在附圖中，相對大小和/或觀看點不旨在是在數(shù)學(xué)上精確的。概括而言，如圖I和2中概括表示的，位置傳感器/眼睛傳感器110對觀看者100 相對于顯示器的位置進行評估。觀看者的位置被用來驅(qū)動一組左虛擬相機和右虛擬相機 206使得從觀看者在3D場景中的虛擬位置有效地觀看該場景。虛擬相機206捕捉對應(yīng)于左眼視圖和右眼視圖的兩個圖像。這兩個圖像由立體顯示來呈現(xiàn)，從而向觀看者100提供3D 視圖。在觀看者110移動的情況下，實時地跟蹤觀看者的位置并將其轉(zhuǎn)換成左圖像214
6和右圖像215兩者中的對應(yīng)變化。這造成了組合了立體線索和運動視差線索兩者的沉浸式 3D體驗。轉(zhuǎn)向與位置/眼睛跟蹤相關(guān)的各方面，這樣的跟蹤可以用各種方式來實現(xiàn)。一種方式包括組合了立體過濾器和頭部跟蹤設(shè)備(例如被實現(xiàn)為該眼鏡支撐部中的傳感器或發(fā)射器)的多用途眼鏡。注意，被配置成輸出供用于頭部跟蹤的信號的各種眼鏡，如包括被檢測并進行三角測量的發(fā)射器(例如，紅外)，是現(xiàn)有技術(shù)中已知的。磁感測是另一已知的替換方案。又一替換方案是使用基于相機和計算機視覺算法的頭部跟蹤系統(tǒng)。將光定向到各單獨的眼睛并且因而能夠提供分開的左圖像和右圖像視圖來用作3D效果的自動立體視覺 (Autostereoscopic)顯示器在美國專利申請?zhí)?12/819，238、12/819，239 以及 12/824, 257 中描述，它們通過引用結(jié)合于此。在一個實現(xiàn)中，微軟公司的Kinect 技術(shù)已被用于頭部跟蹤/眼睛跟蹤。一般而言，用于眼睛跟蹤的計算機視覺算法使用基于對人類頭部的多個圖像的分析的模型。標準系統(tǒng)可以與不需要眼鏡的顯示器一起使用。然而，在觀看者佩戴眼鏡時，發(fā)生了實際問題，因為眼鏡覆蓋在眼睛上并且因此使得許多現(xiàn)有臉部跟蹤機制失敗。為了克服這一問題，在一個實現(xiàn)中，使用佩戴眼鏡的人的一組圖像(作為用正常臉部的圖像進行訓(xùn)練的替換或補充)來訓(xùn)練臉部跟蹤系統(tǒng)。確實，可以用佩戴特定3D系統(tǒng)所使用的特定眼鏡的人的一組圖像來訓(xùn)練系統(tǒng)。這造成非常有效的跟蹤，因為眼鏡往往突出為訓(xùn)練數(shù)據(jù)中非常可識別的對象。以此方式，可以調(diào)節(jié)基于計算機視覺的眼睛跟蹤系統(tǒng)來考慮眼鏡的存在。圖3是被配置成分開計算左圖像和右圖像的運動視差處理機制的示例步驟的流程圖。如步驟302所示，該方法從位置/眼睛跟蹤傳感器接收左眼位置數(shù)據(jù)和右眼位置數(shù)據(jù)。如上所述，可另選地提供頭部位置數(shù)據(jù)并將其用于視差計算，包括通過將頭部位置數(shù)據(jù)轉(zhuǎn)換成左眼位置數(shù)據(jù)和右眼位置數(shù)據(jù)。步驟304表示基于觀看者的左眼位置的幾何來計算視差調(diào)整。步驟306表示基于觀看者的右眼位置的幾何來計算視差調(diào)整。注意，對兩只眼睛使用相同的計算是可行的，諸如在作為頭部位置數(shù)據(jù)獲得并且不考慮轉(zhuǎn)動和/或傾斜的情況下，因為立體相機分離已經(jīng)提供了一些(固定)的視差差數(shù)。然而，即使兩眼之間兩英寸左右的小距離也造成視差和所得的觀看者感覺中的差異，包括在轉(zhuǎn)動/傾斜頭部等等時。步驟308和310表示基于視差投影計算來調(diào)整每一圖像。步驟312將經(jīng)調(diào)整的圖像輸出到顯示設(shè)備。注意，這可以是提供給常規(guī)3D顯示設(shè)備的常規(guī)信號的形式，或可以是提供給被配置成接收分開圖像的顯示設(shè)備的分開的左信號和右信號。確實，本發(fā)明可以例如在顯示設(shè)備本身中包括運動視差處理組件112(以及可能包括一個或多個傳感器110)， 或可將運動視差處理組件112包括在相機中。步驟314例如對于每一左幀和右?guī)?或一組幀/持續(xù)時間，因為觀看者只會移動得太快)重復(fù)該過程。注意，各替換方案是可行的，例如左圖像視差調(diào)整和輸出與右圖像視差調(diào)整和輸出輪流進行，例如圖3的步驟不必以所示次序發(fā)生。同樣，例如，并非刷新每一幀或一組幀/持續(xù)時間，可檢測到閾值量的移動才觸發(fā)新視差調(diào)整。這樣的較不頻繁的視差調(diào)整處理在多觀看者環(huán)境中可能是合乎需要的，使得計算資源可以在多個觀看者之間分布。確實，盡管參考單個觀看者描述了本發(fā)明，但可以理解，同一顯示的多個觀看者可各自接收他或她自己的經(jīng)調(diào)整了視差的立體圖像?？蓪⒉煌淖髨D像和右圖像定向到多個觀看者的眼睛的顯示器是已知的(例如，如在上述專利申請中描述的)，并且因而只要處理能力足以感測多個觀看者的位置并執(zhí)行視差調(diào)整，多個觀看者就可以同時觀看具有單獨的立體和經(jīng)調(diào)整了視差的左右視圖的同一 3D場景。如可看到的，本文描述了將立體顯示與左圖像和右圖像的動態(tài)合成以啟用運動視差呈現(xiàn)進行組合的混合3D視頻系統(tǒng)。這可通過在運動視差眼鏡(包括具有分開的過濾透鏡的運動視差眼鏡)中插入位置傳感器來實現(xiàn)，和/或通過用于眼睛跟蹤的計算機視覺算法來實現(xiàn)。可以調(diào)節(jié)頭部跟蹤軟件來考慮佩戴眼鏡的觀看者。該混合3D系統(tǒng)可被應(yīng)用于視頻和/或顯示3D場景的圖形應(yīng)用，并且因而允許觀看者在物理上或以其他方式導(dǎo)航立體圖像的各部分。例如，所顯示的3D場景可對應(yīng)于視頻游戲、3D遠程會議、以及數(shù)據(jù)表示。此外，本發(fā)明克服了當(dāng)前顯示技術(shù)只考慮水平視差的顯著缺陷，即通過還調(diào)整垂直視差(假定使用快門眼鏡，或者該顯示器能夠水平且垂直地定向光，與只產(chǎn)生水平視差的一些透鏡或其他免眼鏡技術(shù)不同)。本文描述的分開的眼睛跟蹤/頭部傳感可針對任何頭部位置(例如，側(cè)歪了幾度)來校正視差。示例性計算設(shè)備本文所描述的技術(shù)可應(yīng)用于任何設(shè)備。因此，應(yīng)當(dāng)理解，構(gòu)想了結(jié)合各實施例使用的所有種類的手持式、便攜式和其它計算設(shè)備和計算對象。因此，以下在圖4中描述的通用遠程計算機只是計算設(shè)備的一個示例，如被配置成如上所述地接收傳感器輸出并執(zhí)行圖像視差調(diào)整。各實施例可部分地經(jīng)由操作系統(tǒng)來實現(xiàn)，以供設(shè)備或?qū)ο蟮姆?wù)開發(fā)者使用和/ 或被包括在用于執(zhí)行此處所述的各實施例的一個或多個功能方面的應(yīng)用軟件內(nèi)。軟件可以在由諸如客戶機工作站、服務(wù)器或其它設(shè)備等一個或多個計算機執(zhí)行的諸如程序模塊等計算機可執(zhí)行指令的通用上下文中描述。本領(lǐng)域的技術(shù)人員可以理解，計算機系統(tǒng)具有可用于傳遞數(shù)據(jù)的各種配置和協(xié)議，并且由此沒有特定配置或協(xié)議應(yīng)當(dāng)被認為是限制性的。圖4由此示出了其中可實現(xiàn)本文所述的各實施例的一個或多個方面的合適的計算系統(tǒng)環(huán)境400的一個示例，盡管如上所述，計算系統(tǒng)環(huán)境400僅為合適的計算環(huán)境的一個示例，并非對使用范圍或功能提出任何限制。此外，也不應(yīng)當(dāng)將計算系統(tǒng)環(huán)境400解釋為對在示例性計算系統(tǒng)環(huán)境400中所示的組件中的任何一個或其組合有任何依賴。參考圖4，用于實現(xiàn)一個或多個實施例的示例性遠程設(shè)備包括計算機410形式的通用計算設(shè)備。計算機410的組件可包括，但不限于，處理單元420、系統(tǒng)存儲器430、以及將包括系統(tǒng)存儲器的各種系統(tǒng)組件耦合到處理單元420的系統(tǒng)總線422。計算機410通常包括各種計算機可讀介質(zhì)，并且可以是可由計算機410訪問的任何可用介質(zhì)。系統(tǒng)存儲器430可包括諸如只讀存儲器(ROM)和/或隨機存取存儲器(RAM) 之類的易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)。作為示例而非限制，系統(tǒng)存儲器430還可包括操作系統(tǒng)、應(yīng)用程序、其他程序模塊、以及程序數(shù)據(jù)。觀看者可通過輸入設(shè)備410向計算機440輸入命令和信息。監(jiān)視器或其他類型的顯示設(shè)備也經(jīng)由諸如輸出接口 450之類的接口連接到系統(tǒng)總線422。除監(jiān)視器以外，計算機還可包括諸如揚聲器和打印機之類的其他外圍輸出設(shè)備，它們可通過輸出接口 450連接。計算機410可使用到一個或多個其他遠程計算機(諸如遠程計算機470)的邏輯連接在聯(lián)網(wǎng)或分布式環(huán)境中操作。遠程計算機470可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點、或者任何其他遠程媒體消費或傳輸設(shè)備，并且可包括以上關(guān)于計算機410所述的任何或全部元件。圖4所示的邏輯連接包括諸如局域網(wǎng)(LAN) 或廣域網(wǎng)(WAN)之類的網(wǎng)絡(luò)472，但也可包括其他網(wǎng)絡(luò)/總線。這些聯(lián)網(wǎng)環(huán)境在家庭、辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。如上所述，盡管結(jié)合各種計算設(shè)備和網(wǎng)絡(luò)體系結(jié)構(gòu)描述了各示例性實施例，但基本概念可被應(yīng)用于其中期望改進資源使用的效率的任何網(wǎng)絡(luò)系統(tǒng)和任何計算設(shè)備或系統(tǒng)。而且，存在實現(xiàn)相同或相似功能的多種方法，例如適當(dāng)?shù)腁PI、工具箱、驅(qū)動程序代碼、操作系統(tǒng)、控件、獨立或可下載軟件對象等，它們使得應(yīng)用和服務(wù)能夠使用此處提供的技術(shù)。由此，此處的各實施例從API (或其他軟件對象)的觀點以及從實現(xiàn)如此處描述的一個或多個實施例的軟件或硬件對象構(gòu)想。由此，此處所述的各實施例可具有完全采用硬件、 部分采用硬件并且部分采用軟件、以及采用軟件的方面。本文中所使用的詞語“示例性”意味著用作示例、實例、或說明。為避免疑惑，本文所公開的主題不限于這些示例。另外，本文中作為“示例性”所述的任何方面或設(shè)計不一定被解釋為比其他方面或設(shè)計更優(yōu)選或有利，它也不意味著排除本領(lǐng)域普通技術(shù)人員已知的等效示例性結(jié)構(gòu)和技術(shù)。此外，在使用術(shù)語“包括”、“具有”、“包含”和其他類似詞語的程度上，為避免疑惑，這些術(shù)語旨在以類似于術(shù)語“包括”作為開放的過渡詞的方式是包含性的而在用于權(quán)利要求時不排除任何附加或其他元素。如所述的，此處所述的各種技術(shù)可結(jié)合硬件或軟件或，在適當(dāng)時，以兩者的組合來實現(xiàn)。如此處所使用的，術(shù)語“組件”、“模塊”、“系統(tǒng)”等同樣旨在指計算機相關(guān)實體，或者是硬件、硬件和軟件的組合、軟件或者是執(zhí)行中的軟件。例如，組件可以是，但不限于是，在處理器上運行的進程、處理器、對象、可執(zhí)行碼、執(zhí)行的線程、程序和/或計算機。作為說明， 在計算機上運行的應(yīng)用和計算機都可以是組件。一個或多個組件可以駐留在進程和/或執(zhí)行線程中，并且組件可以位于一個計算機內(nèi)和/或分布在兩個或更多計算機之間。如前所述的系統(tǒng)已經(jīng)參考若干組件之間的交互來描述。可以理解，這些系統(tǒng)和組件可包括組件或指定的子組件、某些指定的組件或子組件和/或附加的組件，并且根據(jù)上述內(nèi)容的各種置換和組合。子組件還可作為通信地耦合到其他組件的組件來實現(xiàn)，而不是被包括在父組件內(nèi)(層次性)。另外，應(yīng)注意到一個或多個組件可被組合成提供聚集功能的單個組件，或被分成若干單獨的子組件，且諸如管理層等任何一個或多個中間層可被設(shè)置成通信耦合到這樣的子組件以便提供集成功能。此處所述的任何組件也可與一個或多個此處未專門描述的但本領(lǐng)域技術(shù)人員一般已知的其他組件進行交互。鑒于本文所述的示例性系統(tǒng)，可根據(jù)參考各附圖的流程圖還可理解根據(jù)所述的主題來實現(xiàn)方法。盡管為了說明簡潔起見，作為一系列框示出和描述的方法，但是應(yīng)當(dāng)理解， 各實施例不僅僅限于框的次序，因為一些框可以與此處所描繪和描述的框不同的次序發(fā)生和/或與其他框并發(fā)地發(fā)生。盡管經(jīng)由流程圖示出了非順序或分支的流程，但可以理解，可實現(xiàn)達到相同或類似結(jié)果的各種其他分支、流程路徑和框的次序。此外，某些示出的框在實現(xiàn)下文所述的方法中是可選的。結(jié)語盡管本發(fā)明易于作出各種修改和替換構(gòu)造，但其某些說明性實施例在附圖中示出并在上面被詳細地描述。然而應(yīng)當(dāng)了解，這不旨在將本發(fā)明限于所公開的具體形式，而是相反地，旨在覆蓋落入本發(fā)明的精神和范圍之內(nèi)的所有修改、替換構(gòu)造和等效方案。除此處所述的各實施例以外，應(yīng)當(dāng)理解，可使用其他類似實施例，或者可對所述實施例作出修改和添加以便執(zhí)行對應(yīng)實施例的相同或等效功能而不背離這些實施例。此外， 多個處理芯片或多個設(shè)備可共享此處所述的一個或多個功能的性能，并且類似地，存儲可跨多個設(shè)備實現(xiàn)。因此，本發(fā)明不應(yīng)限于任何單個實施例，而是應(yīng)當(dāng)根據(jù)所附權(quán)利要求書的廣度、精神和范圍來解釋。
權(quán)利要求
1.一種在計算環(huán)境中、至少部分地在至少一個處理器上執(zhí)行的方法，包括(a)接收感測到的與當(dāng)前觀看者位置相對應(yīng)的位置數(shù)據(jù)；(b)使用所述位置數(shù)據(jù)來調(diào)整和/或從場景獲取左眼圖像來考慮與所述當(dāng)前觀看者位置相對應(yīng)的視差以及右眼圖像來考慮與所述當(dāng)前觀看者位置相對應(yīng)的視差；(C)輸出所述左圖像以顯示給所述觀看者的左眼；(d)輸出所述右圖像以顯示給所述觀看者的右眼；(e)返回步驟(a)以向所述觀看者提供場景的經(jīng)調(diào)整了運動視差的立體視覺表示。
2.如權(quán)利要求I所述的方法，其特征在于，還包括跟蹤觀看者頭部位置以提供感測到的位置數(shù)據(jù)的至少一部分。
3.如權(quán)利要求2所述的方法，其特征在于，跟蹤所述觀看者頭部位置包括基于附連在眼鏡上的一個或多個傳感器來感測所述頭部位置，其中所述眼鏡包括被配置成用于立體視覺觀看的透鏡。
4.如權(quán)利要求2所述的方法，其特征在于，跟蹤所述觀看者頭部位置包括基于附連在眼鏡上的一個或多個發(fā)射器來感測所述頭部位置，其中所述眼鏡包括被配置成用于立體視覺觀看的透鏡。
5.如權(quán)利要求2所述的方法，其特征在于，跟蹤所述觀看者頭部位置包括執(zhí)行計算機視覺算法。
6.如權(quán)利要求2所述的方法，其特征在于，還包括使用與佩戴眼鏡的人相對應(yīng)的數(shù)據(jù)集來訓(xùn)練所述計算機視覺算法。
7.如權(quán)利要求I所述的方法，其特征在于，還包括跟蹤觀看者眼睛位置或觀看者眼睛位置、轉(zhuǎn)動及注視方向。
8.如權(quán)利要求7所述的方法，其特征在于，跟蹤所述觀看者頭部位置包括執(zhí)行計算機視覺算法。
9.如權(quán)利要求I所述的方法，其特征在于，還包括分開地針對左眼和右眼來跟蹤觀看者眼睛位置。
10.如權(quán)利要求I所述的方法，其特征在于，還包括跟蹤觀看者眼鏡透鏡位置。
11.如權(quán)利要求10所述的方法，其特征在于，還包括使用與佩戴眼鏡的人相對應(yīng)的數(shù)據(jù)集來訓(xùn)練所述計算機視覺算法。
12.如權(quán)利要求I所述的方法，其特征在于，使用所述位置數(shù)據(jù)包括針對水平和垂直位置、轉(zhuǎn)動、俯仰、以及傾斜來調(diào)整所述左圖像，以及針對水平和垂直位置、轉(zhuǎn)動、俯仰、以及傾斜來調(diào)整所述右圖像。
13.如權(quán)利要求I所述的方法，其特征在于，還包括(i)接收感測到的與當(dāng)前其他觀看者位置相對應(yīng)的位置數(shù)據(jù)；( )使用所述位置數(shù)據(jù)來調(diào)整和/或從場景獲取左眼圖像來考慮與所述當(dāng)前其他觀看者位置相對應(yīng)的視差以及右眼圖像來考慮與所述當(dāng)前其他觀看者位置相對應(yīng)的視差；(iii)輸出所述左圖像以顯示給所述其他觀看者的左眼；(iv)輸出所述右圖像以顯示給所述其他觀看者的右眼；(v)返回步驟(i)以向所述其他觀看者提供場景的經(jīng)調(diào)整了運動視差的立體視覺表/Jn ο
14.一種在計算環(huán)境中的系統(tǒng)，所述系統(tǒng)包括位置跟蹤設(shè)備、運動視差處理組件，所述位置跟蹤設(shè)備被配置成輸出與觀看者位置相對應(yīng)的位置數(shù)據(jù)，所述運動視差處理組件被配置成接收來自所述運動跟蹤設(shè)備的位置數(shù)據(jù)以及來自立體相機的左圖像數(shù)據(jù)和右圖像數(shù)據(jù)，所述運動視差處理組件還被配置成基于所述位置數(shù)據(jù)來調(diào)整所述左圖像數(shù)據(jù)，以及基于所述位置數(shù)據(jù)來調(diào)整所述右圖像數(shù)據(jù)，并將對應(yīng)的經(jīng)調(diào)整的左圖像數(shù)據(jù)和右圖像數(shù)據(jù)輸出給顯示設(shè)備。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述位置跟蹤設(shè)備跟蹤所述觀看者的頭部位置。
16.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述位置跟蹤設(shè)備跟蹤所述觀看者的眼睛中的至少一只眼睛的位置。
17.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述位置跟蹤設(shè)備跟蹤所述觀看者所佩戴的眼鏡的位置或所述眼鏡的透鏡中的至少一個透鏡的位置。
18.—個或多個具有計算機可執(zhí)行指令的計算機可讀介質(zhì)，所述計算機可執(zhí)行指令在被執(zhí)行時執(zhí)行以下步驟，包括接收一系列左圖像，所述左圖像中的至少一些被針對運動視差進行了調(diào)整；輸出所述一系列左圖像以顯示給所述觀看者的左眼；接收一系列右圖像，所述右圖像中的至少一些被針對運動視差進行了調(diào)整；以及輸出所述一系列右圖像以顯示給所述觀看者的右眼；
19.如權(quán)利要求18所述的一個或多個計算機可讀介質(zhì)，其特征在于，輸出所述一系列左圖像以顯示給所述觀看者的左眼包括配置所述一系列左圖像以穿過所述觀看者的左眼前的過濾器并被所述觀看者的右眼前的過濾器所阻擋，并且其中輸出所述一系列右圖像以顯示給所述觀看者的右眼包括配置所述一系列右圖像以穿過所述觀看者的右眼前的過濾器并被所述觀看者的左眼前的過濾器所阻擋。
20.如權(quán)利要求18所述的一個或多個計算機可讀介質(zhì)，其特征在于，輸出所述一系列左圖像以顯示給所述觀看者的左眼包括將所述左圖像定向到計算得到的或感測到的左眼位置，并且其中輸出所述一系列右圖像以顯示給所述觀看者的右眼包括將所述右圖像定向到計算得到的或感測到的右眼位置。
全文摘要
本發(fā)明涉及具有運動視差的三維顯示。本發(fā)明涉及混合立體圖像/運動視差系統(tǒng)，該系統(tǒng)使用立體3D視覺技術(shù)來向觀看者的每一只眼睛呈現(xiàn)不同圖像，結(jié)合運動視差技術(shù)針對觀看者的眼睛的位置來調(diào)整每一圖像。以此方式，當(dāng)觀看者在觀看3D場景時移動時，觀看者接收立體線索和視差線索兩者，這往往對觀看者造成較大的視覺舒適度/較少的疲勞。還描述了使用眼鏡來跟蹤觀看者位置，包括訓(xùn)練計算機視覺算法來識別眼鏡而非只識別頭部/眼睛。
文檔編號H04N13/04GK102611909SQ20121002671
公開日2012年7月25日 申請日期2012年2月7日 優(yōu)先權(quán)日2011年2月8日
發(fā)明者C·休特瑪, E·萊恩, E·薩爾尼科夫 申請人:微軟公司