本發(fā)明涉及圖像編碼和顯示。

背景技術(shù)：

本文所提供的“背景技術(shù)”描述是為了一般地呈現(xiàn)本公開(kāi)的背景的目的。以在背景技術(shù)中所描述的范圍的當(dāng)前提名的發(fā)明人的工作、以及該描述中可能不符合提交之時(shí)的現(xiàn)有技術(shù)的方面，既不明示地也不暗示地認(rèn)為是本公開(kāi)的現(xiàn)有技術(shù)。

作為背景技術(shù)，將討論示例的可頭戴式顯示器(HMD)，盡管(如以下進(jìn)一步所描述的)本發(fā)明也適用于其他類型的顯示器。

HMD是可以在頭部上佩戴或作為頭盔的一部分的圖像或視頻顯示設(shè)備。任一只眼睛或雙眼都被提供有小的電子顯示設(shè)備。

一些HMD允許將已顯示的圖像疊加在真實(shí)世界視圖上。這種類型的HMD的可以被稱為光透視HMD并且通常需要將顯示設(shè)備放置在除了直接在用戶的眼睛前方之外的某處。然后需要某種方式來(lái)偏轉(zhuǎn)(deflect)已顯示的圖像以使得用戶可以看到它。這可以通過(guò)使用放置在用戶眼睛的前方的部分反射鏡以便允許用戶透過(guò)該鏡子觀看，但是也看到顯示設(shè)備的輸出的反射。在EP-A-1 731 943和US-A-2010/0157433中公開(kāi)的另一布置中，將采用全內(nèi)反射的波導(dǎo)裝置用于傳送來(lái)自布置在用戶頭部的一側(cè)的顯示設(shè)備的已顯示的圖像，以使得用戶可以看到已顯示的圖像，但是仍然透過(guò)波導(dǎo)看到真實(shí)世界的視圖。再次，在任一種這些類型的布置中，創(chuàng)建(使用已知技術(shù))該顯示的虛擬圖像以使得用戶以合適的大小和距離看到該虛擬圖像，以允許放松的觀看。例如，即使物理顯示設(shè)備可能是微小的(例如，10毫米×10毫米)并且可能離用戶的眼睛只有幾毫米，虛擬圖像也可被布置為使得用戶將其感知在離該用戶(例如)20m的距離處，具有5米×5米的感觀大小。

然而，其他的HMD允許用戶只看到顯示的圖像，也就是說(shuō)，它們遮蓋了用戶周圍的真實(shí)世界環(huán)境。這種類型的HMD可以將實(shí)際的顯示裝置置于用戶的眼睛前方，與合適的透鏡相關(guān)聯(lián)，該透鏡將虛擬的顯示圖像放置在對(duì)于該用戶合適的距離處，用于以放松的方式聚焦——例如，以與以上所討論的光透視HMD相類似的虛擬距離和感觀大小。這種類型的設(shè)備可以用于觀看電影或類似的記錄的內(nèi)容，或者用于觀看表示該用戶周圍的虛擬空間的所謂的虛擬現(xiàn)實(shí)內(nèi)容。然而當(dāng)然可能的是，能夠通過(guò)例如使用前向攝像機(jī)來(lái)生成用于在該顯示設(shè)備上顯示的圖像，在這種類型的HMD上顯示真實(shí)世界視圖。

盡管HMD的原始開(kāi)發(fā)可能是由這些設(shè)備的軍事和專業(yè)應(yīng)用推動(dòng)的，然而HMD在例如電腦游戲或家庭計(jì)算應(yīng)用中對(duì)于普通用戶變得更加流行。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明由權(quán)利要求1限定。

本發(fā)明的另外的各個(gè)方面和特征在所附的權(quán)利要求中限定。

附圖說(shuō)明

現(xiàn)在將參考附圖描述本發(fā)明的實(shí)施例，其中：

圖1示意性地示出了由用戶佩戴的HMD；

圖2是HMD的示意性主視圖；

圖3示意性地示出HMD的虛擬圖像的形成；

圖4示意性地示出了用于在HMD中使用的另一類型的顯示；

圖5示意性地示出了一對(duì)立體圖像；

圖6示意性地示出了HMD的用戶的視圖的改變；

圖7a和圖7b示意性地示出了具有運(yùn)動(dòng)感測(cè)的HMD；

圖8示意性地示出了基于光流檢測(cè)的位置傳感器；

圖9示意性地示出了響應(yīng)于HMD位置或運(yùn)動(dòng)檢測(cè)的圖像的生成；

圖10示意性地示出了攝像機(jī)的圖像的捕捉；

圖11示意性地示出了捕捉到的圖像的重新投影；

圖12示意性地示出了圖像旋轉(zhuǎn)；

圖13示意性地示出了圖像旋轉(zhuǎn)和平移；

圖14示意性地示出了HMD圖像顯示的延遲問(wèn)題；

圖15是示出圖像處理技術(shù)的示意性流程圖；

圖16示意性地示出了HMD的旋轉(zhuǎn)；

圖17示意性地示出了圖像位置減法；

圖18示意性地示出了深度圖；

圖19和圖20示意性地示出了根據(jù)各自不同的視點(diǎn)的圖像；

圖21示意性地示出了用于圖像渲染和重新投影來(lái)補(bǔ)償HMD運(yùn)動(dòng)的技術(shù)；

圖22是關(guān)于圖21所示的技術(shù)的示意性流程圖；

圖23示意性地示出了用于圖像捕捉和重新投影以補(bǔ)償不同的攝像機(jī)和HMD位置的技術(shù)；

圖24是關(guān)于圖23所示的技術(shù)的示意性流程圖；

圖25示意性地示出了全景圖像的觀看；

圖26示意性地示出了在已顯示的圖像中的攝像機(jī)視點(diǎn)調(diào)整；

圖27示意性地示出了攝像機(jī)裝置；

圖28示意性地示出了觀看者觀察顯示屏幕；

圖29示意性地示出了用戶佩戴頭部方向檢測(cè)器；

圖30示意性地示出了被動(dòng)式頭部方向檢測(cè)技術(shù)；

圖31示意性地示出了使用多個(gè)屏幕的顯示布置；

圖32示意性地示出了顯示圖像的示例；

圖33和圖34示意性地示出了圖像的各自不同的視場(chǎng)(FOV)的版本；

圖35示意性地示出了高FOV圖像和低FOV圖像的組合；

圖36示意性地示出了將多FOV圖像編碼為連續(xù)合成圖像；

圖37示意性地示出了將多FOV圖像編碼為虛擬3D圖像；

圖38是示出涉及生成、編碼、解碼和使用多FOV圖像的操作的示意性流程圖。

圖39示意性地示出了所謂的幀撕裂；

圖40示意性地示出了元數(shù)據(jù)編碼技術(shù)；

圖41示意性地表示已編碼的元數(shù)據(jù)；

圖42和圖43是示出圍繞幀撕裂的組合圖像的兩種不同的方式的示意性流程圖；

圖44示意性地示出了幀撕裂時(shí)的重新投影處理；

圖45示意性地示出了圖像生成器的一部分；以及

圖46示意性地示出了HMD的一部分。

具體實(shí)施方式

本發(fā)明的實(shí)施例可以提供一種使用可操作為向觀看者顯示圖像的顯示器的顯示方法和裝置。在一些實(shí)施例中，該顯示器是可頭戴式顯示器并且通過(guò)檢測(cè)可頭戴式顯示器的位置和/或方向來(lái)檢測(cè)觀看者頭部的位置和/或方向?？深^戴式顯示器可以具有被安裝到觀看者頭部上的框架，該框架限定了在使用中定位于觀看者的各只眼睛前面的一個(gè)或兩個(gè)眼睛顯示位置，并且相對(duì)于每個(gè)眼睛顯示位置安裝各自的顯示元件，該顯示元件向觀看者的該只眼睛提供來(lái)自視頻信號(hào)源的視頻信號(hào)的視頻顯示的虛擬圖像。在其他示例中，該顯示器不是可頭戴式顯示器。在一些實(shí)施例中，該顯示器(不論是否為可頭戴式的)可以被稱為沉浸式(immersive)顯示器，這是由于在正常使用中它至少覆蓋了用戶的視場(chǎng)(filed of view)的閾值角度范圍(例如，至少40度)。示例包括多投影器顯示器、環(huán)繞(彎曲)式顯示器等。

現(xiàn)參照?qǐng)D1，用戶10在用戶的頭部30上佩戴HMD 20。該HMD包括框架40，在本示例中由后帶和頂帶構(gòu)成，以及顯示部分50。

圖1的HMD完全遮蓋了用戶的周圍環(huán)境的視圖。用戶能夠看到的全部是在該HMD內(nèi)顯示的一對(duì)圖像。

該HMD具有相關(guān)聯(lián)的頭戴電話耳機(jī)60，其被放入用戶的左耳和右耳70。耳機(jī)60重放從外部源提供的音頻信號(hào)，該外部源可以與向用戶的眼睛提供用于顯示的視頻信號(hào)的視頻信號(hào)源相同。

在操作中，提供用于由該HMD顯示的視頻信號(hào)。這可以通過(guò)諸如視頻游戲機(jī)或數(shù)據(jù)處理裝置(諸如個(gè)人計(jì)算機(jī))的外部視頻信號(hào)源80提供，在該情況下，可以通過(guò)有線或無(wú)線連接將該信號(hào)傳輸?shù)紿MD。合適的無(wú)線連接的示例包括藍(lán)牙(R)連接。用于耳機(jī)60的音頻信號(hào)可以通過(guò)該相同的連接進(jìn)行傳送。類似地，任何從該HMD傳遞到視頻(音頻)信號(hào)源的控制信號(hào)可以通過(guò)該相同的連接進(jìn)行傳送。

因此，圖1的布置提供了包括被安裝在觀察者頭部上的框架的可頭戴式顯示系統(tǒng)的示例，該框架限定了在使用中定位于觀察者的相應(yīng)眼睛前面的一個(gè)或兩個(gè)眼睛顯示位置以及相對(duì)于每個(gè)眼睛顯示位置安裝的顯示元件，該顯示元件向觀察者的該只眼睛提供來(lái)自視頻信號(hào)源的視頻信號(hào)的視頻顯示的虛擬圖像。

圖1僅示出了HMD的一個(gè)示例。其他樣式是可能的：例如HMD可以使用更類似于與傳統(tǒng)眼鏡相關(guān)的框架，即從顯示部分往回延伸至用戶的耳后上部的基本上水平的腿，有可能地在耳朵后向下彎曲。在其他的示例中，用戶的外部環(huán)境的視圖實(shí)際上可能未被完全遮蓋；已顯示的圖像可以被布置為使得被疊加(從用戶的視點(diǎn)來(lái)看)在外部環(huán)境之上。以下將參考圖4描述這種布置的示例。

在圖1的示例中，對(duì)于用戶的每只眼睛提供單獨(dú)各自的顯示。如圖2所示提供了這是如何實(shí)現(xiàn)的示意性平面視圖，其示出了用戶眼睛的位置100和用戶鼻子的相對(duì)位置110。以示意的形式，顯示部分50包括從用戶眼睛遮蔽周圍的光的外部屏蔽120和防止一只眼睛看到用于另一只眼睛的顯示的內(nèi)部屏蔽130。用戶的臉、外部屏蔽120和內(nèi)部屏蔽130的組合形成兩個(gè)隔室140，其中每一個(gè)針對(duì)每一只眼睛。在每個(gè)隔室中，提供了顯示元件150和一個(gè)或多個(gè)光學(xué)元件160。將參考圖3描述該顯示元件和(多個(gè))光學(xué)元件協(xié)作以向用戶提供顯示的方式。

參照?qǐng)D3，顯示元件150生成顯示的圖像，該圖像(在本示例中)被光學(xué)元件160(示意性地表示為凸透鏡，但其可以包括復(fù)合透鏡或其他元件)折射以便生成虛擬圖像170，用戶看起來(lái)該虛擬圖像170要比由顯示元件150生成的真實(shí)圖像更大并且明顯地更遠(yuǎn)。作為示例，虛擬圖像可能具有大于1米的視在圖像大小(圖像對(duì)角線)，并且可能置于離用戶眼睛(或者離HMD的框架)超過(guò)1米的距離處?？傮w而言，取決于該HMD的目的，期望的是使虛擬圖像置于離用戶明顯的距離。例如，如果該HMD用于觀看電影等，期望的是在這種觀看期間用戶的眼睛是放松的，這需要至少幾米的(到虛擬圖像的)距離。在圖3中，實(shí)線(諸如線180)用于表示真實(shí)光照射，而虛線(諸如線190)用于表示虛擬照射。

圖4中示出了替代的布置。其中期望用戶對(duì)外部環(huán)境的視圖未被完全遮蓋時(shí)可以使用這種布置。然而，它也可適用于其中用戶的外部視圖被完全遮蓋的HMD。在圖4的布置中，顯示元件150和光學(xué)元件200協(xié)作以提供圖像，該圖像被投影到鏡子210上，該鏡子210朝向用戶的眼睛位置220偏轉(zhuǎn)該圖像。用戶感觀到虛擬圖像位于用戶前面并且離用戶適當(dāng)距離處的位置230處。

在其中用戶的外部環(huán)境的視圖被完全遮蓋的HMD的情況下，鏡子210可以是基本上100％的反射鏡。則圖4的布置具有的優(yōu)點(diǎn)是顯示元件和光學(xué)元件可以位于更靠近于用戶頭部的重心和用戶眼睛的側(cè)面，其可以產(chǎn)生一個(gè)不那么龐大的HMD用于用戶佩戴。另外，如果該HMD被設(shè)計(jì)為未完全遮蓋用戶的外部環(huán)境的視圖，鏡子210可以做成部分反射的，以使得用戶透過(guò)鏡子210看到外部環(huán)境、以及疊加在真實(shí)外部環(huán)境之上的虛擬圖像。

在對(duì)于用戶的每只眼睛提供單獨(dú)各自的顯示的情況下，能夠顯示立體圖像。圖5中示出用于顯示給左眼和右眼的一對(duì)立體圖像的示例。該圖像相對(duì)于彼此表現(xiàn)出橫向位移，其中圖像特征的位移取決于捕捉該圖像的攝像機(jī)的(真實(shí)的或模擬的)橫向間隔、攝像機(jī)的角度收斂以及每個(gè)圖像特征離攝像機(jī)位置的(真實(shí)的或模擬的)距離。

注意，圖5中的橫向位移(以及以下將在圖15中描述的那些)可能實(shí)際上是相反的，也就是說(shuō)，所繪制的左眼圖像可能實(shí)際上是右眼圖像，并且所繪制的右眼圖像可能實(shí)際上是左眼圖像。這是因?yàn)橐恍┝Ⅲw顯示器傾向于在右眼圖像中向右移動(dòng)對(duì)象和在左眼圖像中向左移動(dòng)對(duì)象，以便模擬該用戶透過(guò)立體窗口眺望遠(yuǎn)處場(chǎng)景的想法。然而，一些HMD使用圖5所示的布置，因?yàn)檫@給予用戶該用戶透過(guò)雙筒望遠(yuǎn)鏡觀看該場(chǎng)景的印象。在這兩種布置之間的選擇由系統(tǒng)設(shè)計(jì)人員自由裁量。

在一些情況下，HMD可以簡(jiǎn)單地用于觀看電影等。在這種情況下，當(dāng)用戶例如從一側(cè)到另一側(cè)時(shí)轉(zhuǎn)動(dòng)用戶頭部時(shí)，已顯示的圖像的視在(apparent)視點(diǎn)不需要改變。然而，在諸如與虛擬現(xiàn)實(shí)(VR)或增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)相關(guān)的那些其他使用中，用戶的視點(diǎn)需要跟蹤相對(duì)于用戶位于其中的真實(shí)或虛擬空間的移動(dòng)。

此跟蹤通過(guò)檢測(cè)HMD的運(yùn)動(dòng)并且改變已顯示的圖像的視在視點(diǎn)，使得視在視點(diǎn)跟蹤該運(yùn)動(dòng)。

圖6示意性地示出了VR或AR系統(tǒng)中用戶頭部移動(dòng)的效果。

參照?qǐng)D6，虛擬環(huán)境由用戶周圍的(虛擬)球形外殼250表示。因?yàn)樾枰诙S圖紙上表示這種布置，因此該外殼由離用戶相當(dāng)于已顯示的虛擬圖像離用戶的間隔的距離處的圓的一部分表示。用戶最初在第一位置260處并且方向朝向虛擬環(huán)境的一部分270。正是這一部分270在用戶的HMD的顯示元件150上顯示的圖像中予以表示。

考慮其中用戶隨后將他的頭部移動(dòng)到新的位置和/或方向280的情況。為了保持該虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)顯示的正確感觀，虛擬環(huán)境的已顯示的部分也移動(dòng)，以使得在移動(dòng)結(jié)束時(shí)由該HMD顯示一個(gè)新部分290。

因此，在這種布置中，虛擬環(huán)境內(nèi)的視在視點(diǎn)隨著頭部移動(dòng)而移動(dòng)。如果頭部旋轉(zhuǎn)到右側(cè)，例如，如圖6所示，視在視點(diǎn)也從用戶的視點(diǎn)移動(dòng)到右側(cè)。如果從諸如已顯示的對(duì)象300的已顯示的對(duì)象的方面考慮該情況，這將實(shí)際上在與頭部移動(dòng)相反的方向上移動(dòng)。因此，如果頭部移動(dòng)是向右，則視在視點(diǎn)向右移動(dòng)，但諸如在虛擬環(huán)境中靜止的已顯示的對(duì)象300的對(duì)象將朝向已顯示的圖像的左側(cè)移動(dòng)，并且最終將消失在已顯示的圖像的左手側(cè)，原因很簡(jiǎn)單，該虛擬環(huán)境的已顯示的部分已經(jīng)移動(dòng)到右側(cè)，然而已顯示的對(duì)象300在虛擬環(huán)境中沒(méi)有移動(dòng)。

圖7a和圖7b示意性地示出了具有運(yùn)動(dòng)感測(cè)的HMD。這兩個(gè)附圖類似于圖2中所示的樣式。也就是說(shuō)，該附圖是HMD的示意性平面視圖，其中顯示元件150和光學(xué)元件160由簡(jiǎn)單的盒子形狀表示。為了該圖形的清楚，圖2的許多特征未予以示出。兩個(gè)附圖均示出具有用于檢測(cè)觀察者頭部的運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)器的HMD的示例。

在圖7a中，在該HMD的前面上提供前向攝像機(jī)320。這并不一定向用戶提供用于顯示的圖像(盡管它可以在增強(qiáng)現(xiàn)實(shí)布置中這樣做)。相反，在本實(shí)施例中它的主要目的是允許運(yùn)動(dòng)感測(cè)。以下將結(jié)合圖8描述用于使用由攝像機(jī)320捕捉的圖像的用于運(yùn)動(dòng)感測(cè)的技術(shù)。在這些布置中，運(yùn)動(dòng)檢測(cè)器包括安裝成隨框架移動(dòng)的攝像機(jī)；以及可操作為將由該攝像機(jī)捕捉的連續(xù)圖像進(jìn)行比較以便檢測(cè)圖像間運(yùn)動(dòng)的圖像比較器。

圖7b利用硬件運(yùn)動(dòng)檢測(cè)器330。這可以安裝在該HMD內(nèi)或該HMD上的任何地方。合適的硬件運(yùn)動(dòng)檢測(cè)器的示例為壓電加速計(jì)或光纖陀螺儀。當(dāng)然應(yīng)理解的是，在同一設(shè)備中可以使用硬件運(yùn)動(dòng)檢測(cè)和基于攝像機(jī)的運(yùn)動(dòng)檢測(cè)兩者，在這種情況下，一個(gè)感測(cè)裝置可以用作當(dāng)另一個(gè)不可用時(shí)的備份，或者一個(gè)感測(cè)裝置(諸如攝像機(jī))可以提供用于改變已顯示的圖像的視在視點(diǎn)的數(shù)據(jù)，而另一個(gè)(諸如加速度計(jì))可以提供用于圖像穩(wěn)定的數(shù)據(jù)。

圖8示意性地示出了使用圖7a的攝像機(jī)320的運(yùn)動(dòng)檢測(cè)的一個(gè)示例。

攝像機(jī)320是以例如每秒25個(gè)圖像的圖像捕捉速率來(lái)捕捉圖像的視頻攝像機(jī)。當(dāng)捕捉到每個(gè)圖像時(shí)，其被傳遞給用于存儲(chǔ)的圖像存儲(chǔ)400并且還由圖像比較器410將其與從該圖像存儲(chǔ)檢索到的先前圖像相比較。該比較使用已知的塊匹配技術(shù)(所謂的“光流”檢測(cè))以確定自從捕捉到該先前圖像的時(shí)刻起整個(gè)圖像是否移動(dòng)。局部運(yùn)動(dòng)可能指示的攝像機(jī)320的視場(chǎng)內(nèi)的移動(dòng)對(duì)象，但是基本上整個(gè)圖像的全局運(yùn)動(dòng)將傾向于指示該攝像機(jī)的運(yùn)動(dòng)，而不是該捕捉的場(chǎng)景中單獨(dú)特征的運(yùn)動(dòng)，并且在這種情況下，由于攝像機(jī)安裝在HMD上，攝像機(jī)的運(yùn)動(dòng)對(duì)應(yīng)于HMD的運(yùn)動(dòng)，進(jìn)而對(duì)應(yīng)于用戶頭部的運(yùn)動(dòng)。

由圖像比較器410檢測(cè)到的一個(gè)圖像和下一個(gè)圖像之間的位移由運(yùn)動(dòng)檢測(cè)器420轉(zhuǎn)換為指示運(yùn)動(dòng)的信號(hào)。如果需要的話，該運(yùn)動(dòng)信號(hào)由積分器430轉(zhuǎn)換為位置信號(hào)。

如上所述，作為通過(guò)檢測(cè)由與HMD相關(guān)聯(lián)的視頻攝像機(jī)捕捉的圖像之間的圖像間運(yùn)動(dòng)的運(yùn)動(dòng)的檢測(cè)的替代或額外地，HMD可以使用諸如加速度計(jì)的機(jī)械或固態(tài)檢測(cè)器330檢測(cè)頭部運(yùn)動(dòng)。實(shí)際上這可以給出關(guān)于運(yùn)動(dòng)的指示的更快的響應(yīng)，考慮到基于視頻的系統(tǒng)的最佳的響應(yīng)時(shí)間為圖像捕捉速率的倒數(shù)。因此，在一些情況下，檢測(cè)器330可以更好地適合于具有更高頻率運(yùn)動(dòng)檢測(cè)的使用。然而，在其他情況下，例如如果使用高圖像速率攝像機(jī)(諸如200赫茲捕捉速率攝像機(jī))，基于攝像機(jī)的系統(tǒng)可能更適合。就圖8而言，檢測(cè)器330可以取代攝像機(jī)320、圖像存儲(chǔ)400和比較器410，以便直接向運(yùn)動(dòng)檢測(cè)器420提供輸入?；蛘邫z測(cè)器330還可以取代運(yùn)動(dòng)檢測(cè)器420，直接提供指示物理運(yùn)動(dòng)的輸出信號(hào)。

其他位置或運(yùn)動(dòng)檢測(cè)技術(shù)當(dāng)然也是可能的。例如，可以使用通過(guò)可移動(dòng)的縮放臂(pantograph arm)將HMD連接至固定點(diǎn)(例如，數(shù)據(jù)處理設(shè)備上的或在一件家具上的)的機(jī)械裝置、以及檢測(cè)該縮放臂的偏轉(zhuǎn)的變化的位置和方向的傳感器。在其他實(shí)施例中，可以使用具有安裝在HMD上和固定點(diǎn)上的一個(gè)或多個(gè)發(fā)送器和接收器的系統(tǒng)，以允許通過(guò)三角測(cè)量技術(shù)檢測(cè)HMD的位置和方向。例如，HMD可以攜帶一個(gè)或多個(gè)定向發(fā)送器，并且與已知或固定點(diǎn)相關(guān)聯(lián)的接收器的陣列能夠檢測(cè)來(lái)自該一個(gè)或多個(gè)發(fā)送器的相關(guān)信號(hào)?；蛘甙l(fā)送器可以是固定的并且接收器可以在HMD上。發(fā)送器和接收器的示例包括紅外換能器、超聲換能器和射頻換能器。射頻換能器可以具有雙重目的，在于它們也可以形成到和/或來(lái)自HMD的射頻數(shù)據(jù)鏈路的一部分，諸如鏈路。

圖9示意性地示出了響應(yīng)于HMD的檢測(cè)到的位置或位置的改變而執(zhí)行的圖像處理。

如以上結(jié)合圖6所述，在諸如虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)布置的一些應(yīng)用中，正在向HMD的用戶顯示的視頻的視在視點(diǎn)響應(yīng)于用戶頭部的實(shí)際位置或方向的改變而改變。

參考圖9，這是通過(guò)運(yùn)動(dòng)傳感器450(諸如圖8的布置和/或圖7b的運(yùn)動(dòng)檢測(cè)器330)向所需圖像位置檢測(cè)器460提供指示運(yùn)動(dòng)和/或當(dāng)前位置的數(shù)據(jù)來(lái)實(shí)現(xiàn)的，其中該所需圖像位置檢測(cè)器460將HMD的實(shí)際位置轉(zhuǎn)換成限定用于顯示所需的圖像的數(shù)據(jù)。如果需要的話，圖像生成器480訪問(wèn)存儲(chǔ)在圖像存儲(chǔ)470中的圖像數(shù)據(jù)，并且從用于由HMD顯示的合適的視點(diǎn)生成所需的圖像。外部視頻信號(hào)源可以提供圖像生成器480的功能并且作為控制器來(lái)通過(guò)改變已顯示的圖像的視點(diǎn)以便在與檢測(cè)到的運(yùn)動(dòng)相反的方向上移動(dòng)該已顯示的圖像以便在檢測(cè)到的運(yùn)動(dòng)的方向上改變觀察者的視在視點(diǎn)而補(bǔ)償觀察者的頭部的運(yùn)動(dòng)的低頻分量。

圖像生成器480可以以下面將描述的方式在元數(shù)據(jù)的基礎(chǔ)上動(dòng)作以執(zhí)行包括重新投影的各種功能。

為了示意性地示出一些與本技術(shù)相關(guān)聯(lián)的一般概念，圖10示意性示出了攝像機(jī)的圖像的捕捉，并且圖11示意性地示出了捕捉到的圖像的重新投影。

參照?qǐng)D10，攝像機(jī)500捕捉真實(shí)世界場(chǎng)景的一部分510的圖像。攝像機(jī)500的視場(chǎng)示意性地表示為大致三角形形狀520，使得該攝像機(jī)在大致三角形形狀的一個(gè)頂點(diǎn)處，該攝像機(jī)的相鄰側(cè)示意性地指示視場(chǎng)的左和右極端，并且該攝像機(jī)的相對(duì)側(cè)示意性地示出了被捕捉的該部分場(chǎng)景。這種示意性表示法將在以下幾個(gè)附圖中使用。

為了討論圖像重新投影的一般概念，假定在圖10的布置中，不僅捕捉了圖像而且也捕捉了限定攝像機(jī)的“視圖矩陣”的信息。這里，視圖矩陣可以指攝像機(jī)在空間中或者相對(duì)于假想的固定點(diǎn)和方向、或者表示為相對(duì)于在先前時(shí)刻(例如，其可以是與先前捕捉到的圖像相關(guān)聯(lián)的時(shí)刻)適用的位置和/或方向的改變的位置和/或方向。因此，在一個(gè)表達(dá)式中，視圖矩陣可以被認(rèn)為是攝像機(jī)的x、y和z空間位置以及其表示為偏擺(yaw)、俯仰(pitch)、滾轉(zhuǎn)(roll)(指示三正交旋轉(zhuǎn)自由度的一般術(shù)語(yǔ))的旋轉(zhuǎn)方向及其視錐體(viewing frustum)(指示范圍在寬角度視場(chǎng)與窄角度或攝遠(yuǎn)視場(chǎng)之間的攝像機(jī)的視場(chǎng)的一般術(shù)語(yǔ)，并且其可以表示為對(duì)應(yīng)于例如圖10所示的角度530的角度范圍)。視圖矩陣數(shù)據(jù)不需要包括這些數(shù)據(jù)貢獻(xiàn)的全部。例如，在一些布置中，可能只與橫向旋轉(zhuǎn)方向(偏擺)相關(guān)。因此，考慮到捕捉到的圖像和視圖矩陣數(shù)據(jù)的預(yù)期使用將哪個(gè)數(shù)據(jù)項(xiàng)目包括在視圖矩陣數(shù)據(jù)內(nèi)的選擇是系統(tǒng)設(shè)計(jì)人員的問(wèn)題。

在本發(fā)明的實(shí)施例中，視圖矩陣數(shù)據(jù)與捕捉到的圖像相關(guān)聯(lián)地存儲(chǔ)，例如作為所謂的以整個(gè)圖像數(shù)據(jù)包的一部分存儲(chǔ)和/或發(fā)送的元數(shù)據(jù)，例如通過(guò)諸如以下參考圖27描述的包括用于捕捉圖像的圖像捕捉設(shè)備的攝像機(jī)裝置；用于檢測(cè)在該圖像的捕捉的時(shí)刻的攝像機(jī)裝置的位置和/或方向的位置和/或方向檢測(cè)器；以及用于將元數(shù)據(jù)與該圖像相關(guān)聯(lián)的元數(shù)據(jù)生成器，該元數(shù)據(jù)指示在該圖像的捕捉的時(shí)刻該攝像機(jī)裝置的檢測(cè)到的位置和/或方向。

注意，攝像機(jī)500可以是靜態(tài)攝像機(jī)或者捕捉由時(shí)間間隔隔開(kāi)的連續(xù)圖像的視頻攝像機(jī)。

圖11示意性地示出了圖10的攝像機(jī)捕捉的圖像根據(jù)觀看者的視點(diǎn)的重新投影。視點(diǎn)540示意性地由眼睛符號(hào)和大致三角形形狀550示出，該大致三角形形狀550類似于上面所討論的三角形形狀520。為了顯示由攝像機(jī)500捕捉到的圖像以便它適合于根據(jù)圖11所示的視點(diǎn)來(lái)觀看，執(zhí)行將該視點(diǎn)的視圖矩陣(如上所討論的)與攝像機(jī)500的視圖矩陣相關(guān)聯(lián)的處理。將參考圖12和圖13描述這種技術(shù)的示例。

圖12示意性地示出了從第一視圖矩陣560到第二視圖矩陣570的圖像旋轉(zhuǎn)。這種類型的重新投影涉及簡(jiǎn)單地旋轉(zhuǎn)和縮放圖像，以便校正攝像機(jī)的視圖矩陣與用戶視點(diǎn)的視圖矩陣之間的視場(chǎng)和方向中的任何差異。以下將參考圖16和圖17討論這種類型的重新投影的示例。

圖13示意性地示出了從第一視圖矩陣580到第二視圖矩陣590的圖像旋轉(zhuǎn)和平移。這里，該處理稍微較復(fù)雜，并且還可以使用指示捕捉到的圖像中的不同圖像特征的圖像深度的深度圖，以允許將用戶視點(diǎn)相對(duì)于攝像機(jī)的視點(diǎn)進(jìn)行轉(zhuǎn)換。以下將參考圖18-20討論深度圖的使用的示例。

注意，該圖像不必須是攝像機(jī)捕捉的圖像。這些技術(shù)都同樣適用于機(jī)器生成的圖像，諸如由電腦游戲機(jī)產(chǎn)生的用于顯示給用戶的作為玩電腦游戲的過(guò)程的一部分的圖像。

圖14示意性地示出了HMD圖像顯示的延遲問(wèn)題。如上所述，例如參考圖9所討論的，可以使用HMD的位置和/或方向，使得根據(jù)檢測(cè)到的HMD的位置和/或方向渲染用于顯示的圖像。在觀看較寬的捕捉到的圖像的一部分或者生成作為電腦游戲玩法的一部分的所需的圖像情況下，參考圖9所討論的布置涉及檢測(cè)HMD的當(dāng)前位置和/或方向并且渲染合適的圖像用于顯示。

然而，這個(gè)處理中涉及的延遲可能導(dǎo)致生成不正確的圖像。

參照?qǐng)D14，考慮在經(jīng)過(guò)HMD中使用的圖像顯示的圖像重復(fù)周期的數(shù)量級(jí)的時(shí)間間隔的過(guò)程中(例如，1/25秒)，用戶的視點(diǎn)從第一視點(diǎn)600旋轉(zhuǎn)(如圖14中示意性示出為以順時(shí)針?lè)较?到第二視點(diǎn)610的情況。注意，圖14中的兩個(gè)表示被示為并排的，但這僅是繪圖的目的，而并不一定指示用戶視點(diǎn)的平移(盡管在這兩個(gè)視點(diǎn)之間可能涉及一些平移)。

為了允許有時(shí)間以用于渲染下一個(gè)輸出圖像，當(dāng)HMD在視點(diǎn)600處時(shí)，檢測(cè)HMD的位置和/或方向。然后渲染用于顯示的下一個(gè)輸出圖像，但是到該圖像實(shí)際顯示的時(shí)候，視點(diǎn)已經(jīng)旋轉(zhuǎn)到視點(diǎn)610。其結(jié)果是，被顯示的圖像對(duì)于用戶在顯示該圖像的時(shí)刻的視點(diǎn)610是不正確的。這可能給用戶提供主觀上較差的體驗(yàn)，并且可能對(duì)用戶的該部分導(dǎo)致迷失方向感或者甚至惡心。

現(xiàn)將討論解決這個(gè)問(wèn)題的技術(shù)。

圖15是示出圖像處理技術(shù)的示意性流程圖。首先將以較高的層次討論該技術(shù)，然后將在下面給出更多細(xì)節(jié)。

圖15所示的該技術(shù)的特征涉及根據(jù)攝像機(jī)的視圖矩陣(在捕捉的圖像的情況下)或HMD的視圖矩陣(在例如由計(jì)算機(jī)游戲渲染的圖像的情況下)捕捉或渲染圖像(在步驟620中)。

在后者的示例中，將根據(jù)對(duì)應(yīng)于圖14中的視點(diǎn)600的視圖矩陣渲染圖像。換句話說(shuō)，該技術(shù)涉及檢測(cè)觀看者頭部的初始位置和/或方向，并根據(jù)檢測(cè)到的位置和/或方向生成用于顯示的圖像。然后將該圖像與限定該視圖矩陣(也就是說(shuō)，根據(jù)其捕捉或第一次渲染該圖像的視圖矩陣)的元數(shù)據(jù)一起發(fā)送或傳遞到HMD。在顯示的時(shí)刻，再次檢測(cè)該HMD視圖矩陣(換句話說(shuō)，在該圖像被顯示的時(shí)刻檢測(cè)觀看者頭部的當(dāng)前位置和/或方向)，并且在步驟630中，基于指示原始視圖矩陣的元數(shù)據(jù)和在顯示的時(shí)刻從HMD檢測(cè)的視圖矩陣(以圖14的術(shù)語(yǔ)，這將是對(duì)應(yīng)于視點(diǎn)610的視圖矩陣，從而該技術(shù)涉及將元數(shù)據(jù)與生成的圖像相關(guān)聯(lián)，其中該元數(shù)據(jù)指示觀看者頭部的初始位置和/或方向)來(lái)將該圖像重新投影。因此，該技術(shù)涉及根據(jù)觀看者頭部的初始位置和/或方向與當(dāng)前位置和/或方向之間的差異來(lái)對(duì)生成的圖像進(jìn)行重新投影并使用該顯示來(lái)顯示重新投影的圖像。

在捕捉的圖像的情況下，攝像機(jī)的視圖矩陣一般不在顯示裝置的控制范圍內(nèi)，因此該技術(shù)提供了補(bǔ)償這兩個(gè)視圖矩陣之間的差異的方式。然而，在圖像渲染的情況下問(wèn)題稍有不同。然而，明顯特征是，處理重新投影操作所花費(fèi)的時(shí)間可以比完整的渲染操作以生成輸出圖像所花費(fèi)的時(shí)間少得多。進(jìn)而，這意味著渲染操作必須相對(duì)于顯示的時(shí)刻更早開(kāi)始，如參考圖14的所討論的，其中該顯示可能導(dǎo)致關(guān)于對(duì)用于渲染操作的合適的視點(diǎn)的檢測(cè)的延遲問(wèn)題。相比之下，使用參考圖15描述的技術(shù)，渲染操作相對(duì)于在啟動(dòng)該渲染操作的時(shí)刻正確的視點(diǎn)(諸如視點(diǎn)600)發(fā)生，但隨后在顯示的時(shí)刻對(duì)該視點(diǎn)調(diào)整(例如，調(diào)整到視點(diǎn)610)。這避免了嘗試提前預(yù)測(cè)視點(diǎn)610的需要，其中該預(yù)測(cè)也可能導(dǎo)致視點(diǎn)的錯(cuò)誤，但是以對(duì)應(yīng)于顯示時(shí)刻的合適的視點(diǎn)向用戶提供用于顯示的圖像。因此，該技術(shù)可以涉及接收?qǐng)D像和相關(guān)聯(lián)的元數(shù)據(jù)、在圖像被顯示的時(shí)刻檢測(cè)觀看者頭部的當(dāng)前位置和/或方向、根據(jù)由元數(shù)據(jù)指示的位置和/或方向與觀看者頭部的當(dāng)前位置和/或方向之間的任何差異重新投影所接收的圖像、以及顯示該重新投影的圖像。

以下將討論這項(xiàng)技術(shù)的工作示例。

圖16示意性地示出了HMD視點(diǎn)650在順時(shí)針?lè)较蛏系男D(zhuǎn)。

圖16類似于以上討論的圖6，在于用于顯示的圖像被視為位于半徑r的球體的表面上，其中r基本上等于從用戶的眼睛到由HMD顯示系統(tǒng)生成的虛擬圖像的距離。在這種布置下，視點(diǎn)650以角度θ的旋轉(zhuǎn)可以被認(rèn)為是半徑r的球體的表面以橫向距離d的橫向移動(dòng)。在圖17中示意性地示出了這種位移d。如果假定在步驟620中生成的圖像由圖16中的圖像660表示，在本步驟630中生成的圖像由圖16中的圖像670表示，可以看出這兩個(gè)圖像可以從用戶的視點(diǎn)表示為并排的(注意，在圖17中，示出了小的垂直位移僅為了允許在附圖中允許不同的圖像彼此區(qū)分)。

在簡(jiǎn)單的示例中，為了生成(在步驟630中)用于向用戶顯示的合適的圖像670，執(zhí)行“減法”操作，其中該“減法”操作是示意性的術(shù)語(yǔ)，用來(lái)說(shuō)明檢測(cè)圖像670的所需的顯示部分和圖像660的實(shí)際位置之間的重疊的操作，以便在圖像670內(nèi)顯示圖像660的重疊部分680(圖17中的陰影部分)。換句話說(shuō)，重新投影包括檢測(cè)生成的圖像和所需的重新投影的圖像之間的重疊部分，并且再現(xiàn)該重疊部分作為重新投影的圖像的一部分。

在本發(fā)明的實(shí)施例中，圖像670中缺少的區(qū)域(未示出為陰影的那些部分)可以使用來(lái)自例如為此目的捕捉或準(zhǔn)備的并由顯示裝置存儲(chǔ)的全景圖像的圖像數(shù)據(jù)進(jìn)行遮蔽或者填充。因此，該技術(shù)的實(shí)施例可以因此包括利用來(lái)自另外的圖像源的圖像材料來(lái)填充重新投影圖像中除了重疊部分的部分。

為了通過(guò)考慮視點(diǎn)的平移而對(duì)圖像重新投影，本發(fā)明的實(shí)施例可以使用與該圖像相關(guān)聯(lián)的深度信息。圖18示意性地示出了可以從例如由3-D(雙目)攝像機(jī)或所謂的Z-攝像機(jī)捕捉的圖像數(shù)據(jù)得到的、或者可以作為電腦游戲機(jī)的渲染引擎的操作的一部分而生成的深度圖。

在圖18的示意性示例中，標(biāo)記為對(duì)象A、B和C的三個(gè)圖像對(duì)象被示為在從任意深度位置700測(cè)量的各自的圖像深度z_A、z_B和z_C處。示出了兩個(gè)潛在的視點(diǎn)，分別標(biāo)記為視點(diǎn)v₁和視點(diǎn)v₂。

圖19和圖20示意性地示出了分別根據(jù)視點(diǎn)v₁和視點(diǎn)v₂的圖像的部分。在渲染階段中，在生成該圖像中對(duì)每個(gè)圖像對(duì)象的深度予以考慮。然而，該技術(shù)也可以在諸如由以上討論的步驟630所限定的重新投影階段中使用，以使圖像對(duì)象可以根據(jù)它們各自的圖像深度在重新投影的圖像中相對(duì)于彼此移動(dòng)。因此，該技術(shù)可以涉及提供指示一個(gè)或多個(gè)圖像特征的圖像深度的深度數(shù)據(jù)，并且重新投影可以包括根據(jù)該深度數(shù)據(jù)在重新投影的圖像內(nèi)重新定位一個(gè)或多個(gè)圖像特征。

圖21示意性地示出了用于圖像渲染和重新投影來(lái)補(bǔ)償HMD運(yùn)動(dòng)的技術(shù)。以類似于圖14的方式，用戶視點(diǎn)從以圖15的步驟620的一部分所檢測(cè)到的視點(diǎn)710移動(dòng)或旋轉(zhuǎn)到以圖15的步驟630的一部分所檢測(cè)到的視點(diǎn)720，并且根據(jù)其對(duì)用于顯示的圖像進(jìn)行重新投影。以這種方式，根據(jù)正確的視點(diǎn)720的圖像被顯示給用戶。

更詳細(xì)地，圖22是關(guān)于圖21所示的技術(shù)的示意性流程圖。在圖22中，示出了處理步驟800、810、820、830、840和850。在這些之中，步驟800、810和820大致對(duì)應(yīng)于圖15的步驟620。其余的步驟830、840和850大致對(duì)應(yīng)于圖15的步驟630。

在步驟800中，檢測(cè)HMD的當(dāng)前位置(對(duì)應(yīng)于圖21的位置710)，并且在步驟810中，將其存儲(chǔ)(例如，在形成HMD或電腦游戲機(jī)的一部分的臨時(shí)工作存儲(chǔ)器中)。在步驟820中，根據(jù)視點(diǎn)710渲染用于顯示的圖像。

在渲染的圖像被顯示的時(shí)刻，或者在該圖像被顯示的時(shí)刻之前的時(shí)間間隔t時(shí)，其中t是重新投影操作所需的時(shí)間長(zhǎng)度，在步驟830中，再次檢測(cè)HMD位置，在本示例中將檢測(cè)位置720。在步驟840中如上所討論的將用于顯示的圖像重新投影，并在步驟850中將其顯示給用戶。

現(xiàn)在將討論關(guān)于捕捉的圖像的類似的示例。圖23示意性地示出了用于圖像捕捉和重新投影來(lái)補(bǔ)償不同的攝像機(jī)和HMD位置的技術(shù)。在圖23中攝像機(jī)視點(diǎn)730不同于HMD視點(diǎn)740。

圖24是關(guān)于圖23所示的技術(shù)的示意性流程圖。

在圖24中，示出了處理步驟900、910、920、930、940和950。這些之中，步驟900和910大致對(duì)應(yīng)于圖15的步驟620。其余的步驟920、930、940和950大致對(duì)應(yīng)于圖15的步驟630。

在步驟900中，檢測(cè)攝像機(jī)的當(dāng)前位置(對(duì)應(yīng)于圖23的位置730)，并且在步驟910中，將其作為元數(shù)據(jù)與捕捉到的圖像一起傳送。

在該圖像被顯示的時(shí)刻，或者在該圖像被顯示的時(shí)刻之前的時(shí)間間隔t，其中t是重新投影操作所需的時(shí)間長(zhǎng)度，在步驟920中檢測(cè)HMD位置，在本示例中將檢測(cè)位置740。在步驟930中如上所討論的將用于顯示的圖像重新投影，并對(duì)其渲染(在步驟940中)以在步驟950中顯示給用戶。

圖25示意性地示出了對(duì)通過(guò)將由各個(gè)攝像機(jī)或攝像機(jī)位置1000、1010、1020捕捉到的圖像組合或拼接在一起所形成的全景圖像1030的觀看。應(yīng)注意的是不必須涉及真實(shí)的攝像機(jī)；該全景圖像可以通過(guò)將多個(gè)計(jì)算機(jī)生成的具有各自不同的視點(diǎn)的圖像拼接在一起而形成。以類似于以上所討論的步驟910的方式，攝像機(jī)、攝像機(jī)位置或用來(lái)捕捉該全景圖像的虛擬相機(jī)中的每個(gè)的視點(diǎn)與該全景圖像或?qū)?yīng)于該視點(diǎn)的各自的圖像部分相關(guān)聯(lián)來(lái)作為圖像元數(shù)據(jù)。在顯示的時(shí)刻，根據(jù)用戶視點(diǎn)1040，根據(jù)以上所討論的技術(shù)通過(guò)將各自的圖像部分或整個(gè)全景圖像重新投影生成用于顯示的圖像1050。

圖26示意性地示出在已顯示的圖像中的攝像機(jī)視點(diǎn)調(diào)整，其可以允許在相對(duì)于觀看者以原始大小和位置再現(xiàn)圖像。圖26的左側(cè)示意性地示出了用戶使用手持?jǐn)z像機(jī)捕捉(在本示例中)高的建筑物的圖像。如上所討論的，將攝像機(jī)視點(diǎn)記錄并且與捕捉到的圖像相關(guān)聯(lián)作為元數(shù)據(jù)。對(duì)于圖26的右側(cè)，用戶通過(guò)HMD觀看捕捉到的圖像。將該捕捉到的圖像根據(jù)用戶的視點(diǎn)使用以上所討論的技術(shù)進(jìn)行重新投影。

以上所述的數(shù)據(jù)處理操作可以在視頻信號(hào)源80(例如，電腦游戲機(jī))和/或HMD處執(zhí)行(關(guān)于圖22的所有的步驟和圖24的步驟920……950)。在HMD處的處理和在源80處的處理之間的劃分是系統(tǒng)設(shè)計(jì)人員的問(wèn)題；可能期望的是為了用戶舒適度而減小HMD的大小、重量和功率消耗，這將使它適合于將盡可能多的處理移動(dòng)到源80?？商娲兀瑸榱藴p少需要在HMD和源80之間傳送的數(shù)據(jù)量，一些處理可以全部在HMD處發(fā)生。在任一情況下，該處理可以通過(guò)例如合適的可編程硬件在軟件控制下操作來(lái)執(zhí)行。圖24的步驟900、910可以由攝像機(jī)或(類似于以上的討論的方式)由與攝像機(jī)相關(guān)聯(lián)的裝置來(lái)執(zhí)行。為示例的目的，圖27示意性地示出了具有此功能的攝像機(jī)1100。在圖27中，攝像機(jī)1100包括透鏡結(jié)構(gòu)1110、布置為透過(guò)透鏡結(jié)構(gòu)1110來(lái)接收光并且將光轉(zhuǎn)換成圖像信號(hào)的圖像傳感器1120、位置、方向和/或運(yùn)動(dòng)檢測(cè)器1130、其可以是以上結(jié)合檢測(cè)HMD的位置、方向和/或運(yùn)動(dòng)所討論的類型、以及可操作為使用來(lái)自檢測(cè)器1130的數(shù)據(jù)至少執(zhí)行步驟900、910并且輸出具有如以上所討論的相關(guān)聯(lián)的視點(diǎn)元數(shù)據(jù)的圖像信號(hào)1150。注意，如果如之前所述使用光流運(yùn)動(dòng)檢測(cè)，則針對(duì)這個(gè)處理的圖像數(shù)據(jù)可以簡(jiǎn)單地從傳感器1120得到，從而避免了需要單獨(dú)的檢測(cè)器1130。

根據(jù)本發(fā)明的至少一些實(shí)施例，通過(guò)在視頻信號(hào)中增加額外的數(shù)據(jù)，諸如頭戴式顯示器(HMD)的沉浸式視頻顯示器或者多屏幕投影器能夠向觀看者再現(xiàn)與實(shí)物大小相同的并且在它們正確的方向上的圖像。對(duì)于交互式應(yīng)用，圖像重新投影可以快速進(jìn)行并且最遲在顯示之前。這可以減少由渲染延遲導(dǎo)致的不需要的圖像移動(dòng)。對(duì)于任何應(yīng)用，該技術(shù)能夠穩(wěn)定攝像機(jī)運(yùn)動(dòng)以減少觀看者惡心并且保持對(duì)象的真實(shí)世界方向，以提高沉浸和真實(shí)感。

在本發(fā)明的至少一些實(shí)施例中，可以使用該相同的技術(shù)將單個(gè)HMD用于對(duì)交互式內(nèi)容和廣播電視信號(hào)兩者重新投影。如果觀看者正在以不同于攝像機(jī)的方向觀看則可能看到一些幀邊緣(frame border)，盡管這可以使用補(bǔ)充的全景靜止圖像填補(bǔ)間隙得以緩解。

本發(fā)明的實(shí)施例還可以解決關(guān)于由搖晃的攝像機(jī)捕捉到的視頻的問(wèn)題，例如由手持?jǐn)z像機(jī)或其運(yùn)動(dòng)受到外界影響的攝像機(jī)，諸如安裝在機(jī)械設(shè)備上或在風(fēng)流的路徑中的攝像機(jī)。通過(guò)將元數(shù)據(jù)與指示攝像機(jī)在圖像捕捉期間的運(yùn)動(dòng)的(如上所述的)圖像相關(guān)聯(lián)，在顯示的時(shí)刻使用以上所討論的技術(shù)進(jìn)行重新投影。以這種方式，可以對(duì)圖像的中央?yún)^(qū)域進(jìn)行攝像機(jī)運(yùn)動(dòng)的補(bǔ)償并且使觀看者看起來(lái)是穩(wěn)定的，盡管該補(bǔ)償?shù)慕Y(jié)果可能是圖像的外邊界可能到處移動(dòng)。

至此所描述的實(shí)施例主要涉及可頭戴式顯示器?，F(xiàn)將描述其中顯示器或多個(gè)顯示器不是可頭戴式的另外的布置。

圖28示意性地示出觀看者1200觀察顯示屏幕1210。顯示屏幕1210可以是前向投影屏幕(在這種情況下，未示出可以位于屏幕1210的與用戶相同側(cè)的一個(gè)或多個(gè)投影器)、或者是背面投影屏幕(在這種情況下，未示出可以位于屏幕1210的相對(duì)于用戶側(cè)的另一側(cè)的一個(gè)或多個(gè)投影器)、或者形成為一個(gè)或多個(gè)諸如液晶顯示器(LCD)面板的顯示面板。本領(lǐng)域技術(shù)人員將理解，用于在顯示屏幕1210上實(shí)現(xiàn)圖像的顯示的特定技術(shù)對(duì)于本實(shí)施例并不重要。

許多以上結(jié)合HMD設(shè)備討論的技術(shù)還可以同樣地就圖28的布置而言加以使用。在之前對(duì)HMD系統(tǒng)的討論中，通過(guò)各種技術(shù)檢測(cè)HMD的方向。圖28的布置中的類似考慮涉及對(duì)用戶頭部的方向的檢測(cè)。應(yīng)當(dāng)理解，頭部方向不一定指示用戶正在觀看的方向，但它通常被認(rèn)為指示觀看1220的方向的良好近似。

因此，在一些實(shí)施例中，就更大的顯示器1210和對(duì)用戶頭部方向的檢測(cè)而言可以使用與以上(結(jié)合HMD系統(tǒng))所討論的相同的技術(shù)。以下將討論可以檢測(cè)頭部方向的各種方式。

圖29示意性地示出了用戶1300佩戴頭部方向檢測(cè)器1310。頭部方向檢測(cè)器1310被示意性地示為頭帶1320和安裝在頭帶上的方向檢測(cè)器1330。在實(shí)踐中，可以該布置做的更加周到，例如將其組合成可附連到一副常規(guī)眼鏡1340的配件或者形成帽子或一對(duì)耳機(jī)的一部分。

在功能上，如果所有各種替代方案是之前結(jié)合圖8的描述所討論的，則方向檢測(cè)器1330根據(jù)圖8所示的技術(shù)進(jìn)行操作。在這方面，方向檢測(cè)器1330包括HMD的大部分功能，但沒(méi)有圖像顯示功能。

方向檢測(cè)器1330可以包括處理器以從任何其使用的數(shù)據(jù)源(例如，周圍的場(chǎng)景的圖像或加速度計(jì)數(shù)據(jù))得到方向，以便方向檢測(cè)器1330將指示該方向的數(shù)據(jù)發(fā)送到接收器1350，例如通過(guò)諸如藍(lán)牙鏈路的無(wú)線鏈路。當(dāng)然，可以代替地使用有線鏈路。可替代地，方向檢測(cè)器1330可以將“原始”獲得的數(shù)據(jù)發(fā)送到接收器1350，諸如捕捉到的周圍的圖像或者來(lái)自加速度計(jì)的原始數(shù)據(jù)，以便接收器1350(或者未示出的另外的下游處理設(shè)備)從自方向檢測(cè)器1330接收到的原始數(shù)據(jù)得到方向信息。

圖30示意性地示出了被動(dòng)式頭部方向檢測(cè)技術(shù)。這種布置不一定需要用戶1400佩戴或攜帶任何特定的設(shè)備或物品。視頻攝像機(jī)1410捕捉用戶1400的圖像，并將該圖像傳遞到處理器1420。處理器1420可以以各種方式進(jìn)行操作。在一個(gè)示例中，處理器1420可以應(yīng)用已知的面部檢測(cè)技術(shù)，以檢測(cè)用戶的面部相對(duì)于攝像機(jī)1410的方向。例如，這種技術(shù)可能涉及將包含該用戶的面部的圖像部分(歸一化到標(biāo)準(zhǔn)比例)與每個(gè)指示出面部在相對(duì)于該攝像機(jī)的不同方向上的特征的各種本征(Eigen)圖像相比較。該本征圖像之中最接近的匹配可以被當(dāng)作指示用戶面部的當(dāng)前方向?？梢岳孟薅〝z像機(jī)1410和所使用的顯示屏幕的相對(duì)方向的信息對(duì)處理器1420進(jìn)行校準(zhǔn)，以便其能夠提供指示該用戶的面部相對(duì)于顯示屏幕的當(dāng)前方向的輸出。

在另一示例中，用戶可以佩戴一個(gè)或多個(gè)諸如反射或逆反射標(biāo)記的被動(dòng)標(biāo)記(圖30中未示出)以協(xié)助處理器1420檢測(cè)用戶面部相對(duì)于攝像機(jī)的方向。例如，如果用戶眼鏡的側(cè)臂1430提供有不同的(即，可由攝像機(jī)1410區(qū)分的)反射標(biāo)記，可以對(duì)各個(gè)標(biāo)記在捕捉到的圖像中的相對(duì)大小進(jìn)行處理來(lái)提供用戶面部的方向的指示?？蛇x地，攝像機(jī)1410可以包括布置為消除該標(biāo)記的照射源。可選地，該照射可以是用戶不可見(jiàn)的或基本上不可見(jiàn)的，例如紅外照射。

圖31示意性地示出了使用多投影器的顯示布置。

在圖31中，以示例的方式提供四個(gè)投影器，即投影器1500A、1500B、1500C和1500D。該投影器具有各自的視場(chǎng)，它們一起覆蓋整個(gè)顯示屏幕1510。各自的視場(chǎng)由各自的虛線1520A-D示意性地指示，為了繪圖起見(jiàn)，在投影屏幕后面予以示出。實(shí)際上，當(dāng)然要考慮的重要區(qū)域是在投影器屏幕1510的平面處的投影的范圍。

四個(gè)投影器由顯示控制器1530驅(qū)動(dòng)，其向投影器1500A-D中的每個(gè)提供各自的顯示信號(hào)。現(xiàn)將討論該信號(hào)的形成。

對(duì)于觀察顯示屏幕1510的觀看者(圖31中未示出)，布置有頭部方向檢測(cè)器1540來(lái)檢測(cè)觀看者頭部相對(duì)于顯示屏幕1510的方向。以上所討論的各種技術(shù)都適用于該檢測(cè)。也如以上所討論的，這提供了觀看者正在觀看的方向的指示。圖31所示的系統(tǒng)的目的是，在遍及整個(gè)顯示屏幕1510上顯示由圖像信號(hào)1550提供的較低分辨率背景場(chǎng)景，但是疊加由圖像信號(hào)1560提供的較高分辨率插入圖像，以便替換較低分辨率背景場(chǎng)景的一部分(如果未檢測(cè)到觀看者的頭部方向，則可以假定-在仿真環(huán)境中并不少見(jiàn)的-固定的頭部位置)。

在圖32中示意性地示出了一個(gè)示例，其可能形成關(guān)于沿著由樹(shù)木包圍的道路駕駛(非常示意性地在圖32中示出)的視頻或視頻游戲的一部分。這里，以低于插入圖像1600的分辨率生成和顯示背景場(chǎng)景，其中該插入圖像1600是以較高分辨率生成和顯示的。插入圖像1600涉及整體場(chǎng)景中用戶將集中注意力的部分，即(在本示例中)緊前方的道路和任何迎面而來(lái)的車輛。其余的背景圖像(在插入圖像的插入之后)涉及整體場(chǎng)景中對(duì)于用戶的注意力不那么重要的其他部分。使用這種圖像分辨率的差異的一個(gè)原因是由于在以高分辨率生成覆蓋整個(gè)顯示的整體場(chǎng)景的高的處理開(kāi)銷。相反，可以以較低分辨率生成背景(并且可以被布置為比插入圖像較不頻繁地改變)以便節(jié)省處理開(kāi)銷。

需要注意的是，指示插入圖像1600的范圍的虛線只是為了附圖的清楚，并且不存在于實(shí)際顯示的圖像上。

返回到圖31，根據(jù)檢測(cè)到的觀看者的頭部方向，通過(guò)重新投影邏輯1570將由信號(hào)1560表示的插入圖像在適當(dāng)?shù)膱D像顯示位置處重新投影。重新投影的插入信號(hào)被提供給顯示控制器，該顯示控制器在適當(dāng)?shù)娘@示位置處將其與由信號(hào)1550表示的較低分辨率背景場(chǎng)景相組合。

類似于圖31的布置可以參考體育賽事等的電視轉(zhuǎn)播。背景顯示可以是，例如，整個(gè)運(yùn)動(dòng)場(chǎng)地的圖像(盡管在同一時(shí)刻可能不一定向用戶顯示運(yùn)動(dòng)場(chǎng)地的全部)。將被重新投影到主顯示內(nèi)的插入圖像是來(lái)自從跟隨著例如運(yùn)動(dòng)員的移動(dòng)的運(yùn)動(dòng)動(dòng)作的攝像機(jī)的快照(shot)。使用元數(shù)據(jù)和上述技術(shù)將該插入圖像重新投影到背景圖像中的適當(dāng)位置。這向觀看者提供了在整個(gè)場(chǎng)地的范圍內(nèi)哪里正在發(fā)生動(dòng)作的指示。

作為以上處理的一部分，隨著重新投影的圖像到處移動(dòng)，本發(fā)明的實(shí)施例可以使用重新投影的圖像的非變化部分(或某種顏色或紋理的部分，可能代表草的視圖)來(lái)填充背景圖像。在一些示例中，當(dāng)重新投影的圖像到處移動(dòng)時(shí)，可以利用表示運(yùn)動(dòng)場(chǎng)地的較高分辨率圖像材料，通過(guò)從重新投影的圖像復(fù)制來(lái)對(duì)低分辨率背景圖像進(jìn)行填充。如果多攝像機(jī)視圖是可用的(如一些運(yùn)動(dòng)賽事等的廣播轉(zhuǎn)播的情況下)，那么(a)該用戶可以選擇一個(gè)或多個(gè)這樣的視圖進(jìn)行重新投影，和(b)這將允許通過(guò)從多于一個(gè)這樣的視圖提取材料進(jìn)行背景圖像的更快填充。

在其它示例中，如果背景和插入圖像提供有深度圖或者其它深度數(shù)據(jù)，用戶可以在三維中在整個(gè)場(chǎng)景到處移動(dòng)，以響應(yīng)于用戶的虛擬位置對(duì)重新投影進(jìn)行調(diào)整。

另外的示例涉及視頻游戲，使得整個(gè)背景圖像可以表示虛擬世界的一部分或者全部。關(guān)于玩家的特定游戲動(dòng)作的場(chǎng)景被重新投影到虛擬世界內(nèi)的正確位置作為該插入圖像。

圖33和圖34示意性地示出了圖像的各自不同的視場(chǎng)(FOV)版本。

現(xiàn)在將描述的涉及圖像的多個(gè)FOV版本的系統(tǒng)的基本原則是，許多圖像尤其是在視頻游戲的范圍內(nèi)具有主要感興趣的點(diǎn)或區(qū)域。為了實(shí)現(xiàn)對(duì)于該用戶主觀上有吸引力的圖像，但無(wú)需以非常高的分辨率發(fā)送整個(gè)圖像的過(guò)高的帶寬要求，以下將描述的技術(shù)涉及提供圖像的兩個(gè)版本。

第一版本，諸如圖33中所示，提供了整個(gè)圖像的特定分辨率(例如，可能為720或更多視頻行的高分辨率)表示。該表示被稱為大或高FOV圖像，由于該圖像的FOV包括(例如)整個(gè)原始渲染的圖像。

另一個(gè)版本，諸如圖34中所示，具有較低或較小的FOV，因此未包括原始渲染的圖像的全部。相反，表示了感興趣的區(qū)域。在圖34的示例中，感興趣的區(qū)域涉及直升機(jī)的客艙和機(jī)身，但一般來(lái)講，在視頻游戲的情況下，感興趣區(qū)域通常將涉及視頻游戲中玩家的角色周圍的區(qū)域，或者在“第一人稱視點(diǎn)”視頻游戲的情況下，為與最重要或當(dāng)前最危險(xiǎn)的敵人相距(例如)預(yù)定的邊界距離的周圍的區(qū)域。其他系統(tǒng)(除了視頻游戲)也可以具有可以以自動(dòng)的方式識(shí)別的感興趣的區(qū)域。例如，視頻商業(yè)廣告可以具有限定感興趣的產(chǎn)品的圖像位置的相關(guān)聯(lián)的元數(shù)據(jù)?；蛘?，在HMD的情況下，眼睛跟蹤可以用來(lái)檢測(cè)用戶當(dāng)前正在觀看該圖像的哪一部分，以便該圖像的所識(shí)別的部分(無(wú)論它包含圖像材料或內(nèi)容如何)被視為感興趣的區(qū)域。默認(rèn)的可能是感興趣的區(qū)域是較高FOV圖像的位于中心的區(qū)域。注意，至少在一些實(shí)施例中，已經(jīng)使用HMD位置和/或方向(作為參考圖22和圖24所討論的兩階段重新投影處理的一部分)作為元數(shù)據(jù)來(lái)影響每個(gè)圖像的生成，因此發(fā)送和使用眼睛位置元數(shù)據(jù)來(lái)影響將渲染的圖像編碼成高和低FOV部分不是過(guò)度的處理負(fù)擔(dān)。

可以以與圖33的圖像相同的基本的分辨率提供圖34的圖像，例如720或更多視頻行的高分辨率。但是由于圖34的圖像的FOV小于圖33的圖像的FOV，所以圖34的圖像中表示的每個(gè)特定圖像特征事實(shí)上是以比圖33的圖像中的該特征的相應(yīng)表示較高的分辨率表示的。

兩個(gè)圖像(圖33和圖34)提供表示相同的底層(underlying)場(chǎng)景或渲染圖像的圖像、但是以兩種不同的方式表示的對(duì)。這是兩個(gè)或更多個(gè)這種圖像的示例。

圖35示意性地示出了高FOV圖像和低FOV圖像的組合。這里，圖34的圖像或圖33的圖像的任一者(或兩者)被縮放以便使圖33和圖34的圖像的比例相等。例如，如果低FOV圖像(圖34)包括在高FOV圖像(圖33)的范圍的每個(gè)線性方向上的50％，則應(yīng)用到圖34的圖像的示例性縮放操作是在每個(gè)線性方向上以50％的系數(shù)進(jìn)行的。在示出的特定示例中，其目的是對(duì)圖像中的一個(gè)或兩者進(jìn)行縮放，以使直升機(jī)在兩個(gè)圖像中大小相同。然后這允許將來(lái)自低FOV圖像的圖像內(nèi)容插入到高FOV圖像的較寬FOV但較低分辨率的視圖。

在圖35中示意性地示出了圖像內(nèi)容的這種插入，其中虛線1700指示圖34的低FOV圖像的原始邊界。在基本層次上，邊界1700內(nèi)的圖像內(nèi)容可以從低FOV圖像提供，并且除邊界1700外的圖像內(nèi)容可以從高FOV圖像提供。

但是在更復(fù)雜的布置中，為了避免邊界1700處的圖像質(zhì)量的突然轉(zhuǎn)變，在邊界1700和位于邊界1700內(nèi)的邊界輪廓1710之間定義邊界區(qū)域。在該邊界區(qū)域中將兩個(gè)圖像按比例混合，其中該比例在輪廓1710和邊界1700之間變化，使得在輪廓1710處圖35的合成圖像是完全從圖34的低FOV圖像得到的，在邊界1700處合成圖像是完全從圖33的高FOV圖像得到的，并且在輪廓1710和邊界1700之間，兩個(gè)圖像的比例隨著輪廓1710和邊界1700之間的距離變化，例如以線性變化。這提供了從兩個(gè)貢獻(xiàn)圖像得到的合成圖像35的各部分之間的更平滑的轉(zhuǎn)變。

在操作的另外可能的模式中，邊界1700和/或輪廓1710的尖角可以是圓滑的，可能通過(guò)應(yīng)用延伸超過(guò)90°并且具有半徑為圖34的(縮放的)圖像的橫向?qū)挾鹊?例如)5％的倒圓(radiused)的部分圓形的外形。在圖35示出關(guān)于一個(gè)角的這種倒圓的輪廓的示例1720，但應(yīng)理解的是，如果使用的話，相同的輪廓可以應(yīng)用于以下的一者或兩者(a)邊界1700的所有四個(gè)角、以及(b)輪廓1710的所有四個(gè)角中。使用倒圓或其他方式的平滑輪廓或邊界可以避免與在尖角處產(chǎn)生的圖像的混合有關(guān)的可見(jiàn)的偽像(artefact)。

應(yīng)該理解的是，可以使用兩個(gè)以上具有各自不同的FOV的圖像，以便然后以類似于參考圖35描述的方式將該圖像組合以形成合成圖像。如果使用兩個(gè)以上不同的FOV，該組圖像可以(例如)包括：

(a)一連串不同F(xiàn)OV圖像，其中心在相同位置上，也就是說(shuō)，相同的感興趣的點(diǎn)或區(qū)域；和/或

(b)覆蓋(例如)整個(gè)原始渲染的圖像的高FOV圖像，加上兩個(gè)或更多個(gè)關(guān)于各自不同的感興趣的區(qū)域的較低FOV圖像。

現(xiàn)在將描述用于對(duì)多FOV圖像編碼的技術(shù)，以該種方式，可以使用諸如HDMI接口和電纜的常規(guī)樣式傳輸介質(zhì)將它們從例如游戲控制臺(tái)傳遞到用于顯示的HMD。

一項(xiàng)示例性技術(shù)涉及將圖像對(duì)(高FOV和低FOV)格式化和偽裝成“虛擬(dummy)”3-D高清晰度圖像，例如用于經(jīng)過(guò)諸如HDMI 1.4視頻鏈路的鏈路傳輸。另一示例性技術(shù)涉及以高于圖像生成的速率的幀速率對(duì)該對(duì)圖像編碼。

因此，參考圖35所描述的技術(shù)提供以下一個(gè)或多個(gè)的示例：就由低FOV表示所表示的圖像區(qū)域而言主要使用來(lái)自該低FOV表示的圖像內(nèi)容，對(duì)于其它圖像區(qū)域使用來(lái)自相應(yīng)的高FOV表示的圖像內(nèi)容；至少針對(duì)低FOV表示的中心區(qū)域，通過(guò)低FOV表示的相應(yīng)圖像內(nèi)容來(lái)替換高FOV表示的圖像內(nèi)容；以及至少針對(duì)低FOV表示的周邊區(qū)域，將低和高FOV表示的圖像內(nèi)容混合。還可以使用以上所討論的重新投影技術(shù)，以使圖像的組合包括重新投影以根據(jù)期望的顯示視點(diǎn)形成各自的顯示圖像。

圖36示意性地示出了對(duì)多FOV圖像編碼為連續(xù)的合成圖像。

在以下將描述的圖36和圖37這兩個(gè)圖中，假設(shè)顯示器(在本示例中為HMD)是立體顯示器，因此生成左和右圖像兩者。以(例如)30赫茲的幀速率和(例如)1440×1620×2的分辨率在例如視頻游戲控制臺(tái)的渲染緩沖器中生成的左和右圖像被標(biāo)記為圖像1800、1810。據(jù)此，編碼器(以下參照?qǐng)D45描述的)生成相應(yīng)的高FOV和低FOV的圖像。

針對(duì)左和右分量中的每個(gè)的高和低FOV圖像中的每個(gè)具有與這四個(gè)圖像中的每個(gè)其他的相同的分辨率。它們也具有與原始的1440×1620圖像相同的縱橫比(在本示例中)。通過(guò)編碼器將它們成對(duì)地組合以使得從原始圖像對(duì)1800、1810生成的四個(gè)圖像中的兩個(gè)被編碼為第一高清晰度60赫茲幀1820，其余的兩個(gè)被編碼為下一個(gè)高清晰度60赫茲幀1830。以這種方式，生成的所有四個(gè)圖像(左、右、高FOV、低FOV)可以以生成原始圖像1800、1810所根據(jù)的原始30赫茲幀周期被發(fā)送。然后可以對(duì)這些圖像處理，并且由HMD以30赫茲或其它幀速率進(jìn)行顯示。

圖36示出一個(gè)示例性的置換(permutation)，其中這四個(gè)圖像被劃分成兩個(gè)高清晰度60赫茲幀1820、1830。當(dāng)然應(yīng)理解的是，也可以使用其他可用的置換代替。

在HMD處，左和右圖像中的每個(gè)的高FOV和低FOV部分被再次組合，并且在本發(fā)明的實(shí)施例中，被重新投影以顯示給用戶的左眼和右眼。在本發(fā)明的實(shí)施例中，利用以上參考圖22和圖24所討論的技術(shù)進(jìn)行重新投影，也就是說(shuō)，獲取最新的HMD位置并且基于最新的HMD位置和適合該圖像原始生成時(shí)刻的位置將用于顯示給每只眼睛的圖像重新投影。用于由HMD顯示的輸出圖像指示為1840、1850。

圖37示意性地示出了對(duì)多FOV圖像編碼為虛擬3D圖像。這里，術(shù)語(yǔ)“虛擬”意味著使用適用于3D圖像的傳輸格式，但由該傳輸格式實(shí)際所編碼的圖像可能是或可能不是可觀看(例如，在3D電視顯示器上)為立體圖像對(duì)的。然而，注意在諸如圖37所示的一些布置中，“虛擬”圖像實(shí)際上是在3D顯示器上可立體地觀看的，但是或許圖像內(nèi)容在觀看者看來(lái)有些奇怪，由于該顯示器將會(huì)在低FOV圖像旁邊示出高FOV圖像。

再一次，該處理開(kāi)始于生成的左和右圖像1800、1810，(本示例中)每個(gè)大小為1440×1620像素并且以830赫茲幀速率生成。從左和右圖像1800、1810中的每個(gè)形成低和高FOV圖像。然而，相比于圖36，該對(duì)左圖像被格式化成單個(gè)幀1860并且該對(duì)右圖像被格式化成單個(gè)幀1870，使得這兩個(gè)幀1860、1870形成例如為720p(720行，逐行掃描)分辨率的3-D視頻信號(hào)的左和右圖像。3-D視頻信號(hào)的幀速率可以例如是60赫茲。再一次，這允許使用諸如HDMI電纜的標(biāo)準(zhǔn)視頻連接將每個(gè)圖像對(duì)的低和高FOV部分發(fā)送到HMD，但這里使用3-D視頻傳輸標(biāo)準(zhǔn)。

如前所述，將低和高FOV部分在HMD處組合并且重新投影，以形成用于由HMD顯示的左和右圖像1840、1850。

圖38是示出涉及生成、編碼、解碼和使用多FOV圖像的操作的示意性的流程圖，垂直虛線1900左側(cè)的步驟(在實(shí)施例中)由游戲控制臺(tái)或其它數(shù)據(jù)處理系統(tǒng)執(zhí)行，并且線1900右側(cè)的步驟由HMD執(zhí)行。以下將參考圖45和圖46討論用于執(zhí)行這些步驟的合適的裝置。

在步驟1910中，游戲控制臺(tái)生成左和右圖像，例如如上面所討論的將它們存儲(chǔ)在渲染緩沖器中。

在步驟1920中，游戲控制臺(tái)對(duì)于每個(gè)所生成的左和右圖像生成高FOV和低FOV圖像。

在步驟1930中，將四個(gè)產(chǎn)生的圖像編碼成例如“虛擬”3-D視頻或者具有比在步驟1910中生成原始左和右圖像的速率更高的幀速率的視頻流中的替代圖像。在任一情況下，例如使用諸如HDMI接口和電纜的標(biāo)準(zhǔn)連接將已編碼的圖像傳遞到HMD。

在步驟1940中，HMD接收并且解碼該四個(gè)圖像，將它們存儲(chǔ)在合適的緩沖器中。

最后，在步驟1950中，HMD根據(jù)最新的HMD位置將該左和右圖像組合并且重新投影(使用圖22和圖24的技術(shù))。

因此，圖36-38及其所附描述提供一種圖像編碼方法的示例，包括：對(duì)于一對(duì)立體圖像的左和右圖像中的每個(gè)，在輸入圖像中識(shí)別感興趣的區(qū)域；生成該輸入圖像的至少兩個(gè)生成表示，使得該表示中的一個(gè)是基本上包括輸入圖像的全部的高視場(chǎng)(FOV)表示，并且另一個(gè)表示是具有比該高FOV表示更低的FOV的低FOV表示，并且至少包括該感興趣的區(qū)域；其中對(duì)于高FOV表示和低FOV表示，像素分辨率和圖像大小之間的關(guān)系為，使得關(guān)于該感興趣的區(qū)域，低FOV表示提供了比高FOV表示更多數(shù)量的圖像細(xì)節(jié)；通過(guò)將左和右、高FOV和低FOV表示的至少一些部分并置(juxtapose)來(lái)生成一個(gè)或多個(gè)復(fù)合圖像，以便在少于四個(gè)的復(fù)合圖像中包括該左和右、高FOV和低FOV表示的圖像內(nèi)容的全部；以及發(fā)送和/或存儲(chǔ)(或簡(jiǎn)稱為“輸出”)該復(fù)合圖像。

在顯示器側(cè)，這些技術(shù)提供一種圖像顯示方法的示例，包括：接收由以上限定的方法發(fā)送和/或存儲(chǔ)的復(fù)合圖像；對(duì)該復(fù)合圖像解復(fù)合(demutiplex)以生成左和右、高FOV和低FOV表示的組；并且將左和右圖像中的每個(gè)的低FOV表示和高FOV表示組合以提供相應(yīng)的左和右顯示圖像。

以下參照?qǐng)D44-45描述適用于執(zhí)行這些方法(其可以或可以不至少部分地在軟件控制下操作)的裝置。該編碼方法可以由視頻游戲機(jī)執(zhí)行。該顯示方法可以由可頭戴式顯示器執(zhí)行。

本發(fā)明的實(shí)施例還包括包含連續(xù)復(fù)合圖像的圖像信號(hào)以及將這種圖像信號(hào)進(jìn)行存儲(chǔ)的存儲(chǔ)介質(zhì)，使得該復(fù)合圖像包括輸入立體圖像對(duì)的左和右、高視場(chǎng)(FOV)和低FOV表示的并置的部分，以便在少于四個(gè)的復(fù)合圖像中包括該左和右、高FOV和低FOV表示的圖像內(nèi)容的全部，其中對(duì)于高FOV表示和低FOV表示，像素分辨率和圖像大小之間的關(guān)系為，使得關(guān)于該感興趣的區(qū)域，低FOV表示提供了比高FOV表示更多數(shù)量的圖像細(xì)節(jié)。

如上述所提到的，在復(fù)合圖像中不同圖像的各種置換是可能的，從而本發(fā)明的實(shí)施例包括生成一個(gè)或多個(gè)復(fù)合圖像，其包括通過(guò)將左和右、高FOV和低FOV表示中的第一個(gè)的整體并置至緊挨著左和右、高FOV和低FOV表示中的第二個(gè)的整體而生成第一復(fù)合圖像，以及通過(guò)將左和右、高FOV和低FOV表示中的第三個(gè)的整體并置至緊挨著左和右、高FOV和低FOV表示中的第四個(gè)的整體而生成第二復(fù)合圖像。

在本發(fā)明的實(shí)施例中，復(fù)合圖像可以以比輸入圖像的圖像重復(fù)速率較高的圖像重復(fù)速率進(jìn)行輸出(發(fā)送、存儲(chǔ)等)、或者可以輸出為相應(yīng)的左和右虛擬3D圖像。

圖39示意性地示出了所謂的幀撕裂。

幀撕裂是一種可能發(fā)生在視頻游戲系統(tǒng)中的現(xiàn)象，其中導(dǎo)致用于顯示的圖像的生成和渲染的處理與圖像顯示周期并不時(shí)間同步。

考慮一個(gè)假設(shè)的示例，如果用于顯示的圖像正在以例如30赫茲的幀速率生成，那么每1/30秒或33.3(循環(huán)的)毫秒需要新的圖像。如果生成該圖像所需的處理花費(fèi)略少于該時(shí)間，那么圖像生成可以在必須啟動(dòng)下一個(gè)圖像的處理之前及時(shí)地完成。在這種系統(tǒng)中，它確實(shí)能夠使圖像生成和圖像輸出同步。

然而，考慮如果圖像生成花費(fèi)(比如說(shuō))37毫秒的情況。如果該處理在生成圖像后暫停并且在下一個(gè)圖像周期等待同步，則將是大量的處理時(shí)間的浪費(fèi)，并且僅可以實(shí)現(xiàn)15赫茲的圖像輸出速率。特別是，該系統(tǒng)將在每個(gè)圖像的生成后花費(fèi)大約30毫秒等待。實(shí)際上，生成每個(gè)圖像所花費(fèi)的時(shí)間可能是可變的，以使得等待時(shí)間將必須基于最壞情況的可能性，從而導(dǎo)致潛在的更多浪費(fèi)的處理時(shí)間。因此，為了避免這種處理時(shí)間的浪費(fèi)，在許多系統(tǒng)中，一旦系統(tǒng)已經(jīng)生成一個(gè)圖像，其被布置為開(kāi)始下一個(gè)圖像的生成，在本示例再花費(fèi)37毫秒。

這種布置將避免處理能力的浪費(fèi)，但應(yīng)記住的是，需要以定期和固定速率以每1/30秒輸出圖像。，這種缺乏圖像生成和圖像輸出之間的同步的結(jié)果因此是，當(dāng)每個(gè)圖像從渲染緩沖器輸出時(shí)，在許多情況下，它將部分地由一個(gè)圖像(一個(gè)部分完成的新生成的圖像)和部分地由之前的圖像(關(guān)于那些尚未被新生成的圖像重寫的部分)構(gòu)成。在圖39中示意性地示出這種情形，其中，就所生成的圖像1960的任意一個(gè)而言，一個(gè)部分1970是新生成的圖像(圖像n)的一部分，但另一部分1980是之前生成的圖像(圖像n-1)的一部分。

這種類型的布置是在視頻游戲系統(tǒng)中相對(duì)常見(jiàn)的，而且在許多情況下不會(huì)導(dǎo)致困難。然而，在使用重新投影的系統(tǒng)中，它可能會(huì)導(dǎo)致問(wèn)題。

這是由于每個(gè)圖像是初始地對(duì)應(yīng)于在啟動(dòng)該圖像的生成的時(shí)刻取樣的HMD的視點(diǎn)生成的(可以回顧的是在該圖像的顯示的時(shí)刻將重新投影用于將視點(diǎn)改變?yōu)楫?dāng)前HMD視點(diǎn))。但是，如果如圖39所示，圖像由不同部分構(gòu)成，可能的是適合于構(gòu)成的圖像(圖像n和圖像n-1)中的每個(gè)的各自的視點(diǎn)是不同的。這可能導(dǎo)致關(guān)于上述的重新投影技術(shù)的一個(gè)大問(wèn)題。

為了解決這個(gè)問(wèn)題，在本發(fā)明的實(shí)施例中使用一種特定類型的圖像元數(shù)據(jù)編碼。將參考圖40和圖41描述這種編碼。這尤其與其中與預(yù)定圖像輸出周期同步地周期地執(zhí)行生成連續(xù)輸出圖像、但相對(duì)于生成連續(xù)輸出圖像的步驟不同步地執(zhí)行生成圖像內(nèi)容的布置相關(guān)。

圖40示意性地示出了元數(shù)據(jù)編碼技術(shù)，該技術(shù)對(duì)可能經(jīng)受所謂的幀撕裂的系統(tǒng)而言尤其有用。圖41示意性地表示根據(jù)本技術(shù)的已編碼的元數(shù)據(jù)。

參考圖40，在步驟2000中，在已編碼的圖像的頂部，將對(duì)應(yīng)于待編碼的圖像的上部分的視圖矩陣的視圖矩陣數(shù)據(jù)(限定圖像生成所依據(jù)的視圖矩陣的元數(shù)據(jù))進(jìn)行編碼。在圖41的示例中，該編碼借助于已編碼的圖像中的虛擬像素行2010，使得代替于這些數(shù)據(jù)位置由像素?cái)?shù)據(jù)所占據(jù)，它們替代地由已編碼的視圖矩陣元數(shù)據(jù)所占據(jù)。在圖39-41的示例中，行2010將攜帶圖像n的視圖矩陣元數(shù)據(jù)。

作為步驟2020，在圖像的側(cè)面向下對(duì)圖像標(biāo)識(shí)符進(jìn)行編碼，例如在一列虛擬像素2030中。例如，該圖像標(biāo)識(shí)符可以形成為滾動(dòng)的七或八位(bit)值(因此在一些編碼技術(shù)中，這將占據(jù)一列像素)，其表示以滾動(dòng)為基礎(chǔ)的連續(xù)幀。幀標(biāo)識(shí)符值在一些實(shí)施例中至少存在于每行像素，以使得在圖像撕裂情況下，存在每行像素初始源自于哪個(gè)圖像的逐行的定義。在本示例中，像素列2030的上部分編碼為圖像編號(hào)n(或至少在這些示例中，該編號(hào)的模數(shù)2⁷或2⁸計(jì)數(shù))像素列2030的下部分編碼為圖像編號(hào)n-1。

當(dāng)然，在列2030中并非每行必須具有虛擬像素；該編碼可以適用于行的組合(例如，八位虛擬像素值的組合，該八位值的四個(gè)兩位像素部分中的每個(gè)可能指示四個(gè)各自的行中的每個(gè)的圖像編號(hào)(模數(shù)4))。或者實(shí)際上由列2030提供的數(shù)據(jù)可以提供一次，例如作為在該圖像的頂部或底部處、或者在其他地方的行中的虛擬像素?cái)?shù)據(jù)，。

元數(shù)據(jù)編碼處理的最后階段是在圖40中的步驟2040中，其中，在圖像的底部對(duì)該圖像的下部分的視圖矩陣數(shù)據(jù)進(jìn)行編碼。在本示例中，編碼借助于一個(gè)或多個(gè)虛擬像素行2050，并且攜帶圖像n-1的視圖矩陣數(shù)據(jù)。

因此，在假設(shè)幀撕裂將導(dǎo)致不多于兩個(gè)圖像貢獻(xiàn)成特定的輸出圖像(換言之，圖39的示例)的情況下，目前的布置提供了兩組視圖矩陣數(shù)據(jù)，一個(gè)在對(duì)應(yīng)于上部分的視圖矩陣(或者具體地，適用于頂部真實(shí)像素行的視圖矩陣數(shù)據(jù))的圖像的頂部，以及一個(gè)在對(duì)應(yīng)于下部分的視圖矩陣(或者具體地，適用于底部真實(shí)像素行的視圖矩陣數(shù)據(jù))的圖像的底部。虛擬像素列2030中的圖像標(biāo)識(shí)符用于識(shí)別這些視圖矩陣數(shù)據(jù)組中的哪個(gè)適用于每行像素。如果涉及三個(gè)或更多個(gè)圖像，各個(gè)位置(諸如，在圖像的底部處的另外的像素行)可以用于與第三或后續(xù)的圖像相關(guān)聯(lián)的視點(diǎn)數(shù)據(jù)。

應(yīng)理解的是，不一定使用虛擬像素對(duì)這些項(xiàng)目進(jìn)行編碼?？梢允褂脝为?dú)的相關(guān)聯(lián)的數(shù)據(jù)代替。然而，使用所描述的虛擬像素的優(yōu)點(diǎn)在于，它們總是與圖像一起攜帶，然而相關(guān)聯(lián)但單獨(dú)的元數(shù)據(jù)可能或者不能通過(guò)某些傳輸路由而從圖像剝離或分離。然而，如果使用虛擬像素?cái)?shù)據(jù)，認(rèn)為其優(yōu)點(diǎn)在于將其置于圖像的最外邊緣(頂部、底部、左、右)，以減少其對(duì)圖像的視覺(jué)部分的影響并允許它在顯示之前被移除。

本發(fā)明的實(shí)施例可以提供將至少一部分元數(shù)據(jù)編碼為各自的輸出圖像內(nèi)的像素?cái)?shù)據(jù)。例如，指示該輸出圖像的哪些部分是根據(jù)每個(gè)視點(diǎn)生成的元數(shù)據(jù)可以被編碼為該輸出圖像中的像素行的至少一個(gè)子集中的每個(gè)的一個(gè)邊緣處的像素?cái)?shù)據(jù)。例如，指示該輸出圖像的哪些部分是根據(jù)每個(gè)視點(diǎn)生成的元數(shù)據(jù)可以被提供為該輸出圖像中的每個(gè)像素行的一個(gè)邊緣處的像素?cái)?shù)據(jù)，以便指示關(guān)于該像素行的視點(diǎn)。例如，指示關(guān)于包含在該輸出圖像中的圖像內(nèi)容的每個(gè)視點(diǎn)可以被編碼為各自的輸出圖像內(nèi)的像素?cái)?shù)據(jù)。例如，指示關(guān)于包含在該輸出圖像中的圖像內(nèi)容的每個(gè)視點(diǎn)可以在該輸出圖像的頂部和/或底部邊緣處被編碼為各自的輸出圖像內(nèi)的一行或多行像素?cái)?shù)據(jù)中的像素?cái)?shù)據(jù)。

因此，結(jié)合之前所討論的圖像傳輸技術(shù)，圖39-圖41提供用于處理幀撕裂的技術(shù)，通過(guò)(a)能夠限定使用該圖像固有的數(shù)據(jù)，并且是以原始圖像由每行像素表示的逐行的基礎(chǔ)；以及(b)能夠限定適用于圖像的不同部分的多組視圖矩陣數(shù)據(jù)。然后這些特征有利地允許即使已發(fā)生幀撕裂時(shí)使用重新投影。以下將描述實(shí)現(xiàn)此的技術(shù)。

因此，圖39-圖41(結(jié)合以下討論的圖42-圖43)和其所附描述提供一種圖像編碼方法的示例，包括：根據(jù)由圖像視點(diǎn)數(shù)據(jù)限定的視點(diǎn)生成圖像內(nèi)容；生成連續(xù)輸出圖像，使得每個(gè)輸出圖像包括根據(jù)一個(gè)或多個(gè)視點(diǎn)生成的圖像內(nèi)容；以及對(duì)與每個(gè)輸出圖像相關(guān)聯(lián)的元數(shù)據(jù)進(jìn)行編碼，其中該元數(shù)據(jù)指示關(guān)于包含在該輸出圖像中的圖像內(nèi)容的每個(gè)視點(diǎn)，并且限定了該輸出圖像的那些部分是根據(jù)這些視點(diǎn)中的每個(gè)而生成的；以及一種圖像顯示方法的示例，用于從連續(xù)輸入圖像生成每個(gè)包括根據(jù)一個(gè)或多個(gè)視點(diǎn)生成的圖像內(nèi)容的連續(xù)顯示圖像，該輸入圖像每個(gè)具有相關(guān)聯(lián)的元數(shù)據(jù)，該元數(shù)據(jù)指示關(guān)于包含在該輸入圖像中的圖像內(nèi)容的每個(gè)視點(diǎn)，并且限定了該輸入圖像的哪些部分是根據(jù)這些視點(diǎn)中的每個(gè)而生成的，該方法包括：根據(jù)期望的顯示視點(diǎn)和由與該輸入圖像相關(guān)聯(lián)的元數(shù)據(jù)對(duì)于該部分限定的視點(diǎn)之間的任何差異，對(duì)每個(gè)輸入圖像的各部分重新投影以形成各自的顯示圖像。圖44-圖45提供可能(盡管不一定)至少部分地在合適的計(jì)算機(jī)軟件的控制下執(zhí)行這種方法的裝置的示例。該編碼方法可以由視頻游戲機(jī)執(zhí)行。該顯示方法可以由可頭戴式顯示系統(tǒng)執(zhí)行。

本發(fā)明的實(shí)施例還包括使用這些技術(shù)所生成的圖像信號(hào)，例如包括連續(xù)輸出圖像的圖像信號(hào)，以及通過(guò)其存儲(chǔ)這種信號(hào)的存儲(chǔ)介質(zhì)(諸如磁盤或存儲(chǔ)器介質(zhì))，使得每個(gè)輸出圖像包括根據(jù)一個(gè)或多個(gè)視點(diǎn)生成的圖像內(nèi)容和與每個(gè)輸出圖像相關(guān)聯(lián)的元數(shù)據(jù)，該元數(shù)據(jù)指示關(guān)于包含在該輸出圖像中的圖像內(nèi)容的每個(gè)視點(diǎn)，并且限定了該輸出圖像的哪些部分是根據(jù)這些視點(diǎn)中的每個(gè)而生成的。

當(dāng)然，就特定圖像而言，在幀撕裂并不發(fā)生的情況下，行2010、2050中的兩組視圖矩陣數(shù)據(jù)將是相同的。

圖42和圖43是示意性流程圖，示出了圍繞幀撕裂的組合圖像的兩種不同的方式。討論會(huì)提到幀撕裂圖像的“第一”和“第二”部分。哪個(gè)部分對(duì)應(yīng)于圖39所示的部分是任意選擇的。為了討論起見(jiàn)，第一部分將被認(rèn)為指代圖39中的部分1970，而第二部分將被認(rèn)為指代圖39中的部分1980，但如果將該部分倒過(guò)來(lái)則討論同樣是有效的。

參考圖42，基于行2010和2050中的兩組視圖矩陣數(shù)據(jù)，在步驟2100中，將幀撕裂圖像的第二部分重新投影到第一部分的視點(diǎn)。在步驟2110中，將重新投影的第二部分與第一部分組合。然后，在步驟2120中，將從步驟2110中產(chǎn)生的組合的圖像重新投影到HMD在顯示的時(shí)刻的視點(diǎn)。

在圖43示意性示出不同的布置，其中，在步驟2130中，將第一部分利用其各自的視圖矩陣數(shù)據(jù)重新投影到當(dāng)前HMD視點(diǎn)。在步驟2140中，將第二部分重新投影到相同的當(dāng)前HMD視點(diǎn)。在步驟2150中，將兩個(gè)重新投影的部分組合以用于顯示。

作為圖42的步驟2120的示例，圖44示意性地示出了幀撕裂時(shí)的重新投影處理。這里，圖像2160已經(jīng)在其生成期間經(jīng)歷了幀撕裂，產(chǎn)生了部分A和B。盡管將哪個(gè)部分重新投影到另一部分是任意選擇的，本示例中，將較舊的幀部分(B)的重新投影到較新的幀部分(A)的視點(diǎn)，部分原因是更可能的是較新獲取的部分A的視點(diǎn)更接近于HMD的當(dāng)前視點(diǎn)。結(jié)合本示例圖像，根據(jù)各自不同的視點(diǎn)生成的圖像的部分是上部和下部圖像部分；以及指示適用于上部圖像部分的元數(shù)據(jù)可以被編碼為該輸出圖像的一個(gè)或多個(gè)最頂端的像素行中的像素?cái)?shù)據(jù)，而指示適用于下部圖像部分的元數(shù)據(jù)可以被編碼在該輸出圖像的一個(gè)或多個(gè)最底端的像素行中。

注意，作為重新投影和/或顯示處理的一部分，將任何虛擬像素元數(shù)據(jù)移除或遮蔽(或另外地在該處理的任何階段中省略)，以便不被顯示。

重新投影的視點(diǎn)可以通過(guò)檢測(cè)觀看者的頭部的當(dāng)前位置和/或方向來(lái)獲得；以及根據(jù)檢測(cè)到的用戶頭部的當(dāng)前位置和/或方向得到顯示視點(diǎn)。

(類似地，如之前所討論的，可以通過(guò)檢測(cè)觀看者頭部的初始位置和/或方向得到用于圖像生成的視點(diǎn)；并且將檢測(cè)到的初始位置和/或方向提供給圖像生成器以根據(jù)該初始位置和/或方向作為視點(diǎn)來(lái)生成圖像內(nèi)容。)

這些技術(shù)當(dāng)然對(duì)于單個(gè)圖像或以上所討論類型的低和高FOV圖像操作相同。

作為執(zhí)行以上所討論的各種操作的實(shí)施例的示例，圖45示意性地示出了圖像生成器的一部分；以及圖46示意性地示出了HMD的一部分。

在圖45中，渲染引擎2200響應(yīng)于游戲參數(shù)2210以生成適當(dāng)?shù)妮敵鰣D像，其被存儲(chǔ)在渲染緩沖器2220中。輸出編碼器2230生成以上所討論類型的輸出圖像。

在圖46中，解碼器和緩沖器2240接收由輸出編碼器2230提供的已編碼的圖像，對(duì)它們進(jìn)行解碼和緩沖。如果適當(dāng)?shù)脑挘獯a器和緩沖器2240還對(duì)如以上所討論的低和高FOV圖像組合。重新投影單元2250響應(yīng)于當(dāng)前HMD視點(diǎn)2260以生成輸出圖像，其在顯示器(例如，每只眼睛一個(gè)顯示器)2270上進(jìn)行顯示。

以上所述技術(shù)可以在硬件、軟件或兩者的組合中實(shí)現(xiàn)。在采用軟件控制數(shù)據(jù)處理裝置以實(shí)現(xiàn)實(shí)施例的一個(gè)或多個(gè)特征的情況下，將理解的是這種軟件、以及提供的這種軟件的諸如非瞬時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)的存儲(chǔ)器或傳輸介質(zhì)，也被認(rèn)為是本發(fā)明的實(shí)施例。

數(shù)據(jù)信號(hào)

應(yīng)當(dāng)理解通過(guò)以上所討論的裝置的變體生成的數(shù)據(jù)信號(hào)、以及攜帶這種信號(hào)的存儲(chǔ)器或傳輸介質(zhì)，被認(rèn)為代表本公開(kāi)的實(shí)施例。

就以上所討論的處理、編碼或解碼的方法，應(yīng)理解，配置為執(zhí)行這種方法的裝置也被認(rèn)為代表本公開(kāi)的實(shí)施例。還將理解的是，包括這種技術(shù)的視頻存儲(chǔ)器、傳輸、捕捉和/或顯示裝置被認(rèn)為代表本公開(kāi)的實(shí)施例。

對(duì)于已被描述為至少部分地由軟件控制數(shù)據(jù)處理裝置實(shí)現(xiàn)的本公開(kāi)的實(shí)施例，應(yīng)理解，攜帶這種軟件的非瞬時(shí)性機(jī)器可讀介質(zhì)，諸如光盤、磁盤、半導(dǎo)體存儲(chǔ)器等也被認(rèn)為代表本公開(kāi)的實(shí)施例。

根據(jù)上述教導(dǎo)，清楚的是本公開(kāi)的許多修改和變型是可能的。因此應(yīng)理解，在所附的權(quán)利要求的范圍內(nèi)，該技術(shù)可以以不同于這里所具體描述予以實(shí)踐。