本發(fā)明涉及內(nèi)容交付和/或回放，例如，立體圖像內(nèi)容的回放。

背景技術(shù)：

意在提供沉浸式體驗(yàn)的顯示設(shè)備通常允許用戶轉(zhuǎn)動(dòng)他的頭并且體驗(yàn)所顯示的場景中的對應(yīng)變化。頭戴式顯示器有時(shí)支持360度觀看，因?yàn)橛脩艨梢栽谂宕黝^戴式顯示器時(shí)轉(zhuǎn)動(dòng)，隨著用戶的頭部位置改變，顯示的場景改變。

利用此類設(shè)備，當(dāng)向前看時(shí)，應(yīng)當(dāng)向用戶呈現(xiàn)在相機(jī)位置的前面捕獲的場景，當(dāng)用戶完全轉(zhuǎn)身時(shí)，應(yīng)當(dāng)呈現(xiàn)在相機(jī)位置后面捕獲的場景。雖然用戶可以將他的頭轉(zhuǎn)到后面，但是在任何給定的時(shí)間，由于人在任何給定時(shí)間感知有限視野的能力的本質(zhì)，用戶的視野通常被限制到120度或更小。

為了支持360度的觀看角度，360度的場景可以利用多個(gè)相機(jī)來捕獲，圖像被組合以生成將可用于觀看的360度場景。

應(yīng)當(dāng)理解，360度視圖包括比通常為通常的電視和許多其它視頻應(yīng)用捕獲、編碼的簡單前向視圖多得多的圖像數(shù)據(jù)，在正常電視和許多其它視頻應(yīng)用中，用戶沒有機(jī)會(huì)改變用來確定要在特定時(shí)間點(diǎn)顯示的圖像的觀看角度。

給定與被流化的內(nèi)容關(guān)聯(lián)的傳輸約束，例如，網(wǎng)絡(luò)數(shù)據(jù)約束，可能不能向?qū)で蠼邮諆?nèi)容并與其交互的所有消費(fèi)者以全高清晰度視頻來流化全360度視圖。當(dāng)內(nèi)容是包括意在對應(yīng)于左眼和右眼視圖的圖像內(nèi)容以允許3D觀看效果的立體內(nèi)容時(shí)，尤其是這種情況。

鑒于上面的討論，應(yīng)當(dāng)理解，對于以允許個(gè)體用戶通過例如轉(zhuǎn)動(dòng)他或她的頭來改變他的觀看位置并看到環(huán)境的期望部分的方式支持內(nèi)容的流化和/或回放的方法和裝置存在需要。如果可以在遵守由于帶寬或其它交付相關(guān)約束而可能應(yīng)用的數(shù)據(jù)流化約束的同時(shí)向用戶提供改變他/她的頭部位置以及由此改變觀看方向的選項(xiàng)，這將是被期望的。雖然不是對所有實(shí)施例都必需，但期望至少一些實(shí)施例允許處于不同位置的多個(gè)用戶同時(shí)接收流并且觀看他們期望的環(huán)境中的任何不同部分，而不管其他用戶在觀看哪個(gè)或哪些部分。

技術(shù)實(shí)現(xiàn)要素：

描述了用于支持對應(yīng)于360度觀看區(qū)域的視頻或其它內(nèi)容的交付(例如，流化)的方法和裝置。本發(fā)明的方法和裝置特別適于如下情況下立體和/或其它圖像內(nèi)容的流化，其中數(shù)據(jù)傳輸約束可能使得內(nèi)容的360度交付難以以最大支持的質(zhì)量水平(例如利用最佳質(zhì)量編碼和最高支持的幀速率)進(jìn)行交付。但是，所述方法不限于立體內(nèi)容。

在各種實(shí)施例中，對應(yīng)于將從其獲得視頻內(nèi)容的環(huán)境的3D模型和/或3D維度信息被生成和/或訪問。環(huán)境中的相機(jī)位置被記錄。在環(huán)境中可以存在多個(gè)不同的相機(jī)位置。例如，不同的終端目標(biāo)相機(jī)位置和一個(gè)或多個(gè)中場相機(jī)位置可以被支持并用來捕獲實(shí)時(shí)相機(jī)饋送。

3D模型和/或其它3D信息存儲(chǔ)在被用來將視頻流化到一個(gè)或多個(gè)用戶的服務(wù)器或圖像捕獲設(shè)備中。

3D模型被提供給具有圖像渲染和合成能力的用戶回放設(shè)備，例如，消費(fèi)者駐地設(shè)備。消費(fèi)者駐地設(shè)備生成環(huán)境的3D表示，該3D表示例如經(jīng)由頭戴式顯示器顯示給消費(fèi)者駐地設(shè)備的用戶。

在各種實(shí)施例中，小于完整360度的環(huán)境在任何給定的時(shí)間被流化到個(gè)體消費(fèi)者駐地設(shè)備。消費(fèi)者駐地設(shè)備基于用戶輸入指示哪個(gè)相機(jī)饋送要被流化。用戶可以經(jīng)由作為消費(fèi)者駐地設(shè)備的一部分或附連到消費(fèi)者駐地設(shè)備的輸入設(shè)備來選擇場地和/或相機(jī)位置。

在一些實(shí)施例中，180度視頻流從負(fù)責(zé)流化內(nèi)容的服務(wù)器和/或攝像機(jī)以例如實(shí)況、實(shí)時(shí)或近實(shí)時(shí)流被傳送到客戶回放設(shè)備?；胤旁O(shè)備監(jiān)視用戶的頭部位置并且因此回放設(shè)備知道回放設(shè)備的用戶正在由回放設(shè)備生成的3D環(huán)境內(nèi)觀看的觀看區(qū)域。當(dāng)3D環(huán)境的一部分可用于被觀看時(shí)，消費(fèi)者駐地設(shè)備呈現(xiàn)視頻，其中視頻內(nèi)容替換或被顯示為將在沒有視頻內(nèi)容的情況下被呈現(xiàn)的模擬3D環(huán)境的替代。當(dāng)回放設(shè)備的用戶轉(zhuǎn)動(dòng)他或她的頭時(shí)，呈現(xiàn)給用戶的環(huán)境的部分可以來自提供給(例如流化到)回放設(shè)備的視頻內(nèi)容，其中其它部分從3D模型和/或先前提供的在與視頻內(nèi)容不同時(shí)間捕獲的圖像內(nèi)容合成地生成。

因此，回放設(shè)備可以顯示例如經(jīng)由流化提供的視頻，同時(shí)比賽、音樂會(huì)或其它事件仍在進(jìn)行，對應(yīng)于例如前180度相機(jī)視圖，而3D環(huán)境的后和/或側(cè)面部分或者完全合成地或者從在不同時(shí)間環(huán)境的側(cè)面或后部區(qū)域的圖像內(nèi)容生成。

雖然用戶可以通過向提供流內(nèi)容的服務(wù)器信令位置的變化來在相機(jī)位置之間進(jìn)行選擇，但是提供流內(nèi)容的服務(wù)器可以提供對于為未被流化的3D環(huán)境的部分生成合成環(huán)境有用的信息。

例如，在一些實(shí)施例中，多個(gè)后部和側(cè)面視圖在不同時(shí)間被捕獲，例如，在流化一部分內(nèi)容之前或者從更早的時(shí)間點(diǎn)開始。圖像被緩沖在回放設(shè)備中。提供內(nèi)容的服務(wù)器可以(并且在一些實(shí)施例中確實(shí))向回放設(shè)備信令一組非實(shí)時(shí)場景或圖像中的哪一個(gè)要被用于未在視頻流中提供的環(huán)境部分的合成。例如，音樂會(huì)參與者坐著的圖像和音樂會(huì)參與者站在相機(jī)位置后面的另一圖像可以被提供并存儲(chǔ)在回放設(shè)備中。服務(wù)器可以信令在特定時(shí)間點(diǎn)應(yīng)當(dāng)使用哪組存儲(chǔ)的圖像數(shù)據(jù)。因此，當(dāng)人群站立時(shí)，服務(wù)器可以信令對應(yīng)于人群站立的圖像應(yīng)當(dāng)在圖像合成期間用于背景180度視圖，而當(dāng)人群坐著時(shí)，服務(wù)器可以向消費(fèi)者駐地設(shè)備指示其應(yīng)當(dāng)在合成3D相機(jī)環(huán)境的側(cè)面或后部時(shí)使用對應(yīng)于坐著的人群的圖像或圖像合成信息。

在至少一些實(shí)施例中，相機(jī)在3D環(huán)境中一個(gè)或多個(gè)位置中的每一個(gè)位置的朝向在圖像捕獲期間被跟蹤。環(huán)境中的標(biāo)記和/或識(shí)別點(diǎn)可以被用來促進(jìn)所捕獲的圖像，例如活動(dòng)圖像，與要由消費(fèi)者駐地設(shè)備模擬的先前建模和/或映射的3D環(huán)境的對準(zhǔn)和/或其它映射。

合成的環(huán)境部分和真實(shí)(流化的視頻)的混合提供沉浸式視頻體驗(yàn)。環(huán)境可以并且有時(shí)候利用3d光度測量來測量或建模，以創(chuàng)建用來在視頻不可用時(shí)，例如當(dāng)環(huán)境之前未被建模時(shí)，模擬環(huán)境的3D信息。

在真實(shí)世界空間中基準(zhǔn)標(biāo)記在既定位置的使用有助于視頻與先前生成的3D模型的校準(zhǔn)和對準(zhǔn)。

每個(gè)相機(jī)的位置跟蹤在視頻被捕獲時(shí)實(shí)現(xiàn)。相對于場所的相機(jī)位置信息，例如，以度為單位映射X、Y、Z和偏航(yaw)(因此，我們知道每個(gè)相機(jī)指向的位置)。這允許容易地檢測所捕獲的圖像對應(yīng)于環(huán)境的什么部分，以及，當(dāng)連同所捕獲的視頻一起被傳送到回放設(shè)備時(shí)，允許回放以在圖像呈現(xiàn)期間自動(dòng)地將我們的視頻捕獲與由回放設(shè)備生成的合成環(huán)境重疊，例如，向用戶回放。流化的內(nèi)容可以被限制到小于360度視圖，例如所捕獲的在相機(jī)位置前面的區(qū)域的180度視圖。當(dāng)觀看者環(huán)視時(shí)，當(dāng)轉(zhuǎn)向后方時(shí)觀看者將看到模擬的背景(不是黑色空白)，并且當(dāng)轉(zhuǎn)向前方時(shí)觀看者將看到視頻。

合成環(huán)境可以是(并且在一些實(shí)施例中是)交互式的。在一些實(shí)施例中，多個(gè)實(shí)際的觀看者(例如不同消費(fèi)者駐地設(shè)備的用戶)被包括在模擬環(huán)境中，使得用戶可以在虛擬3D環(huán)境中和他/她的朋友一起觀看比賽，并且看起來似乎用戶實(shí)際在體育場。

用戶的圖像可以(并且在一些實(shí)施例中)由包括在或附連到消費(fèi)者駐地設(shè)備的相機(jī)捕獲、提供給服務(wù)器并提供給其他用戶，例如組的成員，以供生成模擬環(huán)境使用。用戶圖像不必是實(shí)時(shí)圖像，但可以是實(shí)時(shí)圖像。

所述方法可被用來實(shí)時(shí)地或近實(shí)時(shí)地編碼和提供內(nèi)容，但不限于這種實(shí)時(shí)應(yīng)用。給定支持實(shí)時(shí)和近實(shí)時(shí)編碼并流化到多個(gè)用戶的能力，本文描述的方法和裝置非常適于流化體育賽事、音樂會(huì)和/或其它場所的場景，其中個(gè)人喜歡觀看事件并且不僅觀察到舞臺(tái)或場地，而且能夠轉(zhuǎn)動(dòng)和欣賞環(huán)境的視圖，例如體育場或人群。通過支持360度觀看和3D，本發(fā)明的方法和裝置非常適于與意在向用戶提供3D沉浸式體驗(yàn)的頭戴式顯示器一起使用，具有轉(zhuǎn)動(dòng)并從不同觀看角度觀察場景的自由度，就像用戶身處環(huán)境中并且用戶的頭部轉(zhuǎn)向左、右或后方。

描述了用于傳送圖像內(nèi)容(例如，對應(yīng)于360度視野的內(nèi)容)的方法和裝置。在各種實(shí)施例中，視野對應(yīng)于環(huán)境的不同部分，例如前部、至少一個(gè)后部、頂部和底部。在一些實(shí)施例中，環(huán)境的左后和右后方(例如，后部)被單獨(dú)地生成和/或傳送?；胤旁O(shè)備監(jiān)視用戶頭部的位置并生成圖像，例如對應(yīng)于用戶在給定時(shí)間正在看的環(huán)境部分的立體圖像，然后將圖像顯示給用戶。在立體回放的情況下，生成分離的左眼圖像和右眼圖像。所生成的圖像可以(并且在一些實(shí)施例中確實(shí))對應(yīng)于一個(gè)或多個(gè)場景，例如環(huán)境部分。

在回放開始時(shí)，用戶向前看的頭部水平位置被設(shè)置為缺省地對應(yīng)于前向場景部分。當(dāng)用戶轉(zhuǎn)動(dòng)他/她的頭部并且抬高或降低他或她的頭部時(shí)，環(huán)境的其它部分可以進(jìn)入用戶的視野。

許多回放設(shè)備上的帶寬和圖像解碼能力受設(shè)備的處理能力和/或用于接收圖像內(nèi)容的帶寬的限制。在一些實(shí)施例中，回放設(shè)備確定環(huán)境的哪個(gè)部分對應(yīng)于用戶的主視野。然后，設(shè)備從優(yōu)先角度選擇要以高速率(例如對于指定的流以全分辨率)接收的部分作為主要流。來自提供對應(yīng)于環(huán)境的其它部分的內(nèi)容的一個(gè)或多個(gè)其它流的內(nèi)容也可以被接收，但通常以較低的數(shù)據(jù)速率。用于特定流的內(nèi)容交付可以由回放設(shè)備啟動(dòng)，例如通過發(fā)送用來觸發(fā)內(nèi)容交付的信號(hào)。該信號(hào)可被用來加入多播組，從而提供對應(yīng)于環(huán)境的一部分的內(nèi)容或者啟動(dòng)交換數(shù)字廣播的交付。在廣播內(nèi)容不需要請求或諸如多播組加入信號(hào)的其它信號(hào)的情況下，設(shè)備可以通過調(diào)到內(nèi)容可用的信道來開始接收。

假定用戶通常主要對環(huán)境的前視圖部分感興趣，因?yàn)檫@是主要?jiǎng)幼髡＿M(jìn)行的地方，尤其是當(dāng)內(nèi)容對應(yīng)于體育賽事、搖滾音樂會(huì)、時(shí)裝秀或多個(gè)不同事件時(shí)，在一些實(shí)施例中，環(huán)境的前向視圖部分被給予數(shù)據(jù)傳輸優(yōu)先級(jí)。在至少一些實(shí)施例中，對應(yīng)于前方觀看位置的圖像以比360度環(huán)境的一個(gè)或多個(gè)其它部分更高的速率被流化。對應(yīng)于環(huán)境的其它部分的圖像以較低的數(shù)據(jù)速率發(fā)送或作為靜態(tài)圖像發(fā)送。例如，可以發(fā)送頂部(例如，天空)和底部(例如，地面)的一個(gè)或多個(gè)靜態(tài)圖像。

在一些實(shí)施例中，為環(huán)境的一個(gè)或多個(gè)部分(例如后視圖部分或天空部分)發(fā)送多個(gè)靜態(tài)捕獲的圖像。在一些實(shí)施例中，發(fā)送指示用于環(huán)境的一部分的靜態(tài)圖像中的哪一個(gè)應(yīng)當(dāng)在給定時(shí)間被使用的控制信息。在用于環(huán)境的一部分的靜態(tài)圖像被發(fā)送的情況下，它們可以以編碼形式被發(fā)送然后以解碼形式被存儲(chǔ)在存儲(chǔ)器中，以供與其它圖像內(nèi)容組合。以這種方式，事件期間所需的解碼資源可以減少，因?yàn)槎鄠€(gè)流不需要以相同的幀速率被并行解碼。靜態(tài)圖像可以在流化主要事件的內(nèi)容之前被發(fā)送。作為替代地，考慮到用戶的頭部位置從向前觀看位置的改變，少數(shù)幾個(gè)圖像可以在回放期間需要它們的情況下針對環(huán)境的不同部分發(fā)送并存儲(chǔ)。靜態(tài)或不頻繁的圖像可以作為提供用于主要，例如前向，觀看方向的內(nèi)容的內(nèi)容流的一部分被編碼并發(fā)送，或者可以作為單獨(dú)的內(nèi)容流被發(fā)送。

對應(yīng)于后部的靜態(tài)圖像可以(并且有時(shí)候確實(shí))是在事件之前被捕獲的圖像，而對應(yīng)于環(huán)境的前向部分的內(nèi)容可以(并且在許多情況下確實(shí))包括在事件正在例如實(shí)時(shí)地進(jìn)行時(shí)被捕獲和流化的內(nèi)容。

考慮例如兩個(gè)不同的后視圖場景被傳送并存儲(chǔ)在回放設(shè)備中的情況。一個(gè)場景可以對應(yīng)于處于站立位置的人群，另一個(gè)圖像可以對應(yīng)于處于就座位置的人群。控制信息可以(并且在一些實(shí)施例中確實(shí))指示如果用戶將他/她的頭轉(zhuǎn)動(dòng)到環(huán)境的后部可見的位置的話就座或站立位置人群圖像是否在給定時(shí)間被使用。

類似地，天空的多個(gè)圖像可以被傳送到回放設(shè)備并且以編碼或解碼形式存儲(chǔ)在回放設(shè)備中。在一些實(shí)施例中，天空部分的哪個(gè)圖像要在給定時(shí)間使用在控制信息中被傳送。在其它實(shí)施例中，天空的哪個(gè)場景要被使用是基于對應(yīng)于前向場景區(qū)域的一個(gè)或多個(gè)圖像的亮度自動(dòng)確定的，其中天空部分與所選的前向環(huán)境場景部分一致或接近，例如，明亮的前景場景區(qū)域可以被檢測并用來控制對具有少量云的明亮天空圖像的選擇。類似地，在一些實(shí)施例中對陰暗前向環(huán)境區(qū)域的檢測將導(dǎo)致陰暗的陰天天空圖像被使用。

在視野中用于環(huán)境的一部分的圖像不可用的情況下，場景部分可以例如從來自環(huán)境的可用的其它部分的信息或內(nèi)容來成。例如，如果后方圖像部分不可用，則來自前方場景區(qū)域的左側(cè)和/或右側(cè)的內(nèi)容可以被復(fù)制并用來填充環(huán)境的缺失的后部。除了內(nèi)容復(fù)制之外，模糊和/或其它圖像處理操作也可在一些實(shí)施例中被用來填充環(huán)境的缺失部分。作為替代地，在一些實(shí)施例中，繪圖信息在內(nèi)容流中提供并且回放設(shè)備為丟失的部分生成完全合成的圖像。與視頻游戲內(nèi)容一樣，這種內(nèi)容本質(zhì)上可以是現(xiàn)實(shí)的并且可以包括從繪圖和/或存儲(chǔ)在回放設(shè)備中的其它圖像創(chuàng)建規(guī)則生成的各種各樣的圖像效果和/或內(nèi)容。

根據(jù)一些實(shí)施例，操作回放系統(tǒng)的示例性方法包括確定觀看者的頭部位置，所述頭部位置對應(yīng)于當(dāng)前視野；接收提供對應(yīng)于環(huán)境的第一部分的內(nèi)容的第一內(nèi)容流；基于包括在所述第一內(nèi)容流中的至少一些接收的內(nèi)容以及i)對應(yīng)于所述環(huán)境的第二部分的存儲(chǔ)內(nèi)容或ii)模擬所述環(huán)境的第二部分的合成圖像，生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像；以及輸出或顯示第一輸出圖像，所述第一輸出圖像是一個(gè)或多個(gè)生成的輸出圖像之一。根據(jù)一些實(shí)施例，示例性內(nèi)容回放系統(tǒng)包括觀看者頭部位置確定模塊，被配置為確定觀看者的頭部位置，所述頭部位置對應(yīng)于當(dāng)前視野；內(nèi)容流接收模塊，被配置為接收提供對應(yīng)于環(huán)境的第一部分的內(nèi)容的第一內(nèi)容流；基于輸出圖像內(nèi)容流的生成模塊，被配置為基于包括在所述第一內(nèi)容流中的至少一些接收的內(nèi)容以及i)對應(yīng)于所述環(huán)境的第二部分的存儲(chǔ)內(nèi)容或ii)模擬所述環(huán)境的第二部分的合成圖像，生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像；以及以下當(dāng)中至少一個(gè)：被配置為輸出所述第一輸出圖像的輸出模塊或者被配置為顯示所述第一輸出圖像的顯示模塊。

眾多變化和實(shí)施例是可能的并且在下面的詳細(xì)描述中討論。

附圖說明

圖1示出了根據(jù)本發(fā)明一些實(shí)施例實(shí)現(xiàn)的示例性系統(tǒng)，該系統(tǒng)可被用來捕獲和流化內(nèi)容，以連同環(huán)境的一個(gè)或多個(gè)合成部分一起供一個(gè)或多個(gè)用戶隨后顯示。

圖2A示出了示例性立體場景，例如，尚未被分割的完整360度立體場景。

圖2B示出了根據(jù)一個(gè)示例性實(shí)施例的已被分割成3個(gè)示例性場景的示例性立體場景。

圖2C示出了根據(jù)一個(gè)示例性實(shí)施例的已被分割成4個(gè)場景的示例性立體場景。

圖3示出了根據(jù)一個(gè)示例性實(shí)施例的、編碼示例性360度立體場景的示例性過程。

圖4示出了表示輸入圖像部分如何利用各種編碼器來編碼以生成相同輸入圖像部分的不同編碼版本的例子。

圖5示出了已被分割成3個(gè)部分的輸入立體場景的所存儲(chǔ)的編碼部分。

圖6是示出根據(jù)利用圖1的系統(tǒng)實(shí)現(xiàn)的示例性實(shí)施例的流化內(nèi)容的示例性方法的步驟的流程圖。

圖7示出了根據(jù)本發(fā)明特征的、包括可被用來編碼和流化內(nèi)容的編碼能力的示例性內(nèi)容交付系統(tǒng)。

圖8示出了可被用來接收、解碼和顯示由圖7的系統(tǒng)流化的內(nèi)容的示例性內(nèi)容回放系統(tǒng)。

圖9示出了表示具有安裝在3個(gè)不同安裝位置的3個(gè)相機(jī)對的示例性相機(jī)裝備(rig)連同可被用于校準(zhǔn)該相機(jī)裝備的校準(zhǔn)目標(biāo)的圖。

圖10示出了表示具有安裝在相機(jī)裝備中的3個(gè)相機(jī)對的相機(jī)裝備的更集中視圖的圖。

圖11示出了根據(jù)一個(gè)示例性實(shí)施例實(shí)現(xiàn)的示例性相機(jī)裝備的詳細(xì)圖示。

圖12示出了示例性360度場景環(huán)境，例如360度場景區(qū)域，其可被分割成與捕獲該360度場景的不同部分的相應(yīng)相機(jī)的不同相機(jī)位置對應(yīng)的不同觀看區(qū)域/部分。

圖13包括表示圖12的示例性360度場景區(qū)域的不同部分的三個(gè)不同圖，這三個(gè)部分可以由對應(yīng)于和/或定位成覆蓋示例性360度場景區(qū)域的觀看區(qū)域/部分的不同相機(jī)捕獲。

圖14A是示出根據(jù)本發(fā)明示例性實(shí)施例的操作回放設(shè)備的示例性方法的步驟的流程圖的第一部分。

圖14B是示出根據(jù)本發(fā)明示例性實(shí)施例的操作回放設(shè)備的示例性方法的步驟的流程圖的第二部分。

圖14包括圖14A和圖14B的組合。

圖15是示出根據(jù)示例性實(shí)施例的流選擇子例程的步驟的流程圖。

圖16是示出根據(jù)示例性實(shí)施例的流優(yōu)先化子例程的步驟的流程圖。

圖17是示出根據(jù)示例性實(shí)施例的渲染子例程的步驟的流程圖。

圖18示出了包括與多個(gè)內(nèi)容流對應(yīng)的流信息的示例性表。

圖19示出了根據(jù)本發(fā)明實(shí)現(xiàn)的示例性回放系統(tǒng)。

圖20A是根據(jù)示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖的第一部分。

圖20B是根據(jù)示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖的第二部分。

圖20C是根據(jù)示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖的第三部分。

圖20D是根據(jù)示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖的第四部分。

圖20E是根據(jù)示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖的第五部分。

圖20包括圖20A、圖20B、圖20C、圖20D和圖20E的組合。

圖21是根據(jù)示例性實(shí)施例的示例性內(nèi)容回放系統(tǒng)的圖，其中示例性內(nèi)容回放系統(tǒng)例如耦合到顯示器的內(nèi)容回放設(shè)備或計(jì)算機(jī)系統(tǒng)。

圖22是可以包括在圖21的示例性內(nèi)容回放系統(tǒng)中的示例性模塊組件的圖。

圖23是示出根據(jù)一些實(shí)施例的可以在圖19的回放系統(tǒng)中使用的示例性流選擇模塊的圖。

圖24是示出可被實(shí)現(xiàn)為圖23的流選擇模塊的一部分或者實(shí)現(xiàn)為單獨(dú)模塊的示例性流優(yōu)先化模塊的圖。

具體實(shí)施方式

圖1示出了根據(jù)本發(fā)明一些實(shí)施例實(shí)現(xiàn)的示例性系統(tǒng)100。系統(tǒng)100支持向位于消費(fèi)者駐地的一個(gè)或多個(gè)消費(fèi)者設(shè)備(例如回放設(shè)備/內(nèi)容播放器)進(jìn)行內(nèi)容交付，例如成像內(nèi)容交付。系統(tǒng)100包括示例性圖像捕獲設(shè)備102、內(nèi)容交付系統(tǒng)104、通信網(wǎng)絡(luò)105和多個(gè)消費(fèi)者駐地106...110。圖像捕獲設(shè)備102支持立體圖像的捕獲。圖像捕獲設(shè)備102根據(jù)本發(fā)明的特征捕獲并處理成像內(nèi)容。通信網(wǎng)絡(luò)105可以是例如混合光纖同軸(HFC)網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)和/或互聯(lián)網(wǎng)。

內(nèi)容交付系統(tǒng)104包括編碼裝置112和內(nèi)容流化設(shè)備/服務(wù)器114.編碼裝置112可以(并且在一些實(shí)施例中確實(shí))包括用于根據(jù)本發(fā)明編碼圖像的一個(gè)或多個(gè)編碼器。編碼器可被并行使用，以編碼場景的不同部分和/或編碼場景的給定部分，來生成具有不同數(shù)據(jù)速率的編碼版本。并行使用多個(gè)編碼器在要支持實(shí)時(shí)或近實(shí)時(shí)流化時(shí)會(huì)是特別有用的。

內(nèi)容流化設(shè)備114被配置為流化(例如發(fā)送)編碼的內(nèi)容，以便例如經(jīng)通信網(wǎng)絡(luò)105向一個(gè)或多個(gè)消費(fèi)者設(shè)備交付編碼的圖像內(nèi)容。經(jīng)由網(wǎng)絡(luò)105，內(nèi)容交付系統(tǒng)104可以發(fā)送和/或與位于消費(fèi)者駐地106、110的設(shè)備交換信息，如圖中由穿過通信網(wǎng)絡(luò)105的鏈路120所表示的那樣。

雖然編碼裝置112和內(nèi)容交付服務(wù)器114在圖1的例子中被示為單獨(dú)的物理設(shè)備，但是在一些實(shí)施例中，它們被實(shí)現(xiàn)為編碼和流化內(nèi)容的單個(gè)設(shè)備。編碼過程可以是3D(例如立體)圖像編碼過程，其中對應(yīng)于場景部分的左眼和右眼視圖的信息被編碼并包括在編碼的圖像數(shù)據(jù)中，使得可以支持3D圖像觀看。所使用的特定編碼方法對于本申請不是關(guān)鍵的，并且廣泛的編碼器可被用作或用來實(shí)現(xiàn)編碼裝置112。

每個(gè)消費(fèi)者駐地106、110可以包括多個(gè)設(shè)備/播放器，例如用來解碼和回放/顯示由內(nèi)容流化設(shè)備114流化的成像內(nèi)容的回放系統(tǒng)。消費(fèi)者駐地1 106包括耦合到顯示設(shè)備124的解碼裝置/回放設(shè)備122，而消費(fèi)者駐地N 110包括耦合到顯示設(shè)備128的解碼裝置/回放設(shè)備126。在一些實(shí)施例中，顯示設(shè)備124、128是頭戴式立體顯示設(shè)備。在一些實(shí)施例中，回放設(shè)備122/126和頭戴式設(shè)備124/128一起構(gòu)成回放系統(tǒng)。

在各種實(shí)施例中，解碼裝置122、126在對應(yīng)的顯示設(shè)備124、128上呈現(xiàn)成像內(nèi)容。解碼裝置/播放器122、126可以是能夠執(zhí)行以下的設(shè)備：解碼從內(nèi)容交付系統(tǒng)104接收的成像內(nèi)容、利用解碼的內(nèi)容生成成像內(nèi)容并在顯示設(shè)備124、128上渲染成像內(nèi)容，例如3D圖像內(nèi)容。解碼裝置/回放設(shè)備122、126中的任何一個(gè)可被用作圖8中所示的解碼裝置/回放設(shè)備800。諸如圖8和19中所示的系統(tǒng)/回放設(shè)備可被用作解碼裝置/回放設(shè)備122、126中的任何一個(gè)。

圖2A示出了示例性立體場景200，例如，尚未被分割的完整360度立體場景。立體場景可以是并且通常是組合從常常安裝在單個(gè)視頻捕獲平臺(tái)或相機(jī)底座上的多個(gè)相機(jī)(例如攝像機(jī))捕獲的圖像數(shù)據(jù)的結(jié)果。

圖2B示出了示例性立體場景200的分割版本250，其中場景已根據(jù)一個(gè)示例性實(shí)施例被分割成3(N＝3)個(gè)示例性部分，例如前方180度部分、左后90度部分和右后90度部分。

圖2C示出了示例性立體場景200的另一個(gè)分割版本280，其已經(jīng)根據(jù)一個(gè)示例性實(shí)施例被分割成4(N＝4)個(gè)部分。

雖然圖2B和2C示出了兩個(gè)示例性分割，但是應(yīng)當(dāng)理解，其它分割是可能的。例如，場景200可被分割成十二(n＝12)個(gè)30度部分。在一個(gè)這樣的實(shí)施例中，不是單獨(dú)地編碼每個(gè)部分，而是多個(gè)部分被分組在一起并且作為組被編碼。部分的不同組可以被編碼并流化到用戶，其中每個(gè)組的大小就場景的總度數(shù)而言是相同的，但是對應(yīng)于可以依賴于用戶的頭部位置(例如以0至360度的刻度被測量的觀看角度)被流化的圖像的不同部分。

圖3示出了根據(jù)一個(gè)示例性實(shí)施例的、編碼示例性360度立體場景的示例性過程。圖3所示的方法300的輸入包括由例如被布置成捕獲場景的360度視圖的多個(gè)相機(jī)捕獲的360度立體圖像數(shù)據(jù)。立體圖像數(shù)據(jù)(例如立體視頻)可以是各種已知格式中任何一種并且，在大多數(shù)實(shí)施例中，包括用來允許3D體驗(yàn)的左眼和右眼圖像數(shù)據(jù)。雖然所述方法特別適于立體視頻，但是本文描述的技術(shù)和方法也可以應(yīng)用于例如360度或小場景區(qū)域的2D圖像。

在步驟304中，場景數(shù)據(jù)302被分割成對應(yīng)于不同場景區(qū)域的數(shù)據(jù)，例如對應(yīng)于不同觀看方向的N個(gè)場景區(qū)域。例如，在諸如圖2B中所示的一個(gè)實(shí)施例中，360度場景區(qū)域被分割成三個(gè)分區(qū)：對應(yīng)于90度部分的左后部分、前180度部分和右后90度部分。不同的部分可以已被不同的相機(jī)捕獲，但這不是必需的，事實(shí)上，360度場景可以由在被劃分成如圖2B和2C所示的N個(gè)場景區(qū)域之前從多個(gè)相機(jī)捕獲的數(shù)據(jù)構(gòu)建。

在步驟306中，對應(yīng)于不同場景部分的數(shù)據(jù)根據(jù)本發(fā)明進(jìn)行編碼。在一些實(shí)施例中，每個(gè)場景部分由多個(gè)編碼器獨(dú)立地編碼，以支持用于每個(gè)部分的多個(gè)可能的位速率流。在步驟308中，編碼的場景部分被存儲(chǔ)在例如內(nèi)容交付系統(tǒng)104的內(nèi)容交付服務(wù)器114中，以用于流化到消費(fèi)者回放設(shè)備。

圖4是示出顯示輸入圖像部分(例如場景的180度前部)如何利用各種編碼器來編碼以生成相同輸入圖像部分的不同編碼版本的例子的圖400。

如圖400中所示，輸入場景部分402(例如場景的180度前部)被供給至多個(gè)編碼器進(jìn)行編碼。在該例中，存在K個(gè)不同的編碼器，這些編碼器利用不同分辨率并利用不同的編碼技術(shù)編碼輸入數(shù)據(jù)，以生成編碼的數(shù)據(jù)來支持圖像內(nèi)容的不同數(shù)據(jù)速率流。這K個(gè)編碼器包括高清晰度(HD)編碼器1 404、標(biāo)準(zhǔn)清晰度(SD)編碼器2 406、降低的幀速率SD編碼器3 408...，以及高壓縮降低的幀速率SD編碼器K 410。

HD編碼器1 404被配置為執(zhí)行全高清晰度(HD)編碼，以產(chǎn)生高位速率HD編碼圖像412。SD編碼器2 406被配置為執(zhí)行低分辨率標(biāo)準(zhǔn)清晰度編碼，以產(chǎn)生輸入圖像的SD編碼版本2 414。降低的幀速率SD編碼器3 408被配置為執(zhí)行降低的幀速率低分辨率SD編碼，以產(chǎn)生輸入圖像的降低的速率SD編碼版本3 416。降低的幀速率可以是例如由SD編碼器2 406用于編碼的幀速率的一半。高壓縮降低的幀速率SD編碼器K 410被配置為執(zhí)行具有高壓縮的降低幀速率低分辨率SD編碼，以產(chǎn)生輸入圖像的高壓縮降低速率SD編碼版本K420。

因此，應(yīng)當(dāng)理解，空間和/或時(shí)間分辨率的控制可被用來產(chǎn)生不同數(shù)據(jù)速率的數(shù)據(jù)流，諸如數(shù)據(jù)壓縮水平之類的其它編碼器設(shè)置的控制也可以被單獨(dú)地或者除了空間和/或時(shí)間分辨率的控制以外被使用，以產(chǎn)生對應(yīng)于具有一個(gè)或多個(gè)期望數(shù)據(jù)速率的場景部分的數(shù)據(jù)流。

圖5示出了已被分割成3個(gè)示例性部分的輸入立體場景的所存儲(chǔ)的編碼部分500。所存儲(chǔ)的編碼部分可以存儲(chǔ)在內(nèi)容交付系統(tǒng)104中，例如在存儲(chǔ)器中作為數(shù)據(jù)/信息。立體場景的所存儲(chǔ)的編碼部分500包括編碼部分的3個(gè)不同集合，其中每個(gè)部分對應(yīng)于不同的場景區(qū)域并且每個(gè)集合包括對應(yīng)場景部分的多個(gè)不同編碼版本。每個(gè)編碼版本是編碼視頻數(shù)據(jù)的版本并且因此表示已被編碼的多個(gè)幀。應(yīng)當(dāng)理解，每個(gè)編碼版本510、512、516是對應(yīng)于多個(gè)時(shí)段的視頻，并且當(dāng)流化時(shí)，對應(yīng)于正被回放的時(shí)段的部分(例如幀)將被用于傳輸目的。

如上面關(guān)于圖4所示出和討論的，每個(gè)場景部分(例如前、后場景部分)可以利用多個(gè)不同的編碼器對進(jìn)行編碼，以產(chǎn)生相同場景部分的K個(gè)不同版本。對應(yīng)于給定輸入場景的每個(gè)編碼器的輸出作為集合被分組在一起并被存儲(chǔ)。編碼場景部分502的第一集合對應(yīng)于前180度場景部分，并且包括前180度場景的編碼版本1 510、前180度場景的編碼版本2 512，...，以及前180度場景的編碼版本K 516。編碼場景部分504的第二集合對應(yīng)于場景部分2，例如90度左后場景部分，并且包括90度左后場景部分的編碼版本1 520、90度左后場景部分的編碼版本2 522，...，以及90度左后場景部分的編碼版本K 526。類似地，編碼場景部分506的第三集合對應(yīng)于場景部分3，例如90度右后場景部分，并且包括90度右后場景部分的編碼版本1530、90度右后場景部分的編碼版本2 332，...，以及90度右后場景部分的編碼版本K 536。

360度場景的各種不同的所存儲(chǔ)的編碼部分可被用來生成用于發(fā)送到消費(fèi)者回放設(shè)備的各種不同位速率流。

圖6是示出根據(jù)示例性實(shí)施例的提供圖像內(nèi)容的示例性方法的步驟的流程圖600。在一些實(shí)施例中，流程圖600的方法是利用圖1中所示的捕獲系統(tǒng)實(shí)現(xiàn)的。

該方法在步驟602中開始，例如，交付系統(tǒng)通電并初始化。該方法從開始步驟602前進(jìn)到步驟604。在步驟604中，內(nèi)容交付系統(tǒng)104(例如系統(tǒng)104內(nèi)的服務(wù)器114)接收對內(nèi)容的請求，例如對先前編碼的節(jié)目的請求或者，在一些情況下，被實(shí)時(shí)或近實(shí)時(shí)地編碼和流化的實(shí)況事件，例如，當(dāng)事件仍在進(jìn)行時(shí)。

響應(yīng)于該請求，在步驟606中，服務(wù)器114確定可用于交付的數(shù)據(jù)速率。數(shù)據(jù)速率可以根據(jù)包括在指示支持的數(shù)據(jù)速率的請求中的信息和/或根據(jù)諸如指示可用于將內(nèi)容交付到請求設(shè)備的最大帶寬的網(wǎng)絡(luò)信息之類的其它信息來確定。應(yīng)當(dāng)理解，可用的數(shù)據(jù)速率可以依賴于網(wǎng)絡(luò)負(fù)載而變化并且可以在內(nèi)容被流化的時(shí)段期間改變。改變可以由用戶設(shè)備報(bào)告或者從消息或信號(hào)中檢測，其中該消息或信號(hào)指示分組被丟棄或延遲超過指示網(wǎng)絡(luò)難以支持正在使用的數(shù)據(jù)速率的期望時(shí)間量并且當(dāng)前可用數(shù)據(jù)速率低于被確定為可用的原始數(shù)據(jù)速率。

操作從步驟606前進(jìn)到步驟608，在那里，從其開始對內(nèi)容的請求被初始化的用戶設(shè)備的當(dāng)前頭部位置(例如，在請求時(shí)的當(dāng)前頭部位置)將是0度位置。在一些實(shí)施例中，0度或前視圖位置可由用戶利用回放設(shè)備發(fā)信號(hào)通知要進(jìn)行重新初始化來重新初始化。隨著時(shí)間的推移，用戶的頭部位置和/或用戶頭部位置例如相對于原始頭部位置的變化被報(bào)告給內(nèi)容交付系統(tǒng)104，并且如下面將討論的那樣更新的位置被用來做出內(nèi)容交付決定。

操作從步驟608前進(jìn)到步驟610，其中對應(yīng)于所請求的內(nèi)容的360度場景的部分被發(fā)送，以初始化回放設(shè)備。在至少一些實(shí)施例中，初始化涉及發(fā)送場景數(shù)據(jù)的完整360度集合，例如在360度場景被劃分為N個(gè)部分時(shí)是N個(gè)部分。

作為步驟610中初始化的結(jié)果，回放設(shè)備將具有對應(yīng)于360度可能觀看區(qū)域的每個(gè)不同部分的場景數(shù)據(jù)。因而，如果回放設(shè)備的用戶突然轉(zhuǎn)向后方，那么，即使不是與用戶在轉(zhuǎn)動(dòng)頭部之前正在觀看的部分一樣最新，也至少有一些數(shù)據(jù)將可用于向用戶顯示。

操作從步驟610前進(jìn)到步驟612和步驟622。步驟622對應(yīng)于全局場景更新路徑，它被用來確?；胤旁O(shè)備每個(gè)全局更新周期至少一次接收整個(gè)360度場景的更新版本。在步驟610中已經(jīng)被初始化，全局更新過程在等待步驟622中被延遲預(yù)定的時(shí)段。然后在步驟624中，執(zhí)行360度場景更新。虛線箭頭613表示在對應(yīng)于步驟622的輔助時(shí)段期間關(guān)于哪些場景部分被傳送到回放設(shè)備的信息的傳送。在步驟624中，整個(gè)360度場景可以被發(fā)送。但是，在一些實(shí)施例中，不是所有部分都在步驟624中被發(fā)送。在一些實(shí)施例中，在等待時(shí)段622期間被更新的場景的部分從在步驟624中執(zhí)行的更新中被省略，因?yàn)樗鼈円呀?jīng)在基于用戶的頭部位置發(fā)送場景的至少一些部分的正常流化過程期間被刷新了。

操作從步驟624前進(jìn)回等待步驟622，在那里，在下一全局更新之前執(zhí)行等待。應(yīng)當(dāng)理解，通過調(diào)整在步驟622中使用的等待時(shí)段，可以支持不同的全局刷新速率。在一些實(shí)施例中，內(nèi)容服務(wù)器基于被提供的場景內(nèi)容的類型來選擇等待時(shí)段以及由此選擇全局參考時(shí)段。在其中主要?jiǎng)幼髟诿嫦蚯胺絽^(qū)域中并且刷新的原因之一是戶外照明條件的可能變化的體育事件的情況下，等待時(shí)段可以相對長，例如大約一分鐘或幾分鐘。在其中人群中的動(dòng)作和活動(dòng)可能隨著不同歌曲被演奏而頻繁改變的搖滾音樂會(huì)的情況下，全局刷新率可以，并且有時(shí)候就是，高于體育事件，用戶可能想轉(zhuǎn)身并看到人群反應(yīng)并且除了獲得在前臺(tái)觀看區(qū)域正在發(fā)生什么的感覺之外還想獲得在人群中發(fā)生了什么的感覺。

在一些實(shí)施例中，全局參考時(shí)段作為正被流化的呈現(xiàn)的部分的函數(shù)而改變。例如，在體育事件的比賽部分期間，全局刷新率可以相對較低，但是在其中處于事件或經(jīng)由回放設(shè)備觀看事件的人更可能從向前主區(qū)域轉(zhuǎn)動(dòng)他或她的頭部的超時(shí)或中場休息期間或者在觸地得分時(shí)刻后期間，全局參考速率可以(并且在一些實(shí)施例中)通過減少在步驟622中使用的等待(例如刷新時(shí)段控制)而增加。

雖然已經(jīng)參考步驟622和624描述了全局刷新過程，但是描述場景的部分的正常供給。如應(yīng)當(dāng)理解的，場景或場景部分的正常刷新將在數(shù)據(jù)速率允許的情況下以被支持的視頻幀速率對至少一個(gè)部分發(fā)生。因此，關(guān)于至少一個(gè)幀部分(例如他/她的頭部被指示為面向的部分)將以全視頻流化幀速率被提供，假設(shè)可用的數(shù)據(jù)速率是足夠的。

在步驟612中，基于用戶的所指示的頭部位置(例如，觀看角度)來選擇要提供的場景部分。所選擇的部分被例如周期性地發(fā)送(例如流化)到回放設(shè)備。在一些實(shí)施例中，對應(yīng)于這些部分的數(shù)據(jù)被流化的速率依賴于視頻幀速率。例如，至少一個(gè)被選的部分將以所支持的全幀速率被流化。雖然在步驟612中選擇了至少一個(gè)場景部分，但是通常選擇多個(gè)場景部分，例如用戶正面向的場景部分以及下一個(gè)最近的場景部分。如果可用的數(shù)據(jù)速率足以支持多個(gè)幀部分的通信，則附加的場景部分也可被選擇和提供。

在步驟612中選擇要流化的場景部分之后，操作前進(jìn)到步驟614，其中例如基于可用的數(shù)據(jù)速率和用戶的觀看位置來選擇被選流部分的編碼版本。例如，如由當(dāng)前報(bào)告的頭部部分所指示的用戶面對的場景部分的全速率高分辨率版本可以并且通常將被流化。在當(dāng)前頭部位置左邊和/或右邊的一個(gè)或多個(gè)場景部分可以被選擇以較低分辨率、較低時(shí)間速率或者利用減少發(fā)送當(dāng)前不被觀看的場景區(qū)域所需的帶寬量的另一種編碼方法被流化。相鄰場景部分的編碼版本的選擇將依賴于在當(dāng)前被觀看的場景部分的高質(zhì)量版本被發(fā)送之后帶寬剩余的量。雖然當(dāng)前不被觀看的場景部分可以作為較低分辨率編碼版本或作為在幀之間具有較大時(shí)間距離的編碼版本被發(fā)送，但是如果有足夠的帶寬可用，則可以周期性或頻繁地發(fā)送全分辨率高質(zhì)量版本。

在步驟616中，所選擇的場景部分的被選編碼版本被發(fā)送到請求內(nèi)容的回放設(shè)備。因此，在步驟616中，對應(yīng)于一個(gè)或多個(gè)部分的編碼內(nèi)容，例如對應(yīng)于多個(gè)連續(xù)幀的立體視頻內(nèi)容，被流化到回放設(shè)備。

操作從步驟616前進(jìn)到步驟618，其中接收指示用戶的當(dāng)前頭部位置的信息。這種信息可以周期性地和/或響應(yīng)于檢測頭部位置的變化而從回放設(shè)備發(fā)送。除了頭部位置的變化之外，可用數(shù)據(jù)速率的變化也會(huì)影響什么內(nèi)容被流化。操作從步驟618前進(jìn)到步驟620，其中確定可被用于向回放設(shè)備進(jìn)行內(nèi)容交付的當(dāng)前數(shù)據(jù)速率。因此，內(nèi)容交付系統(tǒng)可以檢測可用于支持到請求設(shè)備的流化的帶寬量的變化。

操作從步驟620前進(jìn)到步驟612，其中流化繼續(xù)，直到內(nèi)容被完全交付，例如節(jié)目或事件結(jié)束，或者直到從請求內(nèi)容的回放設(shè)備接收到指示會(huì)話要被終止的信號(hào)、或者未能從回放設(shè)備接收到預(yù)期信號(hào)，諸如檢測到指示回放設(shè)備不再與內(nèi)容服務(wù)器114通信的頭部位置更新。

根據(jù)以上述方式交付的場景數(shù)據(jù)，回放設(shè)備將至少具有可用于在用戶快速轉(zhuǎn)動(dòng)他或她的頭部的情況下顯示的對應(yīng)于每個(gè)場景部分的一些數(shù)據(jù)。應(yīng)當(dāng)理解，用戶很少在非常短的時(shí)間內(nèi)完全地轉(zhuǎn)過頭，因?yàn)檫@對于許多人來說是觀看位置的不舒服的變化。因而，雖然完整360度場景可能不總是被發(fā)送，但是在任何給定時(shí)間最有可能被觀看的場景部分的高質(zhì)量版本可以被流化并讓用戶可用。

內(nèi)容交付系統(tǒng)104可以支持大量的并發(fā)用戶，因?yàn)榫幋a過程允許場景的N個(gè)部分以不同方式被發(fā)送到不同的用戶并被處理，而不必為每個(gè)單獨(dú)的用戶單獨(dú)地編碼內(nèi)容。因此，雖然多個(gè)并行編碼器可被用來支持實(shí)時(shí)編碼，以允許體育或其它事件的實(shí)時(shí)或近實(shí)時(shí)流化，但是所使用的編碼器的數(shù)量趨于遠(yuǎn)小于內(nèi)容被流化到的回放設(shè)備的數(shù)量。

雖然內(nèi)容的部分被描述為對應(yīng)于360度視圖的部分，但是應(yīng)當(dāng)理解，場景可以(在一些實(shí)施例中確實(shí))代表還具有垂直維度的空間的平坦版本?；胤旁O(shè)備能夠利用3D環(huán)境的模型(例如空間)來映射場景部分，并且調(diào)整垂直觀看位置。因此，本申請中所討論的360度是指相對于水平線的頭部位置，就好像用戶在保持他的目光水平的同時(shí)向左或向右改變其觀看角度。

圖7示出了根據(jù)本發(fā)明特征的、包括可被用來編碼和流化內(nèi)容的編碼能力的示例性內(nèi)容交付系統(tǒng)700。

該系統(tǒng)可被用來執(zhí)行根據(jù)本發(fā)明的特征的編碼、存儲(chǔ)，以及傳輸和/或內(nèi)容輸出。在一些實(shí)施例中，系統(tǒng)700或其中的元件執(zhí)行對應(yīng)于圖6中所示過程的操作。內(nèi)容交付系統(tǒng)700可被用作圖1的系統(tǒng)104。雖然圖7中所示的系統(tǒng)被用于內(nèi)容的編碼、處理和流化，但是應(yīng)當(dāng)理解，系統(tǒng)700還可以包括解碼和例如向操作者顯示經(jīng)處理和/或編碼的圖像數(shù)據(jù)的能力。

系統(tǒng)700包括顯示器702、輸入設(shè)備704、輸入/輸出(I/O)接口706、處理器708、網(wǎng)絡(luò)接口710和存儲(chǔ)器712。系統(tǒng)700的各種部件經(jīng)由總線709耦合在一起，這允許數(shù)據(jù)在系統(tǒng)700的部件之間傳送。

存儲(chǔ)器712包括各種模塊，例如例程，當(dāng)其被處理器708執(zhí)行時(shí)，控制系統(tǒng)700實(shí)現(xiàn)根據(jù)本發(fā)明的分割、編碼、存儲(chǔ)，以及流化/傳輸和/或輸出操作。

存儲(chǔ)器712包括各種模塊，例如例程，當(dāng)其被處理器708執(zhí)行時(shí)，控制計(jì)算機(jī)系統(tǒng)700實(shí)現(xiàn)根據(jù)本發(fā)明的沉浸式立體視頻獲取、編碼、存儲(chǔ)，以及傳輸和/或輸出方法。存儲(chǔ)器712包括控制例程714、分割模塊716、編碼器718、流化控制器720、接收的輸入圖像732(例如場景的360度立體視頻)、編碼的場景部分734，以及定時(shí)信息736。在一些實(shí)施例中，模塊被實(shí)現(xiàn)為軟件模塊。在其它實(shí)施例中，模塊在硬件中被實(shí)現(xiàn)，例如實(shí)現(xiàn)為單獨(dú)的電路，其中每個(gè)模塊被實(shí)現(xiàn)為用于執(zhí)行模塊對應(yīng)的功能的電路。在還有其它實(shí)施例中，模塊是利用軟件和硬件的組合來實(shí)現(xiàn)的。

控制例程714包括設(shè)備控制例程和通信例程，以控制系統(tǒng)700的操作。分割模塊716被配置為根據(jù)本發(fā)明的特征將接收到的場景的立體360度版本分割成N個(gè)場景部分。

編碼器718可以(并且在一些實(shí)施例中確實(shí))包括被配置為根據(jù)本發(fā)明的特征編碼接收到的圖像內(nèi)容的多個(gè)編碼器，其中圖像內(nèi)容例如場景和/或一個(gè)或多個(gè)場景部分的360度版本。在一些實(shí)施例中，編碼器包括多個(gè)編碼器，其中每個(gè)編碼器被配置為編碼立體場景和/或分割的場景部分，以支持給定的位速率流。因此，在一些實(shí)施例中，每個(gè)場景部分可以利用多個(gè)編碼器來編碼，以支持用于每個(gè)場景的多個(gè)不同的位速率流。編碼器718的輸出是編碼的場景部分734，其被存儲(chǔ)在存儲(chǔ)器中，以用于流化到消費(fèi)者設(shè)備，例如回放設(shè)備。編碼的內(nèi)容可以經(jīng)由網(wǎng)絡(luò)接口710被流化到一個(gè)或多個(gè)不同的設(shè)備。

流化控制器720被配置為控制編碼內(nèi)容的流化，以用于例如經(jīng)通信網(wǎng)絡(luò)105將編碼的圖像內(nèi)容交付給一個(gè)或多個(gè)消費(fèi)者設(shè)備。在各種實(shí)施例中，流程圖600的各個(gè)步驟由流化控制器720的元件實(shí)現(xiàn)。流化控制器720包括請求處理模塊722、數(shù)據(jù)速率確定模塊724、當(dāng)前頭部位置確定模塊726、選擇模塊728和流化控制模塊730。請求處理模塊722被配置為處理從消費(fèi)者回放設(shè)備接收的對成像內(nèi)容的請求。在各種實(shí)施例中，對內(nèi)容的請求是經(jīng)由網(wǎng)絡(luò)接口710中的接收器接收的。在一些實(shí)施例中，對內(nèi)容的請求包括指示請求回放設(shè)備的身份的信息。在一些實(shí)施例中，對內(nèi)容的請求可以包括由消費(fèi)者回放設(shè)備支持的數(shù)據(jù)速率、用戶的當(dāng)前頭部位置，例如頭戴式顯示器的位置。請求處理模塊722處理接收到的請求并將檢索到的信息提供給流化控制器720的其它元件，以采取進(jìn)一步的動(dòng)作。雖然對內(nèi)容的請求可以包括數(shù)據(jù)速率信息和當(dāng)前頭部位置信息，但是在各種實(shí)施例中，由回放設(shè)備支持的數(shù)據(jù)速率可以從系統(tǒng)700和回放設(shè)備之間的網(wǎng)絡(luò)測試和其它網(wǎng)絡(luò)信息交換來確定。

數(shù)據(jù)速率確定模塊724被配置為確定可被用來將成像內(nèi)容流化到消費(fèi)者設(shè)備的可用數(shù)據(jù)速率，例如，由于支持多個(gè)編碼場景部分，因此內(nèi)容交付系統(tǒng)700可以支持以多個(gè)數(shù)據(jù)速率向消費(fèi)者設(shè)備流化內(nèi)容。數(shù)據(jù)速率確定模塊724還被配置為確定由從系統(tǒng)700請求內(nèi)容的回放設(shè)備支持的數(shù)據(jù)速率。在一些實(shí)施例中，數(shù)據(jù)速率確定模塊724被配置為基于網(wǎng)絡(luò)測量確定用于圖像內(nèi)容交付的可用數(shù)據(jù)速率。

當(dāng)前頭部位置確定模塊726被配置為根據(jù)從回放設(shè)備接收的信息確定用戶的當(dāng)前觀看角度和/或當(dāng)前頭部位置，例如頭戴式顯示器的位置。在一些實(shí)施例中，回放設(shè)備周期性地向系統(tǒng)700發(fā)送當(dāng)前頭部位置信息，其中當(dāng)前頭部位置確定模塊726接收并處理該信息，以確定當(dāng)前觀看角度和/或當(dāng)前頭部位置。

選擇模塊728被配置為基于用戶的當(dāng)前觀看角度/頭部位置信息來確定360度場景的哪些部分要流化到回放設(shè)備。選擇模塊728還被配置為基于可用的數(shù)據(jù)速率選擇所確定的場景部分的編碼版本，以支持內(nèi)容的流化。

流化控制模塊730被配置為根據(jù)本發(fā)明的特征以各種支持的數(shù)據(jù)速率控制圖像內(nèi)容的流化，其中圖像內(nèi)容例如360度立體場景的多個(gè)部分。在一些實(shí)施例中，流化控制模塊730被配置為控制360度立體場景的N個(gè)部分到請求內(nèi)容的回放設(shè)備的流化，以初始化回放設(shè)備中的場景存儲(chǔ)器。在各種實(shí)施例中，流化控制模塊730被配置為例如以確定的速率周期性地發(fā)送所確定的場景部分的被選編碼版本。在一些實(shí)施例中，流化控制模塊730還被配置為根據(jù)時(shí)間間隔(例如每分鐘一次)向回放設(shè)備發(fā)送360度場景更新。在一些實(shí)施例中，發(fā)送360度場景更新包括發(fā)送完整360度立體場景的N個(gè)場景部分或N-X個(gè)場景部分，其中N是完整360度立體場景被分割成的部分的總數(shù)并且X表示最近被發(fā)送到回放設(shè)備的所選擇的場景部分。在一些實(shí)施例中，流化控制模塊730在初始發(fā)送N個(gè)場景部分之后等待預(yù)定時(shí)間，用于在發(fā)送360度場景更新之前初始化。在一些實(shí)施例中，控制360度場景更新的發(fā)送的定時(shí)信息被包括在定時(shí)信息736中。在一些實(shí)施例中，流化控制模塊730還被配置為識(shí)別在刷新間隔期間尚未被發(fā)送到回放設(shè)備的場景部分；以及發(fā)送在刷新間隔期間未被發(fā)送到回放設(shè)備的所識(shí)別出的場景部分的更新版本。

在各種實(shí)施例中，流化控制模塊730被配置為周期性地向回放設(shè)備傳送至少足夠數(shù)量的N個(gè)部分，以允許回放設(shè)備在每個(gè)刷新周期期間至少一次完全刷新所述場景的360度版本。

圖8示出了根據(jù)本發(fā)明實(shí)現(xiàn)的回放系統(tǒng)800，其可被用來接收、解碼、存儲(chǔ)和顯示從諸如圖1和7中所示的內(nèi)容交付系統(tǒng)接收的成像內(nèi)容。系統(tǒng)800可被實(shí)現(xiàn)為包括顯示器802的單個(gè)回放設(shè)備800'，或者實(shí)現(xiàn)為諸如耦合到計(jì)算機(jī)系統(tǒng)800'的外部顯示器(例如，頭戴式顯示器805)的元件的組合。

在至少一些實(shí)施例中，回放系統(tǒng)800包括3D頭戴式顯示器。頭戴式顯示器可以利用可以包括頭戴式顯示器805的OCULUS RIFT^TMVR(虛擬現(xiàn)實(shí))耳機(jī)來實(shí)現(xiàn)。其它頭戴式顯示器也可被使用。在一些實(shí)施例中，頭戴式頭盔或其它頭戴式設(shè)備，其中一個(gè)或多個(gè)顯示屏被用來向用戶的左眼和右眼顯示內(nèi)容。通過在單個(gè)屏幕上向左眼和右眼顯示不同的圖像，其中頭戴式設(shè)備被配置為將單個(gè)屏幕的不同部分暴露給不同的眼睛，可以使用單個(gè)顯示器來顯示將被觀看者的左眼和右眼分別感知到的左眼和右眼圖像。在一些實(shí)施例中，手機(jī)屏幕被用作頭戴式顯示設(shè)備的顯示器。在至少一些這樣的實(shí)施例中，手機(jī)被插入頭戴式設(shè)備并且手機(jī)被用來顯示圖像。

回放系統(tǒng)800具有解碼接收到的編碼圖像數(shù)據(jù)并且生成用于向消費(fèi)者顯示的3D圖像內(nèi)容的能力，其中編碼圖像數(shù)據(jù)例如左眼和右眼圖像和/或?qū)?yīng)于環(huán)境或場景的不同部分的單聲道(單個(gè)圖像)，其中顯示是例如通過將用戶感知到的不同的左眼和右眼視圖渲染并顯示為3D圖像。在一些實(shí)施例中，回放系統(tǒng)800位于消費(fèi)者駐地位置，諸如家或辦公室，但也可以位于圖像捕獲地點(diǎn)。系統(tǒng)800可以執(zhí)行根據(jù)本發(fā)明的信號(hào)接收、解碼、顯示和/或其它操作。

系統(tǒng)800包括顯示器802、顯示設(shè)備接口803、輸入設(shè)備804、輸入/輸出(I/O)接口806、處理器808、網(wǎng)絡(luò)接口810和存儲(chǔ)器812。系統(tǒng)的各種部件800經(jīng)由允許數(shù)據(jù)在系統(tǒng)800的部件之間通信的總線809和/或通過其它連接或通過無線接口耦合在一起。雖然在一些實(shí)施例中顯示器802作為可選元件被包括，如利用虛線框所示的，但是在一些實(shí)施例中，外部顯示設(shè)備805(例如頭戴式立體顯示設(shè)備)可以經(jīng)由顯示設(shè)備接口803耦合到回放設(shè)備。

例如，在手機(jī)處理器被用作處理器808并且手機(jī)在頭戴式設(shè)備中生成和顯示圖像的情況下，系統(tǒng)可以包括處理器808、顯示器802和存儲(chǔ)器812，作為頭戴式設(shè)備的一部分。處理器808、顯示器802和存儲(chǔ)器812都可以是手機(jī)的一部分。在系統(tǒng)800的其它實(shí)施例中，處理器808可以是諸如XBOX或PS4的游戲系統(tǒng)的一部分，其中顯示器805安裝在頭戴式設(shè)備中并且耦合到游戲系統(tǒng)。處理器808或存儲(chǔ)器812是否位于佩戴在頭上的設(shè)備中并不是關(guān)鍵的并且，如可以理解的，雖然在一些情況下，在頭飾(headgear)中共同定位處理器會(huì)是方便的，但是從功率、熱量和重量的角度來看，在至少一些情況下，可能期望使處理器808和存儲(chǔ)器812耦合到包括顯示器的頭飾。

雖然各種實(shí)施例構(gòu)想了頭戴式顯示器805或802，但是該方法和裝置還可以與可支持3D圖像的非頭戴式顯示器一起使用。因而，雖然在許多實(shí)施例中系統(tǒng)800包括頭戴式顯示器，但是它還可以利用非頭戴式顯示器來實(shí)現(xiàn)。

存儲(chǔ)器812包括各種模塊，例如例程，當(dāng)其被處理器808執(zhí)行時(shí)，控制回放設(shè)備800執(zhí)行根據(jù)本發(fā)明的解碼和輸出操作。存儲(chǔ)器812包括控制例程814、對內(nèi)容的請求生成模塊816、頭部位置和/或觀看角度確定模塊818、解碼器模塊820、也被稱為3D圖像生成模塊的立體圖像渲染模塊822，以及包括接收到的編碼圖像內(nèi)容824、解碼圖像內(nèi)容826、360度解碼場景緩沖器828和生成的立體內(nèi)容830的數(shù)據(jù)/信息。

控制例程814包括設(shè)備控制例程和通信例程，以控制設(shè)備800的操作。請求生成模塊816被配置為生成對內(nèi)容的請求，以發(fā)送到內(nèi)容傳遞系統(tǒng)以用于提供內(nèi)容。在各種實(shí)施例中，對內(nèi)容的請求是經(jīng)由網(wǎng)絡(luò)接口810發(fā)送的。頭部位置和/或觀看角度確定模塊818被配置為確定用戶的當(dāng)前觀看角度和/或當(dāng)前頭部位置，例如，頭戴式顯示器的位置，并將確定的位置和/或觀看角度信息報(bào)告給內(nèi)容交付系統(tǒng)700。在一些實(shí)施例中，回放設(shè)備800周期性地向系統(tǒng)700發(fā)送當(dāng)前頭部位置信息。

解碼器模塊820被配置為解碼從內(nèi)容交付系統(tǒng)700接收的編碼圖像內(nèi)容824，以產(chǎn)生解碼的圖像數(shù)據(jù)826。解碼的圖像數(shù)據(jù)826可以包括解碼的立體場景和/或解碼的場景部分。

3D圖像渲染模塊822根據(jù)本發(fā)明的特征，例如利用解碼的圖像內(nèi)容826來生成3D圖像，例如以將被感知為3D圖像的方式顯示的左眼和右眼圖像，以用于在顯示器802和/或顯示設(shè)備805上向用戶顯示。所生成的立體圖像內(nèi)容830是3D圖像生成模塊822的輸出。因此，渲染模塊822將3D圖像內(nèi)容830渲染到顯示器。在一些實(shí)施例中，顯示設(shè)備805可以是諸如Oculus Rift的3D顯示設(shè)備的一部分。回放設(shè)備800的操作者可以經(jīng)由輸入設(shè)備804控制一個(gè)或多個(gè)參數(shù)和/或選擇要執(zhí)行的操作，例如選擇顯示3D場景。

圖9示出了表示示例性相機(jī)組件900(有時(shí)也被稱為相機(jī)裝備或相機(jī)陣列)的圖，其具有安裝在3個(gè)不同安裝位置的3個(gè)相機(jī)對902、904、906和可被用于校準(zhǔn)相機(jī)組件900的校準(zhǔn)目標(biāo)915。根據(jù)本發(fā)明的一些實(shí)施例，相機(jī)裝備900被用來捕獲圖像內(nèi)容。在一些實(shí)施例中，相機(jī)裝備900被用作圖1的圖像捕獲裝置102。相機(jī)裝備900包括將相機(jī)保持在指示位置的支撐結(jié)構(gòu)(圖11中所示)、3對902、904、906立體相機(jī)(901、903)、(905、907)、(909、911)總共6個(gè)相機(jī)。支撐結(jié)構(gòu)包括在本文中也被稱為安裝板(參見圖11中所示的元件1120)的基座1120，基座支撐相機(jī)并且其上安裝有相機(jī)的板可以固定到該基座。支撐結(jié)構(gòu)可以由塑料、金屬或者諸如石墨或玻璃纖維的復(fù)合材料制成，并且由構(gòu)成三角形的線表示，其也被用來示出相機(jī)之間的間距和關(guān)系。點(diǎn)線相交的中心點(diǎn)表示中心節(jié)點(diǎn)，在一些但不一定是所有實(shí)施例中，相機(jī)對902、904、906可以圍繞該中心節(jié)點(diǎn)旋轉(zhuǎn)。在一些實(shí)施例中，中心節(jié)點(diǎn)對應(yīng)于例如三腳架基座的鋼桿或螺紋中心安裝件，由三角形線表示的相機(jī)支撐框架912可以圍繞其旋轉(zhuǎn)。支撐框架可以是其中安裝有相機(jī)的塑料外殼或者是三腳架結(jié)構(gòu)。

在圖9中，每對相機(jī)902、904、906對應(yīng)于不同的相機(jī)對位置。第一相機(jī)對902對應(yīng)于面向前0度位置。這個(gè)位置通常對應(yīng)于感興趣的主場景區(qū)域，例如，正在其上進(jìn)行體育比賽的場地、舞臺(tái)或者主要?jiǎng)幼骺赡馨l(fā)生的某個(gè)其它區(qū)域。第二相機(jī)對904對應(yīng)于120度相機(jī)位置并被用來捕獲右后觀看區(qū)域。第三相機(jī)對906對應(yīng)于240度位置(相對于0度位置)和左后觀看區(qū)域。注意，三個(gè)相機(jī)位置隔開120度。每個(gè)相機(jī)觀看位置包括圖9實(shí)施例中的一個(gè)相機(jī)對，其中每個(gè)相機(jī)對包括用來捕獲圖像的左相機(jī)和右相機(jī)。左相機(jī)捕獲有時(shí)被稱為左眼圖像的內(nèi)容，右相機(jī)捕獲有時(shí)被稱為右眼圖像的內(nèi)容。圖像可以是在一個(gè)或多個(gè)時(shí)間捕獲的視圖序列或靜止圖像的一部分。通常，至少對應(yīng)于相機(jī)對902的前相機(jī)位置將用高質(zhì)量攝像機(jī)填充。其它相機(jī)位置可以用用來捕獲靜止或單色圖像(mono image)的單個(gè)相機(jī)或高質(zhì)量攝像機(jī)、較低質(zhì)量攝像機(jī)來填充。在一些實(shí)施例中，第二和第三相機(jī)實(shí)施例保持未被填充并且其上安裝有相機(jī)的支撐板被旋轉(zhuǎn)，從而允許第一相機(jī)對902捕獲對應(yīng)于所有三個(gè)相機(jī)位置但在不同時(shí)間的圖像。在一些這樣的實(shí)施例中，左和右后方圖像被較早捕獲并存儲(chǔ)，然后前向相機(jī)位置的視頻在事件期間被捕獲。捕獲的圖像可以被實(shí)時(shí)地，例如在事件仍在進(jìn)行的同時(shí)，被編碼和流化到一個(gè)或多個(gè)回放設(shè)備。

圖9中所示的第一相機(jī)對包括左相機(jī)901和右相機(jī)903。左相機(jī)901具有固定到第一相機(jī)的第一透鏡組件920，右相機(jī)903具有固定到右相機(jī)903的第二透鏡組件920'。透鏡組件920、920'包括允許捕獲廣角視野的透鏡。在一些實(shí)施例中，每個(gè)透鏡組件920、920'包括魚眼鏡頭。因此，相機(jī)902、903中的每一個(gè)可以捕獲180度視野或大約180度。在一些實(shí)施例中，小于180度被捕獲，但是在一些實(shí)施例中，在從相鄰的相機(jī)對捕獲的圖像中仍然存在至少一些重疊。在圖9的實(shí)施例中，相機(jī)對在第一(0度)、第二(120度)和第三(240度)相機(jī)安裝位置中的每一個(gè)處定位，其中每對捕獲環(huán)境的至少120度或更多，但是在許多情況下，每個(gè)相機(jī)對捕獲環(huán)境的180度或大約180度。

第二904和第三906相機(jī)對與第一相機(jī)對902相同或相似，但是相對于前0度位置位于120和240度相機(jī)安裝位置。第二相機(jī)對904包括左相機(jī)905和左鏡頭組件922以及右相機(jī)907和右相機(jī)鏡頭組件922'。第三相機(jī)對906包括左相機(jī)909和左鏡頭組件924以及右相機(jī)911和右相機(jī)鏡頭組件924'。

在圖9中，D表示第一立體相機(jī)對901、903的軸間距離。在圖9中，示例D為117mm，這與普通人的左眼和右眼的瞳孔之間的距離相同或相似。圖9中的虛線950繪出了從全景陣列的中心點(diǎn)到右相機(jī)鏡頭920'的入射光瞳的距離(aka節(jié)點(diǎn)偏移)。在對應(yīng)于圖9例子的一個(gè)實(shí)施例中，由附圖標(biāo)記950指示的距離是315mm，但其它距離是可能的。

在一個(gè)特定實(shí)施例中，相機(jī)裝備900的覆蓋區(qū)(footprint)相對較小，其水平面積為640mm²或更小。這種小尺寸允許相機(jī)裝備被放在觀眾中，例如在粉絲或觀眾通常可以位于或定位的就座位置處。因此，在一些實(shí)施例中，相機(jī)裝備被放在觀眾區(qū)域中，從而允許觀看者具有作為期望這種效果的觀眾中的一員的感覺。在一些實(shí)施例中，覆蓋區(qū)對應(yīng)于在一些實(shí)施例中包括中心支撐桿的支撐結(jié)構(gòu)安裝到其或支撐塔定位到其的基座的尺寸。應(yīng)當(dāng)理解，在一些實(shí)施例中，相機(jī)裝備可以圍繞對應(yīng)于3對相機(jī)之間的中心點(diǎn)的基座的中心點(diǎn)旋轉(zhuǎn)。在其它實(shí)施例中，相機(jī)是固定的并且不圍繞相機(jī)陣列的中心旋轉(zhuǎn)。

相機(jī)裝備能夠捕獲相對接近以及遙遠(yuǎn)的物體。在一個(gè)特定實(shí)施例中，相機(jī)陣列的最小成像距離為649mm，但其它距離也是可能的并且這個(gè)距離不是關(guān)鍵的。

從相機(jī)組件的中心到第一和第三相機(jī)部分的視圖的交叉點(diǎn)951的距離表示可被用于校準(zhǔn)由第一和第二相機(jī)對捕獲的圖像的示例性校準(zhǔn)距離。應(yīng)當(dāng)指出，目標(biāo)915可被放在距位于或稍微超過最大失真的區(qū)域的相機(jī)對的已知距離處。校準(zhǔn)目標(biāo)包括已知的固定校準(zhǔn)模式。校準(zhǔn)目標(biāo)可以是并且被用于校準(zhǔn)由相機(jī)對的相機(jī)捕獲的圖像的大小。這種校準(zhǔn)是可能的，因?yàn)?，相對于捕獲校準(zhǔn)目標(biāo)915的圖像的相機(jī)，校準(zhǔn)目標(biāo)的尺寸和位置是已知的。

圖10是圖9中示出的相機(jī)陣列的更詳細(xì)的圖1000。雖然相機(jī)裝備再次被示為具有6個(gè)相機(jī)，但是在一些實(shí)施例中，相機(jī)裝備被填充有兩個(gè)相機(jī)，例如相機(jī)對902。如圖所示，在每個(gè)相機(jī)對安裝位置之間存在120度的間隔?？紤]例如如果每個(gè)相機(jī)對之間的中心對應(yīng)于相機(jī)安裝位置的方向，那么在這種情況下，第一相機(jī)安裝位置對應(yīng)于0度、第二相機(jī)安裝位置對應(yīng)于120度并且第三相機(jī)安裝位置對應(yīng)于240度。因此，每個(gè)相機(jī)安裝位置隔開120度。如果延伸穿過每個(gè)相機(jī)對902、904、906的中心的中心線被延伸并且線之間的角度被測量，則可以看到這一點(diǎn)。

在圖10的例子中，相機(jī)對902、904、906可以(在一些實(shí)施例中確實(shí))圍繞相機(jī)裝備的中心點(diǎn)旋轉(zhuǎn)，從而允許在不同時(shí)間捕獲不同視圖，而不必更改相機(jī)裝備基座的位置。即，相機(jī)可以繞裝備的中心支撐件旋轉(zhuǎn)并被允許在不同時(shí)間捕獲不同場景，從而允許在其僅填充有兩個(gè)相機(jī)的同時(shí)利用圖10中所示的裝備進(jìn)行360度場景捕獲。考慮到立體相機(jī)的成本，這種配置從成本的角度來看是特別期望的，并且非常適于許多應(yīng)用，可能期望示出從相同視點(diǎn)但在與包括體育事件或其它事件期間的主要?jiǎng)幼鞯那皥鼍翱梢园l(fā)生的時(shí)間不同的時(shí)間處捕獲的背景?？紤]例如在事件期間對象可以被放在相機(jī)后面，那么在主事件期間不顯示其將是優(yōu)選的。在這種情況下，后圖像可以(有時(shí)候)在主事件之前被捕獲并且連同主事件的實(shí)時(shí)捕獲的圖像一起可用，以提供圖像數(shù)據(jù)的360度集合。

圖11示出了根據(jù)一個(gè)示例性實(shí)施例實(shí)現(xiàn)的示例性相機(jī)裝備1100的詳細(xì)圖示。如從圖11可以理解的，相機(jī)機(jī)架1100包括3對相機(jī)1102、1104和1106，在一些但不是全部實(shí)施例中，它們是立體相機(jī)。在一些實(shí)施例中，每個(gè)相機(jī)對包括兩個(gè)相機(jī)。相機(jī)對1102、1104和1106與上面關(guān)于圖9-10討論的相機(jī)對902、904、906相同或相似。在一些實(shí)施例中，相機(jī)對1102、1104和1106安裝在相機(jī)裝備1100的支撐結(jié)構(gòu)1120上。在一些實(shí)施例中，三對相機(jī)(六個(gè)相機(jī))1102、1104和1106經(jīng)由相應(yīng)的相機(jī)對安裝板安裝在支撐結(jié)構(gòu)1120上。支撐結(jié)構(gòu)1120包括用于安裝立體相機(jī)對的三個(gè)安裝位置，其中每個(gè)安裝位置對應(yīng)于不同的120度觀看區(qū)域。在圖11的所示實(shí)施例中，第一對立體相機(jī)1102安裝在三個(gè)安裝位置中的第一個(gè)，例如正面位置，并且對應(yīng)于120度正面觀看區(qū)域。第二對立體相機(jī)1104安裝在三個(gè)安裝位置中的第二個(gè)，例如相對于正面位置順時(shí)針旋轉(zhuǎn)120度的背景位置，并且對應(yīng)于不同的120度觀看區(qū)域。第三對立體相機(jī)1106安裝在三個(gè)安裝位置中的第三個(gè)，例如相對于正面位置順時(shí)針旋轉(zhuǎn)240度的背景位置，并且對應(yīng)于另一個(gè)120度的觀看區(qū)域。雖然相機(jī)裝備1100上的三個(gè)相機(jī)安裝位置相對于彼此偏移120度，但是在一些實(shí)施例中，安裝在相機(jī)機(jī)架上的每個(gè)相機(jī)具有大約180度的視野。在一些實(shí)施例中，這種擴(kuò)大的視野是通過在相機(jī)設(shè)備上使用魚眼鏡頭來實(shí)現(xiàn)的。

雖然不是所有的安裝板都在所示的附圖中可見，但是示出了用于安裝相機(jī)對1102的相機(jī)安裝板1110。用于相機(jī)的安裝板具有用于螺釘?shù)莫M槽，以穿過支撐基座1120中的狹槽并從底部進(jìn)入安裝板中的螺紋孔中。這允許通過松開可從底部接近的螺釘然后擰緊螺釘來調(diào)節(jié)用于該對的安裝板，以將相機(jī)對安裝板固定到支撐結(jié)構(gòu)。各個(gè)相機(jī)位置也可以被調(diào)整，然后在調(diào)整后被鎖定。在一些實(shí)施例中，各個(gè)相機(jī)可以從頂部被調(diào)整/固定到安裝板，并且相機(jī)安裝板可以從底部被調(diào)整/固定。

在各種實(shí)施例中，相機(jī)裝備1100包括基座1122，支撐結(jié)構(gòu)1120可旋轉(zhuǎn)地安裝到基座1122。因此，在各種實(shí)施例中，支撐結(jié)構(gòu)1120上的相機(jī)組件可以圍繞穿過基座中心的軸旋轉(zhuǎn)360度。在一些實(shí)施例中，基座1122可以是三腳架或另一安裝設(shè)備的一部分。支撐結(jié)構(gòu)可以由塑料、金屬或者諸如石墨或玻璃纖維的復(fù)合材料制成。在一些實(shí)施例中，相機(jī)對可以圍繞有時(shí)被稱為中心節(jié)點(diǎn)的中心點(diǎn)旋轉(zhuǎn)。

除了上述元件之外，在一些實(shí)施例中，相機(jī)裝備1100還包括兩個(gè)模擬耳狀物1130、1132。這些模擬耳狀物1130、1132模仿人耳并且在一些實(shí)施例中由以人耳形狀模制的硅樹脂制成。模擬耳狀物1130、1132包括麥克風(fēng)，其中兩個(gè)耳狀物彼此分開等于或近似等于普通人的人耳之間間隔的距離。安裝在模擬耳狀物1130、1132中的麥克風(fēng)安裝在前置相機(jī)對1102上，但是可以作為替代地安裝在支撐結(jié)構(gòu)(例如平臺(tái)1120)上。以與人耳垂直于人頭上的眼睛的前表面定位的類似方式，模擬耳狀物1130、1132垂直于相機(jī)對1102的前表面定位。模擬耳狀物1130、1132側(cè)面的孔充當(dāng)模擬耳狀物側(cè)面的音頻入口孔，其中模擬耳狀物和孔組合操作，以將音頻指向安裝在每個(gè)模擬耳狀物中的麥克風(fēng)，非常像人耳將音頻聲音指向包括在人耳中的鼓膜。左和右模擬耳狀物1130、1132中的麥克風(fēng)提供立體聲捕獲，類似于處于相機(jī)裝備1100位置的人如果位于相機(jī)裝備的位置時(shí)將經(jīng)由人的左耳和右耳感知到的立體聲音。

雖然圖11示出了具有三個(gè)立體相機(jī)對的示例性相機(jī)裝備1100的一種配置，但是應(yīng)當(dāng)理解，其它變型是可能的并且在范圍內(nèi)。例如，在一個(gè)實(shí)現(xiàn)中，相機(jī)裝備1100包括單個(gè)相機(jī)對，例如，可以圍繞相機(jī)裝備的中心點(diǎn)旋轉(zhuǎn)的一對立體相機(jī)，從而允許在不同時(shí)間捕獲360度場景的不同部分。因此，單個(gè)相機(jī)對可以安裝在支撐結(jié)構(gòu)上并且圍繞裝備的中心支撐旋轉(zhuǎn)并且被允許在不同時(shí)間捕獲不同場景，從而允許360度場景捕獲。

圖12示出了示例性360度場景環(huán)境1200，例如360度場景區(qū)域，其可被分割為對應(yīng)于捕獲360度場景的不同部分的相應(yīng)相機(jī)的不同相機(jī)位置相的不同觀看區(qū)域/部分。在所示的例子中，360度場景區(qū)域1200被劃分成對應(yīng)于由三個(gè)不同相機(jī)/相機(jī)對(例如，諸如安裝在相機(jī)裝備1100上并如同9、10和11中所示定位的相機(jī))捕獲的三個(gè)180度區(qū)的三個(gè)部分。360度場景1200上的0度標(biāo)記可以被認(rèn)為是場景的中心。在不使用魚眼鏡頭的一些實(shí)施例中，每個(gè)相機(jī)的視野大約為120度，因此允許相機(jī)捕獲大約120度的場景區(qū)域。在這樣的實(shí)施例中，不同的120度場景部分的邊界在圖中利用將360度場景分成每個(gè)120度的3個(gè)部分的實(shí)心黑線示出。在相機(jī)配有魚眼鏡頭的實(shí)施例中，每個(gè)相機(jī)的視野擴(kuò)展到大約180度(±5度)，從而允許相機(jī)捕獲大約180度(±5度)的場景區(qū)域。

覆蓋0度標(biāo)記的左側(cè)和右側(cè)90度的第一個(gè)區(qū)(對應(yīng)于從270到90的180度前場景區(qū)域的區(qū)1)可以由第一相機(jī)捕獲，第一相機(jī)例如被定位成捕獲前場景區(qū)域、裝配有允許相機(jī)設(shè)備具有大約180度視野的魚眼鏡頭的相機(jī)對1102。第二個(gè)區(qū)(區(qū)2)對應(yīng)于從30到210的180度后右場景區(qū)域，其可以由第二相機(jī)捕獲，第二相機(jī)例如被定位成捕獲右后方場景區(qū)域、配備有魚眼鏡頭的相機(jī)對1104，第三個(gè)區(qū)(區(qū)3)對應(yīng)于從150到330的180度左后場景區(qū)域，其可以由第三相機(jī)捕獲，第三相機(jī)例如被定位成捕獲左后場景區(qū)域、配備有魚眼鏡頭的相機(jī)對1106。圖例1250包括識(shí)別用來指示不同區(qū)邊界的不同線條圖案的信息，例如，標(biāo)記在不同區(qū)下面被覆蓋的場景區(qū)域的開始和結(jié)束。從圖中可以理解，在由不同相機(jī)覆蓋的三個(gè)不同區(qū)下面的場景區(qū)域之間存在實(shí)質(zhì)性的重疊。在圖12所示的例子中，區(qū)1和區(qū)2之間的重疊是60度，即，30到90下面的場景區(qū)域，區(qū)2和區(qū)3之間的重疊也是60度，即，150到210下面的場景區(qū)域，區(qū)3和區(qū)1之間的重疊是60度，即，270到330下面的場景區(qū)域。雖然在所示的例子中重疊是60度，但是應(yīng)當(dāng)理解，不同的變化重疊是可能的。在一些實(shí)施例中，兩個(gè)不同的場景覆蓋區(qū)域之間的重疊在30度到60度之間。

在一些實(shí)施例中，內(nèi)容提供者向消費(fèi)者回放設(shè)備發(fā)布(例如多播)包括對應(yīng)于由不同相機(jī)捕獲的360度場景區(qū)域的不同部分的內(nèi)容的內(nèi)容流。在一些實(shí)施例中，對應(yīng)于已經(jīng)被不同地編碼的不同場景區(qū)域的多個(gè)版本的內(nèi)容由內(nèi)容提供商多播，并且支持和/或更喜歡特定版本的回放設(shè)備可以選擇適當(dāng)?shù)膬?nèi)容流來解碼和回放。根據(jù)一些實(shí)施例的一方面，回放設(shè)備跟蹤指示用戶的當(dāng)前視野的當(dāng)前頭部位置，并且決定要選擇包括對應(yīng)于360度場景區(qū)域的一部分的內(nèi)容的可用內(nèi)容流中的哪一個(gè)或多個(gè)可用內(nèi)容流來接收以用于回放。例如，如果用戶頭部位置指示用戶正在看/直視前方，則回放設(shè)備解碼傳送360度場景的180度前部的流，但是當(dāng)檢測到用戶的頭部位置和觀看角度已經(jīng)改變時(shí)，回放設(shè)備解碼360度場景區(qū)域的對應(yīng)于適合用戶的當(dāng)前觀看角度(例如，右后、左后、后)的場景部分的流。在一些實(shí)施例中，包括對應(yīng)于360度場景區(qū)域的第一部分(例如，前180度)的內(nèi)容的流包括由用來捕獲360度場景的前部的前置相機(jī)對的左和右相機(jī)捕獲的場景區(qū)域。

圖13示出了表示圖12的示例性360度場景區(qū)域的不同部分的例子，其可以由例如示例性相機(jī)裝備1100上可被定位成覆蓋示例性360度場景區(qū)域的觀看區(qū)域/部分的不同相機(jī)捕獲。圖13的例子包括示出示例性360度場景區(qū)域的不同部分的圖1300、1320和1350。然而，如從圖中可以理解的，在一些實(shí)施例中，由不同相機(jī)捕獲的場景的不同部分中每一個(gè)的至少部分重疊。不同的陰影圖案在圖1300、1320、1350中每一個(gè)中被使用，以示出對應(yīng)于不同相機(jī)位置的場景區(qū)域的部分。在一些實(shí)施例中，在圖1300、1320、1350中示出的不同場景部分經(jīng)由提供對應(yīng)于不同觀看方向的內(nèi)容的不同內(nèi)容流被傳送。雖然在圖13的例子中場景部分被示為覆蓋大約180度的觀看區(qū)域，但是在一些實(shí)施例中場景部分可以覆蓋120度到180度之間。

圖1300示出了360度場景1200的第一示例性場景部分1305。第一示例性場景部分1305對應(yīng)于正面觀看方向并且覆蓋360度場景環(huán)境中的180度或大約180度的觀看區(qū)域。第一場景部分1305可以由例如位于0度相機(jī)位置的第一相機(jī)對902或1102捕獲。第一示例性場景部分1305下面的區(qū)域在圖1300中利用對角線圖案示出。第一示例性場景部分1305可以由傳送對應(yīng)于第一(例如，前方)觀看方向的內(nèi)容幀的第一流傳送。

圖1320示出了360度場景1200的第二示例性場景部分1307(其包括在圖1320中示出的部分1307'和1307”)。第二示例性場景部分1307對應(yīng)于右后方觀看方向并覆蓋360度場景環(huán)境中從30到210延伸的180度或大約180度觀看區(qū)域。第二場景部分1307可以由位于如圖9-10中所示120度相機(jī)位置的例如第二相機(jī)對904捕獲。在第二示例性場景部分1307下面的區(qū)域在圖1300中利用水平線條圖案示出?？紤]圖1300和1320。注意在第一和第二場景部分1305和1307之間的場景區(qū)域的重疊部分1308。重疊部分1308示出了對場景區(qū)域1200的第一和第二場景部分1305、1307公共的所捕獲場景區(qū)域的一部分。在一些實(shí)施例中，第一和第二場景部分1305、1307之間的重疊在30度到60度之間，具有加減2-3度的變化。在圖13所示的例子中，重疊部分1308是60度，例如，從30到90的區(qū)域。因此，在一些實(shí)施例中，對應(yīng)于由不同內(nèi)容流提供和/或由不同相機(jī)捕獲的不同觀看方向的場景區(qū)域的至少一部分重疊。在一些其它實(shí)施例中，在對應(yīng)于由不同相機(jī)捕獲的不同觀看方向的場景區(qū)域之間沒有重疊。在一些實(shí)施例中，第二示例性場景部分1307可以由傳送對應(yīng)于第二觀看方向的內(nèi)容幀的第二流傳送。

圖1350示出了360度場景1200的第三示例性場景部分1309(包括圖1350中示出的部分1309'和1309”)。第三示例性場景部分1309對應(yīng)于左后觀看方向并且覆蓋360度場景環(huán)境中從150到330延伸的180度或大約180度觀看區(qū)域。第三場景部分1309可以由位于如圖9-10所示240度相機(jī)位置的例如第三相機(jī)對906捕獲。在第三示例性場景部分1309下面的區(qū)域在圖1300中利用垂直線圖案示出?？紤]圖1320和1350。注意重疊部分1310、1310'，它們組合構(gòu)成第二和第三場景部分1307和1309之間的重疊區(qū)域部分。在重疊部分1310、1310'下面共同的區(qū)域示出了對場景區(qū)域1200的第二和第三場景部分1307、1309公共的所捕獲的場景區(qū)域的部分。在一些實(shí)施例中，第二和第三場景部分1307、1309之間的重疊在30度到60度之間，具有加減2-3度的變化。在圖13所示的例子中，重疊部分1310、1310'一起包括大約60度的覆蓋，例如，從150到210的區(qū)域?，F(xiàn)在進(jìn)一步考慮圖1300和1350。注意重疊部分1312，它指示第一和第三場景部分1305和1309之間的重疊區(qū)域部分。在一些實(shí)施例中，第三示例性場景部分1309可以由傳送對應(yīng)于第三觀看方向的內(nèi)容幀的第三流傳送。

雖然作為圖13例子的一部分示出的圖示出了一個(gè)例子，以便于理解本發(fā)明的一些方面，但是應(yīng)當(dāng)理解，其它變型是可能的并且在本公開內(nèi)容的范圍內(nèi)。

包括圖14A和14B的組合的圖14是示出根據(jù)本發(fā)明示例性實(shí)施例的操作回放系統(tǒng)的示例性方法的步驟的流程圖1400。該系統(tǒng)可以是圖8中所示的回放系統(tǒng)800或者是本申請中所示的任何其它附圖的回放系統(tǒng)。

示例性方法開始于步驟1402，其中回放設(shè)備(例如圖19的回放設(shè)備1900或任何其它附圖的回放設(shè)備)被開啟并初始化。為了討論的目的，考慮回放系統(tǒng)包括耦合到頭戴式顯示設(shè)備1905的計(jì)算機(jī)系統(tǒng)1900'，頭戴式顯示設(shè)備1905包括在其上呈現(xiàn)圖像內(nèi)容的顯示器，例如，在立體內(nèi)容的情況下向用戶的左眼和右眼呈現(xiàn)不同的圖像。雖然計(jì)算機(jī)系統(tǒng)1900'被示為在包括顯示器的頭戴式設(shè)備的外部，但是計(jì)算機(jī)系統(tǒng)1900'可以結(jié)合到頭戴式顯示器中，而不是在其外部。

操作從開始步驟1402前進(jìn)到步驟1404。在步驟1404中，回放系統(tǒng)1900接收關(guān)于多個(gè)內(nèi)容流和/或初始化數(shù)據(jù)的信息，例如作為節(jié)目指南的一部分。所接收的信息可以是圖18中所示的類型并且包括指示哪些內(nèi)容流是或者將可用的信息，連同可被用來接收流的信息，諸如多播組標(biāo)識(shí)符或可被用來請求內(nèi)容或調(diào)諧到內(nèi)容的其它標(biāo)識(shí)符。例如，與內(nèi)容流關(guān)聯(lián)的多播地址可以包括在所接收的信息或者當(dāng)內(nèi)容經(jīng)由交換數(shù)字視頻提供時(shí)可被用來請求內(nèi)容的節(jié)目標(biāo)識(shí)符中。在廣播內(nèi)容的情況下，所接收的信息可以(并且有時(shí)候確實(shí))包括指示回放設(shè)備為了接收特定內(nèi)容流而應(yīng)當(dāng)調(diào)諧到的信道和/或頻率的調(diào)諧信息。

在步驟1404中接收的信息可以包括用于一個(gè)或多個(gè)節(jié)目的信息。對于給定節(jié)目，例如體育事件、音樂會(huì)等，不同的流可用于在內(nèi)容所對應(yīng)的環(huán)境處提供對應(yīng)于相對于相機(jī)位置處于不同觀看方向的內(nèi)容。相機(jī)位置對應(yīng)于回放期間的觀看位置。因此，在回放期間用戶的觀看角度與在可被接收的內(nèi)容中表示的環(huán)境的部分相關(guān)。環(huán)境的不同部分可以在不同的流中被傳送。對于環(huán)境的每個(gè)部分，例如360度環(huán)境的部分，對應(yīng)于不同數(shù)據(jù)速率的一個(gè)或多個(gè)流可以在所提供的信息中列出。環(huán)境的頂部和底部也可以被提供。在一些實(shí)施例中，各個(gè)流的內(nèi)容是立體內(nèi)容，其中不同的信息為左眼和右眼圖像提供，從而允許向用戶顯示不同的圖像，以提供期望的3D效果。在一些實(shí)施例中，球形環(huán)境的頂部和底部作為單色圖像被提供，其中左眼和右眼視圖是相同的，因此僅需要提供一個(gè)圖像而不是兩個(gè)圖像。

給定可用于流內(nèi)容的有限帶寬，關(guān)于節(jié)目、環(huán)境的部分以及流的數(shù)據(jù)速率的信息可以(并且在一些實(shí)施例中確實(shí))被回放系統(tǒng)用來優(yōu)先化哪個(gè)流要被接收。在給定時(shí)間接收哪個(gè)流的優(yōu)先化和選擇可以(并且在一些實(shí)施例中確實(shí))基于用戶的頭部位置和/或用戶當(dāng)前或過去的頭部旋轉(zhuǎn)方向。

在立體內(nèi)容的流化的情況下，給定有限的帶寬和/或數(shù)據(jù)約束，對要接收的適當(dāng)流的選擇對于令人滿意的和高質(zhì)量的觀看體驗(yàn)是重要的。在步驟1404中接收的可以與圖18所示的信息相同或相似的信息(例如流信息1405)被存儲(chǔ)在存儲(chǔ)器中并被用于要在特定時(shí)間點(diǎn)被接收的一個(gè)或多個(gè)流的選擇，并被用于啟動(dòng)被選流的交付，例如通過加入對應(yīng)于被選流的多播組、調(diào)諧到提供被選流的信道，和/或通過向網(wǎng)絡(luò)設(shè)備指示要向回放設(shè)備提供的期望的流經(jīng)其被傳送的交換數(shù)字視頻信道進(jìn)行所請求的流的交付。

操作從步驟1404前進(jìn)到步驟1406。在步驟1406中，在初始化期間，檢測用戶當(dāng)前頭部位置。用戶知道在初始化階段期間檢測到的頭部位置將被假設(shè)為向前看位置，因此在步驟1406期間通常將他的頭部維持在舒適水平面向前位置。

操作從步驟1406前進(jìn)到步驟1408。在步驟1408中，在步驟1406中檢測到的用戶頭部位置1407被視為向前(0度)環(huán)境觀看位置，并且當(dāng)用戶他/她的頭部處于這個(gè)位置時(shí)所顯示的視圖位置將對應(yīng)于0度環(huán)境位置，即，由用來捕獲然后被編碼并包括在對應(yīng)于環(huán)境的特定部分的內(nèi)容流中的圖像的相機(jī)捕獲的前向位置。在體育事件的情況下，這個(gè)位置通常將對應(yīng)于環(huán)境中的主要?jiǎng)幼鲄^(qū)域，例如，在一個(gè)或多個(gè)流對應(yīng)于音樂會(huì)的情況下是舞臺(tái)，在流對應(yīng)于體育事件的情況下是場地的中心。因此，在步驟1408中，用戶的觀看位置將被設(shè)置為被解釋為零度觀看位置，例如場景區(qū)域的前向/前方部分。應(yīng)當(dāng)指出，360度視圖的部分對應(yīng)于水平觀看位置，如果用戶轉(zhuǎn)動(dòng)他/她的頭部，則不同部分是可見的。通過向上或向下移動(dòng)用戶頭部，用戶可以單獨(dú)地或與一個(gè)或多個(gè)其它部分組合地看到天空部分和/或地面部分。由于在假設(shè)水平頭部位置的情況下，主場景區(qū)域沿著360度旋轉(zhuǎn)被劃分成多個(gè)部分，因此對應(yīng)于這些部分的流通常被分配更多帶寬，而頂部/底部場景部分可以利用靜態(tài)圖像或不頻繁變化的圖像來呈現(xiàn)。

操作從步驟1408前進(jìn)到步驟1410，其中環(huán)境深度映射被接收。深度映射定義內(nèi)容流的圖像將被映射到其上的3D環(huán)境的表面。在沒有接收深度映射的情況下，球體是環(huán)境的缺省假設(shè)形狀，其中球體的內(nèi)表面是在顯示之前渲染期間環(huán)境的圖像要映射到其上的表面。通過提供并使用深度映射，實(shí)現(xiàn)了更真實(shí)的體驗(yàn)，因?yàn)閮?nèi)容流中的圖像將被映射到更真實(shí)地再現(xiàn)要被模擬的環(huán)境的形狀和表面的表面。因此，在步驟1410中接收的深度映射對應(yīng)于由用戶選擇要接收的內(nèi)容也對應(yīng)的環(huán)境。在步驟1410中接收的環(huán)境映射，或者在沒有接收到映射的情況下的缺省映射，被存儲(chǔ)為環(huán)境映射1411，用于隨后在渲染圖像時(shí)使用。

操作從步驟1410前進(jìn)到步驟1412。在步驟1412中，接收要被用于將2D圖像內(nèi)容映射到3D表面的至少一部分上的一個(gè)或多個(gè)UV映射。在一個(gè)實(shí)施例中，為可以由不同的個(gè)別圖像表示的環(huán)境的每個(gè)部分接收至少一個(gè)UV映射。在一些這樣的實(shí)施例中，當(dāng)由內(nèi)容流傳送的圖像由不同的相機(jī)(例如左眼和右眼相機(jī))捕獲時(shí)，不同的UV映射可以并且有時(shí)候確實(shí)針對不同的相機(jī)被提供。因此，雖然在圖14A的例子中在步驟1414中接收對應(yīng)于環(huán)境的諸如前向部分的第一部分的第一UV映射，但是在步驟1416中接收對應(yīng)于環(huán)境的諸如左后部分的第二部分的第二UV映射，在步驟1417中接收對應(yīng)于環(huán)境的諸如右后部分的第三部分的第三UV映射。對應(yīng)于環(huán)境的頂部和底部的UV映射分別在步驟1418和1420中接收。如果這些部分具有相同的尺寸，則相同的UV映射可被用于多個(gè)部分。但是，在一些實(shí)施例中，不同的UV映射用于由不同相機(jī)捕獲的圖像。

因而，在一個(gè)這樣的實(shí)施例中，對于為其提供立體圖像數(shù)據(jù)的環(huán)境的每個(gè)部分，例如左眼和右眼圖像，可以為左眼和右眼圖像中的每一個(gè)接收并存儲(chǔ)單獨(dú)的UV映射，因此UV映射可以考慮被用來捕獲特定的左眼或右眼圖像內(nèi)容的相機(jī)組件的特定特性。

每個(gè)UV映射提供被用來將該映射對應(yīng)的內(nèi)容流的二維圖像映射到3D環(huán)境的表面的對應(yīng)部分的映射。以這種方式，由相機(jī)捕獲的圖像可以作為2D圖像被發(fā)送，然后作為紋理映射到由3D模型定義的表面或表面的一部分上。

隨著3D模型信息和UV映射已經(jīng)被接收，在用于場景部分的其它內(nèi)容的情況下可被用作缺省值的圖像可以被接收并存儲(chǔ)。在步驟1422中，對應(yīng)于第一、第二、第三和第五場景部分中一個(gè)或多個(gè)的內(nèi)容(例如圖像)在步驟1422中被接收并存儲(chǔ)。在一些實(shí)施例中，對應(yīng)于環(huán)境的一部分(例如，背景部分或天空部分)的多個(gè)替代圖像在步驟1422中被接收并存儲(chǔ)?？梢越邮湛刂菩畔ⅲ摽刂菩畔⒅甘驹谑录陂g給定時(shí)間點(diǎn)對于為其存儲(chǔ)了多個(gè)缺省圖像的一部分要使用哪個(gè)缺省圖像。例如，在一些實(shí)施例中，人群坐著的背景圖像和人群站立的背景區(qū)域圖像被存儲(chǔ)為兩個(gè)缺省圖像?？刂菩畔⒈挥脕碇甘灸膫€(gè)背景圖像被用于事件的給定部分。例如，在對應(yīng)于戲劇或音樂會(huì)的站立節(jié)奏的部分期間，如果用戶轉(zhuǎn)向背景方向，則人群站立圖像將被信令表示為要顯示的背景圖像。但是，在當(dāng)人群通常坐著的事件的主要部分期間，如果用戶朝背景轉(zhuǎn)動(dòng)他/她的頭部，則控制信息將被信令應(yīng)當(dāng)使用人群坐著的缺省圖像?？刂菩畔⒖梢耘c內(nèi)容流分開信令，或者可以與用于環(huán)境的一部分的內(nèi)容流一起被包括，該部分不同于一個(gè)或多個(gè)缺省圖像相關(guān)的部分。例如，對應(yīng)于前向方向的內(nèi)容流可以提供對應(yīng)于前向方向的圖像，例如左眼和右眼圖像，以及指示哪些缺省圖像應(yīng)當(dāng)在事件期間的各個(gè)時(shí)間用于天空、地面、右背景部分和左背景部分的控制信息。作為替代地，回放設(shè)備可以基于在特定時(shí)間點(diǎn)與前景圖像的一個(gè)或多個(gè)特征的相似度的亮度來決定使用哪個(gè)背景或天空部分。例如，當(dāng)前景圖像暗時(shí)，這可以被檢測到并且多云天空圖像被自動(dòng)檢測到，而當(dāng)前景圖像較亮?xí)r，這也可以被檢測到并且從被接收和存儲(chǔ)的可用的缺省天空圖像中自動(dòng)選擇較少云、較亮的天空圖像。

在步驟1422中，對應(yīng)于不同環(huán)境部分的缺省圖像通常以編碼形式被接收和存儲(chǔ)。在步驟1424中，所接收的圖像中一個(gè)或多個(gè)被解碼，然后在步驟1426中解碼的內(nèi)容被存儲(chǔ)在一個(gè)或多個(gè)圖像緩沖器中。以這種方式，缺省圖像可以被解碼并以解碼形式被存儲(chǔ)，因此在回放期間當(dāng)它們需要渲染時(shí)不需要被再次解碼。由于缺省圖像可以被多次使用，因此解碼和存儲(chǔ)可以減少解碼要求，否則可能在渲染時(shí)或在渲染之前需要解碼圖像。假定處理資源可能不足，與其中圖像在緊接著顯示之前被解碼、然后一旦解碼圖像不再被需要就將其從例如存儲(chǔ)器中刪除的實(shí)施例相比，缺省圖像的預(yù)解碼和以解碼形式存儲(chǔ)提高了處理器資源的使用。

雖然相同的缺省解碼圖像可以被多次使用，例如對于天空等，但是它可以在與其它接收的圖像內(nèi)容組合之前被處理，使得其更緊密匹配它與其組合的環(huán)境的其它圖像，以生成環(huán)境的被觀看部分。例如，在一些實(shí)施例中，解碼的缺省圖像基于它們與其組合的圖像部分接受亮度調(diào)整，或者在缺省圖像將與對應(yīng)于環(huán)境的另一部分的圖像組合的時(shí)候至少沿著邊緣被模糊。因此，在至少一些實(shí)施例中，在使用期間，圖像發(fā)光和/或顏色特性被過濾或修改，以使它們更類似于它們與其組合的地面圖像的相同特性。

隨著初始化數(shù)據(jù)和缺省圖像已被存儲(chǔ)用于將來使用，操作前進(jìn)到步驟1428，其中要被接收的一個(gè)或多個(gè)流的集合(例如當(dāng)前選擇的流的集合)被初始化。每個(gè)流可以提供立體或單色圖像數(shù)據(jù)?？蛇x地，對應(yīng)的音頻還可以在所選的流中被接收，但更常見地是在一個(gè)或多個(gè)單獨(dú)的音頻流中被接收。描述將集中于視頻流的接收，但是應(yīng)當(dāng)理解，音頻流通常也將由回放設(shè)備接收和解碼，并且音頻可以包括立體聲音頻。

在示例性步驟1428中，當(dāng)前被選的流的集合被設(shè)置為等于傳送對應(yīng)于環(huán)境的前向/前方部分的內(nèi)容的第一流。這是因?yàn)樵趩?dòng)時(shí)初始位置被設(shè)置為向前觀看位置并且因此，作為初始化的結(jié)果，用戶將在開始時(shí)期望看到前方場景區(qū)域。

操作從步驟1428前進(jìn)到步驟1429。在步驟1429中，資源分配信息被接收。資源分配信息可以是帶寬和/或數(shù)據(jù)速率分配控制信息的形式。在一些實(shí)施例中，在步驟1429中接收的信息包括關(guān)于多少帶寬或數(shù)據(jù)通信容量應(yīng)當(dāng)分配給對應(yīng)于環(huán)境的不同部分的一個(gè)或多個(gè)通信流的信息。信息可以就帶寬或數(shù)據(jù)速率來表示，但是應(yīng)當(dāng)理解，數(shù)據(jù)速率通常與帶寬一致。例如，考慮用來經(jīng)帶寬通信的數(shù)據(jù)編碼的類型，可以被接收的數(shù)據(jù)量可以根據(jù)帶寬量而變化。

在步驟1429中接收的信息可以指示分配給對應(yīng)于環(huán)境特定部分的圖像接收的可用通信容量的相對最大量。例如，其可以指示至多80％的帶寬或可支持的數(shù)據(jù)速率應(yīng)當(dāng)分配給主數(shù)據(jù)流，例如前向數(shù)據(jù)流，而帶寬的最后20％被分配給一個(gè)或多個(gè)其它流。資源向不同方向的分配可以根據(jù)(并且在一些實(shí)施例中確實(shí)根據(jù))環(huán)境的對應(yīng)部分中的圖像內(nèi)容和/或檢測到的觀眾反饋而變化。例如，在一些實(shí)施例中，在內(nèi)容對應(yīng)的事件期間發(fā)生的中場休息期間，在步驟1429中接收的信息可以指示增加量的資源應(yīng)當(dāng)分配給對應(yīng)于環(huán)境的一個(gè)或兩個(gè)后部的接收圖像。這是因?yàn)樵谥袌鲂菹⑵陂g，用戶更有可能轉(zhuǎn)動(dòng)他們的頭部并開始遠(yuǎn)離主場地或舞臺(tái)地看去并且可能期望為后部提供某個(gè)視頻，使得看起來在中場休息期間在觀眾中有動(dòng)作進(jìn)行。例如，在棒球比賽時(shí)購買熱狗或改變座位的人的圖像可以(并且在一些實(shí)施例中確實(shí))被發(fā)送，使得看起來背景在中場休息期間是活動(dòng)的，而在其它時(shí)間是靜態(tài)的。類似地，背景中廣告牌的圖像可以在中場休息期間改變，以用于廣告和/或娛樂目的。因此，可能期望觸發(fā)回放設(shè)備，以在中場休息期間比在事件的其它部分期間分配更多的資源來接收背景部分。在步驟1429中接收的控制信息在事件的主要部分期間可以，(并且有時(shí)候確實(shí))與在事件的中場休息或其它離散部分期間不同。在至少一些實(shí)施例中，在主要事件期間，在步驟1429中接收的控制信息使得與后部相比更多的帶寬和/或數(shù)據(jù)速率被分配給環(huán)境的主要的(例如前向)區(qū)域。但是，在中場休息或其它離散部分期間，可以迫使分配給一個(gè)或兩個(gè)后部的數(shù)據(jù)速率增加。

分配給給定方向的資源之間的分割可以基于在環(huán)境的部分中呈現(xiàn)的內(nèi)容、觀眾注意力的測量和/或正在進(jìn)行的事件的部分，例如主要部分、中場休息部分、演出后的部分。在一些實(shí)施例中，在步驟1429中提供的控制信息指定要分配用于對應(yīng)于環(huán)境的一個(gè)或多個(gè)部分的圖像接收的帶寬或數(shù)據(jù)速率的最大和/或最小量，例如當(dāng)事件正在進(jìn)行時(shí)。在一些實(shí)施例中，該信息指示在事件期間沒有帶寬或數(shù)據(jù)應(yīng)當(dāng)被分配用于接收地面到天空圖像部分，并且因此在這種情況下當(dāng)需要時(shí)這些部分要利用靜態(tài)圖像來填充。

帶寬/數(shù)據(jù)速率分配控制信息可以隨時(shí)間變化，不同的信息在不同的時(shí)間被接收?？刂菩畔⒖梢岳缱鳛閱为?dú)的控制信息集合被嵌到前向內(nèi)容流中和/或被單獨(dú)發(fā)送。

操作從步驟1429前進(jìn)到步驟1430，其中啟動(dòng)尚未被接收的被選流集合中流的內(nèi)容交付。這可以涉及加入被選流對應(yīng)的多播組、向請求被選流的交付的網(wǎng)絡(luò)設(shè)備發(fā)送消息和/或調(diào)諧到所選的一個(gè)或多個(gè)流在其上被發(fā)送的廣播信道。在第一次通過步驟1430的情況下，這將涉及啟動(dòng)對應(yīng)于環(huán)境的前向部分的內(nèi)容流的交付，因?yàn)檫@被設(shè)置為將被選擇用于交付的初始觀看部分。但是，當(dāng)用戶的頭部位置改變時(shí)，例如，用戶向左或向右轉(zhuǎn)動(dòng)他/她的頭部，被選擇的流的集合可以并且通常將改變。例如，如果用戶將他的頭部向左轉(zhuǎn)，使得前方區(qū)域和右后方區(qū)域的一部分進(jìn)入視野，則被選的流的集合將被改變，使得對應(yīng)于前方區(qū)域和左后方部分的內(nèi)容被接收。如果左后部分未被接收并且被選擇，則流中對應(yīng)于左后部分的內(nèi)容的交付將在步驟1430中被啟動(dòng)。如果不能在兩個(gè)方向上都支持最大數(shù)據(jù)速率流，則可以選擇較低數(shù)據(jù)速率前向流，并且因此較低數(shù)據(jù)速率的前向流和左后內(nèi)容流的啟動(dòng)都將被啟動(dòng)。在被選集合之外的流在新選擇的集合中的流接收之前被終止。流的終止和啟動(dòng)以平滑的方式被執(zhí)行，使得時(shí)間間隙和/或被接收的內(nèi)容的大幅變化被最小化，其中模糊和/或過濾被用來減小當(dāng)流切換發(fā)生時(shí)圖像的質(zhì)量或源的顯著變化。例如，模糊可以跨作為渲染或顯示過程的一部分被縫合在一起的圖像的部分被實(shí)現(xiàn)。

隨著內(nèi)容交付對被選流的當(dāng)前集合啟動(dòng)，操作從步驟1430前進(jìn)到步驟1432。在步驟1432中，從被選的內(nèi)容流集合中的流接收內(nèi)容。這可以(并且在各種實(shí)施例中確實(shí))涉及接收對應(yīng)于最高優(yōu)先級(jí)流的內(nèi)容，例如，提供對應(yīng)于大部分視野的內(nèi)容和對應(yīng)于環(huán)境的一個(gè)或多個(gè)其它部分(例如，提供對應(yīng)于視野的圖像內(nèi)容的一小部分的部分)的內(nèi)容的流。提供用于當(dāng)前視野的內(nèi)容的一小部分的流可以被描述為次要流。在其中單個(gè)流提供用于全視野的內(nèi)容的一個(gè)實(shí)施例中，20％或更少的可用帶寬/可支持接收數(shù)據(jù)速率被保留并被用于接收一個(gè)或多個(gè)次要或較低優(yōu)先級(jí)流，例如，這些一個(gè)或多個(gè)次要或較低優(yōu)先級(jí)流在用戶在視野之外的方向上轉(zhuǎn)動(dòng)的情況下提供在視野之外的內(nèi)容。在視野在對應(yīng)于兩個(gè)不同內(nèi)容流的區(qū)域之間大致均勻分割的情況下，每個(gè)流可被分配大約一半的可用數(shù)據(jù)速率/接收數(shù)據(jù)速率，因?yàn)樗鼈円源笾戮鶆虻姆绞截暙I(xiàn)并且用戶將不可能快速改變位置來觀看兩個(gè)流為其提供圖像的區(qū)域外的環(huán)境的區(qū)域。

隨著內(nèi)容接收已被啟動(dòng)，在步驟1432中，從被選的流的集合中接收內(nèi)容，例如圖像。在主要(例如，最高優(yōu)先級(jí))流的情況下，內(nèi)容通常將是立體內(nèi)容，其中左眼和右眼圖像內(nèi)容都在流中被接收。對于低優(yōu)先級(jí)流和/或被分配低數(shù)據(jù)速率的流，單色圖像可以被接收，其中單個(gè)圖像被接收，以用于顯示給給左眼和右眼圖像。前向場景部分通常作為立體內(nèi)容被被接收，但是一個(gè)或多個(gè)后部可以作為單色圖像流被提供。

在步驟1432中，編碼的圖像內(nèi)容通常在流中被接收。在步驟1434中，接收到的內(nèi)容被解碼，然后在經(jīng)由連接節(jié)點(diǎn)A 1436到達(dá)的步驟1438中，解碼的內(nèi)容被存儲(chǔ)在一個(gè)或多個(gè)圖像緩沖器中。在一些實(shí)施例中，對環(huán)境的每個(gè)部分維持解碼圖像緩沖器。雖然接收到的圖像的僅一部分最后被顯示，但是完整的接收到的幀通常被解碼和緩沖。解碼的緩沖圖像可以(并且在一些實(shí)施例中確實(shí))保持在存儲(chǔ)器中，直到其被用于相同場景部分的更近期的圖像替換。因此，在任何給定的時(shí)間，解碼圖像可用于環(huán)境的每個(gè)部分，以便基于當(dāng)前視野根據(jù)需要渲染最終的輸出圖像。由于解碼圖像的內(nèi)容被維持在存儲(chǔ)器中，直到它被更近期的解碼圖像替換，因此對應(yīng)于360度環(huán)境的每個(gè)部分的圖像的解碼不需要在每個(gè)幀時(shí)間期間發(fā)生。因此，雖然可以支持每秒30幀的幀速率，但是不需要在每個(gè)幀周期解碼150幀，例如，對于頂部、底部、前、左后、右后部分中的每一個(gè)有一幀，而是等于或稍高于要支持的幀速率的較低數(shù)量的幀可以被解碼，其中圖像的一些部分來自先前解碼的靜態(tài)圖像或先前解碼的以比對應(yīng)于主視野的部分更低的速率更新的圖像部分。

因此，在步驟1438中的更新之后，當(dāng)前解碼的幀可用于基于用戶的當(dāng)前視野來渲染圖像。

操作從步驟1438前進(jìn)到步驟1440。在步驟1440中，使用如下來渲染內(nèi)容以供顯示：從圖像緩沖器可用的解碼內(nèi)容，定義一個(gè)或多個(gè)圖像部分要例如作為紋理應(yīng)用到其上的表面的環(huán)境映射，以及提供關(guān)于如何將2D解碼圖像應(yīng)用到3D表面的模型的信息的UV映射。環(huán)境的3D網(wǎng)格模型可以是網(wǎng)格的形式，其中UV映射中的點(diǎn)對應(yīng)于定義環(huán)境的圖像要應(yīng)用到其的表面的網(wǎng)格模型的頂點(diǎn)。

作為渲染的一部分，當(dāng)來自單個(gè)流的內(nèi)容不能提供將完全占據(jù)用戶視野的部分時(shí)，對應(yīng)于從不同流接收的內(nèi)容的圖像部分將被組合，以生成對應(yīng)于用戶視野的環(huán)境的圖像。過濾或模糊可以(并且在一些實(shí)施例中確實(shí))被跨圖像應(yīng)用，其中圖像被連接，以形成對應(yīng)于用戶視野的合成圖像。這趨于減少接縫對用戶有多明顯。此外，在一些實(shí)施例中，提供合成圖像的一部分的圖像部分的亮度被調(diào)整，以減少被組合以形成合成圖像的圖像部分之間的亮度差異，其中，當(dāng)對被組合以形成合成圖像的圖像部分進(jìn)行亮度調(diào)整時(shí)，前向視圖的亮度值開始被給予高于后部、頂部或側(cè)部的亮度值的優(yōu)先級(jí)。

在步驟1442中，可以是從不同內(nèi)容流接收的圖像的一個(gè)或多個(gè)圖像部分的合成的渲染圖像被存儲(chǔ)、顯示或發(fā)送。這表示基于被選的內(nèi)容流的當(dāng)前集合對一個(gè)或多個(gè)內(nèi)容幀的生成和顯示。

隨著時(shí)間的推移，由于通信信道條件的變化或網(wǎng)絡(luò)問題，最大可支持?jǐn)?shù)據(jù)速率會(huì)改變。這可以在步驟1443中被檢測并且在選擇哪些內(nèi)容流應(yīng)當(dāng)被接收和處理時(shí)被考慮。在步驟1443中，最大可支持?jǐn)?shù)據(jù)速率和/或帶寬被確定為由數(shù)據(jù)1444表示，以在后續(xù)步驟中使用。在步驟1445中，檢測用戶的當(dāng)前頭部位置。這可以通過使用包括頭戴式顯示器的頭飾上的位置傳感器來完成。

操作從步驟1445前進(jìn)到步驟1446，其中確定用戶的頭部位置是否已改變。如果用戶的頭部位置沒有改變，則操作前進(jìn)到步驟1447，其中檢查當(dāng)前可用的最大帶寬或最大可支持的數(shù)據(jù)速率是否已經(jīng)改變，例如，從上一次進(jìn)行流選擇開始。如果沒有檢測到最大可支持?jǐn)?shù)據(jù)速率或頭部位置的改變，則先前的流選擇保持有效并且不對所選擇的內(nèi)容流集合進(jìn)行改變。因此，回放系統(tǒng)將繼續(xù)接收對應(yīng)于保持不變的用戶的當(dāng)前視野的內(nèi)容。在步驟1447中未檢測到改變的情況下，操作經(jīng)由連接節(jié)點(diǎn)B 1456返回到步驟1429。

但是，如果在步驟1446或1447中檢測到改變，則操作前進(jìn)到流選擇步驟1448，其涉及對流選擇子例程的調(diào)用。以這種方式，檢測到的頭部位置和/或可支持?jǐn)?shù)據(jù)速率的變化可以被考慮，并且流的選擇鑒于可被用來接收數(shù)據(jù)(例如，圖像內(nèi)容)的可支持?jǐn)?shù)據(jù)速率和/或用戶頭部位置被重新考慮。

一旦流已經(jīng)通過流選擇子例程被選擇，操作就前進(jìn)到步驟1450，其中檢查所選擇的流是否不同于當(dāng)前選擇的流的集合。如果新選擇的集合與正在使用的流的當(dāng)前被選集合相同，則不需要對正在接收的流進(jìn)行改變，并且在步驟1452中當(dāng)前選擇的流集合保持不變，操作經(jīng)由連接節(jié)點(diǎn)B 1456前進(jìn)到步驟1429。但是，如果新選擇的流集合不同于當(dāng)前選擇的流集合，則在步驟1454中當(dāng)前選擇的流集合被更新，以反映被選的流集合的改變，例如，當(dāng)前選擇的集合被設(shè)置為等于由流選擇子例程選擇的新選擇的流集合。

操作從步驟1454前進(jìn)到步驟1455，其中不在更新后的當(dāng)前被選流集合中的流的接收被終止。這可能涉及回放系統(tǒng)信令它不再希望成為對應(yīng)于不再被接收的流的多播組的一員，或者采取另一動(dòng)作來為了另一目的(例如，新選擇的一個(gè)或多個(gè)流的接收)而使用資源(諸如之前被用來接收被終止的流的調(diào)諧器)。

操作經(jīng)由連接節(jié)點(diǎn)B 1456從步驟1455前進(jìn)到步驟1429。然后，在步驟1430中，任何新選擇的流的接收將被啟動(dòng)，并且接收到的內(nèi)容將被用來渲染一個(gè)或多個(gè)圖像。因此，隨著時(shí)間的推移，當(dāng)用戶改變他或她的頭部位置和/或可以被支持的數(shù)據(jù)速率改變時(shí)，所選擇的流也可以改變。

圖15是示出根據(jù)示例性實(shí)施例的流選擇子例程的步驟的流程圖，其可被用作在圖14方法的步驟1448中調(diào)用的流選擇子例程。

當(dāng)子例程被例如圖14的步驟1448調(diào)用時(shí)，流選擇子例程1500在步驟1502開始。操作從開始步驟1502前進(jìn)到流選擇步驟1504。流選擇步驟1504的輸入包括帶寬和/或數(shù)據(jù)速率約束1503。這些可以包括關(guān)于應(yīng)當(dāng)被分配給一個(gè)或多個(gè)場景部分、流和/或流方向的可用帶寬的最大部分或總接收數(shù)據(jù)速率的信息。約束還可以包括對場景部分、流和/或觀看方向的最小帶寬或數(shù)據(jù)分配。因此，約束可以限制分配給接收對應(yīng)于特定方向的內(nèi)容的資源的最大量和/或授權(quán)(mandate)分配給方向的最小資源量，使得對應(yīng)于方向的部分在事件中場休息期間當(dāng)動(dòng)作在環(huán)境的一部分(諸如后部區(qū)域)中發(fā)生時(shí)至少不頻繁地或在在特定時(shí)間處被更新。

最大可支持?jǐn)?shù)據(jù)速率和/或最大可用帶寬1444是選擇步驟1504的另一輸入。這個(gè)信息1444指示可用于接收內(nèi)容的最大帶寬和/或可被用來支持接收一個(gè)內(nèi)容流或內(nèi)容流的組合的最大可支持?jǐn)?shù)據(jù)速率。用戶的當(dāng)前頭部位置1407和關(guān)于可用流1405的信息(例如，諸如在圖18中所示的流引導(dǎo)信息)也被輸入到步驟1504。

在流選擇步驟1504中，選擇對應(yīng)于節(jié)目或事件(例如，在一些情況下是正在進(jìn)行的實(shí)時(shí)事件)的一個(gè)或多個(gè)內(nèi)容流。一個(gè)或多個(gè)流的選擇基于用戶的當(dāng)前頭部位置、諸如流帶寬或流數(shù)據(jù)速率需求的流信息和/或關(guān)于最大可支持?jǐn)?shù)據(jù)速率或最大可支持帶寬的信息?？梢允顷P(guān)于觀看方向或流優(yōu)先級(jí)基礎(chǔ)的帶寬和/或數(shù)據(jù)速率約束1503可以(并且有時(shí)候確實(shí))在步驟1504中進(jìn)行的流選擇時(shí)被考慮和使用。

示例性流選擇步驟1504包括步驟1506，其中內(nèi)容流基于用戶的當(dāng)前和/或過去的頭部位置進(jìn)行優(yōu)先化。這可以涉及對諸如圖16中所示的流優(yōu)先化子例程的調(diào)用。

在一些實(shí)施例中，對應(yīng)于相同環(huán)境方向的流被分配相同的優(yōu)先級(jí)。因此，對應(yīng)于與環(huán)境和/或觀看方向的相同部分對應(yīng)的內(nèi)容的多個(gè)流可以(并且有時(shí)候確實(shí))被分配相同的優(yōu)先級(jí)。雖然流對應(yīng)于相同的觀看方向，但是在一些情況下，流具有不同的數(shù)據(jù)速率，其中一些流以高幀速率提供高分辨率立體內(nèi)容，而在一些情況下較低分辨率流提供單色圖像內(nèi)容和/或低分辨率圖像和/或支持低幀(圖像)速率。因此，雖然特定方向可以被認(rèn)為具有高優(yōu)先級(jí)并且提供對應(yīng)于高優(yōu)先級(jí)方向的內(nèi)容的所有流都相同，但是在一些實(shí)施例中對可用于接收對應(yīng)于特定方向的內(nèi)容的帶寬量進(jìn)行選擇。

在內(nèi)容流的優(yōu)先化之后，操作從步驟1506前進(jìn)到步驟1508。在步驟1508中，確定被用于具有最高優(yōu)先級(jí)的流的最大帶寬和/或數(shù)據(jù)速率。這個(gè)確定可以基于帶寬或其它約束1503作出，約束可以指示要為最高優(yōu)先級(jí)流分配的最大、最小可用接收資源或其部分。在一些實(shí)施例中，用于最高優(yōu)先級(jí)流的最小帶寬/數(shù)據(jù)速率分配為50％或更多，但其它分配也是可能的。

在步驟1510中，確定要用于具有較低優(yōu)先級(jí)的每個(gè)流的最大帶寬和/或數(shù)據(jù)速率。在一些實(shí)施例中，數(shù)據(jù)速率或帶寬的至少20％用于次要或較低優(yōu)先級(jí)流。

隨著在步驟1508、1510中已確定用于不同優(yōu)先級(jí)的流的數(shù)據(jù)速率，操作前進(jìn)到步驟1512，其中基于用于最高優(yōu)先級(jí)流的最大帶寬和/或數(shù)據(jù)速率進(jìn)行檢查以確定是否可以支持最高優(yōu)先級(jí)流。如果對應(yīng)于最高優(yōu)先級(jí)的任何一個(gè)流都可以被支持，則步驟1512中的決定將為“是”并且操作前進(jìn)到步驟1514，在那里對應(yīng)于最高優(yōu)先級(jí)的最高質(zhì)量流將被選擇。這通常涉及從被指派最高優(yōu)先級(jí)的流的集合中選擇最高數(shù)據(jù)速率流?？紤]例如如果前向方向的流被指派最高優(yōu)先級(jí)，那么，給定可用于最高優(yōu)先級(jí)內(nèi)容流的數(shù)據(jù)速率，可被支持的最高數(shù)據(jù)速率前向方向內(nèi)容流將被選擇。

操作從步驟1514前進(jìn)到步驟1516。在步驟1516中，確定是否可以支持第二高優(yōu)先級(jí)流。在一些實(shí)施例中，這涉及在最高優(yōu)先級(jí)流已被選擇之后確定有多少帶寬/數(shù)據(jù)可用以及基于所接收的約束確定那個(gè)帶寬/數(shù)據(jù)中有多少可用于第二最高優(yōu)先級(jí)流。如果沒有對第二高優(yōu)先級(jí)流置以約束，則全部量的帶寬/數(shù)據(jù)接收能力可被用于第二高優(yōu)先級(jí)流。如果在步驟1516中確定第二最高優(yōu)先級(jí)流可以被支持，則操作前進(jìn)到步驟1518，其中第二最高優(yōu)先級(jí)流是例如從被指派第二最高優(yōu)先級(jí)的一個(gè)或多個(gè)流的集合中選擇的。步驟1518可以(并且在一些實(shí)施例中確實(shí))涉及選擇具有第二高優(yōu)先級(jí)的可以被支持的最高數(shù)據(jù)速率流。例如，如果第二高優(yōu)先級(jí)對應(yīng)于環(huán)境的右后部分，則步驟1518將涉及選擇對應(yīng)于環(huán)境的右后部分的可以被支持的最高數(shù)據(jù)速率流。

雖然在大多數(shù)情況下最高優(yōu)先級(jí)和次要流將被支持，但是在選擇兩個(gè)最高優(yōu)先級(jí)流之后可能剩余足夠的帶寬，以接收對應(yīng)于環(huán)境的另一部分(例如，未被觀看的部分)的一些內(nèi)容。如果第二最高優(yōu)先級(jí)流不能被支持，則操作從步驟1518前進(jìn)到步驟1520或者直接從步驟1516前進(jìn)到步驟1520。

在步驟1520中，例如利用在第一和/或第二優(yōu)先級(jí)流已被選擇之后可用的帶寬/數(shù)據(jù)接收資源來檢查第三最高優(yōu)先級(jí)流是否可以被支持。如果在步驟1520中確定第三高優(yōu)先級(jí)流可被支持，則操作前進(jìn)到步驟1522，其中例如利用可被支持的剩余帶寬/數(shù)據(jù)速率來選擇第三高優(yōu)先級(jí)流。如果給定可用帶寬和/或所接收的數(shù)據(jù)和/或帶寬分配約束，第三最高優(yōu)先級(jí)流不能被支持，則操作從步驟1522前進(jìn)到步驟1524或者直接從步驟1520前進(jìn)到步驟1524。

在步驟1524中，進(jìn)行檢查以確定在其它流選擇之后是否剩余可被用來接收附加內(nèi)容的任何帶寬(例如，接收數(shù)據(jù)的能力)。如果剩余附加的帶寬，則操作前進(jìn)到步驟1526，其中一個(gè)或多個(gè)較低優(yōu)先級(jí)流被選擇，以使用剩余的可用帶寬/數(shù)據(jù)速率。操作從步驟1526前進(jìn)到步驟1530。如果沒有附加的帶寬可用，則操作從步驟1524前進(jìn)到返回步驟1530。

返回步驟1530使處理返回到流選擇子例程1500被調(diào)用的點(diǎn)，例如，新選擇的流集合已經(jīng)由例程1500確定。

圖16是示出根據(jù)示例性實(shí)施例的流優(yōu)先化子例程的步驟的流程圖。圖1600示出了可以由本文描述的一個(gè)或多個(gè)其它例程或子例程使用(例如調(diào)用)的示例性流優(yōu)先化例程。例如，圖15的步驟1506可以通過對子例程1600的調(diào)用來實(shí)現(xiàn)。當(dāng)例程被調(diào)用時(shí)，流優(yōu)先化子例程1600在步驟1602開始。操作從開始步驟1602前進(jìn)到步驟1604。在步驟1604中，基于用戶的檢測到的頭部位置確定用戶的當(dāng)前視野。假設(shè)用戶的視野小于180度，當(dāng)前視野可以對應(yīng)于從單個(gè)相機(jī)位置(例如，向前看的相機(jī)位置)捕獲的環(huán)境的一部分。但是，當(dāng)用戶移動(dòng)他的頭部時(shí)，例如向左或向右轉(zhuǎn)動(dòng)和/或向上或向下看時(shí)，用戶的視野可以對應(yīng)于由位于不同相機(jī)位置的相機(jī)捕獲的環(huán)境的部分。例如，當(dāng)看對應(yīng)于由不同相機(jī)捕獲的圖像相遇或重疊的點(diǎn)的環(huán)境的一部分時(shí)，用戶的視野可以對應(yīng)于將在兩個(gè)不同流中被傳送的內(nèi)容。在一些實(shí)施例中，提供對應(yīng)于視野的最大部分的圖像的流通常將被給予最高優(yōu)先級(jí)。

隨著用戶的視野已在步驟1604中被確定，操作前進(jìn)到步驟1605，其中識(shí)別傳送對應(yīng)于用戶當(dāng)前視野的內(nèi)容的流，其中內(nèi)容例如單色圖像或包括左眼和右眼圖像的立體圖像對。然后，操作前進(jìn)到步驟1606，其中確定從識(shí)別出的流中可用的對應(yīng)于用戶當(dāng)前視野的場景區(qū)域的一個(gè)或多個(gè)部分(例如，圖像部分)的大小。因此，在步驟1606結(jié)束時(shí)，關(guān)于哪些流提供對應(yīng)于當(dāng)前視野的圖像內(nèi)容和部分的相對大小的信息可用并且可被用來對流進(jìn)行排名，例如優(yōu)先化。

操作從步驟1606前進(jìn)到步驟1608。在步驟1608中，優(yōu)先級(jí)被指派給提供對應(yīng)于用戶的當(dāng)前視野的圖像內(nèi)容的一個(gè)或多個(gè)流。優(yōu)先化(例如排名)是基于流提供的用戶視野的一個(gè)或多個(gè)部分的大小。例如，提供對應(yīng)于用戶視野的80％的圖像內(nèi)容的流將比提供對應(yīng)于用戶視野的15％的圖像內(nèi)容的流排名高，提供剩余5％(例如，頂部或底部)的流將被指派第三優(yōu)先級(jí)，這低于分配給提供對應(yīng)于視野的80％部分的圖像的流的最高優(yōu)先級(jí)。

步驟1608可以(并且在一些實(shí)施例中確實(shí))包括步驟1610和/或步驟1612。在步驟1610中，最高優(yōu)先級(jí)被指派給提供視野的最大部分的流。步驟1610可以包括將提供視野的最大部分的流指定為主流。步驟1612包括將下一最高優(yōu)先級(jí)指派給對在由最高優(yōu)先級(jí)流貢獻(xiàn)的部分之外的視野貢獻(xiàn)部分的流。這些流在步驟1612中基于它們可以對當(dāng)前視野貢獻(xiàn)的部分的大小來優(yōu)先化，其中貢獻(xiàn)越小部分的流被指派越低的優(yōu)先級(jí)。

假設(shè)例如具有不同數(shù)據(jù)速率的多個(gè)流可以向視野貢獻(xiàn)相同的部分，盡管潛在地處于不同的分辨率或幀速率，但是多個(gè)流可以被指派相同的優(yōu)先級(jí)，例如，對應(yīng)于前向視圖的流可以被指派相同的優(yōu)先級(jí)，提供左后方視圖的流可以被指派相同的優(yōu)先級(jí)，例如與指派給前向流不同的優(yōu)先級(jí)，并且提供右后方視圖的流可以被提供相同的優(yōu)先級(jí)，例如與指派給前向或左后視圖流不同的優(yōu)先級(jí)。

因此，在步驟1608中，對視野有貢獻(xiàn)的流將已經(jīng)被排名，即，優(yōu)先化。優(yōu)先化可以通過在排名列表中列出流來表示，其中主流被指派最高優(yōu)先級(jí)，而其它流被指派較低優(yōu)先級(jí)。

不是所有流都可以對應(yīng)于視野。例如，頂部或兩個(gè)場景部分可以在視野之外，并且因此提供這種視圖的流可能在步驟1608中還沒有被優(yōu)先化。操作從步驟1608前進(jìn)到步驟1614。在步驟1614中，確定是否有任何剩余的流要被優(yōu)先化。如果不存在要被優(yōu)先化的剩余流，例如因?yàn)樗鼈兌紝?yīng)于用戶的當(dāng)前視野，則操作前進(jìn)到返回步驟1630。但是，如果在步驟1614中確定一個(gè)或多個(gè)流仍然要被優(yōu)先化，則操作前進(jìn)到步驟1616。

在步驟1616中，優(yōu)先級(jí)被指派給傳送內(nèi)容的一個(gè)或多個(gè)附加流，例如在當(dāng)前視野之外的流。在一些實(shí)施例中，在步驟161中執(zhí)行的優(yōu)先化是基于由被優(yōu)先化的流提供的內(nèi)容與在當(dāng)前視野中可見的內(nèi)容的接近度和/或基于用戶的當(dāng)前或過去的頭部旋轉(zhuǎn)方向。例如，如果流提供對應(yīng)于緊密接近當(dāng)前視野的環(huán)境的一部分的圖像內(nèi)容，則在一些實(shí)施例中，它將比提供對應(yīng)于更遠(yuǎn)離用戶當(dāng)前視野的圖像部分的內(nèi)容的流被指派更高的優(yōu)先級(jí)。類似地，假設(shè)在頭部旋轉(zhuǎn)方向上的內(nèi)容比在遠(yuǎn)離用戶的檢測到的頭部旋轉(zhuǎn)方向的相反方向上的內(nèi)容更有可能快速進(jìn)入用戶的視野，提供在用戶頭部旋轉(zhuǎn)方向上的圖像內(nèi)容的流可以比在遠(yuǎn)離用戶的檢測到的頭部旋轉(zhuǎn)方向上的內(nèi)容被給予更高優(yōu)先級(jí)。

在至少一個(gè)實(shí)施例中，步驟1616包括步驟1618，其中進(jìn)行檢查以確定頭部位置的變化是否指示頭部旋轉(zhuǎn)，例如，與頭部向上或向下傾斜相反的向左或向右旋轉(zhuǎn)。如果在步驟1618中沒有檢測到頭部旋轉(zhuǎn)，則操作前進(jìn)到步驟1620，其中，在一些實(shí)施例中，流基于它們相對于用戶的當(dāng)前視野提供圖像數(shù)據(jù)的哪個(gè)部分來優(yōu)先化。當(dāng)頂部和底部部分以及左或右后部部分在視野之外時(shí)，提供頂部和/或底部部分的流可以缺省地比提供左或右后部部分的流被指派更低的優(yōu)先級(jí)。操作從步驟1620前進(jìn)到返回步驟1630。

如果在步驟1618中確定已經(jīng)檢測到用戶頭部旋轉(zhuǎn)，則操作前進(jìn)到步驟1622。在步驟1622中，確定頭部旋轉(zhuǎn)的方向，例如，用戶頭部是向左還是向右轉(zhuǎn)動(dòng)。這允許考慮頭部旋轉(zhuǎn)的方向，因?yàn)橐M(jìn)入用戶視野的環(huán)境的下一部分常常更有可能在頭部旋轉(zhuǎn)的方向上而不是遠(yuǎn)離其。

操作從步驟1622前進(jìn)到步驟1624，其中基于頭部旋轉(zhuǎn)的方向?qū)?yōu)先級(jí)指派給一個(gè)或多個(gè)內(nèi)容流，例如在視野之外的流。在至少一個(gè)實(shí)施例中，步驟1624包括步驟1626，其中下一個(gè)最低未用的優(yōu)先級(jí)被指派給提供對應(yīng)于環(huán)境的在頭部旋轉(zhuǎn)方向上的一部分的內(nèi)容的流。例如，如果在看環(huán)境的前向部分的用戶正在將他的頭向右轉(zhuǎn)，則提供在視野之外右后方內(nèi)容的流將比提供也在視野之外左后方內(nèi)容的流被分配更高的優(yōu)先級(jí)。操作從步驟1624前進(jìn)到步驟1628，在那里，還沒有被優(yōu)先化的剩余流比已經(jīng)被指派優(yōu)先級(jí)的流被指派較低的優(yōu)先級(jí)，指示較低的重要性。

操作從步驟1628前進(jìn)到返回步驟1630。在到達(dá)返回步驟1630時(shí)，內(nèi)容流將已經(jīng)根據(jù)優(yōu)先級(jí)被優(yōu)先化，例如排名或排序。

圖17是示出根據(jù)示例性實(shí)施例的渲染子例程的步驟1700的流程圖。

當(dāng)需要圖像渲染時(shí)，渲染子例程1700可以被一個(gè)或多個(gè)例程調(diào)用。在立體內(nèi)容的情況下，為用戶的左眼和右眼中的每只眼渲染單獨(dú)的圖像。在單色內(nèi)容的情況下，對用戶的左眼和右眼中每只眼渲染并使用單個(gè)圖像。渲染常常涉及來自一個(gè)或多個(gè)流的圖像內(nèi)容的組合。因此，雖然環(huán)境的一些部分可以作為單色內(nèi)容被提供，但是其它部分可以作為立體內(nèi)容被提供，在這種情況下，不同的左眼和右眼圖像可以被渲染，其中一些內(nèi)容是立體的，而其它內(nèi)容是單色的，但是，當(dāng)環(huán)境的至少一部分作為立體內(nèi)容被呈現(xiàn)時(shí)，為左眼和右眼圖像中的每一個(gè)生成單個(gè)圖像。

渲染例程1700在開始步驟1702開始，并前進(jìn)到渲染步驟1706。渲染步驟1706的輸入包括環(huán)境映射1411、對應(yīng)于一個(gè)或多個(gè)視圖的解碼圖像內(nèi)容1703，以及被用來將一個(gè)或多個(gè)解碼圖像或圖像部分映射到由環(huán)境映射1411定義的表面上的一個(gè)或多個(gè)UV映射1704。如上面所討論的，在不提供更復(fù)雜的幾何形狀的情況下，環(huán)境映射1411可以缺省地是球體，其中圖像被映射到球體的內(nèi)表面。

在一些實(shí)施例中，渲染步驟1706包括步驟1708，該步驟包括利用通過解碼包括在對應(yīng)于用戶當(dāng)前視野的一個(gè)或多個(gè)內(nèi)容流中的圖像而生成的內(nèi)容和環(huán)境映射以及至少一個(gè)UV映射來生成對應(yīng)于用戶當(dāng)前視野的至少一個(gè)圖像。在立體(例如，3D圖像內(nèi)容)的情況下，渲染將導(dǎo)致以適于顯示的格式生成左眼和右眼圖像。在一些實(shí)施例中，經(jīng)渲染的左眼和右眼圖像的差異導(dǎo)致用戶感知到圖像是3D的。

操作從步驟1706前進(jìn)到步驟1710，步驟1710是返回步驟，它使得經(jīng)渲染的圖像被返回到程序或例程，以便提供給顯示設(shè)備、存儲(chǔ)和/或輸出。

每次當(dāng)要視野的幀或更新版本要被顯示時(shí)，渲染子例程1700可以被調(diào)用。因此，渲染通常以與圖像(例如，幀)顯示速率一致的速率發(fā)生。

圖18示出了包括對應(yīng)于多個(gè)內(nèi)容流的流信息的示例性表1800。在一些實(shí)施例中，包括在示例性表1800中的流信息作為指導(dǎo)信息(例如節(jié)目指南)的一部分被接收，從而提供關(guān)于回放系統(tǒng)可以選擇接收的內(nèi)容流的信息。圖例1840包括指示被用作在表1800中包括的信息的縮寫的各種字母的含義的信息。

包括在表1800中的信息可被用來訪問信息所對應(yīng)的內(nèi)容流。如將在一些實(shí)施例中討論的，對于多個(gè)可用的內(nèi)容流，流信息包括可被加入以接收給定的對應(yīng)內(nèi)容流的多播組的多播地址、可被用來請求訪問用于提供給定內(nèi)容流的交換數(shù)字視頻信道的信息或者可被用來控制回放系統(tǒng)的調(diào)諧器調(diào)諧到給定內(nèi)容流在其上廣播的廣播信道的信道調(diào)諧信息當(dāng)中至少一個(gè)。

在表1800中，每行對應(yīng)于傳送內(nèi)容的單獨(dú)內(nèi)容流，其中行對應(yīng)的內(nèi)容流由列1812中對應(yīng)條目中所示的流標(biāo)識(shí)符識(shí)別。列1804中的每個(gè)條目識(shí)別由該行對應(yīng)的單獨(dú)內(nèi)容流傳送的節(jié)目內(nèi)容。如從表1800可以理解的，第一組行1820對應(yīng)于節(jié)目內(nèi)容“足球”，這可以指示如列1804中的對應(yīng)條目中所示的節(jié)目/事件標(biāo)題?？梢源嬖趯?yīng)于各種不同的節(jié)目/事件的多個(gè)這樣的組。每個(gè)組包括內(nèi)容流，每個(gè)內(nèi)容流對應(yīng)于觀看方向并支持給定的數(shù)據(jù)速率，如將討論的那樣。為了簡單起見，圖中僅示出了兩個(gè)組，其中對應(yīng)于第二組1822的行僅被部分地示出，這只是為了說明概念。第二組行1822對應(yīng)于節(jié)目內(nèi)容“HI”，如由列1804中的對應(yīng)條目所指示的那樣。

列1806中的每個(gè)條目指示由對應(yīng)的內(nèi)容流傳送的場景區(qū)域的一部分，例如360度場景區(qū)域的區(qū)1200。因此，組1820中的前三行(每一行對應(yīng)于不同的內(nèi)容流)傳送前方場景部分(例如，映射到圖12中所示的區(qū)1，覆蓋270°到90°的觀看區(qū)域)。組1820中接下來的三行(每一行對應(yīng)于不同的內(nèi)容流)傳送右后方場景部分(例如，映射到圖12中所示的區(qū)2，覆蓋30°到210°的觀看區(qū)域)。組1820中的最后三行(每一行對應(yīng)于不同的內(nèi)容流)傳送后左方場景部分(例如，映射到圖12中所示的區(qū)3，覆蓋150°到330°的觀看區(qū)域)。

列1808中的每個(gè)條目指示對應(yīng)的內(nèi)容流支持的數(shù)據(jù)速率。列1810中的每個(gè)條目指示可以被加入以接收由列1812中的對應(yīng)條目中所示的流標(biāo)識(shí)符識(shí)別的對應(yīng)內(nèi)容流的多播組的標(biāo)識(shí)符/地址。列1814中的每個(gè)條目包括用于由列1812中的對應(yīng)條目中所示的流標(biāo)識(shí)符識(shí)別的對應(yīng)內(nèi)容流的流描述符。列1816中的每個(gè)條目包括可被用來訪問或請求對應(yīng)內(nèi)容流的訪問信息，例如調(diào)諧參數(shù)和/或其它訪問參數(shù)。

如從示例性表1800可以理解的，在所示出的例子中，存在對應(yīng)于給定觀看方向的每個(gè)內(nèi)容流的多個(gè)(例如三個(gè))可供在回放中使用的不同版本，其中內(nèi)容流的每個(gè)版本支持不同的數(shù)據(jù)速率。因此，根據(jù)本發(fā)明的特征，回放系統(tǒng)可以基于一個(gè)或多個(gè)因素，例如，諸如支持的帶寬、數(shù)據(jù)速率、用戶頭部位置等，來選擇要在回放中使用的一個(gè)或多個(gè)流，如關(guān)于圖14-17詳細(xì)討論的那樣。

為了更清楚地理解表1800中的信息如何可以被回放系統(tǒng)用來選擇和/或訪問一個(gè)或多個(gè)內(nèi)容流，考慮組1820中的第一行以及列1804、1806、1808、1810、1812、1814和1816中每一列中的第一個(gè)條目。列1804的第一個(gè)條目指示由列1812中包括的流標(biāo)識(shí)符S₁D₁識(shí)別的第一內(nèi)容流傳送的事件/節(jié)目“足球”。列1806中對應(yīng)的條目指示第一個(gè)流傳送對應(yīng)于前方場景部分(例如，270°到90°觀看區(qū)域)的內(nèi)容。這個(gè)觀看區(qū)域信息被回放系統(tǒng)用來識(shí)別傳送對應(yīng)于用戶/觀眾的當(dāng)前頭部位置的內(nèi)容的一個(gè)或多個(gè)流，該當(dāng)前頭部位置對應(yīng)于當(dāng)前視野。繼續(xù)該例，列1808中對應(yīng)的第一條目指示第一內(nèi)容流支持和/或需要數(shù)據(jù)速率D₁。列1810中對應(yīng)的條目指示第一內(nèi)容流可以通過加入多播組M1來訪問，其中M1指示多播組地址和/或映射到地址的標(biāo)識(shí)符。列1814中對應(yīng)的條目包括對應(yīng)于第一內(nèi)容流的流描述符“V₁C₁D₁F₁”，其指示第一流對應(yīng)的相機(jī)觀看角度(V₁)、對應(yīng)于第一流的幀速率(F₁)、支持的數(shù)據(jù)速率(D₁)和編解碼器類型(C₁)。最后一列1816中對應(yīng)的條目指示可被用來訪問或請求第一內(nèi)容流的訪問調(diào)諧參數(shù)和/或其它訪問參數(shù)(被示為A123)。

隨著上面討論的關(guān)于可用內(nèi)容流的此類信息可以被使用，諸如回放系統(tǒng)1900的回放系統(tǒng)可以根據(jù)本發(fā)明的特征選擇和訪問一個(gè)或多個(gè)內(nèi)容流以在回放中使用。為了更好的理解，考慮一個(gè)簡單的例子，其中回放系統(tǒng)確定用戶頭部位置指示用戶正在看360度場景的前部。在這種情況下，在一個(gè)實(shí)施例中，回放系統(tǒng)選擇傳送前方場景部分的至少一個(gè)內(nèi)容流。依賴于如關(guān)于圖14-17討論的各種其它因素，諸如可用帶寬、可支持的數(shù)據(jù)速率、流帶寬和/或數(shù)據(jù)速率約束，回放系統(tǒng)可以從三個(gè)不同的可用流(S₁D₁、S₁D₂、S₁D₃)中選擇傳送前方場景部分的一個(gè)流。如果約束允許，則回放系統(tǒng)將從對應(yīng)于前方場景部分的多個(gè)內(nèi)容流中選擇最高質(zhì)量流，例如流S₁D₁。表1800中提供的信息便于選擇用于回放的適當(dāng)流，因?yàn)榭杀挥脕磉M(jìn)行選擇的至少一些信息由流信息1800提供。在流選擇之后，回放系統(tǒng)可以再次使用流信息1800來通過加入對應(yīng)于被選流的多播組(例如，M1)或者通過使用訪問信息獲得內(nèi)容流來啟動(dòng)內(nèi)容交付(例如，內(nèi)容接收)。

圖19示出了根據(jù)本發(fā)明實(shí)現(xiàn)的回放系統(tǒng)1900，其可被用來接收、解碼、存儲(chǔ)和顯示從內(nèi)容交付系統(tǒng)接收的成像內(nèi)容?？杀粚?shí)現(xiàn)的系統(tǒng)1900為包括顯示器1902的單個(gè)回放設(shè)備1900'，或者實(shí)現(xiàn)為諸如耦合到計(jì)算機(jī)系統(tǒng)1900'的外部顯示器(例如，頭戴式顯示器1905)的元件的組合。

在至少一些實(shí)施例中，回放系統(tǒng)1900包括3D頭戴式顯示器。頭戴式顯示器可以利用可以包括頭戴式顯示器1905的OCULUSRIFT^TM VR(虛擬現(xiàn)實(shí))耳機(jī)來實(shí)現(xiàn)。還可以使用其它頭戴式顯示器。在一些實(shí)施例中，其中一個(gè)或多個(gè)顯示屏被用來向用戶的左眼和右眼顯示內(nèi)容的頭戴式頭盔或其它頭戴式設(shè)備被用作設(shè)備1905。通過在單個(gè)屏幕上向左眼和右眼顯示不同的圖像，其中頭戴式設(shè)備被配置為將單個(gè)屏幕的不同部分暴露給不同的眼睛，單個(gè)顯示器可被用來顯示將由觀看者的左眼和右眼分開感知的左眼和右眼圖像。在一些實(shí)施例中，手機(jī)屏幕被用作頭戴式顯示設(shè)備的顯示器。在至少一些這樣的實(shí)施例中，手機(jī)被插入頭戴式設(shè)備中并且手機(jī)被用來顯示圖像。在一些實(shí)施例中，顯示設(shè)備1905可以是諸如Oculus Rift的3D顯示裝置的一部分。

回放系統(tǒng)1900具有以下的能力：解碼所接收的編碼圖像數(shù)據(jù)(例如，對應(yīng)于環(huán)境或場景的不同部分的左眼和右眼圖像和/或單色(單個(gè)圖像))并且例如通過渲染并顯示被用戶感知為3D圖像的不同的左眼和右眼視圖來生成3D圖像內(nèi)容以用于向消費(fèi)者顯示。在一些實(shí)施例中，回放系統(tǒng)1900位于消費(fèi)者駐地位置，諸如家或辦公室，但是也可以位于圖像捕獲地點(diǎn)。系統(tǒng)1900可以執(zhí)行根據(jù)本發(fā)明的信號(hào)接收、解碼、顯示和/或其它操作。

系統(tǒng)1900包括顯示器1902、顯示設(shè)備接口1903、輸入設(shè)備1904、輸入/輸出(I/O)接口1906、處理器1908、網(wǎng)絡(luò)接口1910和存儲(chǔ)器1912。系統(tǒng)1900的各種部件經(jīng)由允許數(shù)據(jù)在系統(tǒng)1900的部件之間通信的總線1909和/或通過其它連接或通過無線接口耦合在一起。雖然在一些實(shí)施例中顯示器1902作為可選元件被包括，如利用虛線框所示的，但是在一些實(shí)施例中，外部顯示設(shè)備1905，例如頭戴式立體顯示設(shè)備，可以經(jīng)由顯示設(shè)備接口1903耦合到回放設(shè)備。

例如，在手機(jī)處理器被用作處理器1908并且手機(jī)在頭戴式設(shè)備中生成和顯示圖像的情況下，系統(tǒng)可以包括處理器1908、顯示器1902和存儲(chǔ)器1912，作為頭戴式設(shè)備的一部分。處理器1908、顯示器1902和存儲(chǔ)器1912都可以是手機(jī)的一部分。在系統(tǒng)1900的其它實(shí)施例中，處理器1908可以是諸如XBOX或PS4的游戲系統(tǒng)的一部分，其中顯示器1905安裝在頭戴式設(shè)備中并且耦合到游戲系統(tǒng)。處理器1908或存儲(chǔ)器1912是否位于佩戴在頭上的設(shè)備中并不是關(guān)鍵的并且，如可以理解的，雖然在一些情況下在頭飾中共同定位處理器會(huì)是方便的，但是從功率、熱量和重量的角度來看，在至少一些情況下，可能期望使處理器1908和存儲(chǔ)器1912耦合到包括顯示器的頭飾。

雖然各種實(shí)施例構(gòu)想了頭戴式顯示器1905或1902，但是該方法和裝置還可以與可支持3D圖像的非頭戴式顯示器一起使用。因而，雖然在許多實(shí)施例中系統(tǒng)1900包括頭戴式顯示器，但是它也可以利用非頭戴式顯示器來實(shí)現(xiàn)。

回放系統(tǒng)1900的操作者可以經(jīng)由輸入設(shè)備1904控制一個(gè)或多個(gè)參數(shù)和/或選擇要執(zhí)行的操作，例如選擇顯示3D場景。經(jīng)由I/O接口1906，系統(tǒng)1900可以耦合到外部設(shè)備和/或與其它設(shè)備交換信號(hào)和/或信息。在一些實(shí)施例中，經(jīng)由I/O接口1906，系統(tǒng)1900可以接收由各種相機(jī)捕獲的圖像，這些相機(jī)可以是諸如相機(jī)裝備900的相機(jī)裝備的一部分。

處理器1908(例如CPU)執(zhí)行例程1914并使用各種模塊來控制回放系統(tǒng)1900以根據(jù)本發(fā)明進(jìn)行操作。處理器1908負(fù)責(zé)控制回放系統(tǒng)1900的總體一般操作。在各種一些實(shí)施例中，處理器1908被配置為執(zhí)行已被討論為由回放設(shè)備執(zhí)行的功能。

經(jīng)由網(wǎng)絡(luò)接口1610，系統(tǒng)1900經(jīng)通信網(wǎng)絡(luò)(例如，諸如通信網(wǎng)絡(luò)105)向各種外部設(shè)備傳送和/或接收信號(hào)和/或信息(例如，包括圖像和/或視頻內(nèi)容)。網(wǎng)絡(luò)接口1910包括接收器1911和發(fā)送器1913，經(jīng)由它們執(zhí)行接收和發(fā)送操作。在一些實(shí)施例中，系統(tǒng)經(jīng)由網(wǎng)絡(luò)接口1910從內(nèi)容提供者接收一個(gè)或多個(gè)被選的內(nèi)容流。在一些實(shí)施例中，系統(tǒng)1900經(jīng)由接口1910的接收器1911接收一個(gè)或多個(gè)被選的內(nèi)容流以用于回放。所接收的內(nèi)容流可以作為編碼數(shù)據(jù)(例如編碼的場景部分1952)被接收。接收器1911還被配置為接收流信息1946和/或初始化數(shù)據(jù)，例如作為節(jié)目指南的一部分。系統(tǒng)1900還例如經(jīng)由接收器1911接收帶寬和/或數(shù)據(jù)速率分配控制信息1952，這包括用于不同觀看方向的帶寬約束、指定要用于接收一個(gè)或多個(gè)內(nèi)容流的最大帶寬的單獨(dú)帶寬約束，以便提供對應(yīng)于與單獨(dú)帶寬約束對應(yīng)的觀看方向的內(nèi)容。在一些實(shí)施例中，接收器1911還被配置為接收至少一個(gè)環(huán)境映射，例如限定義3D表面的3D深度映射，以及要被用于將圖像內(nèi)容映射到3D表面的至少一部分上的一個(gè)或多個(gè)UV映射，例如，在初始化階段期間或其它時(shí)間。在一些實(shí)施例中，接收器1911接收對應(yīng)于場景環(huán)境的第一部分的第一UV映射、對應(yīng)于場景環(huán)境的第二部分的第二UV映射、對應(yīng)于第三部分的第三UV映射、對應(yīng)于第四部分的第四UV映射以及對應(yīng)于場景環(huán)境的第五部分的第五映射。在一些實(shí)施例中，在初始化期間，系統(tǒng)1900例如經(jīng)由接口1910的接收器接收對應(yīng)于場景的第一、第二、第三、第四和第五部分中一個(gè)或多個(gè)的內(nèi)容，例如圖像。

存儲(chǔ)器1912包括各種模塊，例如，當(dāng)其被處理器1908執(zhí)行時(shí)，控制回放系統(tǒng)1900執(zhí)行根據(jù)本發(fā)明的解碼和輸出操作。存儲(chǔ)器1912包括控制例程1914、頭位置確定模塊1916、當(dāng)前觀看位置初始化模塊1918、解碼器模塊1920、當(dāng)前被選流初始化模塊1922、內(nèi)容交付啟動(dòng)模塊1924、圖像緩沖器1926、圖像緩沖器更新模塊1928、也被稱為圖像生成模塊的圖像渲染模塊1930、可用帶寬和/或支持的數(shù)據(jù)速率確定模塊1932、頭部位置改變確定模塊1934、可用帶寬和/或支持的數(shù)據(jù)速率改變確定模塊1936、流選擇模塊1938、被選流集合改變確定模塊1940、被選流集合更新模塊1942、流終止模塊1944，以及包括接收到的流信息1946、接收到的帶寬和/或數(shù)據(jù)速率分配信息1948、確定的當(dāng)前最大可用帶寬和/或可支持?jǐn)?shù)據(jù)速率1950、接收到的編碼圖像內(nèi)容1952、接收到的環(huán)境映射1954、接收到的UV映射1956、解碼圖像內(nèi)容1958和生成的3D內(nèi)容1960在內(nèi)的數(shù)據(jù)/信息。

控制例程1914包括設(shè)備控制例程和通信例程，以控制系統(tǒng)1900的操作。頭部位置確定模塊1916被配置為確定用戶的當(dāng)前頭部位置，例如頭戴式顯示器的位置。頭部位置確定模塊1916可以與位置傳感器集成和/或協(xié)同工作，其中位置傳感器可以例如在包括頭戴式顯示器的頭飾上。當(dāng)前觀看位置初始化模塊1918被配置為例如在初始化階段期間通過將檢測到的用戶的當(dāng)前頭部位置設(shè)置為前向(零度)觀看位置來將用戶的當(dāng)前觀看位置初始化為前向(0度)環(huán)境觀看位置。

解碼器模塊1920被配置為解碼從內(nèi)容交付系統(tǒng)700接收的編碼圖像內(nèi)容1952，以產(chǎn)生解碼的圖像數(shù)據(jù)1958。解碼的圖像數(shù)據(jù)1958可以包括解碼的立體場景和/或解碼的場景部分。在一些實(shí)施例中，解碼的內(nèi)容存儲(chǔ)在一個(gè)或多個(gè)圖像緩沖器1926中。當(dāng)前被選流初始化模塊1922被配置為初始化要被接收的被選擇的一個(gè)或多個(gè)內(nèi)容流的當(dāng)前集合。當(dāng)前被選流初始化模塊1922被配置為將當(dāng)前選擇的流集合設(shè)置為傳送對應(yīng)于環(huán)境/場景的前向/前方部分的內(nèi)容的第一流。

內(nèi)容交付啟動(dòng)模塊1924被配置為啟動(dòng)所選擇的內(nèi)容流的交付。在一些實(shí)施例中，內(nèi)容交付啟動(dòng)模塊1924啟動(dòng)所選集合中尚未被接收的內(nèi)容流的交付。在一些實(shí)施例中，內(nèi)容交付啟動(dòng)模塊1924被配置為發(fā)送請求信號(hào)，以加入對應(yīng)于被選的內(nèi)容流的多播組，例如對應(yīng)于傳送與當(dāng)前選擇的流集合對應(yīng)的內(nèi)容流的多播組。在一些其它實(shí)施例中，內(nèi)容交付啟動(dòng)模塊1924被配置為生成并向網(wǎng)絡(luò)中的設(shè)備發(fā)送請求，請求交付被選的內(nèi)容流在其上被傳送的交換數(shù)字信道。

圖像緩沖器更新模塊1928被配置為在例如由被選的內(nèi)容流集合傳送的更新的內(nèi)容被接收并解碼時(shí)利用更新的內(nèi)容來更新圖像緩沖器1926。

圖像渲染模塊1930根據(jù)本發(fā)明的特征，例如利用解碼的圖像內(nèi)容1958，生成3D圖像，例如以將被感知為3D圖像的方式顯示的左眼和右眼圖像，以用于在顯示器1902和/或顯示設(shè)備1905上向用戶顯示。在一些實(shí)施例中，圖像渲染模塊1930被配置為利用對應(yīng)于用戶當(dāng)前觀看區(qū)域的解碼的圖像內(nèi)容1958、環(huán)境映射1954和UV映射來渲染內(nèi)容以用于顯示。因此，在一些實(shí)施例中，圖像渲染模塊1930被配置為執(zhí)行關(guān)于圖17中所示的步驟討論的功能。所生成的圖像內(nèi)容1960是3D圖像生成模塊1930的輸出。因此，渲染模塊1930向顯示器渲染3D圖像內(nèi)容1960。在一些實(shí)施例中，圖像渲染模塊1930被配置為將一個(gè)或多個(gè)生成的圖像輸出到例如顯示設(shè)備或另一設(shè)備。所生成的圖像可以經(jīng)由網(wǎng)絡(luò)接口1910和/或顯示設(shè)備接口1903輸出。

可用帶寬和/或支持的數(shù)據(jù)速率確定模塊1932被配置為確定在給定時(shí)間可用(例如，用于接收內(nèi)容流)的當(dāng)前最大可用帶寬和/或當(dāng)前最大可支持?jǐn)?shù)據(jù)速率。由于可用帶寬和/或可支持的數(shù)據(jù)速率會(huì)由于通信信道條件的改變或網(wǎng)絡(luò)問題而隨時(shí)間改變，因此在一些實(shí)施例中，確定模塊1932在持續(xù)的基礎(chǔ)上執(zhí)行監(jiān)視和/或確定，以檢測可用帶寬和/或支持的數(shù)據(jù)速率的改變。所確定的當(dāng)前最大可支持?jǐn)?shù)據(jù)速率和/或帶寬1950是確定模塊1932的輸出，并且可以在需要時(shí)更新。

頭部位置改變確定模塊1934被配置為例如通過檢查和比較頭部位置確定模塊1916的輸出的改變來確定用戶頭部位置是否已經(jīng)改變?？捎脦捄?或支持的數(shù)據(jù)速率改變確定模塊1936被配置為檢測與由確定模塊1932確定的當(dāng)前最大可用帶寬和/或當(dāng)前最大可支持?jǐn)?shù)據(jù)速率相比而言可用帶寬和/或支持的數(shù)據(jù)速率是否存在任何改變。

流選擇模塊1938被配置為基于用戶的當(dāng)前頭部位置來選擇多個(gè)內(nèi)容流中哪一個(gè)要在給定時(shí)間被接收以用于在回放中使用?；谟脩舻漠?dāng)前頭部位置的改變和/或其它因素，流選擇模塊1938可以在不同時(shí)間選擇不同的流。當(dāng)前被選流集合1961是流選擇模塊1938的輸出，并且指示當(dāng)前選擇用于接收的內(nèi)容流的集合。在一些實(shí)施例中，流選擇模塊1938包括被配置為作為流選擇操作的一部分執(zhí)行各種功能的多個(gè)子模塊。圖23更詳細(xì)地示出了流選擇模塊1938和包括在其中的各種模塊，并且將在后面討論。

被選流集合改變確定模塊1940被配置為確定當(dāng)前被選流集合1961是否已有改變，例如，由于選擇模塊選擇了一個(gè)或多個(gè)附加內(nèi)容流和/或由于被接收的一個(gè)或多個(gè)流已經(jīng)被終止/停止。被選流集合更新模塊1942被配置為當(dāng)被選流集合存在改變時(shí)(例如內(nèi)容流到被選流集合1961的添加或終止)更新當(dāng)前被選流集合1961，以反映對被選流集合的任何改變。流終止模塊1944被配置為終止/停止接收先前被接收但不再在當(dāng)前被選流集合1961中的一個(gè)或多個(gè)內(nèi)容流，例如由于當(dāng)前被選流集合1961由于流選擇的改變而被更新。

流信息1946包括關(guān)于可用于在回放中接收和使用的多個(gè)內(nèi)容流的信息。包括在流信息1946中的信息與圖18中所示和前面討論的相同或相似。所接收的帶寬和/或數(shù)據(jù)速率分配控制信息1948包括用于不同觀看方向的帶寬約束和/或指示關(guān)于對應(yīng)于為各種不同觀看方向提供內(nèi)容的內(nèi)容流的數(shù)據(jù)速率的約束的信息。所確定的當(dāng)前最大可支持?jǐn)?shù)據(jù)速率和/或帶寬1950指示在給定時(shí)間由回放系統(tǒng)1900確定的最大可支持?jǐn)?shù)據(jù)速率和/或帶寬。

所接收的環(huán)境映射1954包括定義3D表面的環(huán)境的3D深度映射。在一些實(shí)施例中，對應(yīng)于感興趣環(huán)境的一個(gè)或多個(gè)這樣的深度映射可以由回放系統(tǒng)1900接收。所接收的UV映射1956包括對應(yīng)于感興趣的環(huán)境/場景的部分的一個(gè)或多個(gè)UV映射。解碼的數(shù)據(jù)1958包括由解碼器1920根據(jù)本發(fā)明解碼的數(shù)據(jù)。解碼的數(shù)據(jù)1958包括包含由被選流集合傳送的環(huán)境的場景或場景部分的內(nèi)容。

在一些實(shí)施例中，上面討論的各種模塊被實(shí)現(xiàn)為軟件模塊。在其它實(shí)施例中，模塊在硬件中實(shí)現(xiàn)，例如實(shí)現(xiàn)為單獨(dú)的電路，其中每個(gè)模塊被實(shí)現(xiàn)為用于執(zhí)行該模塊對應(yīng)的功能的電路。在還有其它實(shí)施例中，模塊是利用軟件和硬件的組合來實(shí)現(xiàn)的。

雖然在圖19的例子中被示為要包括在存儲(chǔ)器1912中，但是被示為包括在回放設(shè)備1900中的模塊可以(并且在一些實(shí)施例中確實(shí))完全在處理器1908內(nèi)的硬件中實(shí)現(xiàn)，例如作為單獨(dú)的電路。模塊可以(并且在一些實(shí)施例中確實(shí))完全在硬件中實(shí)現(xiàn)，例如作為對應(yīng)于不同模塊的單獨(dú)電路。在其它實(shí)施例中，一些模塊在處理器1908內(nèi)被實(shí)現(xiàn)為例如電路，而其它模塊被實(shí)現(xiàn)為例如在處理器1908外部并且耦合到處理器1908的電路。如應(yīng)當(dāng)理解的，處理器上模塊的集成水平和/或一些模塊在處理器外部的水平可以是設(shè)計(jì)選擇之一。作為替代，不是被實(shí)現(xiàn)為電路，而是所有或一些模塊可以在軟件中實(shí)現(xiàn)并被存儲(chǔ)在系統(tǒng)1900的存儲(chǔ)器1912中，其中當(dāng)模塊被處理器(例如，處理器1908)執(zhí)行時(shí)，系統(tǒng)1900的模塊控制操作實(shí)現(xiàn)對應(yīng)于模塊的功能。在還有其它實(shí)施例中，各種模塊被實(shí)現(xiàn)為硬件和軟件的組合，例如，在處理器外部的另一電路向處理器1908提供輸入，然后處理器1908在軟件控制下操作，以執(zhí)行執(zhí)行模塊功能的一部分。

圖23更詳細(xì)地示出了在回放系統(tǒng)1900中使用的流選擇模塊1938和其中包括的各種模塊。流選擇模塊被配置為根據(jù)如關(guān)于圖14-16詳細(xì)討論的本發(fā)明的方法來選擇一個(gè)或多個(gè)內(nèi)容流。在一些實(shí)施例中，流選擇模塊被配置為基于用戶的頭部位置、流信息1946和/或最大可支持?jǐn)?shù)據(jù)速率來選擇要接收多個(gè)內(nèi)容流中哪一個(gè)。在一些實(shí)施例中，流選擇模塊1938包括被配置為基于用戶的頭部位置優(yōu)先化內(nèi)容流的流優(yōu)先化模塊2306。流優(yōu)先化模塊2306的輸出例如是具有指派的優(yōu)先級(jí)的內(nèi)容流的優(yōu)先化列表。下面關(guān)于圖24更詳細(xì)地討論流優(yōu)先化模塊2306。

流選擇模塊1938還包括被配置為例如基于帶寬和/或數(shù)據(jù)速率約束確定用于具有最高優(yōu)先級(jí)的流的最大帶寬和/或數(shù)據(jù)速率的最高優(yōu)先級(jí)流最大帶寬和/或數(shù)據(jù)速率確定模塊2308，以及被配置為確定要用于具有較低優(yōu)先級(jí)的每個(gè)流的最大帶寬和/或數(shù)據(jù)速率的較低優(yōu)先級(jí)流最大帶寬和/或數(shù)據(jù)速率確定模塊2310。在一些實(shí)施例中，確定模塊2308、2310使用帶寬控制信息1948和流優(yōu)先化模塊2306的輸出來執(zhí)行相應(yīng)的確定。因此，流選擇模塊1938可以包括一個(gè)或多個(gè)被配置為基于例如從網(wǎng)絡(luò)設(shè)備/服務(wù)器傳送到回放系統(tǒng)的帶寬約束來確定至少一個(gè)內(nèi)容流的帶寬的流帶寬確定模塊。

流選擇模塊1938還包括被配置為基于所確定的用于最高優(yōu)先級(jí)流的最大帶寬和/或數(shù)據(jù)速率并且基于可用帶寬和/或可支持?jǐn)?shù)據(jù)速率來確定最高優(yōu)先級(jí)流是否可被支持的模塊2312，以及被配置為選擇具有可被支持的最高優(yōu)先級(jí)的最高數(shù)據(jù)速率流的模塊2314。在一些實(shí)施例中，選擇模塊2314被配置為從被指派最高優(yōu)先級(jí)的多個(gè)內(nèi)容流中選擇一個(gè)內(nèi)容流，被指派最高優(yōu)先級(jí)的每個(gè)內(nèi)容流提供對應(yīng)于相同觀看方向的內(nèi)容，作為被配置為從具有相同優(yōu)先級(jí)的多個(gè)內(nèi)容流進(jìn)行選擇的一部分。在一些實(shí)施例中，模塊2314被配置為基于所確定的可用帶寬量從具有相同優(yōu)先級(jí)(例如，最高優(yōu)先級(jí))的多個(gè)內(nèi)容流中進(jìn)行選擇。因此，在一些實(shí)施例中，當(dāng)具有相同優(yōu)先級(jí)的多個(gè)流可用時(shí)，例如，一些具有高數(shù)據(jù)速率需求，而其它具有較低數(shù)據(jù)速率需求，如果可用帶寬和/或可支持?jǐn)?shù)據(jù)速率和帶寬約束允許這樣的選擇，則選擇模塊2314選擇最高質(zhì)量流，例如高數(shù)據(jù)速率流。

流選擇模塊1938還包括被配置為基于所確定的用于第二最高優(yōu)先級(jí)流的最大帶寬和/或數(shù)據(jù)速率并基于可用帶寬(例如，總的可用或剩余可用)和/或可支持的數(shù)據(jù)速率來確定第二最高優(yōu)先級(jí)流是否可被支持的模塊2316，被配置為選擇具有可被支持的第二高優(yōu)先級(jí)的最高數(shù)據(jù)速率流的模塊2318，被配置為基于所確定的用于第三最高優(yōu)先級(jí)流的最大帶寬和/或數(shù)據(jù)速率并集基于可用帶寬(例如，總的可用或剩余可用)和/或可支持的數(shù)據(jù)速率確定第三最高優(yōu)先級(jí)流是否可被支持的模塊2320，以及被配置為選擇具有可被支持的第三最高優(yōu)先級(jí)的最高數(shù)據(jù)速率流的模塊2322。因此，在一些實(shí)施例中，流選擇模塊1938被配置為例如通過優(yōu)先化模塊2306選擇已被指派最高優(yōu)先級(jí)的一個(gè)或多個(gè)內(nèi)容流。

流選擇模塊1938還包括附加容量/帶寬可用性確定模塊2324，其被配置為例如在已經(jīng)選擇一個(gè)或多個(gè)較高優(yōu)先級(jí)流用于接收之后確定是否存在任何剩余或附加可用帶寬以用于接收附加內(nèi)容流。在一些實(shí)施例中，流選擇模塊1938還包括模塊2326，其被配置為基于所確定的用于一個(gè)或多個(gè)較低優(yōu)先級(jí)流的最大帶寬和/或數(shù)據(jù)速率并且基于可用帶寬和/或可支持的數(shù)據(jù)速率來選擇可被支持的一個(gè)或多個(gè)較低優(yōu)先級(jí)流。

圖24示出了流優(yōu)先化模塊2306，其可被實(shí)現(xiàn)為例如流選擇模塊1938的一部分(例如，作為其子模塊)或者作為單獨(dú)的模塊。流優(yōu)先化模塊2306被配置為基于用戶的頭部位置來優(yōu)先化內(nèi)容流。一旦內(nèi)容流已經(jīng)被優(yōu)先化，流選擇模塊1938就可以從優(yōu)先化的內(nèi)容流執(zhí)行流選擇。在一些實(shí)施例中，流優(yōu)先化模塊2306包括被配置為基于用戶的當(dāng)前頭部位置來識(shí)別指示用戶正在觀看的場景區(qū)域的一部分的用戶當(dāng)前視野的當(dāng)前視野識(shí)別模塊2404，以及被配置為識(shí)別傳送與對應(yīng)于用戶當(dāng)前視野的場景區(qū)域的部分對應(yīng)的內(nèi)容的流的當(dāng)前視野流識(shí)別模塊2404。當(dāng)前視野流識(shí)別模塊2404的輸出在一些實(shí)施例中是可以存儲(chǔ)在存儲(chǔ)器1912中的識(shí)別出的流的列表，并且該列表可以在用戶的頭部位置并且因此在視野改變時(shí)被更新。因此，在各種實(shí)施例中，為了優(yōu)先化各種可用內(nèi)容流，首先識(shí)別對應(yīng)于頭部位置的用戶的當(dāng)前視野，并且識(shí)別傳送對應(yīng)于視野的內(nèi)容的流。

在一些實(shí)施例中，流優(yōu)先化模塊2306還包括被配置為確定從所識(shí)別出的流可用的對應(yīng)于用戶當(dāng)前視野的場景區(qū)域的部分的大小的模塊2406，以及被配置為基于每個(gè)流提供的部分的大小向提供對應(yīng)于用戶當(dāng)前視野的場景區(qū)域的部分的一個(gè)或多個(gè)流指派優(yōu)先級(jí)的優(yōu)先級(jí)指派/分配模塊2408。在一些實(shí)施例中，優(yōu)先級(jí)指派/分配模塊2408包括模塊2410，其被配置為向提供視野的最大部分的流指派最高優(yōu)先級(jí)，例如將提供對應(yīng)于當(dāng)前視野的場景的最大部分的流指定為主流。在一些實(shí)施例中，優(yōu)先級(jí)指派/分配模塊2408還包括模塊2412，其被配置為基于每個(gè)剩余的流提供的視野部分的大小來指派接下來的最高優(yōu)先級(jí)并指定剩余的流(例如，作為次要、第三級(jí)，等等)，例如提供視野的較大部分的流比提供對應(yīng)于當(dāng)前視野的場景的較小部分的流被給予更高的優(yōu)先級(jí)和指定。

在一些實(shí)施例中，流優(yōu)先化模塊2306還包括模塊2414，其被配置為確定是否存在剩余流要被優(yōu)先化，例如，提供對應(yīng)于在當(dāng)前視野之外的場景區(qū)域的內(nèi)容的流。

在一些實(shí)施例中，流優(yōu)先化模塊2306還包括模塊2416，其被配置為基于圖像內(nèi)容與當(dāng)前視野的接近度或者頭部旋轉(zhuǎn)的方向來優(yōu)先化提供在用戶當(dāng)前視野之外的內(nèi)容的一個(gè)或多個(gè)附加流，例如，向其指派優(yōu)先級(jí)。在一些實(shí)施例中，模塊2416被配置為基于所傳送的圖像內(nèi)容與當(dāng)前視野的接近度來優(yōu)先化傳送對應(yīng)于在所述當(dāng)前視野之外的部分的內(nèi)容的一個(gè)或多個(gè)附加流，傳送在當(dāng)前視野緊密附近的圖像內(nèi)容的內(nèi)容流比在當(dāng)前視野之外并進(jìn)一步遠(yuǎn)離的內(nèi)容流被指派更高優(yōu)先級(jí)。

在一些實(shí)施例中，模塊2416包括頭部旋轉(zhuǎn)確定模塊2418，其被配置為確定是否檢測到用戶的頭部旋轉(zhuǎn)，例如作為用戶頭部位置改變的一部分。在一些但不是所有的實(shí)施例中，當(dāng)用戶朝天空或屋頂向上或者朝地面向下看時(shí)，雖然頭部位置有改變，但是這種頭部運(yùn)動(dòng)不被認(rèn)為是頭部旋轉(zhuǎn)。在一些實(shí)施例中，模塊2416被配置為基于用戶的頭部旋轉(zhuǎn)方向來優(yōu)先化一個(gè)或多個(gè)附加內(nèi)容流，提供在當(dāng)前視野之外但是在頭部旋轉(zhuǎn)方向上的圖像內(nèi)容的內(nèi)容流比在當(dāng)前視野之外并且在遠(yuǎn)離頭部旋轉(zhuǎn)方向的方向上的圖像內(nèi)容的另一內(nèi)容流被指派較高的優(yōu)先級(jí)。在一些這樣的實(shí)施例中，模塊2416還包括模塊2420，其被配置為向提供對應(yīng)于在當(dāng)前視野之外的場景部分(例如，場景環(huán)境的頂部或底部)的內(nèi)容的流指派下一較低優(yōu)先級(jí)(例如，在較高優(yōu)先級(jí)被指派給提供對應(yīng)于視野的內(nèi)容的流之后)和流指定，例如第三級(jí)。在一些實(shí)施例中，當(dāng)確定不存在頭部旋轉(zhuǎn)時(shí)，頭部旋轉(zhuǎn)確定模塊向模塊2420提供控制輸入，以便向附加的流指派優(yōu)先級(jí)。

在一些實(shí)施例中，模塊2416還包括頭部旋轉(zhuǎn)方向確定模塊2422，其被配置為確定用戶頭部相對于先前頭部位置的旋轉(zhuǎn)方向，例如，向左或向右。在一些實(shí)施例中，模塊2416還包括模塊2424，其被配置為考慮頭部旋轉(zhuǎn)方向而向傳送對應(yīng)于在當(dāng)前視野之外的部分的內(nèi)容的一個(gè)或多個(gè)附加流指派優(yōu)先級(jí)。在一些實(shí)施例中，模塊2424包括模塊2426，其被配置為向提供對應(yīng)于場景的在頭部方向上的一部分的內(nèi)容的流指派下一較低優(yōu)先級(jí)(例如，從較高開始的下一個(gè)可用優(yōu)先級(jí))和指定，例如第三級(jí)流。因此，應(yīng)當(dāng)理解，如果檢測到頭部旋轉(zhuǎn)，則在一些實(shí)施例中基于頭部旋轉(zhuǎn)的方向來執(zhí)行對流的優(yōu)先級(jí)指派。在一些實(shí)施例中，模塊2416還包括被配置為向考慮的任何剩余流指派更低優(yōu)先級(jí)的附加模塊2428。

雖然在圖19的實(shí)施例中被示為單個(gè)處理器(例如計(jì)算機(jī))，但是應(yīng)當(dāng)理解，處理器1908可以被實(shí)現(xiàn)為一個(gè)或多個(gè)處理器，例如計(jì)算機(jī)。當(dāng)在軟件中實(shí)現(xiàn)時(shí)，模塊包括在由處理器1908執(zhí)行時(shí)配置處理器1908以實(shí)現(xiàn)對應(yīng)于該模塊的功能的代碼。在圖19、23和24所示的各種模塊存儲(chǔ)在存儲(chǔ)器1912中的實(shí)施例中，存儲(chǔ)器1912是包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)可讀介質(zhì)包括代碼，例如用于每個(gè)模塊的單獨(dú)代碼，用于使至少一個(gè)計(jì)算機(jī)(例如處理器1908)實(shí)現(xiàn)模塊對應(yīng)的功能。

可以使用完全基于硬件或完全基于軟件的模塊。但是，應(yīng)當(dāng)理解，可以使用軟件和硬件的任任何組合，例如，電路實(shí)現(xiàn)的模塊可被用來實(shí)現(xiàn)功能。如應(yīng)當(dāng)理解的，圖19、23和24中所示的模塊控制和/或配置系統(tǒng)1900或其中的元件(諸如處理器1908)來執(zhí)行在圖14的流程圖1400的方法中示出和/或描述的對應(yīng)步驟的功能并執(zhí)行圖15-17中所示的對應(yīng)步驟的功能。

包括圖20A、圖20B、圖20C、圖20D和圖20E的組合的圖20是根據(jù)各種示例性實(shí)施例的操作內(nèi)容回放系統(tǒng)的示例性方法的流程圖2000。根據(jù)各種實(shí)施例，內(nèi)容回放系統(tǒng)例如是耦合到顯示器的內(nèi)容回放設(shè)備或計(jì)算機(jī)系統(tǒng)。

示例性方法的操作開始于步驟2002，其中內(nèi)容回放系統(tǒng)上電并初始化。操作從步驟2002前進(jìn)到步驟2004，其中內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的第一后視圖部分的第一圖像。操作從步驟2004前進(jìn)到步驟2006，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述第一后視圖部分的所述接收到的第一圖像。操作從步驟2006前進(jìn)到步驟2008，其中內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的所述第一后視圖部分的一個(gè)或多個(gè)附加圖像，包括對應(yīng)于所述環(huán)境的所述第一后視圖部分的至少第二圖像。操作從步驟2008前進(jìn)到步驟2010，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述第一后視圖部分的所述接收到的一個(gè)或多個(gè)附加圖像。操作從步驟2010前進(jìn)到步驟2012。

在步驟2012中，內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的第二后視圖部分的第一圖像。操作從步驟2012前進(jìn)到步驟2014，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二后視圖部分的所述接收到的第一圖像。操作從步驟2014前進(jìn)到步驟2016，其中內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的所述第二后視圖部分的一個(gè)或多個(gè)附加圖像，包括至少對應(yīng)于所述環(huán)境的所述第二后視圖部分的第二圖像。操作從步驟2016前進(jìn)到步驟2018，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二后視圖部分的所述接收到的一個(gè)或多個(gè)附加圖像。操作從步驟2018前進(jìn)到步驟2020。

在步驟2020中，內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的天空視圖部分的一個(gè)或多個(gè)圖像。操作從步驟2020前進(jìn)到步驟2022，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述天空視圖部分的所述接收到的一個(gè)或多個(gè)圖像。操作從步驟2022前進(jìn)到步驟2024，其中內(nèi)容回放系統(tǒng)接收對應(yīng)于所述環(huán)境的地面視圖部分的一個(gè)或多個(gè)圖像。操作從步驟2024前進(jìn)到步驟2026，其中內(nèi)容回放系統(tǒng)存儲(chǔ)對應(yīng)于所述環(huán)境的所述地面視圖部分的所述接收到的一個(gè)或多個(gè)圖像。在一些實(shí)施例中，天空視圖和地面視圖被用來指相對于觀看者的標(biāo)稱頭部方向視角(perspective)的上行方向和下行方向并且應(yīng)用于室內(nèi)環(huán)境以及室外環(huán)境。

在一些實(shí)施例中，例如依賴特定的實(shí)施例，可以接收對應(yīng)于第一后視圖部分、第二后視圖部分、天空視圖部分和地面視圖部分當(dāng)中的一些但不一定是全部的圖像。

操作從步驟2026經(jīng)由連接節(jié)點(diǎn)A 2028前進(jìn)到步驟2030、到達(dá)步驟2034，并且經(jīng)由連接節(jié)點(diǎn)B 2036到達(dá)步驟2028、2040、2042、2044、2046、2048、2050和2052。返回到步驟2030，在步驟2030中，內(nèi)容回放系統(tǒng)確定觀看者的頭部位置，所述頭部位置對應(yīng)于當(dāng)前視野。操作從步驟2030前進(jìn)到步驟2032，其中內(nèi)容回放系統(tǒng)基于所確定的頭部位置來確定所述觀看者的當(dāng)前視野。操作從步驟2032前進(jìn)到步驟2030。例如在持續(xù)的基礎(chǔ)上，重復(fù)地執(zhí)行步驟2030和2032，且當(dāng)前視野被更新(例如，刷新)。所確定的當(dāng)前視野可用于在生成輸出圖像時(shí)使用。

在步驟2034中，內(nèi)容回放系統(tǒng)接收提供對應(yīng)于環(huán)境的第一部分(例如，前向部分視圖)的內(nèi)容的第一內(nèi)容流。

在步驟2038中，內(nèi)容回放系統(tǒng)接收控制信息，該控制信息指示在回放時(shí)間期間應(yīng)當(dāng)顯示對應(yīng)于所述環(huán)境的所述第一后視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在步驟2040中，內(nèi)容回放系統(tǒng)接收圖像選擇信息，該圖像選擇信息指示在所述事件的一部分期間應(yīng)當(dāng)使用對應(yīng)于環(huán)境的所述第一后視圖部分的多個(gè)圖像中的哪一個(gè)。

在步驟2042中，內(nèi)容回放系統(tǒng)接收控制信息，該控制信息指示在回放時(shí)間期間2236應(yīng)當(dāng)顯示對應(yīng)于所述環(huán)境的所述第二后視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在步驟2044中，內(nèi)容回放系統(tǒng)接收圖像選擇信息，該圖像選擇信息指示在所述事件的一部分期間應(yīng)當(dāng)使用對應(yīng)于環(huán)境的所述第二后視圖部分的多個(gè)圖像中的哪一個(gè)。

在步驟2046中，內(nèi)容回放設(shè)備接收控制信息，該控制信息指示在回放時(shí)間期間應(yīng)當(dāng)顯示對應(yīng)于所述環(huán)境的所述天空視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在步驟2048中，內(nèi)容回放系統(tǒng)接收圖像選擇信息，該圖像選擇信息指示在所述事件的一部分期間應(yīng)當(dāng)使用對應(yīng)于環(huán)境的所述天空視圖部分的多個(gè)圖像中的哪一個(gè)。

在步驟2050中，內(nèi)容回放系統(tǒng)接收控制信息，該控制信息指示在回放時(shí)間期間應(yīng)當(dāng)顯示對應(yīng)于所述環(huán)境的所述地面視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在步驟2052中，內(nèi)容回放系統(tǒng)接收圖像選擇信息，該圖像選擇信息指示在所述事件的一部分期間應(yīng)當(dāng)使用對應(yīng)于環(huán)境的所述地面視圖部分的多個(gè)圖像中的哪一個(gè)。

操作從步驟2032、步驟2034和步驟(可以并行執(zhí)行的2038、2040、2042、2044、2046、2048、2050和2052，經(jīng)由連接節(jié)點(diǎn)C2054)經(jīng)由連接節(jié)點(diǎn)D 2056前進(jìn)到步驟2058。

在一些實(shí)施例中，來自步驟2038、2040、2042、2044、2046,2048、2050和2052的控制信息以例如逐個(gè)的方式稍微先于步驟2034的對應(yīng)的第一流內(nèi)容被發(fā)送，對于該第一流內(nèi)容，控制信息將被使用。在一些其它實(shí)施例中，控制信息塊在開始接收第一內(nèi)容流之前或與其同時(shí)被接收。

在步驟2058中，內(nèi)容回放系統(tǒng)基于以下至少一個(gè)來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像：來自對應(yīng)于環(huán)境的第一部分視圖(例如，前向部分視圖)的第一內(nèi)容流的所接收內(nèi)容、對應(yīng)于環(huán)境的第一后視圖部分的存儲(chǔ)的所接收圖像、對應(yīng)于環(huán)境的第二后視圖部分的存儲(chǔ)的所接收圖像、對應(yīng)于環(huán)境的天空視圖部分的存儲(chǔ)的所接收圖像、對應(yīng)于環(huán)境的地面視圖部分的存儲(chǔ)的所接收圖像，或?qū)?yīng)于當(dāng)前視野的圖像不可用的一部分的合成圖像。步驟2058包括步驟2060、2062、2064、2066、2068、2076和2078。

在步驟2060中，內(nèi)容回放系統(tǒng)基于當(dāng)前視野確定要在生成一個(gè)或多個(gè)輸出圖像中使用的視圖部分(例如，對其存在可用數(shù)據(jù))的集合。一些示例性確定的集合包括例如：{}、{前視圖部分}、{第一后視圖部分}、{第二后視圖部分}、{天空視圖部分}、{地面視圖部分}、{前視圖部分、天空視圖部分}、{前視圖部分、地面視圖部分}、{前視圖部分、第一后視圖部分}、{前視圖部分、第二后視圖部分}、{前視圖部分、第一后視圖部分、天空部分}、{前視圖部分、第二后視圖部分、天空視圖部分}、{前視圖部分、第一后視圖部分、地面視圖部分}、{前視圖部分、第二后視圖部分、地面視圖部分}、{第一后視圖部分、天空視圖部分}、{第一后視圖部分、地面視圖部分}、{第一后視圖部分，第二后視圖部分}、{第一后視圖部分、第二后視圖部分、天空視圖部分}、{第一后視圖部分、第二后視圖部分、地面視圖部分}，{第二后視圖部分、天空視圖部分}和{第二后視圖部分、地面視圖部分}。

操作從步驟2060前進(jìn)到步驟2062。在步驟2062中，內(nèi)容回放系統(tǒng)確定是否滿足以下兩個(gè)條件：(i)從步驟2060確定的視圖部分的集合僅包括第一視圖部分和(ii)在第一視圖部分之外沒有當(dāng)前視野的部分。如果確定所確定的集合僅包括第一視圖部分并且在第一視圖部分之外不存在當(dāng)前視野的部分，則操作從步驟2062前進(jìn)到步驟2064；否則，操作從步驟2062前進(jìn)到步驟2066。

在步驟2064中，內(nèi)容回放系統(tǒng)基于從第一內(nèi)容流接收的內(nèi)容生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。

在步驟2066中，內(nèi)容回放系統(tǒng)確定是否存在圖像不可用的所述當(dāng)前視野的任何部分。如果內(nèi)容回放系統(tǒng)確定存在圖像不可用的當(dāng)前視野的至少一個(gè)部分，則操作從步驟2066前進(jìn)到步驟2076；否則，操作從步驟2066前進(jìn)到步驟2068。

在步驟2068中，內(nèi)容回放系統(tǒng)基于在生成一個(gè)或多個(gè)輸出圖像時(shí)要使用的所確定的視圖部分的集合來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。步驟2068可以(并且有時(shí)候確實(shí))包括步驟2070，其中內(nèi)容回放系統(tǒng)基于包括在第一內(nèi)容流中的至少一些接收到的內(nèi)容和對應(yīng)于所述環(huán)境的第二部分的所存儲(chǔ)的內(nèi)容來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。在一些實(shí)施例中，步驟2070包括步驟2072和2074中的一個(gè)或兩個(gè)。在步驟2072中，內(nèi)容回放系統(tǒng)基于接收到的圖像選擇信息來選擇對應(yīng)于環(huán)境的第二部分視圖的圖像。操作從步驟2072前進(jìn)到步驟2074。在步驟2074中，內(nèi)容回放系統(tǒng)將從在第二時(shí)間點(diǎn)捕獲的所述第一內(nèi)容流獲得的內(nèi)容與對應(yīng)于所述第一時(shí)間點(diǎn)的第一圖像組合，所述第一時(shí)間點(diǎn)與第二時(shí)間點(diǎn)不同。

在一些實(shí)施例中，第一圖像是環(huán)境的第二部分的第一圖像，并且第二部分是環(huán)境的第一后視圖部分和環(huán)境的第二后視圖部分之一。在一些這樣的實(shí)施例中，第一時(shí)間點(diǎn)對應(yīng)于第二時(shí)間點(diǎn)之前的時(shí)間。在一些這樣的實(shí)施例中，第一時(shí)間點(diǎn)在直播事件的時(shí)間之前，在該直播事件期間捕獲第一內(nèi)容流中的圖像。

返回到步驟2076，對圖像不可用的每個(gè)部分執(zhí)行步驟2076。在步驟2076中，內(nèi)容回放系統(tǒng)為所述當(dāng)前視野的圖像不可用的部分合成圖像。操作從步驟2076前進(jìn)到步驟2078。在步驟2078中，內(nèi)容回放系統(tǒng)基于在生成一個(gè)或多個(gè)輸出圖像和/或一個(gè)或多個(gè)合成圖像中要使用的環(huán)境的所確定視圖部分集合來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。由步驟2078生成的輸出圖像可以包括：完全合成的圖像；包括來自合成圖像的內(nèi)容和來自第一內(nèi)容流的內(nèi)容的圖像；包括來自合成圖像的內(nèi)容、來自第一內(nèi)容流的內(nèi)容和來自存儲(chǔ)的圖像的內(nèi)容的圖像；以及包括來自合成圖像的內(nèi)容和來自存儲(chǔ)圖像的內(nèi)容的圖像。在各種實(shí)施例中，步驟2078可以(并且有時(shí)候確實(shí))包括步驟2080和2082中的一個(gè)或兩個(gè)。

在步驟2080中，內(nèi)容回放系統(tǒng)基于包括在第一內(nèi)容流中的至少一些接收到的內(nèi)容和模擬環(huán)境的一部分(例如，第二部分)的合成圖像來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。在步驟2082中，內(nèi)容回放設(shè)備將合成圖像與接收到的圖像的至少一部分組合，以生成對應(yīng)于當(dāng)前視野的圖像。

應(yīng)當(dāng)理解，當(dāng)前視野可以(并且通常確實(shí))隨時(shí)間而改變。響應(yīng)于當(dāng)前視野的改變，可以在步驟2060中確定要被用來生成輸出圖像的視圖部分的不同集合，不同的圖像可能需要并且在步驟2076中合成，例如，對應(yīng)于視野的沒有圖像的不同部分。此外，在不同時(shí)間，基于接收到的控制信息，可以識(shí)別不同的存儲(chǔ)圖像以用于生成在不同時(shí)間的組合輸出圖像。

操作從步驟2058經(jīng)由連接節(jié)點(diǎn)E 2084前進(jìn)到步驟2086，其中內(nèi)容回放系統(tǒng)輸出和/或顯示所生成的一個(gè)或多個(gè)輸出圖像。步驟2086包括步驟2088，其中內(nèi)容回放系統(tǒng)輸出和/或顯示第一輸出圖像，所述第一輸出圖像是一個(gè)或多個(gè)生成的輸出圖像之一。

在一些實(shí)施例中，例如在步驟2070中生成的對應(yīng)于當(dāng)前視野的生成的輸出圖像可以(并且有時(shí)候確實(shí))包括來自環(huán)境的第一部分、環(huán)境的第二部分以及環(huán)境的第三部分的信息。在一些實(shí)施例中，對應(yīng)于第一內(nèi)容流的環(huán)境的第一部分是前視圖部分，環(huán)境的第二部分是環(huán)境的第一后視圖部分(例如，右后視圖部分)和第二后視圖部分(例如，左后視圖部分)之一，環(huán)境的第三部分是環(huán)境的天空視圖部分和地面視圖部分之一。在一些這樣的實(shí)施例中，對應(yīng)于所述第一部分的內(nèi)容包括在事件正在進(jìn)行時(shí)捕獲并被流化到所述回放系統(tǒng)的實(shí)時(shí)內(nèi)容，而對應(yīng)于所述第二和第三部分的內(nèi)容是非實(shí)時(shí)圖像。

在各種實(shí)施例中，組合內(nèi)容以生成對應(yīng)于當(dāng)前視野的輸出圖像包括在一個(gè)或多個(gè)邊界區(qū)域中執(zhí)行過濾、模糊、亮度變化和/或色彩變化，例如在以下任何兩個(gè)之間的邊界區(qū)域中：從對應(yīng)于環(huán)境的前視圖部分的第一內(nèi)容流獲得的圖像、對應(yīng)于環(huán)境的第一后視圖部分的存儲(chǔ)的圖像、對應(yīng)于環(huán)境的第二后視圖部分的存儲(chǔ)的圖像，對應(yīng)于環(huán)境的天空視圖部分的存儲(chǔ)的圖像、對應(yīng)于環(huán)境的地面視圖部分的存儲(chǔ)的圖像，以及對應(yīng)于當(dāng)前視野中對其不存在圖像的區(qū)域的合成圖像。

在一些實(shí)施例中，存在沒有被對應(yīng)于第一內(nèi)容流的第一(例如，前視圖部分)覆蓋的環(huán)境的一些部分，以及為其存儲(chǔ)了接收到的圖像的一個(gè)或多個(gè)附加部分。在各種實(shí)施例中，對于環(huán)境的那些未被覆蓋的部分，圖像被合成。例如，在一個(gè)實(shí)施例中，可以不存在對應(yīng)于天空視圖部分的存儲(chǔ)圖像，并且在當(dāng)前視野包括天空視圖的一部分時(shí)，圖像被合成。在另一個(gè)例子中，在第一后視圖部分和第二后視圖部分之間可以存在死角，例如未被覆蓋的區(qū)域。在一些實(shí)施例中，合成圖像包括重復(fù)對應(yīng)于環(huán)境中的相鄰區(qū)域的圖像的一部分，例如存儲(chǔ)的圖像的一部分或者從接收到的第一內(nèi)容流獲得的圖像的一部分。

在一些實(shí)施例中，在步驟2034中接收到的第一圖像內(nèi)容是包括左眼圖像和右眼圖像的立體圖像內(nèi)容，例如，左眼和右眼圖像對被接收。在一些這樣的實(shí)施例中，被接收和存儲(chǔ)的對應(yīng)于第一后視圖部分、第二后視圖部分、天空視圖部分和地面視圖部分的圖像包括例如成對的左眼圖像和右眼圖像。因此，當(dāng)例如在步驟2070中生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像時(shí)，來自對應(yīng)于第一視圖部分(例如，前視圖部分)的第一內(nèi)容流的左眼圖像與對應(yīng)于環(huán)境的一個(gè)或多個(gè)其它部分的存儲(chǔ)的左眼圖像組合，來自對應(yīng)于第一視圖部分(例如，前視圖部分)的第一內(nèi)容流的右眼圖像與對應(yīng)于環(huán)境的一個(gè)或多個(gè)其它部分的存儲(chǔ)的右眼圖像組合。

在一些其它實(shí)施例中，被接收和存儲(chǔ)的對應(yīng)于第一后視圖部分、第二后視圖部分、天空視圖部分和地面視圖部分的圖像包括來自原始圖像對的左眼圖像或右眼圖像或者包括單個(gè)(單色)圖像，例如，來自單獨(dú)操作以捕獲視圖部分的單個(gè)相機(jī)。因此，在這樣的實(shí)施例中，當(dāng)例如在步驟2070中生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像時(shí)，來自第一內(nèi)容流(例如，對應(yīng)于前視圖部分)的左眼圖像和來自第一內(nèi)容流的對應(yīng)的右眼圖像都與來自另一視圖部分的相同的存儲(chǔ)圖像組合。

在還有另一實(shí)施例中，一些存儲(chǔ)的圖像包括左眼和右眼圖像對，而其它圖像包括單個(gè)存儲(chǔ)的圖像。例如，對應(yīng)于第一后視圖部分的所存儲(chǔ)的接收圖像可以包括左眼和右眼圖像對，而對應(yīng)于天空視圖部分所存儲(chǔ)的接收圖像可以包括單個(gè)圖像，例如單色圖像，而不是成對。

在一些實(shí)施例中，環(huán)境的第一部分(例如，對應(yīng)于所接收的第一內(nèi)容流)是前視圖部分，環(huán)境的第二部分是后視圖部分(例如，對應(yīng)于對應(yīng)于觀看者的右后方的第一后視圖部分或者對應(yīng)于觀看者的左后方的第二后視圖部分)，環(huán)境的第三部分是天空視圖部分或地面視圖部分。在一些這樣的實(shí)施例中，圖像以對應(yīng)于第一、第二和第三部分的不同速率被接收，更多圖像為對應(yīng)于所述第一部分而不是所述第二部分的事件被接收。在一些這樣的實(shí)施例中，接收對應(yīng)于所述第二部分而不是所述第三部分的更多圖像。

根據(jù)一些實(shí)施例，操作內(nèi)容回放系統(tǒng)的示例性方法包括：確定觀看者的頭部位置，所述頭部位置對應(yīng)于當(dāng)前視野；接收提供對應(yīng)于環(huán)境的第一部分的內(nèi)容的第一內(nèi)容流；基于包括在所述第一內(nèi)容流中的至少一些接收到的內(nèi)容以及i)對應(yīng)于所述環(huán)境的第二部分的存儲(chǔ)的內(nèi)容或ii)模擬所述環(huán)境的第二部分的合成圖像，生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像；以及輸出或顯示第一輸出圖像，所述第一輸出圖像是一個(gè)或多個(gè)生成的輸出圖像之一。在一些實(shí)施例中，內(nèi)容回放系統(tǒng)是內(nèi)容回放設(shè)備。在一些實(shí)施例中，內(nèi)容回放系統(tǒng)是耦合到顯示器的計(jì)算機(jī)系統(tǒng)。

在各種實(shí)施例中，該方法還包括：接收對應(yīng)于所述環(huán)境的所述第二部分的第一圖像；以及存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二部分的所述第一圖像。

在一些實(shí)施例中，所述環(huán)境的所述第二部分的所述第一圖像對應(yīng)于第一時(shí)間點(diǎn)；生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像包括組合從在第二時(shí)間點(diǎn)捕獲的所述第一內(nèi)容流獲得的內(nèi)容與對應(yīng)于所述第一時(shí)間點(diǎn)的所述第一圖像，所述第一時(shí)間點(diǎn)與第二時(shí)間點(diǎn)不同。在一些這樣的實(shí)施例中，所述第一時(shí)間點(diǎn)對應(yīng)于所述第二時(shí)間點(diǎn)之前的時(shí)間。在一些這樣的實(shí)施例中，所述第一時(shí)間點(diǎn)在直播事件的時(shí)間之前，在該直播事件期間捕獲包括在所述第一內(nèi)容流中的圖像。

在各種實(shí)施例中，該方法還包括接收對應(yīng)于所述環(huán)境的所述第二部分的一個(gè)或多個(gè)附加圖像，所述一個(gè)或多個(gè)附加圖像對應(yīng)于所述環(huán)境的所述第二部分，至少包括第二圖像。

在一些實(shí)施例中，該方法包括接收控制信息，控制信息指示對應(yīng)于所述環(huán)境的所述第二部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。

在一些實(shí)施例中，所述環(huán)境的第二部分是第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分之一。在一些這樣的實(shí)施例中，該方法還包括：接收對應(yīng)于所述環(huán)境的第三部分的一個(gè)或多個(gè)圖像。

在各種實(shí)施例中，所述環(huán)境的所述第一部分是前視圖部分；所述第三部分是天空視圖或地面視圖部分之一；并且圖像以對應(yīng)于所述第一、第二和第三部分的不同速率被接收，更多圖像為對應(yīng)于所述第一部分而不是所述第二部分的事件接收。

在各種實(shí)施例中，對應(yīng)于所述第一部分的所述內(nèi)容包括在事件正在進(jìn)行時(shí)被捕獲并流化到所述回放設(shè)備的實(shí)時(shí)內(nèi)容；與對應(yīng)于所述第二和第三部分的所述圖像對應(yīng)的內(nèi)容是非實(shí)時(shí)圖像。在一些這樣的實(shí)施例中，接收指示對應(yīng)于環(huán)境的所述第二部分的多個(gè)圖像中的哪個(gè)應(yīng)當(dāng)在所述事件的一部分期間被使用的圖像選擇信息；并且

基于至少一些接收到的內(nèi)容生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像包括：基于接收到的圖像選擇信息選擇對應(yīng)于環(huán)境的所述第二部分的圖像。

在各種實(shí)施例中，示例性方法包括確定圖像對所述當(dāng)前視野的一部分不可用；合成要用于所述當(dāng)前視野的圖像對其不可用的所述部分的圖像；以及組合合成圖像與接收到的圖像的至少一部分，以生成對應(yīng)于當(dāng)前視野的圖像。

在各種實(shí)施例中，所述第一圖像內(nèi)容是包括左眼圖像和右眼圖像的立體圖像內(nèi)容。

圖21示出了根據(jù)本發(fā)明實(shí)現(xiàn)的示例性內(nèi)容回放系統(tǒng)2100，其可被用來接收、解碼、存儲(chǔ)、處理和顯示從內(nèi)容交付系統(tǒng)(諸如圖1和7中所示的內(nèi)容交付系統(tǒng))接收的成像內(nèi)容。系統(tǒng)2100可被實(shí)現(xiàn)為包括顯示器2102的單個(gè)回放設(shè)備2100'，或?qū)崿F(xiàn)為諸如耦合到計(jì)算機(jī)系統(tǒng)2100'的外部顯示器(例如，頭戴式顯示器2105)的元件的組合。

在至少一些實(shí)施例中，內(nèi)容回放系統(tǒng)2100包括3D頭戴式顯示器。頭戴式顯示器可以利用可以包括頭戴式顯示器2105的OCULUSRIFT^TM VR(虛擬現(xiàn)實(shí))耳機(jī)來實(shí)現(xiàn)。在各種實(shí)施例中，頭戴式顯示器2105與頭戴式顯示器805相同。還可使用其它頭戴式顯示器。在一些實(shí)施例中，頭戴式頭盔或其它頭戴式設(shè)備，其中一個(gè)或多個(gè)顯示屏被用來向用戶的左眼和右眼顯示內(nèi)容。通過在單個(gè)屏幕上向左眼和右眼顯示不同的圖像，其中頭戴式設(shè)備被配置為將單個(gè)屏幕的不同部分暴露給不同的眼睛，可以使用單個(gè)顯示器來顯示將被觀看者的左眼和右眼分別感知到的左眼和右眼圖像。在一些實(shí)施例中，手機(jī)屏幕被用作頭戴式顯示設(shè)備的顯示器。在至少一些這樣的實(shí)施例中，手機(jī)被插入頭戴式設(shè)備并且手機(jī)被用來顯示圖像。

內(nèi)容回放系統(tǒng)2100具有解碼接收到的編碼圖像數(shù)據(jù)并且生成用于向消費(fèi)者顯示的3D圖像內(nèi)容的能力，其中編碼圖像數(shù)據(jù)例如左眼和右眼圖像和/或?qū)?yīng)于環(huán)境或場景的不同部分的單聲道(單個(gè)圖像)，其中顯示是例如通過將用戶感知到的不同的左眼和右眼視圖渲染并顯示為3D圖像。在一些實(shí)施例中，內(nèi)容回放系統(tǒng)2100位于消費(fèi)者駐地位置，諸如家或辦公室，但也可以位于圖像捕獲地點(diǎn)。根據(jù)本發(fā)明，內(nèi)容回放系統(tǒng)2100可以執(zhí)行根據(jù)本發(fā)明的信號(hào)接收、解碼、顯示和/或其它操作。

系統(tǒng)2100包括顯示器2102、顯示設(shè)備接口2103、輸入設(shè)備2104、輸入/輸出(I/O)接口2106、處理器2108、網(wǎng)絡(luò)接口2110和存儲(chǔ)器2112。存儲(chǔ)器2112包括模塊組件2114，例如軟件模塊組件，及數(shù)據(jù)/信息2116。在一些實(shí)施例中，系統(tǒng)2100包括模塊組件2115，例如硬件模塊(例如電路)組件。系統(tǒng)2100的各種部件經(jīng)由允許數(shù)據(jù)在系統(tǒng)2100的部件之間通信的總線2109和/或通過其它連接或通過無線接口耦合在一起。雖然在一些實(shí)施例中顯示器2102作為可選元件被包括，如利用虛線框所示的，但是在一些實(shí)施例中，外部顯示設(shè)備2105，例如頭戴式立體顯示設(shè)備，可以經(jīng)由顯示設(shè)備接口2103耦合到回放設(shè)備。

例如，在手機(jī)處理器被用作處理器2108并且手機(jī)在頭戴式設(shè)備中生成和顯示圖像的情況下，系統(tǒng)可以包括處理器2108、顯示器2102和存儲(chǔ)器2112，作為頭戴式設(shè)備的一部分。處理器2108、顯示器2102和存儲(chǔ)器2112都可以是手機(jī)的一部分。在系統(tǒng)2100的其它實(shí)施例中，處理器2108可以是諸如XBOX或PS4的游戲系統(tǒng)的一部分，其中顯示器2105安裝在頭戴式設(shè)備中并且耦合到游戲系統(tǒng)。處理器2108和/或存儲(chǔ)器2112是否位于佩戴在頭上的設(shè)備中并不是關(guān)鍵的并且，如可以理解的，雖然在一些情況下在頭飾中共同定位處理器2108會(huì)是方便的，但是從功率、熱量和重量的角度來看，在至少一些情況下，可能期望使處理器2108和存儲(chǔ)器2112耦合到包括顯示器的頭飾。

雖然各種實(shí)施例構(gòu)想了頭戴式顯示器2105或2102，但是該方法和裝置還可以與可支持3D圖像的非頭戴式顯示器一起使用。因而，雖然在許多實(shí)施例中系統(tǒng)2100包括頭戴式顯示器，但是它還可以利用非頭戴式顯示器來實(shí)現(xiàn)。

存儲(chǔ)器2112包括各種模塊，例如例程，當(dāng)其被處理器2108執(zhí)行時(shí)，控制內(nèi)容回放系統(tǒng)2100執(zhí)行根據(jù)本發(fā)明的操作。存儲(chǔ)器2112包括模塊組件2114，例如軟件模塊組件，及數(shù)據(jù)/信息2116。

數(shù)據(jù)信息2116包括以下一個(gè)或多個(gè)：對應(yīng)于第一后視圖部分2118的接收圖像、對應(yīng)于第二后視圖部分2120的接收圖像、對應(yīng)于天空視圖部分2122的接收圖像、及對應(yīng)于地面視圖部分2124的接收圖像。對應(yīng)于后視圖部分2118或2120的示例性接收圖像包括例如觀眾或人群站立的圖像、觀眾或人群坐著的圖像、具有不同可見廣告的圖像、人群歡呼的圖像等。對應(yīng)于天空視圖的示例性接收圖像包括例如晴空、不同的云圖案、對應(yīng)于不同時(shí)間的不同暗度等。數(shù)據(jù)信息2116還包括以下一個(gè)或多個(gè)或全部：接收到的對應(yīng)于第一后視圖部分2130的控制信息、接收到的對應(yīng)于第二后視圖部分2132的控制信息、接收到的對應(yīng)于天空視圖部分2134的控制信息，以及接收到的對應(yīng)于地面視圖部分2136的控制信息。數(shù)據(jù)信息2116還包括確定的當(dāng)前觀看者頭部位置2126、確定的當(dāng)前視野2128、接收的第一內(nèi)容流2128(例如，包括對應(yīng)于前視圖部分的右眼圖像和左眼圖像對)、用于生成輸出圖像2138的確定的視圖部分集合(例如，對應(yīng)于當(dāng)前視野，對于該當(dāng)前視野，存在可用于組合的至少一些接收內(nèi)容)、合成圖像2140，及生成的輸出圖像2142。生成的輸出圖像2142。生成的輸出圖像可以(并且有時(shí)候確實(shí))包括生成的輸出圖像，該生成的輸出圖像包括來自第一內(nèi)容流的組合圖像內(nèi)容(例如，對應(yīng)于第一，(例如前視圖)部分)，并且包括接收到的存儲(chǔ)圖像(例如，來自后視圖部分、天空部分或地面部分)的一部分，和/或包括合成圖像或合成圖像的一部分。

圖22是根據(jù)示例性實(shí)施例的可以被包括在圖21的示例性內(nèi)容回放系統(tǒng)2100或圖8的系統(tǒng)800中的模塊組件2200的圖。模塊組件2200中的模塊可以(并且在一些實(shí)施例中確實(shí))完全在處理器2108內(nèi)以硬件實(shí)現(xiàn)，例如作為單獨(dú)的電路。模塊組件2200中的模塊可以(并且在一些實(shí)施例中確實(shí))完全在模塊組件2115內(nèi)以硬件實(shí)現(xiàn)，例如作為對應(yīng)于不同模塊的單獨(dú)電路。在其它實(shí)施例中，一些模塊在處理器2108內(nèi)被實(shí)現(xiàn)為例如電路，而其它模塊被實(shí)現(xiàn)為例如模塊組件2115內(nèi)的電路，在處理器2108外部并且耦合到處理器2108。如應(yīng)當(dāng)理解的，處理器上模塊的集成水平和/或一些模塊在處理器外部的水平可以是設(shè)計(jì)選擇之一。

作為替代地，不是被實(shí)現(xiàn)為電路，而是所有或一些模塊可以以軟件實(shí)現(xiàn)并被存儲(chǔ)在系統(tǒng)2100的存儲(chǔ)器2112中，其中當(dāng)模塊被處理器(例如，處理器2108)執(zhí)行時(shí)，模塊控制系統(tǒng)2100的操作以實(shí)現(xiàn)對應(yīng)于模塊的功能。在一些這樣的實(shí)施例中，模塊組件2200被包括在存儲(chǔ)器2112中，作為模塊組件2114。在還有其它實(shí)施例中，模塊組件2200中的各種模塊被實(shí)現(xiàn)為硬件和軟件的組合，例如，在處理器外部的另一電路向處理器2108提供輸入，然后處理器2108在軟件控制下操作，以執(zhí)行執(zhí)行模塊功能的一部分。雖然在圖21的實(shí)施例中被示為單個(gè)處理器，例如計(jì)算機(jī)，但是應(yīng)當(dāng)理解，處理器2108可以被實(shí)現(xiàn)為一個(gè)或多個(gè)處理器，例如計(jì)算機(jī)。

當(dāng)以軟件實(shí)現(xiàn)時(shí)，模塊包括代碼，當(dāng)代碼被處理器2108執(zhí)行時(shí)，配置處理器2108實(shí)現(xiàn)對應(yīng)于該模塊的功能。在模塊組件2200存儲(chǔ)在存儲(chǔ)器2112中的實(shí)施例中，存儲(chǔ)器2112是包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品以用于使至少一個(gè)計(jì)算機(jī)(例如處理器2108)實(shí)現(xiàn)模塊對應(yīng)的功能，該計(jì)算機(jī)可讀介質(zhì)包括代碼，例如用于每個(gè)模塊的單獨(dú)代碼。

可以使用完全基于硬件或完全基于軟件的模塊。但是，應(yīng)當(dāng)理解，軟件和硬件的任何組合(例如電路實(shí)現(xiàn)的模塊)可被用來實(shí)現(xiàn)功能。如應(yīng)當(dāng)理解的，在圖22中所示的模塊控制和/或配置系統(tǒng)2100或其中的元件(諸如處理器2108)，來執(zhí)行在圖20的流程圖2000的方法中示出和/或描述的對應(yīng)步驟的功能。因此，模塊組件2200包括執(zhí)行對應(yīng)于圖20的一個(gè)或多個(gè)步驟的功能的各種模塊。

模塊組件2200包括觀察者頭部位置確定模塊2202、當(dāng)前視野確定模塊2204、內(nèi)容流選擇模塊2206、內(nèi)容流接收模塊2208、圖像接收模塊2210、接收圖像存儲(chǔ)模塊2212、控制信息接收模塊2214、輸出圖像生成模塊2216、輸出模塊2242、顯示模塊2244和控制例程2246。

觀看者頭部位置確定模塊2202被配置為確定觀看者的頭部位置，所述頭部位置對應(yīng)于當(dāng)前視野。當(dāng)前視野確定模塊2204被配置為基于所確定的頭部位置來確定所述觀察者的當(dāng)前視野。

內(nèi)容流選擇模塊2206被配置為例如基于用戶(例如，觀看者)輸入來從多個(gè)替代內(nèi)容流中選擇內(nèi)容流。不同的內(nèi)容流可以對應(yīng)于不同的事件。在各種實(shí)施例中，對應(yīng)于相同事件的不同內(nèi)容流對應(yīng)于指向不同方向的不同相機(jī)，例如，以向觀看者提供替代的前視圖視角。在一些實(shí)施例中，可被選擇的圖像流中的至少一些包括包含左眼圖像對和右眼圖像對的立體圖像內(nèi)容。

內(nèi)容流接收模塊2208被配置為接收提供對應(yīng)于環(huán)境的第一部分(例如，前向部分視圖)的內(nèi)容的第一內(nèi)容流。在各種實(shí)施例中，在第一內(nèi)容流中接收的第一圖像內(nèi)容是包括左眼圖像和右眼圖像對的立體圖像內(nèi)容。

圖像接收模塊2210被配置以接收對應(yīng)于一個(gè)或多個(gè)不同視圖部分(例如，第一后視圖部分、第二后視圖部分、天空視圖部分和地面視圖部分)的圖像。圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的第二部分的第一圖像。在一些這樣的實(shí)施例中，圖像接收模塊還被配置為接收對應(yīng)于所述環(huán)境的所述第二部分的一個(gè)或多個(gè)附加圖像，所述一個(gè)或多個(gè)附加圖像對應(yīng)于所述環(huán)境的所述第二部分，包括至少第二圖像。在一些實(shí)施例中，所述環(huán)境的第二部分是第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分之一。在一些實(shí)施例中，所述環(huán)境的第二部分是第一后視圖部分或第二后視圖部分之一。在一些實(shí)施例中，圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的第三部分的一個(gè)或多個(gè)圖像。在一些實(shí)施例中，環(huán)境的第一部分是前視圖部分，環(huán)境的第三部分是天空視圖或地面視圖部分之一。

在一些實(shí)施例中，圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的第一后視圖部分的第一圖像，并且還被配置為接收對應(yīng)于所述環(huán)境的所述第一后視圖部分的一個(gè)或多個(gè)附加圖像，對應(yīng)于所述第一后視圖部分的所述一個(gè)或多個(gè)附加圖像包括對應(yīng)于所述第一后視圖部分的至少第二圖像。在一些實(shí)施例中，圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的第二后視圖部分的第一圖像，并且還被配置為接收對應(yīng)于所述環(huán)境的所述第二后視圖部分的一個(gè)或多個(gè)附加圖像，對應(yīng)于所述第二后視圖部分的所述一個(gè)或多個(gè)附加圖像至少包括對應(yīng)于所述第二后視圖部分的第二圖像。在一些實(shí)施例中，圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的天空視圖部分的一個(gè)或多個(gè)圖像。在一些實(shí)施例中，圖像接收模塊2210被配置為接收對應(yīng)于所述環(huán)境的地面視圖部分的一個(gè)或多個(gè)圖像。

接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)由圖像接收模塊2212接收的圖像。接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二部分的第一圖像。接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于環(huán)境的第二部分的一個(gè)或多個(gè)附加圖像。接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)接收到的對應(yīng)于所述環(huán)境的第三部分的一個(gè)或多個(gè)圖像。在各種實(shí)施例中，接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述第一后視圖部分的第一圖像，以及對應(yīng)于所述環(huán)境的所述第一后視圖部分的一個(gè)或多個(gè)附加圖像。在各種實(shí)施例中，接收圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二后視圖部分的第一圖像，以及對應(yīng)于所述環(huán)境的所述第二后視圖部分的一個(gè)或多個(gè)附加圖像。在一些實(shí)施例中，接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述天空視圖部分的一個(gè)或多個(gè)圖像。在一些實(shí)施例中，接收的圖像存儲(chǔ)模塊2212被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述地面視圖部分的一個(gè)或多個(gè)圖像。

控制信息接收模塊2214被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的第二部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在各種實(shí)施例中，控制信息接收模塊2214還被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的第三部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的第二部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的第三部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。

在一些實(shí)施例中，控制信息接收模塊2214被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的所述第一后視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中的回放時(shí)間進(jìn)行測量的。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的所述第一后視圖部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的所述第二后視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中的回放時(shí)間進(jìn)行測量的。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的所述第二后視圖部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。

在一些實(shí)施例中，控制信息接收模塊2214被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的所述天空視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中的回放時(shí)間進(jìn)行測量的。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的所述天空視圖部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收控制信息，該控制信息指示對應(yīng)于所述環(huán)境的所述地面視圖部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中的回放時(shí)間進(jìn)行測量的。在一些實(shí)施例中，控制信息接收模塊2214被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于環(huán)境的所述地面視圖部分的多個(gè)圖像中哪一個(gè)應(yīng)當(dāng)在事件的一部分期間被使用。

輸出圖像生成模塊2216被配置以基于以下中的至少一個(gè)來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像：來自對應(yīng)于環(huán)境的第一部分視圖的第一內(nèi)容流的接收內(nèi)容、所存儲(chǔ)的對應(yīng)于環(huán)境的第一后視圖部分的接收圖像、所存儲(chǔ)的對應(yīng)于環(huán)境的第二后視圖部分的接收圖像、所存儲(chǔ)的對應(yīng)于環(huán)境的天空視圖部分的接收圖像、所存儲(chǔ)的對應(yīng)于環(huán)境的地面視圖部分的接收圖像，或?qū)?yīng)于當(dāng)前視野的圖像不可用的部分的合成圖像。輸出圖像生成模塊2216包括視圖部分集合確定模塊2218、僅內(nèi)容流確定模塊2220、缺失部分確定模塊2222、圖像合成器模塊2224、內(nèi)容流輸出圖像生成模塊2226、合成輸出圖像生成模塊2228，基于輸出圖像內(nèi)容流的生成模塊2230，以及基于輸出圖像非流的生成模塊2236。

視圖部分集合確定模塊2218被配置為基于當(dāng)前視野確定要用于生成一個(gè)或多個(gè)輸出圖像的所述環(huán)境的視圖部分集合，例如對其存在至少一些可用的圖像內(nèi)容的視圖部分。一些示例性確定的集合包括例如：{}、{前視圖部分}、{第一后視圖部分}、{第二后視圖部分}、{天空視圖部分}、{地面視圖部分}、{前視圖部分、天空視圖部分}、{前視圖部分、地面視圖部分}、{前視圖部分、第一后視圖部分}、{前視圖部分、第二后視圖部分}、{前視圖部分、第一后視圖部分、天空部分}、{前視圖部分、第二后視圖部分、天空視圖部分}、{前視圖部分、第一后視圖部分、地面視圖部分}、{前視圖部分、第二后視圖部分、地面視圖部分}、{第一后視圖部分、天空視圖部分}、{第一后視圖部分、地面視圖部分}、{第一后視圖部分，第二后視圖部分}、{第一后視圖部分、第二后視圖部分、天空視圖部分}、{第一后視圖部分、第二后視圖部分、地面視圖部分}，{第二后視圖部分、天空視圖部分}和{第二后視圖部分、地面視圖部分}。

僅內(nèi)容流確定模塊2220被配置為基于第一內(nèi)容流中的內(nèi)容來確定是否要生成一個(gè)或多個(gè)輸出圖像，而不必依賴來自其它部分視圖(例如第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分)的所存儲(chǔ)的接收圖像或合成的圖像。僅內(nèi)容流確定模塊2220被配置為檢查所確定的集合是否包括作為對應(yīng)于第一內(nèi)容流的第一(例如，前)視圖部分的單個(gè)元素，并且檢查視野是否在該第一(例如，前)視圖部分中。

缺失部分確定模塊2222被配置為確定圖像對于當(dāng)前視野的一部分不可用，例如，圖像或者從對應(yīng)于環(huán)境的前視圖的第一內(nèi)容流或者從對應(yīng)于環(huán)境另一部分的接收的存儲(chǔ)圖像不可用。圖像合成器模塊2224被配置為合成要用于當(dāng)前視野的圖像不可用的所述部分的圖像。在各種實(shí)施例中，圖像合成模塊2224生成稍大于填充缺失部分所需的合成圖像，例如，以允許一些整體邊界。

內(nèi)容流輸出圖像生成模塊2226被配置為，當(dāng)所確定的集合僅包括第一視圖部分(例如，前視圖部分)并且如由僅內(nèi)容流確定模塊2220確定的當(dāng)前視野沒有在第一視圖部分之外的部分時(shí)，僅基于來自第一內(nèi)容流的接收內(nèi)容生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。在一些實(shí)施例中，內(nèi)容流輸出圖像生成模塊2226對從第一內(nèi)容流獲得的圖像執(zhí)行裁剪操作。

基于輸出圖像內(nèi)容流的生成模塊2230被配置為基于包括在第一內(nèi)容流(例如，對應(yīng)于前視圖的內(nèi)容流)中的至少一些接收的內(nèi)容以及i)對應(yīng)于環(huán)境的第二部分的存儲(chǔ)的內(nèi)容(例如對應(yīng)于第一后視圖、第二后視圖、天空視圖或地面視圖的存儲(chǔ)圖像)或ii)模擬環(huán)境的第二部分的合成圖像(例如模擬圖像不可用的視野的一部分的合成圖像)來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像。對應(yīng)于環(huán)境的第二部分的存儲(chǔ)內(nèi)容是例如由接收圖像存儲(chǔ)模塊2212存儲(chǔ)的存儲(chǔ)圖像。合成圖像例如是由模塊2224生成的圖像。在一些實(shí)施例中，基于輸出圖像內(nèi)容流的生成模塊2230被配置為基于所接收的圖像選擇信息來選擇對應(yīng)于環(huán)境的所述第二部分的圖像，作為被配置為生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像的一部分。

基于輸出圖像內(nèi)容流的生成模塊2230包括被配置為將一個(gè)或多個(gè)合成圖像結(jié)合到正在生成的輸出圖像中的合成圖像結(jié)合模塊2232。合成圖像結(jié)合模塊2232被配置為將合成圖像與接收到的圖像(例如，來自從接收到的第一內(nèi)容流獲得的第一(例如，前)視圖部分的接收圖像)的至少一部分或者對應(yīng)于第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分之一的所存儲(chǔ)的接收圖像進(jìn)行組合，以生成對應(yīng)于當(dāng)前視野的圖像。存儲(chǔ)圖像結(jié)合模塊2134被配置為將一個(gè)或多個(gè)存儲(chǔ)圖像的一部分結(jié)合到正在生成的輸出圖像中。作為生成輸出圖像的一部分，模塊2230、模塊2232和/或模塊2234在邊界區(qū)域執(zhí)行混合。在各種實(shí)施例中，混合包括過濾、模糊、亮度變化和/或顏色變化。

基于輸出圖像非流的生成模塊2236被配置為基于以下至少一個(gè)來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像：i)對應(yīng)于環(huán)境的一部分的存儲(chǔ)內(nèi)容，例如對應(yīng)于第一后視圖、第二后視圖、天空視圖或地面視圖的存儲(chǔ)圖像，或ii)模擬環(huán)境的一部分的合成圖像，例如模擬圖像不可用的視野的一部分的合成圖像。在當(dāng)前視野在對應(yīng)于與第一內(nèi)容流對應(yīng)的第一(例如，前視圖)部分的區(qū)域之外時(shí)，模塊2236生成一個(gè)或多個(gè)圖像。在一些實(shí)施例中，基于輸出圖像非內(nèi)容流的生成模塊2236被配置為基于所接收的圖像選擇信息來選擇對應(yīng)于環(huán)境的所述第二部分的圖像，作為被配置為生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像的一部分。

基于輸出圖像非流的生成模塊2236包括被配置為將一個(gè)或多個(gè)合成圖像結(jié)合到正在生成的輸出圖像中的合成圖像結(jié)合模塊2238。合成圖像結(jié)合模塊2238被配置為將合成圖像與接收圖像(例如，來自第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分的接收圖像)的至少一部分組合，以生成對應(yīng)于當(dāng)前視野的圖像。存儲(chǔ)的圖像結(jié)合模塊2240被配置為將一個(gè)或多個(gè)存儲(chǔ)的圖像的一部分結(jié)合到正在生成的輸出圖像中。作為生成輸出圖像的一部分，模塊2236、模塊2232和/或模塊2234在邊界區(qū)域執(zhí)行混合。在各種實(shí)施例中，混合包括過濾、模糊、亮度變化和/或顏色變化。

輸出模塊2242被配置為輸出例如由基于輸出圖像內(nèi)容流生成模塊2130、內(nèi)容流輸出圖像生成模塊2130和基于輸出圖像非內(nèi)容流生成模塊2236生成的一個(gè)或多個(gè)生成的輸出圖像，所述一個(gè)或多個(gè)輸出圖像包括第一輸出圖像。輸出模塊被配置為例如經(jīng)由網(wǎng)絡(luò)接口2110和/或顯示設(shè)備接口2103輸出第一輸出圖像。

顯示模塊2244被配置為顯示例如由基于輸出圖像內(nèi)容流的生成模塊2230、內(nèi)容流輸出圖像生成模塊2230和基于輸出圖像非內(nèi)容流的生成模塊2136生成的一個(gè)或多個(gè)生成的輸出圖像，所述一個(gè)或多個(gè)輸出圖像包括第一輸出圖像。顯示模塊2244被配置為例如經(jīng)由顯示器2102和/或顯示器2105顯示第一輸出圖像。

控制例程2246包括設(shè)備控制例程和通信例程，以控制系統(tǒng)2100的操作。

根據(jù)一些實(shí)施例，示例性內(nèi)容回放系統(tǒng)(例如圖21的系統(tǒng)2100)包括：被配置為確定觀看者的頭部位置的觀看者頭部位置確定模塊2202、所述頭部位置對應(yīng)于當(dāng)前視野；被配置為接收提供對應(yīng)于環(huán)境的第一部分的內(nèi)容的第一內(nèi)容流的內(nèi)容流接收模塊；基于輸出圖像內(nèi)容流的生成模塊2230，其被配置為基于包括在所述第一內(nèi)容流中的至少一些接收的內(nèi)容以及i)對應(yīng)于所述環(huán)境的第二部分的存儲(chǔ)內(nèi)容或ii)模擬所述環(huán)境的第二部分的合成圖像來生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像；以及以下至少一個(gè)：被配置為輸出第一輸出圖像的輸出模塊2242或者被配置為顯示第一輸出圖像的顯示模塊2244，所述第一輸出圖像是一個(gè)或多個(gè)生成的輸出圖像之一。

在一些實(shí)施例中，所述內(nèi)容回放系統(tǒng)2100是內(nèi)容回放設(shè)備2100'。在一些實(shí)施例中，所述內(nèi)容回放系統(tǒng)2100是耦合到顯示器2105的計(jì)算機(jī)系統(tǒng)2100'。

在一些實(shí)施例中，該系統(tǒng)還包括：被配置為接收對應(yīng)于所述環(huán)境的所述第二部分的第一圖像的圖像接收模塊2210；以及被配置為存儲(chǔ)對應(yīng)于所述環(huán)境的所述第二部分的所述第一圖像的接收圖像存儲(chǔ)模塊2212。

在各種實(shí)施例中，所述環(huán)境的所述第二部分的所述第一圖像對應(yīng)于第一時(shí)間點(diǎn)；所述基于輸出圖像內(nèi)容流的生成模塊2230被配置為將從在第二時(shí)間點(diǎn)捕獲的所述第一內(nèi)容流獲得的內(nèi)容與對應(yīng)于所述第一時(shí)間點(diǎn)的所述第一圖像組合，所述第一與第二時(shí)間點(diǎn)不同。在一些這樣的實(shí)施例中，所述第一時(shí)間點(diǎn)對應(yīng)于所述第二時(shí)間點(diǎn)之前的時(shí)間。在各種實(shí)施例中，所述第一時(shí)間點(diǎn)在直播事件的時(shí)間之前，在該直播事件之間捕獲包括在所述第一內(nèi)容流中的圖像。

在一些實(shí)施例中，所述圖像接收模塊2210還被配置為接收對應(yīng)于所述環(huán)境的所述第二部分的一個(gè)或多個(gè)附加圖像，所述一個(gè)或多個(gè)附加圖像對應(yīng)于包括至少第二圖像的所述環(huán)境的所述第二部分。

在各種實(shí)施例中，系統(tǒng)還包括：被配置為接收控制信息的控制信息接收模塊2214，該控制信息指示對應(yīng)于所述環(huán)境的所述第二部分的多個(gè)先前傳送的圖像中的哪一個(gè)應(yīng)當(dāng)在回放時(shí)間期間被顯示，該回放時(shí)間是相對于在所述第一內(nèi)容流中指示的回放時(shí)間進(jìn)行測量的。

在一些實(shí)施例中，所述環(huán)境的所述第二部分是第一后視圖部分、第二后視圖部分、天空視圖部分或地面視圖部分之一。在一些這樣的實(shí)施例中，所述圖像接收模塊2210還被配置為接收對應(yīng)于所述環(huán)境的第三部分的一個(gè)或多個(gè)圖像。

在一些實(shí)施例中，所述環(huán)境的所述第一部分是前視圖部分；所述第三部分是天空視圖或地面視圖部分之一；圖像是以對應(yīng)于所述第一、第二和第三部分的不同速率接收的，更多圖像為對應(yīng)于所述第一部分而不是所述第二部分的事件接收。

在一些實(shí)施例中，對應(yīng)于所述第一部分的所述內(nèi)容包括在事件正在進(jìn)行時(shí)被捕獲并流化到所述回放設(shè)備的實(shí)時(shí)內(nèi)容；并且與對應(yīng)于所述第二和第三部分的所述圖像對應(yīng)的所述內(nèi)容是非實(shí)時(shí)圖像。在一些這樣的實(shí)施例中，所述控制信息接收模塊2214還被配置為接收圖像選擇信息，該圖像選擇信息指示對應(yīng)于所述環(huán)境的所述第二部分的多個(gè)圖像中的哪一個(gè)應(yīng)當(dāng)在所述事件的一部分期間被使用；所述基于輸出圖像內(nèi)容流的生成模塊2230被配置為基于所接收的圖像選擇信息來選擇對應(yīng)于所述環(huán)境的所述第二部分的圖像，作為被配置為生成對應(yīng)于當(dāng)前視野的一個(gè)或多個(gè)輸出圖像的一部分。

在各種實(shí)施例中，系統(tǒng)還包括被配置成確定圖像對所述視野的一部分不可用的缺失部分確定模塊2222；被配置為合成要用于所述視野的圖像不可用的所述部分的圖像的圖像合成器模塊2224；以及被配置為將合成圖像與接收圖像的至少一部分組合以生成對應(yīng)于當(dāng)前視野的圖像的合成圖像結(jié)合模塊2232。

在各種實(shí)施例中，所述第一圖像內(nèi)容是包括左眼圖像和右眼圖像的立體圖像內(nèi)容。

在一些實(shí)施例中，除了圖8中所示的其它模塊之外，模塊組件2200還被包括在圖8的內(nèi)容回放系統(tǒng)800中。模塊組件2200中的模塊可以包括在存儲(chǔ)器812中、處理器808中，和/或作為系統(tǒng)800內(nèi)耦合到總線809的在處理器808外部的硬件模塊。

圖23是示出根據(jù)一些實(shí)施例的可以在回放系統(tǒng)1900中使用的示例性流選擇模塊1938的圖2300。

圖24是示出了示例性流優(yōu)先化模塊2306的圖2400，其可被實(shí)現(xiàn)為圖23的流選擇模塊的一部分或者作為單獨(dú)的模塊。

一些實(shí)施例針對包括用于控制計(jì)算機(jī)或其它設(shè)備來編碼和壓縮立體視頻的軟件指令(例如，計(jì)算機(jī)可執(zhí)行指令)集合的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)。其它實(shí)施例是針對包括用于控制計(jì)算機(jī)或其它設(shè)備在播放器端解碼和解壓縮視頻的軟件指令(例如，計(jì)算機(jī)可執(zhí)行指令)集合的計(jì)算機(jī)可讀介質(zhì)。雖然編碼和壓縮作為可能的單獨(dú)操作被提及，但是應(yīng)當(dāng)理解，編碼可以被用來執(zhí)行壓縮并且因此編碼可以在一些情況下包括壓縮。類似地，解碼可以涉及解壓縮。

各種實(shí)施例的技術(shù)可以利用軟件、硬件和/或軟件和硬件的組合來實(shí)現(xiàn)。各種實(shí)施例針對裝置，例如圖像數(shù)據(jù)處理系統(tǒng)。各種實(shí)施例還針對方法，例如處理圖像數(shù)據(jù)的方法。各種實(shí)施例還針對非瞬時(shí)性機(jī)器，例如包括用于控制機(jī)器實(shí)現(xiàn)方法的一個(gè)或多個(gè)步驟的機(jī)器可讀指令的計(jì)算機(jī)可讀介質(zhì)，例如ROM、RAM、CD、硬盤等。

本發(fā)明的各種特征是利用模塊來實(shí)現(xiàn)的。這種模塊可以(并且在一些實(shí)施例中確實(shí))被實(shí)現(xiàn)為軟件模塊。在其它實(shí)施例中，模塊以硬件實(shí)現(xiàn)。在還有其它實(shí)施例中，模塊是利用軟件和硬件的組合來實(shí)現(xiàn)的。在一些實(shí)施例中，模塊被實(shí)現(xiàn)為單獨(dú)的電路，其中每個(gè)模塊被實(shí)現(xiàn)為用于執(zhí)行模塊對應(yīng)的功能的電路。各種各樣的實(shí)施例是預(yù)期的，包括其中不同模塊以不同方式實(shí)現(xiàn)的一些實(shí)施例，例如一些在硬件中、一些在軟件中、一些使用硬件和軟件的組合。還應(yīng)當(dāng)指出，與在通用處理器上執(zhí)行的軟件相反，例程和/或子例程或者由這種例程執(zhí)行的一些步驟可以在專用硬件中實(shí)現(xiàn)。這種實(shí)施例保持在本發(fā)明的范圍內(nèi)。許多上述方法或方法步驟可以利用包括在機(jī)器可讀介質(zhì)(諸如存儲(chǔ)器設(shè)備，例如RAM、軟盤等)中的機(jī)器可執(zhí)行指令(諸如軟件)來實(shí)現(xiàn)，以控制機(jī)器(例如具有或不具有附加硬件的通用計(jì)算機(jī))實(shí)現(xiàn)上述方法的全部或部分。因而，除其它的之外，本發(fā)明尤其針對包括機(jī)器可執(zhí)行指令的機(jī)器可讀介質(zhì)，所述機(jī)器可執(zhí)行指令用于使機(jī)器(例如，處理器和關(guān)聯(lián)的硬件)執(zhí)行上述方法的一個(gè)或多個(gè)步驟。

鑒于上面的描述，上述各種實(shí)施例的方法和裝置的眾多附加變化對本領(lǐng)域技術(shù)人員將是清楚的。這些變化被認(rèn)為在范圍內(nèi)。