對(duì)于對(duì)象的全方位視圖的視頻編碼的制作方法
【專(zhuān)利說(shuō)明】對(duì)于對(duì)象的全方位視圖的視頻編碼
【背景技術(shù)】
[0001] 除非本文另外指示，否則本部分中描述的材料并不是本申請(qǐng)中的權(quán)利要求的現(xiàn)有 技術(shù)，并且并不因?yàn)楸话ㄔ诒静糠种芯捅怀姓J(rèn)為是現(xiàn)有技術(shù)。
[0002] 可利用各種技術(shù)來(lái)向用戶(hù)提供對(duì)通信網(wǎng)絡(luò)中的數(shù)據(jù)和服務(wù)的電子訪問(wèn)，化及支持 用戶(hù)之間的通信。例如，諸如計(jì)算機(jī)、電話和個(gè)人數(shù)字助理（personaldigitalassistant, PDA)之類(lèi)的設(shè)備可用于通過(guò)包括互聯(lián)網(wǎng)在內(nèi)的通信網(wǎng)絡(luò)交換信息。通信網(wǎng)絡(luò)進(jìn)而可提供到 服務(wù)器的通信路徑和鏈路，服務(wù)器可容宿可由用戶(hù)經(jīng)由通信設(shè)備來(lái)訪問(wèn)或利用的應(yīng)用、內(nèi) 容和服務(wù)。內(nèi)容可包括文本、視頻數(shù)據(jù)、音頻數(shù)據(jù)和/或其它類(lèi)型的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0003] 在一個(gè)方面中，本文給出的一個(gè)示例實(shí)施例提供了一種方法，包括：從與圍繞=維 (3D)對(duì)象的不同3D角取向（angularorientation)相對(duì)應(yīng)的多重視角的每一者生成3D對(duì) 象的相應(yīng)靜止圖像，每個(gè)相應(yīng)靜止圖像包括用于在顯示設(shè)備上顯示的相應(yīng)數(shù)據(jù)，并且每個(gè) 相應(yīng)靜止圖像是3D對(duì)象的多個(gè)靜止圖像之一；確定與從不同3D角取向中的一者到下一者 之間3D角取向的最小差分變化（minimallydifferentialchange)相對(duì)應(yīng)的多重視角的 排序；通過(guò)與所確定的多重視角的排序相對(duì)應(yīng)地對(duì)多個(gè)靜止圖像的相繼靜止圖像排序來(lái)構(gòu) 造靜止圖像的序列；W及利用視頻編碼器對(duì)靜止圖像的序列編碼W生成靜止圖像的序列的 壓縮視頻格式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所 有靜止圖像的總和。
[0004] 在另一方面中，本文給出的一個(gè)示例實(shí)施例提供了一種方法，包括；響應(yīng)于從計(jì)算 機(jī)設(shè)備發(fā)送到通信連接到該計(jì)算機(jī)設(shè)備的服務(wù)器的請(qǐng)求，由該計(jì)算機(jī)設(shè)備接收視頻文件， 該視頻文件包括從與圍繞=維（3D)對(duì)象的不同3D角取向相對(duì)應(yīng)的多重視角的每一者觀 看的該3D對(duì)象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖；由計(jì)算機(jī)設(shè)備在計(jì)算機(jī) 設(shè)備的顯示設(shè)備上的顯示窗口中顯示3D對(duì)象的圖像；W及響應(yīng)于計(jì)算機(jī)設(shè)備的用戶(hù)接口 (userinte計(jì)ace)的交互式光標(biāo)在被虛擬地附著到3D對(duì)象的同時(shí)在顯示窗口中的一個(gè)或 多個(gè)軌跡上移動(dòng)，由計(jì)算機(jī)設(shè)備對(duì)與被一個(gè)或多個(gè)軌跡橫穿（transverse)的多重視角的 子集相對(duì)應(yīng)的視頻帖的子集進(jìn)行視頻處理，W便顯示圍繞穿過(guò)3D對(duì)象的至少一個(gè)軸的3D 對(duì)象的動(dòng)畫(huà)式3D角移動(dòng)。
[0005] 在又一方面中，本文給出的一個(gè)示例實(shí)施例提供了一種系統(tǒng)，包括；一個(gè)或多個(gè)處 理器；存儲(chǔ)器；W及存儲(chǔ)在存儲(chǔ)器中的機(jī)器可讀指令，該些機(jī)器可讀指令在被一個(gè)或多個(gè) 處理器執(zhí)行時(shí)使得系統(tǒng)執(zhí)行操作，該些操作包括：從與圍繞=維（3D)對(duì)象的不同3D角取向 相對(duì)應(yīng)的多重視角的每一者生成3D對(duì)象的相應(yīng)靜止圖像，每個(gè)相應(yīng)靜止圖像包括用于在 顯示設(shè)備上顯示的相應(yīng)數(shù)據(jù)，并且每個(gè)相應(yīng)靜止圖像是3D對(duì)象的多個(gè)靜止圖像之一，確定 與從不同3D角取向中的一者到下一者之間3D角取向的最小差分變化相對(duì)應(yīng)的多重視角的 排序，通過(guò)與所確定的多重視角的排序相對(duì)應(yīng)地對(duì)多個(gè)靜止圖像的相繼靜止圖像排序來(lái)構(gòu) 造靜止圖像的序列，W及利用視頻編碼器對(duì)靜止圖像的序列編碼W生成靜止圖像的序列的 壓縮視頻格式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所 有靜止圖像的總和。
[0006] 在另外一方面中，本文給出的一個(gè)示例實(shí)施例提供了一種系統(tǒng)，包括：一個(gè)或多個(gè) 處理器，包括一個(gè)或多個(gè)視頻處理器；存儲(chǔ)器；W及存儲(chǔ)在存儲(chǔ)器中的機(jī)器可讀指令，該些 機(jī)器可讀指令在被一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得系統(tǒng)執(zhí)行操作，該些操作包括：接收視頻 文件，該視頻文件包括從與圍繞S維（3D)對(duì)象的不同3D角取向相對(duì)應(yīng)的多重視角的每一 者觀看的3D對(duì)象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖，在顯示設(shè)備上的顯示 窗口中顯示3D對(duì)象的圖像，W及響應(yīng)于計(jì)算機(jī)設(shè)備的用戶(hù)接口的交互式光標(biāo)在被虛擬地 附著到3D對(duì)象的同時(shí)在顯示窗口中的一個(gè)或多個(gè)軌跡上移動(dòng)，利用一個(gè)或多個(gè)視頻處理 器對(duì)與被一個(gè)或多個(gè)軌跡橫穿的多重視角的子集相對(duì)應(yīng)的視頻帖的子集進(jìn)行視頻處理，W 便在顯示設(shè)備上顯示圍繞穿過(guò)3D對(duì)象的至少一個(gè)軸的3D對(duì)象的動(dòng)畫(huà)式3D角移動(dòng)。
[0007] 在另外一個(gè)方面中，本文給出的一個(gè)示例實(shí)施例提供了一種制品，包括計(jì)算機(jī)可 讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序指令，該些程序指令當(dāng)被系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行時(shí)使 得該系統(tǒng)執(zhí)行操作，該些操作包括：從與圍繞=維（3D)對(duì)象的不同3D角取向相對(duì)應(yīng)的多重 視角的每一者生成3D對(duì)象的相應(yīng)靜止圖像，每個(gè)相應(yīng)靜止圖像包括用于在顯示設(shè)備上顯 示的相應(yīng)數(shù)據(jù)，并且每個(gè)相應(yīng)靜止圖像是3D對(duì)象的多個(gè)靜止圖像之一；確定與從不同3D角 取向中的一者到下一者之間3D角取向的最小差分變化相對(duì)應(yīng)的多重視角的排序；通過(guò)與 所確定的多重視角的排序相對(duì)應(yīng)地對(duì)多個(gè)靜止圖像的相繼靜止圖像排序來(lái)構(gòu)造靜止圖像 的序列；W及利用視頻編碼器對(duì)靜止圖像的序列編碼W生成靜止圖像的序列的壓縮視頻格 式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所有靜止圖像 的總和。
[000引在另外一個(gè)方面中，本文給出的一個(gè)示例實(shí)施例提供了一種制品，包括計(jì)算機(jī)可 讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序指令，該些程序指令當(dāng)被系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行時(shí)使 得該系統(tǒng)執(zhí)行操作，該些操作包括；響應(yīng)于從系統(tǒng)發(fā)送到通信連接到系統(tǒng)的服務(wù)器的請(qǐng)求， 由系統(tǒng)接收視頻文件，該視頻文件包括從與圍繞=維（3D)對(duì)象的不同3D角取向相對(duì)應(yīng)的 多重視角的每一者觀看的該3D對(duì)象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖；在 系統(tǒng)的顯示設(shè)備上的顯示窗口中顯示3D對(duì)象的圖像；W及響應(yīng)于計(jì)算機(jī)設(shè)備的用戶(hù)接口 的交互式光標(biāo)在被虛擬地附著到3D對(duì)象的同時(shí)在顯示窗口中的一個(gè)或多個(gè)軌跡上移動(dòng)， 由系統(tǒng)對(duì)與被一個(gè)或多個(gè)軌跡橫穿的多重視角的子集相對(duì)應(yīng)的視頻帖的子集進(jìn)行視頻處 理，W便顯示圍繞穿過(guò)3D對(duì)象的至少一個(gè)軸的3D對(duì)象的動(dòng)畫(huà)式3D角移動(dòng)。
[0009] 本領(lǐng)域普通技術(shù)人員通過(guò)在適當(dāng)時(shí)參考附圖閱讀W下詳細(xì)描述，將清楚該些W及 其它方面、優(yōu)點(diǎn)和替換方案。另外，應(yīng)當(dāng)理解，本
【發(fā)明內(nèi)容】
部分和本文提供的其它描述和附 圖旨在僅通過(guò)示例來(lái)例示實(shí)施例，因此許多變化是可能的。例如，在保持在如權(quán)利要求所述 的實(shí)施例的范圍內(nèi)的同時(shí)，可W重布置、組合、分布、消除或W其它方式改變結(jié)構(gòu)元素和過(guò) 程步驟。
【附圖說(shuō)明】
[0010] 圖1是圖示出根據(jù)示例實(shí)施例的用于轉(zhuǎn)體/360度旋轉(zhuǎn)器的資源的視頻編碼的示 例方法的流程圖。
[0011] 圖2是圖示出根據(jù)示例實(shí)施例的用于利用轉(zhuǎn)體/360度視頻旋轉(zhuǎn)器 (swivel/360-degreespinner)顯示視頻編碼的資源的示例方法的流程圖。
[0012] 圖3是根據(jù)示例實(shí)施例的示例網(wǎng)絡(luò)和計(jì)算體系結(jié)構(gòu)的框圖。
[0013] 圖4A是根據(jù)示例實(shí)施例的服務(wù)器設(shè)備的框圖。
[0014] 圖4B描繪了根據(jù)示例實(shí)施例的基于云的服務(wù)器系統(tǒng)。
[0015] 圖5描繪了根據(jù)示例實(shí)施例的客戶(hù)端設(shè)備的框圖。
[0016] 圖6圖示了根據(jù)示例實(shí)施例的從沿著圍繞3D對(duì)象的平面路徑的不同視角觀看3D 對(duì)象。
[0017] 圖7是根據(jù)示例實(shí)施例的來(lái)自多重視角的3D對(duì)象的圖像的序列的視頻編碼和壓 縮的概念例示。
[001引圖8是根據(jù)示例實(shí)施例的來(lái)自多重視角的3D對(duì)象的圖像的序列的視頻編碼和壓 縮的另一概念例示。
[0019] 圖9是根據(jù)示例實(shí)施例的來(lái)自沿著穿過(guò)3D對(duì)象的不同平面中的曲線的多重視角 的3D對(duì)象的圖像的序列的視頻編碼和壓縮的概念例示。
[0020] 圖10圖示了根據(jù)示例實(shí)施例的圍繞著3D對(duì)象的不同軌道平面的幾何結(jié)構(gòu)。
[0021] 圖11圖示了根據(jù)示例實(shí)施例的顯示器中的3D對(duì)象的圖像的交互式旋轉(zhuǎn)。
【具體實(shí)施方式】
[0022] 轉(zhuǎn)體/360度旋轉(zhuǎn)器是一種交互式圖形用戶(hù)接口（或其工具），其功能是在顯示設(shè) 備上顯示=維（3D)對(duì)象，更具體地是在使得3D對(duì)象看起來(lái)被連續(xù)地（或幾乎連續(xù)地）旋 轉(zhuǎn)通過(guò)多種角取向時(shí)交互地操縱3D對(duì)象的顯示。轉(zhuǎn)體/360度旋轉(zhuǎn)器可實(shí)現(xiàn)在諸如桌上型 計(jì)算機(jī)、膝上型計(jì)算機(jī)、智能電話、智能平板或其它客戶(hù)端設(shè)備之類(lèi)的計(jì)算機(jī)設(shè)備中，并且 因此可向計(jì)算機(jī)設(shè)備的用戶(hù)提供交互功能。
[0023] 在實(shí)踐中，可通過(guò)計(jì)算機(jī)設(shè)備的顯示設(shè)備的顯示器中的交互式光標(biāo)來(lái)提供轉(zhuǎn)體 /360度旋轉(zhuǎn)器的交互能力。例如，該交互式光標(biāo)可被鼠標(biāo)或其它類(lèi)型的物理設(shè)備接口控制。 在該種交互式光標(biāo)的某些實(shí)施例中，一般而言，與轉(zhuǎn)體/360度旋轉(zhuǎn)器相關(guān)聯(lián)的光標(biāo)可包括 虛擬地"抓住"顯示器中的3D對(duì)象的能力。轉(zhuǎn)體/360度旋轉(zhuǎn)器隨后可使得3D對(duì)象看起來(lái) 響應(yīng)于光標(biāo)虛擬地"拖曳"3D對(duì)象經(jīng)過(guò)相對(duì)于顯示器的觀看視角的各種角取向而W動(dòng)畫(huà)方 式在顯示器的虛擬3D空間中旋轉(zhuǎn)。其它用戶(hù)接口范例可提供類(lèi)似的功能，例如鍵盤(pán)的左右 上下箭頭的使用、操縱桿或類(lèi)似控制器的運(yùn)動(dòng)、手持設(shè)備的相對(duì)運(yùn)動(dòng)（例如顯示圖像的智 能電話的運(yùn)動(dòng)），等等。
[0024] 幾何上來(lái)說(shuō)，從特定視角觀看的3D對(duì)象的表觀旋轉(zhuǎn)運(yùn)動(dòng)可等同于從如下視角觀 看該3D對(duì)象；該視角W某種方式遵循著圍繞3D對(duì)象的某一路徑，例如軌道。例如，軌道可 位于穿過(guò)該對(duì)象或在該對(duì)象附近經(jīng)過(guò)的平面中。此外，可W有多個(gè)軌道，每個(gè)在不同平面 上。不同平面可彼此平行，與相對(duì)于3D對(duì)象的不同紳度相對(duì)應(yīng)。額外地或替換地，不同平 面可與相對(duì)于3D對(duì)象的不同子午面相對(duì)應(yīng)。該只是可產(chǎn)生可從其來(lái)觀看3D對(duì)象的不同視 角的不同軌道取向的兩個(gè)示例。另外，圍繞3D對(duì)象的路徑可W只是軌道的一部分（例如， ?。?。此外，路徑不需要一定對(duì)應(yīng)于規(guī)則幾何圖形（例如，圓錐曲線），而可W更一般地是具 有穿過(guò)3D對(duì)象或在3D對(duì)象附近經(jīng)過(guò)的大致旋轉(zhuǎn)軸的任意曲線。
[0025] 通過(guò)從沿著圍繞3D對(duì)象的一個(gè)或多個(gè)路徑或軌道的多重視角生成3D對(duì)象的圖 像，然后按動(dòng)畫(huà)序列顯示生成的圖像，可W使得3D對(duì)象看起來(lái)與從一個(gè)圖像到下一個(gè)圖像 之間的視角的變化相對(duì)應(yīng)地旋轉(zhuǎn)。利用來(lái)自多個(gè)路徑或軌道的圖像，例如，可W使3D對(duì)象 看起來(lái)旋轉(zhuǎn)經(jīng)過(guò)與圖像的一個(gè)或另一個(gè)序列排序相對(duì)應(yīng)的多種角取向一一可能是任意的 和/或是圍繞著穿過(guò)3D對(duì)象或在3D對(duì)象附近經(jīng)過(guò)的多個(gè)不同軸的。
[0026] 取來(lái)自不同視角的該種圖像的聚集或集合W及標(biāo)記或識(shí)別視角的取向（例如，相 對(duì)于3D對(duì)象的角度）的關(guān)聯(lián)信息作為輸入，轉(zhuǎn)體/360度旋轉(zhuǎn)器可提供對(duì)3D對(duì)象的表觀角 運(yùn)動(dòng)的交互式控制。更具體而言，顯示器上的光標(biāo)的軌跡中的一者或另一者可在圍繞3D對(duì) 象的一個(gè)或另一個(gè)相應(yīng)路徑軌道或路徑中被平移，該進(jìn)而可用于識(shí)別和/或選擇相應(yīng)的圖 像來(lái)W動(dòng)畫(huà)方式顯示。
[0027] 用于從圍繞3D對(duì)象的不同視角創(chuàng)建圖像的傳統(tǒng)方案是從每個(gè)視角生成單獨(dú)的 "靜止"圖像。在此方案中，每個(gè)靜止圖像本身是完整的，并且可獨(dú)立于任何其它圖像地被顯 示在顯示設(shè)備中。注意，來(lái)自不同視角的3D對(duì)象的靜止圖像可W按攝影方式生成（例如， 從數(shù)字照片生成），和/或利用3D圖形擅染工具（例如，計(jì)算機(jī)輔助顯示工具）來(lái)生成。 [002引對(duì)于使用傳統(tǒng)的靜止圖像的聚集或集合和輔助信息（例如，角取向）的傳統(tǒng)轉(zhuǎn)體 /360度旋轉(zhuǎn)器處理，例如具有幾兆字節(jié)（例如3-10兆字節(jié)）的大小的輸入文件或數(shù)據(jù)流可 能不是罕見(jiàn)的。同時(shí)，基于圖像擅染角動(dòng)畫(huà)的可執(zhí)行程序可設(shè)及定制的算法，該些算法可能 是緩慢的和/或不便于經(jīng)受優(yōu)化。在轉(zhuǎn)體/360度旋轉(zhuǎn)器的一些應(yīng)用中，大數(shù)據(jù)大小和/或 對(duì)專(zhuān)口算法的需求可造成某些挑戰(zhàn)。
[0029] 例如，在瀏覽器程序的情境中，用于生成諸如文本、圖像、嵌入式計(jì)算機(jī)代碼等等 之類(lèi)的顯示頁(yè)面的數(shù)據(jù)的聚集通常被稱(chēng)為"資源"（asset)。在傳統(tǒng)的轉(zhuǎn)體/360度旋轉(zhuǎn)器 的情況下，傳統(tǒng)的資源可包括圖像的一個(gè)或多個(gè)集合和識(shí)別角度的輔助信息等等。在實(shí)踐 中，資源可例如被存儲(chǔ)在網(wǎng)絡(luò)中的服務(wù)器上，并且可響應(yīng)于激活轉(zhuǎn)體/360度旋轉(zhuǎn)器的請(qǐng)求 而被取回并發(fā)送到客戶(hù)端設(shè)備。該樣，網(wǎng)絡(luò)傳輸和關(guān)聯(lián)的延時(shí)可成為一個(gè)因素。資源越大， 延時(shí)就可能越大。對(duì)于一些應(yīng)用，例如產(chǎn)品廣告，延時(shí)可對(duì)有效性具有負(fù)面影響。即使當(dāng)延 時(shí)不