通過(guò)時(shí)間延時(shí)和穩(wěn)定化的超延時(shí)視頻的制作方法
【專(zhuān)利摘要】本文描述的各種技術(shù)涉及根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻?？梢曰谳斎胍曨l來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。另外，可以針對(duì)輸出超延時(shí)視頻的輸出幀而從經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)?？梢葬槍?duì)輸出幀而從輸入視頻挑選一個(gè)或多個(gè)選擇的輸入幀。所選擇的輸入幀可以至少部分基于針對(duì)輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選。此外，可以將所選擇的輸入幀進(jìn)行組合以渲染輸出幀。從輸入視頻挑選所選擇的輸入幀并且將所選擇的輸入幀進(jìn)行組合可以針對(duì)輸出超延時(shí)視頻的輸出幀中的每個(gè)來(lái)執(zhí)行。
【專(zhuān)利說(shuō)明】通過(guò)時(shí)間延時(shí)和穩(wěn)定化的超延時(shí)視頻
【背景技術(shù)】
[0001]傳統(tǒng)相機(jī)常常是昂貴的、笨重的并且難以操作的設(shè)備。最近，數(shù)字相機(jī)已經(jīng)變得更 廉價(jià)、更小、更易于使用并且已經(jīng)變得實(shí)際上無(wú)處不在。相機(jī)現(xiàn)在常常被附接到汽車(chē)、計(jì)算 機(jī)以及電話。另外，可穿戴相機(jī)日益普遍?？纱┐飨鄼C(jī)可以被稱(chēng)為第一人稱(chēng)相機(jī)，因?yàn)閯?dòng)作 如同通過(guò)相機(jī)操作者的眼睛被看見(jiàn)。
[0002] 所捕獲的視頻可能很長(zhǎng)并且單調(diào)，并且因此，可能觀看起來(lái)是枯燥的并且難以導(dǎo) 航。各種傳統(tǒng)方法采用延時(shí)技術(shù)來(lái)縮短這樣的視頻。例如，視頻的速度可以通過(guò)選擇該視頻 的每第η個(gè)幀以用于得到的延時(shí)視頻來(lái)增大。
[0003] 此外，相機(jī)在運(yùn)動(dòng)中時(shí)可以被用于捕獲視頻。傳統(tǒng)延時(shí)技術(shù)可以被應(yīng)用到由在空 間中移動(dòng)的相機(jī)捕獲的視頻。得到的延時(shí)視頻可以被稱(chēng)為超延時(shí)視頻，強(qiáng)調(diào)該視頻是通過(guò) 在空間中移動(dòng)的相機(jī)來(lái)獲得的并且該視頻已經(jīng)通過(guò)時(shí)間來(lái)加速。
[0004] 由移動(dòng)相機(jī)捕獲的視頻常常遭受不穩(wěn)定的相機(jī)抖動(dòng)和變化的照明條件。例如，當(dāng) 用戶正在散步、跑步、爬山、徒步旅行、搭乘(例如，自行車(chē)、車(chē)輛、火車(chē)、等等）、滑雪、跳傘或 以其他方式在空間中移動(dòng)時(shí)，由與用戶合作地持有、佩戴或以其他方式與用戶合作地可移 動(dòng)的相機(jī)隨意捕獲的視頻可以包括顯著抖動(dòng)和/或扭轉(zhuǎn)和轉(zhuǎn)動(dòng)。因此，增大這樣的視頻的幀 率的傳統(tǒng)延時(shí)技術(shù)可以放大相機(jī)抖動(dòng)，由此降低得到的視頻的可觀看性。

【發(fā)明內(nèi)容】

[0005] 本文描述了涉及根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的各種技術(shù)?？梢曰谳斎?視頻來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。另外，可以針對(duì)輸出超延時(shí)視頻的輸出幀而從經(jīng)平滑的相 機(jī)路徑選擇輸出相機(jī)姿勢(shì)。可以針對(duì)輸出幀而從輸入視頻挑選一個(gè)或多個(gè)所選擇的輸入 幀。所選擇的輸入幀可以至少部分基于針對(duì)輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選。此外，可以將所 選擇的輸入幀進(jìn)行組合以渲染輸出幀。從輸入視頻挑選所選擇的輸入幀并且將所選擇的輸 入幀進(jìn)行組合可以針對(duì)輸出超延時(shí)視頻的輸出幀中的每個(gè)來(lái)執(zhí)行。
[0006] 以上
【發(fā)明內(nèi)容】
呈現(xiàn)了簡(jiǎn)化的
【發(fā)明內(nèi)容】
以便提供對(duì)本文討論的系統(tǒng)和/或方法的一 些方面的基本理解。本
【發(fā)明內(nèi)容】
不是本文討論的系統(tǒng)和/或方法的詳細(xì)概述。其不旨在識(shí)別 重要/關(guān)鍵元件或不旨在描繪這樣的系統(tǒng)和/或方法的范圍。其唯一目的是以簡(jiǎn)化的形式呈 現(xiàn)一些構(gòu)思作為對(duì)稍后呈現(xiàn)的更詳細(xì)的描述的前序。
【附圖說(shuō)明】
[0007] 圖1圖示了根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的示例性系統(tǒng)的功能框圖。
[0008] 圖2圖示了包括重構(gòu)和使用場(chǎng)景的模型和針對(duì)輸入視頻的輸入相機(jī)姿勢(shì)以生成輸 出超延時(shí)視頻的計(jì)算系統(tǒng)的示例性系統(tǒng)的功能框圖。
[0009] 圖3圖示了視頻生成系統(tǒng)的示例性重構(gòu)組件的功能框圖。
[0010] 圖個(gè)示了視頻生成系統(tǒng)的示例性路徑規(guī)劃組件的功能框圖。
[0011] 圖5圖示了渲染質(zhì)量項(xiàng)rP的示例性計(jì)算。
[0012]圖6圖示了渲染質(zhì)量項(xiàng)夢(mèng)P的示例性計(jì)算，其是視角不變紋理拉伸。
[0013]圖7圖示了視頻生成系統(tǒng)的示例性渲染組件的功能框圖。
[0014] 圖8圖示了根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的示例性系統(tǒng)的功能框圖。
[0015] 圖9圖示了示例性計(jì)算系統(tǒng)的功能框圖。
[0016] 圖10是圖示了根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的示例性方法的流程圖。
[0017] 圖11是圖示了渲染輸出幀的示例性方法的流程圖。
[0018]圖12圖示了示例性計(jì)算設(shè)備。
[0019] 圖13圖示了示例性計(jì)算系統(tǒng)。
【具體實(shí)施方式】
[0020] 現(xiàn)在參考附圖描述涉及根據(jù)輸入視頻來(lái)創(chuàng)建輸出超延時(shí)視頻的各種技術(shù)，其中類(lèi) 似的附圖標(biāo)記在各處用于指代類(lèi)似的元件。在下面的描述中，為了解釋的目的，闡述了許多 具體細(xì)節(jié)以提供對(duì)一個(gè)或多個(gè)方面的透徹理解。然而，可以顯而易見(jiàn)的是，（多個(gè))這樣的方 面可以在沒(méi)有這些具體細(xì)節(jié)的情況下來(lái)實(shí)踐。在其他實(shí)例中，周知的結(jié)構(gòu)和設(shè)備以框圖形 式示出以便促進(jìn)描述一個(gè)或多個(gè)方面。另外，要理解，被描述為由某些系統(tǒng)組件執(zhí)行的功能 可以由多個(gè)組件來(lái)執(zhí)行。類(lèi)似地，例如，組件可以被配置為執(zhí)行被描述為由多個(gè)組件執(zhí)行的 功能。
[0021] 此外，術(shù)語(yǔ)"或者"旨在意指包含性的"或者"而非排他性的"或者"。也就是說(shuō)，除非 另行說(shuō)明，或者從上下文很清楚，術(shù)語(yǔ)"X采用A或B"旨在意指自然包含性排列中的任何。也 就是說(shuō)，術(shù)語(yǔ)"X采用A或者B"旨由以下實(shí)例中的任何滿足:X采用A;X采用B;或者X采用A和B 兩者。另外，如在本申請(qǐng)和隨附權(quán)利要求中使用的詞語(yǔ)"一"和"一個(gè)"應(yīng)當(dāng)一般地被理解為 意指"一個(gè)或多個(gè)"，除非另行說(shuō)明或者從上下文很清楚指向單數(shù)形式。
[0022] 如本文所闡述的，描述了用于根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的各種技術(shù)。 輸入視頻可以由在空間中隨時(shí)間移動(dòng)的相機(jī)捕獲。另外，輸入視頻可以包括運(yùn)動(dòng)噪聲。由移 動(dòng)的相機(jī)獲得的輸入視頻通過(guò)時(shí)間來(lái)加速以生成輸出超延時(shí)視頻。根據(jù)輸入視頻生成的輸 出超延時(shí)視頻相對(duì)于包括輸入視頻的每第η個(gè)幀的傳統(tǒng)延時(shí)視頻而被平滑。
[0023]在高加速速率處，與傳統(tǒng)視頻穩(wěn)定化技術(shù)耦合的傳統(tǒng)幀子采樣可能是無(wú)效率的， 因?yàn)榇嬖谟谳斎胍曨l中的不穩(wěn)定的相機(jī)抖動(dòng)由加速放大。對(duì)比之下，作為本文闡述的技術(shù) 的部分，輸入相機(jī)路徑(例如，針對(duì)輸入視頻的輸入幀的輸入相機(jī)姿勢(shì))也可以被重構(gòu)為致 密的每幀的代理幾何結(jié)構(gòu)。另外，經(jīng)平滑的相機(jī)路徑可以針對(duì)輸出超延時(shí)視頻而被優(yōu)化;經(jīng) 平滑的相機(jī)路徑可以被計(jì)算以傳遞接近的輸入相機(jī)位置并且以提供輸出相機(jī)被定位并被 定向在可以根據(jù)輸入視頻很好地渲染的方向上。此外，輸出超延時(shí)視頻可以通過(guò)渲染、拼 接、以及混合來(lái)自針對(duì)每個(gè)輸出幀的輸入視頻的所選擇的源幀來(lái)生成。
[0024](根據(jù)其生成輸出超延時(shí)視頻的）一種類(lèi)型的輸入視頻的示例是第一人稱(chēng)視頻。第 一人稱(chēng)視頻例如可以由第一人稱(chēng)相機(jī)捕獲。第一人稱(chēng)相機(jī)可以免手持地操作并且可以隱式 地捕獲第一人稱(chēng)視頻，而非通過(guò)顯式啟動(dòng)停止命令。第一人稱(chēng)相機(jī)可以與用戶合作地被佩 戴或者以其他方式與用戶合作地可移動(dòng)。按照說(shuō)明，第一人稱(chēng)相機(jī)可以是頭盔式相機(jī);然 而，其他類(lèi)型的第一人稱(chēng)相機(jī)也旨在落入本文隨附的權(quán)利要求的范圍內(nèi)。第一人稱(chēng)相機(jī)可 以在用戶正在散步、跑步、爬山、徒步旅行、搭乘(例如，自行車(chē)、車(chē)輛、火車(chē)、等等）、滑雪、跳 傘或以其他方式在空間中移動(dòng)時(shí)捕獲輸入視頻;然而，輸入視頻可以包括顯著抖動(dòng)和/或扭 轉(zhuǎn)和轉(zhuǎn)動(dòng)。然而，要理解，要求保護(hù)的主題不限于使用第一人稱(chēng)相機(jī);相反，基本上可以被持 有或在空間中隨時(shí)間可移動(dòng)的任何類(lèi)型的相機(jī)都旨在落入本文隨附的權(quán)利要求的范圍內(nèi)。 另外，由在空間中移動(dòng)的相機(jī)捕獲的其他類(lèi)型的輸入視頻旨在落入本文隨附的權(quán)利要求的 范圍內(nèi)。
[0025] 現(xiàn)在參考附圖，圖1圖示了根據(jù)輸入視頻104來(lái)生成輸出超延時(shí)視頻102的系統(tǒng) 100。系統(tǒng)100包括計(jì)算系統(tǒng)106。計(jì)算系統(tǒng)106包括處理器108和存儲(chǔ)器110。處理器108被配 置為執(zhí)行被下載到存儲(chǔ)器110中的指令(例如，被下載到存儲(chǔ)器110中的一個(gè)或多個(gè)系統(tǒng)由 處理器108可執(zhí)行，被下載到存儲(chǔ)器110中的一個(gè)或多個(gè)組件由處理器108可執(zhí)行，等等）。如 本文中更詳細(xì)地描述的，存儲(chǔ)器110包括視頻生成系統(tǒng)112,視頻生成系統(tǒng)112根據(jù)輸入視頻 104來(lái)創(chuàng)建輸出超延時(shí)視頻102,其中視頻生成系統(tǒng)112由處理器108可執(zhí)行；因此，存儲(chǔ)器 110包括被配置為生成輸出超延時(shí)視頻102的指令。
[0026] 根據(jù)各種示例，計(jì)算系統(tǒng)106可以為或者可以包括計(jì)算設(shè)備。按照各種說(shuō)明，計(jì)算 設(shè)備可以為臺(tái)式計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備（例如，膝上型計(jì)算設(shè)備、移動(dòng)電話、平板計(jì)算設(shè) 備、可穿戴計(jì)算設(shè)備、手持計(jì)算設(shè)備、便攜式游戲設(shè)備、個(gè)人數(shù)字助理、相機(jī)、等等）、游戲控 制臺(tái)、或車(chē)載通信和信息娛樂(lè)系統(tǒng)、等等。根據(jù)其他示例，計(jì)算系統(tǒng)106可以為或者可以包括 一個(gè)或多個(gè)服務(wù)器計(jì)算設(shè)備。例如，計(jì)算系統(tǒng)106可以為或者可以包括一個(gè)或多個(gè)數(shù)據(jù)中 心，其中數(shù)據(jù)中心包括多個(gè)服務(wù)器計(jì)算設(shè)備。額外地或備選地，計(jì)算系統(tǒng)106可以為分布式 計(jì)算系統(tǒng)。
[0027] 此外，計(jì)算系統(tǒng)106可以包括數(shù)據(jù)存儲(chǔ)裝置114。數(shù)據(jù)存儲(chǔ)裝置114可以保存輸入視 頻104。輸入視頻104包括輸入幀的序列。另外，數(shù)據(jù)存儲(chǔ)裝置114可以保存場(chǎng)景的模型116和 針對(duì)輸入視頻104的輸入幀的輸入相機(jī)姿勢(shì)118。場(chǎng)景的模型116可以為輸入視頻104中描繪 的場(chǎng)景的幾何(例如，三維(3D))模型。另外，輸入相機(jī)姿勢(shì)118包括捕獲輸入視頻104的輸入 幀的相機(jī)的輸入相機(jī)位置和輸入相機(jī)定向（例如，針對(duì)給定輸入幀的輸入相機(jī)姿勢(shì)包括針 對(duì)給定輸入幀的輸入相機(jī)位置和輸入相機(jī)定向，等等）。輸入相機(jī)姿勢(shì)118根據(jù)輸入視頻104 來(lái)重構(gòu)。針對(duì)輸入幀的輸入相機(jī)姿勢(shì)118提供對(duì)捕獲輸入視頻104的相機(jī)的運(yùn)動(dòng)的估計(jì)。盡 管未示出，但是預(yù)見(jiàn)到數(shù)據(jù)存儲(chǔ)裝置114還可以保存由視頻生成系統(tǒng)112創(chuàng)建的輸出超延時(shí) 視頻102。
[0028] 根據(jù)示例，計(jì)算系統(tǒng)106可以基于輸入視頻104來(lái)構(gòu)建場(chǎng)景的模型116和輸入相機(jī) 姿勢(shì)118。按照另一示例，不同的計(jì)算系統(tǒng)可以基于輸入視頻104來(lái)構(gòu)建場(chǎng)景的模型116和/ 或輸入相機(jī)姿勢(shì)118(或前述中的一個(gè)或兩者的（多個(gè))部分）；在該示例之后，不同的計(jì)算系 統(tǒng)可以將場(chǎng)景的模型116和/或輸入相機(jī)姿勢(shì)118(或其(多個(gè))部分)提供到計(jì)算系統(tǒng)106,其 可以在其后被保存在數(shù)據(jù)存儲(chǔ)裝置114中。
[0029] 如以上所指出的，計(jì)算系統(tǒng)106的存儲(chǔ)器110包括視頻生成系統(tǒng)112。視頻生成系統(tǒng) 112包括路徑規(guī)劃組件120,路徑規(guī)劃組件120基于輸入視頻104來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。 路徑規(guī)劃組件120可以基于場(chǎng)景的模型116和針對(duì)輸入視頻104的輸入幀的輸入相機(jī)姿勢(shì) 118來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。根據(jù)示例，由路徑規(guī)劃組件120計(jì)算的經(jīng)平滑的相機(jī)路徑可 以包括輸出相機(jī)位置曲線和輸出相機(jī)定向曲線。路徑規(guī)劃組件120還針對(duì)輸出超延時(shí)視頻 102的輸出幀而從經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)。針對(duì)輸出幀的輸出相機(jī)姿勢(shì)包括 輸出相機(jī)位置和輸出相機(jī)定向。
[0030] 路徑規(guī)劃組件120可以根據(jù)各種因素來(lái)計(jì)算針對(duì)輸出超延時(shí)視頻102的經(jīng)平滑的 相機(jī)路徑。由路徑規(guī)劃組件120使用的計(jì)算經(jīng)平滑的相機(jī)路徑的因素可以包括:經(jīng)平滑的相 機(jī)路徑的長(zhǎng)度;經(jīng)平滑的相機(jī)路徑的位置平滑度;經(jīng)平滑的相機(jī)路徑的定向平滑度;經(jīng)平滑 的相機(jī)路徑與針對(duì)輸入視頻104的輸入相機(jī)位置的接近度；以及指示沿經(jīng)平滑的相機(jī)路徑 的根據(jù)場(chǎng)景的模型116的基于圖像的渲染質(zhì)量的視圖質(zhì)量度量。視圖質(zhì)量度量例如可以為 由將原始圖像紋理映射到代理幾何結(jié)構(gòu)上引發(fā)的透視縮短的量的視圖無(wú)關(guān)的度量;然而， 其他視圖質(zhì)量度量旨在落入本文隨附的權(quán)利要求的范圍內(nèi)。此外，要理解，路徑規(guī)劃組件 120可以根據(jù)前述因素的子集來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。額外地或備選地，除了以上指出的 因素之外的（多個(gè))不同的因素也可以由路徑規(guī)劃組件120用于計(jì)算經(jīng)平滑的相機(jī)路徑。
[0031] 場(chǎng)景的模型116和輸入相機(jī)姿勢(shì)118可以由路徑規(guī)劃組件120用于在六維(6D)姿勢(shì) 空間（x、y、z、俯仰、偏航、滾轉(zhuǎn)）中優(yōu)化經(jīng)平滑的相機(jī)路徑。路徑規(guī)劃組件120可以基于輸入 相機(jī)姿勢(shì)118和用于根據(jù)輸入視頻104來(lái)渲染輸出超延時(shí)視頻102的輸出幀的能力來(lái)計(jì)算經(jīng) 平滑的相機(jī)路徑。通過(guò)基于如以上所描述的因素來(lái)計(jì)算，經(jīng)平滑的相機(jī)路徑可以在位置和 定向上是平滑的，傳遞輸入視頻104中的接近的輸入相機(jī)位置，并且被定向朝向可以被渲染 的方向。另外，路徑規(guī)劃組件120可以針對(duì)輸出超延時(shí)視頻102的輸出幀而從經(jīng)平滑的相機(jī) 路徑選擇輸出相機(jī)姿勢(shì)。與前述相反，一些傳統(tǒng)路徑平滑技術(shù)采用低通時(shí)間濾波;然而，由 于用于延時(shí)視頻的平滑的量，這樣的傳統(tǒng)算法通常不能提供足夠的結(jié)果。
[0032]視頻生成系統(tǒng)112還包括渲染輸出超延時(shí)視頻10 2的渲染組件12 2。針對(duì)輸出超延 時(shí)視頻102的輸出幀，渲染組件122針對(duì)輸出幀而從輸入視頻104挑選一個(gè)或多個(gè)所選擇的 幀。所選擇的輸入幀可以至少部分基于針對(duì)輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選。例如，渲染組件 12 2可以基于輸出幀的輸出相機(jī)位置、輸出幀的輸出相機(jī)定向、或者輸出幀的輸出相機(jī)位置 和輸出相機(jī)定向的組合來(lái)挑選所選擇的輸入幀。此外，渲染組件122將所選擇的輸入幀進(jìn)行 組合以渲染輸出幀。所選擇的輸入幀可以通過(guò)對(duì)來(lái)自所選擇的輸入幀的數(shù)據(jù)進(jìn)行扭曲和混 合來(lái)組合。渲染組件122可以將所選擇的輸入幀與每幀的代理幾何結(jié)構(gòu)投影、拼接、混合和/ 或以其他方式融合。渲染組件122類(lèi)似地挑選并組合針對(duì)輸出超延時(shí)視頻102的其他輸出幀 的所選擇的輸入幀。
[0033] 為了從輸入視頻104挑選針對(duì)給定輸出幀的所選擇的輸入幀，渲染組件122可以計(jì) 算針對(duì)給定輸出幀的候選輸入幀的權(quán)重圖。可以由渲染組件122根據(jù)權(quán)重圖從候選輸入幀 挑選所選擇的輸入幀。針對(duì)給定候選輸入幀的權(quán)重圖可以基于視圖質(zhì)量度量、像素的相對(duì) 深度(例如，以緩解對(duì)場(chǎng)景的遮擋部分的選擇）以及運(yùn)動(dòng)模糊的量。因此，渲染組件122可以 實(shí)施多幀基于圖像的渲染算法，其扭曲輸入幀、計(jì)算權(quán)重圖、調(diào)節(jié)可見(jiàn)性以及使用時(shí)間和空 間接縫選擇(例如，圖切割)算法和泊松混合來(lái)混合得到的圖像。
[0034] 恢復(fù)的輸入相機(jī)參數(shù)(例如，輸入相機(jī)姿勢(shì)118)和本地世界結(jié)構(gòu)（例如，場(chǎng)景的模 型116)可以由渲染組件122用作基于圖像的渲染技術(shù)的部分以重構(gòu)輸出超延時(shí)視頻102的 每個(gè)輸出幀。輸出幀可以使用基于圖像的渲染根據(jù)多個(gè)輸入幀來(lái)合成。因此，渲染組件122 可以將若干輸入幀進(jìn)行組合以形成每個(gè)輸出幀，其可以緩解過(guò)度剪裁。相反，許多傳統(tǒng)視頻 穩(wěn)定化技術(shù)通常在單幀入單幀出的基礎(chǔ)上進(jìn)行操作，從而導(dǎo)致大量剪裁。
[0035] 根據(jù)各種示例，輸入視頻104可以是包括運(yùn)動(dòng)噪聲的隨意捕獲的移動(dòng)的第一人稱(chēng) 視頻。視頻生成系統(tǒng)112可以處理輸入視頻104中的運(yùn)動(dòng)噪聲以創(chuàng)建輸出超延時(shí)視頻102。輸 出超延時(shí)視頻102可以為來(lái)自由視頻生成系統(tǒng)112穩(wěn)定化的移動(dòng)相機(jī)的延時(shí)視頻。相反，傳 統(tǒng)延時(shí)技術(shù)可以在加速輸入視頻104時(shí)放大相機(jī)抖動(dòng)，并且這樣的相機(jī)抖動(dòng)可以超過(guò)傳統(tǒng) 視頻穩(wěn)定化技術(shù)的能力。例如，增大的相機(jī)抖動(dòng)可以導(dǎo)致跟蹤在連續(xù)幀之間的運(yùn)動(dòng)的困難。 此外，在抽取幀之前應(yīng)用傳統(tǒng)視頻穩(wěn)定化技術(shù)可能是無(wú)效率的，因?yàn)檫@樣的技術(shù)常常使用 相對(duì)短的時(shí)間窗口，因此平滑的量可能對(duì)于實(shí)現(xiàn)平滑超延時(shí)結(jié)果是無(wú)效率的。
[0036] 根據(jù)示例，視頻生成系統(tǒng)112可以在創(chuàng)建輸出超延時(shí)視頻102時(shí)以固定因子(例如， 10倍、等等)加速輸入視頻1〇4(例如，固定因子可以由制造商、用戶、等等預(yù)定）。通過(guò)另一示 例，預(yù)見(jiàn)到視頻生成系統(tǒng)112可以以動(dòng)態(tài)控制的因子加速輸入視頻104(例如，響應(yīng)于諸如被 指定為用戶輸入的部分的速度值的接收到的輸入、等等）。
[0037]現(xiàn)在轉(zhuǎn)到圖2,圖示了包括計(jì)算系統(tǒng)106的系統(tǒng)200,其重構(gòu)和使用場(chǎng)景的模型116 和針對(duì)輸入視頻104的輸入相機(jī)姿勢(shì)118以生成輸出超延時(shí)視頻102。與以上類(lèi)似，計(jì)算系統(tǒng) 106包括處理器108、存儲(chǔ)器110以及數(shù)據(jù)存儲(chǔ)裝置114。存儲(chǔ)器110還包括視頻生成系統(tǒng)112。 盡管未示出，但是預(yù)見(jiàn)到輸入視頻104和/或輸出超延時(shí)視頻102可以被保存在數(shù)據(jù)存儲(chǔ)裝 置114中。
[0038]在圖2中闡述的示例中，視頻生成系統(tǒng)112包括重構(gòu)組件202以及路徑規(guī)劃組件120 和渲染組件122。重構(gòu)組件202構(gòu)建使用場(chǎng)景的模型116和針對(duì)輸入視頻104的輸入相機(jī)姿勢(shì) 118。重構(gòu)組件202可以使用來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的算法和致密深度圖插值來(lái)構(gòu)建場(chǎng)景的模型 116和輸入相機(jī)姿勢(shì)118。
[0039]根據(jù)示例，重構(gòu)組件202可以構(gòu)建世界的3D模型。此外，重構(gòu)組件202可以計(jì)算每幀 的3D代理(例如，針對(duì)輸入視頻104的輸入幀的每幀的3D代理），其可以被用作本文描述的基 于圖像的渲染的部分。
[0040]為了計(jì)算3D相機(jī)運(yùn)動(dòng)和場(chǎng)景代理，來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的技術(shù)可以由重構(gòu)組件202利 用。更具體地，重構(gòu)組件202可以使用將良好估計(jì)的相機(jī)添加到當(dāng)前3D重構(gòu)的增量方法。為 了處理大型數(shù)據(jù)集，重構(gòu)組件202可以去除冗余輸入幀并且之后將輸入幀劃分成交疊的塊。 為了估計(jì)針對(duì)每個(gè)輸入幀的連續(xù)的3D代理，重構(gòu)組件202可以對(duì)3D點(diǎn)云的致密的版本進(jìn)行 插值。
[0041 ]參考圖3，圖示了視頻生成系統(tǒng)112的重構(gòu)組件202。如以上所指出的，重構(gòu)組件202 可以重構(gòu)場(chǎng)景的模型116 (例如，場(chǎng)景幾何結(jié)構(gòu))和針對(duì)輸入視頻104的每個(gè)輸入幀的輸入相 機(jī)姿勢(shì)118(例如，輸入相機(jī)位置和定向）。
[0042] 重構(gòu)組件202可以任選地包括對(duì)輸入視頻104進(jìn)行預(yù)處理的預(yù)處理組件302。根據(jù) 示例，用于捕獲輸入視頻104的相機(jī)可以在具有對(duì)角視場(chǎng)的魚(yú)眼投影中捕獲視頻(例如，一 些相機(jī)可以提供大約170°對(duì)角視場(chǎng)、等等）。預(yù)處理組件302可以校準(zhǔn)透鏡失真并將輸入視 頻104轉(zhuǎn)換為(經(jīng)剪裁的）線性透視投影。投影的變化可以簡(jiǎn)化后續(xù)處理的實(shí)施方式同時(shí)緩 解魚(yú)眼圖像的失真的角落。然而，預(yù)見(jiàn)到重構(gòu)組件202不需要包括預(yù)處理組件302。
[0043] 重構(gòu)組件202還可以包括評(píng)價(jià)組件304。一旦已經(jīng)由預(yù)處理組件302(如果包含在重 構(gòu)組件202中并且被采用的話)重新投影了圖像，評(píng)價(jià)組件304可以估計(jì)輸入視頻104的輸入 幀的外部相機(jī)參數(shù)以及針對(duì)輸入圖像的深度圖。評(píng)價(jià)組件304可以使用來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的 算法來(lái)對(duì)所估計(jì)的相機(jī)參數(shù)和深度圖進(jìn)行求解。評(píng)價(jià)組件304可以利用來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的 算法來(lái)估計(jì)輸入相機(jī)的位置和定向。另外，評(píng)價(jià)組件304可以采用來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的算法來(lái) 計(jì)算稀疏3D點(diǎn)云，其中每個(gè)點(diǎn)具有輸入幀的相關(guān)聯(lián)的列表，在其中每個(gè)點(diǎn)是可見(jiàn)的。
[0044] 當(dāng)采用來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的算法時(shí)，評(píng)價(jià)組件304可以找到輸入視頻104的輸入幀中 的特征點(diǎn)。評(píng)價(jià)組件304可以進(jìn)一步識(shí)別輸入幀的對(duì)中的匹配特征點(diǎn)。輸入幀的對(duì)中的匹配 特征點(diǎn)可以被指示在匹配表中。評(píng)價(jià)組件304可以通過(guò)搜索匹配表中的具有顯著非對(duì)角分 量的行和列并從輸入視頻104的輸入幀的原始集合去除這些行和列來(lái)去除冗余輸入幀。評(píng) 價(jià)組件304可以在其后執(zhí)行增量的來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的流水線的剩余部分。
[0045] 注意，可能難以縮放增量的來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的算法。根據(jù)示例，為了緩解這種困 難，數(shù)據(jù)集(例如，輸入視頻104)可以被劃分成輸入幀的交疊的批次(batch)(例如，每個(gè)具 有400幀交疊的1400幀，等等），其中每個(gè)批次可以分別被并行重構(gòu)(例如，通過(guò)不同的計(jì)算 系統(tǒng)，通過(guò)計(jì)算系統(tǒng)的不同的計(jì)算設(shè)備，通過(guò)不同的處理器和處理器核心執(zhí)行，等等）。
[0046] 在對(duì)各批次的并行重構(gòu)之后，評(píng)價(jià)組件304可以將各批次組合到單個(gè)全局坐標(biāo)系 中。評(píng)價(jià)組件304可以使用霍恩(Horn)的方法來(lái)計(jì)算在各對(duì)之間的剛性(rigid)對(duì)齊。因此， 在各批次之間的交疊區(qū)域內(nèi)的輸入相機(jī)可以具有全局坐標(biāo)系中的兩個(gè)坐標(biāo)。這些歧義可以 通過(guò)將各坐標(biāo)進(jìn)行線性地組合來(lái)解決，其中混合權(quán)重在交疊區(qū)域中從0移動(dòng)到1。另外，評(píng)價(jià) 組件304可以在其后對(duì)全局系統(tǒng)上執(zhí)行光束法平差。根據(jù)示例，在已經(jīng)獲得了完全重構(gòu)之 后，評(píng)價(jià)組件304可以執(zhí)行縮放使得在兩個(gè)相繼的輸入相機(jī)之間的平均距離基本上為1。因 此，評(píng)價(jià)組件304可以計(jì)算所估計(jì)的相機(jī)路徑和稀疏3D點(diǎn)云。
[0047]此外，重構(gòu)組件202可以包括插值組件306,插值組件306執(zhí)行致密深度圖插值來(lái)構(gòu) 建場(chǎng)景的模型116和輸入相機(jī)姿勢(shì)118。由評(píng)價(jià)組件304執(zhí)行的重構(gòu)可以是稀疏的，因?yàn)樯疃?可能在每個(gè)輸入幀中的幾個(gè)孤立的點(diǎn)處是已知的。從新穎視角來(lái)準(zhǔn)確地渲染幀的幾何結(jié)構(gòu) 可以基于致密深度圖或表面模型。因此，插值組件306可以使用插值技術(shù)來(lái)獲得平滑的代理 幾何結(jié)構(gòu)。
[0048]插值組件306可以增加每個(gè)輸入幀內(nèi)的點(diǎn)的密度。例如，插值組件306可以執(zhí)行引 導(dǎo)的匹配以增加輸入幀內(nèi)的點(diǎn)的密度。由于已經(jīng)獲得了輸入相機(jī)姿勢(shì)的估計(jì)，特征點(diǎn)匹配 可以被再次執(zhí)行，但是以不那么保守的方式，因?yàn)橐环鶊D像中的特征點(diǎn)可以位于沿著相鄰 圖像中的極線。因此，特征點(diǎn)可以與在該線附近的其他特征點(diǎn)相匹配(例如，10個(gè)像素的搜 索半徑可以被用于說(shuō)明滾動(dòng)快門(mén)失真）。前述可以增大找到匹配的可能性。
[0049] 為了根據(jù)特征匹配魯棒地計(jì)算3D點(diǎn)，插值組件306可以形成跨多個(gè)幀的特征的軌 道。根據(jù)示例，軌道可以通過(guò)將成對(duì)的匹配特征點(diǎn)與共同的端點(diǎn)連接并且之后丟棄（例如， 包括相同圖像中的超過(guò)一個(gè)特征的)循環(huán)回到其本身上的軌道來(lái)計(jì)算。然而，在前述示例中 闡述的方法可以形成并且之后拒絕許多大軌道。通過(guò)另一示例，插值組件306可以使用通過(guò) 連續(xù)地合并特征匹配來(lái)構(gòu)建軌道的貪心算法，但是僅僅在合并將不會(huì)得到包括相同圖像中 的兩個(gè)特征的軌道的情況下。此外，插值組件306可以通過(guò)使重新投影誤差最小化來(lái)對(duì)針對(duì) 每個(gè)軌道的3D點(diǎn)進(jìn)行三角測(cè)量。前述可以被表示為非線性最小乘方問(wèn)題，其可以通過(guò)插值 組件306使用列文伯格-馬夸特(Levenberg-Marquardt)算法來(lái)求解。
[0050] 已經(jīng)增加了點(diǎn)的數(shù)量，插值組件306可以計(jì)算幀的相應(yīng)的致密網(wǎng)格。視場(chǎng)可以被劃 分成w X h頂點(diǎn)的規(guī)則柵格網(wǎng)格(例如，w可以被設(shè)置為41，并且h可以與輸入視頻104的反縱 橫比成比例，等等）。另外，網(wǎng)格中的頂點(diǎn)的相應(yīng)深度可以由插值組件306計(jì)算。然而，由于重 新投影誤差與差異(反深度)相關(guān)，所以插值組件306可以代替地對(duì)針對(duì)每個(gè)頂點(diǎn)x的差異d (X)進(jìn)行求解。對(duì)差異進(jìn)行求解可以實(shí)現(xiàn)緩解關(guān)于場(chǎng)景的遙遠(yuǎn)部分(例如，在無(wú)限遠(yuǎn)處的點(diǎn)） 的數(shù)值問(wèn)題。因此，目標(biāo)可以是對(duì)其中深度是已知的并且要在其他地方是平滑的稀疏點(diǎn)進(jìn) 行近似。這可以由插值組件306對(duì)下面的優(yōu)化問(wèn)題進(jìn)行求解來(lái)實(shí)現(xiàn)：
[0051]
[0052] 在前述中，V是頂點(diǎn)的集合，并且N(X)是X的4鄰域。一元項(xiàng)：
[0053] Edepth(x) = EiB(x-pi)(d(x)-Zi-l)2 (2)
[0054] 測(cè)量近似誤差。？1和21是稀疏重構(gòu)點(diǎn)的圖像空間投影和深度，并且B是其寬度是一 個(gè)網(wǎng)格單元的雙線性核。二元項(xiàng)：
[0055] Esm〇〇th(x,y) = A(d(x)-d(y) )2 (3)
[0056] 激勵(lì)平滑解。λ=1在兩個(gè)目標(biāo)之間進(jìn)行平衡。等式1的解是稀疏線性方程的集合， 其可以使用標(biāo)準(zhǔn)求解程序來(lái)求解。
[0057]因此，插值組件306可以輸出輸入相機(jī)姿勢(shì)118,其可以包括針對(duì)如恢復(fù)的輸入視 頻104的每個(gè)幀的輸入相機(jī)位置和定向。另外，插值組件306可以輸出場(chǎng)景的模型116,其可 以包括形式為針對(duì)每個(gè)幀的點(diǎn)的致密矩形柵格的深度圖。
[0058]作為對(duì)以上闡述的技術(shù)的備選，預(yù)見(jiàn)到重構(gòu)組件202可以執(zhí)行全局3D重構(gòu)。例如， 重構(gòu)組件202可以將3D重構(gòu)算法應(yīng)用到輸入視頻104,3D重構(gòu)算法例如針對(duì)多視圖立體的集 群視圖（CMVS)和/或基于補(bǔ)塊的多視圖立體(PMVS)。這樣的模型可以之后沿如本文描述的 輸出相機(jī)路徑而被渲染。然而，要理解，要求保護(hù)的主題不受此限制。
[0059]參考圖4,圖示了視頻生成系統(tǒng)112的路徑規(guī)劃組件120。如以上所指出的，路徑規(guī) 劃組件120可以基于場(chǎng)景的模型116和針對(duì)輸入視頻(例如，輸入視頻104)的輸入相機(jī)姿勢(shì) 118來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。另外，路徑規(guī)劃組件120可以針對(duì)輸出超延時(shí)視頻(例如，輸 出超延時(shí)視頻102)的輸出幀而從經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)402。
[0060] 路徑規(guī)劃組件120可以生成經(jīng)平滑的相機(jī)路徑同時(shí)滿足沖突的目標(biāo)。例如，由路徑 規(guī)劃組件120計(jì)算的路徑可以是平滑的并且可以近似輸入相機(jī)路徑(例如，跟隨接近的輸入 相機(jī)姿勢(shì)118)。另外，路徑可以被定向朝向可以使用基于圖像的渲染被良好渲染的方向。與 由路徑規(guī)劃組件120采用的技術(shù)相反，傳統(tǒng)路徑平滑算法通常不能產(chǎn)生針對(duì)抖動(dòng)的輸入相 機(jī)路徑的足夠的結(jié)果。
[0061] 如以上所闡述的，路徑規(guī)劃組件120可以根據(jù)諸如以下的因素來(lái)計(jì)算針對(duì)輸出超 延時(shí)視頻102的經(jīng)平滑的相機(jī)路徑:經(jīng)平滑的相機(jī)路徑的長(zhǎng)度、經(jīng)平滑的相機(jī)路徑的位置平 滑度、經(jīng)平滑的相機(jī)路徑的定向平滑度、經(jīng)平滑的相機(jī)路徑與針對(duì)輸入視頻的輸入相機(jī)位 置的接近度、以及指示沿經(jīng)平滑的相機(jī)路徑的根據(jù)場(chǎng)景的模型116的基于圖像的渲染質(zhì)量 的視圖質(zhì)量度量。因此，由路徑規(guī)劃組件120執(zhí)行的路徑規(guī)劃例如可以被公式化為試圖同時(shí) 滿足以下目標(biāo)的優(yōu)化問(wèn)題：
[0062] 1.長(zhǎng)度:路徑應(yīng)當(dāng)不比所需要的更長(zhǎng)。
[0063] 2.平滑度:路徑應(yīng)當(dāng)在位置和定向兩者上是平滑的。
[0064] 3.逼近:路徑應(yīng)當(dāng)接近輸入相機(jī)。
[0065] 4.渲染質(zhì)量:路徑應(yīng)當(dāng)具有在針對(duì)基于圖像的渲染的視圖中的良好估計(jì)的代理幾 何結(jié)構(gòu)。
[0066] 前述目標(biāo)被公式化如下:假設(shè){Pkin，Rkin}為輸入相機(jī)位置和旋轉(zhuǎn)矩陣（例如，輸入 相機(jī)姿勢(shì)118)的集合，并且假設(shè)p(t)和f(t)分別為期望的輸出相機(jī)連續(xù)位置和定向曲線。 由路徑規(guī)劃組件120計(jì)算的經(jīng)平滑的相機(jī)路徑包括p(t)和fUhfU)被表示為單位正面向 量(例如，其具有兩個(gè)自由度）。剩余的右上向量可以通過(guò)取與全局世界上向量的叉積來(lái)定 義。輸出相機(jī)的視場(chǎng)可以被假設(shè)為固定的用戶供應(yīng)的參數(shù)(例如，輸入相機(jī)的視場(chǎng)的80%、 等等)。
[0067] 長(zhǎng)度和平滑度目標(biāo)可以在數(shù)學(xué)上被陳述為懲罰項(xiàng)：
[0068]
[0069]
[0070]
[0071] 針對(duì)近似目標(biāo)，輸入相機(jī)位置到路徑上的對(duì)應(yīng)的最接近點(diǎn)的距離可以被最小化如 下：
[0072]
[0073] 另外，渲染質(zhì)量可以取決于場(chǎng)景幾何結(jié)構(gòu)以及輸入相機(jī)位置。視圖質(zhì)量度量可以 由路徑規(guī)劃組件120計(jì)算，其中視圖質(zhì)量度量估計(jì)可以在給定了特定輸出相機(jī)位置和定向 的情況下使用基于圖像的渲染實(shí)現(xiàn)的渲染質(zhì)量。假設(shè)下面定義的夢(mèng)^； y, G為在使用輸
入相機(jī)k的代理來(lái)渲染在時(shí)間t處的像素(x，y)時(shí)的懲罰。下面的表達(dá)式可以被評(píng)價(jià)以通過(guò) 在圖像空問(wèn)μ步公I(xiàn)?丨畺鐘甜亦時(shí)問(wèn)t々卜的_佘給m rfi貞的其月望的質(zhì)量：
[0074]
[0075] 前述懲罰可以在曲線的長(zhǎng)度上被積分以獲得渲染質(zhì)量懲罰項(xiàng)：
[0076
[0077] (Pic的各種定義旨在落入本文隨附的權(quán)利要求的范圍內(nèi)。根據(jù)示例，未結(jié)構(gòu)化的流 明圖（Lumigraph)角度誤差可以如下地被用于 tPkI
[0078]
[0079] 在前述中，
[0080]
[0081] I和玆表示在相機(jī)中心與代理表面點(diǎn)ck(x，y，t)之間的單位方向向量。代理表面點(diǎn) 表示針對(duì)像素(x，y，t)的射線與針對(duì)輸入相機(jī)k的代理的幾何結(jié)構(gòu)的交叉點(diǎn)。然而，未結(jié)構(gòu) 化的流明圖角度誤差對(duì)于到代理上的投影的傾斜度是不變的，并且因此將失真的視圖與低 懲罰相關(guān)聯(lián)。
[0082] 圖5圖示了在以上示例中的渲染質(zhì)量項(xiàng)的計(jì)算。未結(jié)構(gòu)化的流明圖角度誤差 測(cè)量在分別從輸出相機(jī)中心P (t)和輸入相機(jī)中心pf到代理表面點(diǎn)Ck (X，y，t)的方向 向量I和M之間的角度。仿射變換J可以用于計(jì)算在參考像素(x，y)處的紋理拉伸但是 9 可以取決于輸出相機(jī)的定向。
[0085] 在前述中，是紋理坐標(biāo)的雅克比(Jacobian)的本征值：
[0083] 再次，對(duì)圖4進(jìn)行參考。根據(jù)示例，(^的另一度量可以直接懲罰投影的紋理拉伸的 量：
[0084]
[0086]
[0087]雅克比可以在像素著色器中使用dFdx/dFdy指令來(lái)評(píng)價(jià)，并且針對(duì)2x2矩陣的本征 值可以使用封閉形式的表達(dá)式來(lái)計(jì)算。
[0088]前述的基于紋理拉伸的度量對(duì)于視圖定向是不變的，因?yàn)樵谕敢曂队爸校瑘D像的 周邊比中心被拉伸得更多。然而，可能優(yōu)選的是具有在視角被旋轉(zhuǎn)時(shí)不改變的度量，這可以 增強(qiáng)目標(biāo)的更有效的優(yōu)化。
[0089]按照另一示例，由將原始圖像紋理映射到代理幾何結(jié)構(gòu)引發(fā)的透視縮短的量的視 圖無(wú)關(guān)的度量可以被用作這種度量可以在視角被旋轉(zhuǎn)時(shí)是不變的。視圖無(wú)關(guān)的度量可 以基于方向的拉伸(例如，3D單位向量)而非透視投影的2D紋理坐標(biāo)。
[0090] 圖6圖示了示例性視圖無(wú)關(guān)的度量的計(jì)算。視圖不變的紋理拉伸度量可以被表示 為夢(mèng)視圖不變的紋理拉伸度量夢(mèng)f3可以使用在從相機(jī)中心指向代理三角形的向量^的 單位法向量§和_之間的3x3映射M的條件數(shù)量來(lái)計(jì)算。
[0091] 假設(shè)V1^hV3為代理三角形的頂點(diǎn)。方向可以相對(duì)于輸入相機(jī)位置和輸出相機(jī)位 置被定義為：
[0092] (14)
[0093] 因此，線性映射M = SlT1可以被定義，其
3因此， 懲罰函數(shù)可以為：
[0094]
[0095] 其中是M的本征值。
[0096] 再次對(duì)圖4進(jìn)行參考。上述目標(biāo)的加權(quán)和可以提供用于由路徑規(guī)劃組件120執(zhí)行的 路徑規(guī)劃的組合的目標(biāo)：
[0097] E - ^lElength+hEsmooth-p+^Esmooth-f+^Eappro^^iEguality ( 16 )
[0098] 在前述中，心、\2、\3山和\5表示平衡系數(shù)。根據(jù)示例，下面的值可以被用于平衡系 數(shù):人1=100，人2=100，人 3=1000，\4 = 0.1，人5 = 0.01(例如，重構(gòu)場(chǎng)景的尺度可以被標(biāo)準(zhǔn)化）； 然而，要求保護(hù)的主題不限于前述示例。
[0099] 直接優(yōu)化等式16可能是代價(jià)高的，因?yàn)橐晥D質(zhì)量度量(Equallty)估計(jì)起來(lái)可能是代 價(jià)高的。根據(jù)示例，優(yōu)化的可跟蹤性可以通過(guò)將優(yōu)化因子分解成兩個(gè)階段來(lái)增大。因此，路 徑規(guī)劃組件120可以采用兩階段算法來(lái)優(yōu)化全局度量;兩階段算法可以增強(qiáng)優(yōu)化的效率。此 外，根據(jù)示例，作為兩階段算法的部分，視圖質(zhì)量度量可以被預(yù)先計(jì)算并且被保存在一個(gè)或 多個(gè)查找表中（例如，被保存在數(shù)據(jù)存儲(chǔ)裝置114中）。
[0100] 更具體地，在第一階段中，路徑規(guī)劃組件120可以優(yōu)化經(jīng)平滑的相機(jī)路徑的輸出相 機(jī)位置曲線P(t)同時(shí)忽略取決于定向f(t)的能量項(xiàng)。盡管該減小的目標(biāo)是非線性的，但是 其可以通過(guò)迭代地對(duì)稀疏線性子問(wèn)題進(jìn)行求解來(lái)優(yōu)化。接下來(lái)，在第二階段中，路徑規(guī)劃組 件120可以優(yōu)化輸出相機(jī)定向曲線f(t)，同時(shí)先前計(jì)算的輸出相機(jī)位置曲線p(t)可以保持 固定。兩階段算法可以增強(qiáng)效率。此外，為旋轉(zhuǎn)不變的視圖質(zhì)量度量，例如視圖不變紋理拉 伸度量可以被使用；因此，等式8中的最小表達(dá)式可以針對(duì)輸出相機(jī)的可能定向被預(yù) 先計(jì)算一次。
[0101] 路徑規(guī)劃組件120可以包括位置分析組件404,位置分析組件404在第一階段中計(jì) 算經(jīng)平滑的相機(jī)路徑的輸出相機(jī)位置曲線P(t)。位置分析組件404可以根據(jù)經(jīng)平滑的相機(jī) 路徑的長(zhǎng)度、經(jīng)平滑的相機(jī)路徑的位置平滑度以及經(jīng)平滑的相機(jī)路徑與針對(duì)輸入視頻的輸 入相機(jī)位置的接近度來(lái)計(jì)算輸出相機(jī)位置曲線P(t)。因此，輸出相機(jī)位置曲線p(t)可以根 據(jù)基于位置的目標(biāo)來(lái)計(jì)算。位置分析組件404可以通過(guò)使可以與定向無(wú)關(guān)的目標(biāo)E length、 Ε_^-Ρ以及Eap_x最小化來(lái)優(yōu)化輸出相機(jī)位置曲線p(t)。根據(jù)示例，p(t)可以被表示為立方 B樣條曲線，其中控制頂點(diǎn)的數(shù)量被設(shè)置為輸入幀的數(shù)量的5%。減小的目標(biāo)可以被表示為 如下(為清楚省略平衡系數(shù)λ*):
[0102]
[0103] 在前述4
是到相機(jī)k的最接近的曲線點(diǎn)的參數(shù)。
[0104] 盡管這可以是非線性目標(biāo)，但是其可以由位置分析組件404使用迭代算法來(lái)有效 地求解。注意，等式17中的兩個(gè)積分項(xiàng)具有針對(duì)立方B樣條的二次封閉形式表達(dá)式。作為迭 代算法的部分，位置分析組件404可以在一個(gè)迭代期間固定t k，其將等式17轉(zhuǎn)變成可以通過(guò) 對(duì)等式的稀疏線性集合進(jìn)行求解來(lái)優(yōu)化的二次問(wèn)題。因此，位置分析組件404可以備選地優(yōu) 化等式17并更新tk。
[0105] 另外，位置分析組件404可以選擇沿針對(duì)輸出超延時(shí)視頻的輸出幀的經(jīng)平滑的相 機(jī)路徑的輸出相機(jī)位置曲線p(t)的輸出相機(jī)位置。已經(jīng)確定了滿足除了定向之外的目標(biāo)的 連續(xù)輸出相機(jī)位置曲線P(t)，位置分析組件404可以選擇沿這樣的曲線的輸出相機(jī)位置。參 數(shù)t可以被丟棄并且下標(biāo)i可以被引入以指代輸出幀。曲線樣本可以為輸出超延時(shí)視頻的輸 出相機(jī)位置。
[0106] 根據(jù)示例，由位置分析組件404選擇的輸出相機(jī)位置可以在弧長(zhǎng)度上沿經(jīng)平滑的 相機(jī)路徑(例如，輸出相機(jī)位置曲線)被均勻地間隔開(kāi)。根據(jù)該示例，通過(guò)在弧長(zhǎng)度上沿曲線 的均勻間隔開(kāi)的輸出相機(jī)位置處將輸出相機(jī)位置曲線采樣成期望數(shù)量的輸出幀，可以得到 沿輸出超延時(shí)視頻中的經(jīng)平滑的相機(jī)路徑的常數(shù)速度。
[0107] 通過(guò)另一示例，由位置分析組件404選擇的輸出相機(jī)位置可以基于來(lái)自輸入視頻 的輸入相機(jī)速度而被間隔開(kāi)。輸入相機(jī)速度可以是針對(duì)輸入視頻的輸入幀的輸入相機(jī)姿勢(shì) 118的函數(shù)。根據(jù)該示例，輸入相機(jī)速度中的一些（或全部）可以被保留在輸出超延時(shí)視頻 中。位置分析組件404可以使用輸入幀到對(duì)應(yīng)的t k值(等式17)的映射來(lái)計(jì)算動(dòng)態(tài)時(shí)間扭曲。 另外，位置分析組件404可以以規(guī)則的（水平的）間隔對(duì)將輸入幀數(shù)量(例如，在水平軸上)映 射到對(duì)應(yīng)的t k值(例如，在垂直軸上）的曲線進(jìn)行采樣;這樣的采樣可以提供在輸入相機(jī)被 放慢或被停止時(shí)更致密的非均勻間隔的t個(gè)樣本的集合。
[0108] 按照又一示例，位置分析組件404可以在常數(shù)速度與自適應(yīng)速度之間進(jìn)行混合。
[0109] 路徑規(guī)劃組件120還可以包括定向分析組件406,定向分析組件406在先前計(jì)算的 輸出相機(jī)位置曲線p(t)保持固定的情況下優(yōu)化輸出相機(jī)定向曲線f(t)作為兩階段算法的 第二階段的部分。定向分析組件406可以根據(jù)經(jīng)平滑的相機(jī)路徑的曲線平滑度和視圖質(zhì)量 度量來(lái)計(jì)算輸出相機(jī)定向曲線f (t)。因此，輸出相機(jī)定向曲線f (t)可以在計(jì)算了輸出相機(jī) 位置曲線P(t)之后根據(jù)基于定向的目標(biāo)來(lái)計(jì)算。定向分析組件406可以通過(guò)使ESMClth-dP E quallty項(xiàng)最小化來(lái)優(yōu)化輸出相機(jī)定向曲線f(t)。新的目標(biāo)可以被表示為如下（同樣地，為清 楚丟棄質(zhì)量平衡系數(shù)λ*) :
[0110]
[0111] 定向分析組件406可以預(yù)先計(jì)算視圖質(zhì)量度量。根據(jù)示例，包括預(yù)先計(jì)算的Φ^?·) 的查找表(立方圖）可以由定向分析組件406針對(duì)每個(gè)輸出相機(jī)i來(lái)生成。對(duì)查找表的預(yù)先計(jì) 算可以增強(qiáng)由定向分析組件406執(zhí)行的優(yōu)化的效率。因此，在(針對(duì)每個(gè)輸出相機(jī)i的）輸出 相機(jī)位置口:處，定向分析組件406可以使用恰當(dāng)?shù)闹鱽?lái)渲染代理幾何結(jié)構(gòu)。定向分析組 件406還可以設(shè)置混合模式來(lái)計(jì)算幀緩沖器中的最小值。在六個(gè)基本方向中的每個(gè)上重復(fù) 該過(guò)程可以產(chǎn)生存儲(chǔ)以下的立方圖：
[0112]
[0113] 接下來(lái)，定向選擇組件406可以使用預(yù)先計(jì)算的量來(lái)計(jì)算針對(duì)C>i(f)基于圖像的 渲染（IRR M舌合庶頂?shù)膱D像葙分，
[0114]
[0115] 在前述中，1(f)指示圖像I中的射線f'的集合。同樣地，結(jié)果可以被存儲(chǔ)在立方圖 中。該操作可以減小等式18中的第一項(xiàng)到立方圖紋理提取的評(píng)價(jià)，并且因此，可以增強(qiáng)使等 式18最小化的效率。例如，利用黃金分割線搜索的非線性共輒梯度可以被用于這樣的優(yōu)化； 然而，要求保護(hù)的主題不受此限制。
[0116] 根據(jù)各個(gè)示例，預(yù)見(jiàn)到備選的路徑規(guī)劃技術(shù)可以額外地或備選地由路徑規(guī)劃組件 120采用。這樣的技術(shù)的示例包括輸入相機(jī)姿勢(shì)118的低通平滑、托賓(Taubin)的方法或者 采用拉回項(xiàng)(例如，以緩解曲線從輸入曲線移動(dòng)太遠(yuǎn))的低通濾波的變體。然而，要求保護(hù)的 主題不限于前述示例。
[0117] 轉(zhuǎn)到圖7,圖示了視頻生成系統(tǒng)106的渲染組件122。渲染組件122渲染輸出超延時(shí) 視頻102的輸出幀，其中輸出幀基于由路徑規(guī)劃組件120確定的輸出相機(jī)姿勢(shì)402(例如，輸 出相機(jī)位置和定向）來(lái)渲染。渲染組件122可以包括源幀選擇組件702,源幀選擇組件702至 少部分基于針對(duì)輸出幀的輸出相機(jī)姿勢(shì)402從輸入視頻104挑選針對(duì)輸出幀的所選擇的輸 入幀的相應(yīng)集合。源幀選擇組件702例如可以使用貪心算法來(lái)挑選所選擇的輸入幀，根據(jù)所 選擇的輸入幀匯集輸出幀。此外，渲染組件122可以包括融合組件704,融合組件704將相應(yīng) 集合中的所選擇的輸入幀進(jìn)行組合以渲染輸出超延時(shí)視頻102的輸出幀。融合組件704可以 拼接和混合所選擇的輸入幀以渲染針對(duì)輸出超延時(shí)視頻102的輸出幀中的每個(gè)的輸出幀。 所選擇的輸入幀例如可以由融合組件704使用時(shí)間和空間接縫選擇算法和泊松混合來(lái)拼接 和混合。
[0118]對(duì)于每個(gè)輸出幀，源幀選擇組件702可以挑選輸入幀，其當(dāng)使用它們的代理幾何結(jié) 構(gòu)重新投影時(shí)覆蓋具有可接受質(zhì)量的輸出幀的視場(chǎng)。所選擇的輸入幀可以由源幀選擇組件 702挑選以增強(qiáng)渲染輸出幀的效率并緩解彈出，這可以在每個(gè)像素要從不同的輸入幀挑選 的情況下進(jìn)行。
[0119]源幀選擇組件702可以如下面所描述的針對(duì)輸出幀而挑選所選擇的輸入幀。要理 解，下文可以針對(duì)輸出超延時(shí)視頻102的輸出幀中的每個(gè)被重復(fù)。源幀選擇組件702可以針 對(duì)輸出幀而識(shí)別候選輸入幀(例如，候選輸入幀根據(jù)輸入視頻104的輸入幀來(lái)識(shí)別）。針對(duì)輸 出幀的候選輸入幀可以包括最近的輸入幀（例如，具有最接近輸出幀的輸出相機(jī)位置的輸 入相機(jī)位置)和在形成輸入視頻104的輸入幀的序列中的最接近的輸入幀之前和之后的預(yù) 定數(shù)量的輸入幀。根據(jù)示例，候選輸入幀可以包括在序列中的最接近的輸入幀附近的±500 輸入幀;然而，要求保護(hù)的主題不受此限制。
[0120] 另外，源幀選擇組件702可以針對(duì)候選輸入幀而生成相應(yīng)權(quán)重圖，其中：
[0121]
[0122] 表示針對(duì)輸出幀i使用代理k的權(quán)重。Tmax是閾值上限，大于其的代理的質(zhì)量被認(rèn)為 是足夠的，并且T min是閾值下限，低于其的代理的質(zhì)量被認(rèn)為是太低而不能用于渲染。這些 閾值的示例值可以為T(mén)max = O. 7以及Tmin = O. 3;然而，要求保護(hù)的主題不受此限制。針對(duì)未被 代理覆蓋的像素，可以設(shè)置wk, i = 0。
[0123] 另外，源幀選擇組件702可以基于權(quán)重圖使用貪心算法針對(duì)輸出幀而從候選輸入 幀挑選所選擇的輸入幀。當(dāng)執(zhí)行貪心算法時(shí)，源幀選擇組件702可以初始地從候選輸入幀挑 選提供最高總體質(zhì)量的所選擇的輸入幀：
[0124]
[0125] 在其后，源幀選擇組件702可以迭代地從候選輸入幀挑選分別提供在先前所選擇 的子集l·的晶十Ph#的日If牲;(*的給λ IWf.
[0127] 在前述中，an是包括針對(duì)每個(gè)像素的先前選擇的最大值的累加緩沖器：
[0126]
[0128]
[0129] 源幀選擇組仵702?
以連續(xù)地挑選所選擇的輸入幀直到等式23中的每像素的平均 改進(jìn)落入閾值以下(例如，閾值可以被設(shè)置為0.1，等等）。
[0130] 根據(jù)各個(gè)示例，預(yù)見(jiàn)到源幀選擇組件702可以基于每像素的模糊度量和/或像素遮 擋來(lái)調(diào)節(jié)針對(duì)候選輸入幀的權(quán)重圖。例如，由于相機(jī)抖動(dòng)引發(fā)的運(yùn)動(dòng)模糊，一些輸入幀可能 是差的。假設(shè)b k(x，y)為每像素的模糊度量，其可以通過(guò)對(duì)圖像k的紋理的梯度幅值進(jìn)行低 通濾波來(lái)獲得。因此，源幀選擇組件702可以利用以下權(quán)重來(lái)替換(如以上所計(jì)算的）權(quán)重圖 中的權(quán)重：
[0131]
[0132] 額外地或備選地，像素的相對(duì)深度可以被考慮以緩解選擇場(chǎng)景的遮擋部分。因此， 源幀選擇組件702可以渲染深度圖連同權(quán)重圖，并且可以針對(duì)像素評(píng)價(jià)深度樣本。被遮擋的 像素可以被丟棄;然而，由于說(shuō)明重構(gòu)深度中的不準(zhǔn)確性，嚴(yán)格的z緩沖器可能不是有用的。 相反，高斯混合模型可以被應(yīng)用到這些樣本。高斯的數(shù)量可以使用貝葉斯信息準(zhǔn)則來(lái)確定。 前述可以提供對(duì)深度到一個(gè)或若干層中的分類(lèi)。因此，源幀選擇組件702可以在權(quán)重圖中將 不在正面層上的像素的權(quán)重設(shè)置為零。
[0133] 通過(guò)示例，當(dāng)采用以上算法時(shí)，源幀選擇組件702可以針對(duì)每個(gè)輸出幀平均選擇3 到5個(gè)輸入幀。當(dāng)這是獨(dú)立于輸出幀而被完成時(shí)，類(lèi)似的輸入幀可以針對(duì)附近的輸出幀而被 選擇，這可以增強(qiáng)在渲染期間的時(shí)間上連貫的結(jié)果。
[0134] 根據(jù)示例，時(shí)間連貫性可以進(jìn)一步通過(guò)允許針對(duì)輸出幀的所選擇的輸入幀也在渲 染期間（例如，由融合組件704)用于圍繞幀窗口（例如，形成輸出超延時(shí)視頻102的幀序列中 的相對(duì)于輸出幀的± 8幀）中的輸出幀來(lái)進(jìn)一步增強(qiáng)。當(dāng)用于圍繞輸出幀時(shí)，權(quán)重圖可以乘 以在幀窗口（例如，±8幀窗口）的邊緣處線性地下降到零的全局衰減系數(shù)。衰減可以輔助緩 解拼接中的彈出偽影。因此，通過(guò)說(shuō)明的方式，渲染組件122(例如，融合組件704)可以將針 對(duì)輸出幀的所選擇的輸入幀和幀窗口中的針對(duì)圍繞輸出幀的輸出幀挑選的所選擇的輸入 幀進(jìn)行組合以植染輸出幀。
[0135] 另外，融合組件704將相應(yīng)集合中的所選擇的輸入幀進(jìn)行組合以渲染輸出超延時(shí) 視頻102的輸出幀。融合組件704可以渲染所選擇的源圖像，使用馬爾科夫隨機(jī)場(chǎng)(MRF)來(lái)將 結(jié)果拼接在一起，并且重構(gòu)梯度域中的最終圖像。如以上所指出的，融合組件704可以將所 選擇的輸入幀拼接和混合以渲染輸出幀。所選擇的輸入幀例如可以由融合組件704使用時(shí) 間和空間接縫選擇算法和泊松混合來(lái)拼接和混合。
[0136] 融合組件704可以優(yōu)化離散像素標(biāo)簽。融合組件704可以針對(duì)輸出超延時(shí)視頻102 中的每個(gè)(空間時(shí)間)像素 P從已經(jīng)針對(duì)該特定輸出幀選擇的經(jīng)渲染的源代理中的一個(gè)挑選 標(biāo)簽αΡ。該目標(biāo)可以被定義如下：
[0137]
[0138] 在上文中，"數(shù)據(jù)"項(xiàng)^(巧'I
- 激勵(lì)選擇下面定義的高質(zhì)量像素和 "平滑度"項(xiàng)Es，激勵(lì)不可見(jiàn)拼接縫。根據(jù)示例，可以使用Is = IO和As_t = 〇.l;然而，要求保 護(hù)的主題不受此限制。另外，N(p)表示相同輸出幀內(nèi)的4鄰域的集合，并且T(p)表示先前幀 和下一幀中的兩個(gè)時(shí)間鄰域，其一般將不會(huì)位于相同像素坐標(biāo)處，并且其可以通過(guò)計(jì)算在 給定像素處的候選代理的運(yùn)動(dòng)向量的中心來(lái)獲得。
[0139] 平滑度項(xiàng)可以被定義如下：
[0140]
[0141] 在上文中，ti:t> (p)表示在像素 p處的經(jīng)渲染的代理的RGB值。等式26可以使用阿爾 法擴(kuò)展算法以由粗到細(xì)的方式來(lái)求解。
[0142] 優(yōu)化的標(biāo)簽可以輔助隱藏可見(jiàn)接縫。然而，由于源幀中的曝光和白平衡變化，可能 存在顏色差。融合組件704可以同對(duì)時(shí)空泊松重構(gòu)問(wèn)題進(jìn)行求解來(lái)平衡掉這些差以獲得最 終的像素 r。
[0143]
[0144] 如以上所闡還的，Δχ、Δγ、Ai分別表不^^干、垂直和時(shí)丨日」有I很前冋差算子J b-d = 0.001，Ab-s=l，以及Ab-t = 〇.〇l可以被用作平衡系數(shù);然而，平衡系數(shù)的其他值旨在落入本 文隨附的權(quán)利要求的范圍內(nèi)。等式28可以使用標(biāo)準(zhǔn)共輒梯度求解程序來(lái)求解。
[0145] 參考圖8,圖示了根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的系統(tǒng)800。系統(tǒng)800包括計(jì) 算系統(tǒng)106,其進(jìn)一步包括處理器108和存儲(chǔ)器110。如本文中所描述的，存儲(chǔ)器110可以包括 視頻生成系統(tǒng)112(或其部分）。盡管未示出，但是預(yù)見(jiàn)到計(jì)算系統(tǒng)106還可以包括數(shù)據(jù)存儲(chǔ) 裝置114。
[0146] 系統(tǒng)800還包括客戶端計(jì)算設(shè)備802,其借助于網(wǎng)絡(luò)804與計(jì)算系統(tǒng)106通信。通過(guò) 示例，網(wǎng)絡(luò)804可以為互聯(lián)網(wǎng)、蜂窩網(wǎng)絡(luò)、局域網(wǎng)、或其組合、等等。然而，預(yù)見(jiàn)到基本上任何 網(wǎng)絡(luò)類(lèi)型旨在落入本文隨附的權(quán)利要求的范圍內(nèi)。
[0147] 根據(jù)示例，客戶端計(jì)算設(shè)備802可以為包括圖像傳感器的移動(dòng)計(jì)算設(shè)備。因此，客 戶端計(jì)算設(shè)備802可以在空間中隨時(shí)間移動(dòng)以使用圖像傳感器來(lái)捕獲輸入視頻。這樣的移 動(dòng)計(jì)算設(shè)備的示例可以包括相機(jī)(例如，第一人稱(chēng)相機(jī)、手持相機(jī)、等等）、膝上型計(jì)算設(shè)備、 移動(dòng)電話、平板計(jì)算設(shè)備、可穿戴計(jì)算設(shè)備、手持計(jì)算設(shè)備、便攜式游戲設(shè)備、或個(gè)人數(shù)字助 理、等等。
[0148] 按照另一示例，客戶端計(jì)算設(shè)備802可以與不同的計(jì)算設(shè)備通信，其中不同的計(jì)算 設(shè)備可以在空間中隨時(shí)間移動(dòng)以捕獲輸入視頻。根據(jù)該示例，客戶端計(jì)算設(shè)備802可以從不 同的計(jì)算設(shè)備接收輸入視頻。因此，客戶端計(jì)算設(shè)備802可以例如為臺(tái)式計(jì)算設(shè)備、移動(dòng)計(jì) 算設(shè)備、游戲控制臺(tái)、車(chē)載通信和信息娛樂(lè)系統(tǒng)、或服務(wù)器計(jì)算設(shè)備(或多個(gè)服務(wù)器計(jì)算設(shè) 備)、等等。
[0149] 客戶端計(jì)算設(shè)備802例如可以通過(guò)網(wǎng)絡(luò)804將輸入視頻發(fā)送到計(jì)算系統(tǒng)106。視頻 生成系統(tǒng)112還可以包括接口組件806,接口組件806借助于網(wǎng)絡(luò)804從客戶端計(jì)算設(shè)備802 接收輸入視頻。如本文中所描述的，視頻生成系統(tǒng)112可以根據(jù)輸入視頻來(lái)創(chuàng)建輸出超延時(shí) 視頻。此外，接口組件806可以借助于網(wǎng)絡(luò)804將輸出超延時(shí)視頻發(fā)送到客戶端計(jì)算設(shè)備802 (和/或不同的客戶端計(jì)算設(shè)備）。額外地或備選地，由視頻生成系統(tǒng)112生成的輸出超延時(shí) 視頻可以被保存在計(jì)算系統(tǒng)106的數(shù)據(jù)存儲(chǔ)裝置(例如，數(shù)據(jù)存儲(chǔ)裝置114)中。
[0150]按照另一示例，預(yù)見(jiàn)到客戶端計(jì)算設(shè)備802可以包括視頻生成系統(tǒng)112的一部分。 因此，視頻生成系統(tǒng)112可以跨客戶端計(jì)算設(shè)備802和計(jì)算系統(tǒng)106分布。因此，視頻生成系 統(tǒng)112的部分可以被實(shí)施在各個(gè)位置中，這可以實(shí)現(xiàn)減少在網(wǎng)絡(luò)804上發(fā)送的數(shù)據(jù)量。通過(guò) 說(shuō)明的方式，處理的部分可以在將經(jīng)處理的數(shù)據(jù)上傳到計(jì)算系統(tǒng)106之前在客戶端計(jì)算設(shè) 備802上被執(zhí)行。
[0151]根據(jù)示例，計(jì)算系統(tǒng)106可以經(jīng)由網(wǎng)絡(luò)804從多個(gè)客戶端計(jì)算設(shè)備(客戶端計(jì)算設(shè) 備802、與客戶端計(jì)算設(shè)備802類(lèi)似的其他客戶端計(jì)算設(shè)備)接收輸入視頻。按照說(shuō)明，視頻 生成系統(tǒng)112可以共享在來(lái)自不同源的輸入視頻之間的信息(例如，共享來(lái)自在各輸入視頻 之間的對(duì)應(yīng)輸入相機(jī)位置處的不同的輸入視頻的數(shù)據(jù)、等等）。
[0152] 轉(zhuǎn)到圖9,圖示了計(jì)算系統(tǒng)106的示例。同樣地，計(jì)算系統(tǒng)106可以包括處理器108、 存儲(chǔ)器110以及數(shù)據(jù)存儲(chǔ)裝置114。
[0153] 在圖9中闡述的示例中，計(jì)算系統(tǒng)106可以為移動(dòng)計(jì)算設(shè)備，該移動(dòng)計(jì)算設(shè)備可以 在空間中隨時(shí)間移動(dòng)以捕獲輸入視頻104。更具體地，計(jì)算系統(tǒng)106可以包括圖像傳感器 902。另外，計(jì)算系統(tǒng)106的存儲(chǔ)器110可以包括由處理器108可執(zhí)行的視頻捕獲系統(tǒng)904。視 頻捕獲系統(tǒng)904可以將來(lái)自圖像傳感器902的輸出數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)裝置114中作為輸入 視頻104。
[0154] 計(jì)算系統(tǒng)106的存儲(chǔ)器110還包括視頻生成系統(tǒng)112。如本文中闡述的，視頻生成系 統(tǒng)112可以根據(jù)輸入視頻104來(lái)創(chuàng)建輸出超延時(shí)視頻102。此外，視頻生成系統(tǒng)112可以將輸 出超延時(shí)視頻102存儲(chǔ)在數(shù)據(jù)存儲(chǔ)裝置114中。
[0155] 計(jì)算系統(tǒng)106的存儲(chǔ)器110還可以包括可以播放輸出超延時(shí)視頻102的回放系統(tǒng) 906。例如，回放系統(tǒng)906可以在計(jì)算系統(tǒng)106的或與計(jì)算系統(tǒng)106耦合的顯示屏上顯示輸出 超延時(shí)視頻102。
[0156] 按照說(shuō)明，回放系統(tǒng)906可以使相機(jī)路徑的圖被顯示在顯示屏上;在該說(shuō)明之后， 用戶輸入可以由操縱沿相機(jī)路徑的指示符的回放系統(tǒng)906接收，由此控制在輸出超延時(shí)視 頻102中對(duì)輸入視頻104的加速(例如，輸出超延時(shí)視頻102可以響應(yīng)于用戶輸入如加速一樣 重新播放輸入視頻104，用戶輸入可以控制沿輸入視頻104的時(shí)間線向前或向后移動(dòng)，等 等)。
[0157] 下文提供大體涉及視頻生成系統(tǒng)112的各種示例。根據(jù)各種示例，視頻生成系統(tǒng) 112可以執(zhí)行視頻穩(wěn)定化。通過(guò)說(shuō)明的方式，視頻穩(wěn)定化技術(shù)可以在樸素延時(shí)幀抽取之前 和/或之后被應(yīng)用。根據(jù)另一說(shuō)明，可以采用時(shí)間由粗到細(xì)穩(wěn)定化技術(shù)，其使輸入視頻104穩(wěn) 定化，之后在時(shí)間上通過(guò)小的量對(duì)各幀進(jìn)行子采樣，并且之后重復(fù)該過(guò)程直到達(dá)到期望的 視頻長(zhǎng)度。
[0158] 例如，視頻生成系統(tǒng)112可以根據(jù)隨意捕獲的第一人稱(chēng)視頻(例如，輸入視頻104) 來(lái)創(chuàng)建平滑的超延時(shí)視頻(例如，輸出超延時(shí)視頻102)。來(lái)自運(yùn)動(dòng)的結(jié)構(gòu)的技術(shù)可以由重構(gòu) 組件202用于通過(guò)對(duì)輸入進(jìn)行集群、對(duì)一系列子問(wèn)題進(jìn)行求解以及合并結(jié)果來(lái)在序列上進(jìn) 行操作。此外，重構(gòu)組件202可以在第二輪中使得到的點(diǎn)云致密并且之后對(duì)每輸入幀的深度 圖進(jìn)行插值。這將輸入提供給路徑規(guī)劃組件120。
[0159] 另外，可以使用視圖無(wú)關(guān)的質(zhì)量度量，其說(shuō)明由將源圖像紋理映射到最終視圖上 引發(fā)的透視縮短。該度量可以被集成到路徑規(guī)劃目標(biāo)中并且可以得到如下路徑，該路徑是 平滑的以及被放置并被定向?yàn)楦鶕?jù)輸入視頻104的可用輸入幀可渲染。此外，每個(gè)輸出幀可 以根據(jù)能夠覆蓋如由路徑規(guī)劃定義的幀的所選擇的輸入幀來(lái)渲染。輸入幀可以被拼接并被 混合以創(chuàng)建輸出幀。流水線可以產(chǎn)生平滑的超延時(shí)視頻同時(shí)緩解剪裁。
[0160]此外，盡管本文描述了針對(duì)平滑度和穩(wěn)定性的各種L2度量，但是預(yù)見(jiàn)到可以額外 地或備選地使用例如L1度量(例如，作為本文描述的技術(shù)中的一個(gè)或多個(gè)的部分）。另外，在 許多傳統(tǒng)相機(jī)中使用的滾動(dòng)快門(mén)可以引發(fā)各種搖晃偽影；因此，預(yù)見(jiàn)到，根據(jù)示例，說(shuō)明這 樣的搖晃偽影的各種技術(shù)可以（例如，由預(yù)處理組件302)在進(jìn)一步處理之前被應(yīng)用到輸入 視頻104。按照又一示例，各種識(shí)別算法和/或用戶輸入可以被用于獲得對(duì)輸入視頻104的場(chǎng) 景的語(yǔ)義理解，其可以被并入以調(diào)節(jié)沿經(jīng)平滑的路徑的速度、相機(jī)定向、和跳過(guò)輸入視頻 104的無(wú)信息節(jié)段、等等。
[0161 ]圖10-11圖示了與根據(jù)輸入視頻來(lái)創(chuàng)建輸出視頻(例如，輸出超延時(shí)視頻)相關(guān)的 示例性方法。盡管該方法被示出并被描述為按序列執(zhí)行的一系列動(dòng)作，但是要理解并認(rèn)識(shí) 到該方法不受序列的順序限制。例如，一些動(dòng)作可以以與本文描述的順序不同的順序來(lái)進(jìn) 行。另外，動(dòng)作可以與另一動(dòng)作并發(fā)地進(jìn)行。另外，在一些實(shí)例中，實(shí)施本文描述的方法不需 要所有動(dòng)作。
[0162] 此外，本文描述的動(dòng)作可以是可以由一個(gè)或多個(gè)處理器實(shí)施的和/或存儲(chǔ)在計(jì)算 機(jī)可讀介質(zhì)或媒介上的計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可以包括例程、子例程、程 序、和/或執(zhí)行的線程、等等。另外還有，方法的動(dòng)作的結(jié)果可以被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì) 中、和/或被顯示在顯示設(shè)備上、等等。
[0163] 圖10圖示了根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的方法1000。在1002處，可以構(gòu) 建場(chǎng)景的模型和針對(duì)輸入視頻的輸入幀的輸入相機(jī)姿勢(shì)。在1004處，可以基于場(chǎng)景的模型 和針對(duì)輸入視頻的輸入幀的輸入相機(jī)姿勢(shì)來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑。在1006處，可以針對(duì) 輸出超延時(shí)視頻的輸出幀而從經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)。在1008處，可以針對(duì) 輸出幀而從輸入視頻挑選一個(gè)或多個(gè)所選擇的輸入幀。所選擇的輸入幀可以至少部分基于 針對(duì)輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選。在1 〇 1 〇處，可以將所選擇的輸入幀進(jìn)行組合以渲染輸 出幀。方法1 〇〇〇可以針對(duì)輸出超延時(shí)視頻的輸出幀中的每個(gè)重復(fù)動(dòng)作1008和動(dòng)作1010。
[0164] 轉(zhuǎn)到圖1，圖示了渲染輸出幀的方法1100。在1102處，可以根據(jù)基于位置的目標(biāo)來(lái) 計(jì)算輸出相機(jī)位置曲線。在1104處，可以根據(jù)基于定向的目標(biāo)來(lái)計(jì)算輸出相機(jī)定向曲線。輸 出相機(jī)定向曲線可以在計(jì)算了輸出相機(jī)位置曲線之后來(lái)計(jì)算。另外，輸出相機(jī)定向曲線可 以在輸出相機(jī)位置曲線固定為如先前所計(jì)算的一樣的情況下被計(jì)算。在1106處，可以針對(duì) 輸出幀而選擇輸出相機(jī)姿勢(shì)。在1108處，可以針對(duì)輸出幀而從輸入視頻挑選一個(gè)或多個(gè)所 選擇的輸入幀。所選擇的輸入幀可以至少部分基于針對(duì)輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選。在 1110處，可以將所選擇的輸入幀進(jìn)行組合以渲染輸出幀。
[0165] 現(xiàn)在參考圖12,圖示了可以根據(jù)本文公開(kāi)的系統(tǒng)和方法使用的示例性計(jì)算設(shè)備 1200的高級(jí)圖示。例如，計(jì)算設(shè)備1200可以在根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的系統(tǒng) 中使用。計(jì)算設(shè)備1200包括執(zhí)行存儲(chǔ)在存儲(chǔ)器1204中的指令的至少一個(gè)處理器1202。指令 可以例如為用于實(shí)施被描述為由以上討論的一個(gè)或多個(gè)組件執(zhí)行的功能的指令或者用于 實(shí)施以上描述的方法中的一個(gè)或多個(gè)的指令。處理器1202可以借助于系統(tǒng)總線1206來(lái)訪問(wèn) 存儲(chǔ)器1204。除了存儲(chǔ)可執(zhí)行指令，存儲(chǔ)器1204還可以存儲(chǔ)輸入視頻、輸出超延時(shí)視頻、場(chǎng) 景的模型、輸入相機(jī)姿勢(shì)、輸出相機(jī)姿勢(shì)、經(jīng)平滑的相機(jī)路徑、和針對(duì)預(yù)計(jì)算的視圖質(zhì)量度 量的查找表、等等。
[0166] 計(jì)算設(shè)備1200額外地包括由處理器1202借助于系統(tǒng)總線1206可訪問(wèn)的數(shù)據(jù)存儲(chǔ) 裝置1208。數(shù)據(jù)存儲(chǔ)裝置1208可以包括可執(zhí)行指令、輸入視頻、輸出超延時(shí)視頻、場(chǎng)景的模 型、輸入相機(jī)姿勢(shì)、輸出相機(jī)姿勢(shì)、經(jīng)平滑的相機(jī)路徑、針對(duì)預(yù)計(jì)算的視圖質(zhì)量度量的查找 表、等等。計(jì)算設(shè)備1200還包括允許外部設(shè)備與計(jì)算設(shè)備1200通信的輸入接口 1210。例如， 輸入接口 1210可以用于從外部計(jì)算機(jī)設(shè)備、從用戶、等等接收指令。計(jì)算設(shè)備1200還包括將 計(jì)算設(shè)備1200與一個(gè)或多個(gè)外部設(shè)備接口連接的輸出接口 1212。例如，計(jì)算設(shè)備1200可以 借助于輸出接口 1212顯示文本、圖像、等等。
[0167] 預(yù)見(jiàn)到經(jīng)由輸入接口 1210和輸出接口 1212與計(jì)算設(shè)備1200通信的外部設(shè)備可以 被包含在基本上提供用戶可以與其交互的任何類(lèi)型的用戶接口的環(huán)境中。用戶接口類(lèi)型的 示例包括圖形用戶接口、和自然用戶接口、等等。例如，圖形用戶接口從采用諸如鍵盤(pán)、鼠 標(biāo)、或遠(yuǎn)程控制、等等的（多個(gè))輸入設(shè)備的用戶接受輸入并且將輸出提供在諸如顯示器的 輸出設(shè)備上。另外，自然用戶接口可以使得用戶能夠以不受由諸如鍵盤(pán)、鼠標(biāo)、和遠(yuǎn)程控制、 等等的輸入設(shè)備施加的約束的方式與計(jì)算設(shè)備1200交互。相反，自然用戶接口可以依賴于 語(yǔ)音識(shí)別、觸摸和觸筆識(shí)別、在屏幕上的并且鄰近屏幕的手勢(shì)識(shí)別、空中手勢(shì)、頭和眼跟蹤、 聲音和語(yǔ)音、視覺(jué)、觸摸、手勢(shì)、和機(jī)器智能、等等。
[0168] 額外地，盡管被圖示為單個(gè)系統(tǒng)，但是要理解計(jì)算設(shè)備1200可以為分布式系統(tǒng)。因 此，例如，若干設(shè)備可以借助于網(wǎng)絡(luò)連接通信并且可以共同地執(zhí)行被描述為由計(jì)算設(shè)備 1200執(zhí)行的任務(wù)。
[0169] 轉(zhuǎn)到圖13,圖示了可以根據(jù)本文公開(kāi)的系統(tǒng)和方法使用的示例性計(jì)算系統(tǒng)1300的 高級(jí)圖示。例如，計(jì)算系統(tǒng)1300可以為或者可以包括計(jì)算系統(tǒng)106。額外地或備選地，計(jì)算系 統(tǒng)106可以為或者可以包括計(jì)算系統(tǒng)1300。
[0170] 計(jì)算系統(tǒng)1300包括多個(gè)服務(wù)器計(jì)算設(shè)備，即，服務(wù)器計(jì)算設(shè)備1302、……、以及服 務(wù)器計(jì)算設(shè)備1304(統(tǒng)稱(chēng)為服務(wù)器計(jì)算設(shè)備1302-1304)。服務(wù)器計(jì)算設(shè)備1302包括至少一 個(gè)處理器和存儲(chǔ)器;至少一個(gè)處理器執(zhí)行存儲(chǔ)在存儲(chǔ)器中的指令。指令可以例如為用于實(shí) 施被描述為由以上討論的一個(gè)或多個(gè)組件執(zhí)行的功能的指令或者用于實(shí)施以上描述的方 法中的一個(gè)或多個(gè)的指令。類(lèi)似于服務(wù)器計(jì)算設(shè)備1302,除了服務(wù)器計(jì)算設(shè)備1302之外的 服務(wù)器計(jì)算設(shè)備1302-1304的至少子集每個(gè)分別包括至少一個(gè)處理器和存儲(chǔ)器。此外，服務(wù) 器計(jì)算設(shè)備1302-1304的至少子集包括相應(yīng)的數(shù)據(jù)存儲(chǔ)裝置。
[0171] 服務(wù)器計(jì)算設(shè)備1302-1304中的一個(gè)或多個(gè)的（多個(gè))處理器可以為或者可以包括 處理器108。另外，服務(wù)器計(jì)算設(shè)備1302-1304中的一個(gè)或多個(gè)的（多個(gè))存儲(chǔ)器可以為或者 可以包括存儲(chǔ)器110。此外，服務(wù)器計(jì)算設(shè)備1302-1304中的一個(gè)或多個(gè)的（多個(gè))數(shù)據(jù)存儲(chǔ) 裝置可以為或者可以包括數(shù)據(jù)存儲(chǔ)裝置114。
[0172]計(jì)算系統(tǒng)1300還包括在服務(wù)器計(jì)算設(shè)備1302-1304之間傳輸數(shù)據(jù)的各種網(wǎng)絡(luò)節(jié)點(diǎn) 1306。此外，網(wǎng)絡(luò)節(jié)點(diǎn)1302借助于網(wǎng)絡(luò)1308將數(shù)據(jù)從服務(wù)器計(jì)算設(shè)備1302-1304傳輸?shù)剑ɡ?如，在計(jì)算系統(tǒng)1300外部的）外部節(jié)點(diǎn)。網(wǎng)絡(luò)節(jié)點(diǎn)1302還借助于網(wǎng)絡(luò)1308將數(shù)據(jù)從外部節(jié)點(diǎn) 傳輸?shù)椒?wù)器計(jì)算設(shè)備1302-1304。網(wǎng)絡(luò)1308例如可以為互聯(lián)網(wǎng)、或蜂窩網(wǎng)絡(luò)、等等。網(wǎng)絡(luò)節(jié) 點(diǎn)1306包括交換機(jī)、路由器、和負(fù)載平衡器、等等。
[0173] 計(jì)算系統(tǒng)1300的結(jié)構(gòu)控制器1310管理服務(wù)器計(jì)算設(shè)備1302-1304的硬件資源（例 如，服務(wù)器計(jì)算設(shè)備1302-1304的處理器、存儲(chǔ)器、數(shù)據(jù)存儲(chǔ)裝置、等等）。結(jié)構(gòu)控制器1310還 管理網(wǎng)絡(luò)節(jié)點(diǎn)1306。此外，結(jié)構(gòu)控制器1310管理實(shí)例化在服務(wù)器計(jì)算設(shè)備1302-1304上的虛 擬機(jī)的創(chuàng)建、供應(yīng)、去供應(yīng)以及監(jiān)管。
[0174] 現(xiàn)在闡述各種示例。
[0175] 示例1: 一種計(jì)算系統(tǒng)，包括:處理器；以及存儲(chǔ)器，其包括由該處理器可運(yùn)行的視 頻生成系統(tǒng)，該視頻生成系統(tǒng)包括:路徑規(guī)劃組件，其基于輸入視頻來(lái)計(jì)算經(jīng)平滑的相機(jī)路 徑，該路徑規(guī)劃組件針對(duì)輸出超延時(shí)視頻的輸出幀而從該經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī) 姿勢(shì)；以及渲染組件，其針對(duì)該輸出幀中的每個(gè):針對(duì)輸出幀而從該輸入視頻挑選一個(gè)或多 個(gè)所選擇的輸入幀，所選擇的輸入幀至少部分基于針對(duì)該輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選； 以及將所選擇的輸入幀進(jìn)行組合以渲染該輸出幀。
[0176] 示例2:根據(jù)示例1的計(jì)算系統(tǒng)，該視頻生成系統(tǒng)還包括重構(gòu)組件，該重構(gòu)組件構(gòu)建 場(chǎng)景的模型和針對(duì)該輸入視頻的輸入幀的輸入相機(jī)姿勢(shì)，其中該路徑規(guī)劃組件基于該場(chǎng)景 的該模型和針對(duì)該輸入視頻的該輸入幀的該輸入相機(jī)姿勢(shì)來(lái)計(jì)算該經(jīng)平滑的相機(jī)路徑。
[0177] 示例3:根據(jù)示例1-2中的任一項(xiàng)的計(jì)算系統(tǒng)，該路徑規(guī)劃組件根據(jù)以下來(lái)計(jì)算該 經(jīng)平滑的相機(jī)路徑:該經(jīng)平滑的相機(jī)路徑的長(zhǎng)度;該經(jīng)平滑的相機(jī)路徑的位置平滑度;該經(jīng) 平滑的相機(jī)路徑的定向平滑度;該經(jīng)平滑的相機(jī)路徑與針對(duì)該輸入視頻的輸入相機(jī)位置的 接近度；以及指示沿該經(jīng)平滑的相機(jī)路徑的根據(jù)場(chǎng)景的模型的基于圖像的渲染質(zhì)量的視圖 質(zhì)量度量。
[0178] 示例4:根據(jù)示例3的計(jì)算系統(tǒng)，該經(jīng)平滑的相機(jī)路徑包括輸出相機(jī)位置曲線和輸 出相機(jī)定向曲線，該路徑規(guī)劃組件還包括:位置分析組件，其根據(jù)該經(jīng)平滑的相機(jī)路徑的該 長(zhǎng)度、該經(jīng)平滑的相機(jī)路徑的該位置平滑度、以及該經(jīng)平滑的相機(jī)路徑與針對(duì)該輸入視頻 的該輸入相機(jī)位置的該接近度來(lái)計(jì)算該輸出相機(jī)位置曲線；以及定向分析組件，其根據(jù)該 經(jīng)平滑的相機(jī)路徑的該定向平滑度和該視圖質(zhì)量度量來(lái)計(jì)算該輸出相機(jī)定向曲線，該定向 分析組件在該輸出相機(jī)位置曲線保持固定為如先前由該位置分析組件計(jì)算的一樣的情況 下計(jì)算該輸出相機(jī)定向曲線。
[0179] 示例5:根據(jù)示例4的計(jì)算系統(tǒng)，該定向分析組件預(yù)先計(jì)算該視圖質(zhì)量度量。
[0180] 示例6:根據(jù)示例1-5中的任一項(xiàng)的計(jì)算系統(tǒng)，該路徑規(guī)劃組件計(jì)算指示沿該經(jīng)平 滑的相機(jī)路徑的根據(jù)場(chǎng)景的模型的基于圖像的渲染質(zhì)量的視圖質(zhì)量度量，該經(jīng)平滑的相機(jī) 路徑基于該視圖質(zhì)量度量來(lái)計(jì)算，該視圖質(zhì)量度量是由將原始圖像紋理映射到代理幾何結(jié) 構(gòu)上引發(fā)的透視縮短的量的視圖無(wú)關(guān)的度量。
[0181 ]不例7:根據(jù)不例1 - 6中的任一項(xiàng)的計(jì)算系統(tǒng)，該輸出相機(jī)姿勢(shì)分別包括輸出相機(jī) 位置，該輸出相機(jī)位置在弧長(zhǎng)度上沿該經(jīng)平滑的相機(jī)路徑而被均勻地間隔開(kāi)。
[0182 ]不例8:根據(jù)不例1 -6中的任一項(xiàng)的計(jì)算系統(tǒng)，該輸出相機(jī)姿勢(shì)分別包括輸出相機(jī) 位置，該輸出相機(jī)位置基于來(lái)自該輸入視頻的輸入相機(jī)速度而被間隔開(kāi)。
[0183]示例9:根據(jù)示例1-8中的任一項(xiàng)的計(jì)算系統(tǒng)，該渲染組件還包括源幀選擇組件，該 源幀選擇組件:針對(duì)該輸出幀而識(shí)別候選輸入幀，該候選輸入幀根據(jù)該輸入視頻的該輸入 幀來(lái)識(shí)別；針對(duì)該候選輸入幀而生成相應(yīng)權(quán)重圖；以及基于該權(quán)重圖針對(duì)該輸出幀而從該 候選輸入幀挑選所選擇的輸入幀。
[0184] 示例10:根據(jù)示例9的計(jì)算系統(tǒng)，該源幀選擇組件基于每像素模糊度量和像素遮擋 來(lái)調(diào)節(jié)針對(duì)該候選輸入幀的該相應(yīng)權(quán)重圖。
[0185] 示例11:根據(jù)示例1-10中的任一項(xiàng)的計(jì)算系統(tǒng)，該渲染組件將針對(duì)該輸出幀的所 選擇的輸入幀和針對(duì)幀窗口中的包圍該輸出幀的輸出幀挑選的所選擇的輸入幀進(jìn)行組合 以植染該輸出幀。
[0186] 示例12:根據(jù)示例1-11中的任一項(xiàng)的計(jì)算系統(tǒng)，該渲染組件還包括融合組件，該融 合組件對(duì)所選擇的輸入幀進(jìn)行拼接和混合以渲染針對(duì)該輸出幀中的每個(gè)的該輸出幀，所選 擇的輸入幀由該融合組件使用時(shí)間和空間接縫選擇算法和泊松混合來(lái)拼接和混合。
[0187] 示例13:根據(jù)示例1-12中的任一項(xiàng)的計(jì)算系統(tǒng)，該視頻生成系統(tǒng)還包括接口組件， 該接口組件借助于網(wǎng)絡(luò)從客戶端計(jì)算設(shè)備接收該輸入視頻。
[0188] 示例14:根據(jù)示例1-13中的任一項(xiàng)的計(jì)算系統(tǒng)，還包括:數(shù)據(jù)存儲(chǔ)裝置；圖像傳感 器;并且該存儲(chǔ)器還包括由該處理器可執(zhí)行的視頻捕獲系統(tǒng)，該視頻捕獲系統(tǒng)將來(lái)自該圖 像傳感器的輸出數(shù)據(jù)存儲(chǔ)在該數(shù)據(jù)存儲(chǔ)裝置中作為該輸入視頻。
[0189] 示例15:-種根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的方法，包括:構(gòu)建場(chǎng)景的模型 和針對(duì)該輸入視頻的輸入幀的輸入相機(jī)姿勢(shì);基于該場(chǎng)景的該模型和針對(duì)該輸入視頻的該 輸入幀的該輸入相機(jī)姿勢(shì)來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑;針對(duì)該輸出超延時(shí)視頻的輸出幀而從 該經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)；以及針對(duì)該輸出幀中的每個(gè):針對(duì)輸出幀而從該 輸入視頻挑選所選擇的輸入幀，所選擇的輸入幀至少部分基于針對(duì)該輸出幀的輸出相機(jī)姿 勢(shì)來(lái)挑選;以及將所選擇的輸入幀進(jìn)行組合以渲染該輸出幀。
[0190] 示例16:根據(jù)示例15的方法，根據(jù)以下來(lái)計(jì)算該經(jīng)平滑的相機(jī)路徑:該經(jīng)平滑的相 機(jī)路徑的長(zhǎng)度;該經(jīng)平滑的相機(jī)路徑的位置平滑度;該經(jīng)平滑的相機(jī)路徑的定向平滑度;該 經(jīng)平滑的相機(jī)路徑與針對(duì)該輸入視頻的輸入相機(jī)位置的接近度，該輸入相機(jī)姿勢(shì)分別包括 該輸入相機(jī)位置；以及指示沿該經(jīng)平滑的相機(jī)路徑的根據(jù)該場(chǎng)景的該模型的基于圖像的渲 染質(zhì)量的視圖質(zhì)量度量。
[0191] 示例17:根據(jù)示例15-16中的任一項(xiàng)的方法，計(jì)算該經(jīng)平滑的相機(jī)路徑還包括:計(jì) 算指示沿該經(jīng)平滑的相機(jī)路徑的根據(jù)該場(chǎng)景的該模型的基于圖像的渲染質(zhì)量的視圖質(zhì)量 度量，該視圖質(zhì)量度量是由將原始圖像紋理映射到代理幾何結(jié)構(gòu)上引發(fā)的透視縮短的量的 視圖無(wú)關(guān)的度量;以及基于該視圖質(zhì)量度量來(lái)計(jì)算該經(jīng)平滑的相機(jī)路徑。
[0192] 示例18:根據(jù)示例15-17中的任一項(xiàng)的方法，該經(jīng)平滑的相機(jī)路徑包括輸出相機(jī)位 置曲線和輸出相機(jī)定向曲線，并且計(jì)算該經(jīng)平滑的相機(jī)路徑還包括:根據(jù)基于位置的目標(biāo) 來(lái)計(jì)算該輸出相機(jī)位置曲線；以及在對(duì)該輸出相機(jī)位置曲線的計(jì)算之后，根據(jù)基于定向的 目標(biāo)來(lái)計(jì)算該輸出相機(jī)定向曲線，該輸出相機(jī)定向曲線在該輸出相機(jī)位置曲線固定為如先 前所計(jì)算的一樣的情況下被計(jì)算。
[0193] 示例19:根據(jù)示例15-18中的任一項(xiàng)的方法，針對(duì)該輸出幀而從該輸入視頻挑選所 選擇的輸入幀還包括:針對(duì)該輸出幀而識(shí)別候選輸入幀，該候選輸入幀根據(jù)該輸入視頻的 該輸入幀來(lái)識(shí)別；針對(duì)該候選輸入幀而生成相應(yīng)權(quán)重圖；以及基于該權(quán)重圖使用貪心算法 針對(duì)該輸出幀而從該候選輸入幀挑選所選擇的輸入幀。
[0194]示例20: -種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指 令當(dāng)由處理器執(zhí)行時(shí)，使該處理器執(zhí)行包括以下的動(dòng)作:根據(jù)基于位置的目標(biāo)來(lái)計(jì)算輸出 相機(jī)位置曲線;在對(duì)該輸出相機(jī)位置曲線的計(jì)算之后，根據(jù)基于定向的目標(biāo)來(lái)計(jì)算輸出相 機(jī)定向曲線，該輸出相機(jī)定向曲線在該輸出相機(jī)位置曲線固定為如先前所計(jì)算的一樣的情 況下被計(jì)算;針對(duì)輸出幀而選擇輸出相機(jī)姿勢(shì)，該輸出相機(jī)姿勢(shì)根據(jù)該輸出相機(jī)位置曲線 和該輸出相機(jī)定向曲線來(lái)選擇;針對(duì)該輸出幀而從輸入視頻挑選所選擇的輸入幀，所選擇 的輸入幀至少部分基于針對(duì)該輸出幀的該輸出相機(jī)姿勢(shì)來(lái)挑選；以及將所選擇的輸入幀進(jìn) 行組合以植染該輸出幀。
[0195] 示例21:-種根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的系統(tǒng)，包括:用于基于該輸入 視頻來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑的裝置;用于針對(duì)該輸出超延時(shí)視頻的輸出幀而從該經(jīng)平滑 的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)的裝置;用于針對(duì)該輸出幀中的每個(gè)而從該輸入視頻挑選一 個(gè)或多個(gè)所選擇的輸入幀的裝置，所選擇的輸入幀至少部分基于針對(duì)輸出幀的輸出相機(jī)姿 勢(shì)來(lái)挑選;以及用于將所選擇的輸入幀進(jìn)行組合以渲染該輸出幀中的每個(gè)的裝置。
[0196] 如本文中所使用的，術(shù)語(yǔ)"組件"和"系統(tǒng)"旨在包含被配置具有使特定功能在由處 理器執(zhí)行時(shí)被執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可執(zhí)行指令可 以包括例程、或函數(shù)、等等。還要理解，組件或系統(tǒng)可以被本地化在單個(gè)設(shè)備上或者跨若干 設(shè)備分布。
[0197] 另外，如本文中所使用的，術(shù)語(yǔ)"示例性"旨在意指用作某種事物的說(shuō)明或示例"。
[0198] 本文描述的各種功能可以被實(shí)施在硬件、軟件或其任何組合中。如果被實(shí)施在軟 件中，功能可以被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或者作為計(jì)算機(jī)可讀介質(zhì)上的一個(gè)或多個(gè)指令 或代碼被發(fā)送。計(jì)算機(jī)可讀介質(zhì)包括"計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)"。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是 可以由計(jì)算機(jī)訪問(wèn)的任何可用存儲(chǔ)介質(zhì)。通過(guò)示例而非限制的方式，這樣的計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤(pán)存儲(chǔ)裝置、磁盤(pán)存儲(chǔ)裝置或其他磁性 存儲(chǔ)設(shè)備或者可以用于存儲(chǔ)形式為指令或數(shù)據(jù)結(jié)構(gòu)并且可以由計(jì)算機(jī)訪問(wèn)的期望程序代 碼的任何其他介質(zhì)。如本文中所使用的磁盤(pán)和盤(pán)包括光盤(pán)(CD)、激光盤(pán)、光學(xué)盤(pán)、數(shù)字多用 盤(pán)(DVD)、軟盤(pán)以及藍(lán)光盤(pán)(BD)，其中磁盤(pán)通常磁性地復(fù)制數(shù)據(jù)并且盤(pán)通常利用激光光學(xué)地 復(fù)制數(shù)據(jù)。另外，傳播信號(hào)未被包含在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的范圍內(nèi)。計(jì)算機(jī)可讀介質(zhì)還包 括通信介質(zhì)，其包括促進(jìn)計(jì)算機(jī)程序從一個(gè)地方到另一地方的傳輸?shù)娜魏谓橘|(zhì)。連接例如 可以為通信介質(zhì)。例如，如果軟件使用同軸線纜、光纖線纜、雙絞線、數(shù)字用戶線路(DSL)或 諸如紅外、無(wú)線電和微波的無(wú)線技術(shù)從網(wǎng)站、服務(wù)器或其他遠(yuǎn)程源被發(fā)送，則同軸線纜、光 纖線纜、雙絞線、DSL或諸如紅外、無(wú)線電和微波的無(wú)線技術(shù)被包含在通信介質(zhì)的定義中。以 上的組合還應(yīng)當(dāng)被包含在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0199] 備選地或另外，本文描述的功能可以至少部分地由一個(gè)或多個(gè)硬件邏輯組件來(lái)執(zhí) 行。例如但不限于，可以被使用的說(shuō)明性類(lèi)型的硬件邏輯組件包括現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA)、專(zhuān)用集成電路(ASIC)、專(zhuān)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(S0C)、復(fù)雜可編程邏輯器件 (CPLD)、等等。
[0200] 以上已經(jīng)描述的內(nèi)容包括一個(gè)或多個(gè)實(shí)施例的示例。當(dāng)然，不可能為了描述前述 方面的目的描述以上設(shè)備或方法的每個(gè)可設(shè)想的修改和更改，但是本領(lǐng)域普通技術(shù)人員可 以意識(shí)到可以進(jìn)行各個(gè)方面的許多另外的修改和置換。因此，所描述的方面旨在包含落入 隨附權(quán)利要求的精神和范圍內(nèi)的所有這樣的更改、修改和變型。另外，在【具體實(shí)施方式】或權(quán) 利要求中使用了術(shù)語(yǔ)"包括（includes)"的程度上，這樣的術(shù)語(yǔ)旨在以與術(shù)語(yǔ)"包括 (comprising)"類(lèi)似的方式為包含性的，如同"包括(comprising)"在被用作權(quán)利要求中的 連接詞時(shí)被理解的一樣。
【主權(quán)項(xiàng)】
1. 一種計(jì)算系統(tǒng)，包括： 處理器；以及 存儲(chǔ)器，所述存儲(chǔ)器包括由所述處理器可執(zhí)行的視頻生成系統(tǒng)，所述視頻生成系統(tǒng)包 括： 路徑規(guī)劃組件，所述路徑規(guī)劃組件基于輸入視頻來(lái)計(jì)算經(jīng)平滑的相機(jī)路徑，所述路徑 規(guī)劃組件針對(duì)輸出超延時(shí)視頻的輸出幀而從所述經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)；以 及 渲染組件，所述渲染組件針對(duì)所述輸出幀中的每個(gè)輸出幀： 針對(duì)輸出幀而從所述輸入視頻挑選一個(gè)或多個(gè)選擇的輸入幀，所述選擇的輸入幀至少 部分基于針對(duì)所述輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選;以及 將所述選擇的輸入幀進(jìn)行組合以渲染所述輸出幀。2. 根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述視頻生成系統(tǒng)還包括重構(gòu)組件，所述重構(gòu)組件 構(gòu)建場(chǎng)景的模型和針對(duì)所述輸入視頻的輸入幀的輸入相機(jī)姿勢(shì)，其中所述路徑規(guī)劃組件基 于所述場(chǎng)景的所述模型和針對(duì)所述輸入視頻的所述輸入幀的所述輸入相機(jī)姿勢(shì)來(lái)計(jì)算所 述經(jīng)平滑的相機(jī)路徑。3. 根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述路徑規(guī)劃組件根據(jù)以下來(lái)計(jì)算所述經(jīng)平滑的 相機(jī)路徑： 所述經(jīng)平滑的相機(jī)路徑的長(zhǎng)度； 所述經(jīng)平滑的相機(jī)路徑的位置平滑度； 所述經(jīng)平滑的相機(jī)路徑的定向平滑度； 所述經(jīng)平滑的相機(jī)路徑與針對(duì)所述輸入視頻的輸入相機(jī)位置的接近度；以及 指示沿所述經(jīng)平滑的相機(jī)路徑的根據(jù)場(chǎng)景的模型的基于圖像的渲染質(zhì)量的視圖質(zhì)量 度量。4. 根據(jù)權(quán)利要求3所述的計(jì)算系統(tǒng)，所述經(jīng)平滑的相機(jī)路徑包括輸出相機(jī)位置曲線和 輸出相機(jī)定向曲線，所述路徑規(guī)劃組件還包括： 位置分析組件，所述位置分析組件根據(jù)所述經(jīng)平滑的相機(jī)路徑的所述長(zhǎng)度、所述經(jīng)平 滑的相機(jī)路徑的所述位置平滑度、以及所述經(jīng)平滑的相機(jī)路徑與針對(duì)所述輸入視頻的所述 輸入相機(jī)位置的所述接近度，來(lái)計(jì)算所述輸出相機(jī)位置曲線；以及 定向分析組件，所述定向分析組件根據(jù)所述經(jīng)平滑的相機(jī)路徑的所述定向平滑度和所 述視圖質(zhì)量度量來(lái)計(jì)算所述輸出相機(jī)定向曲線，所述定向分析組件在所述輸出相機(jī)位置曲 線保持固定為如先前由所述位置分析組件計(jì)算的一樣的情況下計(jì)算所述輸出相機(jī)定向曲 線。5. 根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述路徑規(guī)劃組件計(jì)算指示沿所述經(jīng)平滑的相機(jī) 路徑的根據(jù)場(chǎng)景的模型的基于圖像的渲染質(zhì)量的視圖質(zhì)量度量，所述經(jīng)平滑的相機(jī)路徑基 于所述視圖質(zhì)量度量來(lái)計(jì)算，所述視圖質(zhì)量度量是由將原始圖像紋理映射到代理幾何結(jié)構(gòu) 上引發(fā)的透視縮短的量的視圖無(wú)關(guān)的度量。6. 根據(jù)權(quán)利要求1所述的計(jì)算系統(tǒng)，所述渲染組件還包括融合組件，所述融合組件對(duì)所 述選擇的輸入幀進(jìn)行拼接和混合以渲染針對(duì)所述輸出幀中的每個(gè)輸出幀的所述輸出幀，所 述選擇的輸入幀由所述融合組件使用時(shí)間和空間接縫選擇算法和泊松混合來(lái)拼接和混合。7. -種根據(jù)輸入視頻來(lái)生成輸出超延時(shí)視頻的方法，包括： 構(gòu)建場(chǎng)景的模型和針對(duì)所述輸入視頻的輸入幀的輸入相機(jī)姿勢(shì)； 基于所述場(chǎng)景的所述模型和針對(duì)所述輸入視頻的所述輸入幀的所述輸入相機(jī)姿勢(shì)來(lái) 計(jì)算經(jīng)平滑的相機(jī)路徑； 針對(duì)所述輸出超延時(shí)視頻的輸出幀而從所述經(jīng)平滑的相機(jī)路徑選擇輸出相機(jī)姿勢(shì)；以 及 針對(duì)所述輸出幀中的每個(gè)輸出幀： 針對(duì)輸出幀而從所述輸入視頻挑選選擇的輸入幀，所述選擇的輸入幀至少部分基于針 對(duì)所述輸出幀的輸出相機(jī)姿勢(shì)來(lái)挑選;以及 將所述選擇的輸入幀進(jìn)行組合以渲染所述輸出幀。8. 根據(jù)權(quán)利要求7所述的方法，所述經(jīng)平滑的相機(jī)路徑包括輸出相機(jī)位置曲線和輸出 相機(jī)定向曲線，并且計(jì)算所述經(jīng)平滑的相機(jī)路徑還包括： 根據(jù)基于位置的目標(biāo)來(lái)計(jì)算所述輸出相機(jī)位置曲線；以及 在對(duì)所述輸出相機(jī)位置曲線的計(jì)算之后，根據(jù)基于定向的目標(biāo)來(lái)計(jì)算所述輸出相機(jī)定 向曲線，所述輸出相機(jī)定向曲線在所述輸出相機(jī)位置曲線固定為如先前所計(jì)算的一樣的情 況下被計(jì)算。9. 根據(jù)權(quán)利要求7所述的方法，針對(duì)所述輸出幀而從所述輸入視頻挑選所述選擇的輸 入幀還包括： 針對(duì)所述輸出幀而識(shí)別候選輸入幀，所述候選輸入幀根據(jù)所述輸入視頻的所述輸入幀 來(lái)識(shí)別； 針對(duì)所述候選輸入幀而生成相應(yīng)權(quán)重圖；以及 基于所述權(quán)重圖使用貪心算法針對(duì)所述輸出幀而從所述候選輸入幀挑選所述選擇的 輸入幀。10. -種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)由處 理器執(zhí)行時(shí)使所述處理器執(zhí)行包括以下的動(dòng)作： 根據(jù)基于位置的目標(biāo)來(lái)計(jì)算輸出相機(jī)位置曲線； 在對(duì)所述輸出相機(jī)位置曲線的計(jì)算之后，根據(jù)基于定向的目標(biāo)來(lái)計(jì)算輸出相機(jī)定向曲 線，所述輸出相機(jī)定向曲線在所述輸出相機(jī)位置曲線固定為如先前所計(jì)算的一樣的情況下 被計(jì)算； 針對(duì)輸出幀而選擇輸出相機(jī)姿勢(shì)，所述輸出相機(jī)姿勢(shì)根據(jù)所述輸出相機(jī)位置曲線和所 述輸出相機(jī)定向曲線來(lái)選擇； 針對(duì)所述輸出幀而從輸入視頻挑選選擇的輸入幀，所述選擇的輸入幀至少部分基于針 對(duì)所述輸出幀的所述輸出相機(jī)姿勢(shì)來(lái)挑選;以及 將所述選擇的輸入幀進(jìn)行組合以渲染所述輸出幀。
【文檔編號(hào)】H04N5/262GK106062817SQ201580011237
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2015年2月26日 公開(kāi)號(hào)201580011237.2, CN 106062817 A, CN 106062817A, CN 201580011237, CN-A-106062817, CN106062817 A, CN106062817A, CN201580011237, CN201580011237.2, PCT/2015/17622, PCT/US/15/017622, PCT/US/15/17622, PCT/US/2015/017622, PCT/US/2015/17622, PCT/US15/017622, PCT/US15/17622, PCT/US15017622, PCT/US1517622, PCT/US2015/017622, PCT/US2015/17622, PCT/US2015017622, PCT/US201517622
【發(fā)明人】J·P·科普夫, M·F·科恩, R·塞利斯基
【申請(qǐng)人】微軟技術(shù)許可有限責(zé)任公司