專利名稱：背景限制新視圖插值的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及照相機(jī)或視覺系統(tǒng)，更具體而言涉及生成場景的新視圖。
背景技術(shù)：
新視圖插值(NVI)試圖從其他視圖插值或合成新的或新穎的圖像視圖。存在合成 新視圖的很多方法，這些方法可以分類為三個一般的類別不使用幾何結(jié)構(gòu)的NVI、使用明 確幾何結(jié)構(gòu)的NVI以及使用隱式幾何結(jié)構(gòu)的NVI。光場渲染屬于第一類別。它不假設(shè)場景的幾何結(jié)構(gòu)，而是使用大量照相機(jī)來采集 輸入圖像，這限制了其應(yīng)用。第二類別中的方法通過從所有參考圖像投影像素生成虛擬視圖。因此，該類別的 方法需要精確的幾何結(jié)構(gòu)來合成新視圖。該類別的典型方法包括視點(diǎn)相關(guān)紋理映射、3D變 形、分層深度圖像以及寬基線立體。這些方法一般采用立體匹配來獲得精確的幾何結(jié)構(gòu)，這 是立體視覺領(lǐng)域中的巨大挑戰(zhàn)。使用隱式幾何結(jié)構(gòu)的NVI試圖在第一和第二類別之間找到折中，要求較少的圖像 且需要較不精確的幾何結(jié)構(gòu)。在該類別方法中同時估算新視圖及其深度。該類別方法將 NVI建模為最大似然估計(jì)(MLE)問題。因?yàn)槭艿絿?yán)格限制，需要強(qiáng)大的先驗(yàn)知識(prior)來 獲得好的分辨率。例如，紋理字典用作馬可夫隨機(jī)場(MRF)模型中的先驗(yàn)知識。該工作通 過使用不同的先驗(yàn)知識、專家領(lǐng)域和配對字典來擴(kuò)展。這些方法具有關(guān)于觀察的數(shù)據(jù)的獨(dú) 立假設(shè)的缺點(diǎn)。建議用基于條件隨機(jī)場(CRF)的NVI方法來去除這種限制。該方法看上去 具有良好的結(jié)果，但是輸入圖像總是高質(zhì)量的。該類別的當(dāng)前算法傾向于關(guān)注于遮擋問題， 一些關(guān)注于NVI上大視點(diǎn)變化效果。例如，在輻射度變化、無紋理以及非朗伯表面的其他復(fù) 雜場景中還沒有進(jìn)行研究工作。盡管存在試圖從其他視圖提取信息以生成新視圖的若干新視圖插值算法，復(fù)雜場 景提出的若干挑戰(zhàn)通常是好的新視圖插值的障礙。這些挑戰(zhàn)包括但不限于不良擺放的姿 態(tài)、場景內(nèi)的透明度、遮擋、變形、照明以及大視點(diǎn)變化。而且，復(fù)雜場景中的新視圖插值可 能經(jīng)歷若干其他問題，例如包括輻射度變化、無紋理和非朗伯表面以及復(fù)雜結(jié)構(gòu)(例如，頭 發(fā)、樹等)。這些困難局面不能提供用于點(diǎn)對應(yīng)的可靠信息，且典型地生成大量誤報(bào)匹配。 盡管用于NVI的這些專門方法可用于解決這些困難局面其中的一兩個，它們的本質(zhì)弱點(diǎn)使 得它們在其他局面中不適用。因?yàn)閳鼍翱梢园蚪?jīng)歷這些挑戰(zhàn)其中之一或更多，難以正確地插值場景新視 圖。因此，所需要的是可以生成新場景視圖的更魯棒的系統(tǒng)。

發(fā)明內(nèi)容
為了緩解上述限制，此處提出背景限制新視圖插值系統(tǒng)和方法。在實(shí)施方式中，一個圖像的像素的背景由其空間背景域中觀察到的其鄰近特征的 位置上的幾何結(jié)構(gòu)限制表達(dá)。該像素的幾何結(jié)構(gòu)限制可用于基于局部斑塊中的對應(yīng)關(guān)系(correspondence)的位置之間的變換的假設(shè)來估算其他視圖中其對應(yīng)的位置。 在實(shí)施方式中，通過使用三維重構(gòu)驗(yàn)證對應(yīng)關(guān)系。如果三維重構(gòu)得出具有可承受
誤差的點(diǎn)，則對應(yīng)關(guān)系被添加到特征對應(yīng)關(guān)系組中。 在實(shí)施方式中，尋找更多特征對應(yīng)關(guān)系的處理可以迭代以增加對應(yīng)關(guān)系的數(shù)目和 對應(yīng)關(guān)系的精確性。因而，在實(shí)施方式中，從粗略到精細(xì)的機(jī)制用于建立密集對應(yīng)關(guān)系，且 通過重構(gòu)驗(yàn)證改善視圖之間的立體匹配的精確性。給定一組對應(yīng)關(guān)系，可以插值新視圖。在實(shí)施方式中，可以使用從新視點(diǎn)圖像中的 像素投影到三維網(wǎng)格上的交點(diǎn)的射線和從交點(diǎn)投影到源圖像的射線之間測量的角度來確 定用于組合來自在源圖像中識別的像素的像素顏色值的加權(quán)因子。此處提出的方法可以包含在計(jì)算機(jī)程序產(chǎn)品中，該計(jì)算機(jī)程序產(chǎn)品包含存儲一個 或更多指令序列的至少一個計(jì)算機(jī)可讀介質(zhì)，其中通過一個或更多處理器執(zhí)行該一個或更 多指令序列導(dǎo)致一個或更多處理器執(zhí)行用于校準(zhǔn)投影儀系統(tǒng)的計(jì)算機(jī)實(shí)現(xiàn)方法。本發(fā)明的 實(shí)施方式包括用于生成新視點(diǎn)圖像的(多個)計(jì)算機(jī)系統(tǒng)。在概述部分已經(jīng)一般性地描述了本發(fā)明的一些特征和優(yōu)點(diǎn)；然而，此處提出附加 特征、優(yōu)點(diǎn)和實(shí)施方式，或者當(dāng)考慮附圖、說明書和其權(quán)利要求時，本領(lǐng)域技術(shù)人員將顯見 這些附加特征、優(yōu)點(diǎn)和實(shí)施方式。因此，應(yīng)當(dāng)理解本發(fā)明的范圍不受此概述部分中公開的特 定實(shí)施方式限制。


下面將詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施方式，在附圖中例示出了其示例。這些附圖旨 在說明而非限制。盡管在這些實(shí)施方式的上下文中一般性地描述本發(fā)明，應(yīng)當(dāng)理解，并不旨 在將本發(fā)明的范圍限制為這些特定實(shí)施方式。圖1說明根據(jù)本發(fā)明的各個實(shí)施方式的用于新視圖插值的照相機(jī)系統(tǒng)。圖2提出一種根據(jù)本發(fā)明的各個實(shí)施方式的用于生成一個或更多新視圖的方法。圖3示意根據(jù)本發(fā)明的各個實(shí)施方式，用于獲得從一個視點(diǎn)得出的場景的參考圖 像和從該場景的不同視點(diǎn)得出的一個或更多圖像之間的一組對應(yīng)關(guān)系的方法。圖4示意根據(jù)本發(fā)明的各個實(shí)施方式，用于獲得從一個視點(diǎn)得出的場景的參考圖 像和從該場景的不同視點(diǎn)得出的一個或更多圖像之間的附加對應(yīng)關(guān)系的方法。圖5A和5B示意根據(jù)本發(fā)明的各個實(shí)施方式，用于獲得從一個視點(diǎn)得出的場景的 參考圖像和從該場景的不同視點(diǎn)得出的一個或更多圖像之間的附加對應(yīng)關(guān)系的方法。圖6以圖形的形式示意根據(jù)本發(fā)明的各個實(shí)施方式，將三維點(diǎn)投影到兩個照相機(jī) 視圖。圖7示意根據(jù)本發(fā)明的各個實(shí)施方式，用于渲染新視圖的方法。圖8示意根據(jù)本發(fā)明的各個實(shí)施方式，用于混合像素顏色值以獲得用于新視點(diǎn)圖 像的像素顏色值的方法。圖9說明根據(jù)本發(fā)明的各個實(shí)施方式，判斷在混合像素顏色的過程中使用的射線 的角度。圖10-14說明根據(jù)本發(fā)明的各個實(shí)施方式的示例性新視點(diǎn)圖像。圖15示意根據(jù)本發(fā)明的各個實(shí)施方式的計(jì)算系統(tǒng)。
具體實(shí)施例方式在下面的描述中，用于解釋目的，提出特定細(xì)節(jié)以提供本發(fā)明的理解。然而，對于 本領(lǐng)域技術(shù)人員而言，很明顯，本發(fā)明可以不使用這些細(xì)節(jié)實(shí)踐。本領(lǐng)域技術(shù)人員將意識到 一些在下面描述的本發(fā)明的實(shí)施方式可以結(jié)合到很多不同系統(tǒng)和裝置中，作為例示而非限 制性，這些系統(tǒng)和裝置包括照相機(jī)(攝像機(jī)和/或靜止圖像照相機(jī))、多媒體系統(tǒng)、劇場系 統(tǒng)、視頻會議系統(tǒng)、投影系統(tǒng)、游戲系統(tǒng)、計(jì)算機(jī)系統(tǒng)、視覺系統(tǒng)等。本發(fā)明的方面可以以軟 件、硬件、固件或其組合實(shí)現(xiàn)?？驁D中示出的組件或模塊是本發(fā)明的示例性實(shí)施方式的說明且旨在避免混淆本 發(fā)明。還應(yīng)當(dāng)理解，貫穿這種討論，組件可以被描述為可以包括子單元的單獨(dú)功能單元，但 是本領(lǐng)域技術(shù)人員將意識到，各個組件或其部分可以分割成單獨(dú)的組件或可以整體形成， 包括集成在單個系統(tǒng)或組件中。此外，附圖內(nèi)的組件/模塊之間的連接并不旨在限制于直接連接。而是，這些組件 之間的數(shù)據(jù)可以被中間組件修改、重新格式化或改變。而且，可以使用附加或更少的連接。 還應(yīng)當(dāng)注意，術(shù)語“耦合”或“通信耦合”應(yīng)理解成包括直接連接、通過一個或更多中間裝置 的間接連接以及無線連接。說明書中對于“一個實(shí)施方式”、“一實(shí)施方式”或“實(shí)施方式”的引用意味著結(jié)合 實(shí)施方式或多個實(shí)施方式描述的特定特征、結(jié)構(gòu)、特性或功能被包括在本發(fā)明的至少一個 實(shí)施方式中且可以包括在多于一個實(shí)施方式中。短語“在一個實(shí)施方式中”或“在一實(shí)施方 式中”或“在實(shí)施方式中”在本說明書中各處的出現(xiàn)并不一定都引用相同的實(shí)施方式或多個 實(shí)施方式。A、概覽此處提出的是用于一小組復(fù)雜場景的輸入圖像的新視圖插值(NVI)的系統(tǒng)和方 法。本專利文件提出了提供結(jié)合背景信息來限制視圖插值的框架的系統(tǒng)和方法的實(shí)施方 式。盡管以前在新視圖插值中還沒有使用背景，視覺背景在對象識別、對象檢測、分 段、跟蹤和場景理解中扮演重要角色。已經(jīng)顯示，建?？臻g結(jié)構(gòu)的背景方法可以粗略地分為 三個類別嚴(yán)格結(jié)構(gòu)模型、無結(jié)構(gòu)模型和靈活結(jié)構(gòu)模型。嚴(yán)格結(jié)構(gòu)模型在感興趣的區(qū)域(例 如，圖像模板)周圍的圖像像素或斑塊(patch)中強(qiáng)加嚴(yán)格的空間配置。它在匹配時趨于 具有高精確度，但是對于遮擋和變型很不敏感。無結(jié)構(gòu)模型忽略空間關(guān)系，例如很多特征或 特征直方圖。它們提供建模復(fù)雜場景的靈活性，但是可能導(dǎo)致誤報(bào)匹配和錯亂。結(jié)構(gòu)靈活 模型的目標(biāo)在于采集場景的粗略幾何結(jié)構(gòu)且允許空間配置(諸如形狀背景和隨機(jī)圖形)的 某些變形。盡管背景建模在歷史上具有缺點(diǎn)，本發(fā)明的一個方面是利用背景來幫助提取用 于新視圖插值的信息。新視圖插值(VNI)典型地是諸如多視點(diǎn)圖像/視頻壓縮、目光注視校正和多視點(diǎn) 三維顯示之類的基于計(jì)算機(jī)視覺的應(yīng)用的算法組件。新視圖插值算法一般首先建立視圖之 間的對應(yīng)關(guān)系，然后基于相應(yīng)強(qiáng)度合成新視圖。因此，立體匹配典型地是重要的部分且是 NVI的核心挑戰(zhàn)之一。匹配成本的選擇決定了立體算法的性能。先前已經(jīng)評估了各種匹配 成本。對于紋理圖像是高質(zhì)量的場景，在強(qiáng)加空間一致性的重構(gòu)中，諸如像素的強(qiáng)度差異或小窗口上的關(guān)聯(lián)之類的簡單匹配成本工作良好。盡管高效地處理了遮擋，使用小斑塊的 方法可能經(jīng)歷亮度變化、重復(fù)圖案、無紋理表面以及無郎伯表面。另一方面，基于較大鄰域 (neighborhood)的方法在大視點(diǎn)變化方面和部分遮擋方面具有困難。這些變化往往發(fā)生在 真實(shí)世界的復(fù)雜場景中且使得立體匹配算法失效。因此，需要魯棒的立體匹配方法來處理 NVI中的這些問題。已經(jīng)顯示，還沒有什么匹配成本對于強(qiáng)局域變化是十分健壯的。這種局限性的根 源在于任意像素被單獨(dú)考慮，而不管其附近的像素如何。因此，誤報(bào)對應(yīng)關(guān)系可能是好的匹 配，且好的匹配并不一定對應(yīng)于真實(shí)匹配。不管場景有多復(fù)雜，像素隔離和獨(dú)立于整個場景 是十分少見的。例如，因?yàn)檩斎雸D像中的遮擋或亮度變化，一個像素的強(qiáng)度可能經(jīng)歷大的變 化，但是其背景(諸如鄰近特征)可能更加穩(wěn)定且經(jīng)歷較少的顯著改變。因而，因?yàn)榭臻g背 景提供附加的驗(yàn)證，可以以高效的方式有利地使用背景信息來魯棒性以找到對應(yīng)關(guān)系。在實(shí)施方式中，此處提出背景限制NVI系統(tǒng)和方法。在實(shí)施方式中，一個圖像的像 素的一個獨(dú)立背景由在其空間背景域中觀察的其鄰近仿射特征的位置上的幾何結(jié)構(gòu)限制 表示。該像素的幾何結(jié)構(gòu)限制可用于基于局部斑塊中對應(yīng)關(guān)系的位置之間的變換的假設(shè)估 算其他視圖中其對應(yīng)的位置。在實(shí)施方式中，與該像素相關(guān)的仿射特征可以非常稀少且鄰 域窗口的尺寸可以增大以包括更多的特征，這與局部線性假設(shè)相抵觸。因此，在實(shí)施方式 中，從粗略到精細(xì)的機(jī)制用于建立密集對應(yīng)，且通過重構(gòu)驗(yàn)證改善視圖之間立體匹配的精 確性。此處提出的系統(tǒng)和方法的實(shí)施方式的優(yōu)點(diǎn)包括但不限于(1)提供用于建立視圖 之間密集且精確的點(diǎn)對應(yīng)關(guān)系；(2)提供結(jié)合背景來限制從匹配局部亮度到匹配用于NVI 的幾何結(jié)構(gòu)背景的特征對應(yīng)關(guān)系的方法；以及(3)提供更健壯的對應(yīng)關(guān)系——因?yàn)楸尘皩?于小的局部外觀變化非常不敏感，匹配背景導(dǎo)致更健壯的對應(yīng)關(guān)系。因此，即使當(dāng)輸入圖像 是復(fù)雜場景時，本發(fā)明的實(shí)施方式也可用于新視圖插值。B、方法實(shí)施方式1、概述圖1示意了根據(jù)本發(fā)明的實(shí)施方式的系統(tǒng)100的配置。系統(tǒng)100包括耦合到計(jì)算 系統(tǒng)120的一組照相機(jī)ΙΙΟχ。照相機(jī)IlOx布置為從場景130的不同視點(diǎn)采集圖像。注意， 此處參考照相機(jī)的討論應(yīng)解讀為涵蓋在唯一位置具有多個照相機(jī)、一個或多個照相機(jī)移動 到不同位置以采集多個視點(diǎn)圖像或其組合。還應(yīng)當(dāng)注意，如上下文允許，所述的照相機(jī)應(yīng)解 讀為涵蓋照相機(jī)視圖或照相機(jī)圖像。還應(yīng)當(dāng)注意，照相機(jī)位置不需要均勻或線性地布置。如圖1所示，存在位置140A-X，在這些位置上沒有采集的照相機(jī)圖像。如果需要來 自該視點(diǎn)的圖像，則本發(fā)明的實(shí)施方式可以渲染新視點(diǎn)圖像以近似從該位置采集的圖像， 就像布置了照相機(jī)來采集視點(diǎn)圖像一樣。在實(shí)施方式中，計(jì)算系統(tǒng)120與照相機(jī)相接口以協(xié)調(diào)來自照相機(jī)的圖像的采集和 存儲。在實(shí)施方式中，計(jì)算系統(tǒng)還生成(一個或多個)新視點(diǎn)圖像。下面將更詳細(xì)地描述 計(jì)算系統(tǒng)120的實(shí)施方式。圖2提出根據(jù)本發(fā)明的各個實(shí)施方式，用于生成一個或更多新視圖的方法。在實(shí) 施方式中，校準(zhǔn)照相機(jī)組(20 且獲得本征參數(shù)、焦距、圖像中心以及失真信息。而且，在實(shí) 施方式中，執(zhí)行立體校準(zhǔn)005)以獲得照相機(jī)相對于參考照相機(jī)的外在參數(shù)。應(yīng)當(dāng)注意，照相機(jī)校準(zhǔn)為本領(lǐng)域普通技術(shù)人員所熟知，且執(zhí)行照相機(jī)校準(zhǔn)的校準(zhǔn)工具或工具組也容易獲得。在所示實(shí)施方式中，照相機(jī)組被調(diào)整010)，這為本領(lǐng)域普通技術(shù)人員所熟知。在 實(shí)施方式中，通過將立體對擴(kuò)展到不同視點(diǎn)來調(diào)整照相機(jī)。因此，針對每個視圖存在變換矩 陣和投影矩陣。在調(diào)整之后，每個視點(diǎn)具有相同的垂直坐標(biāo)、相同的旋轉(zhuǎn)矩陣和相同的本征 矩陣。出于說明4個照相機(jī)視點(diǎn)的調(diào)整的目的，提供下面的方程組，其中照相機(jī)視點(diǎn)2是 參考圖像視點(diǎn)
權(quán)利要求
1.一種計(jì)算機(jī)程序產(chǎn)品，其包括存儲一個或更多個指令序列的至少一個計(jì)算機(jī)可讀介 質(zhì)，其中一個或更多個處理器執(zhí)行所述一個或更多個指令序列導(dǎo)致所述一個或更多個處理 器通過執(zhí)行以下步驟生成場景的新視圖形成從一個視點(diǎn)取得的所述場景的參考圖像的一組特征與在不同視點(diǎn)取得的一組圖 像中的至少一些圖像中的各圖像的一組特征之間的一組對應(yīng)關(guān)系；檢測所述參考圖像中的邊緣像素；針對從所述參考圖像中檢測出的邊緣像素取得的一組邊緣像素中的各邊緣像素，使用 從所述一組對應(yīng)關(guān)系中選擇的局部對應(yīng)關(guān)系來幫助在所述一組圖像中的至少一些圖像中 的各圖像中選擇匹配像素，其中所述邊緣像素和所述匹配像素形成像素匹配組；檢查至少一些匹配組，并且響應(yīng)于一像素匹配組是可接受的，將所述匹配組添加到所 述一組對應(yīng)關(guān)系；以及使用所述一組對應(yīng)關(guān)系來生成所述場景的新視圖。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，其中，“針對從所述參考圖像中檢測出的邊 緣像素取得的一組邊緣像素中的各邊緣像素，使用從所述一組對應(yīng)關(guān)系中選擇的局部對應(yīng) 關(guān)系來幫助在所述一組圖像中的至少一些圖像中的各圖像中選擇匹配像素，其中所述邊緣 像素和所述匹配像素形成像素匹配組”的步驟包括以下步驟對于所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應(yīng)關(guān)系中選擇的一組最鄰近鄰居像素；和對于從所述一組圖像中選擇的至少一些圖像中的各圖像使用所選的一組最鄰近鄰居像素以及它們在根據(jù)所述一組對應(yīng)關(guān)系獲得的從所述一 組圖像中選擇的圖像中的對應(yīng)像素，計(jì)算所述參考圖像和所述從所述一組圖像中選擇的圖 像之間的變換；向所述參考圖像中的邊緣像素應(yīng)用所述變換以獲得所述從所述一組圖像中選擇的圖 像中的變換像素；以及將所述參考圖像的包括所述邊緣像素的局部窗口與包括所述變換像素的局部窗口進(jìn) 行模板匹配，以識別從所述一組圖像中選擇的圖像中的與所述參考圖像中的邊緣像素對應(yīng) 的對應(yīng)像素，其中該對應(yīng)像素被認(rèn)為是匹配像素。
3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，其中，“檢查至少一些匹配組，并且響應(yīng)于 一像素匹配組是可接受的，將所述匹配組添加到所述一組對應(yīng)關(guān)系”的步驟包括以下步驟對于所述至少一些像素匹配組中的各像素匹配組使用該像素匹配組中的至少一些像素來計(jì)算三維點(diǎn)；將所述三維點(diǎn)投影到從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像；計(jì)算投影的三維點(diǎn)的誤差值；以及響應(yīng)于該誤差值小于閾值，將該匹配組添加到所述一組對應(yīng)關(guān)系。
4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)程序產(chǎn)品，其中，“計(jì)算投影的三維點(diǎn)的誤差值”的步 驟包括對于從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像中的各圖像，計(jì) 算投影的三維點(diǎn)與其在從所述像素匹配組中選擇的該圖像中的對應(yīng)像素之間的偏離值；和對所述偏離值取平均以獲得所述誤差值。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品還包括以下步驟校準(zhǔn)一組照相機(jī)視點(diǎn)，該一組照相機(jī)視點(diǎn)中的各照相機(jī)視點(diǎn)具有唯一的位置且生成所 述一組圖像中的圖像；和調(diào)整所述一組照相機(jī)視點(diǎn)。
6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)程序產(chǎn)品，其中，“使用所述一組對應(yīng)關(guān)系來生成所述 場景的視圖”的步驟包括以下步驟根據(jù)所述一組對應(yīng)關(guān)系獲得三維點(diǎn)； 生成所述三維點(diǎn)的三維三角網(wǎng)格； 對于該新視圖的各個像素給定用于該場景的新視圖的投影矩陣，計(jì)算用于該像素的三維射線；識別在所述三維三角網(wǎng)格上所述三維射線與所述三維三角網(wǎng)絡(luò)相交的交點(diǎn)；對于從包括所述參考圖像和所述一組圖像的組中選擇的所述至少一些圖像中的各圖像投影從所述交點(diǎn)到該圖像的射線； 基于所述射線和該圖像的交點(diǎn)識別該圖像中的像素；以及 識別所述射線和所述三維射線之間的角度；以及使用所述角度混合所識別出的像素的像素顏色，來獲得所述新視圖的所述像素的顏色值。
7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中，“使用所述角度混合所識別出的像素 的像素顏色，來獲得所述新視圖的所述像素的顏色值”的步驟包括識別射線和所述三維射線之間的最大角度；對于所述至少一些圖像中的各圖像，使用到該圖像的射線與所述三維射線之間的角度 以及所述最大角度來計(jì)算權(quán)重因子； 歸一化所述權(quán)重因子；以及將所述新視圖的所述像素的顏色值計(jì)算為各個所識別出的像素顏色與相應(yīng)的歸一化 權(quán)重因子的乘積之和。
8.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)程序產(chǎn)品，其中，所述三維三角網(wǎng)格上所述三維射線 與所述三維三角網(wǎng)格相交的交點(diǎn)是最前交點(diǎn)。
9.一種用于生成場景的新視圖的系統(tǒng)，該系統(tǒng)包括一個或更多個接口，該一個或更多個接口用于接收在不同視點(diǎn)取得的場景的一組圖像；數(shù)據(jù)存儲部，該數(shù)據(jù)存儲部用于存儲所述一組圖像；以及一個或更多個處理器以及存儲一個或更多個指令序列的至少一個計(jì)算機(jī)可讀介質(zhì)，其 中一個或更多個處理器執(zhí)行所述一個或更多個指令序列導(dǎo)致所述一個或更多個處理器通 過執(zhí)行以下步驟生成該場景的新視圖形成從一個視點(diǎn)取得的所述場景的參考圖像一組特征與在不同視點(diǎn)取得的所述場景 的一組圖像組中的至少一些圖像中的各圖像的一組特征之間的一組對應(yīng)關(guān)系； 檢測所述參考圖像中的邊緣像素；針對從所述參考圖像中檢測出的邊緣像素取得的一組邊緣像素中的各邊緣像素，使用 從所述一組對應(yīng)關(guān)系中選擇的局部對應(yīng)關(guān)系來幫助在所述一組圖像中的至少一些圖像中 的各圖像中選擇匹配像素，其中所述邊緣像素和所述匹配像素形成像素匹配組；檢查至少一些匹配組，并且響應(yīng)于一像素匹配組是可接受的，將該匹配組添加到所述 一組對應(yīng)關(guān)系；以及使用所述一組對應(yīng)關(guān)系生成所述場景的新視圖。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，“針對從所述參考圖像中檢測出的邊緣像素取 得的一組邊緣像素中的各邊緣像素，使用從所述一組對應(yīng)關(guān)系中選擇的局部對應(yīng)關(guān)系來幫 助在所述一組圖像中的至少一些圖像中的各圖像中選擇匹配像素，其中所述邊緣像素和所 述匹配像素形成像素匹配組”的步驟包括以下步驟對于所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應(yīng)關(guān)系中選擇的一組最鄰近鄰居像素；和 對于從所述一組圖像中選擇的至少一些圖像中的各圖像使用所選的一組最鄰近鄰居像素以及它們在根據(jù)所述一組對應(yīng)關(guān)系獲得的從所述一 組圖像中選擇的圖像中的對應(yīng)像素，計(jì)算所述參考圖像和所述從所述一組圖像中選擇的圖 像之間的變換；向所述參考圖像中的邊緣像素應(yīng)用所述變換以獲得從所述一組圖像中選擇的圖像中 的變換像素；以及將所述參考圖像的包括所述邊緣像素的局部窗口與包括所述變換像素的局部窗口進(jìn) 行模板匹配，以識別從所述一組圖像中選擇的圖像中的與所述參考圖像中的邊緣像素對應(yīng) 的對應(yīng)像素，其中該對應(yīng)像素被認(rèn)為是匹配像素。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，“檢查至少一些匹配組，且并響應(yīng)于一像素匹配 組是可接受的，將所述匹配組添加到所述一組對應(yīng)關(guān)系”的步驟包括以下步驟對于所述至少一些像素匹配組中的各像素匹配組 使用所述像素匹配組中的至少一些像素來計(jì)算三維點(diǎn)；將所述三維點(diǎn)投影到從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像；計(jì)算投影的三維點(diǎn)的誤差值；以及響應(yīng)于該誤差值小于閾值，將該匹配組添加到所述一組對應(yīng)關(guān)系。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，“計(jì)算投影的三維點(diǎn)的誤差值”的步驟包括 對于從包括所述參考圖像和所述一組圖像的組中選擇的至少一些圖像中的各圖像，計(jì)算投影的三維點(diǎn)與其在從所述像素匹配組中選擇的該圖像中的對應(yīng)像素之間的偏離值；和 對所述偏離值取平均以獲得所述誤差值。
13.根據(jù)權(quán)利要求9所述的系統(tǒng)，該系統(tǒng)還包括以下步驟校準(zhǔn)一組照相機(jī)視點(diǎn)，該一組照相機(jī)視點(diǎn)中的各照相機(jī)視點(diǎn)具有唯一的位置且生成所 述一組圖像中的圖像；和調(diào)整所述一組照相機(jī)視點(diǎn)。
14.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，“使用所述一組對應(yīng)關(guān)系來生成所述場景的視 圖”的步驟包括根據(jù)所述一組對應(yīng)關(guān)系獲得三維點(diǎn)； 生成所述三維點(diǎn)的三維三角網(wǎng)格； 對于該新視圖的各個像素給定用于該場景的新視圖的投影矩陣，計(jì)算用于該像素的三維射線；識別在所述三維三角網(wǎng)格上所述三維射線與所述三維三角網(wǎng)絡(luò)相交的交點(diǎn)；對于從包括所述參考圖像和所述一組圖像的組中選擇的所述至少一些圖像中的各圖像投影從所述交點(diǎn)到該圖像的射線； 基于所述射線和該圖像的交點(diǎn)識別該圖像中的像素；以及 識別所述射線和所述三維射線之間的角度；以及使用所述角度混合所識別出的像素的像素顏色，來獲得所述新視圖的所述像素的顏色值。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，“使用所述角度混合所識別出的像素的像素顏 色，來獲得所述新視圖的所述像素的顏色值”的步驟包括以下步驟識別射線和所述三維射線之間的最大角度；對于所述至少一些圖像中的各圖像，使用到該圖像的射線與所述三維射線之間的角度 以及所述最大角度來計(jì)算權(quán)重因子； 歸一化所述權(quán)重因子；以及將所述新視圖的所述像素的顏色值計(jì)算為各個所識別出的像素顏色與相應(yīng)的歸一化 權(quán)重因子的乘積之和。
16.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述接口包括用于采集所述一組圖像的傳感 器。
17.一種計(jì)算機(jī)程序產(chǎn)品，其包括存儲一個或更多個指令序列的至少一個計(jì)算機(jī)可讀 介質(zhì)，其中一個或更多個處理器執(zhí)行所述一個或更多個指令序列導(dǎo)致所述一個或更多個處 理器生成場景的新視圖，該方法包括獲得從所述場景的一個視點(diǎn)取得的所述場景的參考圖像與從所述場景的另一視點(diǎn)取 得的第二圖像之間的一組對應(yīng)關(guān)系；使用所述一組對應(yīng)關(guān)系和局部背景信息來識別所述參考圖像和所述第二圖像之間的 附加對應(yīng)關(guān)系，該附加對應(yīng)關(guān)系被添加到所述一組對應(yīng)關(guān)系；使用根據(jù)所述一組對應(yīng)關(guān)系中的至少一些對應(yīng)關(guān)系獲得的三維坐標(biāo)，構(gòu)建三維網(wǎng)格；以及使用從所述新視圖的像素到所述三維網(wǎng)絡(luò)的投影識別來自所述參考圖像和所述第二 圖像的像素顏色值以及用于混合所識別出的像素顏色值的權(quán)重因子，來渲染所述場景的所 述新視圖。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，“使用從所述新視圖的像素到所述 三維網(wǎng)絡(luò)的投影識別來自所述參考圖像和所述第二圖像的像素顏色值以及用于混合所識 別出的像素顏色值的權(quán)重因子，來渲染所述場景的所述新視圖”的步驟包括針對所述新視圖的各像素給定用于所述場景的所述新視圖的投影矩陣，計(jì)算用于該像素的三維射線；識別所述三維網(wǎng)格上所述三維射線與所述三維網(wǎng)格相交的交點(diǎn)； 針對所述參考圖像和所述第二圖像中的每一個 投影從所述交點(diǎn)到該圖像的照相機(jī)中心的射線； 識別與該射線相交的該圖像中的像素；以及 確定該射線和所述三維射線之間的角度；以及使用所述角度生成用于混合所識別出的像素的顏色的權(quán)重因子，來獲得該新視圖中的 該像素的顏色值。
19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)程序產(chǎn)品，其中，“使用所述角度生成用于混合所識 別出的像素的顏色的權(quán)重因子，來獲得該新視圖中的該像素的顏色值”的步驟包括以下步 驟使用各相應(yīng)角度生成用于所述參考圖像和所述第二圖像中的每一個的權(quán)重因子，使得 對較小角度賦予的權(quán)重因子大于對較大角度賦予的權(quán)重因子；以及將用于該新視圖中的該像素的顏色值計(jì)算為各所識別出的像素顏色與相應(yīng)權(quán)重因子 的乘積之和。
20.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，“使用所述一組對應(yīng)關(guān)系和局部背 景信息來識別所述參考圖像和所述第二圖像之間的附加對應(yīng)關(guān)系，該附加對應(yīng)關(guān)系被添加 到所述一組對應(yīng)關(guān)系”的步驟包含以下步驟檢測所述參考圖像中的邊緣像素； 針對所述一組邊緣像素中的各邊緣像素在所述參考圖像中識別從所述一組對應(yīng)關(guān)系選擇的一組最鄰近鄰居像素； 使用所選的一組最鄰近鄰居像素以及它們在從所述一組對應(yīng)關(guān)系獲得的所述第二圖 像中的對應(yīng)像素，計(jì)算所述參考圖像和所述第二圖像之間的變換；向所述參考圖像中的邊緣像素應(yīng)用所述變換以獲得所述第二圖像中的變換像素；以及 將所述參考圖像的包括所述邊緣像素的局部窗口與所述第二圖像的包括所述變換像 素的局部窗口進(jìn)行匹配，以識別所述第二圖像中與所述參考圖像中的邊緣像素對應(yīng)的對應(yīng) 像素。
全文摘要
本發(fā)明涉及背景限制新視圖插值。本發(fā)明的方面包括用于生成新視圖插值的系統(tǒng)和方法。在實(shí)施方式中，基于局部線性變換的假設(shè)，使用特征對應(yīng)關(guān)系和幾何背景來獲得附加對應(yīng)關(guān)系。對應(yīng)關(guān)系匹配的精確性和數(shù)目可以通過迭代細(xì)化而改善。在獲得一組對應(yīng)關(guān)系之后，可以生成新的視點(diǎn)圖像。
文檔編號G06T3/40GK102096901SQ20101055209
公開日2011年6月15日 申請日期2010年11月17日 優(yōu)先權(quán)日2009年11月17日
發(fā)明者王先旺, 肖京 申請人:精工愛普生株式會社