專利名稱：稀疏數(shù)據(jù)的重建的制作方法
技術領域：
本發(fā)明涉及圖像重建，尤其涉及稀疏數(shù)據(jù)的重建。
背景技術：
在計算機圖形領域中，給定二維的相對稀疏的點集，可能期望重建稠密目標圖像。 例如，各點可能具有深度值或某種其他類型的標量數(shù)據(jù)。為了重建圖像，可以基于各稀疏點的值來內(nèi)插各稀疏點之間的空間深度(或其他類型的數(shù)據(jù))。通常，對于兩個鄰近點，這兩個點之間的線將具有平滑的深度分級。例如，如果點P具有深度0且點Q具有深度10，則在 P和Q之間的線上的四個均勻隔開的點處，深度可以是2、4、6和8。一般地，在各點之間所內(nèi)插的值平滑地變化。盡管已經(jīng)使用不同的內(nèi)插策略，但先前不可能使用稠密圖像或信號來通知內(nèi)插過程。下面討論與通過考慮稠密圖像或引導信號的特征來重建圖像有關的技術。

發(fā)明內(nèi)容
包括下列概述只是為了介紹下面在詳細描述中討論的一些概念。本概述不是詳盡的，且不旨在描繪所要求保護的本主題的范圍，本主題的范圍由在結尾呈現(xiàn)的權利要求陳述。使用稠密引導圖像或信號來通知從目標點的稀疏集合重建目標圖像。假定該引導圖像和該組目標點是從同一真實世界主體或場景導出的。首先檢測該引導圖像中的潛在的不連續(xù)性(例如，裂縫、邊緣、縫隙等等)。潛在的不連續(xù)性可以是Voronoi區(qū)域的邊界，可能是使用數(shù)據(jù)空間(例如，色彩空間)中的距離來計算的。使用不連續(xù)性和點的稀疏集合來重建目標圖像。具體地，目標圖像的像素可以平滑地內(nèi)插在鄰近目標點之間，但在鄰近目標點由不連續(xù)性隔開的位置處，內(nèi)插可以例如通過調(diào)整或影響松弛、或具體地通過消除平滑度懲罰來在不連續(xù)性處突然跳變?？梢允褂酶髂繕它c來選擇在重建期間要使用的不連續(xù)性的僅一個子集。下面將參考結合附圖考慮的下列詳細描述解釋許多伴隨特征。


在考慮到附圖而閱讀下列詳細描述之后，將更好地理解本描述，附圖中，使用相同的參考數(shù)字標明所附描述中相同的部分。圖1使用示例數(shù)據(jù)示出一般過程。圖2示出用于找出候選不連續(xù)性的過程。圖3示出計算得到的區(qū)域和種子的示例。圖4示出用于過濾候選不連續(xù)性的過程。圖5示出用于計算種子或目標點的平滑內(nèi)插的過程。圖6示出示例引導圖像和示例目標像素集。
圖7示出示例候選不連續(xù)性的集合和不連續(xù)性的所選子集。圖8示出最終重建的目標圖像。圖9示出可在其上實現(xiàn)一個或多個實施方式的計算機。
具體實施例方式下面討論的實施方式涉及使用稠密引導圖像來通知從數(shù)據(jù)點的對應稀疏集合來重建圖像。該討論從解釋一般實施方式的步驟開始。然后，將描述用于實現(xiàn)該一般實施方式的步驟的變體和細節(jié)。然后，將討論用實際數(shù)據(jù)色彩的示例。圖1使用示例數(shù)據(jù)示出一般過程。將假定引導圖像100和目標點集合102的形式的輸入數(shù)據(jù)。下面進一步討論的線103和線103A表示稍后標識的潛在不連續(xù)性且不是引導圖像100的一部分。為了幫助理解，將在下一段落描述示例輸入數(shù)據(jù)源。然而，應理解， 引導圖像100和目標點102可以具有任何源。此外，在引導圖像100相對于目標點而言稠密時，在此描述的技術是有幫助的；然而，本發(fā)明技術的應用不要求這一點。在此描述的技術不依賴于輸入數(shù)據(jù)的源或語義內(nèi)容。此外，輸入數(shù)據(jù)甚至不必基于或源自實際攝影數(shù)據(jù)或所捕捉的數(shù)據(jù)。例如，輸入數(shù)據(jù)可以完全地或部分地是合成的、人工渲染的等等。關于該示例輸入源，從場景的二維照片的集合(S卩，該場景的不同照片)對該場景進行三維重建近來已經(jīng)取得進展?？梢砸苑从撑臄z各照片的著眼點(vantage point)的方式來以三維自動排列各照片(例如，三維的一組平面矩形，每一矩形構成相應的照片)。在這樣的情況中，這樣的照片上的點或從這樣的照片投影的點(三維空間中的點)可以形成稀疏數(shù)據(jù)點集，每一稀疏數(shù)據(jù)點具有深度和位置。各點可以對應于該場景的在各照片中描繪的物理特征(例如，物體、物體邊緣、陰影邊緣、物體的特征點等等)。這樣的點的集合可以充當目標點102。此外，這樣的照片中的一個或其合成組合可以充當引導圖像100。簡而言之，僅作為示例，引導圖像100可以是真實世界物體或場景的所捕捉的圖像數(shù)據(jù)，且數(shù)據(jù)點100中的一些可以對應于該真實世界物體或場景的一些特征。給定這一數(shù)據(jù)，以反映或考慮引導圖像100以及尤其是在其中檢測到的可能的不連續(xù)性的方式從數(shù)據(jù)點100重建圖像(例如深度圖)是合乎需要的。不管起源如何，相對于目標點102而言，引導圖像100可以是稠密的。目標點102 可以被認為是要重建的最終圖像中的初始點。引導圖像100可以包括一組二維引導點104， 例如彩色圖像或深度圖中的像素或點。在以下意義上，認為目標點102和作為輸入給定的引導圖像100是匹配的即使構成各數(shù)據(jù)集的實際值可以在類型、本質(zhì)且甚至是通道數(shù)量或維度方面不同，這兩個空間的圖像位置也對應。換句話說，目標點102的空間可以通過各種變換(平移、旋轉(zhuǎn)、變形)映射到引導圖像100的空間，而這兩個輸入的實際圖像數(shù)據(jù)可以在類型(例如，色彩對深度)、維度等等方面不同。給定目標點106A，引導圖像100中可以存在大致對應于主題場景中的相同的真實世界點或與目標點106A相同的真實世界點的像素或點104A。因而，諸如引導圖像100的標量值(例如，深度、色彩、梯度等等的突變等不連續(xù)性(其可能表示物理邊緣或折皺)可以指示要從目標點102重建的目標圖像中的相應不連續(xù)性。接下來討論對這樣的不連續(xù)性的發(fā)現(xiàn)和使用。給定引導圖像100和目標點102形式的輸入數(shù)據(jù)，在步驟108，在引導圖像100中標識由線103表示的潛在的或候選的不連續(xù)性?？梢允褂酶鞣N形式的分析中的任何分析來標識潛在的不連續(xù)性，包括由用戶手動標識。例如，可以通過分析引導點104的值上的變化率、通過標識具有高于上限閾值或低于下限閾值的值的引導點104等等來找出不連續(xù)性。 在下面參考圖2討論的實施方式中，候選不連續(xù)性是基于在各引導點104和各引導點104 之間的引導圖像空間中的距離計算的各區(qū)域邊緣。舉例來說，在色彩空間中，可以使用色彩距離。給定由線103和103A表示的候選不連續(xù)性，步驟110可以涉及使用相對稀疏的目標點102來選擇在步驟108標識的不連續(xù)性的子集。目標點102可以幫助以各種方式標識不連續(xù)性。在一種實施方式中，在兩個主要的目標點(以及鄰近的目標點)處的目標信號的值之間的關系，提供了用于決定是否也應將引導信號中的不連續(xù)性解釋成目標信號中的不連續(xù)性的基礎。并非每一引導信號不連續(xù)性都暗示目標不連續(xù)性，因此使用目標信號值來執(zhí)行這一驗證步驟。在另一實施方式中，跨候選不連續(xù)性曲線來計算稠密引導圖像的信號值的差(例如在該曲線的左側(cè)和右側(cè)的鄰近像素之間的差)的測量值。例如，可以沿著該曲線對在每一曲線點處測量的信號值的平方差進行積分。然后，當且僅當這一積分得到的測量值高于一閾值時，才選擇候選不連續(xù)性曲線。另一方法是簡單地測量各目標點之間的值的差，且將該差用作選擇的基礎。為了進一步解釋在引導信號(引導圖像)不連續(xù)性和所重建的連續(xù)性或目標不連續(xù)性之間的關系，在標識不連續(xù)性時認為該關系是保守的，它可以幫助促成平滑內(nèi)插，除非在數(shù)據(jù)中存在“真”不連續(xù)性的強有力證據(jù)。引導信號中的不連續(xù)性自身可能不是目標不連續(xù)性的足夠強有力的證據(jù)。相反，“真”不連續(xù)性可以意指(1)引導信號中指示存在不連續(xù)性(基于在此描述的Voronoi邊界計算，它在基于引導信號距離來計算時往往使自身與引導信號不連續(xù)性相對齊，或其他方法，)，以及( 靠近這一潛在的不連續(xù)性的目標點的值證實這一不連續(xù)性在目標空間中的存在(基于在此描述的板(slab)測試，或以另外方式)。 在實踐中，引導信號不連續(xù)性通常不指示目標不連續(xù)性。例如，完全平坦的墻可以僅僅具有來自所繪條紋的色彩不連續(xù)性，然而很清楚，墻的平坦表面不具有幾何不連續(xù)性。在下面參考圖討論4的實施方式中，分析通過鄰域(或其種子)計算的平面或板以便選擇要使用的候選不連續(xù)性的子集。步驟110的輸出是候選不連續(xù)性的子集，該候選不連續(xù)性之一由線103A表示。在步驟112，使用所選擇的不連續(xù)性來重建稠密目標信號或圖像114。在一種實施方式中，由在步驟Iio選擇的不連續(xù)性(例如由線103A表示的不連續(xù)性)來通知在目標點 106之間的平滑內(nèi)插。注意，在示例圖像114中，在兩個點106之間生成的數(shù)據(jù)示出任何類型的無約束內(nèi)插可以產(chǎn)生的值(在這里是強度的形式)的漸變。應進一步注意，在使用不連續(xù)性(線103A)來通知重建的情況下，值(例如，強度)的突變發(fā)生在點106A和各點106 中的任一個之間。即是說，可以對包含點106區(qū)域進行內(nèi)插以便具有平滑地改變的值(例如，深度、色彩等等)，而包含點106A的區(qū)域在去往點106的方向上可以具有在由線103A表示的不連續(xù)性處或在其附近突變的值。圖2示出用于找出候選不連續(xù)性的過程。一般地，該過程涉及計算目標點102的 Voronoi區(qū)域，且各區(qū)域的邊緣被用作候選不連續(xù)性。注意，Voronoi區(qū)域是包含所有“最靠近”給定點的點的區(qū)域(可以以不同于幾何距離的方式來測量靠近度)。最初，在步驟128， 在引導點104當中選擇各種子點?；诜N子點與目標點106(包括點106A)之一的對應關系來選擇每一種子點。即是說，種子點是對應的目標點106的引導空間等效。例如，在對應于目標點106A的引導點104A處選擇種子點。在另一實施方式中，根據(jù)需要選擇各種子點， 而非同時選擇所有種子點。在步驟130，計算每一種子點和在其鄰近的引導點104之間的引導信號空間中的距離。相對于高分辨率信號中的所積分的改變來測量該距離。每一種子因而確定像素或引導點的區(qū)域，該區(qū)域被稱為廣義Voronoi區(qū)域。每一廣義Voronoi區(qū)域包含最接近該區(qū)域的種子的像素或引導點。這些區(qū)域可以是被認為是“廣義的”，這是因為距離是通過引導信號中的所積分的改變(引導點的值的改變)而不是簡單的空間距離來確定的。盡管如此， 可以使用帶有不同有效性的任何形式的距離計算。為便于計算，在步驟132，通過向每一引導點分配指向它最接近的種子的指針來保持各區(qū)域?；诟鲄^(qū)域的成員，在步驟134，計算并存儲各區(qū)域的邊界。例如，可以將邊界點標識為帶有屬于另一區(qū)域的鄰近點的任何點，且可以容易地從這些邊界點導出邊界。關于用于找出廣義Voronoi區(qū)域的距離，在一種實施方式中，可以通過首先基于紅、綠和藍通道(或各數(shù)據(jù)值構成的任何通道)中的差來定義在鄰近像素之間的距離(使用平方差的總和)來獲得公式。給定各鄰居之間的距離，可以通過沿著在任何兩個點之間的最短路徑對距離進行積分來得到在這兩個點之間的距離。在這里，最短路徑是根據(jù)所積分的色差而非空間距離的。對于附加的信息，參見在“Euclidean distance mapping(歐幾里得距離映射)”(Danielsson，Computer Graphics and Image Processing(計算機圖形和圖像處理)(CGIP) 1980)中討論的多通道方法。也參見“Distance Transformations =Fast Algorithms and Applications to Medical Image Processing(距離變換快速算法禾口在醫(yī)學圖像處理中的應用)” (Olivier Cuisenaire, Ph. D. Thesis, 1999)。為了進一步解釋，對于引導圖像中的任何路徑，可以定義不僅基于圖像中的路徑的長度而且也基于沿著該路徑的圖像的值的距離度量。例如，可以通過在沿著該路徑的各鄰近像素之間的距離的總和來定義或者近似該路徑的傳統(tǒng)歐幾里得長度。然而，相反，更加有效的是將“引導信號距離”定義為沿著路徑的各鄰近像素之間的引導像素值的絕對差的總和。因此，引導圖像的低變化區(qū)域中的路徑將具有小的距離測量值，而跨不連續(xù)性或高變化細節(jié)的路徑將具有大的距離測量值。“傳統(tǒng)的”Voronoi區(qū)域被定義為最靠近該區(qū)域的種子的像素的子集，由此由在每一像素和種子之間的歐幾里得路徑的最小長度來測量靠近度。類似地但使用更一般的路徑距離來定義“廣義”Voronoi區(qū)域。具體而言，路徑距離可以基于所積分的改變。這一“引導信號距離”的確切公式可以改變。例如，它可以基于平方差而不是絕對差。它也可以涉及對引導圖像進行預平滑以便去除不需要的噪聲。圖3示出計算得到的區(qū)域150和種子152的示例。未示出引導圖像100的在每一區(qū)域150中所包含的各單獨的引導點。候選不連續(xù)性是區(qū)域150的邊界154。盡管已計算， 給定邊界1 形式的候選不連續(xù)性線，使用接下來描述的過程來確定邊界154的子集。在此所使用的“不連續(xù)性”、“不連續(xù)性線”、“不連續(xù)性曲線”等等是指任何形狀或形式(不規(guī)則彎曲的、稍微直的等等)的線，這可以表示圖像中的細邊緣、裂縫、折皺或其他分界特征。圖4示出用于過濾候選不連續(xù)性的過程。主循環(huán)170可以對區(qū)域150的各邊界 154進行迭代。即是說，對于在一對區(qū)域之間的每一邊界，使用步驟172到步驟180來確定是否選擇該邊界以供在重建期間使用。在步驟172，兩個當前區(qū)域的種子被認為是點A和點B。步驟174是試探法，該試探法在正在分析的當前邊界(潛在的不連續(xù)性)的任一側(cè)上將兩個最小二乘平面擬合到鄰近A和B的鄰居種子處的值。例如，參見圖3中的種子A和種子B，如果考慮邊界154A(圖4)，則可以使用鄰居Al、鄰居A2、鄰居Bl和鄰居B2。具體地， 在步驟176，基于鄰近種子的值與A和B的值的接近性，將鄰近種子與A或B關聯(lián)起來。在步驟178，將包含這些點的平面(例如由A、A1、B1定義的平面)擴展為板，板由相關的鄰近種子來限定。薄板可以指示各鄰居就平面近似達成的一致，而厚板可以指示大的誤差和未達成一致。在步驟180，分析各板以便確定它們是否在當前邊界處重疊。缺乏重疊指示相應的邊界被認為是幾何不連續(xù)性(例如，裂縫)。即是說，指示了不連續(xù)性，因為邊界與引導信號不連續(xù)性一致且因為任一側(cè)上的種子值確認當在對應于種子A和種子B的目標點106之間進行內(nèi)插時不應被平滑的縫隙或其他不連續(xù)性。為了詳細說明邊界(潛在的不連續(xù)性)的選擇，所提到的板是在潛在的不連續(xù)性的任一側(cè)上的鄰域(例如，Voronoi區(qū)域的集合)中經(jīng)重建的值的界限或近似。各板或有界平面基于在各目標點處的值。具體地，給定潛在的不連續(xù)性，在潛在的不連續(xù)性的一側(cè)，構建包含在給定的潛在不連續(xù)性的該側(cè)上的所有目標點值的兩個平行平面(板)(按某種厚度隔開)。對該潛在的不連續(xù)性的另一側(cè)執(zhí)行相同的操作。然后，當在該潛在的不連續(xù)性上的每一點處評估各板時，檢查各板以便查看它們是否相交。如果兩個板在沿著潛在的不連續(xù)性的足夠數(shù)量的點處不相交(不重疊)，則該邊界被解釋成實際的不連續(xù)性，即是說，在松弛期間不內(nèi)插跨它的值。如果各板在大多數(shù)點處重疊，則不認為該邊界是不連續(xù)性?？傊?，可以使用板來分析不連續(xù)性的鄰域。另外，是否將邊界解釋成實際的不連續(xù)性可以是基于靠近該邊界的區(qū)域的目標點。最終，可以使用各目標點來確定各目標點是在潛在的不連續(xù)性的哪一側(cè)上。將緊靠區(qū)域的目標點稱為主要目標點，且將該鄰域中的其他區(qū)域的目標點稱為次要目標點，基于目標點的值最接近兩個主要目標點中的哪一個來確定目標點在哪一側(cè)上。在計算最小二乘平面和隨后的板以便評估給定的廣義Voronoi區(qū)域的潛在的不連續(xù)性時，使用不同深度或廣度的鄰近Voronoi區(qū)域(將各平面和板擬合到其種子點的區(qū)域)是可能的。除了給定的Voronoi區(qū)域之外，可以使用直接鄰居(“1環(huán)”區(qū)域)，或者也可以使用鄰居的鄰居(“2環(huán)”區(qū)域)等等。經(jīng)驗測試指出，2環(huán)鄰域更經(jīng)常產(chǎn)生優(yōu)良結果。 接下來描述用于執(zhí)行這樣的重建的示例過程。圖5示出用于計算種子或目標點106的平滑內(nèi)插的過程。該過程由以如以上所描述的所標識的邊界線/曲線的形式的不連續(xù)性來通知——且考慮該不連續(xù)性。盡管可以使用任何數(shù)量的可約束內(nèi)插算法，但在一種實施方式中，在步驟200，執(zhí)行二次最小化 (quadratic minimization)，二次最小化懲罰缺乏平滑度的各測量值并將離散解表示成偏微分方程(PDE)(例如，拉普拉斯或雙拉普拉斯)。在步驟202，如果目標函數(shù)分量跨過所選擇的不連續(xù)性，則移除該目標函數(shù)分量。這種方法可以在除了跨不連續(xù)性之外的任何位置產(chǎn)生種子值的平滑的、無偽像的內(nèi)插。注意，二次最小化僅僅是在這些連續(xù)偏微分方程是離散的情況下提出這些連續(xù)偏微分方程(或更一般地，提出全局松弛)的許多可能的方法中的一種?？梢酝ㄟ^求解(稀疏)線性方程組來得到解。也應注意，松弛調(diào)整可以涉及消除跨不連續(xù)性的平滑度懲罰且然后執(zhí)行與將在不存在不連續(xù)性的情況下執(zhí)行的全局松弛不同的全局松弛。但是，松弛本身優(yōu)選地是全局的，且考慮跨要重建的整個圖像(然而，該圖像可以是更大的圖像的子部分)的平滑度懲罰(且由于不連續(xù)性而移除了一些)?，F(xiàn)在解釋用于通過內(nèi)插來重建的另一實施方式。在這一實施方式中，被稱為帶有不連續(xù)性的全局松弛，在考慮在引導信號(圖像)中檢測到的隱含不連續(xù)性的情況下重建目標信號(圖像)?？梢允褂迷摷夹g而不管目標信號的采樣的均勻性如何且不要求最小采樣分辨率。即是說，不需要關于所需要的目標采樣密度的假設，且目標信號可以是完全不規(guī)則的，且甚至可以由<x，y，值〉三元組的短列表給出。此外，帶有松弛的內(nèi)插可以是全局性的，例如基于諸如拉普拉斯或雙拉普拉斯等全局2D PDE，其可以涉及對整個圖像進行多遍直到松弛結果開始收斂。此外，如以上所描述的，可以在內(nèi)插之前檢測不連續(xù)性，且然后在存在這些不連續(xù)性的情況下松弛各目標樣本。具體地，做出定義任何地方的PDE(但在不連續(xù)性處移除它) 的平滑度懲罰。然后，從各目標點開始，松弛發(fā)生，各目標點變成了松弛中的點約束。注意，盡管在松弛期間的局部不連續(xù)性檢測是可能的，但全局地檢測不連續(xù)性(例如借助于 Voronoi邊界技術)可能是更加穩(wěn)健的。例如，可以使用兩階段的檢測和濾波過程，該過程中分析引導信號以便檢測候選不連續(xù)性，且可以進一步分析這些候選不連續(xù)性以便消除較不可能的候選(例如，使用在此描述的板測試)?，F(xiàn)在將參考圖6、圖7和圖8討論一個示例，圖6、圖7和圖8示出來自在此描述的技術的實現(xiàn)的實際輸入和結果。圖6示出示例引導圖像220和一組示例目標像素222。盡管以黑白示出引導圖像220，但在實踐中，引導圖像220是彩色照片；例如，引導圖像220中的每一引導像素具有RGB(紅、綠、藍)值形式的攝影圖像數(shù)據(jù)。示例目標像素222被示出為帶有一些雕像，以便突出顯示它們與引導圖像220中示出的主題(場景或物體)的空間關系。然而，在實踐中，目標像素222僅包括具有在要重建的目標圖像(參見圖8中的目標圖像M0)中(或被映射到該目標圖像)的二維位置且具有各自的從視點投影的深度的一組初始像素。在圖6中，各個目標像素223被示出為帶有與相對于視點的遠/近成比例的亮度/暗度。圖7示出一組示例候選不連續(xù)性2 和不連續(xù)性的所選子集228。在一種實施方式中，候選不連續(xù)性2 是如以上所描述的Voronoi邊界230，其中相應的Voronoi區(qū)域圍繞在種子232周圍，種子232是對應于目標像素223的引導像素。以上面提到的任何數(shù)量的方法來分析候選不連續(xù)性22，例如通過將通過種子232的板/平面進行擬合以便標識不連續(xù)性的子集228。在圖7中，所選擇的不連續(xù)性234被示出為暗線，且其他未被選擇的不連續(xù)性236被示出為亮線。注意，所選擇的不連續(xù)性234可以是場景中的“裂縫”(物體的邊緣)、物體的形狀中的折皺或棱、點、場景中的縫隙、以及在內(nèi)插期間如果完全消除則將不準確的其他幾何特征。圖8示出最終所重建的目標圖像M0。目標圖像240是從目標像素223的值和位置進行內(nèi)插的結果，同時考慮了所選擇的不連續(xù)性234。例如，通過松弛在所選擇的不連續(xù)性234附近的內(nèi)插，在不連續(xù)性附近的內(nèi)插在鄰近目標像素223的方向上可以是平滑的且仍然可以跨不連續(xù)性突變。例如，在對應于雕像的邊緣的位置處的所內(nèi)插的深度可以沿著雕像區(qū)域且一直到雕像的邊緣平滑地改變，且然后可以在跨越雕像的邊緣(不連續(xù)性)時突然變深；背景物體的較深內(nèi)插值離開該邊緣而平滑地改變。例如，參見圖8中的區(qū)域?qū)?， 其中目標圖像240是深度圖，且以亮度來示出深度。
結論圖9示出可以在其上實現(xiàn)以上所描述的一個或多個實施方式的計算機300。處理器301與存儲器/存儲302和顯示器304耦合?？梢砸员淮鎯υ谝资曰蚍且资缘挠嬎銠C或設備可讀的介質(zhì)中的信息的形式來實現(xiàn)以上所描述的實施方式和特征。這被認為至少包括諸如光存儲(例如，緊致盤只讀存儲器(CD-ROM))、磁介質(zhì)、閃速只讀存儲器(ROM)或存儲數(shù)字信息的任何當前的或?qū)淼难b置等介質(zhì)。所存儲的信息可以是以機器可執(zhí)行的指令(例如，經(jīng)編譯的可執(zhí)行二進制代碼)、源代碼、字節(jié)碼或可以被用來允許計算設備執(zhí)行或?qū)⑵渑渲脼閳?zhí)行以上所描述的各種實施方式的任何其他信息的形式。這也被認為至少包括在執(zhí)行實現(xiàn)一個實施方式的程序期間存儲諸如中央處理單元(CPU)指令等信息的諸如隨機存取存儲器(RAM)和/或虛擬存儲器等易失性存儲器，以及存儲允許加載并執(zhí)行程序或可執(zhí)行代碼的信息的非易失性介質(zhì)?？梢栽诎ū銛y式設備、工作站、服務器、移動無線設備等等的任何類型的計算設備上執(zhí)行各實施方式和功能部件。
權利要求
1.一種生成重建圖像(114)的方法，所述方法包括訪問引導圖像(100)和所述重建圖像中的一組目標點(106)，每一目標點具有一數(shù)據(jù)值；分析所述引導圖像中的各點的數(shù)據(jù)值以便標識(108)所述引導圖像中的多個不連續(xù)性曲線(103)；以及在所述分析之后，通過根據(jù)所述不連續(xù)性曲線根據(jù)所述目標點的數(shù)據(jù)值來內(nèi)插(112) 所述重建圖像中的各點的值來生成所述重建圖像(114)。
2.如權利要求1所述的方法，其特征在于，還包括通過調(diào)整所內(nèi)插的值(202)的平滑度測量來執(zhí)行所述內(nèi)插，以使得在跨所述不連續(xù)性曲線處忽略所述平滑度測量。
3.如權利要求2所述的方法，其特征在于，通過對所述整個重建圖像重復所述內(nèi)插和調(diào)整來細化所述重建圖像(114)，其中每一重復都基于所述不連續(xù)性曲線000，202)。
4.如權利要求1所述的方法，其特征在于，還包括使用所述目標點來選擇所述不連續(xù)性曲線的子集(170)，且其中通過調(diào)整在所述不連續(xù)性曲線(11 附近如何計算松弛來使用所選擇的不連續(xù)性曲線執(zhí)行所述內(nèi)插。
5.如權利要求1所述的方法，其特征在于，還包括計算所述目標點(152)周圍的 Voronoi邊界(巧4)，其中所述Voronoi邊界然后被用作所述不連續(xù)性曲線(103)的候選 (154A)。
6.一個或多個存儲允許計算設備(300)執(zhí)行構建目標圖像(114)的過程的信息的計算機可讀介質(zhì)(301，302)，所述目標圖像(114)最初包括每個都具有初始已知值的多個目標像素(106)，所述過程包括標識引導圖像(100)中的候選不連續(xù)性(103，108)，所述引導圖像包括每個都具有相應的值的引導像素(104)；從所述候選不連續(xù)性(10 當中選擇一組不連續(xù)性(110，103A)；以及在所述選擇之后，基于所述目標像素(106A)的已知值并基于所選擇的不連續(xù)性兩者， 通過其計算得到的所內(nèi)插的像素值來構建所述目標圖像(112)。
7.如權利要求6所述的一個或多個計算機可讀介質(zhì)，其特征在于，所述過程還包括計算所述引導圖像中的各區(qū)域(150)，并將所述區(qū)域的邊界(154)用作所述候選不連續(xù)性 (154A)。
8.如權利要求7所述的一個或多個計算機可讀介質(zhì)，其特征在于，所述區(qū)域包括各 Voronoi區(qū)域，且Voronoi區(qū)域包括所述引導圖像的被計算為包括分別最接近所述引導圖像中的種子像素的所有引導像素的區(qū)域。
9.如權利要求6所述的一個或多個計算機可讀介質(zhì)，其特征在于，根據(jù)所述引導像素的值來計算被用來找出所述Voronoi區(qū)域的距離。
10.如權利要求7所述的一個或多個計算機可讀介質(zhì)，其特征在于，所述引導像素的值包括色彩強度，且各目標像素的所述初始已知值包括深度值，且所內(nèi)插的值包括所內(nèi)插的深度值。
11.如權利要求7所述的一個或多個計算機可讀介質(zhì)，其特征在于，所述選擇一組不連續(xù)性包括，對于候選不連續(xù)性(170)，基于所述給定的候選不連續(xù)性(174)的鄰域確定是否選擇所述給定的候選不連續(xù)性。
全文摘要
本發(fā)明涉及稀疏數(shù)據(jù)的重建。使用稠密引導圖像或信號來通知從目標點的稀疏集合重建目標圖像。假定出該引導圖像和該目標點集合是從同一真實世界主體或場景導出的。首先檢測該引導圖像中的潛在的不連續(xù)性(例如，裂縫、邊緣、縫隙等等)。潛在的不連續(xù)性可以是Voronoi區(qū)域的邊界，Voronoi區(qū)域可能是使用數(shù)據(jù)空間(例如，色彩空間)中的距離來計算的。使用不連續(xù)性和點的稀疏集合來重建目標圖像。具體而言，目標圖像的像素可以平滑地內(nèi)插在鄰近目標點之間，但在鄰近目標點由不連續(xù)性隔開的位置處，內(nèi)插可以(例如，通過調(diào)整或影響松弛)在不連續(xù)性處突然跳變?？梢允褂酶髂繕它c來選擇在重建期間要使用的不連續(xù)性的僅一個子集。
文檔編號G06T3/40GK102446343SQ20111040471
公開日2012年5月9日 申請日期2011年11月28日 優(yōu)先權日2010年11月26日
發(fā)明者H·霍普, J·斯奈德, M·芬奇, Y·韋克斯勒 申請人:微軟公司