專利名稱：從圖像生成三維模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主題涉及圖形建模，具體地講，涉及從圖像生成三維模型。
背景技術(shù)：
在電腦游戲、電影、地圖服務(wù)、機(jī)器人、導(dǎo)航及攝影測量等等的市場驅(qū)動(dòng)下，對于建筑物、城市及景觀等等制作高度寫實(shí)建模之強(qiáng)烈需求應(yīng)運(yùn)而生。然而，以常規(guī)的方法制作此類型模型，著重于使用大比例尺航空攝影進(jìn)行城市建模。結(jié)果，把建模畫面推近至地平面時(shí)，其視覺效果將強(qiáng)差人意，因建模會(huì)顯得模糊并難以描繪細(xì)節(jié)。更甚者，為提供更佳的用戶體驗(yàn)，許多有潛力的應(yīng)用程序需要高度寫實(shí)的街頭景象，以描繪我們賴以進(jìn)行日常活動(dòng)的建筑物。舉例來說，現(xiàn)時(shí)的城市建模通常使用Google 地球及Microsoft Virtual Earth (立體)3D平臺(tái)所提供的空中圖像。不過，此類基于空中圖像進(jìn)行的城市圖像建模通常沒法制作于地面的高度寫實(shí)模型。作為一種過渡的解決方案，Google 街景，Microsoft Live Mreet-Side及其它類似服務(wù)能顯示捕獲的具有固定視點(diǎn)的平面QD)全景式圖像，而此類型解決方案亦不足以應(yīng)付需要使用真正的高度寫實(shí)立體模型的應(yīng)用程序，讓使用者能與立體環(huán)境互動(dòng)的需求。更甚者，很多現(xiàn)有的從圖像生成三維模型方法亦有各種不足之處。例如，傳統(tǒng)的以互動(dòng)方法從圖像生成三維模型需要使用者的大量互動(dòng)，這在大型的建模工作中并不能輕易得到部署。更進(jìn)一步的例子是，著重早期的建模管道這種較自動(dòng)化的方法，于作為圖形應(yīng)用程序的層面上卻未能產(chǎn)生令人滿意的結(jié)果。使得進(jìn)一步從圖像進(jìn)行城市建模的方法(如單視圖方法、交互式多視角法及自動(dòng)多視角方法等等)亦存在類似或其它缺陷。以基于圖像的建模為例，現(xiàn)有方法使用圖像作為指標(biāo)，用以互動(dòng)地制作建筑物的模型。比方說，傳統(tǒng)的單視圖方法可以使用單幅圖像加上手動(dòng)分配深度，基于對繪畫的隱喻進(jìn)行建模。在其它使用手動(dòng)深度分配(例如以概略方式分配深度)的單幅圖像的例子中，則只有有限的規(guī)則形狀外墻可用于突出特征的重要性，例如建筑環(huán)境內(nèi)的窗戶，用以生成樓宇。一般來說，這些方法需要與使用者有大量的互動(dòng)作用，才可產(chǎn)生讓人滿意的視覺效果。 因此，傳統(tǒng)以圖像建模的例子會(huì)遭遇規(guī)模上的問題。然而，較復(fù)雜的圖像建模方法則有特征需要以手動(dòng)選擇，以及需要對應(yīng)不同景觀的繁瑣表示。譬如一些互動(dòng)多視點(diǎn)建模例子，可使用圖像內(nèi)的線段特征及多面體區(qū)塊作為立體原函數(shù)，用以互動(dòng)式配準(zhǔn)圖像及以與觀察點(diǎn)相關(guān)的紋理映像方式重現(xiàn)區(qū)塊。但是，手動(dòng)選擇特征及對應(yīng)各種需要的視圖是瑣碎的工序。因此，這種方法會(huì)隨著輸入圖像的數(shù)量增加而出現(xiàn)規(guī)模上的問題。進(jìn)一步舉例，一個(gè)半密集的重建點(diǎn)云可用于操作前方平行墻壁之參考圖像并以此提供可接受的建模效果。又舉一例，使用配準(zhǔn)的多視點(diǎn)和使用消失點(diǎn)提取主要方向，亦可作出良好的建模效果。然而，這些方法仍然涉及與使用者的大量互動(dòng)，使得此方法于大型城市建模應(yīng)用之中難以被采用。在一些傳統(tǒng)的自動(dòng)多視點(diǎn)建模方法中，以少量的圖像序列進(jìn)行三維造型的建筑建模方法仍然需要用戶提供大量的建筑規(guī)則以進(jìn)行貝葉斯推斷。在圖像建模中，已知人造場景的線段特征可用作場景的建模。比如，已配準(zhǔn)的圖片中稀疏的點(diǎn)可加上線段用作重現(xiàn)樓宇，而線段特征可同時(shí)用于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)和建模?？上?， 線段特征與點(diǎn)相比，往往顯得稀疏，在幾何層面上也不夠穩(wěn)定。在其它城市環(huán)境建模的傳統(tǒng)方法中，系統(tǒng)化的方法在注重于來自己配準(zhǔn)的圖像中的以密集立體效果作全體重建之余，同時(shí)使用利用實(shí)時(shí)視頻配準(zhǔn)的視頻攝像機(jī)。然而，缺乏建筑規(guī)范會(huì)導(dǎo)致最終的建模結(jié)果顯得不規(guī)則。很顯然，雖然一些傳統(tǒng)建模方法的例子能在已提供規(guī)則形狀的建筑及簡單重復(fù)的墻壁的情況下，制作可接受的建模；對不規(guī)則的建筑特征(例如路邊的墻壁)則需要更復(fù)雜的技術(shù)。其它的例子雖然對不規(guī)則背景具有普遍適用性，卻仍然因大量的手動(dòng)互動(dòng)而難以擴(kuò)展至大規(guī)模建模工程。還有一些例子則需要對模型的參數(shù)化和點(diǎn)的對應(yīng)作出繁瑣的手動(dòng)分配。因此，有必要提供一套更高效的系統(tǒng)，結(jié)構(gòu)和方法以從圖像制作立體建模，并同時(shí)克服前述的各種缺陷。而上述幾種典型建模技術(shù)所帶來的缺憾，只屬現(xiàn)有方式帶來的常見問題，實(shí)際可出現(xiàn)的其它問題則并未在此詳述。其它現(xiàn)有建模技術(shù)所帶來的問題，以及在此提及的各種方案帶來的相關(guān)利益有可能在重新審視以下描述后進(jìn)一步顯現(xiàn)。

發(fā)明內(nèi)容
以下為說明書的簡單概要，以提供對說明書一些方面的基本了解。此概要并非對說明書的廣泛概述。并非用作確認(rèn)說明書的重要或關(guān)鍵要素，亦非界定說明書實(shí)施例中的實(shí)例范疇，又或者是權(quán)利要求的任何范圍。本部分唯一目的只為以簡化方式介紹說明書的一些概念，以作之后更詳細(xì)的描述之前言。本文中所使用的術(shù)語“立面”是指一個(gè)或多個(gè)對象的、突出的視覺表現(xiàn)。例如，術(shù)語 “立面”通常指一個(gè)對象(如建筑物)的面，而且通常指的是前方的面或是面向觀察者的一面。然而，這里使用的術(shù)語“立面”可以指任何類型，任意數(shù)量的，有突出視覺表現(xiàn)的對象， 就像樓宇、城市、城市景觀、地貌景觀及其它感興趣的對象等等。更進(jìn)一步，此處使用的術(shù)語 “立面的數(shù)據(jù)表示”和“表示一個(gè)立面的數(shù)據(jù)”指“可表示為立面的一個(gè)或多個(gè)對象之中，用于描述物理、視覺或者其它特征的有用數(shù)據(jù)”。在所披露的主題的各種非限制實(shí)施例中，圖像建模的系統(tǒng)和方法被描述為從圖像 (例如，于街面高度沿路獲取的圖像)中提供產(chǎn)生立體高度寫實(shí)模型(例如，對路旁建筑的立體高寫實(shí)度模型)的自動(dòng)或半自動(dòng)建模法。例如，在示范實(shí)施方式中，多視點(diǎn)語義分割可以在像素層面上將每個(gè)圖像識(shí)別和分割到語義上有意義的領(lǐng)域，并給特定的對象分類(例如建筑物，天空，地面，植被和汽車等等對象分類)提供標(biāo)簽。典型實(shí)施例可采用能使用場景內(nèi)主線結(jié)構(gòu)把各物體(像建筑物
5之類)分開變?yōu)楠?dú)立區(qū)塊的分區(qū)方案。此外，多種實(shí)施方式可以對區(qū)塊進(jìn)行基于組件的逆正投影組合和結(jié)構(gòu)分析，以便從圖像建模(例如從圖像進(jìn)行立體立面建模)，從而有效地規(guī)范雜訊及遺失的重現(xiàn)立體數(shù)據(jù)。在進(jìn)一步的非限制性實(shí)施方案中，在此披露的主題可以于一個(gè)典型的城市的例子中，通過實(shí)施強(qiáng)大的建設(shè)規(guī)律先例，從而有效地產(chǎn)生引人注目的視覺效果(例如包括使用自動(dòng)，半自動(dòng)或其它方式)。因此，在此將描述各種圖像建模的實(shí)施例。一方面，提供了圖像建模的方法，其對代表立面的重建輸入圖像數(shù)據(jù)執(zhí)行多視點(diǎn)語義分割，以辨識(shí)立面結(jié)構(gòu)以及分割立面。此外， 進(jìn)一步的方法包括將已重建的輸入圖像數(shù)據(jù)作區(qū)塊分割以產(chǎn)生一個(gè)與分割的立面相關(guān)的對象區(qū)塊(例如建筑物區(qū)塊)。在進(jìn)一步的示范圖像建模方法中，對與對象區(qū)塊相關(guān)的重建輸入圖像數(shù)據(jù)進(jìn)行逆正投影組合，以對于對象區(qū)塊制作一個(gè)組合正投影深度圖以及一個(gè)組合正投影紋理。此外，示范的方法可包括執(zhí)行組合正投影深度圖和組合正投影紋理的結(jié)構(gòu)分析和正規(guī)化以確定對象區(qū)塊在多個(gè)立面深度的結(jié)構(gòu)要素。因此，在有利于圖像建模的系統(tǒng)中，系統(tǒng)可以根據(jù)在此披露的主題的各個(gè)方面包括多視點(diǎn)語義分割組件，其基于與立面有關(guān)聯(lián)的配準(zhǔn)的圖像序列產(chǎn)生立面的語義分割。此外，圖像建模系統(tǒng)可進(jìn)一步包括分區(qū)組件以對重建圖像數(shù)據(jù)作區(qū)塊分區(qū)，從而確定一個(gè)與立面的語義分割有關(guān)聯(lián)的對象區(qū)塊。另外，示范的系統(tǒng)可包含逆正投影組件，以從對象區(qū)塊的重建圖像數(shù)據(jù)組合一個(gè)正投影深度圖及正投影紋理；以及結(jié)構(gòu)分析和正規(guī)化組件，其可以從對象區(qū)塊的正投影深度圖及正投影紋理確定不同立面深度的結(jié)構(gòu)要素。此例和其它實(shí)施例之詳細(xì)介紹如下。


參照附圖，各種非限制性實(shí)施方案將在此進(jìn)一步說明圖1描述了非限制的圖像建模示范例，在此披露的主題的實(shí)施可應(yīng)用于其中；圖2及圖3描繪了從圖像進(jìn)行三維(3D)建模的示范的、非限制方法的各個(gè)方面；圖4描述了圖像前置處理的各方面，其中詳細(xì)顯示了用于圖像建模的非限制示范方法的重建三維點(diǎn)和垂直線；圖5至圖6描繪了關(guān)于將披露的主題的非限制示范實(shí)例應(yīng)用于其中的識(shí)別和分割的詳情；圖7說明了根據(jù)披露主題的各方面的多視點(diǎn)語義分割的非限制示范圖形拓?fù)浣Y(jié)構(gòu)的原理方塊圖；圖8描述了一個(gè)根據(jù)各個(gè)方面的示范的非限制建筑物區(qū)塊分割，其中顯示了不同的區(qū)塊；圖9至圖11根據(jù)非限制性圖像三維建模方法的各方面，以圖形說明示范逆正投影組合的概念；圖12至圖15以圖形說明用于建模的示范性結(jié)構(gòu)分析及規(guī)范化的概念，以說明披露主題的各方面的進(jìn)一步優(yōu)勢；圖16說明了根據(jù)披露主題的進(jìn)一步方面的非限制示范馬爾可夫隨機(jī)場(MRF)圖的原理方塊圖，該圖可以促進(jìn)優(yōu)化立面的上邊界；圖17展示了促進(jìn)圖像建模的，非限制示范方法的各個(gè)方面的流程圖18至圖22顯示用于非限制示范的功能方塊圖，其描繪了實(shí)施按照披露主題的各方面的圖像建模系統(tǒng)及設(shè)備；圖23至圖觀描繪了根據(jù)披露主題的各方面的對各種區(qū)塊的非限制建模實(shí)例；圖四是一個(gè)非限制示范的網(wǎng)絡(luò)環(huán)境的方塊圖，其中可以應(yīng)用在此所屬的各種可實(shí)施方案，以及圖30是代表其中可以實(shí)施在此描述的各種可實(shí)施方案的一個(gè)或多個(gè)方面的非限制示范計(jì)算系統(tǒng)或操作環(huán)境的方塊圖。
具體實(shí)施例方式在提供一個(gè)簡單的概述后，在此將描述、或描繪披露主題的數(shù)個(gè)方面，以作說明， 且并不用于進(jìn)行限制。因此，由在此披露的裝備、系統(tǒng)和方法所建議的、披露實(shí)施方案的變化，其目的為涵蓋在此披露主題的范圍內(nèi)。例如，關(guān)于披露技術(shù)的裝備、系統(tǒng)和方法之各種實(shí)施方案，均以描述由路邊圖像制作的城市和建筑模型為背景。然而，在之后的進(jìn)一步描述中，亦可使用其它圖像或物品，而不會(huì)偏離本文所述主題。如背景所述，現(xiàn)有圖像建模技術(shù)會(huì)因需要大量人手的互動(dòng)而面對規(guī)模難以擴(kuò)張的問題。結(jié)果，當(dāng)以一些現(xiàn)有技術(shù)從圖像制作高度寫實(shí)立體模型時(shí)(例如高度寫實(shí)的立體建筑物模型)，該技術(shù)可能會(huì)在進(jìn)行大規(guī)模項(xiàng)目時(shí)(例如制作路邊建筑立面、城市立面及城市景觀的高度寫實(shí)立體模型等等)變得累贅。為了解決這些問題和其它缺陷，本發(fā)明披露的技術(shù)主題提供了圖像建模系統(tǒng)和方法。例如，圖1描繪了非限制性的圖像建模例子，讓所披露技術(shù)主題的實(shí)例可得以應(yīng)用。例如，兩個(gè)路邊特寫鏡頭，從已建模區(qū)域106所看見的視點(diǎn)102及104均被描述為從各自輸入的圖像系列108和110所自動(dòng)生成的立體模型。從已建模區(qū)域106所看見一個(gè)標(biāo)簽為3的路邊特寫視點(diǎn)，則已在圖觀作進(jìn)一步說明。在所披露技術(shù)主題中的各種非限制性實(shí)施方案中，圖像建模的系統(tǒng)及方法皆為提供從圖像(例如沿街道路面捕獲的圖像)以自動(dòng)或半自動(dòng)建模生成立體高度寫實(shí)模型(例如，路旁景象的立體高度寫實(shí)模型)。舉例說，在很多方面，多視點(diǎn)語義分割可在像素層面上辨認(rèn)每個(gè)圖像及將其分割為語義上有意義的區(qū)域，并為特定的對象分類加上標(biāo)簽(例如建筑物、天空、地面、植被及車輛等等的對象分類)。在示范實(shí)例中，分區(qū)方案可以場景的主線結(jié)構(gòu)把對象(例如建筑物等)分為獨(dú)立區(qū)塊。此外，不同的實(shí)施方案亦可采用對區(qū)塊進(jìn)行基于組件的逆正投影組合和結(jié)構(gòu)分析，以便作圖像建模(例如圖像三維立面建模)，可有效地把雜訊及遺失的重建立體數(shù)據(jù)正規(guī)化。在多種實(shí)施方案中，本發(fā)明披露的技術(shù)主題通過實(shí)施如在典型的城市實(shí)例中描述的強(qiáng)大的規(guī)律建設(shè)先例能有利地產(chǎn)生引人注目的視覺效果(包括使用自動(dòng)，半自動(dòng)或其它方式)。圖像建模概述圖2及圖3描繪了圖像三維建模的非限制示范方法的多個(gè)方面。此法可理解為立面和體系結(jié)構(gòu)建?？墒褂门錅?zhǔn)圖像進(jìn)行。在計(jì)算機(jī)視覺中，在不同時(shí)間或從不同的角度，通過抽樣獲得的同一場景或?qū)ο蟮臄?shù)據(jù)集合，將有不同的坐標(biāo)系統(tǒng)。在此處使用的，圖像配準(zhǔn)的目的可被理解為一種將同一場景或?qū)ο蟮牟煌臄?shù)據(jù)集合轉(zhuǎn)化到一個(gè)坐標(biāo)系統(tǒng)的過程。 配準(zhǔn)可以使來自不同的測量之中所獲得的數(shù)據(jù)能夠比較或整合。如上所述，各種披露技術(shù)主題中的各種實(shí)施例便于從接收、收集、儲(chǔ)存等等方法獲得的圖像202(30 作為輸入圖像數(shù)據(jù)(例如路邊數(shù)據(jù))來進(jìn)行對象(例如建筑物及立面等的對象)的自動(dòng)或半自動(dòng)三維模型重建。例如，在202(30 ，可以接收代表立面的輸入圖像數(shù)據(jù)。此外，根據(jù)進(jìn)一步方面，圖像建模的示范方法200和300可包括使用現(xiàn)有的算法(例如運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法等等)重建輸入圖像數(shù)據(jù)(例如一個(gè)圖像序列)，以計(jì)算204(304)半密集點(diǎn)集合、縱向和橫向線段，及攝像機(jī)的位置。此外，在206(306)，可以對重建輸入圖像數(shù)據(jù)執(zhí)行多視點(diǎn)語義分割，以識(shí)別立面結(jié)構(gòu)及分割立面。例如，從輸入圖像的重建序列，方法200和300可進(jìn)一步包括在像素層次把輸入圖像數(shù)據(jù)分割206(306)為語義上有意義的區(qū)域。例如，在206(306)，輸入圖像可以通過經(jīng)監(jiān)督的學(xué)習(xí)模式把每個(gè)像素分割為語義上有意義的可標(biāo)示區(qū)域(例如，標(biāo)示為建筑物、天空、地面、植被或汽車等)。圖像建模方法200和300可進(jìn)一步包括在206 (306)優(yōu)化， 跨越多個(gè)已配準(zhǔn)視點(diǎn)的分類像素，以產(chǎn)生一個(gè)連貫的語義分割。因此，根據(jù)不同的實(shí)施方案，披露的技術(shù)主題可包括執(zhí)行受監(jiān)督的，能夠識(shí)別輸入圖像(例如輸入路邊圖像)和根據(jù)感興趣的不同對象分類(例如，建筑物、天空、地面、植被或汽車等)把輸入圖像(例如輸入路邊圖像)分割為不同的區(qū)域的多視點(diǎn)語義分割。在進(jìn)一步的非限制性實(shí)施方案中，方法200和300可包括把全部或幾乎全部序列分區(qū)208(308)成區(qū)塊。例如，在208 (308)，重建的輸入圖像數(shù)據(jù)可作區(qū)塊分區(qū)，以產(chǎn)生與分割立面相關(guān)的個(gè)別建筑物區(qū)塊。有利的是，這樣的區(qū)塊可以代表單個(gè)對象，例如可以獨(dú)立進(jìn)行建模的建筑物區(qū)塊，并且可以進(jìn)一步對準(zhǔn)區(qū)塊的主要正投影方向和坐標(biāo)系統(tǒng)。因此，根據(jù)進(jìn)一步的非限制性實(shí)施方案，所披露的技術(shù)主題可包括有系統(tǒng)地分區(qū)序列、或者其中一個(gè)子集，例如，通過使用一個(gè)場景的一個(gè)或多個(gè)主要人造線結(jié)構(gòu)，以將建筑物分割為獨(dú)立區(qū)塊。此外，在210(310)中，方法200和300可以包括在210 (310)執(zhí)行逆正投影組合及以形狀為基礎(chǔ)的分析，可以有效地規(guī)范缺失和有雜訊的、具有較強(qiáng)先例的建筑立體數(shù)據(jù)。再舉例，可執(zhí)行對與獨(dú)立建筑物區(qū)塊相關(guān)的重建輸入圖像數(shù)據(jù)進(jìn)行的逆正投影組合以對于單獨(dú)建筑物區(qū)塊制作一個(gè)組合正投影深度圖以及一個(gè)組合正投影紋理。在212 (312)中，方法200和300可以進(jìn)一步包括對組合正投影深度圖及紋理執(zhí)行結(jié)構(gòu)分析和正規(guī)化，以確定獨(dú)立建筑物區(qū)塊在不同立面深度的結(jié)構(gòu)要素。因此，額外的非限制性實(shí)施方案可以包括分析立面結(jié)構(gòu)及建模，以自動(dòng)生成有良好視覺效果的建模(例如建筑物模型)。根據(jù)進(jìn)一步的非限制性實(shí)施方案，在214 (314)中，方法200和300也可包括從所識(shí)別的不同的立面深度的結(jié)構(gòu)要素產(chǎn)生獨(dú)立建筑區(qū)塊幾何及對獨(dú)立建筑區(qū)塊進(jìn)行紋理化，以生成立體模型。此外，在216(316)，關(guān)于方法200和300的各種非限制性實(shí)施方案可以進(jìn)一步包括以結(jié)合或合并已生成的兩個(gè)獨(dú)立建筑區(qū)塊的立體模型，從而生成城市或立面建模。進(jìn)一步的圖像建模方法與系統(tǒng)的非限制性實(shí)施方案已在下列特別詳細(xì)描述，請?zhí)貏e參考圖17至18。前置處理圖4描述了各方面的圖像前置處理，其中為示范的非限制性圖像三維建模方法 200和300，詳細(xì)地顯示了 404重建的立體點(diǎn)和垂直線。例如，一組從示范圖像序列重建計(jì)算所得的點(diǎn)(例如，一組半密集點(diǎn))的詳細(xì)描述在詳情406放大，另外，一個(gè)經(jīng)計(jì)算的獨(dú)立區(qū)
8塊垂直線子集408亦在此表示。例如，考慮把相機(jī)面向建筑立面，安裝在一輛沿街道移動(dòng)的車輛上，并由該相機(jī)取得的路旁圖像，這些車輛可配備可與相機(jī)一起校準(zhǔn)的全球定位系統(tǒng)/ 慣性導(dǎo)航系統(tǒng)(GPS/INQ。根據(jù)各種非限制性實(shí)施方案的一方面，圖像建模的示范方法200 和300可包括以現(xiàn)有的算法(例如運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法等等)重建圖像序列，計(jì)算204(304) 一組半密集點(diǎn)、垂直和水平線段，以及攝像機(jī)的位置。因此，根據(jù)各方面，一個(gè)動(dòng)作的半密集結(jié)構(gòu)可以使半密集點(diǎn)云(例子于詳情406顯示)及攝像機(jī)的位置經(jīng)自動(dòng)計(jì)算生成。有利的是，示范性實(shí)施方案使用的一個(gè)準(zhǔn)密集的方法可以提供在使用捆綁式方法中全體地和使用優(yōu)化三角分割的有足夠密度的點(diǎn)?？梢岳斫?，從GPS/INS按次獲得的相機(jī)位置方向數(shù)據(jù)可以進(jìn)一步提高從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)魯棒性以及可以有效地促進(jìn)大型建模(例如城市建模之類)。所以為作說明，且并不用于進(jìn)行限制，根據(jù)披露技術(shù)主題的多個(gè)方面的一個(gè)重建序列，可以是一組半密集重建立體點(diǎn)和具有配準(zhǔn)的相機(jī)位置方向的一組輸入圖像。進(jìn)一步如上所述，根據(jù)各種非限制性實(shí)施方案，圖像建模的示范方法200和300可以包括計(jì)算204(304)垂直和水平線段。例如，傳統(tǒng)的Carmy邊緣檢測，可以在圖像上進(jìn)行 204(304)，而且已連接的邊緣點(diǎn)可以連接在一起以形成線段。由此產(chǎn)生的線段可以分為垂直線段(如408)和水平線段。例如，隨機(jī)抽樣一致性(RANSAC)是一種用以從一組含有異常值的觀測數(shù)中，估計(jì)某數(shù)學(xué)模型參數(shù)的迭代法。它是一個(gè)非確定性算法，因?yàn)樵谀撤N意義上說，它只有一定的概率可以產(chǎn)生合理的結(jié)果，而此概率會(huì)因執(zhí)行更多的迭代而增加。一個(gè)典型的基本假設(shè)是，數(shù)據(jù)點(diǎn)的分布可以解釋成一些模型參數(shù)的集合，以及一些離群值，它們是不適合該模型的數(shù)據(jù)，而且被視為雜訊。例如，異常值可能來自極端的雜訊、錯(cuò)誤的測量結(jié)果或有關(guān)數(shù)據(jù)解釋的不正確假設(shè)。RANSAC通常假設(shè)，有一組(通常是少量的)內(nèi)層數(shù)值，則存在一個(gè)程序，能夠估計(jì)某個(gè)能作最佳解釋或適用于數(shù)據(jù)的模型的參數(shù)。因此，上述幾種線段的分組可于204 (304)使用RANSAC方法進(jìn)行檢查，以判斷它們是否經(jīng)過共同的消失點(diǎn)。有利的是，根據(jù)披露技術(shù)主題的多個(gè)方面，從以前的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)計(jì)算所得的、每對圖像之間的半密集點(diǎn)的匹配信息，使得能夠取得檢測到的線段的匹配。此外，線段的成對匹配可以擴(kuò)展到整個(gè)序列。這可以理解為，當(dāng)一個(gè)相機(jī)在地上進(jìn)行橫向移動(dòng)時(shí)，在三維空間中重建水平線會(huì)由于缺乏水平視差而出現(xiàn)困難。因此，各種實(shí)施例可以在 204(304)以超過三個(gè)的視點(diǎn)進(jìn)行追蹤的垂直線進(jìn)行重建。此外，根據(jù)單一方面，于RANSAC 框架內(nèi)方向相互一致的三維垂直線可以在204(304)進(jìn)行保持；而根據(jù)進(jìn)一步的方面，其它離群的垂直線則可以去掉。分割如上所述，關(guān)于方法200和300，對于重建的圖像序列，可以在206 (306)識(shí)別和分割所有圖像中的顯示出引起關(guān)注對象的區(qū)域(例如建筑物區(qū)域)。圖5和圖6描繪應(yīng)用了披露技術(shù)主題的示范非限制性實(shí)例的辨認(rèn)和分割的各方面。例如，圖5描繪了一個(gè)輸入圖像和對應(yīng)的高度分割組件504。圖6描繪了根據(jù)披露技術(shù)主題的各種非限制實(shí)例的像素基礎(chǔ)的辨認(rèn)602和相對應(yīng)的分割604。例如，根據(jù)不同的實(shí)施方案，在206(306)，一個(gè)有監(jiān)督的類別識(shí)別可以方便從圖像內(nèi)識(shí)別和分割出顯示引起關(guān)注的對象的區(qū)域(例如建筑物區(qū)域)。例如，可以對一個(gè)來標(biāo)記圖像數(shù)據(jù)庫的像素級分類器進(jìn)行培訓(xùn)，使其識(shí)別和區(qū)分一定數(shù)量的對象類別(例如，建筑、 天空、地面、植被，汽車等等之中的某對象類別)。為了描述圖像的特征，披露技術(shù)主題的各種實(shí)施方案可使用有效分類物料和一般對象分類的紋理基元。在一個(gè)示范性非限制的實(shí)例中，一個(gè)多維濾波器庫(例如，一個(gè)17維濾波器組，其中包括3個(gè)高斯，4個(gè)高斯的拉普拉斯(LOG)和4個(gè)一階導(dǎo)數(shù)的高斯)可用于在像素水平計(jì)算訓(xùn)練和測試圖像的反應(yīng)。然后， 則可從濾波器庫的反應(yīng)得出K平均叢集，通過幾何中心獲得紋理基元。由于在測試序列附近的圖像有可能被假定為類似，披露技術(shù)主題的各種實(shí)施方案可以通過對所有或幾乎所有的全序列運(yùn)行一個(gè)紋理基元集群的減少子集，來節(jié)省計(jì)算時(shí)間和內(nèi)存空間。因此，各種實(shí)施方案可以從六幅圖像抽出一幅，以獲得集群化的紋理基元。根據(jù)進(jìn)一步實(shí)施例，可使用紋理布局描述器提取一個(gè)或更多的特征，以部分基于紋理基元識(shí)別來訓(xùn)練分類器，這是因?yàn)榧y理布局描述器可以成功地識(shí)別和分類一般類別的圖像。因此，描述器的尺寸可以對應(yīng)圖像區(qū)域(r)以及紋理基元(t)的配對[r，t]，而區(qū)域r相對于一個(gè)已知的像素位置，根據(jù)非限制方面，作為一個(gè)在士 100像素的矩形窗口中已選擇的矩形(例如隨機(jī)選擇)。根據(jù)不同的實(shí)施方案，一個(gè)在像素位置i，&V[r,t](i)表示的回應(yīng)可定義為于區(qū)域r+i之中擁有紋理基元t的像素比例，例如根據(jù)公式1
權(quán)利要求
1.一種有利于圖像建模的方法，包括接收代表立面的輸入圖像數(shù)據(jù)；以計(jì)算機(jī)重建輸入圖像數(shù)據(jù)以計(jì)算關(guān)于該立面的三維(3D)點(diǎn)、線、和相機(jī)的位置；及對已重建輸入圖像數(shù)據(jù)執(zhí)行多視點(diǎn)語義分割，以識(shí)別立面結(jié)構(gòu)和分割立面。
2.如權(quán)利要求1的方法，進(jìn)一步包括接到分割指令，以互動(dòng)方式細(xì)化多視點(diǎn)語義分割。
3.如權(quán)利要求1的方法，進(jìn)一步包括把已重建輸入圖像數(shù)據(jù)進(jìn)行區(qū)塊分區(qū)，以生產(chǎn)至少一個(gè)與分割立面有關(guān)的獨(dú)立建筑物區(qū)塊。
4.如權(quán)利要求3的方法，進(jìn)一步包括對于與至少一個(gè)獨(dú)立建筑物區(qū)塊有關(guān)的已重建輸入圖像數(shù)據(jù)，執(zhí)行一個(gè)逆正投影組合以產(chǎn)生該至少一個(gè)獨(dú)立建筑物區(qū)塊的組合正投影深度圖和紋理。
5.如權(quán)利要求4的方法，進(jìn)一步包括接收影像修復(fù)指令，以互動(dòng)方式編輯組合正投影深度圖或紋理中的至少一個(gè)。
6.如權(quán)利要求4的方法，進(jìn)一步包括對組合正投影深度圖和紋理進(jìn)行結(jié)構(gòu)分析和正規(guī)化以為至少一個(gè)獨(dú)立建筑物區(qū)塊識(shí)別不同立面深度的結(jié)構(gòu)要素。
7.如權(quán)利要求6的方法，進(jìn)一步包括根據(jù)所識(shí)別的不同立面深度的結(jié)構(gòu)要素來為至少一個(gè)獨(dú)立建筑物區(qū)塊生成幾何以及對該至少一個(gè)獨(dú)立建筑物區(qū)塊加上紋理，以此生成三維模型，。
8.如權(quán)利要求7的方法，進(jìn)一步包括通過將為至少一個(gè)獨(dú)立建筑物區(qū)塊產(chǎn)生的三維模型和為至少一個(gè)其它獨(dú)立建筑物區(qū)塊產(chǎn)生的三維模型結(jié)合以產(chǎn)生城市建模。
9.一種圖像建模系統(tǒng)，包括多視點(diǎn)語義分割組件，其基于至少一部分與立面相關(guān)的配準(zhǔn)圖像序列，產(chǎn)生立面的語義分割。
10.如權(quán)利要求9的系統(tǒng)，進(jìn)一步包括分區(qū)組件，將已重建圖像數(shù)據(jù)進(jìn)行區(qū)塊分區(qū)，以確定至少一個(gè)與立面的語義分割有關(guān)的對象區(qū)塊。
11.如權(quán)利要求9的系統(tǒng)，進(jìn)一步包括圖像重建組件，其配準(zhǔn)代表立面的圖像序列以產(chǎn)生配準(zhǔn)圖像序列和計(jì)算已重建圖像數(shù)據(jù)，已重建圖像數(shù)據(jù)包括關(guān)于立面的三維(3D)點(diǎn)、線、和相機(jī)的位置。
12.如權(quán)利要求9的系統(tǒng)，進(jìn)一步包括逆正投影組合組件，其從至少一個(gè)對象區(qū)塊的已重建圖像數(shù)據(jù)來組合一個(gè)正投影深度圖和紋理。
13.如權(quán)利要求12的系統(tǒng)，進(jìn)一步包括結(jié)構(gòu)分析和正規(guī)化組件，其從至少一個(gè)對象區(qū)塊的正投影深度圖和紋理確定不同立面深度的結(jié)構(gòu)要素。
14.如權(quán)利要求13的系統(tǒng)，進(jìn)一步包括建模組件，從已確定的不同立面深度的結(jié)構(gòu)要素為至少一個(gè)對象區(qū)塊產(chǎn)生區(qū)塊幾何。
15.如權(quán)利要求14的系統(tǒng)，建模組件進(jìn)一步配置為為至少一個(gè)對象區(qū)塊加上紋理，以創(chuàng)建一個(gè)與立面相關(guān)的對象區(qū)塊模型。
16.如權(quán)利要求14的系統(tǒng)，建模組件進(jìn)一步配置為合并至少兩個(gè)與立面相關(guān)的對象區(qū)塊模型，以組合一個(gè)復(fù)合立面模型。
17.如權(quán)利要求11的系統(tǒng)，進(jìn)一步包括接口組件，其接收代表立面的圖像序列。
18.如權(quán)利要求17的系統(tǒng)，接口組件進(jìn)一步配置為接收指令，當(dāng)指令被圖像建模系統(tǒng)執(zhí)行時(shí)，指令進(jìn)行以下兩個(gè)操作中的至少一個(gè)互動(dòng)方式細(xì)化多視點(diǎn)語義分割，或互動(dòng)方式編輯與立面關(guān)聯(lián)的深度圖或紋理中的至少一個(gè)。
19.一種圖像建模方法，包括對至少一個(gè)代表立面的已重建輸入圖像數(shù)據(jù)的子集執(zhí)行多視點(diǎn)語義分割，以辨認(rèn)立面結(jié)構(gòu)和分割立面；對至少一個(gè)已重建輸入圖像數(shù)據(jù)的子集進(jìn)行區(qū)塊分區(qū)，以產(chǎn)生至少一個(gè)與分割立面相關(guān)的對象區(qū)塊；對與至少一個(gè)對象區(qū)塊關(guān)聯(lián)的至少一個(gè)已重建輸入圖像數(shù)據(jù)的子集執(zhí)行逆正投影組合，以針對至少一個(gè)對象區(qū)塊產(chǎn)生一個(gè)組合正投影深度圖和一個(gè)組合正投影紋理；以及對組合正投影深度圖和組合正投影紋理，進(jìn)行結(jié)構(gòu)分析和正規(guī)化，從而為至少一個(gè)對象區(qū)塊識(shí)別多個(gè)立面深度的結(jié)構(gòu)要素。
20.如權(quán)利要求20的方法，進(jìn)一步包括通過從識(shí)別的多個(gè)立面深度的結(jié)構(gòu)要素為至少一個(gè)對象區(qū)塊產(chǎn)生幾何并且為至少一個(gè)對象區(qū)塊加上紋理來產(chǎn)生對象模型。
全文摘要
本發(fā)明涉及從圖像生成模型的方法及系統(tǒng)。一方面，多視點(diǎn)語義分割提供用于在像素級別識(shí)別和分割圖像為語義上有意義的區(qū)域，并能為特定的對象類別提供標(biāo)簽。另一方面，也提供了一種分區(qū)方案以使用一個(gè)場景的主要線條結(jié)構(gòu)，分割對象為獨(dú)立區(qū)塊。此外，提供了為一個(gè)區(qū)塊進(jìn)行基于散件的逆正投影組合和結(jié)構(gòu)分析，以規(guī)范雜訊和遺失的已重建的體數(shù)據(jù)，方便圖像建模。
文檔編號(hào)G06T17/05GK102308320SQ201080006880
公開日2012年1月4日 申請日期2010年2月3日 優(yōu)先權(quán)日2009年2月6日
發(fā)明者方天, 權(quán)龍 , 肖健雄, 趙鵬 申請人:香港科技大學(xué)