移動增強現(xiàn)實系統(tǒng)的制作方法
【專利摘要】本發(fā)明的各實施例涉及用來提供用相關(guān)的數(shù)據(jù)增強的圖像數(shù)據(jù)以顯示在移動計算設(shè)備上的系統(tǒng)、裝置和方法。本發(fā)明的各實施例顯示用在其它對象中標識對象的信息增強的實況視圖。本發(fā)明的各實施例可以利用其它相關(guān)的數(shù)據(jù)，諸如3D點云數(shù)據(jù)、相關(guān)于對象的圖像數(shù)據(jù)和位置數(shù)據(jù)，來獲得實況視圖內(nèi)的對象的具體位置。本發(fā)明的各實施例還可以與移動計算設(shè)備的圖像傳感器的位置和方向三維地一致地顯示有增強的數(shù)據(jù)的實況視圖。
【專利說明】移動增強現(xiàn)實系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本發(fā)明的各實施例一般地涉及移動計算設(shè)備，以及更具體地，涉及用相關(guān)的內(nèi)容增強由圖像設(shè)備捕捉的實況視圖。
【背景技術(shù)】
[0002]移動計算設(shè)備通常包括相機、位置和方向傳感器以及越來越強大的計算資源。移動計算設(shè)備也能夠建立高帶寬的連接以利用云計算基礎(chǔ)結(jié)構(gòu)和服務(wù)提供商。 [0003]包括在移動計算設(shè)備中的顯示器可以用作實況取景器，允許設(shè)備用戶捕捉實時圖像數(shù)據(jù)(例如圖片、視頻)；然而，大多數(shù)應(yīng)用程序不能利用移動計算設(shè)備可用的計算資源來向用戶提供與所顯示的實況視圖(即取景器)內(nèi)的主題相關(guān)的附加信息。嘗試增強實況視圖的有限數(shù)量的應(yīng)用被限于顯示基本信息諸如用戶和一般位置之間的距離，或者相關(guān)于用戶的位置及相關(guān)于實況視圖中所捕捉的用戶周圍的表示不準確的關(guān)于用戶周圍的基本信息(例如實況視圖內(nèi)的商業(yè)類型)。
[0004]例如，如果用戶想要標識所捕捉的實況視圖內(nèi)的具體商業(yè)位置，但所述商業(yè)和幾個其它商業(yè)一起位于建筑中，則當(dāng)前的解決方案可以用標識該建筑的數(shù)據(jù)來增強實況視圖，但不能傳遞關(guān)于商業(yè)位置的更準確的信息。
[0005]附圖簡述
[0006]以下描述包括對具有作為示例的方式而給出的本發(fā)明的實施例的實現(xiàn)的圖示的圖的討論。附圖應(yīng)被理解為示例的方式，而不是限制的方式。如此處使用的，引用一個或多個“實施例”應(yīng)被理解為描述包括在本發(fā)明的至少一個實現(xiàn)中的特定特征、結(jié)構(gòu)或特性。因此，此處出現(xiàn)的諸如“在一個實施例中”或“在替換性實施例中”的短語描述本發(fā)明的各種實施例和實現(xiàn)，并且不必全都指同一實施例。然而，它們也不必是互斥的。
[0007]圖1是本發(fā)明的實施例的流程圖。
[0008]圖2是根據(jù)本發(fā)明的實施例的用來增強圖像數(shù)據(jù)的3D模型的圖。
[0009]圖3是根據(jù)本發(fā)明的實施例的將被增強的實況視圖場景。
[0010]圖4是根據(jù)本發(fā)明的實施例的基于3D云數(shù)據(jù)生成的多個投影掩模的圖示。
[0011]圖5是根據(jù)本發(fā)明的實施例的增強的實況視圖的圖示。
[0012]圖6A和6B示出了根據(jù)本發(fā)明的實施例的多個興趣點的投影掩模和增強的實況視圖。
[0013]圖7是可以利用本發(fā)明的實施例的系統(tǒng)的框圖。
[0014]隨后是某些細節(jié)和實現(xiàn)的描述，包括可以描繪下面所描述的實施例的一些或全部的圖的描述，以及討論此處所呈現(xiàn)的發(fā)明性概念的其它潛在實施例或?qū)崿F(xiàn)。下面提供了本發(fā)明的實施例的概述，隨后是參考附圖的更詳細的描述。
【具體實施方式】
[0015]本發(fā)明的各實施例涉及用來提供用相關(guān)的數(shù)據(jù)增強的圖像數(shù)據(jù)以顯示在移動計算設(shè)備上的系統(tǒng)、裝置和方法。盡管當(dāng)前的解決方案處理3D數(shù)據(jù)以執(zhí)行有限的實時對象識另O，但這樣的信息可能不足以將有用的信息傳遞給用戶。例如，如果用戶想要標識所捕捉的實況視圖內(nèi)的具體商業(yè)位置，但所述商業(yè)和幾個其它商業(yè)一起位于建筑中，則單單處理3D點云數(shù)據(jù)不會生成足以告訴用戶商業(yè)位置在何處的信息；換言之，當(dāng)前的解決方案可以用標識建筑的數(shù)據(jù)來增強實況視圖，但在上述情形中當(dāng)前的解決方案不能傳遞關(guān)于商業(yè)位置的更準確的信息。
[0016]本發(fā)明的各實施例通過用在3D點云數(shù)據(jù)內(nèi)的其它對象之中標識對象-例如，找
到包括在公共建筑外觀中的店面(或諸店面)的范圍一的信息增強實況視圖來解決上述限制。本發(fā)明的各實施例可以利用其它相關(guān)的數(shù)據(jù)，諸如相關(guān)于對象的圖像數(shù)據(jù)和位置數(shù)據(jù)，來獲得實況視圖內(nèi)的對象的具體位置。
[0017]本發(fā)明的各實施例還可以利用與移動計算設(shè)備的圖像傳感器的位置和方向三維地一致的增強數(shù)據(jù)顯示實況視圖。本發(fā)明的各實施例可以通過處理實況視圖圖像數(shù)據(jù)和預(yù)先存在的3D圖像數(shù)據(jù)來確定實況視圖的對齊。對圖像傳感器的位置和方向的確定還可以是基于來自主移動計算設(shè)備的其它傳感器的傳感器數(shù)據(jù)。
[0018]下面描述的示例情形專注于包括多個商業(yè)或店面的建筑內(nèi)的興趣點。應(yīng)理解，本發(fā)明的各實施例可以用于包括在對象中但不能單獨從3D點云數(shù)據(jù)區(qū)分出來的任何興趣點，例如，由包括在墻中的一組輪廓、包括在書架中的一部分書、雕塑的特定特征等定義的對象。
[0019]圖1是本發(fā)明的實施例的流程圖。如此處所示的流程圖提供了各種處理動作的序列的示例。盡管是以特定序列或次序示出的，但除非另外地指定，否則動作的次序是可以修改的。由此，所示的各實現(xiàn)應(yīng)被理解為只是示例，并且所示的過程可以用不同的次序執(zhí)行，并且一些動作可以并行地執(zhí)行。附加地，在本發(fā)明的各種實施例中可以省略一個或多個動作；由此，不是所有的動作都在每個實現(xiàn)中被需要。其它的過程流也是可能的。
[0020]在過程流100中，處理對象的3D云數(shù)據(jù)的數(shù)據(jù)庫，110。所述數(shù)據(jù)庫可以包括由激光雷達、立體成像、結(jié)構(gòu)光、飛行時間相機或任何其它技術(shù)獲得的，用作生成對象的3D模型的輸入的3D點云數(shù)據(jù)。應(yīng)理解，對象的3D模型將包括表示對象的各種輪廓的多個段。例如，具有簡單立方形狀的對象的3D模型將包括多個2D平面的安排，而具有更復(fù)雜的表面變化的對象可以具有2D平面和3D段的安排。
[0021]由此，處理對象的3D數(shù)據(jù)可以包括提取對象段(例如2D平面)、將諸點云數(shù)據(jù)集組合、將點云數(shù)據(jù)與位置數(shù)據(jù)相關(guān)聯(lián)(下面將描述)和噪音移除。所述處理3D數(shù)據(jù)可以經(jīng)由不同的過程以不同的次序執(zhí)行。
[0022]在一些實施例中，處理所述3D數(shù)據(jù)還可以包括處理來自各種視角的對象或場景的預(yù)先存儲的多個2D圖像以及來自不同的視角和視圖位置的相對應(yīng)的3D點云數(shù)據(jù)集。這些點云數(shù)據(jù)集可以重疊。為了標識重疊的區(qū)域，可以將點云數(shù)據(jù)集限制在本地鄰居中，并可以合并相關(guān)的點云信息。
[0023]在一個實施例中，3D點云數(shù)據(jù)集被建模為實際3D點的含噪聲的測量(噪聲的源可以包括測量點的不確定性、它的方向、傳感器噪聲等)的集。然后可以獲得對重疊區(qū)域中的噪聲統(tǒng)計和3D點的原始集的估計?？梢岳眠@些噪聲統(tǒng)計來獲得對所有點云數(shù)據(jù)集的3D點的更好估計，以便提取將如下所述被利用的投影掩模。應(yīng)理解，在重疊的區(qū)域中的3D點具有最準確的估計，并且由此對這些點在估計它們屬于哪個投影掩模時可以給予優(yōu)先權(quán)(例如，加權(quán)最小平方可以用于投影掩模參數(shù)的估計，其中給這些點分配更多的權(quán)重)。
[0024]在一個實施例中，接收與3D點云數(shù)據(jù)相關(guān)聯(lián)的置信度/可靠性信息。此附加信息可以與3D點云數(shù)據(jù)一起利用以推斷3D點的測量的可靠性。在一個實施例中，顏色信息可以用來更準確地根據(jù)3D點云數(shù)據(jù)標識對象。例如，在同一平面內(nèi)、在像素距離上接近、并具有相似的顏色(即，相對應(yīng)于預(yù)先存儲的圖像中的相同顏色的像素)的3D點將傾向于被分配給同一潛在對象。
[0025]可以執(zhí)行由移動計算設(shè)備的圖像傳感器所捕捉的實況視圖內(nèi)的實時對象檢測，120。如上所述，從3D點云數(shù)據(jù)提取的對象段形成預(yù)先存儲的圖像數(shù)據(jù)的粗略的3D模型。來自3D模型的這些對象段可以用來標識所捕捉的實況視圖內(nèi)的對象。在一個實施例中，相關(guān)的數(shù)據(jù)(諸如標識移動計算設(shè)備的位置的數(shù)據(jù))也可以用來幫助標識對象。移動計算設(shè)備可以利用系統(tǒng)組件和應(yīng)用(例如，全球定位系統(tǒng)(GPS)傳感器、蜂窩或WiFi網(wǎng)絡(luò)連接、方向傳感器)來縮小設(shè)備的位置。
[0026]確定移動計算設(shè)備的圖像傳感器相對于對象的位置和方向，130。所述位置和方向可以基于所捕捉的對象的實況視圖而確定一即，通過標識哪些對象段在實況視圖中是可見的并將這些對象段匹配到對象的3D模型，可以確定相對于對象，移動計算設(shè)備的圖像傳感器位于何處。返回到查看立方形狀的對象的示例，如果只有立方形狀的對象的朝北的面在實況視圖中可見，則可以確定圖像傳感器位于立方形狀的對象的北面，并且足夠接近對象從而只有對象的一個面在實況視圖中可見。在一個實施例中，以上所述的相關(guān)聯(lián)的位置數(shù)據(jù)也用來幫助確定圖像傳感器的位置和視角。
[0027]根據(jù)對象的3D模型生成包括在對象中的興趣點的投影掩模，140。可以通過例如姓名、類別、主題等標識興趣點。如上所述，增強對象以高亮顯示興趣點中的特別挑戰(zhàn)是當(dāng)對象也包括其它潛在興趣點的時候。由此，多個潛在興趣點將被包括在對象的同一 3D模型內(nèi)，并且也可以被包括在3D模型的同一 3D段內(nèi)或甚至3D模型的同一 2D平面內(nèi)。
[0028]在一個實施例中，可以利用圖像傳感器的位置和方向信息，以及相關(guān)的其視圖接近近似視圖(例如參考模型)的興趣點的近似位置的預(yù)先存儲的圖像數(shù)據(jù)，來提取對象的視覺特征。這些視覺特征被映射到3D模型的適當(dāng)?shù)亩?，并且形成對象?D模型中的興趣點的投影掩模。由此，每個投影掩模將包括3D模型的段的子集，或者在一些情形中，如下所述包括3D模型的段的一部分。
[0029]然后用圖像數(shù)據(jù)增強實況視圖，使得圖像數(shù)據(jù)被包括在投影掩模中并與圖像傳感器的位置和方向三維地一致地顯示，150。由此，增強應(yīng)用程序或模塊可以將數(shù)據(jù)投影到與興趣點或興趣對象相關(guān)的所生成的投影掩模內(nèi)。換言之，用戶可以用移動計算設(shè)備獲取圖像并將它注冊在3D模型的正確透視圖中。圖像或?qū)崨r視圖可以實時地用在正確的透視圖中添加的附加信息增強，附加信息諸如文本、圖像或視頻、或一些3D結(jié)構(gòu)。
[0030]執(zhí)行上述實施例過程的移動客戶端平臺可以包括相機、位置和方向傳感器和無線通信能力。在一個實施例中，移動客戶端設(shè)備實時地通過網(wǎng)絡(luò)從服務(wù)器訪問所處理的數(shù)據(jù)；如果由于成本或其它原因用戶不能連接到網(wǎng)絡(luò)，則可以預(yù)先加載小型數(shù)據(jù)庫到移動客戶端設(shè)備上。
[0031]由此，本發(fā)明的各實施例可以執(zhí)行離線數(shù)據(jù)庫處理、在線對象檢測和移動計算設(shè)備跟蹤，并將離線和在線數(shù)據(jù)組合進有意義的增強的用戶顯示中。
[0032]圖2是根據(jù)本發(fā)明的實施例的用來增強圖像數(shù)據(jù)的3D模型的圖。圖2示出了可以由本發(fā)明的各實施例處理的圖像數(shù)據(jù)、3D點云數(shù)據(jù)和投影掩模。3D點云250相對應(yīng)于對象205的預(yù)先存儲的3D圖像200。云250中的每個3D點表示圖像200的像素的實際3D位置。圖像200中的一些像素，例如天空中的像素，可以不具有相對應(yīng)的3D點。
[0033]在一些實施例中，3D點云數(shù)據(jù)250被轉(zhuǎn)換成更適于后續(xù)處理的坐標系統(tǒng)。例如，如果3D點云數(shù)據(jù)250是“緯度、經(jīng)度和海拔”的格式，則將格式轉(zhuǎn)換成本地坐標系統(tǒng)諸如東、北和上(ENU)可能更有用，這樣坐標的值更小(即，與以地球的中心為原點的系統(tǒng)中的坐標相比)。此轉(zhuǎn)換也可以更好的傳遞3D點云數(shù)據(jù)250的垂直和水平方向。
[0034]在一些實施例中，3D點云數(shù)據(jù)250來自較大的3D點云數(shù)據(jù)集的子采樣以使計算更快。這可以通過對預(yù)先存儲的圖像或相對應(yīng)的3D點云下采樣來完成。例如，對于200X500的圖像，相對應(yīng)的3D點云數(shù)據(jù)的大小可以由多達150000個點構(gòu)成。通過在水平和垂直維度都以比率10采樣圖像，3D點的數(shù)量可以減少到1500個點。
[0035]為了根據(jù)3D點云數(shù)據(jù)250確定對象205的輪廓，本發(fā)明的各實施例可以采用隨機樣本一致性(RANSAC)方案并將預(yù)先存儲的圖像200和3D點云數(shù)據(jù)250 二者組合，以引導(dǎo)RANSAC中的采樣過程，而不是任意地采樣3D點云數(shù)據(jù)。在此示例中，因為對象205是立方形狀的，它的3D模型是根據(jù)有限數(shù)量的2D平面(包括2D平面段290、291和292)而制成的。
[0036]對于標識對象205中用戶標識的興趣點的示例使用而言，可以確定2D平面段中的哪個包括所述興趣點。在此示例中，用戶標識的興趣點在2D平面段290和291中可見。處理用戶選擇的興趣點的其它信息以確定它的邊界，以便生成如所示的投影掩模299。
[0037]圖3是根據(jù)本發(fā)明的實施例的將被增強的實況視圖場景。在此示例中，顯示310包括經(jīng)由包括在移動計算設(shè)備300中的圖像傳感器(例如相機)的用戶周圍的實時視圖320。所述設(shè)備可以是任何便攜式計算系統(tǒng)，諸如膝上型計算機、平板計算機、智能電話、手持式計算設(shè)備、車載計算設(shè)備等。
[0038]應(yīng)理解，通過顯示實時視圖320，顯示器310可以用作顯示圖像數(shù)據(jù)(例如圖片、視頻)以允許用戶觀察設(shè)備300的圖像傳感器的目標的取景器。在此示例中，實時視圖320包括建筑330、340、350、360和370的視圖，其中這些建筑的視圖中的一些被樹380和385部分地遮擋。
[0039]本發(fā)明的各實施例可以處理可用的3D模型和潛在的增強信息以實時地在移動設(shè)備300上使用。例如，本發(fā)明的各實施例可以合并街道地址、3D模型、3D點云、深度圖像和輻射測量的(顏色)圖像以確定每個建筑內(nèi)的潛在興趣點的真實范圍。因為一些實施例離線地預(yù)先處理此消息，所以不存在嚴格的時間、計算復(fù)雜度或存儲限制(即，應(yīng)理解，建筑檢測是計算昂貴的操作且通常不可能以視頻幀率執(zhí)行)。
[0040]此外，上述處理使設(shè)備300能檢測(即識別)和跟蹤視圖320中的建筑，并估計設(shè)備300的圖像傳感器相對于建筑的位置和方向。在一個實施例中，與方向傳感器(例如指南針、加速計)耦合的GPS或其它定位服務(wù)(諸如WiFi和3G)用來找到圖像傳感器的位置和方向。應(yīng)理解，此傳感器信息可以簡化建筑檢測，因為系統(tǒng)只需要與實現(xiàn)位置和方向限制的數(shù)據(jù)庫圖像匹配。為了執(zhí)行建筑檢測，來自設(shè)備300上的輸入視頻幀的視覺特征可以被提取并與來自候選數(shù)據(jù)庫圖像的預(yù)先處理的視覺特征相比較。[0041]因為建筑檢測和設(shè)備跟蹤過程可以占用不同長度的計算時間，本發(fā)明的各實施例可以使用多線程框架來協(xié)調(diào)這些任務(wù)。例如，用于確定設(shè)備300的位置和方向的跟蹤線程可以實時地完成，而建筑檢測線程可以沒有硬性時間限制地完成。所述多線程框架也可以協(xié)調(diào)來自建筑檢測線程和跟蹤線程的輸出。在一個實施例中，利用置信度測量來檢查來自建筑檢測過程的輸出的可靠性，并且，當(dāng)新結(jié)果可用時，如果它們比先前的結(jié)果更可信則更新顯示310。如果置信度值大于來自跟蹤線程的過期置信度值，則來自建筑檢測線程的輸出用來更新所確定的設(shè)備300的姿勢。
[0042]由此，在增強實況視圖320之前，本發(fā)明的各實施例可以執(zhí)行上述的建筑檢測和設(shè)備跟蹤過程。處理可以發(fā)生在移動計算設(shè)備上、操作地耦合到該移動計算設(shè)備的另一計算設(shè)備或服務(wù)器上、或其任何組合。類似地，在建筑檢測和設(shè)備跟蹤過程中使用的數(shù)據(jù)可以被包括在移動計算設(shè)備上、操作地耦合到該移動計算設(shè)備的另一計算設(shè)備或服務(wù)器上、或其任何組合。
[0043]在此示例中，設(shè)備300的位置使得只有建筑330-370的前外觀在視圖320中。如上所述，一組特定的挑戰(zhàn)出現(xiàn)在當(dāng)用戶標識的興趣點是與其它未選擇的商業(yè)一起包括在建筑中的商業(yè)時戶外建筑識別和增強。在此示例中，建筑330和350每個包括多個商業(yè)；由此，僅僅標識所述建筑和提取與每個建筑的前外觀有關(guān)的投影掩模不足以將有意義的增強的內(nèi)容傳遞給用戶。出于這些原因，系統(tǒng)必須知曉每個建筑的3D幾何，以及它的緯度和經(jīng)度。當(dāng)場景被增強時，標簽必須與各個店面有意義地相關(guān)。由此，本發(fā)明的各實施例還可以處理相關(guān)的數(shù)據(jù)以啟用將增強的內(nèi)容本地化到相關(guān)的店面，并生成投影掩模使得增強的內(nèi)容出現(xiàn)在建筑外觀的適當(dāng)?shù)膮^(qū)中。在一個實施例中，增強的內(nèi)容將位于或接近店面的中心，并且所生成的投影掩模的范圍將與店面的范圍相同。為了將這類體驗呈現(xiàn)給用戶，本發(fā)明的各實施例可以在適當(dāng)?shù)臅r候語義地將建筑分段。
[0044]圖4是根據(jù)本發(fā)明的實施例的基于3D云數(shù)據(jù)生成的多個投影掩模的圖示。所示的投影掩模是通過上述過程從相關(guān)于視圖320的3D信息提取的。在此示例中，給定建筑的形狀和它們在視圖310內(nèi)的透視圖，所述投影掩模被示為包括在每個建筑的前外觀中的2D平面段。
[0045]建筑330包括四個不同的潛在興趣點(例如，四個不同的商業(yè))并且是由投影掩模431、432、433和434表示的。建筑350包括三個不同的潛在興趣點，并且是由投影掩模451、452和453表示的。建筑340、360和370每個只包含一個潛在興趣點，并且，由此每個分別是由單個投影掩模441、461和471表示的。
[0046]上述投影掩模中的每一個在出現(xiàn)在視圖320中時都是與它們各自的建筑的表面平面幾何地一致的。對于包括多個潛在興趣點的建筑330和350，本發(fā)明的各實施例可以處理位置信息、建筑幾何和視覺圖像以生成適當(dāng)?shù)耐队把谀！?br> [0047]在一個實施例中，建筑的3D模型中的店面的中心是估計的。例如，在可以給出每個店面相對于街區(qū)的次序和鄰近位置的每個商業(yè)的已知街道地址的輔助下，估計此中心。然后可以將此粗略的估計投影到3D模型上，其中實施了幾何限制。這樣的限制可以包括店面的最小和最大寬度，或者相關(guān)于外觀上的不同的平面的位置。
[0048]在一個實施例中，所處理的數(shù)據(jù)包括已知密集GPS位置處的街道級別的球面全景圖像的集合。與深度數(shù)據(jù)和投影掩模序列的形式的3D信息一起處理的這些圖像將近似包括在視圖320中的城市場景的結(jié)構(gòu)。如上所述，在一些實施例中，為了使這樣的數(shù)據(jù)對移動計算設(shè)備上的處理(例如檢測、跟蹤和增強)有用，預(yù)處理是必要的。這些全景是通過以相對于包括顯示器310的設(shè)備的固定方向?qū)⑺鼈兺队暗缴鲜銎矫嫔蟻硖幚淼摹?yīng)理解，當(dāng)它們具有與來自移動設(shè)備的查詢圖像相似的幾何形狀時，這樣的投影的2D圖像可以適于用作移動設(shè)備上的視覺匹配的參考圖像。
[0049]在一個實施例中，進一步估計每個建筑內(nèi)各個店面的真實范圍是通過使用上述的街道級別的球面全景圖像的集合而完成的。每個店面表示在數(shù)據(jù)庫的多個視圖中，由此重構(gòu)精細尺度的深度。然后此顏色和深度數(shù)據(jù)可以與3D模型合成，并且每個店面的范圍可以從中心點開始生長，直到達到了自然的顏色和/或深度邊界。
[0050]本發(fā)明的各實施例還可以使用位置信息，例如投影掩模的中心的GPS坐標，以執(zhí)行地理編碼(添加坐標到平面圖像段)，或反地理編碼(對給定位置查找已有的信息)。反地理編碼可以用作實時設(shè)備操作的增強信息的一個源。一旦地理編碼系統(tǒng)就位，它可被部署作為用戶對傳統(tǒng)圖像和視頻內(nèi)容添加地理標簽供后續(xù)使用的服務(wù)。
[0051]估計店面的范圍還可以通過包括由商業(yè)所有者或設(shè)備用戶提供的更多數(shù)據(jù)來輔助。在設(shè)備用戶的情況中，本發(fā)明的各實施例可以提供用于操縱增強的簡單的編輯方法。這可以是簡單的多邊形，允許用戶移動其角落。這將允許用戶輸入正確的但輕微地未對齊的結(jié)果以快速地更新服務(wù)。然后這些更新被聚集并與彼此以及其它已知數(shù)據(jù)進行比較，從而下一用戶將得到改進的服務(wù)。在一個實施例中，因為假定了店所有者是關(guān)于該店的準確數(shù)據(jù)的更受激勵的和可信的貢獻者，所以在聚集方案中可以給予來自商業(yè)所有者的數(shù)據(jù)更高的優(yōu)先權(quán)。
[0052]圖5是根據(jù)本發(fā)明的實施例的增強的實況視圖的圖示。在此實施例中，增強的內(nèi)容窗口 500標識了建筑350中適當(dāng)?shù)呐d趣點，并顯示了關(guān)于實時視圖520中的興趣點的圖像數(shù)據(jù)510。圖像數(shù)據(jù)510是與它各自的投影掩模幾何地一致(即，與圖4的2D平面452幾何地一致)地顯示的。
[0053]圖像數(shù)據(jù)510可以包括關(guān)于興趣點的圖像(例如標識興趣點的邊界的圖像)、關(guān)于興趣點的視頻內(nèi)容(例如視頻廣告)、3D動畫對象(例如3D動畫廣告)、或關(guān)于興趣點的文本數(shù)據(jù)。所述圖像數(shù)據(jù)可以被包括在設(shè)備300的存儲器存儲中，或經(jīng)由網(wǎng)絡(luò)連接(例如無線因特網(wǎng)連接)從數(shù)據(jù)庫獲得。
[0054]圖6A和6B示出了根據(jù)本發(fā)明的實施例的多個興趣點的投影掩模和增強的實況視圖。在此實施例中，所捕捉的建筑600的視圖包括從圖像傳感器的角度相對平面的兩個外觀段610和630，以及輪廓外觀段620。由此，本發(fā)明的各實施例可以利用2D平面段和3D輪廓/球面的掩模來向系統(tǒng)提供建筑600的外觀的范圍的粗略估計。
[0055]由此，應(yīng)理解，所投影的掩模610-630可以用來表示對象的相關(guān)部分的表面輪廓。輪廓投影掩模620稍后可以用于實時處理中的增強內(nèi)容，其中增強內(nèi)容將與掩模620的輪廓一致(以及與主移動設(shè)備相對于建筑600的方向一致)地投影。附加地，輪廓信息可以用在與邊緣檢測的組合中，以改進用于標識建筑600的對象檢測。
[0056]由此，可以標識多個興趣點?？梢燥@示相對應(yīng)于興趣點的相關(guān)的圖像數(shù)據(jù)(例如，圖標、文本數(shù)據(jù)、視頻、3D動畫對象、或如上所述的圖像數(shù)據(jù))。在此示例中，標識建筑600中的每個商業(yè)的名字的文本數(shù)據(jù)如圖6B中所示的顯示。文本數(shù)據(jù)既在每個各自的商業(yè)的邊界內(nèi)居中，也基于相關(guān)的投影掩模而顯示。
[0057]圖7是可以利用本發(fā)明的實施例的系統(tǒng)的框圖。系統(tǒng)700可以包括預(yù)處理模塊710，用于如上所述地執(zhí)行涉及預(yù)先存儲的圖像和3D點云數(shù)據(jù)的操作以生成對象的3D模型。系統(tǒng)700還可以包括圖像傳感器720，用于如上所述地捕捉圖像數(shù)據(jù)。
[0058]投影模塊730可以如上所述地處理對象的3D數(shù)據(jù)和位置數(shù)據(jù)以生成投影掩模。增強模塊740可以如上所述地用投影掩模內(nèi)的相關(guān)聯(lián)的內(nèi)容增強所捕捉的圖像數(shù)據(jù)。增強的圖像數(shù)據(jù)可以在顯示750上顯示。
[0059]在此實施例中，模塊710、730和740是經(jīng)由處理器760執(zhí)行的。上述的系統(tǒng)700的所有組件都可以經(jīng)由總線770操作地耦合。應(yīng)理解，圖7中所描述的各種模塊可以全部被包括在移動計算設(shè)備中，或者單獨地在不同的位置(即，圖7中的模塊中的任一或全部可以被包括在與移動計算設(shè)備接口以提供“后端處理”的服務(wù)器中)。此外，應(yīng)理解，相關(guān)于所描述的模塊的操作只是示例實施例，并且以上所述的任何操作都可以經(jīng)由操作地耦合到一起的多個設(shè)備執(zhí)行。
[0060]此處所描述的以上稱為過程、服務(wù)器或工具的各種組件可以是用于執(zhí)行所描述的功能的手段。此處所描述的每個組件包括軟件或硬件，或這些的組合。每個和全部組件都可以實現(xiàn)為軟件模塊、硬件模塊、專用硬件(例如，應(yīng)用特定的硬件、asic、dsp等)、嵌入式控制器、硬件電路、硬件邏輯等。軟件內(nèi)容(例如，數(shù)據(jù)、指令、配置)可以經(jīng)由包括非瞬態(tài)、有形的計算機或機器可讀存儲介質(zhì)的制品而提供，該介質(zhì)提供表示可以被執(zhí)行的指令的內(nèi)容。內(nèi)容可以導(dǎo)致計算機執(zhí)行此處所描述的各種功能/操作。計算機可讀存儲介質(zhì)包括以計算機(例如計算設(shè)備、電子系統(tǒng)等)可以訪問的形式提供(即存儲和/或傳輸)信息的任何機制，諸如可刻錄/不可刻錄介質(zhì)(例如，只讀存儲器(ROM)、隨機訪問存儲器(RAM)、磁盤存儲介質(zhì)、光存儲介質(zhì)、閃存設(shè)備等)。內(nèi)容可以是可直接執(zhí)行的(“對象”或“可執(zhí)行”形式)、源代碼或差別代碼(“增量”或“補丁”代碼)。計算機可讀存儲介質(zhì)也可以包括從中可以下載內(nèi)容的存儲或數(shù)據(jù)庫。計算機可讀介質(zhì)也可以包括在出售或遞交時具有存儲于其上的內(nèi)容的設(shè)備或產(chǎn)品。由此，遞交有存儲的內(nèi)容的設(shè)備或者提供用于通過通信介質(zhì)下載的內(nèi)容可以被理解為提供具有此處所描述的這種內(nèi)容的制品。
【權(quán)利要求】
1.一種裝置，所述裝置包括: 處理器； 存儲器；以及 增強模塊，該增強模塊包括在所述存儲器中并經(jīng)由所述處理器執(zhí)行以接收標識興趣點(POI)的數(shù)據(jù)， 檢測包括在由圖像傳感器捕捉的實況視圖中的結(jié)構(gòu)的表面，所述結(jié)構(gòu)包括所述Ρ0Ι， 至少部分地基于檢測到的包括在所述實況視圖中的所述結(jié)構(gòu)的表面和來自第二傳感器的數(shù)據(jù)，確定所述圖像傳感器相對于POI的位置和方向， 當(dāng)所述圖像傳感器捕捉所述實況視圖時，跟蹤所述圖像傳感器的所述位置和所述方向，以及 生成包括與所述POI相關(guān)聯(lián)的圖像數(shù)據(jù)的顯示數(shù)據(jù)用于增強實況視圖，其中所述圖像數(shù)據(jù)在顯示在檢測到的所述結(jié)構(gòu)的表面上的POI處的實況視圖中時是與所述圖像傳感器的所述位置和所述方向三維地一致的。
2.如權(quán)利要求1所述的裝置，其特征在于，所述裝置包括操作地耦合到移動計算設(shè)備的服務(wù)器設(shè)備，所述移動計算設(shè)備包括所述圖像傳感器、所述第二傳感器以及用于顯示包括與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)的增強的實況視圖的顯示器。
3.如權(quán)利要求1所述的裝置，其特征在于，所述裝置包括移動計算設(shè)備，所述移動計算設(shè)備還包括用于顯示包括與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)的增強的實況視圖的顯示器。
4.如權(quán)利要求1所述的裝置，其特征在于，所述結(jié)構(gòu)包括建筑，且所檢測到的所述結(jié)構(gòu)的表面包括所述建筑的外面。
5.如權(quán)利要求1所述的裝置，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括全球定位衛(wèi)星(GPS)數(shù)據(jù)。
6.如權(quán)利要求3所述的裝置，其特征在于，還包括: 移動電話操作單元，所述第二傳感器經(jīng)由蜂窩電話塔三角測量捕捉所述裝置的地理信肩、O
7.如權(quán)利要求1所述的裝置，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括經(jīng)由加速計捕捉的加速度數(shù)據(jù)。
8.如權(quán)利要求1所述的裝置，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括經(jīng)由指南針捕捉的磁場數(shù)據(jù)。
9.如權(quán)利要求1所述的裝置，與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)標識所檢測到的所述結(jié)構(gòu)的表面內(nèi)的所述POI的邊界的集合。
10.如權(quán)利要求1所述的裝置，所述增強模塊還確定所檢測到的所述結(jié)構(gòu)的表面內(nèi)的所述POI的中心，所述顯示數(shù)據(jù)基于所述POI的所述中心而生成。
11.如權(quán)利要求1所述的裝置，其特征在于，與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)包括靜態(tài)圖像數(shù)據(jù)和視頻圖像數(shù)據(jù)中的至少一個。
12.—種方法，所述方法包括: 接收標識興趣點(POI)的數(shù)據(jù)； 檢測包括在由圖像傳感器捕捉的實況視圖中的結(jié)構(gòu)的表面，所述結(jié)構(gòu)包括所述POI ； 至少部分地基于所檢測的包括在所述實況視圖中的所述結(jié)構(gòu)的表面和來自第二傳感器的數(shù)據(jù)，確定所述圖像傳感器相對于POI的位置和方向；當(dāng)所述圖像傳感器捕捉所述實況視圖時，跟蹤所述圖像傳感器的所述位置和所述方 向；以及 生成包括與所述POI相關(guān)聯(lián)的圖像數(shù)據(jù)的顯示數(shù)據(jù)用于增強實況視圖，其中所述圖像數(shù)據(jù)在顯示在檢測到的所述結(jié)構(gòu)的表面上的POI處的實況視圖中時是與所述圖像傳感器的所述位置和所述方向三維地一致的。
13.如權(quán)利要求12所述的方法，其特征在于，所述結(jié)構(gòu)包括建筑，并且所檢測到的所述結(jié)構(gòu)的表面包括所述建筑的外面。
14.如權(quán)利要求12所述的方法，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括全球定位衛(wèi)星(GPS)數(shù)據(jù)。
15.如權(quán)利要求12所述的方法，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括經(jīng)由蜂窩電話塔三角測量捕捉的地理信息。
16.如權(quán)利要求12所述的方法，其特征在于，來自所述第二傳感器的所述數(shù)據(jù)包括經(jīng)由加速計捕捉的加速計數(shù)據(jù)。
17.如權(quán)利要求12所述的方法，其特征在于，所述主機設(shè)備的所述傳感器數(shù)據(jù)包括經(jīng)由指南針捕捉的所述主機設(shè)備的磁場數(shù)據(jù)。
18.如權(quán)利要求12所述的方法，與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)標識所檢測到的所述結(jié)構(gòu)的表面內(nèi)的所述POI的邊界的集合。
19.如權(quán)利要求12所述的方法，還包括確定所述結(jié)構(gòu)的所述表面內(nèi)的所述POI的中心，所述顯示數(shù)據(jù)基于所述POI的所述中心而生成。
20.如權(quán)利要求12所述的方法，其特征在于，與所述POI相關(guān)聯(lián)的所述圖像數(shù)據(jù)包括靜態(tài)圖像數(shù)據(jù)和視頻圖像數(shù)據(jù)中的至少一個。
【文檔編號】G06T17/00GK103703758SQ201280036926
【公開日】2014年4月2日 申請日期:2012年7月2日 優(yōu)先權(quán)日:2011年7月1日
【發(fā)明者】吳翌, G·塔卡科斯, M·艾爾裘巴斯, I·V·科津特塞夫 申請人:英特爾公司