用于創(chuàng)建環(huán)境并用于共享環(huán)境中基于位置的體驗的系統(tǒng)和方法
【專利說明】用于創(chuàng)建環(huán)境并用于共享環(huán)境中基于位置的體驗的系統(tǒng)和方法
[0001]背景
[0002]1.
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及用于創(chuàng)建包括虛擬模型和圖像的室內(nèi)和戶外環(huán)境的系統(tǒng)和方法，以及使用這樣創(chuàng)建的環(huán)境的方法和系統(tǒng)。在優(yōu)選形式中，部分地使用眾源的圖像和元數(shù)據(jù)來創(chuàng)建環(huán)境，且環(huán)境被應(yīng)用于社交媒體應(yīng)用。
[0004]2.對相關(guān)技術(shù)的描述
[0005]Microsoft、Google，以及Nokia(Navteq)已經(jīng)采用移動街道汽車通過世界上的大多數(shù)主要城市來當(dāng)汽車在街道上遍歷時捕捉建筑物和環(huán)境的圖像。在一些情況下，激光雷達(dá)成像(例如，光檢測及測距或“LIDAR”)還捕捉來自汽車的測距數(shù)據(jù)，以捕捉與建筑物和街道位置和結(jié)構(gòu)有關(guān)的數(shù)據(jù)，諸如建筑物高度。由行駛中的汽車捕捉到的圖像包括用戶可從地圖服務(wù)訪問的照片和視頻圖像(以及在很多情況下，衛(wèi)星圖像)。例如，從GoogleMaps和Google Earth訪問來自Google的Street View，并提供當(dāng)獲取汽車沿著主要街道移動時從獲取汽車獲取的全景圖像。來自微軟的Bing Maps是類似的，參見如，美國專利公開 N0.2011/0173565 和 WO 2012/002811。Earthmine 是類似的，但是，使用 Mars 收集系統(tǒng)。Nokia具有其自己的類似地操作的版本，稱為“Journey View”。這樣的圖像非常有用，但是，獲取僅限于沿著主要干道行駛的專用車輛。其他方法使用從飛機捕捉到的光學(xué)和LIDAR數(shù)據(jù)。
[0006]出現(xiàn)了照片共享站點，其中基于web的照片儲存庫(Photobucket)與被授權(quán)的用戶共享事件的照片。不例包括 Flickr、Photobucket、Picasa、Shutterfly、BeamrandSnapf ish。進一步地，諸如Facebook和Google+之類的社交網(wǎng)絡(luò)使用戶組張貼事件的照片并與朋友共享照片。這樣的照片儲存庫和社交網(wǎng)絡(luò)對于與朋友共享事件是有用的，但是，在真實性和交互方面受到限制。進一步地，許多社交網(wǎng)絡(luò)作為照片儲存庫來操作，傳統(tǒng)的照片儲存庫已經(jīng)變?yōu)樯缃痪W(wǎng)絡(luò)一一模糊它們之間的區(qū)別。進一步地，照片改進的站點變得常見。例如，Instagram、Camera+，以及 Pinterest0
[0007]需要創(chuàng)建環(huán)境并更新環(huán)境的準(zhǔn)確的方法和系統(tǒng)，以便它是準(zhǔn)確的、特征豐富的、且當(dāng)前的。例如，美國專利公開N0.2011/0313779說明了通過收集用戶反饋來更新興趣點的一種方法。另外，很多環(huán)境簡直不可用，諸如停車場、室內(nèi)位置和主要城市中的主要街道以外的任何位置。進一步地，能夠在超出只共享在事件之后張貼的事件的照片之外還共享基于位置的體驗將是一個進步。
[0008]相關(guān)的專利和申請描述了對基于位置的體驗的各種改進，例如:美國專利 N0.7，855，638 和 7，518，501 和美國專利公開 N0.2011/0282799、2007/00188802012/0007885以及2008/0259096 (有時被稱為“相關(guān)專利”)。通過引用在法律允許的最大程度上結(jié)合此處所引用的所有參考文獻，但是，這樣的結(jié)合不應(yīng)該解釋為參考文獻現(xiàn)有技術(shù)的承認(rèn)。

【發(fā)明內(nèi)容】

[0009]通過根據(jù)本發(fā)明的用于創(chuàng)建并共享環(huán)境和體驗的系統(tǒng)和方法來解決上文所概述的問題。廣泛地說，用于創(chuàng)建環(huán)境并用于共享體驗的系統(tǒng)包括多個移動設(shè)備，它們具有用在興趣點附近來捕捉所述興趣點附近的隨機圖像和相關(guān)聯(lián)的元數(shù)據(jù)的相機，其中，每一個圖像的元數(shù)據(jù)都包括移動設(shè)備的位置和相機的取向。無線網(wǎng)絡(luò)與移動設(shè)備進行通信以接受圖像和元數(shù)據(jù)。圖像處理服務(wù)器連接到網(wǎng)絡(luò)，用于接收圖像和元數(shù)據(jù)，其中服務(wù)器處理圖像以確定圖像中的各種目標(biāo)的位置，并構(gòu)建興趣點附近的區(qū)域的3D模型。優(yōu)選地，體驗平臺連接到圖像處理服務(wù)器，以便存儲3D模型。多個用戶連接到體驗平臺，以從用戶選擇的位置和取向來查看興趣點。
[0010]在優(yōu)選形式中，體驗平臺包括與興趣點附近的位置相關(guān)聯(lián)的多個圖像。在另一形式中，連接到體驗平臺的用戶可查看與用戶選擇的位置和取向相關(guān)聯(lián)的圖像。在另一形式中，處理服務(wù)器將許多圖像拼接在一起以構(gòu)成全景。優(yōu)選地，連接到體驗平臺的用戶可查看與用戶選擇的位置和取向相關(guān)聯(lián)的全景。
[0011]廣泛地說，用于創(chuàng)建與基于位置的體驗一起使用的環(huán)境的系統(tǒng)包括伴隨著多個隨機貢獻者的多個移動設(shè)備，每一移動設(shè)備都具有捕捉興趣點附近的隨機圖像和相關(guān)聯(lián)的元數(shù)據(jù)的相機，其中，每一個圖像的元數(shù)據(jù)都包括移動設(shè)備的位置和相機的取向。該系統(tǒng)包括與移動設(shè)備進行通信以接受圖像和元數(shù)據(jù)的無線網(wǎng)絡(luò)。圖像處理服務(wù)器連接到網(wǎng)絡(luò)，用于接收圖像和元數(shù)據(jù)，其中，服務(wù)器處理圖像以確定圖像中的各種目標(biāo)的位置，并構(gòu)建興趣點附近的區(qū)域的3D模型。優(yōu)選地，服務(wù)器處理圖像以創(chuàng)建與興趣點附近的很多位置相關(guān)聯(lián)的全景。
[0012]在一種形式中，本發(fā)明包括共享基于位置的體驗中的內(nèi)容的方法，其中，捕捉了多個圖像和相關(guān)聯(lián)的元數(shù)據(jù)。處理圖像和元數(shù)據(jù)以構(gòu)建興趣點附近的區(qū)域的3D模型。該方法包括將圖像和3D模型存儲在連接到網(wǎng)絡(luò)的體驗平臺中。使用網(wǎng)絡(luò)來訪問體驗平臺以訪問3D模型和圖像。用戶選擇3D模型中的位置和取向，并從所選位置和取向查看興趣點。
[0013]在另一形式中，共享體驗或查看事件涉及基于諸如市場因素之類的上下文來添加或改變廣告。在另一形式中，可將產(chǎn)品圖像插入到視圖中。在其他情況下，可由從觀眾的查看設(shè)備、社交媒體、或基于云的數(shù)據(jù)收集的單個觀眾的個人信息來確定廣告的上下文或產(chǎn)品位置。在其他形式中，可基于與事件或體驗綁定的社交網(wǎng)絡(luò)或事件的本質(zhì)來添加或改變廣告。
[0014]附圖簡述
[0015]圖1a是被用作此處的示例的廣場的透視圖，且圖1b是圖1a的廣場的平面圖；
[0016]圖2是優(yōu)選實施例中的移動設(shè)備的前視圖；
[0017]圖3是根據(jù)本發(fā)明的網(wǎng)絡(luò)系統(tǒng)的功能圖；
[0018]圖4是描繪了功能目標(biāo)的圖2的移動設(shè)備的前視圖；
[0019]圖5是圖2和4的設(shè)備的后視圖；
[0020]圖6是圖2，4，以及5的設(shè)備的功能硬件圖示；
[0021]圖7是示出了第一示例的圖2的設(shè)備的前視圖；
[0022]圖8是示出了第二示例的圖2的設(shè)備的前視圖；
[0023]圖9是示出了第三示例的圖2的設(shè)備的前視圖；
[0024]圖10是本發(fā)明的另一移動設(shè)備的透視圖；
[0025]圖1lA是城市的一部分的透視，鳥瞰圖，其中示出了低分辨率線框；
[0026]圖1lB是城市的相同部分的透視，鳥瞰圖，其中示出了精細(xì)的分辨率；
[0027]圖1lC是城市的相同部分的透視，鳥瞰圖，其中示出了詳細(xì)的分辨率；
[0028]圖1lD是城市的相同部分的透視，鳥瞰圖，其中示出了細(xì)的逼真分辨率；
[0029]圖12是獲取的圖像的EXIF元數(shù)據(jù)的表；
[0030]圖13a和13b是示出了攝影測量學(xué)基礎(chǔ)理論的圖示；
[0031]圖14是描繪了圖像對齊和配準(zhǔn)(registrat1n)的示意圖；
[0032]圖15是描繪了目標(biāo)的三個不同的視圖的示意圖；
[0033]圖16A示出了常規(guī)相機；
[0034]圖16B示出了全光相機的幾何形狀；
[0035]圖17是具有身臨其境環(huán)境的實施例的房間的透視圖；以及
[0036]圖18是示出了另一環(huán)境的另一房間(具體是婚禮小教堂)的透視圖。
【具體實施方式】
[0037]1.概覽
[0038]在示例形式中，3D模型或“虛擬模型”被用作起始點，諸如圖1a的廣場的圖像。多個用戶(或單一用戶拍攝多個圖像)使用諸如圖3所示出的智能電話10之類的移動設(shè)備從圖1b中的標(biāo)記為A-E的各種位置拍攝廣場的圖像(照片)。每一圖像A - E不僅包括圖像，而且還包括與圖像相關(guān)聯(lián)的元數(shù)據(jù)，包括EXIF數(shù)據(jù)、時間、位置，以及取向。在此示例中，圖像和元數(shù)據(jù)在它們被獲取時被上傳到連接到圖像處理服務(wù)器211 (圖3)的通信網(wǎng)絡(luò)205 (例如，蜂窩網(wǎng)絡(luò))。在一些實施例中，移動設(shè)備還包括如圖2所示的一個或多個深度相機。
[0039]圖像處理服務(wù)器211使用網(wǎng)絡(luò)205和來自電話10的GPS信息來處理元數(shù)據(jù)，以獲得圖像A-E的原點的非常準(zhǔn)確的位置。使用圖像匹配和配準(zhǔn)技術(shù)，將圖像拼接在一起以形成馬賽克和全景，并細(xì)化廣場的3D模型。在細(xì)化廣場的3D模型時，圖像識別技術(shù)可從圖像中刪除人，從而在在沒有混亂和隱私問題的情況下聚焦于構(gòu)建廣場的非常準(zhǔn)確的3D模型。所產(chǎn)生的“環(huán)境”是可重新創(chuàng)建并從廣場中的任何位置和從用戶選擇的位置的用戶選擇的取向查看的廣場的準(zhǔn)確的3D模型。進一步地，廣場中的許多位置具有與該位置相關(guān)聯(lián)的圖像，拼接的圖像的馬賽克或全景，或可從與附近的位置相關(guān)聯(lián)的圖像創(chuàng)建。
[0040]在一個示例中，在事件發(fā)生時遠(yuǎn)離廣場的用戶可通過訪問體驗平臺207并基本上實時地查看廣場來參與事件。事件中的所有的或選擇的參與者都可被保留在圖像中，甚至使用化身來表示事件中的參與者。因此，遠(yuǎn)程用戶可在事件過程中觀察廣場，在事件過程中選擇廣場的虛擬視圖或廣場的攝影視圖。
[0041]在另一個示例中，上文對于事件所描述的廣場對于事件而言變?yōu)橛行侣剝r值的。遠(yuǎn)程用戶或新聞機構(gòu)可使用從體驗平臺獲取的事件的歷史圖像來重播事件。
[0042]在再一個示例中，通過訪問體驗平臺207并使用增強的現(xiàn)實和/或目標(biāo)相關(guān)的內(nèi)容來標(biāo)識事件的參與者，在廣場上物理上參加事件的用戶可參與。
[0043]I1.術(shù)語的解釋
[0044]如此處所使用的，術(shù)語“圖像”是指由相機(例如，靜物照相機、數(shù)碼相機、視頻相機、相機電話等等)或任何其他成像設(shè)備所拍攝的一個圖像或一系列圖像。圖像與圖像捕捉時的諸如EXIF、時間、位置、成像設(shè)備(例如，相機)的傾斜角、以及取向之類的元數(shù)據(jù)相關(guān)聯(lián)。深度相機信息和音頻也可被視為圖像或圖像的一部分。
[0045]如此處所使用的，術(shù)語“興趣點”是指由用戶所指定的圖像中的空間中的任何一點。以示例的方式，圖像中的興趣點可是觀測臺或塔頂，建筑物的天線或窗戶，公園中的旋轉(zhuǎn)木馬等等。“興趣點”不限于僅固定對象，而且也可包括移動對象。
[0046]最常見的定位技術(shù)是GPS。如此處所使用的，GPS——有時被稱為GNSS——意味著包括所有現(xiàn)在和將來的定位系統(tǒng)，包括諸如美國Navistar、GLONASS、Galileo、EGNOS、WAAS、MSAS、BeiDou衛(wèi)星導(dǎo)航系統(tǒng)(中國)、QZSS等等之類的衛(wèi)星。準(zhǔn)確度可使用諸如WAAS(廣區(qū)域)、LAAS(局部區(qū)域)、載波-相位增強(CPGPS)、基于空間的增強系統(tǒng)(SBAS);廣區(qū)域GPS增強(WAGE)，或相對運動定位(RKP)之類的已知技術(shù)(常常叫做微分技術(shù))來改進位置(特別是參與者的位置)的準(zhǔn)確度。甚至在沒有微分校正的情況下，很多改進也正在提高GPS準(zhǔn)確度，諸如衛(wèi)星星座的增大、多個頻率(LI，L2，L5)、建模以及AGPS改進、軟件接收器、以及地球站改進。當(dāng)然，由應(yīng)用的要求驅(qū)動位置的準(zhǔn)確度。在用于說明優(yōu)選實施例的高爾夫球示例中，由帶有輔助GPS的WAAS所提供的次五米準(zhǔn)確度通常是可接受的。在構(gòu)建根據(jù)本發(fā)明的模型時，AGPS、WAAS，以及使用時間和微分校正的后處理可導(dǎo)致輔助計量(submeter)位置準(zhǔn)確度。進一步地，一些“體驗”可保留在室內(nèi)，使用此處所描述的相同消息增強技術(shù)。這樣的室內(nèi)定位系統(tǒng)包括AGPS、MEO、W1-Fi (Skyhook)、WIFISLAM、蜂窩小區(qū)ID、偽衛(wèi)星、轉(zhuǎn)發(fā)器(repeater)、任何電磁信號(例如，TV)上的RSS及其他已知或開發(fā)的。
[0047]術(shù)語“地理參照”意味著固定于特定位置或目標(biāo)的消息。如此，消息可固定于一個地點，例如，高爾夫球場圍墻或固定于移動參與者，例如，移動的高爾夫小汽車或玩家。對象通常使用諸如GPS之類的定位技術(shù)來進行地理參照，而且也可使用機器視覺來進行地理參照。如果使用機器視覺(即，對象識別)，應(yīng)用可以是“無標(biāo)記的”或使用“標(biāo)記”，有時被稱為“基準(zhǔn)”?；跇?biāo)記的增強的現(xiàn)實常常使用帶有高對比度的正方形標(biāo)記。在此情況下，通過機器視覺，使用正方形標(biāo)記，來檢測正方形的四個角點，并使用此信息來計算三維相機信息。還使用其他可檢測的源，諸如嵌入式LED的或特殊涂層或QR代碼。對可易于檢測到的標(biāo)記應(yīng)用AR的有利之處在于，即使實時地執(zhí)行，識別和跟蹤也是相對準(zhǔn)確的。如此，在其中背景環(huán)境中的AR消息的準(zhǔn)確的配準(zhǔn)(registrat1n)重要的應(yīng)用中，基于標(biāo)記的系統(tǒng)具有一些優(yōu)點。
[0048]在“無標(biāo)記的”系統(tǒng)中，AR使用一般自然圖像代替基準(zhǔn)。一般而言，無標(biāo)記的AR使用特征點匹配方法。特征點匹配是指用于搜索和連接兩個不同的圖像中的相同特征點的操作。此處參考Photsyth來討論用于特征識別的一種方法。建議了一種用于使用同時定位和地圖創(chuàng)建(SLAM)/并行的跟蹤和測繪(PTAM)算法來提取平面，并使用該平面來提供AR的方法，該算法用于實時地跟蹤相機的三維位置信息和特征點的三維位置信息。然而，由于SLAM/PTAM算法獲取圖像以搜索特征點，計算相機的三維位置和特征點的三維位置，并基于這樣的信息來提供AR，因此，需要可觀的計算。也可使用混合型系統(tǒng)，其中，地理參照出容易識別的符號或牌，機器視覺替換AR消息。
[0049]在本申請中，使用術(shù)語“社交網(wǎng)絡(luò)”來指跟蹤并能實現(xiàn)成員(包括人、企業(yè)，及其他實體)或成員的子集之間的連接的任何進程或系統(tǒng)。連接和成員資格可是靜態(tài)或動態(tài)的，成員資格可包括社交網(wǎng)絡(luò)內(nèi)的各種子集。例如，個人的社交網(wǎng)絡(luò)可包括對藝術(shù)感興趣的成員的子集，該人只與藝術(shù)興趣子集共享到雕塑公園的出游。進一步地，社交網(wǎng)絡(luò)是可動態(tài)地配置的。例如，可為9月22的“Nasher雕塑公園”形成社交網(wǎng)絡(luò)，且任何感興趣的人都可加入納希爾雕塑公園9月22社交網(wǎng)絡(luò)?？闪磉x地，事件的某一范圍內(nèi)的任何人都可被允許加入。涉及社交網(wǎng)絡(luò)中的成員資格的置換有許多且并非意在限制。
[0050]社交網(wǎng)絡(luò)通過讓用戶參與、評論、和創(chuàng)建內(nèi)容作為與他們的社交圖，其他用戶以及公眾進行通信的手段，來跟蹤和啟用交互式web。在本發(fā)明的上下文中，這樣的共享和社交網(wǎng)絡(luò)參與包括參與者創(chuàng)建的內(nèi)容和旁觀者創(chuàng)建的內(nèi)容，以及當(dāng)然，共同創(chuàng)建的內(nèi)容。例如，創(chuàng)建的內(nèi)容可以是交互式的，以允許旁觀者向參與者創(chuàng)建的事件添加內(nèi)容。諸如FLIKR和Photobucket之類的照片儲存庫和社交網(wǎng)絡(luò)之間的區(qū)別變得模糊，兩個術(shù)語此處有時可互換地使用。
[0051]常規(guī)社交網(wǎng)絡(luò)的不例包括Linkedln.com 或 Facebook.com、Google Plus、Twitter (包括Tweetdeck)、諸如Rockmelt之類的社交瀏覽器，以及支持社會互動的各種社交實用程序，包括與HTML5瀏覽器的集成。位于www.Wikipedia.0rg/wiki/list_of_social_networking_sites的網(wǎng)站列出了幾百個目前正在使用的社交網(wǎng)絡(luò)。相親網(wǎng)站、Listservs,以及興趣組也可充當(dāng)社交網(wǎng)絡(luò)。社交網(wǎng)絡(luò)的興趣組或子集對邀請成員參加事件特別有用，諸如Google+ “圈”或Facebook “組”。個人可構(gòu)建私有社交網(wǎng)絡(luò)。常規(guī)社交網(wǎng)絡(luò)網(wǎng)站允許成員比較有效率地傳遞與他們的朋友或社交網(wǎng)絡(luò)中的其他連接相關(guān)的信息。社交網(wǎng)絡(luò)通常結(jié)合用于在社交網(wǎng)絡(luò)中的成員之間維護連接以及到可