移動設備上空間組織圖像采集的制作方法
【專利摘要】本發(fā)明提供用于利用與每個圖像的方位有關的信息來空間組織圖像以便顯示在移動設備上的系統(tǒng)、方法和計算機可讀媒體。從各種各樣的不同方位捕獲對象的多個圖像，并且每一個圖像及其相關聯(lián)的相應方位信息被存儲在圖像文件中。一旦設備接收到希望圖像文件的顯示的指示，該設備就檢測其方位并顯示多個圖像之中具有與之相關聯(lián)的和該設備的方位最緊密匹配的方位信息的圖像。在設備的方位改變時，所顯示的圖像也改變，這對于觀看圖像文件的用戶而言近似于對象的三維觀看的體驗。這樣的圖像文件也可以與廣告相關聯(lián)來加以利用并且被用作搜索查詢。
【專利說明】移動設備上空間組織圖像采集
【背景技術】
[0001]現(xiàn)今，許多人已高度配備有手持移動設備，其中大量的手持移動設備配備有照相機、加速度計、對象顯示器等等。這樣的設備被大量用于通信，包括關于各種對象的通信。例如，用戶時常在其日?；顒又信加?come across)對其而言可能感興趣的對象。在現(xiàn)今的高度社會交往的環(huán)境中，用戶在例如作出購買決定之前與朋友或家庭成員進行有關對象的通信將不是不同尋常的。一種進行有關對象的通信的常見方法是用戶利用他或她配備有照相機的移動設備來拍攝對象的照片并將照片發(fā)送給朋友或家庭成員以便觀看。雖然這樣的方法確實給朋友或家庭成員提供有關正在談論的對象的一些有用信息，但是由于在現(xiàn)今世界中的大多數(shù)對象是三維的而照片保持二維的通信手段，所以這樣的方法有些受限制。

【發(fā)明內容】

[0002]提供這個綜述部分來以簡化形式介紹下面在具體描述部分中進一步描述的概念的選擇。這個綜述部分并不打算用于標識所請求保護的主題的關鍵特性或基本特性，也不打算被用作輔助手段來確定所請求保護的主題的范圍。
[0003]本發(fā)明的實施例涉及用于特別地利用有關每一個圖像的方位(orientation)的信息來空間組織圖像以便在移動設備上顯示的系統(tǒng)、方法和計算機可讀媒體。利用配備有照相機以及在捕獲圖像時檢測設備的方位的能力(例如，加速度計和/或陀螺儀)的移動設備的第一用戶從各種各樣的不同方位捕獲特定對象的多個圖像。每一個圖像及其相關聯(lián)的相應方位信息被存儲在圖像文件中。第一用戶隨后將圖像文件發(fā)送到配備有圖像顯示器和方位檢測能力的第二移動設備。第二移動設備一旦接收到希望圖像文件的顯示的指示時就檢測第二移動設備的方位并顯示多個圖像之中具有與之相關聯(lián)的和第二移動設備的方位最緊密匹配的方位信息的圖像。當?shù)诙苿釉O備的方位改變時，多個圖像之中被顯示的圖像也改變，這對于觀看圖像文件的用戶而言近似于對象的三維觀看的體驗。實施例可以類似地應用于定向音頻、深度圖像等等的捕獲和回放。
【專利附圖】

【附圖說明】
[0004]本發(fā)明通過示例來說明并且不限于附圖，其中在這些附圖中相似的參考數(shù)字指示類似的元素，以及其中:
圖1是適用于實現(xiàn)本發(fā)明的實施例的示例計算環(huán)境的框圖；
圖2是其中可以采用本發(fā)明的實施例的示例計算環(huán)境的框圖；
圖3A和3B共同是顯示根據(jù)本發(fā)明的實施例用于在移動設備上顯示空間組織的圖像的方法的流程圖；
圖4是顯示根據(jù)本發(fā)明的另一實施例用于與廣告相關聯(lián)來利用空間組織的圖像的方法的流程圖；和
圖5是顯示根據(jù)本發(fā)明的另一個實施例用于將空間組織的圖像用作搜索查詢的方法的流程圖?！揪唧w實施方式】
[0005]在這里利用特異性來描述本發(fā)明的主題以滿足法定要求。然而，該描述本身并不打算用于限制這個專利的范圍。相反，發(fā)明人已預期:結合其他的目前或未來的技術，所請求保護的主題也可能采用其他的方式來體現(xiàn)(embody)，以包括與在這個文獻中描述的步驟不同的步驟或類似的步驟的組合。此外，雖然在這里可以使用術語“步驟”和/或“塊”來暗示所采用的方法的不同元素，但是除非且除了在明確描述個別步驟的順序時，這些術語不應被解釋為暗指在這里披露的各種步驟之中或之間的任何特定順序。
[0006]在這里描述的技術的各種方面一般涉及用于特別地利用有關每個圖像的方位的信息來空間組織圖像以便在移動設備上顯示的系統(tǒng)、方法和計算機可讀媒體。本領域的那些技術人員將明白:實施例可以類似地應用于定向音頻、深度圖像等等的捕獲和回放，并且其應用并不僅僅限于二維圖像。利用配備有照相機以及在捕獲圖像時檢測設備的方位的能力(例如，加速度計和/或陀螺儀)的移動設備的第一用戶從各種各樣的不同方位捕獲特定對象的多個圖像。每一個圖像及其相關聯(lián)的相應方位信息被存儲在圖像文件中。第一用戶隨后將圖像文件發(fā)送到配備有圖像顯示器以及方位檢測能力的第二移動設備。第二移動設備一旦接收到希望圖像文件的顯示的指示時就檢測第二移動設備的方位并且顯示多個圖像之中具有與相關聯(lián)的和第二移動設備的方位最緊密匹配的方位信息的圖像。當?shù)诙苿釉O備的方位改變時，多個圖像之中被顯示的圖像也改變，這對于觀看圖像文件的用戶而言近似于對象的三維觀看的體驗。這樣的圖像文件也可以與廣告相關聯(lián)來加以利用并被用作搜索查詢，如在下面更充分描述的。
[0007]本發(fā)明的實施例允許第二移動設備的用戶通過重新創(chuàng)建第一或捕獲移動設備的用戶的姿勢或照片捕獲模式來觀看所捕獲的圖像。即，如果第一用戶通過圍繞特定對象創(chuàng)建區(qū)域(sphere)來捕獲特定對象的多個圖像，當在第二移動設備上顯示圖像時，能夠重新創(chuàng)建第一移動設備的用戶的步驟。類似地，第一用戶可以站在相對穩(wěn)定的位置并且圍繞他或她自己以全景方式拍攝多個圖像。這種體驗在由第二移動設備的用戶觀看時也能夠被重新創(chuàng)建。類似地，如果第一用戶例如移入建筑物等等，則可以由他或她創(chuàng)建通用流形(manifold)。在實施例中，第二移動設備上的顯示器可以指示捕獲圖像的可用方向或方位并因而指示從中圖像可用于觀看的方位。
[0008]相應地，本發(fā)明的一個實施例涉及一個或多個存儲計算機可用指令的計算機可讀存儲媒體，這些計算機可用指令當被一個或多個計算設備使用時導致一個或多個計算設備執(zhí)行用于在移動設備上顯示空間組織的圖像的方法。該方法包括在第一移動設備上接收特定項目的多個圖像，多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。該方法進一步包括:檢測第一移動設備的第一方位，以及使用多個圖像之中每一個圖像的相應方位信息，確定多個圖像之中與最接近檢測到的第一移動設備的第一方位的相應方位信息相關聯(lián)的第一圖像。更進一步，該方法包括在與第一移動設備相關聯(lián)的顯示屏上顯示多個圖像中的第一圖像。
[0009]本發(fā)明的另一實施例涉及由具有處理器和存儲器的計算設備執(zhí)行的用于與廣告相關聯(lián)利用空間組織的圖像的方法。該方法包括接收特定項目的多個圖像，多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。該方法進一步包括處理多個圖像，其中該處理包括將多個圖像中的至少第一部分以及相應的相關聯(lián)方位信息與廣告相關聯(lián)。更進一步，該方法包括:接收對于廣告的請求，并且發(fā)送廣告以及相關聯(lián)的多個圖像中的至少第一部分和相應的相關聯(lián)方位信息，以便在第一移動設備上顯示，以致于移動設備的方位的改變導致多個圖像中的至少第一部分的不同圖像與廣告相關聯(lián)顯示在第一移動設備上。
[0010]在還一個實施例中，本發(fā)明涉及一個或多個存儲計算機可用指令的計算機可讀存儲媒體，這些計算機可用指令當被一個或多個計算設備使用時導致一個或多個計算設備執(zhí)行用于將空間組織的圖像用作搜索查詢的方法。該方法包括接收特定項目的多個圖像作為搜索查詢，多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。該方法進一步包括:利用多個圖像以及相關聯(lián)的相應方位信息，確定與特定項目相對應的一個或多個搜索結果，并且發(fā)送一個或多個搜索結果以便呈現(xiàn)。
[0011]在簡要描述了本發(fā)明的實施例的綜述之后，在下面描述其中可以實現(xiàn)本發(fā)明的實施例的示例操作環(huán)境，以便提供本發(fā)明的各個方面的一般上下文。一般參考附圖并且最初地特別參考圖1，用于實現(xiàn)本發(fā)明的實施例的示例操作環(huán)境被顯示且一般被標明為計算設備100。計算設備100僅是適當計算環(huán)境的一個示例并且不打算用于提議針對本發(fā)明的使用或功能的范圍的任何限制。計算設備100也不應被解釋成具有與所說明的任一組件或組件的組合相關的任何依賴關系或要求。
[0012]本發(fā)明的實施例可以在由計算機或其他機器諸如個人數(shù)據(jù)助理或其他手持設備執(zhí)行的計算機代碼或機器可用指令的一般上下文中進行描述，其中計算機代碼或機器可用指令包括計算機可執(zhí)行指令，諸如程序模塊。一般地，包括例程、程序、對象、組件、數(shù)據(jù)結構等等的程序模塊指的是執(zhí)行特定任務或實現(xiàn)特定抽象數(shù)據(jù)類型的代碼。本發(fā)明的實施例可以在包括手持設備、消費類電子設備、通用計算機、更專業(yè)計算設備等等的各種系統(tǒng)配置中進行實踐。本發(fā)明的實施例也可以在其中由通過通信網(wǎng)絡鏈接的遠程處理設備執(zhí)行任務的分布式計算環(huán)境中進行實踐。
[0013]繼續(xù)參考圖1，計算設備100包括直接或間接耦合以下設備的總線110:存儲器112，一個或多個處理器114，一個或多個呈現(xiàn)組件116，輸入/輸出(I/O)端口 118，I/O組件120和說明性的電源122?？偩€110代表什么可以是一條或多條總線(諸如地址總線、數(shù)據(jù)總線或其組合)。雖然為了清晰起見利用線條來顯示圖1的各個塊，但是實際上這些塊代表邏輯的而未必實際的組件。例如，可以將呈現(xiàn)組件諸如顯示設備看作I/O組件。處理器也具有存儲器。本發(fā)明人認識到這是本領域的性質并且重申圖1的圖解僅僅說明能夠與本發(fā)明的一個或多個實施例結合使用的示例計算設備。在諸如“工作站”、“服務器”、“膝上計算機”、“手持設備”等等之類的類別之間不進行區(qū)分，因為全部被預期在圖1的范圍之內并且指的是“計算設備”。
[0014]計算設備100通常包括各種各樣的計算機可讀媒體。計算機可讀媒體可以是能夠被計算設備100訪問的任何可用媒體并且包括在用于存儲諸如計算機可讀指令、數(shù)據(jù)結構、程序模塊或其他數(shù)據(jù)之類的信息的任何方法或技術中實現(xiàn)的易失性和非易失性媒體、可移除和不可移除媒體二者。計算機可讀媒體包括但不限于RAM、R0M、EEPR0M、閃存或其他存儲技術、CD-ROM、數(shù)字多用盤(DVD)或其他的光盤儲存器、磁帶盒、磁帶、磁盤儲存器或其他磁儲存設備或任何其他的能夠用于存儲所需信息并且能夠被計算設備100訪問的介質。上面任何一個的組合也應被包括在計算機可讀媒體的范圍之內。[0015]存儲器112采用易失性和/或非易失性存儲器的形式包括計算機存儲媒體。存儲器可以是可移除的、不可移除的或其組合。示例的硬件設備包括固態(tài)存儲器、硬盤驅動器、光盤驅動器等等。計算設備100包括一個或多個從諸如存儲器112或I/O組件120之類的各種實體中讀取數(shù)據(jù)的處理器。(一個或多個)呈現(xiàn)組件116將數(shù)據(jù)指示呈現(xiàn)給用戶或其他設備。示例的呈現(xiàn)組件包括顯示設備、揚聲器、打印組件、振動組件等等。
[0016]I/O端口 118允許計算設備邏輯地耦合至包括I/O組件120的其他設備，其中的一些設備可以被內置。說明性的組件包括麥克風、操縱桿、游戲手柄、碟形衛(wèi)星天線、掃描儀、打印機、無線設備等等。
[0017]如前所述，本發(fā)明涉及用于利用有關每一個圖像的方位的信息來空間組織對象(以及例如定向音頻文件、深度圖像等等)的多個圖像以便在移動設備上呈現(xiàn)的系統(tǒng)、方法以及計算機可讀媒體。現(xiàn)在參考圖2，提供說明其中可以采用本發(fā)明的實施例的示例計算系統(tǒng)200的框圖。一般地，計算系統(tǒng)200說明其中從各種各樣的不同方位捕獲對象的多個圖像并且每一個圖像及其相關聯(lián)的相應方位信息被存儲在圖像文件中的環(huán)境。一旦設備接收到希望圖像文件的顯示的指示，該設備就檢測其方位并顯示多個圖像之中具有與之相關聯(lián)的和該設備的方位最緊密匹配的方位信息的圖像。在設備的方位改變時，所顯示的圖像也改變，這對于觀看圖像文件的用戶來說近似于該對象的三維觀看的體驗。如在下面將更詳細描述的，這樣的圖像文件也可以與廣告相關聯(lián)來利用并被用作搜索查詢，如在下面更充分描述的。
[0018]在未顯示的其他組件之中，計算系統(tǒng)200 —般包括第一手持移動計算設備210A、第二手持移動設備210B、服務器以及搜索引擎214，其全部經(jīng)由網(wǎng)絡216相互通信。網(wǎng)絡216可以包括但不限于一個或多個局域網(wǎng)(LAN)和/或廣域網(wǎng)(WAN)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)級計算機網(wǎng)絡、內聯(lián)網(wǎng)和因特網(wǎng)中是司空見慣的。因此，在這里不進一步描述網(wǎng)絡 216。
[0019]應該明白:在本發(fā)明的實施例的范圍之內在計算系統(tǒng)200內可以采用任何數(shù)量的手持移動計算設備、服務器和搜索引擎。每一個可以包括單個設備/接口或在分布式環(huán)境中協(xié)作的多個設備/接口。例如，服務器212和/或搜索引擎214可以包括安排在分布式環(huán)境中共同提供在這里描述的服務器212和/或搜索引擎214的相應功能的多個設備和/或模塊。另外，在計算系統(tǒng)200內也可以包括未顯示的其他組件/模塊。
[0020]在一些實施例中，所說明的組件/模塊之中的一個或多個可以被實現(xiàn)為獨立的應用。在其他的實施例中，所說明的組件/模塊之中的一個或多個可以通過手持移動計算設備210A、210B之一、作為基于因特網(wǎng)的設備或作為在服務器212或搜索引擎214內的模塊來實現(xiàn)。本領域的那些普通技術人員將明白:圖2中所說明的組件/模塊在本質上和數(shù)量上是示例性的并且不應被解釋成限制。在本發(fā)明的實施例的范圍之內可以采用任何數(shù)量的組件/模塊來實現(xiàn)所需的功能。進一步，組件/模塊可以位于任何數(shù)量的服務器、搜索引擎或手持移動計算設備上。僅通過示例，搜索引擎214可能駐留在遠離剩余組件中的一個或多個的服務器、服務器簇或計算設備(未顯示)上。
[0021]應該明白:在這里描述的這個和其他安排僅僅作為示例來闡述。除了所顯示的那些安排和元素之外或替代所顯示的那些安排和元素，能夠使用其他的安排和元素(例如，機器、接口、功能、命令以及功能的組合等等)，并且一些元素可以一起被省略。進一步，在這里描述的元素之中的許多元素是功能實體，其可以作為分立或分布式組件或與其他組件相結合來實現(xiàn)并在任何適當?shù)慕M合與位置中進行實現(xiàn)。在這里被描述為由一個或多個實體執(zhí)行的各種功能可以利用硬件、固件和/或軟件來完成。例如，各種功能可以通過處理器執(zhí)行在存儲器中存儲的指令來完成。
[0022]手持移動計算設備210A、210B之中的每一個可以包括任何類型的計算設備，例如，諸如參考圖1描述的計算設備100。如所示的，手持移動計算設備210A、210B之中的每一個包括:相應的照相機218A、218B，顯示屏220A、220B，設備方位檢測組件222A、222B，瀏覽器224A、224B，接收組件226A、226B，發(fā)送組件228A、228B，以及數(shù)據(jù)儲存器230A、230B。應該指出:為了易于描述，當在這里僅僅通過基本參考數(shù)字(例如，210)而不是具體敘述的設備或組件參考數(shù)字(例如，210A或210B)來描述手持移動設備210A和210B的任何組件時，這是說明:所描述的設備或組件對于手持移動設備210A、210B 二者而言是相同的。
[0023]照相機218被配置成捕獲特定項目的多個圖像。一般地，手持移動設備210的用戶在偶遇感興趣的三維對象時利用照相機218來捕獲感興趣的對象的多個圖像，多個圖像中的每一個圖像相對于該對象以不同的角度或方位來捕獲。
[0024]顯示屏220被配置成顯示所捕獲的圖像以及用戶希望觀看的任何其他的文本或信息。例如，顯示屏220被配置成顯示廣告文本和圖像、搜索查詢輸入?yún)^(qū)、搜索結果(文本和圖像)以及在視覺上可用于用戶的任何附加信息。在實施例中，顯示屏220可以被進一步配置成指示圖像可用于觀看的可用方向或方位。
[0025]設備方位檢測組件222被配置成檢測手持設備210的方位。例如，一旦用戶利用照相機218捕獲圖像，設備方位檢測組件222就檢測移動設備210的方位，以便這樣的方位信息能夠與捕獲的圖像相關聯(lián)。類似地，一旦用戶觀看包括多個圖像的圖像文件，其中每一個圖像具有相應的相關聯(lián)的方位信息，方位檢測組件222就被配置成檢測手持移動設備210的方位，以便可以選擇具有與檢測到的移動設備210的方位最接近的方位信息的圖像(例如，與移動設備210的顯示屏220相關聯(lián))來呈現(xiàn)。根據(jù)本發(fā)明的實施例，設備方位檢測組件222可以包括加速度計、陀螺儀或能夠檢測手持移動設備210的方位的任何其他設備或組件。任何的和所有的這樣的變化及其任何的組合被預期在其實施例的范圍之內。
[0026]瀏覽器224被配置成提供這樣的界面，通過該界面，手持移動設備210的用戶可以發(fā)送和接收圖像文件和其他的可用信息。在實施例中，瀏覽器224被配置成提供這樣的界面，通過該界面，包括具有對象的多個圖像的圖像文件的搜索查詢可以被輸入并且與手持移動計算設備210的顯示屏220相關聯(lián)來再現(xiàn)輸入搜索查詢的結果，其中每一個圖像具有相關聯(lián)的相應方位信息。雖然搜索結果被描述成被提供并被呈現(xiàn)，但是對于計算系統(tǒng)200而言提供用戶可以用于檢索(一個或多個)相關結果的鏈接或其他引用是直截了當?shù)?。注?鏈接無需利用常規(guī)的瀏覽器224來跟隨(follow);例如，駐留在手持移動計算設備210上或由手持移動計算設備210訪問的應用能夠跟隨該鏈接、獲得(一個或多個)搜索結果并將(一個或多個)搜索結果的表示插入其輸出中。進一步，在這里被描述成由瀏覽器224執(zhí)行的功能可以利用能夠再現(xiàn)web (網(wǎng)絡)內容的任何其他應用來執(zhí)行。任何的和所有的這樣的變化及其任何的組合被預期在本發(fā)明的實施例的范圍之內。
[0027]接收組件226被配置成接收由特定對象的多個圖像組成的圖像文件，多個圖像中的每一個圖像具有相關聯(lián)的相應方位信息。類似地，發(fā)送組件228被配置成發(fā)送由特定對象的多個圖像組成的圖像文件，多個圖像中的每一個圖像具有相關聯(lián)的相應方位信息。在實施例中，接收組件226和發(fā)送組件228進一步被配置成分別地接收和發(fā)送搜索查詢、廣告
坐坐寸寸。
[0028]數(shù)據(jù)儲存器230被配置成存儲圖像以及相關聯(lián)的相應方位信息。在各個實施例中，這樣的信息可以包括但不限于由特定對象的多個圖像組成的圖像文件，多個圖像中的每一個圖像具有相應的相關聯(lián)的方位信息。在實施例中，數(shù)據(jù)儲存器230被配置成對于與之相關聯(lián)存儲的一個或多個項目是可供搜索的。本領域的那些普通技術人員將明白并將意識到:與數(shù)據(jù)儲存器230相關聯(lián)存儲的信息可以是可配置的并且可以包括與捕獲的圖像相關的任何信息、手持移動設備方位信息等等。這樣的信息的內容和容量并不用于以任何方式限制本發(fā)明的實施例的范圍。進一步，雖然被說明為單個獨立組件，但是數(shù)據(jù)儲存器230實際上可以是多個儲存設備，例如數(shù)據(jù)庫簇，其中的某些部分可以與手持移動計算設備210、另一外部計算設備(未顯示)和/或其任何組合相關聯(lián)駐留。
[0029]繼續(xù)參考圖2，服務器212可以包括任何類型的計算設備，例如，諸如參考圖1描述的計算設備100。如所示的，服務器212包括接收組件232、處理組件234和發(fā)送組件236。服務器212也包括或訪問數(shù)據(jù)儲存器238。數(shù)據(jù)儲存器238被配置成存儲圖像、處理的圖像以及相關聯(lián)的相應方位信息。在各個實施例中，這樣的信息可以包括但不限于由特定對象的多個圖像(其中的一些或所有圖像可以包括處理增強)組成的圖像文件，多個圖像中的每一個圖像具有相應的相關聯(lián)的方位信息。在實施例中，數(shù)據(jù)儲存器238被配置成對于與之相關聯(lián)存儲的一個或多個項目而言是可供搜索的。本領域的那些普通技術人員將明白并將意識到:與數(shù)據(jù)儲存器238相關聯(lián)存儲的信息可以是可配置的并且可以包括與捕獲的圖像相關的任何信息、與捕獲的圖像相關聯(lián)的手持移動設備方位信息等等。這樣的信息的內容和容量并不用于以任何方式來限制本發(fā)明的實施例的范圍。進一步，雖然被說明成單個獨立組件，但是數(shù)據(jù)儲存器238實際上可以是多個儲存設備，例如數(shù)據(jù)庫簇，其中的某些部分可以與服務器212、另一外部計算設備(未顯示)和/或其任何的組合相關聯(lián)駐留。
[0030]接收組件232被配置成從用戶(例如，利用手持移動計算設備210)接收圖像，這些圖像包括相應的相關聯(lián)的方位信息。通常，這些圖像經(jīng)由與用戶計算設備相關聯(lián)的瀏覽器例如與手持移動計算設備210相關聯(lián)的瀏覽器224來接收。接收組件232進一步被配置成接收對于具有相關聯(lián)的方位信息的圖像的請求。
[0031]處理組件234被配置成處理由服務器例如從手持移動計算設備210A、210B之一接收的圖像。這樣的處理可以包括但不限于壓縮圖像，注釋圖像以及給這些圖像提供各種視覺增強。這樣的視覺增強可以包括但不限于基于視覺的圖像匹配以細化這些圖像的位置(減小傳感器誤差)、色彩校正(手動或自動)、用于更平滑觀看體驗或填充缺失視圖的視圖插值(在現(xiàn)有視圖之間使用視圖插值)、移除不規(guī)則性(離群值圖像(outlier image))和/或用于更好圖像質量的超分辨率。圖像的處理可以進一步包括將一個或多個圖像及其相應的相關聯(lián)的方位信息與廣告相關聯(lián)。任何的和所有的這樣的變化及其任何組合被預期在本發(fā)明的實施例的范圍之內。
[0032]發(fā)送組件236被配置成發(fā)送圖像(無論是否被處理)和相應的相關聯(lián)方位信息(例如，經(jīng)由網(wǎng)絡216)給請求設備，例如手持移動計算設備210，以便顯示。在實施例中，這樣的圖像和相應的相關聯(lián)方位信息根據(jù)請求通過單個圖像文件來發(fā)送。[0033]繼續(xù)參考圖2，搜索引擎214可以是能夠搜索文本和/或內容的任何搜索引擎。本領域的那些技術人員將認識到:本發(fā)明可以利用任何數(shù)量的搜索工具來實現(xiàn)。例如，因特網(wǎng)搜索引擎或數(shù)據(jù)庫搜索引擎可以利用本發(fā)明。這些搜索引擎在本領域中是眾所周知的，并且商用的引擎共享許多類似的處理。
[0034]如所示的，搜索引擎214包括接收組件240、搜索結果確定組件242和發(fā)送組件244。搜索引擎214也包括或訪問數(shù)據(jù)儲存器246。例如，數(shù)據(jù)儲存器246被配置成存儲可訪問的用于將搜索結果和搜索查詢相匹配的索引信息等等。在實施例中，數(shù)據(jù)儲存器246被配置成對于與之相關聯(lián)存儲的項目之中的一個或多個而言是可供搜索的。本領域的那些普通技術人員將明白并將意識到:與數(shù)據(jù)儲存器246相關聯(lián)存儲的信息可以是可配置的并且可以包括與接收到的搜索查詢、搜索結果、針對搜索結果的用戶行為等等相關的任何信息。這樣的信息的內容和容量并不用于以任何方式來限制本發(fā)明的實施例的范圍。進一步，雖然被說明為單個獨立組件，但是數(shù)據(jù)儲存器246實際上可以是多個儲存設備，例如數(shù)據(jù)庫簇，其中的某些部分可以與手持移動計算設備210、另一外部計算設備(未顯示)和/或其任何組合相關聯(lián)駐留。
[0035]接收組件240被配置成接收由用戶(例如，利用手持移動計算設備210)輸入的查詢，該查詢包括圖像文件并且請求滿足搜索結果。通常，搜索查詢經(jīng)由與用戶計算設備相關聯(lián)的瀏覽器例如與手持移動計算設備210相關聯(lián)的瀏覽器224來接收。根據(jù)本發(fā)明的實施例，與接收到的查詢相關聯(lián)接收的圖像文件包括對象的多個圖像，多個圖像中的每一個圖像具有相應的相關聯(lián)方位信息。
[0036]搜索結果確定組件242被配置成確定滿足輸入搜索查詢的多個搜索結果。在實施例中，這樣的滿足搜索結果利用被配置成存儲索引的電子文檔的數(shù)據(jù)儲存器(例如，數(shù)據(jù)儲存器246)來確定。用于確定被確定為滿足輸入搜索查詢的搜索結果的技術對于本領域的那些普通技術人員來說是眾所周知的，并因此在這里不進行進一步描述。一般地，搜索結果確定組件242確定HTML響應，其包含被確定為滿足搜索查詢的搜索結果。發(fā)送組件244被配置成發(fā)送所確定的搜索結果(例如，經(jīng)由網(wǎng)絡216)給請求設備，例如手持移動計算設備210，以便顯示。
[0037]現(xiàn)在轉到圖3A，根據(jù)本發(fā)明的實施例，提供說明用于在移動設備上顯示空間組織的圖像的方法300的流程圖。如塊310所示，在移動設備上接收特定項目的多個圖像，該移動設備具有圖像顯示器和方位檢測能力。多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。如塊312所示，移動設備的第一方位隨后被檢測。使用多個圖像中的每一個圖像的相應方位信息，確定多個圖像之中與最接近檢測到的移動設備的第一方位的相應方位信息相關聯(lián)的第一圖像，如塊314所示。例如，多個圖像之中的第一圖像隨后被顯示在與移動設備相關聯(lián)的顯示屏上。這指示在塊316上。
[0038]參考圖3B，顯示用于根據(jù)顯示移動設備的方位的改變來顯示空間組織的圖像的方法300的實施例。如塊318所示，例如，利用移動設備的方位檢測能力(例如，加速度計、陀螺儀等等)，檢測移動設備的第二方位。使用多個圖像中的每一個圖像的相應方位信息，確定多個圖像中的第二圖像，第二圖像具有相應的與檢測到的移動設備的第二方位最接近的相關聯(lián)方位信息。這指示在塊320上。例如，多個圖像中的第二圖像隨后被顯示在與移動設備相關聯(lián)的顯示屏上，如塊322所示。[0039]現(xiàn)在轉到圖4，根據(jù)本發(fā)明的另一個實施例，提供說明用于與廣告相關聯(lián)利用空間組織的圖像的方法400的流程圖。如塊410所示，特定項目的多個圖像被接收，多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。如塊412所示，多個圖像被處理，以致于多個圖像的至少一部分及其相應的相關聯(lián)方位信息與廣告相關聯(lián)。對于廣告的請求隨后被接收，如塊414所示。廣告、多個圖像的部分以及相應的相關聯(lián)方位信息被發(fā)送，以便在移動設備上顯示，如塊416所示，以致于移動設備的方位的改變導致所發(fā)送圖像之中不同的圖像將被顯不。
[0040]參考圖5，根據(jù)本發(fā)明的實施例，提供說明用于將空間組織的圖像用作搜索查詢的方法500的流程圖。如塊510所示，特定項目的多個圖像被接收作為搜索查詢，多個圖像中的每一個圖像與相應的方位信息相關聯(lián)。如塊512所示，隨后利用多個圖像以及相關聯(lián)的相應方位信息來確定與特定項目相對應的一個或多個搜索結果。這一個或多個搜索結果隨后被發(fā)送，以便與移動設備相關聯(lián)呈現(xiàn)，如塊514所示。
[0041]如能夠明白的，本發(fā)明的實施例提供用于利用與每一個圖像/音頻文件/深度圖像/等等的方位有關的信息來空間組織圖像、定向音頻文件、深度圖像等等以便在移動設備上呈現(xiàn)的系統(tǒng)和方法。本發(fā)明已結合特定實施例進行描述了，這些實施例在所有的方面都打算是說明性的而非限制性的。對本發(fā)明所屬的【技術領域】的那些普通技術人員來說，可供選擇的實施例將變得顯而易見而不背離其范圍。
[0042]雖然本發(fā)明易受各種修改和可供選擇的結構的影響，但是其中某些說明的實施例顯示在附圖中并且在上面詳細進行描述了。然而，應該明白:并不打算將本發(fā)明限于所披露的具體形式，并且正相反，旨在覆蓋落入本發(fā)明的精神和范圍之內的所有修改、可供選擇的結構以及等價物。
[0043]本領域的那些技術人員將明白:在圖3A和3B的方法300、圖4的方法400和圖5的方法500中所顯示的步驟的順序并不意味著以任何方式限制本發(fā)明的范圍，并且實際上，在本發(fā)明的實施例中這些步驟可以采用各種各樣不同的順序發(fā)生。任何的和所有的這樣的變化及其任何的組合被預期在本發(fā)明的實施例的范圍之內。
【權利要求】
1. 一個或多個存儲計算機可用指令的計算機可讀存儲媒體，其中計算機可用指令當被一個或多個計算設備使用時導致一個或多個計算設備執(zhí)行用于在移動設備上顯示空間組織的圖像的方法，該方法包括:在第一移動設備上接收特定項目的多個圖像，多個圖像中的每一個圖像與相應方位信息相關聯(lián)；檢測第一移動設備的第一方位；使用多個圖像中的每一個圖像的相應方位信息，確定多個圖像之中與最接近檢測到的第一移動設備的第一方位的相應方位信息相關聯(lián)的第一圖像；以及在與第一移動設備相關聯(lián)的顯示屏上顯示多個圖像中的第一圖像。
2.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中該方法進一步包括:檢測第一移動設備的第二方位；使用多個圖像中的每一個圖像的相應方位信息，確定多個圖像之中與最接近檢測到的第一移動設備的第二方位的相應方位信息相關聯(lián)的第二圖像；以及在與第一移動設備相關聯(lián)的顯示屏上顯示多個圖像中的第二圖像。
3.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中接收特定項目的多個圖像包括:接收多個圖像以及相應的相關聯(lián)方位信息作為單個文件。
4.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中接收特定項目的多個圖像包括:從第二移動設備接收特定項目的多個圖像。
5.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中接收特定項目的多個圖像包括:與廣告相關聯(lián)接收特定項目的多個圖像。
6.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中特定項目的多個圖像的至少一部分已被壓縮。
7.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中特定項目的多個圖像的至少一部分已被注釋。
8.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中特定項目的多個圖像的至少一部分已在視覺上被增強。
9.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中特定項目的多個圖像的至少一部分已利用基于視覺的圖像匹配、色彩校正、視圖插值、不規(guī)則移除以及超分辨率中的一個或多個在視覺上被增強。
10.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中該方法進一步包括:發(fā)送特定項目的多個圖像到搜索引擎作為搜索查詢；以及接收與特定項目相對應的一個或多個搜索結果。
11.如權利要求1所述的一個或多個計算機可讀存儲媒體，其中檢測第一移動設備的第一方位包括:利用加速度計和陀螺儀中的至少一個，檢測第一移動設備的第一方位。
12.—種由具有處理器和存儲器的計算設備執(zhí)行的用于與廣告相關聯(lián)來利用空間組織的圖像的方法，該方法包括:接收特定項目的多個圖像，多個圖像中的每一個圖像與相應方位信息相關聯(lián)；處理多個圖像，其中該處理包括:將多個圖像中的至少第一部分以及相應的相關聯(lián)方位信息與廣告相關聯(lián)；接收對于廣告的請求；以及發(fā)送廣告以及多個圖像中相關聯(lián)的至少第一部分和相應的相關聯(lián)方位信息，用于在第一移動設備上顯示，以致于移動設備的方位的改變導致多個圖像中的至少第一部分的不同圖像將與廣告相關聯(lián)顯示在第一移動設備上。
13.如權利要求12的方法，其中接收特定項目的多個圖像包括:從第二移動設備接收特定項目的多個圖像以及相應的相關聯(lián)方位信息。
14.如權利要求12的方法，其中處理多個圖像進一步包括:注釋多個圖像中的至少第二部分。
15.—個或多個存儲計算機可用指令的計算機可讀存儲媒體，其中計算機可用指令當被一個或多個計算設備使用時導致一個或多個計算設備執(zhí)行用于將空間組織的圖像用作搜索查詢的方法，該方法包括:接收特定項目的多個圖像作為搜索查詢，多個圖像之中的每一個圖像與相應方位信息相關聯(lián)；利用多個圖像以及相關聯(lián)的相應方位信息，確定與特定項目相對應的一個或多個搜索結果；以及發(fā)送一個或多個搜索`結果，以便呈現(xiàn)。
【文檔編號】G06Q50/10GK103620638SQ201280032226
【公開日】2014年3月5日 申請日期:2012年6月1日 優(yōu)先權日:2011年6月29日
【發(fā)明者】B.埃普什坦, E.奧菲克 申請人:微軟公司