用于以數(shù)字圖像格式向應(yīng)用處理器提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)的方法和系統(tǒng)的制作方法
【專利摘要】描述了用于向移動(dòng)設(shè)備上的應(yīng)用處理器提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)的方法和系統(tǒng)。示例方法涉及：從移動(dòng)設(shè)備的至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)以及從移動(dòng)設(shè)備的慣性測(cè)量單元(IMU)接收傳感器數(shù)據(jù)。該方法還涉及生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。傳感器數(shù)據(jù)例如可以被嵌入到數(shù)字圖像的像素中。此外，該方法然后涉及使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。因此，傳感器數(shù)據(jù)和圖像數(shù)據(jù)可以在單個(gè)數(shù)據(jù)結(jié)構(gòu)中提供至應(yīng)用處理器。
【專利說明】用于以數(shù)字圖像格式向應(yīng)用處理器提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)的方法和系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)參照2013年12月31日提交的美國(guó)專利申請(qǐng)序列號(hào)第14145，522號(hào)，要求其優(yōu)先權(quán)并要求其權(quán)益，其全部?jī)?nèi)容通過引用合并于此。
【背景技術(shù)】
[0003]除了具有高級(jí)的計(jì)算和連接能力以便利高速數(shù)據(jù)通信之外，許多現(xiàn)代移動(dòng)設(shè)備還包括多種傳感器。例如，諸如智能電話、平板設(shè)備和可穿戴計(jì)算設(shè)備的移動(dòng)設(shè)備經(jīng)常被配備有用于成像和定位的傳感器?？梢栽谝苿?dòng)設(shè)備中找到的傳感器的一些示例包括加速度計(jì)、陀螺儀、磁力計(jì)、氣壓計(jì)、全球定位系統(tǒng)(GPS)接收器、麥克風(fēng)、相機(jī)、W1-Fi傳感器、藍(lán)牙傳感器、溫度傳感器和壓力傳感器以及其他類型的傳感器。
[0004]種類廣泛的可用傳感器使得移動(dòng)設(shè)備能夠執(zhí)行各種功能并提供各種用戶體驗(yàn)。作為一個(gè)示例，當(dāng)用戶將移動(dòng)設(shè)備移動(dòng)通過一環(huán)境時(shí)，移動(dòng)設(shè)備可以使用成像和/或定位數(shù)據(jù)來確定移動(dòng)設(shè)備的軌跡。作為另一示例，移動(dòng)設(shè)備可以使用成像和/或定位數(shù)據(jù)來執(zhí)行測(cè)程過程(即，確定移動(dòng)設(shè)備在一環(huán)境中的位置和朝向)。作為又一示例，移動(dòng)設(shè)備可以使用成像和/或定位數(shù)據(jù)來生成環(huán)境的2D或3D地圖，或確定移動(dòng)設(shè)備在環(huán)境的2D或3D地圖內(nèi)的位置。作為又一示例，移動(dòng)設(shè)備可以使用成像和/或定位數(shù)據(jù)來便利增強(qiáng)現(xiàn)實(shí)應(yīng)用。還存在其他示例。

【發(fā)明內(nèi)容】

[0005]在移動(dòng)設(shè)備依賴來自兩個(gè)或更多個(gè)傳感器的數(shù)據(jù)以執(zhí)行特定功能(例如，軌跡確定、測(cè)程、地圖生成等)的示例中，在單個(gè)數(shù)據(jù)結(jié)構(gòu)內(nèi)將來自傳感器中的每一者的數(shù)據(jù)提供至應(yīng)用處理器可能是有利的。在單個(gè)數(shù)據(jù)結(jié)構(gòu)內(nèi)提供來自傳感器中的每一者的數(shù)據(jù)可以減少/消除當(dāng)提供來自第一傳感器的數(shù)據(jù)時(shí)的時(shí)間與當(dāng)提供來自第二傳感器的數(shù)據(jù)時(shí)的時(shí)間之間的延遲。此外，在單個(gè)數(shù)據(jù)結(jié)構(gòu)內(nèi)提供來自傳感器中的每一者的數(shù)據(jù)可以有助于確保來自傳感器中的每一者的數(shù)據(jù)對(duì)應(yīng)于在同一時(shí)刻或相同時(shí)間段期間收集的數(shù)據(jù)。
[0006]這里描述了用于在單個(gè)數(shù)據(jù)結(jié)構(gòu)內(nèi)將傳感器數(shù)據(jù)和圖像數(shù)據(jù)提供至移動(dòng)設(shè)備上的應(yīng)用處理器的方法和系統(tǒng)。在示例中，提供了用于在數(shù)字圖像內(nèi)提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)的方法和系統(tǒng)。此外，在一些示例中，可以在相機(jī)總線接口上向應(yīng)用處理器提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)，用于快速發(fā)送大量數(shù)據(jù)。
[0007]在一個(gè)示例方面中，提供了一種方法。該方法涉及:由移動(dòng)設(shè)備的處理器接收來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像數(shù)據(jù)、以及來自移動(dòng)設(shè)備的慣性測(cè)量單元(MU)的傳感器數(shù)據(jù)。該方法還涉及:由處理器生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中。該方法還涉及:由處理器使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。
[0008]在另一示例方面中，提供了一種移動(dòng)設(shè)備中的處理單元。所述處理單元包括數(shù)據(jù)存儲(chǔ)裝置以及存儲(chǔ)在數(shù)據(jù)存儲(chǔ)裝置中并且可由處理單元運(yùn)行以執(zhí)行功能的指令。所述功能包括接收來自移動(dòng)設(shè)備的至少一個(gè)相機(jī)的圖像數(shù)據(jù)、以及來自移動(dòng)設(shè)備的MU的傳感器數(shù)據(jù)。所述功能還包括生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中。所述功能還包括使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。
[0009]在又一示例方面中，提供了一種移動(dòng)設(shè)備。該移動(dòng)設(shè)備包括應(yīng)用處理器、至少一個(gè)相機(jī)、MU以及處理器。處理器被配置為接收來自至少一個(gè)相機(jī)的圖像數(shù)據(jù)以及來自MU的傳感器數(shù)據(jù)。處理器還被配置為生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中。處理器還被配置為使用相機(jī)總線接口將數(shù)字圖像提供至應(yīng)用處理器。
[0010]前述總結(jié)僅是說明性的，而并不意圖以任何方式進(jìn)行限制。除了上述說明性方面、實(shí)施例、特征以外，另外的方面、實(shí)施例和特征將通過參考附圖和下面的詳細(xì)描述而變得明顯。
【附圖說明】
[0011]圖1圖示了示例計(jì)算設(shè)備。
[0012]圖2圖示了另一示例計(jì)算設(shè)備。
[0013]圖3A-3B是示例計(jì)算設(shè)備的概念圖示。
[0014]圖4是用于提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)至應(yīng)用處理器的示例方法的框圖。
[0015]圖5是示例數(shù)字圖像格式的概念圖示。
[0016]圖6是示例傳感器數(shù)據(jù)格式和示例計(jì)算機(jī)視覺數(shù)據(jù)格式的概念圖示。
[0017]圖7是用于生成數(shù)字圖像的示例方法的流程圖。
【具體實(shí)施方式】
[0018]在下面的詳細(xì)描述中，參照形成詳細(xì)描述的一部分的附圖。在附圖中，類似符號(hào)通常標(biāo)識(shí)類似組件，除非上下文另有所指。在詳細(xì)描述、附圖和權(quán)利要求中描述的說明性實(shí)施例并不意在進(jìn)行限制。可以利用其他實(shí)施例，并且可以進(jìn)行其他改變，而不脫離這里提出的主題的范圍。將容易理解，如這里一般性描述并在圖中圖示的本公開的方面可以以種類廣泛的不同配置進(jìn)行布置、替代、組合、分離和設(shè)計(jì)，所有這些在這里是明確設(shè)想到的。
[0019]本公開尤其可以公開用于提供傳感器數(shù)據(jù)和圖像數(shù)據(jù)至移動(dòng)設(shè)備上的應(yīng)用處理器的方法和系統(tǒng)?？梢杂梢苿?dòng)設(shè)備的處理器執(zhí)行的示例方法涉及從移動(dòng)設(shè)備的至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)并從移動(dòng)設(shè)備的MU接收傳感器數(shù)據(jù)。然后，可以由處理器生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。作為示例，處理器可以生成包括圖像數(shù)據(jù)的數(shù)字圖像，并且將傳感器數(shù)據(jù)嵌入至數(shù)字圖像的像素內(nèi)。在生成數(shù)字圖像之后，處理器然后可以使用相機(jī)總線接口將數(shù)字圖像提供至應(yīng)用處理器。
[0020]在另外的示例中，數(shù)字圖像可包括額外的數(shù)據(jù)，諸如3D深度數(shù)據(jù)、計(jì)算機(jī)視覺數(shù)據(jù)、時(shí)間戳信息或其他類型的傳感器數(shù)據(jù)。另外，在一些示例中，處理器可以以特定方式將數(shù)據(jù)布置在數(shù)字圖像內(nèi)，使得在數(shù)字圖像的頂部或起始提供用于執(zhí)行特定功能的輕的(例如，在存儲(chǔ)大小方面小的)且時(shí)間敏感的數(shù)據(jù)，而在之后提供較大的且較不時(shí)間敏感的數(shù)據(jù)。結(jié)果，應(yīng)用處理器可以首先接收輕的且時(shí)間敏感的數(shù)據(jù)，并且可以開始處理數(shù)據(jù)，而無需等待整個(gè)數(shù)字圖像被接收。
[0021]下面參照附圖描述額外的示例方法以及示例設(shè)備(例如，移動(dòng)的或其他)。
[0022]現(xiàn)在參照附圖，圖1圖示了示例計(jì)算設(shè)備100。在一些示例中，圖1中所圖示的組件可以分布在多個(gè)計(jì)算設(shè)備之間。然而，為了示例，將組件示出和描述為一個(gè)示例計(jì)算設(shè)備100的一部分。計(jì)算設(shè)備100可以是或包括移動(dòng)設(shè)備(諸如移動(dòng)電話)、桌面型計(jì)算機(jī)、膝上型計(jì)算機(jī)、電子郵件/消息傳輸設(shè)備、平板計(jì)算機(jī)或可被配置為執(zhí)行這里描述的功能的類似設(shè)備。通常，計(jì)算設(shè)備100可以是被配置為根據(jù)這里描述的方法和功能發(fā)送數(shù)據(jù)或接收數(shù)據(jù)的任何類型的計(jì)算設(shè)備或發(fā)送器。
[0023]計(jì)算設(shè)備100可以包括接口 102、無線通信組件104、蜂窩無線電通信組件106、全球定位系統(tǒng)(GPS)接收器108、(一個(gè)或多個(gè))傳感器110、數(shù)據(jù)存儲(chǔ)裝置112以及(一個(gè)或多個(gè))處理器114。圖1中所示的組件可以通過通信鏈路116鏈接在一起。計(jì)算設(shè)備100還可以包括使得能夠在計(jì)算設(shè)備100內(nèi)以及在計(jì)算設(shè)備100與諸如服務(wù)器實(shí)體的其他計(jì)算設(shè)備(未示出)之間進(jìn)行通信的硬件。所述硬件例如可包括發(fā)送器、接收器和天線。
[0024]接口102可以被配置為允許計(jì)算設(shè)備100與諸如服務(wù)器的其他計(jì)算設(shè)備(未示出)通信。因此，接口 102可以被配置為從一個(gè)或多個(gè)計(jì)算設(shè)備接收輸入數(shù)據(jù)，并且還可以被配置為將輸出數(shù)據(jù)發(fā)送至一個(gè)或多個(gè)計(jì)算設(shè)備。接口 102可以被配置為根據(jù)有線或無線通信協(xié)議工作。在一些示例中，接口 1 2可以包括按鈕、鍵盤、觸摸屏、(一個(gè)或多個(gè))揚(yáng)聲器118、(一個(gè)或多個(gè))麥克風(fēng)120和/或任何其他用于接收輸入的元件以及一個(gè)或多個(gè)顯示器和/或任何其他用于傳遞輸出的元件。
[0025]無線通信組件104可以是通信接口，該通信接口被配置為根據(jù)一個(gè)或多個(gè)無線通信標(biāo)準(zhǔn)促進(jìn)用于計(jì)算設(shè)備100的無線數(shù)據(jù)通信。例如，無線通信組件104可以包括W1-Fi通信組件，該W1-Fi通信組件被配置為根據(jù)一個(gè)或多個(gè)IEEE 802.11標(biāo)準(zhǔn)促進(jìn)無線數(shù)據(jù)通信。作為另一示例，無線通信組件104可以包括藍(lán)牙通信組件，該藍(lán)牙通信組件被配置為根據(jù)一個(gè)或多個(gè)藍(lán)牙標(biāo)準(zhǔn)促進(jìn)無線數(shù)據(jù)通信。其他示例也是可能的。
[0026]蜂窩無線電通信組件106可以是通信接口，該通信接口被配置為促進(jìn)與蜂窩無線基站的無線通信(語音和/或數(shù)據(jù))以提供至網(wǎng)絡(luò)的移動(dòng)連接。蜂窩無線電通信組件106可以被配置為例如連接至移動(dòng)設(shè)備100所位于的小區(qū)的基站。
[0027]GPS接收器108可以被配置為通過GPS衛(wèi)星所發(fā)送的準(zhǔn)確定時(shí)信號(hào)估計(jì)計(jì)算設(shè)備100的位置。
[0028](—個(gè)或多個(gè))傳感器110可包括一個(gè)或多個(gè)傳感器，或可以表示計(jì)算設(shè)備100內(nèi)包括的一個(gè)或多個(gè)傳感器。示例傳感器包括加速度計(jì)、陀螺儀、計(jì)步器、光傳感器、麥克風(fēng)、(一個(gè)或多個(gè))相機(jī)、紅外閃光燈、氣壓計(jì)、磁力計(jì)、W1-F1、近場(chǎng)通信(NFC)、藍(lán)牙、投影儀、深度傳感器、溫度傳感器或其他位置和/或環(huán)境感知的傳感器。
[0029]數(shù)據(jù)存儲(chǔ)裝置112可以存儲(chǔ)可以由(一個(gè)或多個(gè))處理器114訪問和運(yùn)行的程序邏輯122。數(shù)據(jù)存儲(chǔ)裝置112還可存儲(chǔ)由(一個(gè)或多個(gè))傳感器110收集的數(shù)據(jù)，或由無線通信組件104、蜂窩無線電通信組件106和GPS接收器108中的任一者收集的數(shù)據(jù)。
[0030](一個(gè)或多個(gè))處理器114可以被配置為接收由(一個(gè)或多個(gè))傳感器110的任一者收集的數(shù)據(jù)，并基于該數(shù)據(jù)執(zhí)行任何數(shù)目的功能。作為示例，(一個(gè)或多個(gè))處理器114可以被配置為使用一個(gè)或多個(gè)位置確定組件，諸如無線通信組件104、蜂窩無線電通信組件106或GPS接收器108，來確定對(duì)計(jì)算設(shè)備100的一個(gè)或多個(gè)地理位置估計(jì)。(一個(gè)或多個(gè))處理器114可以使用位置確定算法來基于計(jì)算設(shè)備100的無線范圍內(nèi)的一個(gè)或多個(gè)已知無線接入點(diǎn)的存在和/或位置確定計(jì)算設(shè)備100的位置。在一個(gè)示例中，無線通信組件104可以確定一個(gè)或多個(gè)無線接入點(diǎn)(例如，MAC地址)的標(biāo)識(shí)，并且測(cè)量從一個(gè)或多個(gè)無線接入點(diǎn)中的每一者接收到的信號(hào)的強(qiáng)度(例如，接收信號(hào)強(qiáng)度指示)。來自每個(gè)獨(dú)特的無線接入點(diǎn)的接收信號(hào)強(qiáng)度指示(RSSI)可以被用于確定距每個(gè)無線接入點(diǎn)的距離。然后可以將該距離與存儲(chǔ)關(guān)于每個(gè)獨(dú)特的無線接入點(diǎn)所位于的地方的信息的數(shù)據(jù)庫(kù)進(jìn)行比較?；诰嗝總€(gè)無線接入點(diǎn)的距離以及無線接入點(diǎn)中的每一者的已知位置，可以確定對(duì)計(jì)算設(shè)備100的位置估計(jì)。
[0031]在另一示例中，(一個(gè)或多個(gè))處理器114可以使用位置確定算法來基于附近蜂窩基站確定計(jì)算設(shè)備100的位置。例如，蜂窩無線電通信組件106可以被配置為標(biāo)識(shí)計(jì)算設(shè)備100正從哪個(gè)小區(qū)接收來自蜂窩網(wǎng)絡(luò)的信號(hào)，或最后從哪個(gè)小區(qū)接收到來自蜂窩網(wǎng)絡(luò)的信號(hào)。蜂窩無線電通信組件106還可以被配置為測(cè)量至提供信號(hào)的基站的往返時(shí)間(roundtrip time,RTT)，并將該信息與所標(biāo)識(shí)的小區(qū)組合以確定位置估計(jì)。在另一示例中，蜂窩通信組件106可以被配置為使用來自三個(gè)或更多個(gè)基站的觀測(cè)到達(dá)時(shí)間差(observed timedifference of arrival，0TD0A)，來估計(jì)計(jì)算設(shè)備 100的位置。
[0032]在一些實(shí)現(xiàn)方式中，計(jì)算設(shè)備100可以包括設(shè)備平臺(tái)(未示出)，該設(shè)備平臺(tái)可被配置為多層Linux平臺(tái)。除了各種內(nèi)核、庫(kù)和運(yùn)行時(shí)實(shí)體外，設(shè)備平臺(tái)還可包括不同應(yīng)用和應(yīng)用框架。在其他示例中，其他格式或操作系統(tǒng)也可操作計(jì)算設(shè)備100。
[0033]通信鏈路116被圖示為有線連接;然而，也可使用無線連接。例如，通信鏈路116可以是諸如通用串行總線的有線串行總線或并行總線，或者使用例如短距離無線無線電技術(shù)或在IEEE 802.11(包括任何IEEE 802.11修訂版)中描述的通信協(xié)議的無線連接等等。
[0034]計(jì)算設(shè)備100可包括更多或更少的組件。此外，這里描述的示例方法可以由計(jì)算設(shè)備100的組件單獨(dú)執(zhí)行，或由計(jì)算設(shè)備100的組件中的一個(gè)或全部組合執(zhí)行。圖2圖示了另一示例計(jì)算設(shè)備200。圖2中的計(jì)算設(shè)備200可以代表圖1中所示的計(jì)算設(shè)備100的一部分。在圖2中，計(jì)算設(shè)備200被示出為包括多個(gè)傳感器，諸如包括陀螺儀204和加速度計(jì)206的慣性測(cè)量單元(IMU)202、全局快門(global shutter，GS)相機(jī)208、卷簾快門(rolling shutter,RS)相機(jī)210、前置相機(jī)212、紅外(IR)閃光燈214、氣壓計(jì)216、磁力計(jì)218、GPS接收器220、W1-Fi/NFC/藍(lán)牙傳感器222、投影儀224和溫度傳感器226，其中的每一者輸出至協(xié)處理器230。另外，計(jì)算設(shè)備200被示出為包括深度處理器228，深度處理器228從協(xié)處理器230接收輸入并輸出至協(xié)處理器230。而且，協(xié)處理器230從應(yīng)用處理器232接收輸入并輸出至應(yīng)用處理器232。計(jì)算設(shè)備200還可包括第二頂U(kuò) 234，第二頂U(kuò) 234直接輸出至應(yīng)用處理器232。
[0035]IMU 202可以被配置為基于陀螺儀204和加速度計(jì)206的輸出確定計(jì)算設(shè)備200的速度、朝向和重力。
[0036]GS相機(jī)208可以被配置在計(jì)算設(shè)備200上以作為后置相機(jī)，以便背向計(jì)算設(shè)備200的前方。GS相機(jī)208可以被配置為同時(shí)讀取相機(jī)208的所有像素的輸出。GS相機(jī)208可以被配置為具有大約120-170度的視場(chǎng)，諸如魚眼傳感器，以用于廣角查看。
[0037]RS相機(jī)210可以被配置為讀取從像素顯示的頂部到像素顯示的底部的像素的輸出。作為一個(gè)示例，RS相機(jī)210可以是紅/綠/藍(lán)(RGB)紅外(IR)4兆像素圖像傳感器，盡管其他傳感器也是可能的。RS相機(jī)210可以具有快速曝光以便以例如大約5.5ms的最小讀出時(shí)間進(jìn)行操作。如同GS相機(jī)208，RS相機(jī)210可以是后置相機(jī)。
[0038]相機(jī)212可以是計(jì)算設(shè)備200中的額外相機(jī)，其被配置為前置相機(jī)，或在面向與GS相機(jī)208和RS相機(jī)210相對(duì)的方向上。例如，相機(jī)212可以是廣角相機(jī)，并且可以具有大約120-170度的視場(chǎng)，以用于廣角查看。
[0039]IR閃光燈214可以提供用于計(jì)算設(shè)備200的光源，并且可以被配置為在朝向計(jì)算設(shè)備200的后方的方向上輸出光以便提供例如用于GS相機(jī)208和RS相機(jī)210的光。在一些示例中，IR閃光燈214可以被配置為以諸如5Hz的低占空比或由協(xié)處理器230或應(yīng)用處理器232所指示的非連續(xù)方式進(jìn)行閃光。IR閃光燈214可以包括LED光源，該LED光源被配置用于在例如移動(dòng)設(shè)備中使用。
[0040]圖3A-3B是示出計(jì)算設(shè)備300上的傳感器中的一些的配置的計(jì)算設(shè)備300的概念圖示。在圖3A-3B中，計(jì)算設(shè)備300被示出為移動(dòng)電話。計(jì)算設(shè)備300可以類似于圖1中的計(jì)算設(shè)備100或圖2中的計(jì)算設(shè)備200中的任一者。圖3A圖示了提供顯示器302以及前置相機(jī)304和P/L傳感器開口 306(例如，接近或光傳感器)的計(jì)算設(shè)備300的前側(cè)。前置相機(jī)304可以是如圖2中所示的相機(jī)212。
[°041 ]圖3B圖示了提供后置相機(jī)310和另一后置相機(jī)314的計(jì)算設(shè)備300的后側(cè)308。后置相機(jī)310可以是RS相機(jī)210，并且后置相機(jī)312可以是GS相機(jī)208，如在圖2中的計(jì)算設(shè)備200中所描述的。計(jì)算設(shè)備300的后側(cè)308還包括IR閃光燈314，IR閃光燈314可以是如在圖2中的計(jì)算設(shè)備200中所描述的IR閃光燈214或投影儀224。在一個(gè)示例中，IR閃光燈214和投影儀224可以是同一個(gè)。例如，單個(gè)IR閃光燈可以被用于執(zhí)行IR閃光燈214和投影儀224的功能。在另一示例中，計(jì)算設(shè)備300可以包括位于后置相機(jī)310附近的第二閃光燈(例如，LED閃光燈)(未示出)。傳感器的配置和放置可以有助于例如提供計(jì)算設(shè)備300的所期望的功能，然而，其他配置也是可能的。
[0042]回來參照?qǐng)D2，氣壓計(jì)216可以包括壓力傳感器，并且可以被配置為確定氣壓和高度改變。
[0043]磁力計(jì)218可以被配置為提供對(duì)計(jì)算設(shè)備200的翻滾、偏航和俯仰測(cè)量，并且可以被配置為例如作為內(nèi)部羅盤進(jìn)行操作。在一些示例中，磁力計(jì)218可以是頂U(kuò) 202的組件。
[0044]GPS接收器220可以類似于在圖1的計(jì)算設(shè)備100中描述的GPS接收器108。在另外的示例中，GPS 220還可輸出如從GPS衛(wèi)星或其他網(wǎng)絡(luò)實(shí)體接收到的定時(shí)信號(hào)。這樣的定時(shí)信號(hào)可以被用于同步來自多個(gè)設(shè)備之間的傳感器的、包括相同衛(wèi)星時(shí)間戳的所收集的數(shù)據(jù)。
[0045]W1-Fi/NFC/藍(lán)牙傳感器222可以包括無線通信組件，所述無線通信組件被配置為根據(jù)如上文與圖1的計(jì)算設(shè)備100—起論述的W1-Fi和藍(lán)牙標(biāo)準(zhǔn)以及根據(jù)NFC標(biāo)準(zhǔn)進(jìn)行操作，以便經(jīng)由接觸其他設(shè)備或與其他設(shè)備緊密相鄰來建立無線通信。
[0046]投影儀224可以是結(jié)構(gòu)光投影儀或包括結(jié)構(gòu)光投影儀，該結(jié)構(gòu)光投影儀具有擁有圖案生成器的激光器，以在環(huán)境中產(chǎn)生點(diǎn)圖案。投影儀224可以被配置為結(jié)合RS相機(jī)210進(jìn)行操作以在環(huán)境中恢復(fù)關(guān)于對(duì)象的深度的信息，諸如對(duì)象的三維(3D)特性。例如，RS相機(jī)210可以是RGB-1R相機(jī)，其被配置為捕獲點(diǎn)圖案的一個(gè)或多個(gè)圖像，并將圖像數(shù)據(jù)提供至深度處理器228。深度處理器228然后可以被配置為基于所投影的點(diǎn)圖案確定距對(duì)象的距離和對(duì)象的形狀。作為示例，深度處理器228可以被配置為使得投影儀224產(chǎn)生點(diǎn)圖案并使得RS相機(jī)210捕獲點(diǎn)圖案的圖像。深度處理器然后可以處理點(diǎn)圖案的圖像，使用各種算法來進(jìn)行三角測(cè)量以及提取3D數(shù)據(jù)，并將深度圖像輸出至協(xié)處理器230。
[0047]溫度傳感器226可以被配置為測(cè)量計(jì)算設(shè)備200的周圍環(huán)境的例如溫度或溫度梯度，諸如溫度的改變。
[0048]協(xié)處理器230可以被配置為控制計(jì)算設(shè)備200上的所有傳感器。在示例中，協(xié)處理器230可以控制相機(jī)208、210和212中的任一者的曝光時(shí)間以與IR閃光燈214匹配，控制投影儀224的脈沖同步、持續(xù)時(shí)間和強(qiáng)度，并且總體上控制傳感器的數(shù)據(jù)捕獲或收集時(shí)間。協(xié)處理器230還可以被配置為將來自傳感器中的任一者的數(shù)據(jù)處理成對(duì)于應(yīng)用處理器232適當(dāng)?shù)母袷健Ｔ谝恍┦纠?，協(xié)處理器230將來自與相同時(shí)間戳或數(shù)據(jù)收集時(shí)間(或時(shí)間段)相對(duì)應(yīng)的傳感器中的任一者的所有數(shù)據(jù)都合并成單個(gè)數(shù)據(jù)結(jié)構(gòu)，以提供至應(yīng)用處理器232。
[0049]應(yīng)用處理器232可以被配置為控制計(jì)算設(shè)備200的其他功能，諸如控制計(jì)算設(shè)備200根據(jù)計(jì)算設(shè)備200上存儲(chǔ)的操作系統(tǒng)或任何數(shù)目的軟件應(yīng)用進(jìn)行操作。應(yīng)用處理器232可以使用由傳感器收集并從協(xié)處理器接收到的數(shù)據(jù)，以執(zhí)行任何數(shù)目的類型的功能。應(yīng)用處理器232可以接收協(xié)處理器230的輸出，并且在一些示例中，應(yīng)用處理器232也可以接收來自包括GS相機(jī)208和RS相機(jī)210的其他傳感器的原始數(shù)據(jù)輸出。
[0050]第二IMU234可以將收集的數(shù)據(jù)直接輸出至應(yīng)用處理器232，該數(shù)據(jù)可以由應(yīng)用處理器232接收到并用于觸發(fā)其他傳感器開始收集數(shù)據(jù)。作為示例，第二MU 234的輸出可以指示計(jì)算設(shè)備200的運(yùn)動(dòng)，并且當(dāng)計(jì)算設(shè)備200在運(yùn)動(dòng)中時(shí)，其可能希望收集圖像數(shù)據(jù)、GPS數(shù)據(jù)等。因此，應(yīng)用處理器232可以通過在公共總線上的通信信令來觸發(fā)其他傳感器，以在IMU 234的輸出指示運(yùn)動(dòng)的時(shí)間收集數(shù)據(jù)。
[0051]圖2中所示的計(jì)算設(shè)備200在傳感器中的每一者與處理器之間可以包括多個(gè)通信總線。例如，協(xié)處理器230可以在包括用于通信的多主串行單端總線的內(nèi)置集成電路(inter-1ntegrated circuit，I2C)總線上與頂U(kuò) 202、GS相機(jī)208和RS相機(jī)212中的每一者通信。協(xié)處理器230可以在相同I2C總線或分開的通信總線上接收由MU 202、GS相機(jī)208和RS相機(jī)212中的每一者收集、測(cè)量或檢測(cè)的原始數(shù)據(jù)。協(xié)處理器230可以在多個(gè)通信總線上與應(yīng)用處理器232通信，所述多個(gè)通信總線包括:串行外設(shè)接口(serial peripheralinterfaCe，SPI)總線，其包括可以在全雙工模式下操作的同步串行數(shù)據(jù)鏈路；以及移動(dòng)產(chǎn)業(yè)處理器接口(mobile industry processor interface，MIPI)，其包括被配置用于傳遞相機(jī)或像素信息的串行接口。例如可以基于對(duì)數(shù)據(jù)的通信速度的需求以及各個(gè)通信總線所提供的帶寬來確定對(duì)各種總線的使用。
[0052]圖4是用于將傳感器數(shù)據(jù)和圖像數(shù)據(jù)提供至應(yīng)用處理器的示例方法400的框圖。圖4中所示的方法400提出了例如可以由圖1的計(jì)算設(shè)備100或圖2的計(jì)算設(shè)備200或更一般地由任意計(jì)算設(shè)備的一個(gè)或多個(gè)組件使用或?qū)崿F(xiàn)的方法的實(shí)施例。為了簡(jiǎn)化，方法400將被描述為由圖2的協(xié)處理器230執(zhí)行。方法400可以包括如由塊402-406中的一個(gè)或多個(gè)指示的一個(gè)或多個(gè)操作、功能或動(dòng)作。盡管各塊以順序次序示出，但是這些塊也可以并行執(zhí)行，和/或以與這里所描述的次序不同的次序執(zhí)行。此外，各個(gè)塊可以被組合成更少的塊，劃分成額外的塊，和/或基于期望的實(shí)現(xiàn)方式而移除。
[0053]此外，對(duì)于方法400以及這里公開的其他過程和方法，框圖示出了本實(shí)施例的一個(gè)可能的實(shí)現(xiàn)方式的功能和操作。關(guān)于此點(diǎn)，每個(gè)塊可以表示程序代碼的模塊、片段或一部分，所述程序代碼包括可以由處理器或計(jì)算設(shè)備執(zhí)行以用于實(shí)現(xiàn)過程中的特定邏輯功能或步驟的一個(gè)或多個(gè)指令。程序代碼可以被存儲(chǔ)在任意類型的計(jì)算機(jī)可讀介質(zhì)上，例如諸如包括盤或硬盤驅(qū)動(dòng)的存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀介質(zhì)可以包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，例如諸如短時(shí)間段存儲(chǔ)數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)，比如寄存器存儲(chǔ)器、處理器高速緩存和隨機(jī)存取存儲(chǔ)器(RAM)。例如，計(jì)算機(jī)可讀介質(zhì)還可包括非瞬態(tài)介質(zhì)，諸如輔助或永久長(zhǎng)期存儲(chǔ)裝置，比如只讀存儲(chǔ)器(ROM)、光盤或磁盤、緊湊盤只讀存儲(chǔ)器(CD-ROM)。計(jì)算機(jī)可讀介質(zhì)還可以是任何其他易失性或非易失性存儲(chǔ)系統(tǒng)。計(jì)算機(jī)可讀介質(zhì)可以被認(rèn)為是例如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或有形存儲(chǔ)設(shè)備。
[0054]首先，在塊402，方法400包括從移動(dòng)設(shè)備的至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)以及從移動(dòng)設(shè)備的頂U(kuò)接收傳感器數(shù)據(jù)。在一個(gè)示例中，圖2的協(xié)處理器230可以從至少一個(gè)相機(jī)(例如，圖2的GS相機(jī)208、RS相機(jī)210或相機(jī)212)接收?qǐng)D像數(shù)據(jù)。圖像數(shù)據(jù)可以是任何分辨率。在協(xié)處理器230從兩個(gè)或更多個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)的示例中，來自相機(jī)中的每一者的圖像數(shù)據(jù)可以是相同分辨率，或者來自相機(jī)中的每一者的圖像數(shù)據(jù)可以具有不同分辨率。圖像數(shù)據(jù)可以包括例如在RGB色彩空間或更一般地在任意色彩空間中定義的像素。
[0055]此外，協(xié)處理器230可以從MU(諸如，圖2的頂U(kuò)202)接收傳感器數(shù)據(jù)。作為示例，來自MU的傳感器數(shù)據(jù)可以是原始加速度計(jì)數(shù)據(jù)、陀螺儀數(shù)據(jù)和/或磁力計(jì)數(shù)據(jù)。例如，來自加速度計(jì)、陀螺儀或磁力計(jì)的傳感器數(shù)據(jù)可以是在移動(dòng)設(shè)備的X軸、y軸和z軸中的一者或其組合中的一個(gè)或多個(gè)加速度計(jì)讀數(shù)。作為示例，個(gè)體加速度計(jì)、陀螺儀或磁力計(jì)讀數(shù)可以是16比特原始傳感器值，其由8比特高位數(shù)(高字節(jié))和8比特低位數(shù)(低字節(jié))組成。然而，示例并不意在進(jìn)行限制，并且其他示例也是可能的。
[0056]在一些示例中，替代來自頂U(kuò)的傳感器數(shù)據(jù)，或除了來自MU的傳感器數(shù)據(jù)以外，協(xié)處理器230還可以接收來自其他傳感器的傳感器數(shù)據(jù)。例如，協(xié)處理器230可以接收來自圖2的傳感器中的任一者或移動(dòng)設(shè)備的任一類型的傳感器的傳感器數(shù)據(jù)。
[0057]協(xié)處理器230可以被配置為按需觸發(fā)傳感器或相機(jī)操作，或者傳感器和相機(jī)可以被配置為在自由運(yùn)行模式中進(jìn)行操作。例如，如果協(xié)處理器230接收對(duì)于數(shù)字圖像的請(qǐng)求，則協(xié)處理器230可以在期望的時(shí)刻觸發(fā)傳感器和相機(jī)中的每一者以使得獲得需要的數(shù)據(jù)。可替換地，協(xié)處理器230可以使得傳感器和相機(jī)自由運(yùn)行，并且當(dāng)接收到數(shù)據(jù)時(shí)，協(xié)處理器230可以對(duì)數(shù)據(jù)打時(shí)間戳以指示何時(shí)接收到該數(shù)據(jù)。例如，如果協(xié)處理器230不能在特定時(shí)間觸發(fā)傳感器或相機(jī)獲得數(shù)據(jù)，則協(xié)處理器230可以請(qǐng)求相機(jī)或傳感器提供最近獲得的數(shù)據(jù)。類似地，協(xié)處理器230可以在特定時(shí)刻觸發(fā)傳感器或相機(jī)中的一些以獲得數(shù)據(jù)，同時(shí)允許其他傳感器或相機(jī)在自由運(yùn)行模式中進(jìn)行操作。
[0058]在塊404，方法400包括生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像。在一個(gè)示例中，協(xié)處理器230可以生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的單個(gè)數(shù)字幀。在一些實(shí)例中，由傳感器接收的圖像數(shù)據(jù)可以包括在RGB色彩空間中定義的像素，并且處理器可以被配置為將圖像數(shù)據(jù)的像素轉(zhuǎn)換到
[0059]YUV色彩空間。經(jīng)轉(zhuǎn)換的圖像數(shù)據(jù)的像素然后可以被添加到數(shù)字圖像。
[0060]此外，協(xié)處理器230可以被配置為將傳感器數(shù)據(jù)表示為數(shù)字幀中的偽像素(S卩，已由處理器定義其值以用于表示傳感器值的一部分的像素)。作為示例，數(shù)字圖像可以包括在亮度和色度(YUV)色彩空間中定義的像素。16比特原始傳感器值然后可以被嵌入到兩像素的“Y”空間中。例如，16比特原始傳感器值的8比特可以被表示在第一像素的“Y”空間中，并且剩余8比特可以被嵌入到第二像素的“Y”空間中。例如，像素的“U”空間和“V”空間中的值可以被設(shè)置為O，以便確保傳感器值例如在圖像壓縮或打包期間不偏移(skew)。
[0061]作為另一示例，32比特單精度浮點(diǎn)數(shù)可以被表示在四個(gè)分開的8比特像素的“Y”空間中，而“U”空間和“Y”空間中的值可以被設(shè)置為O。依賴于每像素的字節(jié)數(shù)和/或數(shù)字圖像所利用的色彩空間，其他示例也是可能的。例如，替代“Y”空間，傳感器數(shù)據(jù)可以被嵌入到“U”空間或“V”空間中。因此，示例并不意在進(jìn)行限制。
[0062]在塊406，方法400包括使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。在一個(gè)示例中，相機(jī)總線接口可以是移動(dòng)產(chǎn)業(yè)處理器接口(MIPI)。在一些示例中，數(shù)字圖像可以由協(xié)處理器230逐行提供至應(yīng)用處理器。因此，處理器可以按照關(guān)于彼此特定的方式布置傳感器數(shù)據(jù)和圖像數(shù)據(jù)。例如，如果傳感器數(shù)據(jù)被認(rèn)為比圖像數(shù)據(jù)更加時(shí)間敏感，則處理器可以將傳感器數(shù)據(jù)嵌入到被提供至應(yīng)用處理器的像素的一行或更多行中，該一行或更多行在包括圖像數(shù)據(jù)的像素的行之前。
[0063]在方法400的又一示例中，協(xié)處理器可以被配置為確定與傳感器數(shù)據(jù)關(guān)聯(lián)的一個(gè)或多個(gè)時(shí)間戳，并且將所確定的(一個(gè)或多個(gè))時(shí)間戳嵌入到數(shù)字圖像的多個(gè)像素中。時(shí)間戳例如可以指示收集傳感器數(shù)據(jù)時(shí)的時(shí)間。在一個(gè)實(shí)例中，所接收的傳感器數(shù)據(jù)自身可以包括時(shí)間戳信息。在另一示例中，協(xié)處理器可以被配置為記錄時(shí)間戳信息。例如，在從MU接收到傳感器數(shù)據(jù)時(shí)，或在將對(duì)于MU收集傳感器數(shù)據(jù)的請(qǐng)求發(fā)送至MU時(shí)，協(xié)處理器可以訪問系統(tǒng)時(shí)鐘以確定當(dāng)前時(shí)間。
[0064]在類似示例中，協(xié)處理器還可以被配置為確定與圖像數(shù)據(jù)關(guān)聯(lián)的一個(gè)或多個(gè)幀計(jì)數(shù)。例如，對(duì)于協(xié)處理器接收到的圖像數(shù)據(jù)的每一幀，協(xié)處理器可以將幀號(hào)分配至圖像數(shù)據(jù)。當(dāng)圖像數(shù)據(jù)的幀被添加到數(shù)字圖像時(shí)，協(xié)處理器然后可以將幀號(hào)嵌入到圖像的一個(gè)或多個(gè)位置中。例如，協(xié)處理器可以被配置為將幀號(hào)嵌入到給定圖像的一個(gè)或多個(gè)角落像素(例如，左上角像素、右上角像素、左下角像素、右下角像素)中。對(duì)于給定圖像的嵌入至數(shù)字圖像中的所有幀計(jì)數(shù)可以都是相同的(例如，每個(gè)幀計(jì)數(shù)可以指示相同幀號(hào))。因此，當(dāng)諸如應(yīng)用處理器的處理器接收到數(shù)字圖像時(shí)，應(yīng)用處理器可能夠確定所有圖像數(shù)據(jù)對(duì)應(yīng)于相同幀。例如，如果圖像的幀號(hào)中的一個(gè)或多個(gè)不一致，則應(yīng)用處理器可以請(qǐng)求協(xié)處理器用正確的圖像數(shù)據(jù)重新生成和/或重新發(fā)送數(shù)字圖像。
[0065]在方法400的又一示例中，協(xié)處理器可以被配置為從諸如深度處理器228的深度處理器接收深度數(shù)據(jù)。作為示例，深度數(shù)據(jù)可以是對(duì)于圖像的每個(gè)像素除了對(duì)應(yīng)深度信息之外還包括色彩信息的深度圖像。例如，深度信息可以指示對(duì)于圖像的每個(gè)像素距環(huán)境中的對(duì)象的距離。在這樣的示例中，協(xié)處理器可以被配置為除了傳感器數(shù)據(jù)和圖像數(shù)據(jù)之外還將深度數(shù)據(jù)包括在數(shù)字圖像中。
[0066]在方法400的又一示例中，協(xié)處理器可以被配置為使用所接收的圖像數(shù)據(jù)確定計(jì)算機(jī)視覺數(shù)據(jù)。計(jì)算機(jī)視覺數(shù)據(jù)可以包括圖像的基于特征檢測(cè)方法或算法確定的一個(gè)或多個(gè)圖像特征。在計(jì)算機(jī)視覺中，特征檢測(cè)指代對(duì)圖像信息的抽象的計(jì)算，以便標(biāo)識(shí)圖像的“感興趣”部分。
[0067]圖像特征的示例類型包括邊緣、角落/興趣點(diǎn)和斑點(diǎn)(blob)。邊緣是圖像中其中存在兩個(gè)圖像區(qū)域之間的邊界的點(diǎn)。角落，或更一般的，興趣點(diǎn)，指代圖像中具有局部二維結(jié)構(gòu)的點(diǎn)狀特征。諸如Harris和Stephens算法的算法可以被用于檢測(cè)邊緣和角落。來自加速片段測(cè)試的特征(Features from Accelerated Segment Test，F(xiàn)AST)算法是可以被用于檢測(cè)角落和興趣點(diǎn)的算法的另一示例。最后，斑點(diǎn)描述了圖像中感興趣的區(qū)域(例如，過于平滑而不能被角落檢測(cè)器檢測(cè)到的區(qū)域KFAST算法尤其還可以被用于檢測(cè)斑點(diǎn)。
[0068]在方法400的另一示例中，協(xié)處理器可以被配置為使用所接收的深度數(shù)據(jù)確定計(jì)算機(jī)視覺數(shù)據(jù)。作為示例，協(xié)處理器可以處理深度數(shù)據(jù)以便提取平面、形狀、角落或其他類型的幾何學(xué)數(shù)據(jù)。例如，協(xié)處理器可以執(zhí)行一個(gè)或多個(gè)算法以便測(cè)量和標(biāo)識(shí)房間中的墻角，標(biāo)識(shí)諸如球體、立方體等的一種或多種形狀，或者從深度數(shù)據(jù)標(biāo)識(shí)并提取地平面。
[0069]在方法400的另一示例中，協(xié)處理器可以被配置為生成包括相關(guān)的色彩和深度數(shù)據(jù)兩者的圖像。例如，協(xié)處理器可以被配置為組合圖像數(shù)據(jù)和深度數(shù)據(jù)以產(chǎn)生組合的色彩和深度圖像(例如，RGB-D圖像，其中“D”指代與一像素或像素群組關(guān)聯(lián)的深度或距離)。作為一個(gè)示例，組合的色彩和深度圖像可以包括來自640 X 480RGB相機(jī)(諸如GS相機(jī)208或RS相機(jī)210)和深度相機(jī)的同步數(shù)據(jù)。組合的色彩和深度圖像還可以被包括在所生成的數(shù)字圖像中。
[0070]在方法400的另一示例中，協(xié)處理器可以被配置為將不同類型的數(shù)據(jù)彼此交叉驗(yàn)證，并確定數(shù)據(jù)的質(zhì)量級(jí)別。例如，協(xié)處理器可以執(zhí)行跨多個(gè)感覺道(modality)的傳感器融合，以便交叉驗(yàn)證并評(píng)估傳感器數(shù)據(jù)、深度數(shù)據(jù)和/或圖像數(shù)據(jù)。作為一個(gè)示例，協(xié)處理器可以確定來自加速度計(jì)和氣壓計(jì)的傳感器數(shù)據(jù)是否指示移動(dòng)設(shè)備的運(yùn)動(dòng)的相同改變(例如，指示移動(dòng)設(shè)備已經(jīng)向上移動(dòng)五英寸)。類似地，協(xié)處理器可以確定IMU數(shù)據(jù)是否與兩個(gè)圖像之間的圖像特征的位置改變一致。
[0071]在方法400的又一示例中，協(xié)處理器可以被配置為生成包括冗余數(shù)據(jù)的數(shù)字圖像。例如，替代僅發(fā)送對(duì)應(yīng)于單個(gè)時(shí)刻的數(shù)據(jù)，數(shù)字圖像可以包括對(duì)應(yīng)于該時(shí)間點(diǎn)的數(shù)據(jù)以及來自之前的十張生成的數(shù)字圖像的數(shù)據(jù)。在一個(gè)示例中，可以僅冗余地發(fā)送傳感器數(shù)據(jù)。在其他示例中，可以冗余地發(fā)送數(shù)據(jù)的任一者或全部。因此，給定數(shù)字圖像例如可以包括對(duì)應(yīng)于最后十張數(shù)字圖像的深度數(shù)據(jù)。如果例如給定時(shí)刻的數(shù)據(jù)片段或整個(gè)數(shù)字圖像被破壞或包括錯(cuò)誤，則應(yīng)用處理器可以訪問冗余數(shù)據(jù)。
[0072]在一些實(shí)例中，生成包括來自不同類型的傳感器的數(shù)據(jù)的數(shù)字圖像可以允許應(yīng)用處理器執(zhí)行獨(dú)特功能。例如，如果數(shù)字圖像包括圖像數(shù)據(jù)以及在相同時(shí)間或在相同時(shí)間段期間收集的深度數(shù)據(jù)和/或傳感器數(shù)據(jù)，則應(yīng)用處理器可以從數(shù)字圖像中提取傳感器數(shù)據(jù)，并且與圖像數(shù)據(jù)結(jié)合地處理傳感器數(shù)據(jù)，以執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)視覺功能。作為示例，應(yīng)用處理器可以將數(shù)字圖像中的圖像與之前的圖像進(jìn)行比較，并且基于MU數(shù)據(jù)，估計(jì)解釋圖像中的特征的位置之間的任何改變的移動(dòng)設(shè)備的朝向或位置的改變。
[0073]在其他實(shí)例中，數(shù)字圖像的尺寸可以依賴于可用傳感器數(shù)據(jù)而可調(diào)節(jié)。例如，如果移動(dòng)設(shè)備的一個(gè)或多個(gè)傳感器(諸如GPS接收器)在給定時(shí)間不能輸出數(shù)據(jù)，則該時(shí)間的數(shù)字圖像可以不包括任何GPS數(shù)據(jù)。
[0074]在一些示例中，協(xié)處理器和/或應(yīng)用處理器可以在存儲(chǔ)器中存儲(chǔ)并重復(fù)重寫預(yù)定數(shù)目的最近的數(shù)字圖像的副本。例如，應(yīng)用處理器可以將從協(xié)處理器接收到的最后五張數(shù)字圖像存儲(chǔ)在存儲(chǔ)器中。應(yīng)用處理器然后可以在期望時(shí)訪問所存儲(chǔ)的數(shù)字圖像以重新創(chuàng)建傳感器數(shù)據(jù)或圖像數(shù)據(jù)的時(shí)間線。
[0075]現(xiàn)在轉(zhuǎn)向圖5，示例數(shù)字圖像格式的概念圖示500被示出。概念圖示500僅為了示例的目的而被示出，并且并不意在以任何方式進(jìn)行限制。數(shù)字圖像的其他配置和格式也被設(shè)想到了。
[0076]如圖5中所示，示例數(shù)字圖像格式包括傳感器數(shù)據(jù)502、計(jì)算機(jī)視覺數(shù)據(jù)504、第一相機(jī)數(shù)據(jù)506、深度數(shù)據(jù)508和第二相機(jī)數(shù)據(jù)510。傳感器數(shù)據(jù)502被示出為在數(shù)字圖像的前十六行內(nèi)。此后，在接下來的幾行中，提供計(jì)算機(jī)視覺數(shù)據(jù)504。因此，在將數(shù)字圖像逐行提供至應(yīng)用處理器的示例中，將首先提供傳感器數(shù)據(jù)502，接著是計(jì)算機(jī)視覺數(shù)據(jù)504。
[0077]在示出為占據(jù)示例數(shù)字圖像格式500中的31行的傳感器數(shù)據(jù)502和計(jì)算機(jī)視覺數(shù)據(jù)504下方，更大的數(shù)據(jù)源被提供。更大的數(shù)據(jù)源包括第一相機(jī)數(shù)據(jù)506，接著是深度數(shù)據(jù)508和第二相機(jī)數(shù)據(jù)510。在一個(gè)示例中，第一相機(jī)數(shù)據(jù)506可以是來自具有比120度大的視場(chǎng)的第一相機(jī)(諸如圖2的GS相機(jī)208)的圖像。此外，第二相機(jī)數(shù)據(jù)可以是來自具有更小視場(chǎng)的第二相機(jī)(諸如圖2的RS相機(jī)210)的圖像。
[0078]注意，圖5中所示的示例數(shù)字圖像格式僅是一個(gè)示例。在其他示例中，可以利用其他數(shù)字圖像格式。例如，第一相機(jī)數(shù)據(jù)506和第二相機(jī)數(shù)據(jù)510可以并排位于數(shù)字圖像的行31-510內(nèi)(未示出)。類似地，在其他示例數(shù)字圖像格式中，可以提供更多或更少的數(shù)據(jù)。例如，在另一數(shù)字圖像格式中，可以省略深度數(shù)據(jù)或計(jì)算機(jī)視覺數(shù)據(jù)，或者還可以包括來自第三相機(jī)的第三相機(jī)數(shù)據(jù)。作為另一示例，在另一數(shù)字圖像格式中，除了或替代第一相機(jī)數(shù)據(jù)506、深度數(shù)據(jù)508和/或第二相機(jī)數(shù)據(jù)510，還可提供組合的色彩和深度圖像。
[0079]在另一示例數(shù)字圖像格式中，數(shù)字圖像可包括不同數(shù)據(jù)片段中的一者或多者之間的填充(padding)。例如，在第一相機(jī)數(shù)據(jù)506與深度數(shù)據(jù)508之間，或在深度數(shù)據(jù)508與第二相機(jī)數(shù)據(jù)510之間，數(shù)字圖像可以被填充有空白或空數(shù)據(jù)。在一些實(shí)例中，可以插入不同數(shù)據(jù)片段之間的填充，以便確保每個(gè)數(shù)據(jù)片段的起始對(duì)應(yīng)于存儲(chǔ)器中軌道的扇區(qū)或細(xì)分的起始。
[0080]作為示例，填充可以插入在數(shù)據(jù)片段之間，以確保第一相機(jī)數(shù)據(jù)506的起始對(duì)應(yīng)于4096字節(jié)(4K)扇區(qū)的起始。這可以允許第一相機(jī)數(shù)據(jù)506被更高效地寫入存儲(chǔ)器。類似地，數(shù)字圖像可以被填充，以使得深度數(shù)據(jù)508和第二相機(jī)數(shù)據(jù)510中的每一者的起始對(duì)應(yīng)于4K扇區(qū)的起始。
[0081]在另一示例數(shù)字圖像格式中，數(shù)字圖像的寬度可以是1280像素。結(jié)果，數(shù)字圖像的每一行可以包括來自第一相機(jī)數(shù)據(jù)的兩行像素?cái)?shù)據(jù)。行可以是并排組織的。例如，數(shù)字圖像的行31的列0-639可以包括第一相機(jī)數(shù)據(jù)506的第一行像素，并且行31的列640-1279可以包括第一相機(jī)數(shù)據(jù)506的第二行像素。類似地，數(shù)字圖像的單個(gè)行可包括深度數(shù)據(jù)508的4行或第二相機(jī)數(shù)據(jù)510的像素的兩行。
[0082]如以上所論述的，幀號(hào)也可被包括在數(shù)字幀的起始和末尾和/或在每個(gè)數(shù)據(jù)片段的起始或末尾(未示出)。幀號(hào)可以例如使得應(yīng)用處理器能夠確認(rèn)所接收的數(shù)字圖像的數(shù)據(jù)全部都對(duì)應(yīng)于相同數(shù)字圖像，而不對(duì)應(yīng)于之前接收的數(shù)字圖像。
[0083]在另一示例數(shù)字圖像格式中，數(shù)字圖像可包括編碼像素信息，所述編碼像素信息標(biāo)識(shí)特定數(shù)據(jù)片段是新的還是舊的。例如，如果深度數(shù)據(jù)508是以5Hz捕獲的，第一相機(jī)數(shù)據(jù)是以30Hz捕獲的，并且數(shù)字圖像是以30Hz生成的，則有可能對(duì)于給定數(shù)字圖像的深度數(shù)據(jù)是與在之前的數(shù)字圖像中所提供深度數(shù)據(jù)相同的深度數(shù)據(jù)。因此，如果新獲取了深度數(shù)據(jù)508，則可以設(shè)置標(biāo)志以指示深度數(shù)據(jù)508是新的。另一方面，如果深度數(shù)據(jù)508是舊的，則可以不設(shè)置標(biāo)志，從而指示深度數(shù)據(jù)508不是新的。
[0084]在圖6中，提供了示例傳感器數(shù)據(jù)格式的概念圖示600。如圖6中所示，在數(shù)字圖像的第一條線(例如，像素的第一行)中提供加速度計(jì)數(shù)據(jù)。具體地，在第一像素的“Y”空間內(nèi)示出16比特X軸加速度值的八個(gè)最高比特(S卩，高字節(jié))，而在第二像素的“Y”空間內(nèi)示出16比特X軸加速度值的八個(gè)最低比特(即，低字節(jié))。類似地，分別在像素2-3和4-5的“Y”空間中示出y軸加速度值和z軸加速度值。此外，還在線I和2的像素0-5的“Y”空間內(nèi)嵌入陀螺儀數(shù)據(jù)和磁力計(jì)數(shù)據(jù)。
[0085]氣壓計(jì)讀數(shù)被示出為四個(gè)分開的字節(jié)(B3、B2、B1和B0)，它們當(dāng)被組合時(shí)表示一32比特的數(shù)。在線4中，在像素0-1的“Y”空間中示出溫度讀數(shù)的整數(shù)部分，而在像素2-3的“Y”空間中示出溫度讀數(shù)的小數(shù)部分。此外，還在線5中示出已經(jīng)劃分成四個(gè)八比特值的時(shí)間戳。在其他示例中，傳感器數(shù)據(jù)還可包括用于其他傳感器中的一個(gè)或多個(gè)的時(shí)間戳數(shù)據(jù)。
[0086]盡管每種類型的傳感器的傳感器數(shù)據(jù)在圖6中位于像素的單獨(dú)行內(nèi)，但是在其他示例中，傳感器數(shù)據(jù)可以被表示在像素的單個(gè)行內(nèi)(未示出)。例如，可以在像素6-11的“Y”空間中嵌入陀螺儀數(shù)據(jù)，可以在像素12-17的“Y”空間中表示磁力計(jì)數(shù)據(jù)，依此類推。
[0087]此外，圖6還示出了用于多個(gè)圖像特征的示例計(jì)算機(jī)視覺數(shù)據(jù)格式。例如，在線16的前四個(gè)像素的“Y”空間中嵌入前四個(gè)字節(jié)的圖像特征。此外，在像素4-5的“Y”空間中嵌入其次的兩個(gè)字節(jié)的圖像特征。其他配置也被設(shè)想到了。如以上所論述的，計(jì)算機(jī)視覺數(shù)據(jù)可包括使用二維圖像確定的圖像特征和/或使用深度數(shù)據(jù)確定的圖像特征。
[0088]現(xiàn)在參照?qǐng)D7，描述用于生成數(shù)字圖像的示例方法700的流程圖。在一些示例中，塊702-708中的一個(gè)或多個(gè)可以與圖4的方法400的塊402-406組合。為了簡(jiǎn)化，將把方法700描述為由圖2的協(xié)處理器230執(zhí)行。然而，方法700可以由移動(dòng)設(shè)備的任何處理單元執(zhí)行。
[0089]首先，在塊702，方法700包括從應(yīng)用處理器接收對(duì)于數(shù)字圖像的請(qǐng)求。在實(shí)踐中，協(xié)處理器230可以從應(yīng)用處理器232接收請(qǐng)求。在一些示例中，請(qǐng)求可以包括標(biāo)識(shí)數(shù)字圖像的格式的信息，或更一般地，標(biāo)識(shí)哪類數(shù)據(jù)要被包括在數(shù)字圖像中的信息。例如，請(qǐng)求可以是對(duì)于來自IMU的傳感器數(shù)據(jù)、來自第一相機(jī)的相機(jī)數(shù)據(jù)和來自第二相機(jī)的相機(jī)數(shù)據(jù)的請(qǐng)求。
[0090]在塊704，響應(yīng)于接收到請(qǐng)求，協(xié)處理器230可以請(qǐng)求相機(jī)數(shù)據(jù)、傳感器數(shù)據(jù)和/或深度數(shù)據(jù)中的一者或多者。例如，協(xié)處理器230可以通過將請(qǐng)求發(fā)送到至少一個(gè)相機(jī)來使得該至少一個(gè)相機(jī)捕獲圖像數(shù)據(jù)。此外，協(xié)處理器230可以通過將請(qǐng)求發(fā)送至深度處理器來使得深度處理器228確定深度數(shù)據(jù)。因此，協(xié)處理器230可以依賴于來自應(yīng)用處理器的請(qǐng)求來確定喚醒/關(guān)閉哪些傳感器或相機(jī)。
[0091]響應(yīng)于請(qǐng)求，協(xié)處理器230然后可以接收相機(jī)數(shù)據(jù)、傳感器數(shù)據(jù)和/或深度數(shù)據(jù)?？蛇x地，在塊706，在接收到圖像數(shù)據(jù)之時(shí)，協(xié)處理器230可以確定計(jì)算機(jī)視覺數(shù)據(jù)。例如，協(xié)處理器230可以處理圖像以檢測(cè)一個(gè)或多個(gè)圖像特征。
[0092]而且，在塊708，協(xié)處理器230可以生成數(shù)字圖像。例如，協(xié)處理器可以生成包括任何接收到的圖像數(shù)據(jù)或深度數(shù)據(jù)的數(shù)字圖像，并且，如上所述，將任何接收到的傳感器數(shù)據(jù)嵌入到如上所述的數(shù)字圖像的多個(gè)像素中。
[0093]在一些示例中，響應(yīng)于從應(yīng)用處理器接收到請(qǐng)求，協(xié)處理器可以周期性生成數(shù)字圖像并將該數(shù)字圖像發(fā)送至應(yīng)用處理器，直到應(yīng)用處理器請(qǐng)求協(xié)處理器中斷數(shù)字圖像的生成為止。例如，響應(yīng)于從應(yīng)用處理器接收到請(qǐng)求，協(xié)處理器可以請(qǐng)求至少一個(gè)相機(jī)和一個(gè)或多個(gè)處理器將圖像數(shù)據(jù)和傳感器數(shù)據(jù)周期性地發(fā)送至協(xié)處理器。協(xié)處理器然后可以響應(yīng)于接收到圖像數(shù)據(jù)和傳感器數(shù)據(jù)而周期性地生成數(shù)字圖像，并將數(shù)字圖像發(fā)送至應(yīng)用處理器。
[0094]在一些實(shí)例中，一旦已經(jīng)生成了包括所有所請(qǐng)求類型的數(shù)據(jù)的數(shù)字圖像，協(xié)處理器就可以將數(shù)字圖像發(fā)送至應(yīng)用處理器。在其他實(shí)例中，協(xié)處理器可以在定時(shí)器到期時(shí)(例如，每33.3ms、每十分之一秒、每半秒等等)將數(shù)字圖像發(fā)送至應(yīng)用處理器。
[0095]此外，在一些示例中，這里公開的系統(tǒng)和方法可以允許將相機(jī)或傳感器數(shù)據(jù)從相機(jī)或傳感器直接提供至應(yīng)用處理器。例如，除了被提供有所生成的數(shù)字圖像外，應(yīng)用處理器可以并行地被提供有相機(jī)數(shù)據(jù)，以便例如在移動(dòng)設(shè)備的顯示器上提供預(yù)覽屏幕。作為另一示例，加速度計(jì)數(shù)據(jù)可以被提供至在移動(dòng)設(shè)備上執(zhí)行的應(yīng)用，并且也被提供為所生成的數(shù)字圖像的一部分。因此，所描述的系統(tǒng)和方法使得在設(shè)備上執(zhí)行的多個(gè)不同的應(yīng)用能夠使用相同的傳感器或相機(jī)。
[0096]應(yīng)該理解，這里描述的布置僅用于示例的目的。這樣，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，可以替代地使用其他布置和其他元件(例如，機(jī)器、接口、功能、次序以及功能分組等)，并且可以根據(jù)期望的結(jié)果一起省略一些元件。此外，所描述的許多元件是可以以任何適當(dāng)組合和位置實(shí)現(xiàn)為分立的或分布式組件的功能實(shí)體或結(jié)合其他組件實(shí)現(xiàn)的功能實(shí)體。
[0097]雖然這里已經(jīng)公開了各個(gè)方面和實(shí)施例，但是對(duì)于本領(lǐng)域技術(shù)人員而言，其他方面和實(shí)施例將是明顯的。這里公開的各個(gè)方面和實(shí)施例用于說明的目的，并且并不意在進(jìn)行限制，其真實(shí)范圍由所附權(quán)利要求以及這樣的權(quán)利要求有權(quán)要求的等效物的所有范圍所指示。還要理解，這里使用的術(shù)語僅用于描述特定實(shí)施例的目的，并且并不意在進(jìn)行限制。
【主權(quán)項(xiàng)】
1.一種方法，包括: 由移動(dòng)設(shè)備的處理器從移動(dòng)設(shè)備的至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)以及從移動(dòng)設(shè)備的慣性測(cè)量單元(MU)接收傳感器數(shù)據(jù)； 由處理器生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像，其中傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中；以及 由處理器使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。2.如權(quán)利要求1所述的方法，還包括由處理器從移動(dòng)設(shè)備的深度處理器接收深度數(shù)據(jù)， 其中數(shù)字圖像還包括深度數(shù)據(jù)。3.如權(quán)利要求2所述的方法，其中以基于每個(gè)像素在數(shù)字圖像中所處的行而確定的次序，將數(shù)字圖像的像素提供至應(yīng)用處理器，并且所述方法還包括: 使用圖像數(shù)據(jù)確定計(jì)算機(jī)視覺數(shù)據(jù)，其中計(jì)算機(jī)視覺數(shù)據(jù)包括圖像的一個(gè)或多個(gè)圖像特征， 其中計(jì)算機(jī)視覺數(shù)據(jù)被在數(shù)字圖像的表示圖像數(shù)據(jù)的像素之前嵌入到提供至應(yīng)用處理器的數(shù)字圖像的像素中。4.如權(quán)利要求2所述的方法，還包括: 由處理器從應(yīng)用處理器接收對(duì)于數(shù)字圖像的請(qǐng)求；以及 響應(yīng)于接收到對(duì)于數(shù)字圖像的請(qǐng)求: 處理器使得所述至少一個(gè)相機(jī)捕獲圖像數(shù)據(jù)，并且 處理器使得深度處理器確定深度數(shù)據(jù)。5.如權(quán)利要求2所述的方法，還包括使用深度數(shù)據(jù)確定計(jì)算機(jī)視覺數(shù)據(jù)，其中計(jì)算機(jī)視覺數(shù)據(jù)包括深度數(shù)據(jù)的一個(gè)或多個(gè)特征， 其中生成數(shù)字圖像還包括將計(jì)算機(jī)視覺數(shù)據(jù)嵌入到數(shù)字圖像的多個(gè)像素中。6.如權(quán)利要求1所述的方法: 其中以基于每個(gè)像素在數(shù)字圖像中所處的行而確定的次序，將數(shù)字圖像的像素提供至應(yīng)用處理器，并且 其中傳感器數(shù)據(jù)被在數(shù)字圖像的表示圖像數(shù)據(jù)的像素之前嵌入到提供至應(yīng)用處理器的數(shù)字圖像的像素中。7.如權(quán)利要求1所述的方法，還包括確定與傳感器數(shù)據(jù)關(guān)聯(lián)的時(shí)間戳， 其中生成數(shù)字圖像還包括將時(shí)間戳嵌入到數(shù)字圖像的像素中。8.如權(quán)利要求1所述的方法，其中相機(jī)接口包括移動(dòng)產(chǎn)業(yè)處理器接口(MIPI)。9.如權(quán)利要求1所述的方法，其中來自所述至少一個(gè)相機(jī)的圖像數(shù)據(jù)包括來自第一相機(jī)的第一圖像數(shù)據(jù)和來自第二相機(jī)的第二圖像數(shù)據(jù)，所述第二相機(jī)具有大于120度的視場(chǎng)。10.如權(quán)利要求9所述的方法: 其中以基于每個(gè)像素在數(shù)字圖像中所處的行而確定的次序，將數(shù)字圖像的像素提供至應(yīng)用處理器，并且 其中第二圖像數(shù)據(jù)位于在數(shù)字圖像的表示第一圖像數(shù)據(jù)的像素之前的、提供至應(yīng)用處理器的數(shù)字圖像的像素中。11.如權(quán)利要求9所述的方法，其中第一相機(jī)和第二相機(jī)位于移動(dòng)設(shè)備的第一側(cè)，并且被配置為在相同方向上捕獲圖像。12.如權(quán)利要求1所述的方法，其中圖像數(shù)據(jù)包括在紅綠藍(lán)(RGB)色彩空間中定義的像素，并且數(shù)字圖像包括在亮度和色度(YUV)色彩空間中定義的像素， 所述方法還包括由處理器將來自RGB色彩空間的圖像數(shù)據(jù)轉(zhuǎn)換到Y(jié)UV色彩空間。13.如權(quán)利要求12所述的方法，其中傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素的“Y”空間中。14.一種移動(dòng)設(shè)備中的處理單元，所述處理單元包括: 數(shù)據(jù)存儲(chǔ)裝置；以及 存儲(chǔ)在數(shù)據(jù)存儲(chǔ)裝置中并且可由處理單元運(yùn)行以執(zhí)行功能的指令，所述功能包括: 從移動(dòng)設(shè)備的至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)以及從移動(dòng)設(shè)備的慣性測(cè)量單元(IMU)接收傳感器數(shù)據(jù)， 生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像，其中傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中，以及 使用相機(jī)總線接口將數(shù)字圖像提供至移動(dòng)設(shè)備的應(yīng)用處理器。15.如權(quán)利要求14所述的處理單元，其中所述功能還包括從移動(dòng)設(shè)備的深度處理器接收深度數(shù)據(jù)， 其中數(shù)字圖像還包括深度數(shù)據(jù)。16.如權(quán)利要求15所述的處理單元，其中所述功能還包括: 從應(yīng)用處理器接收對(duì)于數(shù)字圖像的請(qǐng)求；以及 響應(yīng)于接收到對(duì)于數(shù)字圖像的請(qǐng)求: 處理單元使得所述至少一個(gè)相機(jī)捕獲圖像數(shù)據(jù)，并且 處理單元使得深度處理器確定深度數(shù)據(jù)。17.如權(quán)利要求14所述的處理單元，其中來自所述至少一個(gè)相機(jī)的圖像數(shù)據(jù)包括來自第一相機(jī)的第一圖像數(shù)據(jù)和來自第二相機(jī)的第二圖像數(shù)據(jù)，所述第二相機(jī)具有大于120度的視場(chǎng)。18.—種移動(dòng)設(shè)備，包括: 應(yīng)用處理器； 至少一個(gè)相機(jī)； 慣性測(cè)量單元(mu);以及 處理器，所述處理器被配置為: 從至少一個(gè)相機(jī)接收?qǐng)D像數(shù)據(jù)以及從頂U(kuò)接收傳感器數(shù)據(jù)， 生成至少包括圖像數(shù)據(jù)和傳感器數(shù)據(jù)的數(shù)字圖像，其中傳感器數(shù)據(jù)被嵌入到數(shù)字圖像的像素中，并且 使用相機(jī)總線接口將數(shù)字圖像提供至應(yīng)用處理器。19.如權(quán)利要求18所述的移動(dòng)設(shè)備，還包括深度處理器，其中: 所述深度處理器被配置為使用紅外投影源和所述至少一個(gè)相機(jī)確定深度數(shù)據(jù)， 所述深度處理器被配置為將深度數(shù)據(jù)提供至處理器，并且 所述數(shù)字圖像還包括深度數(shù)據(jù)。20.如權(quán)利要求19所述的移動(dòng)設(shè)備，其中所述處理器還被配置為使用深度數(shù)據(jù)生成組合的色彩和深度圖像，其中數(shù)字圖像還包括組合的色彩和深度圖像。21.如權(quán)利要求18所述的移動(dòng)設(shè)備，其中:所述至少一個(gè)相機(jī)包括第一相機(jī)和第二相機(jī)，所述第二相機(jī)具有大于120度的視場(chǎng)，所述處理器被配置為從第一相機(jī)接收第一圖像以及從第二相機(jī)接收第二圖像，并且所述數(shù)字圖像包括第一圖像和第二圖像。
【文檔編號(hào)】H04N21/236GK105981369SQ201480075199
【公開日】2016年9月28日
【申請(qǐng)日】2014年12月29日
【發(fā)明人】J.馮, J.李
【申請(qǐng)人】谷歌技術(shù)控股有限責(zé)任公司