用于基于視頻輸入生成準確傳感器校正的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本公開總體上涉及配備有運動感測模塊的設備，并且更具體地，涉及發(fā)展針對在 這樣的模塊中使用的傳感器的準確校正。
【背景技術(shù)】
[0002] 本文中提供的背景描述是為了總體上呈現(xiàn)本公開的上下文的目的。到其被描述在 這一背景部分中的程度，當前提名的發(fā)明人的工作，以及在提交申請時可能無法另外有資 格作為現(xiàn)有技術(shù)的描述的各方面，既不明確也不隱含地承認作為抵觸本公開的現(xiàn)有技術(shù)。
[0003] 近年來，由于微機電系統(tǒng)（MEMS)領(lǐng)域的進步，諸如加速計、陀螺儀和磁力計之類 的傳感器的成本已經(jīng)降低。這些便宜的傳感器被廣泛用于諸如智能電話、平板計算機等之 類的移動設備中，以通過感測相對運動（上下、左右、滾動、俯仰（pitch)、偏轉(zhuǎn)（yaw)等）來 控制或觸發(fā)軟件應用。然而，與諸如無人機或制造機器人之類的商業(yè)或工業(yè)應用中使用的 傳感器相比，移動設備中使用的低成本的傳感器具有低準確度。
[0004] 諸如例如加速計、磁力計和陀螺儀之類的具有三維（3D)向量輸出的傳感器易于 出現(xiàn)傳感器偏置誤差，其可以被看作為零的理想輸出和實際非零輸出之間的差、以及交叉 軸干擾誤差，它們由芯片布局的非正交和模擬電路干擾造成。一般地，運動感測模塊所使用 的傳感器的誤差可以被分類成"漂移"誤差和"交叉軸"誤差。漂移誤差被定義為在真實數(shù) 據(jù)或預期輸出和原始傳感器數(shù)據(jù)之間的恒定移位。加速計的傳感器偏置誤差是漂移誤差的 示例。交叉軸誤差被定義為不可分離成與單獨坐標相關(guān)聯(lián)的分量的誤差（即，誤差耦合到 多個坐標）。磁力計的交叉軸干擾是交叉軸誤差的示例。
[0005] 為了努力增加運動感測結(jié)果的準確性，具有多個傳感器的某些運動感測模塊使用 傳感器融合來優(yōu)化結(jié)果。一般來說，傳感器融合指的是組合來自多個傳感器的數(shù)據(jù)，使得所 產(chǎn)生的信息與從任何一個單獨傳感器所產(chǎn)生的信息相比具有更高的可靠度。由多個傳感器 產(chǎn)生的數(shù)據(jù)可能是冗余的，并且可能具有變化的可靠度，因此來自多個傳感器的數(shù)據(jù)往往 具有最佳組合。簡單的傳感器融合算法可以使用來自多個傳感器的數(shù)據(jù)的加權(quán)平均，以考 慮變化的可靠度，而更復雜的傳感器融合算法可以隨時間優(yōu)化傳感器數(shù)據(jù)的組合（例如， 使用卡爾曼濾波器或線性二次估算）。
[0006] 理論上，傳感器融合技術(shù)提供準確的運動感測結(jié)果，即使當所采用的單獨傳感器 具有低的可靠度時。然而，在實踐中，對于傳感器的某些組合而言，傳感器融合具有某些缺 點。例如，在可用傳感器（即，"特征集"）的數(shù)目增加時，傳感器融合算法的復雜性劇烈增 加。從而，對于使用大量傳感器和/或具有復雜誤差源（例如，交叉軸誤差）的傳感器的運 動感測模塊而言，高的計算成本使得傳感器融合棘手。另一方面，少量的傳感器可能嚴重限 制利用傳感器融合的測量準確性的任何增加。因此，傳感器的數(shù)目大大影響傳感器融合技 術(shù)的效用。實際上，在其中可用傳感器是不同和不兼容類型的某些情景中，傳感器融合技術(shù) 甚至可能完全不實用。雖然某些便攜式設備現(xiàn)在實現(xiàn)傳感器融合，但是所實現(xiàn)的技術(shù)充其 量補償基本的漂移誤差，而未補償交叉軸誤差。

【發(fā)明內(nèi)容】

[0007] 根據(jù)一個實施方式，便攜式設備包括傳感器、視頻捕獲模塊、處理器、以及存儲指 令的計算機可讀存儲器。當在處理器上執(zhí)行時，指令操作為使得傳感器生成指示物理量的 原始傳感器數(shù)據(jù)；當便攜式設備相對于參考對象移動時，使得視頻捕獲模塊捕獲參考對象 的視頻像（video imagery)同時傳感器生成原始傳感器數(shù)據(jù)；以及使得處理器基于捕獲的 參考對象的視頻像和原始傳感器數(shù)據(jù)來計算針對傳感器的校正參數(shù)。
[0008] 根據(jù)另一實施方式，用于高效地開發(fā)具有傳感器和相機的便攜式設備中的傳感器 誤差校正的方法實現(xiàn)在一個或多個處理器上。方法包括當便攜式設備相對于參考對象移動 時，使得傳感器生成指示物理量的原始傳感器數(shù)據(jù)。進一步地，方法包括使得相機捕獲參考 對象的多個圖像同時傳感器生成原始傳感器數(shù)據(jù)。再進一步地，方法包括基于多個圖像和 參考對象的幾何性質(zhì)，確定便攜式設備的多個定位和定向；并且使用定位和定向以及原始 傳感器數(shù)據(jù)，計算針對傳感器的校正參數(shù)。
[0009] 根據(jù)又一實施方式，有形計算機可讀介質(zhì)存儲指令。當由一個或多個處理器執(zhí)行 時，指令使得一個或多個處理器：接收由操作在便攜式設備中的傳感器生成的原始傳感器 數(shù)據(jù)；并且接收由操作在便攜式設備中的視頻捕獲模塊捕獲的參考對象的視頻像。在便攜 式設備相對于參考對象移動的同時，并發(fā)地捕獲原始傳感器數(shù)據(jù)和視頻像。指令進一步使 得一個或多個處理器使用捕獲的參考對象的視頻像和原始傳感器數(shù)據(jù)，來計算針對傳感器 的校正參數(shù)。
【附圖說明】
[0010] 圖1圖示其中便攜式設備基于捕獲的參考對象的視頻像來開發(fā)傳感器校正的示 例情景。
[0011] 圖2圖示其中便攜式設備經(jīng)由傳感器校正例程來開發(fā)傳感器校正的示例系統(tǒng)。
[0012] 圖3是用于基于捕獲的視頻像來生成傳感器校正的示例方法的流程圖。
[0013] 圖4是用于生成定期傳感器校正的示例方法的流程圖。
[0014] 圖5是用于標識捕獲的視頻像中的對象并且匹配所標識的對象與參考對象的示 例方法的流程圖。
【具體實施方式】
[0015] 可以利用本公開的技術(shù)以用于諸如智能電話、平板計算機、處理連續(xù)視頻輸入的 專用設備等之類的便攜式設備，基于捕獲的參考對象的視頻像來開發(fā)傳感器校正。參考對 象可以是標準真實世界對象，其中對象的對應表示作為數(shù)字數(shù)據(jù)（諸如，對象的三維（3D) 重構(gòu)）存儲在數(shù)據(jù)庫中。根據(jù)本公開的技術(shù)，便攜式設備配備有一個或多個傳感器、捕獲參 考對象的視頻像、并且基于該視頻像和參考對象數(shù)據(jù)庫中的參考對象的表示來計算作為時 間的函數(shù)的準確定位和/或定向（定位標識便攜式設備的地理位置，并且定向標識便攜式 設備相對于便攜式設備的質(zhì)量中心的方向）。便攜式設備還收集與捕獲的視頻像并發(fā)的原 始傳感器數(shù)據(jù)（加速計數(shù)據(jù)、陀螺儀數(shù)據(jù)等）?；诙ㄎ缓?或定向以及原始傳感器數(shù)據(jù)， 傳感器校正例程開發(fā)針對便攜式設備中包含的傳感器中的一個或多個傳感器的校正參數(shù)。 這些校正可以連續(xù)應用并且定期更新以改善感測，從而有效地校準傳感器。
[0016] 圖1圖示其中便攜式設備10基于捕獲的參考對象20的視頻像來開發(fā)傳感器校正 的示例情景。除了別的之外，便攜式設備10包含諸如運動傳感器之類的多個傳感器。這些 傳感器可以是便宜的MEMS傳感器，諸如例如加速計、磁力計和陀螺儀。此外，一個或多個無 線接口將便攜式設備10通信耦合到移動網(wǎng)絡和/或廣域網(wǎng)。便攜式設備10的示例實施方 式將參照圖2更詳細地討論。
[0017] 示例參考對象20可以是諸如例如埃菲爾鐵塔或帝國大廈之類的地標建筑。在一 些情況下，對應于參考對象20的數(shù)字3D模型存儲在參考對象數(shù)據(jù)庫中。數(shù)字3D模型可以 用3D網(wǎng)格上的點、簡單形狀（例如，多邊形、圓柱體）的組合等表示參考對象的形狀，并且 用顏色、一個或多個靜止圖像等表示參考對象的外觀。進一步地，參考對象數(shù)據(jù)庫存儲諸如 幾何比例、測量結(jié)果、地理位置等之類的參考對象的特定性質(zhì)。參考對象數(shù)據(jù)庫可以是通過 例如因特網(wǎng)可訪問的諸如谷歌3D Warehouse?之類的3D模型的數(shù)據(jù)庫。
[0018] 如由路徑25指示的，在便攜式設備10移動通過3D空間時，便攜式設備10捕獲視 頻像。視頻像由包括參考對象20的獨特相繼圖像或幀組成。在便攜式設備10沿著路徑25 移動時，便攜式設備10相對于參考對象20的位置和/或方向改變，因此在沿著路徑25的 不同點處捕獲的視頻像幀示出從不同視點的參考對象20。
[0019] 在一些實施方式中，便攜式設備10從一個或多個捕獲的二維（2D)視頻像幀重構(gòu) 參考對象20的3D幾何結(jié)構(gòu)和外觀（例如，通過從運動恢復結(jié)構(gòu)或SFM技術(shù)）。進一步地， 便攜式設備10嘗試匹配重構(gòu)的參考對象20的3D幾何結(jié)構(gòu)和外觀（下文中稱為"3D對象 重構(gòu)"）與參考對象數(shù)據(jù)庫中的3D模型。示例匹配過程參照圖2并且進一步參照圖5詳細 討論。
[0020] 在匹配重構(gòu)的3D幾何結(jié)構(gòu)和/或