用于估計(jì)成像設(shè)備的姿態(tài)的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請一般性地設(shè)及計(jì)算機(jī)視覺。特別地，本申請?jiān)O(shè)及一種對成像設(shè)備（后稱"攝 像機(jī)"）的姿態(tài)的估計(jì)。
【背景技術(shù)】
[0002] 現(xiàn)今，成像設(shè)備被攜帶到每個(gè)地方，因?yàn)樗鼈兺ǔ１患稍诂F(xiàn)今的通信設(shè)備中。因 此也對不同的目標(biāo)捕獲了照片。當(dāng)圖像（即照片）被攝像機(jī)捕獲時(shí)，關(guān)于照片在何處拍攝 的元數(shù)據(jù)對于許多基于地點(diǎn)的應(yīng)用而言是具有很大興趣的，例如導(dǎo)航、增強(qiáng)現(xiàn)實(shí)、虛擬旅游 指南、廣告、游戲等。
[0003] 全球定位系統(tǒng)和其他基于傳感器的解決方案提供了一種對成像設(shè)備的地點(diǎn)的粗 略估計(jì)。然而，在運(yùn)一技術(shù)領(lǐng)域中，精確的=維（3D)攝像機(jī)位置和方向的估計(jì)現(xiàn)在成為焦 點(diǎn)。本申請的目的是提供一種用于找到運(yùn)種精確的3D攝像機(jī)位置和方向的解決方案。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的示例的各種方面在權(quán)利要求中加W闡述。
[0005] 根據(jù)第一方面，一種方法包括：獲得用于圖像中的特征點(diǎn)的查詢二進(jìn)制特征描述 符；將所獲得的查詢二進(jìn)制特征描述符的所選擇的一部分放置到查詢二進(jìn)制樹中；W及將 查詢二進(jìn)制樹中的查詢二進(jìn)制特征描述符與數(shù)據(jù)庫圖像的數(shù)據(jù)庫二進(jìn)制特征描述符進(jìn)行 匹配來估計(jì)攝像機(jī)的姿態(tài)。
[0006] 根據(jù)第二方面，一種器件包括：至少一個(gè)處理器；W及包括計(jì)算機(jī)程序代碼的至 少一個(gè)存儲器，該至少一個(gè)存儲器和該計(jì)算機(jī)程序代碼被配置為，與該至少一個(gè)處理器一 起，促使該器件執(zhí)行至少W下各項(xiàng)：獲得用于圖像中的特征點(diǎn)的查詢二進(jìn)制特征描述符； 將所獲得的查詢二進(jìn)制特征描述符的所選擇的一部分放置到二進(jìn)制樹中；W及將二進(jìn)制樹 中的查詢二進(jìn)制特征描述符與數(shù)據(jù)庫圖像的數(shù)據(jù)庫二進(jìn)制特征描述符進(jìn)行匹配來估計(jì)攝 像機(jī)的姿態(tài)。
[0007] 根據(jù)第=方面，一種器件，至少包括：用于獲得用于圖像中的特征點(diǎn)的查詢二進(jìn)制 特征描述符的裝置；用于將所獲得的查詢二進(jìn)制特征描述符的所選擇的一部分放置到二進(jìn) 制樹中的裝置；W及用于將二進(jìn)制樹中的查詢二進(jìn)制特征描述符與數(shù)據(jù)庫圖像的數(shù)據(jù)庫二 進(jìn)制特征描述符進(jìn)行匹配來估計(jì)攝像機(jī)的姿態(tài)的裝置。
[0008] 根據(jù)第四方面，計(jì)算機(jī)程序包括：當(dāng)該計(jì)算機(jī)程序在處理器上被運(yùn)行時(shí)，用于獲得 用于圖像中的特征點(diǎn)的查詢二進(jìn)制特征描述符的代碼；用于將所獲得的查詢二進(jìn)制特征描 述符的所選擇的一部分放置到查詢二進(jìn)制樹中的代碼；W及用于將查詢二進(jìn)制樹中的查詢 二進(jìn)制特征描述符與數(shù)據(jù)庫圖像的數(shù)據(jù)庫二進(jìn)制特征描述符進(jìn)行匹配來估計(jì)攝像機(jī)的姿 態(tài)的代碼。
[0009] 根據(jù)第五方面，一種利用指令來編碼的計(jì)算機(jī)可讀介質(zhì)，運(yùn)些指令在由計(jì)算機(jī)運(yùn) 行時(shí)執(zhí)行：獲得用于圖像中的特征點(diǎn)的查詢二進(jìn)制特征描述符；將所獲得的查詢二進(jìn)制特 征描述符的所選擇的一部分放置到查詢二進(jìn)制樹中；W及將查詢二進(jìn)制樹中的查詢二進(jìn)制 特征描述符與數(shù)據(jù)庫圖像的數(shù)據(jù)庫二進(jìn)制特征描述符進(jìn)行匹配來估計(jì)攝像機(jī)的姿態(tài)。
[0010] 根據(jù)一個(gè)實(shí)施例，二進(jìn)制特征描述符通過在特征點(diǎn)周圍的區(qū)域上的二進(jìn)制測試來 加W獲得。
[0011] 根據(jù)一個(gè)實(shí)施例，該二進(jìn)制測試是
[0012]
1 否則
[0013] 其中I(X，f)是在相對特征點(diǎn)f具有偏移X的地方處的像素強(qiáng)度，并且0t是一個(gè) 闊值。
[0014] 根據(jù)一個(gè)實(shí)施例，數(shù)據(jù)庫二進(jìn)制特征描述符已經(jīng)被放置到具有標(biāo)識的數(shù)據(jù)庫二進(jìn) 制樹中。
[0015] 根據(jù)一個(gè)實(shí)施例，根據(jù)概率評分方法從數(shù)據(jù)庫圖像中選擇有關(guān)圖像，并且對所選 擇的圖像進(jìn)行排名W用于匹配目的。
[0016] 根據(jù)一個(gè)實(shí)施例，匹配進(jìn)一步包括：在數(shù)據(jù)庫二進(jìn)制特征描述符之中捜索對于查 詢二進(jìn)制特征描述符而言最接近的鄰居。
[0017] 根據(jù)一個(gè)實(shí)施例，如果在最接近的數(shù)據(jù)庫二進(jìn)制特征描述符與查詢二進(jìn)制特征描 述符之間，最接近的鄰居距離比率低于0. 7,則確定匹配。
【附圖說明】
[0018] 在下文中，參考附圖來更詳細(xì)地描述各種實(shí)施例，其中
[0019] 圖1示出了器件的一個(gè)實(shí)施例；
[0020] 圖2示出了器件的布局的一個(gè)實(shí)施例；
[0021] 圖3示出了系統(tǒng)的一個(gè)實(shí)施例；
[0022] 圖4A示出了該器件的在線模式的一個(gè)示例；
[0023] 圖4B示出了該器件的離線模式的一個(gè)示例；
[0024] 圖5示出了方法的一個(gè)實(shí)施例；W及 [00巧]圖6示出了方法的一個(gè)實(shí)施例。
【具體實(shí)施方式】
[0026] 在下文中，在借助于單張照片并且使用與拍攝該照片的城市環(huán)境有關(guān)的3D點(diǎn)的 數(shù)據(jù)集的攝像機(jī)姿態(tài)估計(jì)的上下文中，描述了若干實(shí)施例。
[0027] 將照片與城市環(huán)境圖片的數(shù)據(jù)集中的圖片進(jìn)行匹配W找出精確的3D攝像機(jī)位置 和方向是非常耗時(shí)的并且因此具有挑戰(zhàn)性。借助于本方法，對于具有數(shù)十千計(jì)圖像的大規(guī) 模城市場景數(shù)據(jù)集而言，能夠減少用于匹配所需要的時(shí)間。
[0028] 在本描述中，術(shù)語"姿態(tài)"指的是成像設(shè)備的方向和位置。在本描述中，該成像設(shè) 備W術(shù)語"攝像機(jī)"或"器件"來指代，并且它能夠是具有成像裝置的任何通信設(shè)備或者具 有通信裝置的任何成像設(shè)備。該器件也能夠是傳統(tǒng)的自動(dòng)或系統(tǒng)攝像機(jī)，或者具有圖像捕 獲能力的移動(dòng)終端。圖1中圖示了一種器件的示例。
[0029] I.巧術(shù)連施方式的一個(gè)連施例
[0030]器件151包含存儲器152、至少一個(gè)處理器153和156、W及位于存儲器152中的 計(jì)算機(jī)程序代碼154。根據(jù)圖1的示例的器件還具有一個(gè)或多個(gè)用于捕獲圖像數(shù)據(jù)（例如， 立體聲視頻）的攝像機(jī)155和159。該器件還可W包含一個(gè)、兩個(gè)或更多用于捕獲聲音的麥 克風(fēng)157和158。該器件也可W包含傳感器，用于生成和該器件與周圍環(huán)境的關(guān)系有關(guān)的傳 感器數(shù)據(jù)。該器件還包括一個(gè)或多個(gè)顯示器160,用于察看單視圖的、立體（2-視圖）的或 者多視圖的（多于2-視圖的）和/或預(yù)視的圖像。顯示器160中的任何一個(gè)可W至少部 分地在該器件的后蓋上延伸。器件151還包括接口裝置（例如，用戶界面），其允許用戶與 該器件進(jìn)行交互。該用戶接口裝置是使用W下各項(xiàng)中的一項(xiàng)或多項(xiàng)來加W實(shí)施的：顯示器 160、小鍵盤161、語音控制、或者其他結(jié)構(gòu)。該器件被配置為例如借助于能夠接收和/或發(fā) 射信息的通信塊（未在圖1中示出）而連接到另一設(shè)備。
[0031] 圖2示出了根據(jù)一個(gè)示例實(shí)施例的器件的布局。器件50例如是移動(dòng)終端（例如， 移動(dòng)電話、智能電話、攝像機(jī)設(shè)備、平板設(shè)備）或者無線通信系統(tǒng)的其他用戶設(shè)備。本發(fā)明 的實(shí)施例可W被實(shí)施在任何電子設(shè)備或器件（諸如個(gè)人計(jì)算機(jī)和膝上型計(jì)算機(jī)）內(nèi)。
[0032] 圖2中所示出的器件50包括用于包含和保護(hù)該器件的外殼30。器件50進(jìn)一步包 括采用例如液晶顯示器形式的顯示器32。在本發(fā)明的其他實(shí)施例中，該顯示是適合于顯示 圖像或視頻的任何適合的顯示技術(shù)。器件50可W進(jìn)一步包括小鍵盤34或者其他數(shù)據(jù)輸入 裝置。在本發(fā)明的其他實(shí)施例中，可W采用任何適合的數(shù)據(jù)或用戶接口機(jī)制。例如，用戶接 口可W被實(shí)施為虛擬鍵盤或者數(shù)據(jù)錄入系統(tǒng)，作為觸摸敏感顯示器的一部分。該器件可W 包括：麥克風(fēng)36或者可W是數(shù)字或模擬信號輸入的任何適合的音頻輸入。器件50可W進(jìn) 一步包