用于三維城市模型檢索的圖像特征提取和相似性度量方法
【專利摘要】本發(fā)明涉及用于三維城市模型檢索的圖像特征提取和相似性度量方法。多數(shù)圖像和三維模型檢索方法提取的特征缺乏或忽略對模型細節(jié)的描述，導致三維模型檢索精度不高。本發(fā)明提出了一種基于圖像的三維城市模型檢索框架。首先分割出圖像上的檢索目標，同時利用光場對三維城市模型進行二維變換，然后提取查詢目標和檢索模型圖像的特征，最后用相似度距離度量它們之間的相似性，實現(xiàn)三維城市模型檢索。1)提出了一種圖像特征提取和相似性度量的三層框架，在該框架中，設計了帶空間約束的多層多尺度卷積神經(jīng)網(wǎng)絡模型，獲得了位移、尺度、形變不變性的具有判別性的特征；2)提出了一種新的相似性度量方法，更好的實現(xiàn)了目標間的相似性匹配。與已有方法相比，本發(fā)明方法在三維城市模型檢索的效率和精度有了很大提高。
【專利說明】用于三維城市模型檢索的圖像特征提取和相似性度量方法 一、

【技術領域】
[0001] 本發(fā)明涉及用于三維城市模型檢索的圖像特征提取和相似性度量方法，屬于空間 信息【技術領域】。 二、

【背景技術】
[0002] 隨著空間數(shù)據(jù)采集技術的革新及互聯(lián)網(wǎng)的發(fā)展，城市三維模型的種類和數(shù)量越來 越豐富，很多網(wǎng)站（如Google 3D Warehouse)和平臺也提供了三維模型共享功能，供用戶 免費下載，基于圖像的檢索成為高效獲取三維模型的一種重要技術手段。由于拍攝條件和 拍攝角度的不同，圖片往往含有復雜背景，并且三維模型存放的方向以及光照條件不同會 引起模型表面紋理和顏色差異變化很大，這都為基于圖像的三維模型檢索帶來了挑戰(zhàn)。傳 統(tǒng)的關鍵字匹配方法受制于模型的人工標注，相比之下，無需人工標注的基于模型特征的 匹配方法更適合模型倉庫背景下的搜索?；谀Ｐ吞卣鞯臋z索有利于在場景中直接定位待 檢索的模型，但多數(shù)圖像和三維模型檢索方法提取的特征缺乏或忽略對模型細節(jié)的描述， 導致圖像/三維模型檢索精度不高，很大程度上限制了建筑模型搜索應用的發(fā)展。本發(fā)明 提出了一種基于圖像特征和相似性度量方法的三維城市模型檢索技術。與已有方法相比， 本發(fā)明在三維城市模型檢索的效率和精度有了很大提高。 三、


【發(fā)明內(nèi)容】

[0003] 1、目的：三維城市模型在軍事、城市導航、旅游等方面有重要的應用。本發(fā)明提出 了一種基于圖像特征和相似性度量方法的三維城市模型檢索技術。創(chuàng)新性主要體現(xiàn)在：1) 提出了一種圖像特征提取和相似性度量的三層框架，在該框架中，設計了帶空間約束的多 層多尺度卷積神經(jīng)網(wǎng)絡模型，獲得了位移、尺度、形變不變性的具有判別性的特征；2)提出 了一種新的相似性度量方法，更好的實現(xiàn)了目標間的相似性匹配。本專利可以應用于基于 空間位置服務、場景快速定位和圖像分類分割中。
[0004] 2、技術方案
[0005] 用于三維城市模型檢索的圖像特征提取和相似性度量方法，其特征在于，包括如 下步驟（如圖1):
[0006] 步驟一：查詢目標和城市三維模型影像的特征提取
[0007] 從輸入圖像上用智能剪刀和圖割方法分割出查詢目標，用水平光場算法將每個待 檢索的三維城市模型進行投影轉換生成10張影像，建立待檢索模型圖像庫。接下去，提取 查詢目標圖像與模型圖像庫中圖像的特征，從而檢索出與查詢目標相匹配的模型圖像對應 的三維城市模型。
[0008] 本專利設計了帶空間約束卷積神經(jīng)網(wǎng)絡模型提取圖像目標特征?；谠撃Ｐ偷?特征提取包含三個層次。為了實現(xiàn)從粗到精的檢索，在第一層次中，用卷積神經(jīng)網(wǎng)絡模型 CNN提取查詢目標和模型圖像的特征，通過圖像度量方法預檢索出k個三維城市模型；在第 二層次，對這k個檢索結果進行顯著性檢測，去除模型圖像的背景，建立空間相似性約束， 使查詢目標和模型圖像姿態(tài)保持一致；在第三層次，對建立相似性約束的模型圖像再次用 CNN提取特征后，通過圖像度量方法實現(xiàn)模型的精確檢索。
[0009] (1)第一層次
[0010] 用CNN提取查詢目標Q和模型圖像的特征。CNN是多層的神經(jīng)網(wǎng)絡，每層由多個二 維平面組成，而每個平面由多個獨立神經(jīng)元構成。為了強化表達圖像的特征，用拉普拉斯金 字塔技術提取多尺度圖像，作為對應圖像的子圖像來進行特征提取。
[0011] CNN輸入的是查詢目標的圖像矩陣IhXwXn :h表示圖像高度，w表示圖像寬度，η表 示圖像數(shù)量。查詢目標通過可訓練的濾波器和可加偏置進行卷積（式1)，
[0012] X1 = sigmOVlH+b1) (1)
[0013] X14表不隱含層1的輸入，X1表不隱含層的輸出，X° = I。矩陣W1表不隱含層1的 卷積核，
[0014] b1表示隱含層1的偏置項。卷積層神經(jīng)元的激活函數(shù)為Sigmod函數(shù)，其定義為
[0016] 卷積后在C1層產(chǎn)生特征映射圖，特征映射圖中像素再通過式（3)進行Pooling運 算，得到S1層的特征映射圖。[0017] X1 = pool (X1-1) (3)[0018] ⑶式中，X14表不隱含層1的輸入，X1表不隱含層的輸出。

【權利要求】
1.用于三維城市模型檢索的圖像特征提取和相似性度量方法，其特征在于，包括如下 步驟： 步驟一：查詢目標和三維城市模型影像的特征提取 從輸入圖像上用智能剪刀和圖割方法分割出查詢目標，用水平光場算法將每個待檢索 的三維城市模型進行投影轉換生成10張影像，建立待檢索模型圖像庫，接下去，提取查詢 目標圖像與模型圖像庫中的圖像的特征； 本專利設計了帶空間約束卷積神經(jīng)網(wǎng)絡模型提取圖像目標特征；基于該模型的特征提 取包含三個層次；為了實現(xiàn)從粗到精的檢索，在第一層次中，用卷積神經(jīng)網(wǎng)絡（CNN)提取查 詢目標和模型圖像的特征，通過圖像度量方法預檢索出k個三維城市模型；在第二層次，對 這k個檢索結果進行顯著性檢測，去除模型圖像的背景，建立空間相似性約束，使查詢目標 和模型圖像姿態(tài)保持一致；在第三層次，對建立相似性約束的模型圖像再次用CNN提取特 征后，通過圖像度量方法實現(xiàn)模型的精確檢索； (1)第一層次 用CNN提取查詢目標Q和模型圖像的特征；為了強化表達圖像的特征，用拉普拉斯金字 塔技術提取多尺度圖像，作為對應圖像的子圖像來進行特征提??； CNN輸入的是查詢目標的圖像矩陣IhXwXn :h表示圖像高度，w表示圖像寬度，η表示圖 像數(shù)量；查詢目標通過可訓練的濾波器和可加偏置進行卷積（式1)， X1 = sigmW^+b1) (1) X14表不隱含層1的輸入，X1表不隱含層的輸出，X° = I ;矩陣W1表不隱含層1的卷積 核， b1表示隱含層1的偏置項；卷積層神經(jīng)元的激活函數(shù)為Sigmod函數(shù)，其定義為
(2)第二層次 用Q對模型圖像進行空間約束，使Q和模型圖像在相同空間狀態(tài)下進行特征提??； 假設Q中任意一點的坐標為（xQ，yQ)，模型庫中一圖像的坐標（xM，y M)通過空間變換 T(r，s，t)使得模型庫中圖像的空間坐標和Q大致保持一致；

【文檔編號】G06F17/30GK104090972SQ201410342391
【公開日】2014年10月8日 申請日期:2014年7月18日 優(yōu)先權日:2014年7月18日
【發(fā)明者】張立強, 王躍賓, 張良 申請人:北京師范大學