專(zhuān)利名稱(chēng)：基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及場(chǎng)景識(shí)別技術(shù)領(lǐng)域，尤其涉及一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法。
背景技術(shù)：
目前基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法有兩類(lèi)，一類(lèi)是基于GPS(GlobalPositioning System,全球定位系統(tǒng))和定位羅盤(pán)的場(chǎng)景識(shí)別方法，即，在智能移動(dòng)終端上嵌入GPS和定位羅盤(pán)，由GPS和定位羅盤(pán)來(lái)實(shí)現(xiàn)地點(diǎn)和方向的定位，然后通過(guò)地理信息系統(tǒng)提供的地圖來(lái)確定智能移動(dòng)終端當(dāng)前所處的位置和方向上可能的場(chǎng)景目標(biāo)。但是，基于GPS和定位羅盤(pán)的場(chǎng)景識(shí)別方法，不但要在智能移動(dòng)終端嵌入GPS和定位羅盤(pán)，增加制造成本，而且GPS僅能夠在室外使用，對(duì)室內(nèi)的場(chǎng)景目標(biāo)無(wú)法定位。通過(guò)定位羅盤(pán)的方向定位雖然能夠提供大致面對(duì)的方向，但是在該方向上的場(chǎng)景可能有多個(gè)，且相互重疊，使得智能移動(dòng)終端很難判斷出用戶(hù)真正感興趣的目標(biāo)場(chǎng)景具體是哪一個(gè)。另一類(lèi)是基于計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)當(dāng)前攝像頭捕獲到的圖像信息來(lái)判斷識(shí)別當(dāng)前場(chǎng)景目標(biāo)。但是，這種方法大多采用基于模板匹配方法，該方法需要較大的技術(shù)資源，很難在計(jì)算資源有限的移動(dòng)智能終端上實(shí)現(xiàn)。

發(fā)明內(nèi)容
為此，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，使得場(chǎng)景識(shí)別速度快，準(zhǔn)確性高，制造成本低廉。于是，本發(fā)明提供了一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，包括
步驟1，智能移動(dòng)終端離線(xiàn)階段拍攝待識(shí)別場(chǎng)景，使用FCD快速角點(diǎn)檢測(cè)完成圖像特征點(diǎn)提取，并利用SIFT算法直接在灰度空間上生成相應(yīng)特征點(diǎn)的SIFT描述符；
步驟2，對(duì)每一個(gè)特征點(diǎn)的SIFT描述符利用K-means算法生成預(yù)置數(shù)量個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符的生成；
步驟3，將一幅圖像上的每一個(gè)特征點(diǎn)的SIFT描述符都放入到上述視覺(jué)單詞中查找一個(gè)與其最接近的視覺(jué)單詞并求取誤差，將獲得的所有誤差串聯(lián)，生成一幅圖像的描述符，并保存到圖像數(shù)據(jù)庫(kù)中，以此方法生成所有待識(shí)別場(chǎng)的圖像描述符，并保存到圖像數(shù)據(jù)庫(kù)中；
步驟4，智能移動(dòng)終端通過(guò)視頻設(shè)備實(shí)時(shí)采集圖像，使用FCD快速角點(diǎn)檢測(cè)法完成圖像特征點(diǎn)提取，并利用SIFT算法直接在灰度空間上生成輸入圖像特征點(diǎn)的SIFT描述符，再根據(jù)離線(xiàn)階段生成的視覺(jué)單詞和所述輸入圖像特征點(diǎn)的SIFT描述符生成輸入圖像的描述符;
步驟5，將輸入圖像的描述符與圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行對(duì)比，找出排序前n幅圖像呈現(xiàn)給用戶(hù)，由用戶(hù)選擇識(shí)別場(chǎng)景。
其中，在步驟3中，所述在生成的圖像描述符后，保存到圖像數(shù)據(jù)庫(kù)前，還包括
利用主成分分析PCA法對(duì)所述生成的圖像描述符進(jìn)行聚類(lèi)，提取主成分以完成對(duì)圖像
描述符的壓縮；
利用變換編碼法對(duì)壓縮后的圖像描述符進(jìn)行編碼存儲(chǔ)；
在步驟4后，還包括
利用離線(xiàn)階段獲取的主成分分析PCA矩陣對(duì)生成的輸入圖像描述符進(jìn)行壓縮；
步驟5中，將壓縮后的輸入圖像描述符與數(shù)據(jù)庫(kù)中保存的壓縮后的圖像描述符進(jìn)行對(duì)比。其中，在步驟5中，所述將輸入圖像的描述符與圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行對(duì)比，找出排序前n幅圖像，包括
利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述預(yù)置數(shù)量個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像。其中，所述利用變換編碼法對(duì)壓縮后的圖像描述符進(jìn)行編碼存儲(chǔ)，其編碼位數(shù)為64個(gè)比特。其中，步驟2中所述預(yù)置數(shù)量為64。本發(fā)明所述基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，通過(guò)使用FCD快速角點(diǎn)檢測(cè)完成圖像特征點(diǎn)的提取，提高了特征點(diǎn)檢測(cè)算法的效率，可以有效克服移動(dòng)終端計(jì)算能力弱的弊端。通過(guò)利用K-means算法生成預(yù)置數(shù)量個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符生成的方法，使得有限的移動(dòng)終端內(nèi)存空間可以完成大范圍的場(chǎng)景識(shí)別。進(jìn)一步，通過(guò)利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述預(yù)置數(shù)量個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像供用戶(hù)選擇的方法，完成了高效的識(shí)別場(chǎng)景快速檢索。


圖1為本發(fā)明實(shí)施例所述智能移動(dòng)終端離線(xiàn)階段場(chǎng)景識(shí)別學(xué)習(xí)和訓(xùn)練的流程示意 圖2為本發(fā)明實(shí)施例所述智能移動(dòng)終端在線(xiàn)階段識(shí)別場(chǎng)景的流程示意圖。
具體實(shí)施例方式下面，結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)描述。如圖1所示，本實(shí)施例提供了一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，為了能夠?qū)?chǎng)景進(jìn)行在線(xiàn)識(shí)別，必須首先在離線(xiàn)階段對(duì)待識(shí)別場(chǎng)景進(jìn)行學(xué)習(xí)和訓(xùn)練。首先介紹離線(xiàn)階段對(duì)待識(shí)別場(chǎng)景的學(xué)習(xí)和訓(xùn)練，如圖1所示，其包括如下步驟 步驟11，采集待識(shí)別場(chǎng)景的圖像；
拍攝若干幅帶識(shí)別場(chǎng)景的圖像作為訓(xùn)練樣本，以完成場(chǎng)景學(xué)習(xí)任務(wù)。使用者可以拍攝場(chǎng)景的四幅以上圖像來(lái)代表一個(gè)場(chǎng)景，一般場(chǎng)景數(shù)量可以達(dá)到一萬(wàn)個(gè)以上。步驟12，提取特征點(diǎn)； 采集完待識(shí)別的場(chǎng)景圖像后，使用F⑶(Fast Corner Detector，快速角點(diǎn)檢測(cè))完成圖像特征點(diǎn)的提取，并利用SIFT (Scale-1nvariant feature transform,尺度不變特征轉(zhuǎn)換)算法直接在灰度空間上生成相應(yīng)特征點(diǎn)的SIFT描述符。其中，SIFT特征是一種電腦視覺(jué)的算法，用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量，此算法由David Lowe在1999年所發(fā)表，2004年完善總結(jié)。步驟13, K-means 聚類(lèi)；
對(duì)每一個(gè)特征點(diǎn)的SIFT描述符利用K-means算法生成預(yù)置數(shù)量，例如64個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符的生成；
其中，K-means算法是典型的基于距離的聚類(lèi)算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近，其相似度就越大。該算法認(rèn)為簇是由距離靠近的對(duì)象組成的，因此把得到緊湊且獨(dú)立的簇作為最終目標(biāo)。步驟14，生成圖像描述符；
將一幅圖像上的每一個(gè)特征點(diǎn)的SIFT描述符都放入到上述視覺(jué)單詞中查找一個(gè)與其最接近的視覺(jué)單詞并求取誤差，將獲得的所有誤差串聯(lián)，生成一幅圖像的描述符，并保存到圖像數(shù)據(jù)庫(kù)中，以方法生成所有待識(shí)別場(chǎng)的圖像描述符，并保存到圖像數(shù)據(jù)庫(kù)中。步驟15，壓縮圖像描述符；
利用主成分分析PCA法對(duì)上述生成的圖像描述符進(jìn)行聚類(lèi)，提取主成分以完成對(duì)圖像描述符的壓縮。步驟16，對(duì)圖像描述符的編碼和存儲(chǔ)；
利用transform coding變換編碼法對(duì)壓縮后的圖像描述符進(jìn)行編碼存儲(chǔ)；
我們可以規(guī)定編碼位數(shù)為64個(gè)比特，這樣，一幅圖像的描述符僅占用8個(gè)字節(jié)的空間，占用空間小。通過(guò)上述步驟完成了離線(xiàn)階段待識(shí)別場(chǎng)景的學(xué)習(xí)和訓(xùn)練。其中步驟15和步驟16可以完成對(duì)圖像數(shù)據(jù)的壓縮和保存，以減少占用的內(nèi)存空間。之后，可以進(jìn)行在線(xiàn)場(chǎng)景的識(shí)別。其主要任務(wù)時(shí)根據(jù)離線(xiàn)階段獲得的數(shù)據(jù)來(lái)評(píng)判當(dāng)前輸入圖像與已有圖像的相似度，進(jìn)而完成場(chǎng)景的識(shí)別。如圖2所示，具體步驟如下
步驟21，采集視頻；
用戶(hù)使用視頻設(shè)備實(shí)時(shí)采集感興趣的目標(biāo)圖像，以完成圖像的采集。步驟22，生成圖像描述符；
智能移動(dòng)終端通過(guò)視頻設(shè)備實(shí)時(shí)采集圖像，使用FCD快速角點(diǎn)檢測(cè)法完成圖像特征點(diǎn)提取，并利用SIFT算法直接在灰度空間上生成輸入圖像特征點(diǎn)的SIFT描述符，再根據(jù)離線(xiàn)階段生成的視覺(jué)單詞和所述輸入圖像特征點(diǎn)的SIFT描述符生成輸入圖像的描述符。步驟23，描述符的搜索；
用離線(xiàn)階段獲取的主成分分析PCA矩陣對(duì)生成的輸入圖像描述符進(jìn)行壓縮，將壓縮后的輸入圖像描述符與數(shù)據(jù)庫(kù)中保存的壓縮后的圖像描述符進(jìn)行對(duì)比，從中找出排序前n幅圖像作為后續(xù)識(shí)別之用。離線(xiàn)階段的PCA矩陣只有離線(xiàn)階段才能產(chǎn)生這個(gè)矩陣，在線(xiàn)階段只有單獨(dú)的圖像，是利用這個(gè)已有的矩陣對(duì)輸入圖像特征描述符進(jìn)行壓縮。步驟24，投票并返回識(shí)別結(jié)果； 利用前n幅圖像，并對(duì)這n幅圖像當(dāng)中的每一幅進(jìn)行投票，將排名靠前的幾幅圖像，例如前4位的場(chǎng)景中的圖像返回給用戶(hù)作為識(shí)別結(jié)果。這里，所謂的投票就是計(jì)算輸入圖像的SIFT描述符與圖像數(shù)據(jù)庫(kù)中的SIFT描述符之間的矢量距離，距離越短表明越可能與目標(biāo)對(duì)象相似，前4位是指距離最短的四個(gè)場(chǎng)景特征，也就是最有可能的4個(gè)場(chǎng)景，給用戶(hù)自己選擇。當(dāng)然也可以選擇返回距離最短的一個(gè)，但因?yàn)閳D像識(shí)別一般不能保證100%的準(zhǔn)確率，所以這里返回最有可能的幾個(gè)，讓用戶(hù)做進(jìn)一步的判斷。進(jìn)一步的，在步驟23中，所述將輸入圖像的描述符與圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行對(duì)比，找出排序前n幅圖像，包括
利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量M個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述M個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像。這種僅僅將與輸入圖像描述符最為接近的若干類(lèi)心中的已有圖像描述符進(jìn)行距離計(jì)算用以生成候選描述符集合的方法，能夠?qū)⑺阉鲿r(shí)間縮短為傳統(tǒng)方法的十分之一左右，因而能夠大大加速搜索過(guò)程，并提高系統(tǒng)的可擴(kuò)充性。綜上所述，本實(shí)施例所述基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，通過(guò)使用FCD快速角點(diǎn)檢測(cè)完成圖像特征點(diǎn)的提取，提高了特征點(diǎn)檢測(cè)算法的效率，可以有效克服移動(dòng)終端計(jì)算能力弱的弊端。通過(guò)利用K-means算法生成預(yù)置數(shù)量個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符生成的方法，使得有限的移動(dòng)終端內(nèi)存空間可以完成大范圍的場(chǎng)景識(shí)別。進(jìn)一步，通過(guò)利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述預(yù)置數(shù)量個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像供用戶(hù)選擇的方法，完成了高效的識(shí)別場(chǎng)景快速檢索。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，其特征在于，包括 步驟1，智能移動(dòng)終端離線(xiàn)階段拍攝待識(shí)別場(chǎng)景，使用FCD快速角點(diǎn)檢測(cè)完成圖像特征點(diǎn)提取，并利用SIFT算法直接在灰度空間上生成相應(yīng)特征點(diǎn)的SIFT描述符； 步驟2，對(duì)每一個(gè)特征點(diǎn)的SIFT描述符利用K-means算法生成預(yù)置數(shù)量個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符的生成； 步驟3，將一幅圖像上的每一個(gè)特征點(diǎn)的SIFT描述符都放入到上述視覺(jué)單詞中查找一個(gè)與其最接近的視覺(jué)單詞并求取誤差，將獲得的所有誤差串聯(lián)，生成一幅圖像的描述符，并保存到圖像數(shù)據(jù)庫(kù)中，以此方法生成所有待識(shí)別場(chǎng)的圖像描述符，并保存到圖像數(shù)據(jù)庫(kù)中； 步驟4，智能移動(dòng)終端通過(guò)視頻設(shè)備實(shí)時(shí)采集圖像，使用FCD快速角點(diǎn)檢測(cè)法完成圖像特征點(diǎn)提取，并利用SIFT算法直接在灰度空間上生成輸入圖像特征點(diǎn)的SIFT描述符，再根據(jù)離線(xiàn)階段生成的視覺(jué)單詞和所述輸入圖像特征點(diǎn)的SIFT描述符生成輸入圖像的描述符; 步驟5，將輸入圖像的描述符與圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行對(duì)比，找出排序前n幅圖像呈現(xiàn)給用戶(hù)，由用戶(hù)選擇識(shí)別場(chǎng)景。
2.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，在步驟3中，所述在生成的圖像描述符后，保存到圖像數(shù)據(jù)庫(kù)前，還包括 利用主成分分析PCA法對(duì)所述生成的圖像描述符進(jìn)行聚類(lèi)，提取主成分以完成對(duì)圖像描述符的壓縮； 利用變換編碼法對(duì)壓縮后的圖像描述符進(jìn)行編碼存儲(chǔ)； 在步驟4后，還包括 利用離線(xiàn)階段獲取的主成分分析PCA矩陣對(duì)生成的輸入圖像描述符進(jìn)行壓縮； 步驟5中，將壓縮后的輸入圖像描述符與數(shù)據(jù)庫(kù)中保存的壓縮后的圖像描述符進(jìn)行對(duì)比。
3.根據(jù)權(quán)利要求1或者2所述場(chǎng)景識(shí)別方法，其特征在于，在步驟5中，所述將輸入圖像的描述符與圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行對(duì)比，找出排序前n幅圖像，包括 利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述預(yù)置數(shù)量個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像。
4.根據(jù)權(quán)利要求2所述的場(chǎng)景識(shí)別方法，其特征在于，所述利用變換編碼法對(duì)壓縮后的圖像描述符進(jìn)行編碼存儲(chǔ)，其編碼位數(shù)為64個(gè)比特。
5.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，步驟2中所述預(yù)置數(shù)量為64。
全文摘要
本發(fā)明提供了一種基于智能移動(dòng)終端的場(chǎng)景識(shí)別方法，通過(guò)使用FCD快速角點(diǎn)檢測(cè)完成圖像特征點(diǎn)的提取，提高了特征點(diǎn)檢測(cè)算法的效率，可以有效克服移動(dòng)終端計(jì)算能力弱的弊端。通過(guò)利用K-means算法生成預(yù)置數(shù)量個(gè)類(lèi)心，每一個(gè)類(lèi)心作為視覺(jué)單詞用于后續(xù)圖像描述符生成的方法，使得有限的移動(dòng)終端內(nèi)存空間可以完成大范圍的場(chǎng)景識(shí)別。進(jìn)一步，通過(guò)利用mean-shift法對(duì)圖像數(shù)據(jù)庫(kù)中保存的圖像描述符進(jìn)行聚類(lèi)，生成預(yù)置數(shù)量個(gè)類(lèi)心，將輸入圖像的描述符按照最近距離插入到所述預(yù)置數(shù)量個(gè)類(lèi)心中的一個(gè)，并計(jì)算矢量距離，以距離最短排序，找出排序前n幅圖像供用戶(hù)選擇的方法，完成了高效的識(shí)別場(chǎng)景快速檢索。
文檔編號(hào)G06K9/62GK103065150SQ20111032506
公開(kāi)日2013年4月24日 申請(qǐng)日期2011年10月24日 優(yōu)先權(quán)日2011年10月24日
發(fā)明者陳大煒 申請(qǐng)人:康佳集團(tuán)股份有限公司