高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)和方法
【專利摘要】本發(fā)明公開(kāi)了一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)和方法，該方法包括以下步驟：利用詞匯網(wǎng)路輔助分析標(biāo)注詞之間的相關(guān)性，從一幅圖像的眾多候選關(guān)鍵詞中挑出最相關(guān)、最具代表性的詞，濾除掉無(wú)關(guān)噪聲詞匯，同時(shí)結(jié)合通過(guò)視覺(jué)信息判斷圖像的相似性，從相似的圖像中獲得缺失的標(biāo)注信息；生成語(yǔ)義場(chǎng)并將在邏輯上將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線；通過(guò)分析這些具有圖像的語(yǔ)義，進(jìn)一步進(jìn)行標(biāo)注的傳播和噪聲的消除，實(shí)現(xiàn)圖像標(biāo)注改善。本發(fā)明的目的是為了使視頻內(nèi)容的檢索更加方便，符合人的主觀效果。
【專利說(shuō)明】
高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種高維空間點(diǎn)智能視頻檢索技術(shù)，特別是涉及一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)和方法。
【背景技術(shù)】
[0002]隨著多媒體影像技術(shù)和存儲(chǔ)設(shè)備的快速發(fā)展，互聯(lián)網(wǎng)上視頻信息呈爆炸性增長(zhǎng)。視覺(jué)圖像信息與文本信息相比，更加生動(dòng)、易于理解。如何幫助用戶快速、準(zhǔn)確地找到需要的圖像成為近年來(lái)多媒體研究的熱點(diǎn)課題之一，無(wú)論是商業(yè)界還是學(xué)術(shù)界，快速、高效的視頻檢索技術(shù)都成為了一個(gè)重要研究方向。
[0003]視頻檢索技術(shù)始于基于文本的圖像檢索，然而，隨著數(shù)字圖像越來(lái)越多，基于文本的圖像檢索不僅費(fèi)時(shí)費(fèi)力，而且標(biāo)注結(jié)果帶有主觀性。為了克服這些問(wèn)題，研究人員于20世紀(jì)80年代提出了基于內(nèi)容的圖像檢索。由于基于內(nèi)容的圖像檢索是基于圖像底層視覺(jué)特征的表示，避免了人工標(biāo)注的不準(zhǔn)確性和主觀性，但是它也帶來(lái)了若干新的問(wèn)題，如“語(yǔ)義鴻溝”問(wèn)題，“維數(shù)災(zāi)難”問(wèn)題等，因此，基于內(nèi)容的圖像檢索技術(shù)很難被實(shí)用化。近幾年來(lái)，研究人員試圖將基于文本的圖像檢索和基于內(nèi)容的圖像檢索結(jié)合起來(lái)，提高檢索性能和速度，自動(dòng)視頻標(biāo)注方法自然地被提出來(lái)，成為新的研究熱點(diǎn)。
[0004]真實(shí)世界環(huán)境(Real-World)的概念與一般自動(dòng)圖像標(biāo)注方法所設(shè)定的受限環(huán)境相對(duì)。在受限環(huán)境下，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)都是來(lái)自于同一個(gè)人工收集的小規(guī)模圖像數(shù)據(jù)庫(kù)，同時(shí)可能待標(biāo)注的概念非常少，測(cè)試圖像一般不包含其它信息等等。而在真實(shí)世界環(huán)境下，特別是互聯(lián)網(wǎng)環(huán)境下，這些限制一般都不存在或者是不合理的。許多受限條件下的自動(dòng)圖像標(biāo)注方法基本沒(méi)有考慮真實(shí)世界環(huán)境下的圖像標(biāo)注問(wèn)題，在實(shí)際應(yīng)用中表現(xiàn)并不好，如圖像標(biāo)注性能不高，用戶對(duì)圖像標(biāo)注的感受不好，無(wú)法處理大量的語(yǔ)義概念等問(wèn)題。因此，如果要將圖像標(biāo)注實(shí)用化，必須要實(shí)現(xiàn)真實(shí)世界環(huán)境下的自動(dòng)圖像標(biāo)注方法。現(xiàn)在對(duì)真實(shí)世界環(huán)境下的自動(dòng)圖像標(biāo)注的研究才剛剛開(kāi)始，比如如何利用圖像的元數(shù)據(jù)進(jìn)行圖像標(biāo)注，如何建立真實(shí)世界下的圖像標(biāo)注方法的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)等。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)和方法，其使視頻內(nèi)容的檢索更加方便，符合人的主觀效果，可以用于監(jiān)控、視頻流等領(lǐng)域，可以在大規(guī)模視頻數(shù)據(jù)庫(kù)建立有效的索引結(jié)構(gòu)，提高判斷近似重復(fù)視頻的查詢過(guò)程，提高查詢的效率。
[0006]本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問(wèn)題的:一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的方法，其特征在于，其包括以下步驟:步驟一:利用詞匯網(wǎng)路輔助分析標(biāo)注詞之間的相關(guān)性，從一幅圖像的眾多候選關(guān)鍵詞中挑出最相關(guān)、最具代表性的詞，濾除掉無(wú)關(guān)噪聲詞匯，同時(shí)結(jié)合通過(guò)視覺(jué)信息判斷圖像的相似性，從相似的圖像中獲得缺失的標(biāo)注信息；步驟二:生成語(yǔ)義場(chǎng)并將在邏輯上將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線；步驟三:通過(guò)分析這些具有圖像的語(yǔ)義，進(jìn)一步進(jìn)行標(biāo)注的傳播和噪聲的消除，實(shí)現(xiàn)圖像標(biāo)注改善。
[0007]優(yōu)選地，所述步驟二包括以下步驟:對(duì)自然圖像所在的語(yǔ)意環(huán)境進(jìn)行分析并生成語(yǔ)意場(chǎng);對(duì)原始視頻圖像進(jìn)行自動(dòng)歸類處理，按語(yǔ)意網(wǎng)絡(luò)環(huán)境進(jìn)行歸屬；自動(dòng)歸類當(dāng)前使用局部特征點(diǎn)歸屬，得到集合;使用空間覆蓋體進(jìn)行集合的覆蓋，覆蓋體的形狀是超球或超橢球體;對(duì)覆蓋體的每個(gè)學(xué)習(xí)階段標(biāo)記其優(yōu)先關(guān)系，按優(yōu)先關(guān)系的不同，描述其回歸覆蓋的優(yōu)先次序;對(duì)樣本學(xué)習(xí)的每個(gè)角度，用不同的優(yōu)先關(guān)系的構(gòu)造序列。
[0008]優(yōu)選地，所述步驟三包括以下步驟:對(duì)原始圖像內(nèi)容進(jìn)行網(wǎng)絡(luò)歸類;對(duì)視頻圖像進(jìn)行特征獲取;按語(yǔ)義場(chǎng)獲取優(yōu)先順序，使用優(yōu)先順序進(jìn)行的高維空間點(diǎn)比對(duì);按比較結(jié)果進(jìn)行空間點(diǎn)覆蓋的獲取，比較局部特征點(diǎn)和整個(gè)圖像特征點(diǎn)的邏輯關(guān)系，排序后獲取可能的圖像。
[0009]本發(fā)明還提供一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)，其特征在于，其包括:
[0010]語(yǔ)意分析模塊，用于對(duì)視頻圖像的上下文進(jìn)行語(yǔ)意分析；
[0011]語(yǔ)意場(chǎng)管理模塊，通過(guò)不同的語(yǔ)意通道，實(shí)現(xiàn)對(duì)語(yǔ)意的優(yōu)先關(guān)系覆蓋模型；
[0012]視覺(jué)相似性度量計(jì)算模塊，通過(guò)對(duì)圖像內(nèi)容的空間點(diǎn)覆蓋，實(shí)現(xiàn)基于高維空間的點(diǎn)幾何關(guān)系運(yùn)算；
[0013]圖像數(shù)據(jù)庫(kù)，用于存取圖像數(shù)據(jù)可的訓(xùn)練數(shù)據(jù)樣本，訓(xùn)練數(shù)據(jù)樣本包括對(duì)同角度的優(yōu)先排序序列。
[0014]優(yōu)選地，所述圖像數(shù)據(jù)庫(kù)支持高維空間點(diǎn)覆蓋方法的比較方法。
[0015]本發(fā)明的積極進(jìn)步效果在于:本發(fā)明的目的是為了使視頻內(nèi)容的檢索更加方便，符合人的主觀效果。發(fā)明結(jié)果可以用于監(jiān)控、視頻流等領(lǐng)域。研究結(jié)果可以在大規(guī)模視頻數(shù)據(jù)庫(kù)建立有效的索引結(jié)構(gòu)，提高判斷近似重復(fù)視頻的查詢過(guò)程，提高查詢的效率。在進(jìn)行圖像標(biāo)注改善時(shí)，根據(jù)目標(biāo)的語(yǔ)義信息，有針對(duì)性地定位到在語(yǔ)義上與之相同或接近的等勢(shì)線上，等勢(shì)線的引入可以將真實(shí)世界圖像的標(biāo)注信息進(jìn)行有效地組織，使語(yǔ)義上相近的圖像有機(jī)地聚集在一起。這樣的組織不僅可以提高基于關(guān)鍵字的檢索，使檢索過(guò)程更有針對(duì)性，而且，由于在同一等勢(shì)線上的圖像具有某一相同的語(yǔ)義，可以認(rèn)為這些圖像間的其他語(yǔ)義也具有相關(guān)性，通過(guò)語(yǔ)義分析和篩選，實(shí)現(xiàn)圖像標(biāo)注的補(bǔ)充。需要說(shuō)明的是，本項(xiàng)目中圖像標(biāo)注改善是一個(gè)不斷迭代和完善的過(guò)程，即語(yǔ)義場(chǎng)是建立在結(jié)合詞匯網(wǎng)路和視覺(jué)相似性濾除噪聲詞匯之上的，而構(gòu)建語(yǔ)義場(chǎng)后進(jìn)行具有同等勢(shì)線間的圖像標(biāo)注傳播后難免會(huì)存在噪聲詞匯，需要進(jìn)一步利用詞匯網(wǎng)路和視覺(jué)相似性進(jìn)行噪聲標(biāo)注的消除，循環(huán)往復(fù)，逐步提高圖像標(biāo)注的質(zhì)量。使用者通過(guò)文字標(biāo)記的方法獲取視頻檢索，有很大的局限性，很難實(shí)現(xiàn)對(duì)視頻的精準(zhǔn)搜索。通過(guò)本發(fā)明描述的視頻語(yǔ)意網(wǎng)絡(luò)及高維空間點(diǎn)的覆蓋方法，可以實(shí)現(xiàn)快速視頻標(biāo)注和定位。對(duì)于互聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，當(dāng)一個(gè)視頻被上傳時(shí)，若能快速地檢測(cè)出視頻庫(kù)中是否已經(jīng)存在重復(fù)視頻不僅可以避免版權(quán)糾分，而且可以刪除視頻庫(kù)中的重復(fù)視頻，減少存儲(chǔ)空間，提高網(wǎng)絡(luò)視頻檢索系統(tǒng)中檢索結(jié)果的效果，更好的滿足用戶的需求。
【附圖說(shuō)明】
[0016]圖1為本發(fā)明尚維空間點(diǎn)超球覆蓋視頻序列標(biāo)注方法的視頻序列等勢(shì)線不意圖。
[0017]圖2為本發(fā)明高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注方法的視頻圖像標(biāo)注改善框架示意圖。
[0018]圖3為本發(fā)明高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)的原理框圖。
【具體實(shí)施方式】
[0019]下面結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明較佳實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。
[0020]如圖3所示，本發(fā)明高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)包括:
[0021]語(yǔ)意分析模塊，用于對(duì)視頻圖像的上下文進(jìn)行語(yǔ)意分析；
[0022]語(yǔ)意場(chǎng)管理模塊，通過(guò)不同的語(yǔ)意通道，實(shí)現(xiàn)對(duì)語(yǔ)意的優(yōu)先關(guān)系覆蓋模型；
[0023]視覺(jué)相似性度量計(jì)算模塊，通過(guò)對(duì)圖像內(nèi)容的空間點(diǎn)覆蓋，實(shí)現(xiàn)基于高維空間的點(diǎn)幾何關(guān)系運(yùn)算；
[0024]圖像數(shù)據(jù)庫(kù)，用于存取圖像數(shù)據(jù)可的訓(xùn)練數(shù)據(jù)樣本，訓(xùn)練數(shù)據(jù)樣本包括對(duì)同角度的優(yōu)先排序序列。圖像數(shù)據(jù)庫(kù)支持高維空間點(diǎn)覆蓋方法的比較方法，能夠快速定位到具體的局部特征點(diǎn)序列。
[0025]語(yǔ)意分析模塊、視覺(jué)相似性度量計(jì)算模塊、圖像數(shù)據(jù)庫(kù)都與語(yǔ)意場(chǎng)管理模塊連接。
[0026]如圖1和圖2所示，本發(fā)明高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的方法包括以下步驟:
[0027]步驟一:利用詞匯網(wǎng)路輔助分析標(biāo)注詞之間的相關(guān)性，從一幅圖像的眾多候選關(guān)鍵詞中挑出最相關(guān)、最具代表性的詞，濾除掉無(wú)關(guān)噪聲詞匯，同時(shí)結(jié)合通過(guò)視覺(jué)信息判斷圖像的相似性，從相似的圖像中獲得缺失的標(biāo)注信息；
[0028]步驟二:生成語(yǔ)義場(chǎng)并將在邏輯上將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線；圖像包括第一圖像1、第二圖像2、第三圖像3、第四圖像4、第五圖像5、第六圖像6。等勢(shì)線包括第一等勢(shì)線11、第二等勢(shì)線12、第三等勢(shì)線13。
[0029]步驟三:通過(guò)分析這些具有圖像的語(yǔ)義，進(jìn)一步進(jìn)行標(biāo)注的傳播和噪聲的消除，實(shí)現(xiàn)圖像標(biāo)注改善。
[0030]步驟二包括以下步驟:對(duì)自然圖像所在的語(yǔ)意環(huán)境進(jìn)行分析并生成語(yǔ)意場(chǎng);對(duì)原始視頻圖像進(jìn)行自動(dòng)歸類處理，按語(yǔ)意網(wǎng)絡(luò)環(huán)境進(jìn)行歸屬；自動(dòng)歸類當(dāng)前使用局部特征點(diǎn)歸屬，得到集合;使用空間覆蓋體進(jìn)行集合的覆蓋，覆蓋體的形狀可以是超球或超橢球體；對(duì)覆蓋體的每個(gè)學(xué)習(xí)階段標(biāo)記其優(yōu)先關(guān)系P，按優(yōu)先關(guān)系P的不同，可以描述其回歸覆蓋的優(yōu)先次序;對(duì)樣本學(xué)習(xí)的每個(gè)角度，用不同的優(yōu)先關(guān)系P的構(gòu)造’序列。
[0031]步驟三包括以下步驟:對(duì)原始圖像內(nèi)容進(jìn)行網(wǎng)絡(luò)歸類;對(duì)視頻圖像進(jìn)行特征獲取；按語(yǔ)義場(chǎng)獲取優(yōu)先順序Pl，使用優(yōu)先順序Pl進(jìn)行的高維空間點(diǎn)比對(duì);按比較結(jié)果進(jìn)行空間點(diǎn)覆蓋的獲取，比較局部特征點(diǎn)和整個(gè)圖像特征點(diǎn)的邏輯關(guān)系，排序后獲取可能的圖像。
[0032]本發(fā)明主要從如下幾個(gè)方面進(jìn)行處理:
[0033]—、基于編程模型的并行化計(jì)算，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)集的圖像語(yǔ)義學(xué)習(xí)。
[0034]真實(shí)世界環(huán)境下一般需要大規(guī)模的圖像訓(xùn)練集才能實(shí)現(xiàn)有效的語(yǔ)義概念的學(xué)習(xí)和標(biāo)注。研究基于編程模型的學(xué)習(xí)任務(wù)并行化操作機(jī)制，提升針對(duì)大規(guī)模數(shù)據(jù)進(jìn)行學(xué)習(xí)的能力。如何推廣現(xiàn)有算法來(lái)適用大規(guī)模圖像訓(xùn)練數(shù)據(jù)庫(kù)，如何構(gòu)建大規(guī)模圖像訓(xùn)練數(shù)據(jù)并行處理結(jié)構(gòu)，把一個(gè)學(xué)習(xí)任務(wù)劃合理分成若干并行子任務(wù)，并將子任務(wù)合理的分派給線程，使各線程的工作量均衡。如何處理并行操作中出現(xiàn)的故障，如何對(duì)最后的學(xué)習(xí)任務(wù)進(jìn)行合并匯總等等。這些都是值得研究的問(wèn)題。
[0035]二、基于迀移學(xué)習(xí)的標(biāo)注模型擴(kuò)展。
[0036]基于分類的圖像標(biāo)注方法可以在少量概念時(shí)獲得比較好的標(biāo)注性能，卻無(wú)法同時(shí)對(duì)大規(guī)模概念同時(shí)學(xué)習(xí)。研究基于迀移學(xué)習(xí)的標(biāo)注模型擴(kuò)展，將學(xué)習(xí)好的標(biāo)注模型推廣到其它標(biāo)注。迀移哪些知識(shí)到目標(biāo)對(duì)象中，何種情況下進(jìn)行知識(shí)的迀移以及如何設(shè)計(jì)合理的迀移策略，將學(xué)習(xí)好的標(biāo)注模型自動(dòng)地推廣到其它標(biāo)注的情況，降低對(duì)標(biāo)注問(wèn)題訓(xùn)練集的要求，降低學(xué)習(xí)的代價(jià)，這些都是本項(xiàng)目需要研究的問(wèn)題。
[0037]三、圖像標(biāo)注改善。
[0038]由于在真實(shí)世界環(huán)境下圖像來(lái)源于不同的領(lǐng)域，因此，圖像標(biāo)注不僅范圍廣，而且同一個(gè)語(yǔ)義往往可用不同的標(biāo)注詞進(jìn)行標(biāo)注，此外，一幅圖像含義的語(yǔ)義信息是非常豐富的，通過(guò)外部信息或者學(xué)習(xí)獲得的圖像標(biāo)注往往是不完整的、含有大量的噪聲數(shù)據(jù)。項(xiàng)目研究在真實(shí)世界環(huán)境下，圖像標(biāo)注結(jié)果的組織和統(tǒng)一，分析標(biāo)注詞間的語(yǔ)義相關(guān)性，并結(jié)合視覺(jué)特征，去除不相關(guān)的標(biāo)注，以達(dá)到圖像標(biāo)注改善的目的。
[0039]本發(fā)明主要運(yùn)用高維空間超球交織快速定位技術(shù)。對(duì)線性時(shí)間視頻而言，其中關(guān)鍵視頻幀描述是快速定位的關(guān)鍵，主要分為以下三個(gè)關(guān)鍵點(diǎn):
[0040]—、分析過(guò)程
[0041 ]對(duì)關(guān)鍵數(shù)據(jù)幀的內(nèi)容，幀數(shù)據(jù)的某個(gè)特征區(qū)域進(jìn)行特征點(diǎn)獲取F，F(xiàn) = {FI，F(xiàn)2，...Fm}，其中Fk被定義為區(qū)域特征值集合Fk= {Cl，C2，...Cp}，同理通過(guò)對(duì)時(shí)間序列Tt，可以得到Ft。而后對(duì)其中的特征排序，使得其特征有序分布在特定半徑的超球面上，最終Tt描述為竹={^142，...切}，同理可以另外一段時(shí)間序列為擴(kuò)的不同或相同的視頻為1'‘^‘t’ = {t‘l，t‘2，...t‘m}，其中t與t‘可以不同。
[0042]二、定位過(guò)程
[0043]通過(guò)排序后的特征組Tt，T‘t’進(jìn)行快速比較。通過(guò)判斷空間幾何判斷:t‘l與tl及tn關(guān)系分別為dll，dln，tm與tl及tn關(guān)系分別為dml，dmn，得到Dl = (dll-dml)*(dll_dmn)與D2=(dln-dml)*(dln-dmn)，如果 516~(01)〈>516~(02)或01=0|02 = 0，說(shuō)明兩個(gè)序列在空間球中有相互覆蓋，那么繼續(xù)l/2*t時(shí)間內(nèi)的序列進(jìn)行搜著，直到?jīng)]有超球交織為止，然后定位最小的Dl，D2位置，此時(shí)得到的特征序列可能是分布在有限時(shí)間范圍內(nèi)的一個(gè)或多個(gè)鏡頭場(chǎng)景幀。如何解決超球中的交叉關(guān)系是本研究提尚速度的關(guān)鍵。
[0044]三、時(shí)間復(fù)雜度分析
[0045]視頻流獲取特征時(shí)間O(N)，特征排序時(shí)間為N*L0G2N，超球獲取相似特征時(shí)間因?yàn)樯婕暗絀 /2查找，所以時(shí)間復(fù)雜度為N*L0G2N。所以總的時(shí)間復(fù)雜度可以為N*L0G2N，算法可以達(dá)到較高的速度。
[0046]視頻標(biāo)注不僅范圍廣，而且同一個(gè)語(yǔ)義往往可用不同的標(biāo)注詞進(jìn)行標(biāo)注，此外，一幅圖像含義的語(yǔ)義信息是非常豐富的，通過(guò)外部信息或者學(xué)習(xí)獲得的圖像標(biāo)注往往是不完整的、含有大量的噪聲數(shù)據(jù)，建立語(yǔ)意框架
[0047]項(xiàng)目首先利用WordNet輔助分析標(biāo)注詞之間的相關(guān)性，從一幅圖像的眾多候選關(guān)鍵詞中挑出最相關(guān)、最具代表性的詞，濾除掉無(wú)關(guān)噪聲詞匯，同時(shí)結(jié)合通過(guò)視覺(jué)信息判斷圖像的相似性，從相似的圖像中獲得缺失的標(biāo)注信息;然后生成語(yǔ)義場(chǎng)并將在邏輯上將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線。由于在同一等勢(shì)線上的圖像具有某種相同的語(yǔ)義，可以認(rèn)為這些圖像間的其他語(yǔ)義也具有相關(guān)性;最后，通過(guò)分析這些具有圖像的語(yǔ)義，進(jìn)一步進(jìn)行標(biāo)注的傳播和噪聲的消除，實(shí)現(xiàn)圖像標(biāo)注改善。
[0048]定義視頻關(guān)聯(lián)場(chǎng)、等勢(shì)線，場(chǎng)的概念最早是1937年由英國(guó)物理學(xué)家法拉第提出，用于描述物質(zhì)粒子間的非接觸相互作用。隨著場(chǎng)論思想的發(fā)展，人們將其抽象為一個(gè)數(shù)學(xué)概念，用來(lái)描述某個(gè)物理量或者數(shù)學(xué)函數(shù)在空間內(nèi)的分布規(guī)律。基礎(chǔ)物理學(xué)中討論得最多的是有源矢量場(chǎng)，主要特征是空間中存在無(wú)數(shù)條以場(chǎng)源為中心的等勢(shì)線。處在同一等勢(shì)線上的物體受力的雖方向不同，但大小相同。受上述物理思想的啟發(fā)，本研究嘗試將場(chǎng)理論抽象到語(yǔ)義空間中，考慮將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線，因此，真實(shí)世界的圖像可以構(gòu)成若干條等勢(shì)線，等勢(shì)線圖如附錄。
[0049]在進(jìn)行圖像標(biāo)注改善時(shí)，根據(jù)目標(biāo)的語(yǔ)義信息，有針對(duì)性地定位到在語(yǔ)義上與之相同或接近的等勢(shì)線上，等勢(shì)線的引入可以將真實(shí)世界圖像的標(biāo)注信息進(jìn)行有效地組織，使語(yǔ)義上相近的圖像有機(jī)地聚集在一起。這樣的組織不僅可以提高基于關(guān)鍵字的檢索，使檢索過(guò)程更有針對(duì)性，而且，由于在同一等勢(shì)線上的圖像具有某一相同的語(yǔ)義，可以認(rèn)為這些圖像間的其他語(yǔ)義也具有相關(guān)性，通過(guò)語(yǔ)義分析和篩選，實(shí)現(xiàn)圖像標(biāo)注的補(bǔ)充。需要說(shuō)明的是，本項(xiàng)目中圖像標(biāo)注改善是一個(gè)不斷迭代和完善的過(guò)程，即語(yǔ)義場(chǎng)是建立在結(jié)合WordNet和視覺(jué)相似性濾除噪聲詞匯之上的，而構(gòu)建語(yǔ)義場(chǎng)后進(jìn)行具有同等勢(shì)線間的圖像標(biāo)注傳播后難免會(huì)存在噪聲詞匯，需要進(jìn)一步利用WordNet和視覺(jué)相似性進(jìn)行噪聲標(biāo)注的消除，循環(huán)往復(fù)，逐步提尚圖像標(biāo)注的質(zhì)量。
[0050]除了設(shè)計(jì)向量空間或距離空間這類單層次的索引外，如何創(chuàng)建一個(gè)類似的層次結(jié)構(gòu)用于索引全局特征及其對(duì)應(yīng)的局部特征也是本發(fā)明的要點(diǎn)。
[0051]以上所述的具體實(shí)施例，對(duì)本發(fā)明的解決的技術(shù)問(wèn)題、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的方法，其特征在于，其包括以下步驟: 步驟一:利用詞匯網(wǎng)路輔助分析標(biāo)注詞之間的相關(guān)性，從一幅圖像的眾多候選關(guān)鍵詞中挑出最相關(guān)、最具代表性的詞，濾除掉無(wú)關(guān)噪聲詞匯，同時(shí)結(jié)合通過(guò)視覺(jué)信息判斷圖像的相似性，從相似的圖像中獲得缺失的標(biāo)注信息； 步驟二:生成語(yǔ)義場(chǎng)并將在邏輯上將具有相同語(yǔ)義信息的圖像組織在一起，構(gòu)成等勢(shì)線； 步驟三:通過(guò)分析這些具有圖像的語(yǔ)義，進(jìn)一步進(jìn)行標(biāo)注的傳播和噪聲的消除，實(shí)現(xiàn)圖像標(biāo)注改善。2.根據(jù)權(quán)利要求1所述的高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的方法，其特征在于，所述步驟二包括以下步驟:對(duì)自然圖像所在的語(yǔ)意環(huán)境進(jìn)行分析并生成語(yǔ)意場(chǎng);對(duì)原始視頻圖像進(jìn)行自動(dòng)歸類處理，按語(yǔ)意網(wǎng)絡(luò)環(huán)境進(jìn)行歸屬；自動(dòng)歸類當(dāng)前使用局部特征點(diǎn)歸屬，得到集合;使用空間覆蓋體進(jìn)行集合的覆蓋，覆蓋體的形狀是超球或超橢球體;對(duì)覆蓋體的每個(gè)學(xué)習(xí)階段標(biāo)記其優(yōu)先關(guān)系，按優(yōu)先關(guān)系的不同，描述其回歸覆蓋的優(yōu)先次序;對(duì)樣本學(xué)習(xí)的每個(gè)角度，用不同的優(yōu)先關(guān)系的構(gòu)造序列。3.根據(jù)權(quán)利要求1所述的高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的方法，其特征在于，所述步驟三包括以下步驟:對(duì)原始圖像內(nèi)容進(jìn)行網(wǎng)絡(luò)歸類;對(duì)視頻圖像進(jìn)行特征獲取;按語(yǔ)義場(chǎng)獲取優(yōu)先順序，使用優(yōu)先順序進(jìn)行的高維空間點(diǎn)比對(duì);按比較結(jié)果進(jìn)行空間點(diǎn)覆蓋的獲取，比較局部特征點(diǎn)和整個(gè)圖像特征點(diǎn)的邏輯關(guān)系，排序后獲取可能的圖像。4.一種高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)，其特征在于，其包括: 語(yǔ)意分析模塊，用于對(duì)視頻圖像的上下文進(jìn)行語(yǔ)意分析； 語(yǔ)意場(chǎng)管理模塊，通過(guò)不同的語(yǔ)意通道，實(shí)現(xiàn)對(duì)語(yǔ)意的優(yōu)先關(guān)系覆蓋模型； 視覺(jué)相似性度量計(jì)算模塊，通過(guò)對(duì)圖像內(nèi)容的空間點(diǎn)覆蓋，實(shí)現(xiàn)基于高維空間的點(diǎn)幾何關(guān)系運(yùn)算； 圖像數(shù)據(jù)庫(kù)，用于存取圖像數(shù)據(jù)可的訓(xùn)練數(shù)據(jù)樣本，訓(xùn)練數(shù)據(jù)樣本包括對(duì)同角度的優(yōu)先排序序列。5.根據(jù)權(quán)利要求4所述的高維空間點(diǎn)超球覆蓋視頻序列標(biāo)注的系統(tǒng)，其特征在于，所述圖像數(shù)據(jù)庫(kù)支持高維空間點(diǎn)覆蓋方法的比較方法。
【文檔編號(hào)】G06K9/00GK106021365SQ201610307201
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月11日
【發(fā)明人】楊珺, 朱世交
【申請(qǐng)人】上海迪目信息科技有限公司