本發(fā)明涉及視頻摘要領(lǐng)域，尤其是涉及了一種適用于文本查詢的視頻摘要生成方法。

背景技術(shù)：

視頻摘要技術(shù)建立在基于內(nèi)容的多媒體分析技術(shù)基礎(chǔ)上，多年以來(lái)一直是國(guó)內(nèi)外多媒體研究的熱點(diǎn)之一。隨著對(duì)視頻數(shù)據(jù)處理要求的不斷提高和視頻數(shù)據(jù)量的不斷增多，人們需要為一長(zhǎng)段視頻建立一段摘要來(lái)快速瀏覽，以便更好地利用它。人們可以通過(guò)對(duì)視頻內(nèi)容的分析來(lái)減小視頻存儲(chǔ)，方便分類和索引，提高視頻的使用效率、可用性和可訪問(wèn)性。視頻摘要技術(shù)目前已經(jīng)廣泛地應(yīng)用于大量使用視頻監(jiān)控的行業(yè)，如關(guān)鍵道路視頻智能摘要、重點(diǎn)路段和收費(fèi)閘口視頻智能摘要、重點(diǎn)監(jiān)舍或人員交接班視頻智能摘要以及場(chǎng)館、出入口視頻智能摘要。然而，傳統(tǒng)的視頻摘要技術(shù)只能實(shí)現(xiàn)重要視頻摘要的創(chuàng)建，不能實(shí)現(xiàn)文本查詢功能，給查找和調(diào)取相關(guān)視頻、跨視頻搜索等帶來(lái)了麻煩。

本發(fā)明提出了一種適用于文本查詢的視頻摘要生成方法，先給定訓(xùn)練目標(biāo)，將視頻幀和文本查詢投影到相同的嵌入空間中，接著評(píng)估幀相關(guān)性，計(jì)算質(zhì)量分?jǐn)?shù)、多樣性分?jǐn)?shù)和代表性分?jǐn)?shù)，再計(jì)算最終相關(guān)性，并對(duì)其進(jìn)行建模，最后使用子模型優(yōu)化的幀創(chuàng)建視頻摘要。本發(fā)明運(yùn)用子模型優(yōu)化幀，創(chuàng)建多個(gè)目標(biāo)的摘要，使子模型目標(biāo)函數(shù)的線性組合最大化，創(chuàng)建出的摘要能更加準(zhǔn)確地傳達(dá)視頻的主要信息，大大節(jié)省了人力和時(shí)間；同時(shí)在創(chuàng)建視頻摘要的基礎(chǔ)上，實(shí)現(xiàn)了文本查詢功能，提高了實(shí)用性。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)不能實(shí)現(xiàn)文本查詢功能的問(wèn)題，本發(fā)明的目的在于提供一種適用于文本查詢的視頻摘要生成方法，先給定訓(xùn)練目標(biāo)，將視頻幀和文本查詢投影到相同的嵌入空間中，接著評(píng)估幀相關(guān)性，計(jì)算質(zhì)量分?jǐn)?shù)、多樣性分?jǐn)?shù)和代表性分?jǐn)?shù)，再計(jì)算最終相關(guān)性，并對(duì)其進(jìn)行建模，最后使用子模型優(yōu)化的幀創(chuàng)建視頻摘要。

為解決上述問(wèn)題，本發(fā)明提供一種適用于文本查詢的視頻摘要生成方法，其主要內(nèi)容包括：

(一)給定訓(xùn)練目標(biāo)；

(二)評(píng)估幀相關(guān)性；

(三)使用子模型優(yōu)化的幀創(chuàng)建視頻摘要。

其中，所述的給定訓(xùn)練目標(biāo)，給定查詢t的排名約束，相關(guān)幀v⁺的相關(guān)性分?jǐn)?shù)高于不相關(guān)幀v^-的相關(guān)性分?jǐn)?shù)：

r(t,v⁺)>r(t,v^-)(1)

可以使相關(guān)幀的相似度分?jǐn)?shù)和質(zhì)量分?jǐn)?shù)高于不相關(guān)幀，從而開(kāi)始訓(xùn)練模型；

在這種情況下，強(qiáng)加以上兩個(gè)限制條件。

進(jìn)一步地，所述的約束，為了強(qiáng)加這些約束并訓(xùn)練模型，將損失函數(shù)定義為：

其中，lp是成本函數(shù)，γ是間隔參數(shù)；使用huber損失函數(shù)lp。

其中，所述的評(píng)估幀相關(guān)性，將視頻幀v和文本查詢t投影到相同的嵌入空間中；將t和v的投影分別表示為t和v；一旦被訓(xùn)練，給定查詢t的幀v的相關(guān)性可以通過(guò)一些相似性度量來(lái)估計(jì)；使用余弦相似性：

這可以評(píng)估關(guān)于查詢的幀的語(yǔ)義相關(guān)性，也可以基于幀質(zhì)量、構(gòu)圖等對(duì)先前的縮略圖做出預(yù)測(cè)；計(jì)算最終相關(guān)性，即嵌入相似度和與查詢無(wú)關(guān)的幀質(zhì)量項(xiàng)的總和，并對(duì)其進(jìn)行建模：

r(t,v)＝s(t,v)+qv(5)

其中，qv是基于幀v的質(zhì)量作為縮略圖的查詢分?jǐn)?shù)。

進(jìn)一步地，所述的文本和幀的表示，使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)v和qv，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)獲得t；為了共同學(xué)習(xí)這些網(wǎng)絡(luò)的參數(shù)，用(t,v⁺,v^-)三元組訓(xùn)練。

進(jìn)一步地，所述的文字表示，首先將查詢的每個(gè)單詞投影到一個(gè)300個(gè)維度的語(yǔ)義空間中，使用長(zhǎng)短期記憶(lstm)模型將單個(gè)詞的表示編碼作為單個(gè)固定長(zhǎng)度的嵌入，這樣能夠強(qiáng)調(diào)視覺(jué)上的信息詞和處理短語(yǔ)。

進(jìn)一步地，所述的圖像表示，為了表示圖像，利用預(yù)先訓(xùn)練的vgg-19網(wǎng)絡(luò)的特征表征；用301個(gè)維度的線性層m代替softmax層；前300個(gè)維度作為嵌入v，而最后一個(gè)維度代表質(zhì)量分?jǐn)?shù)qv。

其中，所述的使用子模型優(yōu)化的幀創(chuàng)建視頻摘要，使用子模型優(yōu)化的幀創(chuàng)建多個(gè)目標(biāo)的摘要；在這個(gè)幀中，摘要作為選擇子集y^*，其使子模型目標(biāo)函數(shù)的線性組合最大化：

其中，表示視頻的特征的所有可能解y和的集合；對(duì)于非負(fù)權(quán)重w，公式(6)是子模型，意味著可以使用貪婪算法進(jìn)行貪婪評(píng)估和近似優(yōu)化。

進(jìn)一步地，所述的目標(biāo)函數(shù)，選擇一小組目標(biāo)函數(shù)，每一個(gè)函數(shù)獲取不同方面的摘要：

1)查詢相似度f(wàn)(·,·)＝∑v∈ys(t,v)，其中，t是查詢嵌入，v是幀嵌入，s(·,·)表示公式(4)中定義的余弦相似度；

2)質(zhì)量分?jǐn)?shù)其中，qv表示基于v的質(zhì)量作為縮略圖的分?jǐn)?shù)；

3)根據(jù)不相似的度量d，為摘要中的元素的多樣性。

進(jìn)一步地，所述的權(quán)重學(xué)習(xí)，學(xué)習(xí)公式(6)中的權(quán)重w，需要查詢視頻對(duì)中標(biāo)記的真實(shí)數(shù)據(jù)摘要；如果相關(guān)性和多樣性標(biāo)簽是已知的，可以通過(guò)子梯度下降來(lái)估計(jì)子模態(tài)函數(shù)的最優(yōu)混合權(quán)重。

附圖說(shuō)明

圖1是本發(fā)明一種適用于文本查詢的視頻摘要生成方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種適用于文本查詢的視頻摘要生成方法的創(chuàng)建視頻摘要的示例圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種適用于文本查詢的視頻摘要生成方法的系統(tǒng)流程圖。主要包括給定訓(xùn)練目標(biāo)，評(píng)估幀相關(guān)性，使用子模型優(yōu)化的幀創(chuàng)建視頻摘要。

給定訓(xùn)練目標(biāo)，給定查詢t的排名約束，相關(guān)幀v⁺的相關(guān)性分?jǐn)?shù)高于不相關(guān)幀v^-的相關(guān)性分?jǐn)?shù)：

r(t,v⁺)>r(t,v^-)(1)

可以使相關(guān)幀的相似度分?jǐn)?shù)和質(zhì)量分?jǐn)?shù)高于不相關(guān)幀，從而開(kāi)始訓(xùn)練模型；

在這種情況下，強(qiáng)加以上兩個(gè)限制條件。

為了強(qiáng)加這些約束并訓(xùn)練模型，將損失函數(shù)定義為：

其中，lp是成本函數(shù)，γ是間隔參數(shù)；使用huber損失函數(shù)lp。

評(píng)估幀相關(guān)性，將視頻幀v和文本查詢t投影到相同的嵌入空間中；將t和v的投影分別表示為t和v；一旦被訓(xùn)練，給定查詢t的幀v的相關(guān)性可以通過(guò)一些相似性度量來(lái)估計(jì)；使用余弦相似性：

這可以評(píng)估關(guān)于查詢的幀的語(yǔ)義相關(guān)性，也可以基于幀質(zhì)量、構(gòu)圖等對(duì)先前的縮略圖做出預(yù)測(cè)；計(jì)算最終相關(guān)性，即嵌入相似度和與查詢無(wú)關(guān)的幀質(zhì)量項(xiàng)的總和，并對(duì)其進(jìn)行建模：

r(t,v)＝s(t,v)+qv(5)

其中，qv是基于幀v的質(zhì)量作為縮略圖的查詢分?jǐn)?shù)。

文本和幀的表示，使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)v和qv，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)獲得t；為了共同學(xué)習(xí)這些網(wǎng)絡(luò)的參數(shù)，用(t,v⁺,v^-)三元組訓(xùn)練。

文字表示，首先將查詢的每個(gè)單詞投影到一個(gè)300個(gè)維度的語(yǔ)義空間中，使用長(zhǎng)短期記憶(lstm)模型將單個(gè)詞的表示編碼作為單個(gè)固定長(zhǎng)度的嵌入，這樣能夠強(qiáng)調(diào)視覺(jué)上的信息詞和處理短語(yǔ)。

圖像表示，為了表示圖像，利用預(yù)先訓(xùn)練的vgg-19網(wǎng)絡(luò)的特征表征；用301個(gè)維度的線性層m代替softmax層；前300個(gè)維度作為嵌入v，而最后一個(gè)維度代表質(zhì)量分?jǐn)?shù)qv。

圖2是本發(fā)明一種適用于文本查詢的視頻摘要生成方法的創(chuàng)建視頻摘要的示例圖。使用子模型優(yōu)化的幀創(chuàng)建多個(gè)目標(biāo)的摘要；在這個(gè)幀中，摘要作為選擇子集y^*，其使子模型目標(biāo)函數(shù)的線性組合最大化：

其中，表示視頻的特征的所有可能解y和的集合；對(duì)于非負(fù)權(quán)重w，公式(6)是子模型，意味著可以使用貪婪算法進(jìn)行貪婪評(píng)估和近似優(yōu)化。

選擇一小組目標(biāo)函數(shù)，每一個(gè)函數(shù)獲取不同方面的摘要：

1)查詢相似度f(wàn)(·,·)＝∑v∈ys(t,v)，其中，t是查詢嵌入，v是幀嵌入，s(·,·)表示公式(4)中定義的余弦相似度；

2)質(zhì)量分?jǐn)?shù)其中，qv表示基于v的質(zhì)量作為縮略圖的分?jǐn)?shù)；

3)根據(jù)不相似的度量d，為摘要中的元素的多樣性。

學(xué)習(xí)公式(6)中的權(quán)重w，需要查詢視頻對(duì)中標(biāo)記的真實(shí)數(shù)據(jù)摘要；如果相關(guān)性和多樣性標(biāo)簽是已知的，可以通過(guò)子梯度下降來(lái)估計(jì)子模態(tài)函數(shù)的最優(yōu)混合權(quán)重。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。