一種面向視頻的視覺特征編碼方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機(jī)技術(shù)，具體設(shè)及一種面向視頻的視覺特征編碼方法及裝置。
【背景技術(shù)】
[0002] 當(dāng)前，隨著智能終端的普及，通過終端攝像頭實時捕捉視頻流，并進(jìn)行實時的分析 和挖掘的應(yīng)用越來越多。目P，如何在海量的圖像視頻中挖掘出用戶需要的視頻/圖像信息 成為研究熱點。
[0003] 當(dāng)前技術(shù)中，基于智能終端的實時視頻流分析方法有兩種方案。
[0004] 第一種方案為：在移動終端側(cè)直接發(fā)送經(jīng)過編碼后的視頻流到服務(wù)器，服務(wù)器收 到視頻流后會進(jìn)行解碼和視覺分析。該方案的缺陷是；為保證視頻質(zhì)量可用于視覺分析，視 頻編碼的壓縮率較低，最終帶來很大的帶寬消耗。
[0005] 第二種方案為：移動終端對視頻流的帖序列依次提取的全局視覺特征，然后將每 帖的全局視覺特征按順序發(fā)送到服務(wù)端進(jìn)行視覺分析。該方案在提取全局視覺特征的過程 中使用特征降維和量化處理的過程W獲得較低的比特率，但在一定程度上影響視覺分析； 除此之外，第二種方案沒有考慮帖間全局特征在時域上的相關(guān)性，因此，在特征數(shù)據(jù)流上存 在冗余，導(dǎo)致客戶端傳送的數(shù)據(jù)量非常大，且傳輸延遲。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供了一種面向視頻的視覺特征編碼方法及裝 置，能夠在客戶端傳輸數(shù)據(jù)時快速壓縮傳輸?shù)奶卣鲾?shù)據(jù)，降低傳輸數(shù)據(jù)量。
[0007] 第一方面，本發(fā)明提供一種面向視頻的視覺特征編碼方法，包括：
[000引獲取視頻流中當(dāng)前帖的全局特征；
[0009] 根據(jù)所述視頻流中當(dāng)前帖相鄰帖的全局特征，確定當(dāng)前帖的全局特征是否有參考 全局特征；
[0010] 如果有，則根據(jù)當(dāng)前帖的參考全局特征的子向量，獲取所述當(dāng)前帖的全局特征對 應(yīng)的參考子向量；
[0011] 根據(jù)所述視頻流中無參考全局特征的帖的全局特征的子向量，和有參考全局特征 的帖的全局特征的子向量及對應(yīng)的參考子向量，對所述視頻流中各帖的全局特征進(jìn)行編 碼，獲取所述視頻流的待發(fā)送的全局特征比特流。
[0012] 可選地，所述根據(jù)所述視頻流中當(dāng)前帖相鄰帖的全局特征，確定當(dāng)前帖的全局特 征是否有參考全局特征，包括：獲取當(dāng)前帖的全局特征與相鄰的P帖中每一帖的全局特征 的相似度，P為大于等于1的自然數(shù)；
[0013] 如果有至少一個相似度大于等于預(yù)設(shè)闊值，則選擇最高相似度對應(yīng)的全局特征作 為當(dāng)前帖的參考全局特征；
[0014] 如果所有相似度都小于預(yù)設(shè)闊值，則確定當(dāng)前帖無參考全局特征。
[0015] 可選地，所述根據(jù)當(dāng)前帖的參考全局特征的子向量，獲取所述當(dāng)前帖的全局特征 對應(yīng)的參考子向量，包括：
[0016] 根據(jù)當(dāng)前帖的全局特征的生成規(guī)則，確定當(dāng)前帖的全局特征的子向量；
[0017] 根據(jù)參考全局特征的生成規(guī)則，確定參考全局特征的子向量；
[0018] 根據(jù)所述當(dāng)前帖的全局特征的子向量和所述參考全局特征的子向量，確定所述全 局特征在所述參考全局特征中對應(yīng)的參考子向量。
[0019] 可選地，所述全局特征比特流包括：頭部區(qū)域；
[0020] 所述頭部區(qū)域包括；是否使用參考全局特征的信息，所述參考全局特征的索引信 息、標(biāo)示組成全局特征的概率密度函數(shù)使用信息、標(biāo)示累積梯度向量的類別數(shù)信息、和標(biāo)示 子向量的編碼方式的信息；
[0021] 或者，
[0022] 所述全局特征比特流包括；頭部區(qū)域和非頭部區(qū)域；
[0023] 所述頭部區(qū)域包括；是否使用參考全局特征的信息，所述參考全局特征的索引信 息、標(biāo)示組成全局特征的概率密度函數(shù)使用信息、標(biāo)示累積梯度向量的類別數(shù)信息、和標(biāo)示 子向量的編碼方式的信息、和/或編碼方式對應(yīng)的量化參數(shù)信息；
[0024] 所述非頭部區(qū)域包括：編碼后的無參考全局特征的帖的全局特征對應(yīng)的子向量， 和/或，編碼后的有參考全局特征的帖的子向量與參考子向量的殘差。
[0025] 可選地，根據(jù)所述視頻流中無參考全局特征的帖的全局特征的子向量，和有參考 全局特征的帖的全局特征的子向量及對應(yīng)的參考子向量，對所述視頻流中各帖的全局特征 進(jìn)行編碼，獲取所述視頻流的待發(fā)送的全局特征比特流，包括：
[0026] 對所述視頻流中無參考全局特征的帖的全局特征的子向量和當(dāng)前全局特征中無 參考子向量的子向量采用第一預(yù)設(shè)編碼方式進(jìn)行編碼，獲取第一比特流；
[0027] 獲取有參考全局特征的帖的全局特征的子向量與所述參考全局特征的參考子向 量的殘差；
[002引對所述殘差采用第二預(yù)設(shè)編碼方式進(jìn)行編碼，獲取第二比特流；
[0029] 所述第一比特流和所述第二比特流組成所述視頻流的待發(fā)送的全局特征比特 流；
[0030] 所述全局特征比特流的頭部區(qū)域由二值碼組成，非頭部區(qū)域包括；采用第一預(yù)設(shè) 編碼方式編碼的子向量，和采用第二預(yù)設(shè)編碼方式編碼的殘差；
[003U或者，
[0032] 獲取有參考全局特征的帖的全局特征的子向量與所述參考全局特征的參考子向 量的殘差；
[0033] 對所述殘差采用第二預(yù)設(shè)編碼方式進(jìn)行編碼，獲取第二比特流；
[0034] 將所述第二比特流組成所述視頻流的待發(fā)送的全局特征比特流；
[0035] 所述全局特征比特流的頭部區(qū)域由二值碼組成，非頭部區(qū)域包括；采用第二預(yù)設(shè) 編碼方式編碼的殘差；
[0036] 或者，
[0037] 所述全局特征比特流只包括由二值碼組成的頭部區(qū)域，無非頭部區(qū)域。
[0038] 可選地，所述方法還包括：
[0039] 將所述視頻流的待發(fā)送的全局特征比特流發(fā)送服務(wù)器，W使服務(wù)器基于所述全局 特征比特流和所述服務(wù)器中存儲的與所述客戶端中相同的全局特征生成規(guī)則，獲取所述視 頻流中各帖的全局特征。
[0040] 第二方面，本發(fā)明提供一種面向視頻的視覺特征解碼方法，包括：
[0041] 接收客戶端發(fā)送的視頻流的全局特征比特流，所述全局特征比特流包括；頭部區(qū) 域；所述頭部區(qū)域包括；是否使用參考全局特征的信息，所述參考全局特征的索引信息、標(biāo) 示組成全局特征的概率密度函數(shù)使用信息、標(biāo)示累積梯度向量的類別數(shù)信息、和標(biāo)示子向 量的編碼方式的信息；
[0042] 根據(jù)所述全局特征比特流和所述服務(wù)器中存儲的與所述客戶端中相同的全局特 征生成規(guī)則，獲取所述視頻流中各帖的全局特征；
[0043] 或者，
[0044] 接收客戶端發(fā)送的視頻流的全局特征比特流，所述全局特征比特流包括；頭部區(qū) 域和非頭部區(qū)域，所述頭部區(qū)域包括：是否使用參考全局特征的信息，所述參考全局特征的 索引信息、標(biāo)示組成全局特征的概率密度函數(shù)使用信息、標(biāo)示累積梯度向量的類別數(shù)信息、 標(biāo)示子向量的編碼方式的信息、和/或編碼方式對應(yīng)的量化參數(shù)信息；所述非頭部區(qū)域包 括；編碼后的無參考全局特征的帖的全局特征對應(yīng)的子向量，和/或，編碼后的有參考全局 特征的帖的子向量與參考子向量的殘差；
[0045] 根據(jù)所述全局特征比特流和所述服務(wù)器中存儲的與所述客戶端中相同的全局特 征生成規(guī)則，獲取所述視頻流中各帖的全局特征。
[0046] 第=方面，本發(fā)明還提供一種面向視頻的視覺特征編碼裝置，包括：
[0047] 全局特征獲取單元，用于獲取視頻流中當(dāng)前帖的全局特征；
[0048] 判斷單元，用于根據(jù)所述視頻流中當(dāng)前帖相鄰帖的全局特征，確定當(dāng)前帖的全局 特征是否有參考全局特征；
[0049] 參考子向量獲取單元，用于在判斷單元確定當(dāng)前帖的全局特征有參考全局特征， 根據(jù)當(dāng)前帖的參考全局特征的子向量，獲取所述當(dāng)