一種基于視頻內(nèi)容感知的廣告推薦方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻內(nèi)容感知領(lǐng)域，尤其涉及一種互聯(lián)網(wǎng)視頻內(nèi)容感知的廣告推薦方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 近年來，在互聯(lián)網(wǎng)廣告快速和持續(xù)發(fā)展的同時，網(wǎng)絡(luò)視頻得到大量普及?；ヂ?lián)網(wǎng) 廣告市場存在著巨大商機(jī)，吸引著互聯(lián)網(wǎng)公司開發(fā)新的多媒體廣告，比如谷歌的AdSense， YouTube的植入式視頻廣告和雅虎視頻等等。大多數(shù)企業(yè)宣稱自己的產(chǎn)品和用戶體驗在線 廣告上獲得了重大的進(jìn)步，但是廣告的根本目標(biāo)并沒有改變。它的目的在于吸引真正想購 買的用戶，而減少對不感興趣的用戶的干擾。在現(xiàn)實世界的廣告系統(tǒng)中，這兩個目標(biāo)是沖突 的，即提高收入和改善用戶體驗，所以需要權(quán)衡這兩個目標(biāo)，尋找出版商和用戶之間的一種 折衷的關(guān)鍵是使廣告更具吸引力并且減少干擾。
[0003] 從廣告出版商的角度，在線廣告的效果通常是廣告受眾對一個廣告或品牌認(rèn)知度 的表現(xiàn)。最近研宄發(fā)現(xiàn)，對用戶體驗的深度理解可以幫助理解在線廣告所產(chǎn)生的本質(zhì)和正、 負(fù)面的影響，因此，用戶體驗從另一個角度反應(yīng)了廣告投放的效果。人們已經(jīng)認(rèn)識到，干擾 和廣告的不相關(guān)性會對用戶體驗造成負(fù)面影響。干擾是認(rèn)知或心理過程在持續(xù)進(jìn)行中受到 突然的打擾，比如在激動人心的電影畫面后播放與視頻無關(guān)的廣告。因此，有效的在線廣告 推薦系統(tǒng)的設(shè)計應(yīng)該考慮到視頻內(nèi)容與廣告的相關(guān)性并降低干擾。
[0004] 隨著個人計算機(jī)和移動手持設(shè)備的普及，網(wǎng)絡(luò)視頻已經(jīng)成為最常用的網(wǎng)絡(luò)服務(wù)之 一。觀看在線視頻已經(jīng)從一個很小的活動變?yōu)榛ヂ?lián)網(wǎng)的主流。除此之外，網(wǎng)絡(luò)視頻所占用 的流量也快速增長。思科預(yù)測，全球范圍內(nèi)，網(wǎng)絡(luò)視頻將會在2016占據(jù)互聯(lián)網(wǎng)流量的55%。 對于在線視頻網(wǎng)站，大部分收入來自于廣告。2012年，中國在線視頻市場規(guī)模達(dá)90億人民 幣（約合14.7億美元），比去年同期相比增加43.9%。在線視頻網(wǎng)站的收入增長主要源于 廣告收入的增長。在線視頻網(wǎng)站的廣告形式是非常多樣的，包括Flash廣告，富媒體廣告， 關(guān)鍵字廣告。在中國網(wǎng)絡(luò)廣告市場中，在植入式視頻廣告的收入的市場份額只有6. 4%。相 對于其所占的網(wǎng)絡(luò)流量，這點市場份額顯得太微不足道。本文認(rèn)為，低市場份額可能主要是 由于普遍采用在視頻的開頭或末尾顯示廣告的廣告策略。在這種策略中，用戶被迫觀看廣 告，但他們通常忽略它，因為它與視頻的內(nèi)容無關(guān)。為了提高吸引力，降低廣告對用戶干擾， 可以在播放視頻的同時插入廣告，確保廣告與視頻內(nèi)容相關(guān)。特別地，可以讓廣告與視頻流 中出現(xiàn)的物體相關(guān)。例如，一個用戶可能是朱莉婭?羅伯茨的粉絲。當(dāng)用戶觀看電影《諾丁 山》，他或她可能會被佩戴朱莉婭?羅伯茨裙子所吸引。此時，如果一個類似的裙子的廣告 彈出到屏幕上或朱莉婭?羅伯茨附近，用戶可能會很樂意點擊，而不是對廣告感到反感。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種基于視頻內(nèi)容感知的廣告推薦方法及系統(tǒng)，旨在解決 上述的技術(shù)問題。
[0006] 本發(fā)明是這樣實現(xiàn)的，一種基于視頻內(nèi)容感知的廣告推薦方法，所述廣告推薦方 法包括以下步驟：
[0007] A、鏡頭分割步驟，利用基于聚類的方法將源視頻分割為獨立的場景；
[0008] B、對象檢測步驟，對每個獨立場景利用基于區(qū)域卷積特征探測獲得視頻中物體的 相關(guān)信息；
[0009] C、廣告圖片檢索步驟，利用衣服檢索和基于類別的策略在數(shù)據(jù)庫中搜索匹配物體 的廣告對象；
[0010] D、廣告目標(biāo)物體優(yōu)化步驟，對搜索到的匹配物體的廣告對象通過優(yōu)化處理得到候 選廣告；
[0011] E、廣告插入位置優(yōu)化步驟，優(yōu)化廣告和目標(biāo)物之間的距離及廣告與所有物體之間 的重疊區(qū)域的面積。
[0012] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述鏡頭分割步驟包括以下步驟：
[0013] A1、根據(jù)視頻時間計算聚類的類別數(shù)目N;
[0014] A2、根據(jù)時間隨機(jī)選取N個幀作為初始中心；
[0015] A3、分別計算每幀與時間相近中心的距離并更新中心；
[0016] A4、重復(fù)步驟A3知道收斂或達(dá)到運行次數(shù)上限。
[0017] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述對象檢測步驟包括以下步驟：
[0018] B1、運用選擇性地搜索在獨立場景中生成與類別獨立的候選區(qū)域；
[0019] B2、利用CNN網(wǎng)絡(luò)對每個候選區(qū)域提取4096維特征向量并在倒數(shù)第二層輸出；
[0020] B3、對提取的4096維特征向量的物體分類。
[0021] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述廣告圖片檢索步驟包括以下步驟：
[0022] C1、利用基于卷積神經(jīng)網(wǎng)絡(luò)對視頻中人進(jìn)行性別識別；
[0023] C2、對視頻中人的人體特征提??；
[0024] C3、對提取的人體特征進(jìn)行特征匹配。
[0025] 本發(fā)明的進(jìn)一步技術(shù)方案是：廣告插入視頻中是采用的無縫插入。
[0026] 本發(fā)明的另一目的在于提供一種基于視頻內(nèi)容感知的廣告推薦系統(tǒng)，所述廣告推 薦系統(tǒng)包括：
[0027] 鏡頭分割模塊，用于利用基于聚類的方法將源視頻分割為獨立的場景；
[0028] 對象檢測模塊，用于對每個獨立場景利用基于區(qū)域卷積特征探測獲得視頻中物體 的相關(guān)彳目息；
[0029] 廣告圖片檢索模塊，用于利用衣服檢索和基于類別的策略在數(shù)據(jù)庫中搜索匹配物 體的廣告對象；
[0030] 廣告目標(biāo)物體優(yōu)化模塊，用于對搜索到的匹配物體的廣告對象通過優(yōu)化處理得到 候選廣告；
[0031] 廣告插入位置優(yōu)化模塊，用于優(yōu)化廣告和目標(biāo)物之間的距離及廣告與所有物體之 間的重疊區(qū)域的面積。
[0032] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述鏡頭分割模塊包括：
[0033] 類別數(shù)目統(tǒng)計單元，用于根據(jù)視頻時間計算聚類的類別數(shù)目N;
[0034] 中心初始化單元，用于根據(jù)時間隨機(jī)選取N個幀作為初始中心；
[0035] 距離計算單元，用于分別計算每幀與時間相近中心的距離并更新中心；
[0036] 反復(fù)計算單元，重復(fù)步驟A3知道收斂或達(dá)到運行次數(shù)上限。
[0037] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述對象檢測模塊包括：
[0038] 區(qū)域生成單元，用于運用選擇性地搜索在獨立場景中生成與類別獨立的候選區(qū) 域；
[0039] 提取單元，用于利用CNN網(wǎng)絡(luò)對每個候選區(qū)域提取4096維特征向量并在倒數(shù)第二 層輸出；
[0040] 分類單元，用于對提取的4096維特征向量的物體分類。
[0041] 本發(fā)明的進(jìn)一步技術(shù)方案是：所述廣告圖片檢索模塊包括：
[0042] 性別識別單元，用于利用基于卷積神經(jīng)網(wǎng)絡(luò)對視頻中人進(jìn)行性別識別；
[0043] 特征提取單元，用于對視頻中人的人體特征提取；
[0044] 特征匹配單元，用于對提取的人體特征進(jìn)行特征匹配。
[0045] 本發(fā)明的進(jìn)一步技術(shù)方案是：廣告插入視頻中是采用的無縫插入。
[0046] 本發(fā)明的有益效果是：開發(fā)了一個視頻廣告推薦系統(tǒng)，同時考慮到內(nèi)容相關(guān)性和 插入廣告的干擾。對于給定視頻，該系統(tǒng)能夠自動探測到出現(xiàn)的視頻物體，并選擇與該物 體相關(guān)的廣告，然后把所選擇的廣告插入在相關(guān)物體出現(xiàn)的位置。特別是，對于服裝廣告， 本發(fā)明設(shè)計了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法識別人的性別，然后提取特征進(jìn)行衣服檢 索。最后，對于物體級視頻廣告系統(tǒng)（ObjectLevelVideoAdvertising，OLVA)，本發(fā)明提 出了全局的優(yōu)化模型，該模型考慮了視頻廣告四個方面：內(nèi)容的相關(guān)性，對用戶的吸引度， 廣告展示時間的分散性，廣告類別的多樣性。具體來說，本發(fā)明的主要貢獻(xiàn)有以下三點：首 先，提出了OLVA的在線視頻廣告的框架。在此框架下，廣告發(fā)行商可以自動探測由視頻物 體，并插入與視頻內(nèi)容相關(guān)的廣告，而無需使用任何其他的信息，如描述視頻的文本信息。 二，為了提高用戶體驗，提出了一個優(yōu)化模型，該模型旨在提高廣告的吸引力，降低對用戶 的干擾。本發(fā)明提出了一種啟發(fā)式算法（HeuristicAlgorithm，HA)，來解決優(yōu)化問題。本 發(fā)明還采用遺傳算法（GeneticAlgorithm，GA)，用合適的基因編碼方式解決全局優(yōu)化問 題。在進(jìn)一步的工作中，本發(fā)明對比了兩種方法的實驗結(jié)果。這項工作表明，遺傳算法相對 于啟發(fā)式算法能得到更好的全局最優(yōu)解，但是需要的運算時間較長。與此相反，啟發(fā)式算法 所需的運算時間較短，同時為視頻廣告的優(yōu)化問題產(chǎn)生令人滿意的解決方案。三，在所提出 的框架下，對視頻展示的策略進(jìn)行了討論。在視頻廣告的展示中，本發(fā)明提出了廣告展示位 置的優(yōu)化模型，旨在最大限度地縮小了選擇的廣告和目標(biāo)物體的距離，以及廣告和視頻中 出現(xiàn)的物體之間的重疊區(qū)域的面積。本發(fā)明采用梯度下降法求出最優(yōu)位置，然后在屏幕上 的最佳位置顯示廣告。
【附圖說明】
[0047] 圖1是本發(fā)明實施例提供的基于視頻內(nèi)容感知的廣告推薦方法的流程圖；
[0048] 圖2是本發(fā)明實施例提供的基于視