專利名稱：用于分割、分類視頻對象并拍賣交互式視頻對象的權(quán)利的自動過程的制作方法
技術(shù)領域：
本發(fā)明涉及一種用于將視頻中的視頻內(nèi)容對象進行自動分割及分類、拍賣將廣告內(nèi)容與所述視頻對象相關聯(lián)的權(quán)利、以及創(chuàng)建將廣告與選擇的視頻對象相關聯(lián)并且使視頻觀看者能夠與視頻中的視頻對象進行交互的覆蓋圖(overlay)的系統(tǒng)。
背景技術(shù)：
視頻是對表示運動場景的一系列靜止圖像進行電子捕捉、記錄、處理、存儲、傳送和重建的技術(shù)。視頻技術(shù)最早是為電視系統(tǒng)而開發(fā)的，但到已經(jīng)逐漸開發(fā)出了許多格式以允許觀看者視頻記錄。電影中的動態(tài)圖片可轉(zhuǎn)換為視頻格式。視頻也可以通過互聯(lián)網(wǎng)在電腦顯示器上作為視頻片段或流媒體片段被觀看。動畫是快速顯示一系列藝術(shù)作品圖像或模型位置以創(chuàng)建運動的錯覺。它是一種由視覺暫留現(xiàn)象引起的視錯覺，且可以通過多種方式被創(chuàng)建和演示。盡管還存在其它的若干種呈現(xiàn)動畫的形式，但呈現(xiàn)動畫最普通的方法是作為動態(tài)圖片或視頻。視頻內(nèi)容分割是指將動態(tài)圖片幀系統(tǒng)地分解成它的對象(元素)，如人、襯衫、樹、 葉子等。如果不進行分類的話，分割視頻內(nèi)容將導致生成大量沒什么價值的對象。分類是將一個幀的對象分配到另一幀的同一對象的同一類的過程。它使一個幀中的特定的紅色襯衫與另一幀中的紅色襯衫是相同的自動辨識成為可能。還有若干種方式可將視頻對象分配至它們所屬的類別，比如通過它在連續(xù)視頻幀中的外形輪廓。例如，這可通過將視頻對象輪廓的曲率特征與包含有原型對象的預處理視圖的數(shù)據(jù)庫進行匹配來完成。 見名為MOCA工程對象辨識的附件1。對于在視頻幀中的對象的每個二維外形，計算其輪廓的曲率特征。這些特征與存儲在數(shù)據(jù)庫中的原型視頻對象的視圖的那些特征匹配。通過使用情境法則(context rule) 如“房子在幀中可能有車，或在幀中可能有樹，但在幀中沒有電視”，可增加準確度。通過整合連續(xù)幀的匹配結(jié)果，可達到最終的對象分類。具有若干種用于視頻分割和分類的范型和算法。大多數(shù)是基于將視頻分割成若干層，如靜態(tài)背景層和動態(tài)前景層，以及使用多種線索，如空間位置、顏色、動作、輪廓和深度不連續(xù)性等。轉(zhuǎn)描機(rotoscoping)是這樣的動畫技術(shù)在其中動畫片繪制者逐幀描出直接從大自然或以真人表演攝制的影片的運動，以供用于動畫影片。通過利用同步的攝像機從若干個透視(perspective)拍攝視頻，視頻分割算法可用來自動重建運動物體的3D線框。在本發(fā)明的一個實施方式中，將轉(zhuǎn)描機技術(shù)應用于由多個攝像機角度拍攝的視頻以重建3D對象、以及把它們的線框存進視頻對象數(shù)據(jù)庫。當觀看者選擇可得到3D信息的對象時，觀看者就被提供了控制3D對象物體的動畫的方式，如旋轉(zhuǎn)、運動、縮放等。本發(fā)明的一個目的是為提供自動化的系統(tǒng)，用于分割原始視頻以創(chuàng)建可以被用于使視頻交互的視頻對象的目錄，以及將這些視頻對象拍賣給廣告商，本發(fā)明不限于分割或分類視頻內(nèi)容對象的任何特定方法。在本發(fā)明的一個實施方式中，包含關于可能出現(xiàn)在視頻中的對象的描述信息和/ 或元數(shù)據(jù)的對象信息庫被用來將元數(shù)據(jù)，如產(chǎn)品信息、特有的產(chǎn)品識別信息或庫存單位，與分割視頻對象關聯(lián)。本發(fā)明另一個目標是創(chuàng)建可借以把對視頻對象的的目錄的權(quán)利自動拍賣給第三方(如廣告商)的廣告市場交易平臺。

發(fā)明內(nèi)容
公開了一種用于將視頻內(nèi)容自動地分割及分類成對象并拍賣該些對象的系統(tǒng)，包括視頻分割及分類服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、 只讀存儲器、及大容量存儲器的計算機；所述視頻分割及分類服務器包括存儲在視頻數(shù)據(jù)庫中的一個或多個視頻文件；存儲在所述隨機存取存儲器、只讀存儲器、及大容量存儲器其中之一的對象信息庫，所述對象信息庫包含用于識別視頻文件內(nèi)的對象的對象信息和用于描述所述對象的描述信息和語義信息中的至少一個；對象目錄數(shù)據(jù)庫，其包含描述至少一個視頻對象在視頻文件其中之一中的位置信息；以及在所述處理器上執(zhí)行的視頻內(nèi)容分析應用，所述視頻內(nèi)容分析應用對視頻文件進行分割以識別視頻對象的位置、將視頻對象進行分類以匹配給定視頻對象的出現(xiàn)、通過將分類的視頻對象的出現(xiàn)與在所述對象信息庫中的視頻對象進行匹配來重新獲取描述所述視頻對象的信息、和將描述在所述視頻中的所述視頻對象的動態(tài)位置的信息以及描述所述視頻對象的信息儲存到所述對象目錄數(shù)據(jù)庫中。根據(jù)本發(fā)明的一種實施方式，該系統(tǒng)進一步包括至少一個廣告服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；在所述廣告服務器上執(zhí)行的自動競標應用；以及在所述視頻分割及分類服務器上執(zhí)行的自動拍賣應用，所述拍賣應用傳輸拍賣信息至所述的至少一個廣告服務器，所述拍賣信息包括描述選定的視頻對象的信息，所述自動拍賣應用從所述至少一個廣告服務器接收來自于所述自動競標應用的競標信息，并授予關聯(lián)廣告內(nèi)容的權(quán)利給所述至少一個廣告服務器中選定的一個。在上述系統(tǒng)中，所述自動拍賣應用可以將與所述給定視頻對象相關聯(lián)的用戶行為信息和市場細分信息中的至少一個傳送至所述廣告商競標應用。系統(tǒng)的上述任意實施方式，可以進一步包括在數(shù)據(jù)庫中的廣告內(nèi)容；以及覆蓋圖生成應用，其用于創(chuàng)建將所述廣告內(nèi)容與給定的所述視頻對象鏈接的視頻覆蓋圖，并創(chuàng)建可選擇的超鏈接，該超鏈接的位置跟蹤在視頻中的所述視頻對象的動態(tài)位置。上述系統(tǒng)的實施方式可以進一步包括視頻廣播服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；視頻用戶服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；所述視頻廣播服務器從所述視頻分割及分類服務器接收所述視頻覆蓋圖，并將該視頻覆蓋圖傳送給所述視頻用戶服務器，其中所述視頻覆蓋圖響應于與所述給定的視頻對象的交互而選擇性地引起與給定的所述視頻對象鏈接的內(nèi)容信息的顯示。在上述系統(tǒng)的任意實施方式中，所述視頻分割及分類服務器保存已被拍賣的對象的數(shù)據(jù)庫。在上述系統(tǒng)的任意實施方式中，每個所述數(shù)據(jù)庫條目包括指示已被拍賣的對象的權(quán)利何時期滿的信息。在上述系統(tǒng)的任意實施方式中，所述至少一個廣告服務器將指定所期望的人口統(tǒng)計受眾的信息傳送給所述視頻分割及分類服務器，并且所述拍賣服務器傳送被限制于所述所期望的人口統(tǒng)計受眾的對象拍賣信息。在上述系統(tǒng)的任意實施方式中，所述拍賣信息包括指定人口統(tǒng)計信息和用戶行為歷史信息中的至少一個的信息。在上述系統(tǒng)的任意實施方式中，所述視頻用戶服務器進一步包括內(nèi)容顯示應用， 用于顯示視頻并且當給定的視頻對象是利用指示設備所選擇和滾動的之一時，與所述視頻覆蓋圖交互并顯示廣告內(nèi)容。在上述系統(tǒng)的任意實施方式中，視頻對象的選擇使得內(nèi)容顯示應用暫?；蛘叻怕曨l的顯示。在上述系統(tǒng)的任意實施方式中，所述視頻用戶服務器包括指示設備；所述內(nèi)容顯示應用顯示與出現(xiàn)在視頻中的對象相關聯(lián)的第一內(nèi)容，并且當流視頻中所選擇的所述視頻對象是利用所述指示設備所選擇和滾動的之一時顯示第二內(nèi)容。在上述系統(tǒng)的任意實施方式中，所述廣告內(nèi)容包括可選擇的鏈接，其中該鏈接的選擇提供電子商務選項。還揭露了一種在視頻中自動創(chuàng)建可選擇的超鏈接的系統(tǒng)，包括將視頻文件分割成視頻對象，多個視頻對象，將所述的多個視頻對象進行分類以識別給定的所述視頻對象的重復出現(xiàn)；將每個視頻對象的幀和子幀信息存儲到數(shù)據(jù)庫中；以及利用將所述數(shù)據(jù)庫中的至少一個視頻對象與所述視頻文件鏈接的視頻覆蓋圖在視頻文件中創(chuàng)建可選擇的超鏈接。在上述系統(tǒng)的任意實施方式中，所述可選擇的超鏈接與廣告相鏈接，當用戶利用指示設備滾動或者選擇所述超鏈接時廣告被顯示。還揭露了一種視頻對象的市場交易平臺，包括視頻分割及分類應用，其用于自動地將視頻分割成多個對象，將所述對象分類成類似對象的群，利用描述信息對所述對象進行標記，將識別在所述視頻內(nèi)的所述視頻對象的動態(tài)位置的信息存儲在數(shù)據(jù)庫中；以及覆蓋圖生成器，其用于自動地創(chuàng)建將至少一個視頻對象群與所述視頻進行鏈接的視頻覆蓋圖。在上述視頻對象市場交易平臺的任意實施方式中，每個被鏈接的視頻對象是可選擇的超鏈接，所述超鏈接的位置跟蹤在所述視頻中的視頻對象的動態(tài)位置。揭露了一種為視頻觀看者應用提供交互層活動區(qū)域的方法，包括訪問定義示出了多個視頻對象的多個幀的視頻數(shù)據(jù)，每個視頻對象在一系列視頻幀中被示出；以及生成定義多個區(qū)域的區(qū)域定義數(shù)據(jù)，每個區(qū)域?qū)龆鄠€視頻對象中的一個，其中由所述區(qū)域定義數(shù)據(jù)定義的每個區(qū)域的輪廓匹配由在所述一系列幀中示出的對應視頻對象的輪廓。 在上述用于提供活動區(qū)域的方法的實施方式中，所述每個區(qū)域的輪廓在所述一系列幀中動態(tài)地變化以匹配在透視和大小及視角中的至少一個的變化，其中以該透視和大小及視角在所述一系列幀中示出的對應視頻對象。在上述用于提供活動區(qū)域的方法的任意實施方式中，使用所述區(qū)域定義數(shù)據(jù)定義多個活動區(qū)域用于交互式視頻觀看。在上述用于提供活動區(qū)域的方法的任意實施方式中，其中所述幀作為視頻在顯示器上向用戶示出，并且其中所述區(qū)域定義數(shù)據(jù)被用于判定被引向這些幀中的至少一個幀的位置的用戶動作是否定址所述活動區(qū)域中的一個。在上述用于提供活動區(qū)域的方法的任意實施方式中，響應于用戶動作定址特定活動區(qū)域的判定，向用戶呈現(xiàn)廣告，所述廣告與對應所述特定活動區(qū)域的視頻對象相關。在上述用于提供活動區(qū)域的方法的任意實施方式中，用于至少一個區(qū)域的所述區(qū)域定義數(shù)據(jù)包括對應所述區(qū)域的所述視頻對象的三維線框表示。在上述用于提供活動區(qū)域的方法的任意實施方式中，用于所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對于在其中示出所述對應的視頻對象的所述一系列幀中的至少一個幀，定義所述三維線框表示的透視圖的數(shù)據(jù)，其中所述三維線框表示的透視圖的輪廓定義所述幀的區(qū)域的輪廓。在上述用于提供活動區(qū)域的方法的任意實施方式中，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對于在其中示出所述對應視頻對象的所述一系列幀中的至少一對幀，定義所述一對幀的幀之間的所述三維線框表示的變化的數(shù)據(jù)。在上述用于提供活動區(qū)域的方法的任意實施方式中，所述三維線框表示包括多個節(jié)點，其中定義所述變化的數(shù)據(jù)包括定義至少一個節(jié)點相對于至少另一節(jié)點的位置的位移的數(shù)據(jù)。在上述用于提供活動區(qū)域的方法的任意實施方式，所述定義所述變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個的變化的數(shù)據(jù)。


圖1是根據(jù)本發(fā)明的視頻對象市場交易過程的流程圖；圖2是根據(jù)本發(fā)明的視頻對象市場交易系統(tǒng)的框圖；圖3是在其上執(zhí)行視頻內(nèi)容分析應用的計算機的方框圖；圖4是根據(jù)本發(fā)明關于廣告商怎樣與視頻對象市場交易系統(tǒng)進行交互的流程圖；圖5和圖6是示出根據(jù)本發(fā)明觀看者與視頻對象市場交易平臺進行交互的流程圖；圖7是對象目錄數(shù)據(jù)庫的示范圖；以及圖8A-8E是視頻對象的透視圖以及從中創(chuàng)建的線框模型。
具體實施例方式本發(fā)明是系統(tǒng)100，用于將視頻自動分割成視頻對象、分類視頻對象、組建分類的視頻對象的數(shù)據(jù)庫、定義表示每個視頻對象在互動層上的區(qū)域定義數(shù)據(jù)、拍賣將廣告與表示市場交易平臺(下文稱“V0ME”) 300上的視頻對象的區(qū)域相關聯(lián)的權(quán)利、以及創(chuàng)建帶有把廣告內(nèi)容鏈接到視頻內(nèi)容對象從而創(chuàng)建交互式視頻的區(qū)域定義數(shù)據(jù)的視頻覆蓋圖。該區(qū)域是視頻幀的與底層(underlying)視頻對象相一致的部分。區(qū)域定義數(shù)據(jù)定義了視頻幀的這樣的部分。本發(fā)明的系統(tǒng)100由若干個不同然而相聯(lián)系的元素構(gòu)成。本發(fā)明一個方面涉及視頻對象目錄與對應的區(qū)域定義數(shù)據(jù)的創(chuàng)建。視頻對象目錄 114是包含以指向視頻或者動畫文件中的對象的指針或參考的形式的區(qū)域定義數(shù)據(jù)的數(shù)據(jù)庫。重要的是，通過提供把附加信息與視頻中的特定視頻對象連接的能力，區(qū)域定義數(shù)據(jù)用來使視頻為交互的。例如，視頻觀看者可選擇在視頻中顯示的車，并且學習車的制作和建模和其它附加信息。本發(fā)明將附加信息關聯(lián)至視頻對象，從而使對象成為可選擇的超鏈接。在本發(fā)明的一個實施方式中，被辨識的視頻對象由3D矢量圖形數(shù)據(jù)表示，如圖8D 中的線框模型。該表示法是這樣創(chuàng)建的通過計算對象上的透視圖8A-8C之間的差別然后指定物理對象上兩個數(shù)學上連續(xù)平滑面相交的每個邊緣、或者通過用直線或曲線連接對象的構(gòu)成頂點。如果不能得到所有視圖，那么只能創(chuàng)建部分的3D模型，但一旦缺失的視圖在另外的視頻中是可得到的，則完成該3D模型。這些3D線框模型可用來改善視頻對象的辨識，也可用于把視頻對象表示為三維線框透視圖(圖8E)的輪廓。這種實施方式可能具有計算上的好處。根據(jù)一種實施方式，視頻對象與元數(shù)據(jù)和/或?qū)ο竺枋鱿嚓P聯(lián)，對象描述使得使用者(如廣告商)可搜索所有“汽車”的實例，搜索結(jié)果將也包含“轎車”。對象描述可以是語義網(wǎng)絡的一部分，其使得拍賣競標者能夠指定他們想競標的對象和視頻情境。這對于在不適合廣告商品牌的情境下防止品牌的暴露來說可能是有用的。用在這個說明書中的術(shù)語 “視頻對象”指的是視頻幀元素，如出現(xiàn)在視頻或動畫中的轎車、跑步者或狗。在本發(fā)明的一個實施方式中，數(shù)據(jù)庫中的視頻對象的運動屬性，比如快、慢、上、下等，將被編入索引，這使得拍賣競標者能夠用運動屬性指定他們的競標物。在另外的實施方式中，對象的狀態(tài)將被編入索引，如通過本技術(shù)領域中已知的面部表情算法，該算法可以提取視頻中的人的狀態(tài)，比如高興或悲傷。下文中提及的視頻應理解為包括2D視頻、3D視頻和動畫片，除非做出明確區(qū)別。 視頻對象數(shù)據(jù)庫包含識別視頻文件中的視頻對象的位置、形狀和運動的詳細信息。視頻對象目錄可能包含在視頻內(nèi)容中的特定對象的詳細描述，如制作者、制作和模型。正如下面將要進一步詳細解釋到的，此詳細信息可用來鏈接例如廣告內(nèi)容之類的信息至視頻對象。正如將在下文解釋到的，根據(jù)本發(fā)明的各種實施方式，視頻對象可手動地、半自動地或自動地被識別，且與相應信息關聯(lián)。本發(fā)明的進一步的方面涉及視頻對象市場交易平臺(VOME)的創(chuàng)建，其中競標者 (廣告商)為將他們的廣告內(nèi)容關聯(lián)到給定視頻對象的權(quán)利而進行競標。應當注意，本發(fā)明也能夠使視頻內(nèi)容的擁有者只拍賣視頻對象目錄中的某一部分，并且可以不通過公開競標過程而將剩余部分直接銷售給目錄買家。視頻內(nèi)容的激活本發(fā)明的進一步的方面涉及視頻覆蓋圖的創(chuàng)建，該覆蓋圖把“被動”視頻轉(zhuǎn)化為交互視頻，其中該“被動”視頻例如為你“被動地”觀看而不能與之交互的視頻，而在交互視頻中，觀看者可與視頻的區(qū)域交互，通過選擇或者滾動視頻中的區(qū)域因此觸發(fā)與該對象相關聯(lián)的廣告內(nèi)容的顯示。在靜態(tài)媒體(比如網(wǎng)站)中使用超鏈接是眾所周知的。在視頻游戲和動畫中，點擊對象是很普遍的。那就是使得它為互動的。豐富的(rich)媒體或者交互媒體指的是促進受眾的主動參與即交互性的通信媒體。傳統(tǒng)的信息理論將交互媒體描述成構(gòu)建雙向通信的媒體。視頻內(nèi)容的標識與編輯本發(fā)明將視頻和動畫內(nèi)容分割成它的對象并且存儲諸如為形狀、χ、y和時間坐標的區(qū)域定義數(shù)據(jù)，或者，在涉及測定體積的(volumetric)視頻或測定體積的動畫情況下， 本發(fā)明存儲形狀、x、y、z以及時間坐標。術(shù)語“時間坐標”指的是時間、視頻幀或者類似物。 另外，“視頻幀”旨在于傳送視頻或動畫在特定時間(視頻流中的位置)的一個瞬間(靜止) 圖像幀。所有這些坐標對于指定在時間上的給定時刻的幀內(nèi)的視頻對象是必不可少的。本發(fā)明的一個目的是利用常規(guī)的視頻內(nèi)容分析技術(shù)，比如目前用于識別人群中的某個人，或者識別/檢查傳送帶上的小器件，并將該技術(shù)應用到營銷通信、廣告和商務交易領域。更具體地而言，本發(fā)明的一個目的是識別在視頻和動畫中的感興趣的視頻對象。被識別的視頻對象或內(nèi)容對象可以被用來添加(populate)可用在廣告市場交易平臺中的視頻內(nèi)容目錄114。此外，利用把視頻對象與廣告內(nèi)容相鏈接的區(qū)域定義數(shù)據(jù)可激活視頻或者使視頻具有交互性。應當理解到，本發(fā)明的方法包含電影和基于對象的動畫兩者。以下提到的視頻應當被理解為包括電影和基于對象的動畫兩者。圖1是本發(fā)明第一實施方式的方法的高級流程圖。在步驟700和710中，利用自動分割及分類應用分割及分類視頻，以產(chǎn)生對象列表或表格。分割過程700產(chǎn)生貫穿視頻的視頻對象的列表(包括每個對象的區(qū)域定義數(shù)據(jù)和時間坐標)，并且分類過程710將同一對象在視頻的不同幀中的出現(xiàn)匹配出來因此減少重復/冗余，應當注意到視頻對象的位置、大小和形狀在整個視頻中可能且通常是改變的。對象的大小根據(jù)隨著它在整個視頻的移動而變化的它的接近性(proximity)進行變化。類似地，對象的形狀可根據(jù)觀看它的透視或有利點變化，例如，前視圖VS側(cè)視圖。此外，本發(fā)明的系統(tǒng)能夠?qū)σ苿拥膶ο筮M行分割和分類。因此，視頻對象的位置隨著底層對象移動而動態(tài)地改變，這在區(qū)域定義數(shù)據(jù)中予以表示。在步驟720中，所述視頻對象與對象庫中的對象進行比較，對象庫里可以是表示視頻中的對象的3D線框數(shù)據(jù)。根據(jù)3D線框模型生成的透視圖對于自動對象識別過程有禾U。這個步驟是可選的。當檢測到匹配時，則該對象與對象庫中的產(chǎn)品描述和/或元數(shù)據(jù)相關聯(lián)。不匹配的視頻對象會被拋棄，或者受到第二處理應用的處理和/或分析師手動識別/成形該對象的邊界(步驟730)，然后該對象會受到另一分類步驟(710)和/或與對象庫中的對象的另一比較(720)。在步驟740中，視頻對象向市場交易平臺公開并由 自動拍賣過程進行處理。在步驟745，創(chuàng)建鏈接視頻對象與廣告商提供的內(nèi)容的視頻覆蓋圖。在步驟750， 帶有區(qū)域定義數(shù)據(jù)的視頻覆蓋圖被傳送到視頻播送設備120。在步驟760，視頻觀看者通過滾動或選擇視頻區(qū)域與視頻覆蓋圖交互因而觸發(fā)顯示與視頻對象關聯(lián)的廣告內(nèi)容。應該理解，相較于選擇對象時所顯示的廣告內(nèi)容，滾動可能不允許顯示不同的廣告內(nèi)容。例如，相較于使用指示設備簡單地滾動對象而顯示的信息，選擇對象可觸發(fā)更多細節(jié)信息。在步驟770 (可選的)，VOME 300記錄觀看者與視頻對象的交互，并更新觀看者的行為概況(profile)。應當注意，視頻觀看者與視頻覆蓋圖(和視頻對象)的交互通常會觸發(fā)來自于VOME 300的廣告內(nèi)容的顯示。這使得與視頻對象相關聯(lián)的內(nèi)容能夠即時更新而無需改變視頻覆蓋圖。視頻覆蓋圖通過使視頻區(qū)域成為可選擇的超鏈接來而使視頻具有交互性，但是實際內(nèi)容直接來源于VOME 300。在步驟780中(可選)，VOME 100完成了由觀看者與表示視頻對象的視頻區(qū)域的交互發(fā)起的銷售交易。正如以下將要更詳細地予以解釋的，VOME 300可以使得觀看者完成銷售交易。以下將更加詳細地描述這些步驟中的每一步驟。應當了解，步驟的相對順序能夠頻繁的變化而不影響本系統(tǒng)，例如步驟770和780 可以調(diào)換而不影響結(jié)果。以特定順序羅列步驟不應理解為具體順序的限制，除非從上下文中可以清楚地看出需要特定順序。到目前，已經(jīng)通過參考視頻對象來描述本發(fā)明的方法，然而，本發(fā)明也涉及視頻內(nèi)的事件的識別，其中，事件被定義為對象正在在空間上移動。例如，人正在走路或者車正在行駛。即使沒有定義該對象，事件仍然具有例如高速這樣的特征，這對于廣告商來說可能是有價值的。在基于對象的動畫中，每個對象通過其矢量圖類來確定。因此，分析師不教導本系統(tǒng)辨識對象，而是描述感興趣的對象。對于每個被描述的對象，系統(tǒng)存儲用于識別動畫數(shù)據(jù)中該對象的每一出現(xiàn)有用的對象信息?；趯ο蟮膭赢嬂鏏dobe Flash或者Java保存有對象和事件信息。其它動畫技術(shù)在渲染期間丟失對象和事件的參考。一旦參考丟失，我們不得不像在基于像素的普通視頻中一樣應用對象和事件辨識技術(shù)。在動態(tài)圖片媒體中，視頻內(nèi)容分析技術(shù)被用于基于大小、形狀、顏色、色彩密度等來識別對象。本發(fā)明不局限于任何用于識別視頻中的內(nèi)容對象的特定方法，以下將詳細討論的若干不同方法。分析師可以手動訓練分割應用106以辨識對象例如通過追蹤對象的輪廓，或者本系統(tǒng)可以呈現(xiàn)它通過統(tǒng)計模式辨識找到的內(nèi)容對象的模式。下文中將予以詳細解釋的視頻內(nèi)容分析或者視頻分析應用106自動檢測視頻中的識別出的對象的另外出現(xiàn)。視頻內(nèi)容分析應用106可提供有包含3D框線模型或用于識別來自一個或多個不同透視的一個或多個預定義對象的特征的對象信息庫112，或者，視頻內(nèi)容分析應用106可提供有用于識別對象的啟發(fā)法(heuristic)。對于對象的每個識別出的出現(xiàn)來說，VOME 300存儲用于識別在其中出現(xiàn)對象的幀(時間坐標)和區(qū)域定義數(shù)據(jù)(幀中的位置，例如X、Y和Z坐標)的信息。使用區(qū)域定義數(shù)據(jù)，VOME 300能夠動態(tài)跟蹤對象。 應當注意到，可選擇的區(qū)域(超鏈接)的大小、形狀和位置與底層對象的大小、形狀和位置相對應。根據(jù)本發(fā)明的一個改進，當觀看者訪問或請求訪問視頻內(nèi)容時將自動觸發(fā)拍賣。根據(jù)本發(fā)明的另一改進，當廣告商將廣告鏈接到給定視頻對象的權(quán)利到期時，可觸發(fā)拍賣。每次視頻對象被添加到視頻對象目錄中或以一定周期(例如每小時、每天或每周)可進一步觸發(fā)拍賣。根據(jù)本發(fā)明的另一實施方式，廣告商可以搜索視頻對象的數(shù)據(jù)庫114(對象目錄數(shù)據(jù)庫)并購買將內(nèi)容鏈接到對象的權(quán)利從而越過拍賣過程，或者通過提交公開競標發(fā)送對參與拍賣感興趣的信號。此外，廣告商可以對VOME 300建議針對特定的市場細分、人口屬性、用戶行為概況或者其它的它有興趣競標的類似因素。就如名稱為 “Method and system for providing targetedadvertisements，，的第6718551號美國專利所教導的(在此通過引用方式將該專利并入本文)，廣告商122可提供有關于觸發(fā)拍賣的視頻觀看者124的觀看者概況信息。應當注意的是，因為視頻觀看者 124通過請求訪問視頻來觸發(fā)拍賣，因此觀看者概況信息是可得到的。 所述觀看者概況可以是識別觀看者的點擊歷史、購買習慣、社交網(wǎng)絡、地理位置歷史、瀏覽和搜索習慣、以及/或者附加的人口屬性，其中包括多元化(multifaceted)觀看者概況?？梢愿鶕?jù)存儲在觀看者電腦中的cookies，或者根據(jù)觀看者的第三方信息，還有其它方法，編譯所述多元化觀看者概況。所述多元化觀看者概況可用于判定特定觀看者對于特定競標者(廣告商)的相對價值。除了提供給競標者上述的觀看者概況信息之外，VOME 300還提供在視頻或視頻組中所包含的對象的列表。根據(jù)本發(fā)明的一個實施方式，VOME 300以單個的基礎投標將廣告內(nèi)容鏈接到包含在觀看者訪問的視頻中的視頻對象中的一個或多個視頻對象的權(quán)利。因此，不同的廣告商可擁有在特定視頻中的不同視頻對象的臨時權(quán)利。應當注意到，正在被拍賣的廣告權(quán)利是不同于傳統(tǒng)的“被推”給視頻觀看者的橫幅廣告。推式廣告是顯示在觀看者顯示屏的頂部(橫幅)或者側(cè)邊上的廣告。推式廣告是被推送給觀看者的，即是說，觀看者沒有明確地請求這些廣告。如接下來將要詳細解釋的，根據(jù)一種實施方式，觀看者通過與表示視頻內(nèi)的視頻對象的特定區(qū)域進行交互來拉出廣告內(nèi)容。例如，觀看者可以指向視頻幀，這將使得視頻變慢，選擇或滾動視頻中的視頻對象從而觸發(fā)VOME 300將與該對象鏈接或關聯(lián)的情境信息作為彈出窗口、覆蓋圖或在緊接視頻播放器的區(qū)域中被顯示。然而，VOME 300可以結(jié)合傳統(tǒng)的推式廣告與拉式廣告。例如，當對象在視頻中出現(xiàn)時，VOME 300可推出與該些對象相關的廣告內(nèi)容，或者VOME 300可以推出與觀看者已經(jīng)與之交互的對象類型(比如觀看者已經(jīng)滾動或選擇的對象)相關的廣告。正如上面提到的，VOME 300可以在競標之前實時提供實際視頻觀看者的概況給第三方(比如廣告商122)?？商鎿Q地，VOME 100可以為多個市場細分中的每一個簡單地拍賣視頻內(nèi)容對象的權(quán)利。例如，VOME 100可以通過年齡、性別、收入、區(qū)域或者消費習慣等的組合來細分市場。如果拍賣發(fā)生在視頻觀看者124訪問之前，將不可能提供實際視頻觀看者的概況信息給廣告商(競標者)，VOME 100將根據(jù)市場細分來拍賣這些權(quán)利。應當理解的是，文中所用術(shù)語“自動”指的是不受人為干預而發(fā)生的行為。換句話說，簡單地通過將只是通過將新內(nèi)容添加到目錄114或者之前拍賣的權(quán)利已到期等由VOME 300發(fā)起拍賣。VOME 300將視頻文件自動分割并對視頻對象自動分類。廣告商服務器可包括自動將競標提交給VOME 300的自動競標應用。下面還將解釋到，處理視頻以創(chuàng)建激活的視頻對象以及將這些視頻對象添加到目錄可以由自身來發(fā)出無需人為干涉。因此，根據(jù)一些實施方式，VOME 300可以是完全自動的系統(tǒng)。該系統(tǒng)完全自動運行的唯一要求就是具有不同視角或帶有對象描述的對象的3D線框模型的的對象圖像預先處理的數(shù)據(jù)庫112。圖2是本發(fā)明的系統(tǒng)100的第一種實施方式的框圖。系統(tǒng)100包括該數(shù)據(jù)庫的權(quán)利由播送設備120或類似物所擁有的視頻內(nèi)容的數(shù)據(jù)庫102?！安ニ驮O備”簡單地是指擁有視頻內(nèi)容的權(quán)利并通過交互電視或流網(wǎng)站的使這種權(quán)利對于觀看者1 變得可用的方。數(shù)據(jù)庫102位于播送設備服務器200上(圖幻，該服務器可以通過比如為英特網(wǎng)的分布式網(wǎng)絡104來進行訪問。服務器200包括處理器202，該處理器經(jīng)總線204連接至大容量存儲設備206、只讀存儲器(ROM) 208、隨機存取存儲器(RAM) 210 (其可以是易失的或非易失的)。數(shù)據(jù)庫102可以被存儲在RAM210、R0M208、或者大容量存儲設備206中。附屬設備比如鍵盤212、可用作鍵盤和顯示屏二者的觸摸屏214、顯示設備216和指示設備(鼠標)218可以可選地連接至所述服務器200。數(shù)據(jù)庫102包含未經(jīng)處理的或者原始的視頻內(nèi)容，這些視頻內(nèi)容可以由視頻內(nèi)容分割和分類引擎106(在此之后稱為內(nèi)容分析應用)來訪問?！霸嫉囊曨l內(nèi)容”指的是沒有被處理以識別對象的視頻。在圖2中，顯示了數(shù)據(jù)庫102被復制到數(shù)據(jù)庫108 ；然而，數(shù)據(jù)庫102的復制是可選的。數(shù)據(jù)庫108存在于視頻分割及分類服務器300中(圖幻，該服務器可以通過分布式網(wǎng)絡104例如因特網(wǎng)來訪問。此后提到訪問數(shù)據(jù)庫102時應被理解為等同于訪問數(shù)據(jù)庫 108，反之亦然。服務器300包括處理器202，該處理器202通過總線204連接至大容量存儲設備 206、只讀存儲器(ROM) 208、隨機存取存儲器(RAM) 210 (其可以其可以是易失的或非易失的)。視頻文件數(shù)據(jù)庫108可以存儲在RAM210、R0M208或者大容量存儲設備206中。附屬設備比如鍵盤212、可用作鍵盤和顯示屏二者的觸摸屏214、顯示設備216和指示設備(鼠標)218可以可選地連接至所述服務器300。通過對來自數(shù)據(jù)庫108 (或10 的原始視頻內(nèi)容進行分割及分類而匯集視頻對象的目錄104以識別其中的視頻對象。更確切地說，視頻內(nèi)容分析應用106對原始視頻內(nèi)容進行分割以產(chǎn)生特定視頻中所有視頻對象的列表。然后，視頻內(nèi)容分析應用106將該視頻對象列表進行分類以解析整個視頻中相同視頻對象的出現(xiàn)。VOME 300可被提供有分別執(zhí)行分割和分類的獨立軟件應用，或者具有既可執(zhí)行分割又可執(zhí)行分類的單個軟件應用。本文揭露了為視頻應用提供交互層的活動區(qū)域的方法，該方法包括訪問定義示出了多個視頻對象的多個幀的視頻數(shù)據(jù)，每個視頻對象在一系列視頻幀中示出；通過使用包括視頻對象分割和分類的視頻對象辨識算法生成區(qū)域定義數(shù)據(jù)。這些區(qū)域定義數(shù)據(jù)定義了多個區(qū)域，每個區(qū)域?qū)鄠€視頻對象中的一個，其中由區(qū)域定義數(shù)據(jù)定義的每個區(qū)域的輪廓與在一系列視頻幀所示出的對應的視頻對象的輪廓相匹配。根據(jù)本發(fā)明的一個改良方案，每個區(qū)域的輪廓在該一系列幀中動態(tài)地變化，以匹配在透視和大小以及視角方面中至少一個上的變化，其中以透視和大小以及視角方面在該一系列幀中示出對應的視頻對象。根據(jù)本發(fā)明的一個改良方案，使用區(qū)域定義數(shù)據(jù)定義多個活動區(qū)域用于交互式視頻觀看。
根據(jù)本發(fā)明的一個改良方案，幀作為視頻在顯示器上向用戶顯示，區(qū)域定義數(shù)據(jù)被用于判定指向這些幀中至少一個幀的位置的用戶行為是否定址于所述活動區(qū)域中的一個。
根據(jù)本發(fā)明的一個改良方案，響應于用戶行為定址于某一活動區(qū)域的判定，向用戶呈現(xiàn)附加信息，該附加信息與對應于該某一活動區(qū)域的視頻對象相關。根據(jù)本發(fā)明的一個改良方案，至少一個區(qū)域的區(qū)域定義數(shù)據(jù)包括對應所述區(qū)域的視頻對象的三維線框表示。根據(jù)本發(fā)明的一個改良方案，對于在其中示出所述對應視頻對象的所述一系列幀中的至少一幀，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括定義三維線框表示的透視圖的數(shù)據(jù)，所述三維線框表示的透視圖的輪廓定義該幀的區(qū)域的輪廓。根據(jù)本發(fā)明的一個改良方案，對于在其中示出所述對應視頻對象的所述一系列幀中的至少一對幀，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括定義了在幀對的幀之間的三維線框表示的變化的數(shù)據(jù)。根據(jù)本發(fā)明的一個改良方案，所述三維線框表示包括多個節(jié)點，和定義變化的數(shù)據(jù)，該數(shù)據(jù)包括定義至少一個節(jié)點相對至少另一個節(jié)點的位置的位移的數(shù)據(jù)。根據(jù)本發(fā)明的一個改良方案，定義變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個的變化的數(shù)據(jù)。視頻內(nèi)容分析應用106可以訪問對象信息庫112，該對象信息庫112存儲在服務器300中或者可以通過服務器300來訪問。例如，對象信息庫112可以存儲在用于存儲視頻內(nèi)容分析應用106的程序指令的存儲設備中，例如存儲設備206和/或RAM 210中。該庫112存儲了來自不同的視角或者對象的3D模型的對象的圖像。這些圖像信息可以用作為將描述信息鏈接至視頻對象的索引或者關鍵要素。該庫112還包括可用于向潛在競標者描述視頻內(nèi)容對象的對象識別符、標簽、和/或視頻對象的元數(shù)據(jù)描述中的一個或多個?？商鎿Q地，內(nèi)容分析應用106可以利用邏輯運算來識別視頻內(nèi)容對象而不需要借助于對象信息庫112.申請人:在此通過引用方式將名稱為“Video segmentation usingstatistical pixel modeling"的第6625310號美國專利并入本文，該專利公開了利用像素的統(tǒng)計建模將視頻數(shù)據(jù)分割成前景和背景部分的許多種方法中的一種。為每個像素構(gòu)建背景的統(tǒng)計模型，并且將到來的視頻幀中的每個像素與用于那個像素的背景統(tǒng)計模型做比較。基于比較將像素確定為前景或者背景。申請人:在此通過引用方式將名稱為"Method and apparatus forauthoring and linking video documents”的第6462754號美國專利并入本文，該專利公開了一種視頻文檔的創(chuàng)建方法，該方法涉及基于所關注對象邊界創(chuàng)建可錨定信息單元文件，這樣所關注對象可以用來識別視頻數(shù)據(jù)的部分。申請人:在此通過引用方式將名稱為“Linking to videoinformation”的第 7325245號美國專利并入本文，該專利公開了一種系統(tǒng)，可使能包括電視廣播、網(wǎng)頁以及存儲在磁或光媒體上的視頻顯示的各種視頻格式之間的動態(tài)鏈接。視頻信息的每一幀與該幀內(nèi)的多個位置一起被識別。然后用戶所選擇的位置，例如使用指示設備，被用來訪問或者在系統(tǒng)本身內(nèi)或者在外部系統(tǒng)上的相關信息。。
申請人在此通過弓I用方式將名稱為“Method，apparatus, system, medium, and signals for producing interactive video content”的第20080294694號美國公開專利申請并入本文，該專利申請公開了一種用于在內(nèi)容發(fā)布計算機上產(chǎn)生交互式視頻內(nèi)容的方法。該方法涉及將標記與視頻內(nèi)容中的至少一個圖像部分進行關聯(lián)，該標記可操作地被配置為當在視頻內(nèi)容中圖像部分的顯示位置發(fā)生變化時，跟隨所述至少一個圖像部分。此方法也涉及到將圖像部分識別符與標記相關聯(lián)，以及將鏈接屬性與標記相關聯(lián)，該鏈接屬性可操作地響應于交互式視頻內(nèi)容的觀看者的標記的選擇引起內(nèi)容位置請求到注冊服務器的傳輸。該內(nèi)容位置請求包括圖像部分標識符。如果是手動或半自動的過程，可以在人類分析師110的協(xié)助和/或?qū)忛喯掠蓛?nèi)容分析應用應用106創(chuàng)建目錄114。該分析師110可以手動識別視頻對象的給定實例，例如， 通過觀看視頻的靜止圖像和追蹤視頻對象(手動過程)，然后利用內(nèi)容分析應用106(半自動過程)以識別視頻對象在視頻中的其它出現(xiàn)。附加地或者可替換地，分析師110可以對不匹配的視頻對象的邊界進行審閱和改善，然后使該對象受到第二輪的分類和/或第二輪的將對象與對象庫中的對象匹配。可替換地，分析師110可以審閱和編輯由內(nèi)容分析應用106自動識別的對象。至此，我們已經(jīng)描述了從原始視頻中創(chuàng)建視頻對象目錄114的過程。視頻對象目錄114被存儲在存儲設備之內(nèi)，該存儲設備可以通過分布式網(wǎng)絡104(因特網(wǎng))訪問，或者數(shù)據(jù)庫114的拷貝可通過網(wǎng)絡訪問。重要地，注意視頻對象被用于創(chuàng)建可選擇的區(qū)域(超鏈接)，其可以動態(tài)跟蹤對象在整個視頻中的移動、大小和位置。根據(jù)本發(fā)明的一種實施方式，VOME 300將存儲在目錄數(shù)據(jù)庫114的視頻內(nèi)容對象的廣告權(quán)拍賣給廣告商122。該拍賣由VOME服務器300中的自動拍賣應用1 執(zhí)行，該自動拍賣應用126與廣告商服務器500中的自動競標應用通信。更確切的說，拍賣應用1 是在處理器202上執(zhí)行的并且存儲在大容量存儲設備206、R0M 208和RAM 210中的其中一個中的軟件應用。拍賣應用126拍賣將內(nèi)容關聯(lián)到視頻對象的權(quán)利。被拍賣的權(quán)利可以是有時間限制的，即，在預定時間期滿之后期滿的權(quán)利。拍賣應用126可以包括用于自動計費和/或競標轉(zhuǎn)讓的邏輯。拍賣應用1 存儲有拍賣信息，此拍賣信息可用于識別將內(nèi)容與拍賣相關聯(lián)的權(quán)利的擁有者、該權(quán)利的持續(xù)時間、與對象相關聯(lián)的內(nèi)容、以及計費信息。參見圖7，這些拍賣信息被存儲在服務器300上的拍賣信息數(shù)據(jù)庫中。更確切地說，拍賣信息數(shù)據(jù)庫被存儲在大容量存儲設備206、ROM 208和RAM 210中的一個之內(nèi)。VOME服務器300包括對象關聯(lián)應用，其創(chuàng)建視頻覆蓋圖用于將接收自廣告商400 的廣告內(nèi)容與視頻對象關聯(lián)。此覆蓋圖由VOME服務器300提供給播送設備120，并且依次與底層視頻一起從播送設備120到達觀看者124。廣告商122使用計算機或者服務器500(圖2，；3)競標將內(nèi)容與視頻對象關聯(lián)的權(quán)利。計算機500包括處理器202，該處理器202通過總線204連接至大容量存儲設備206、 ROM 208,RAM 210 (其可以其可以是易失的或非易失的)。自動競標應用在處理器202上執(zhí)行，并且可以存儲在ROM 208, RAM 210和大容量存儲設備206中的一個或者多個之上。自動競標應用傳送拍賣競標至VOME 300上的自動拍賣應用。自動競標應用對來自于VOME 300的描述正在被拍賣的一個或多個視頻對象的信息進行響應。視頻內(nèi)容對象的使用將原始視頻轉(zhuǎn)換成交互式視頻內(nèi)容。觀看者124使用計算機400 (圖3)訪問通過播送設備120在網(wǎng)站上可得到的視頻內(nèi)容，或者通過分布式網(wǎng)絡例如因特網(wǎng)可進行訪問的類似物。計算機400包括處理器202， 該處理器202通過總線204連接至大容量存儲設備206、只讀存儲器(ROM) 208、隨機存取存儲器(RAM)210(其可以其可以是易失的或非易失的)。web瀏覽器在處理器 上運行可用于訪問因特網(wǎng)上的網(wǎng)站。觀看者24通過使用傳統(tǒng)指示設備218、和/或比如本領域熟知的觸摸感應屏幕214來選擇或滾動表示視頻對象的區(qū)域，從而與視頻覆蓋圖進行交互。視頻觀看者124所進行的交互觸發(fā)附加內(nèi)容(比如廣告)的顯示。廣告商122正在競標提供廣告內(nèi)容的權(quán)利。廣告權(quán)的拍賣可以是自動的。例如，VOME 300可以請求最小的初始競標并指定競標增值，并且每個廣告商122可以為匹配指定標準的觀看者提供自動投標直至預定的最大競標值。根據(jù)之前實施方式的變形，當視頻觀看者124訪問播放設備的網(wǎng)站和/或請求訪問視頻內(nèi)容(可通過所述網(wǎng)站進行訪問)時，視頻(包括其中的所有視頻對象)的廣告權(quán)的拍賣或者各自的視頻內(nèi)容對象的廣告權(quán)的拍賣將被觸發(fā)。根據(jù)這個實施方式，播放設備 120能夠向廣告商122提供視頻觀看者124的觀看者概況信息。觀看者概況信息可以包括， 例如，關于觀看者124之前訪問的網(wǎng)站的信息和/或關于觀看者124購買習慣的信息。不管初始點(對象的手動或自動識別)是什么，最終產(chǎn)品都是列有給定媒介呈現(xiàn)中(影片剪輯)的每個識別對象的坐標(幀和子幀)和語義模型的數(shù)據(jù)庫(視頻內(nèi)容目錄)114。該目錄114可以在廣告市場交易平臺(VOME)上提供以供廣告商競標。廣告商將基于情景信息和正在觀看視頻內(nèi)容的觀看者的多元化觀看者概況競標目錄和視頻的目錄描述。當具有某一多元化用戶概況的用戶觀看視頻對象時，廣告商可決定在該視頻對象上推送覆蓋圖消息內(nèi)容。觀看者與視頻對象的交互可以被用來改良被推送給觀看者的消息，如同搜索某些東西時，檢索詞當時可被用來完善給用戶的信息所用的方法一樣。圖4是廣告商怎樣與VOME 300進行交互的流程圖。在步驟800，廣告商基于目錄描述符部署對視頻內(nèi)容目錄114的檢索，或者可以提交這些產(chǎn)品的圖片這些產(chǎn)品為他想要購買到其的目錄權(quán)利的產(chǎn)品。相對于更加初步的關鍵詞檢索，語義檢索的使用是優(yōu)選的， 因為語義檢索能夠應付描述符信息內(nèi)的變形。在步驟802，VOME 300返回匹配廣告商的搜索的對象列表和對象分類，廣告商將檢索結(jié)果與廣告商的媒體策略和預算調(diào)整。在步驟804A，廣告商簡單地選擇購買步驟802 中識別的目錄?？商鎿Q地，在步驟804B中，廣告商向VOME 100指定廣告商在實時拍賣期間感興趣競標的項。而且，廣告商可以指定初始競標值和/或最大的競標值。可替選地，VOME 100可以指定初始競標值和競標過程中的增額，而廣告商只指定最大競標值。圖5和圖6是示出觀看者與VOME 300進行交互的流程圖。在步驟600中，觀看者搜索或瀏覽視頻內(nèi)容，在步驟602中，關于在步驟600中使用的關鍵詞的廣告內(nèi)容(情境廣告)和視頻內(nèi)容搜索結(jié)果的列表一起被顯示。在步驟604，觀看者選擇視頻進行觀看，在步驟606，相對于被選擇的視頻情境廣告被完善。
在步驟608A和608B，觀看者正在觀看選擇的內(nèi)容(圖6中的1700)并遇到感興趣的視頻對象。根據(jù)一種實施方式，指向該幀，例如通過將指示設備218的指針1701帶到視頻幀1703上，將使得視頻變慢，這允許觀看者選擇對象。在交互電視或者三維(3D)視頻的情況下，觀看者能夠使用各種指示裝置，包括但不限于由任天堂的Wii 推廣使用的虛擬指針類型，其利用手套或者別的帶有能夠確定X、Y和Z坐標的感應器的類似物。在步驟608Α 中，觀看者只對感興趣的對象進行標記以供稍后重新觀看(圖6中的1702和1704)，因此在步驟610中，情境廣告又一次被完善(這次與感興趣的對象相關)，并且觀看者的行為概況被更新。在視頻觀看期間可以重復步驟608Α和610任意次數(shù)。在步驟612中，觀看者從步驟608Α重新觀看被標記的項的列表，然后或跳回至該項出現(xiàn)的場景(圖6中步驟614Α和 1704)或了解被選擇的項的更多信息，例如價格、特征等(步驟614Β)。在步驟616中，觀看者選擇購買一個或多個對象(產(chǎn)品)(根據(jù)被標記的或識別的對象中)，在步驟618中，觀看者完成所述交易(圖6中的1708).步驟608Β是步驟608Α的替換，其向觀看者呈現(xiàn)選擇直接跳至614并且了解關于對象的更多信息的選項。與視頻對象關聯(lián)的信息可以作為覆蓋圖彈出窗口或者在視頻播放器附近的區(qū)域被顯示。每次觀看者與視頻對象進行交互，他/她的概況信息會在數(shù)據(jù)庫中得到更新。雖然本發(fā)明已經(jīng)參考其具體實施方式
予以詳細地描述，應該理解到本領域技術(shù)人員基于對前文的理解，能夠輕易構(gòu)思出這些實施方式的修改，變形和等同。因此，本發(fā)明的保護范圍應當由本文的權(quán)利要求書和其任何等同來確定。
權(quán)利要求
1.一種用于將視頻內(nèi)容自動地分割及分類成對象并拍賣該些對象的系統(tǒng)，包括 視頻分割及分類服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；所述視頻分割及分類服務器包括存儲在視頻數(shù)據(jù)庫中的一個或多個視頻文件； 存儲在所述隨機存取存儲器、只讀存儲器、及大容量存儲器其中之一的對象信息庫，所述對象信息庫包含用于識別視頻文件內(nèi)的對象的對象信息和用于描述所述對象的描述信息和語義信息中的至少一個；對象目錄數(shù)據(jù)庫，其包含描述至少一個視頻對象在視頻文件其中之一中的位置信息；以及在所述處理器上執(zhí)行的視頻內(nèi)容分析應用，所述視頻內(nèi)容分析應用對視頻文件進行分割以識別視頻對象的位置、將視頻對象進行分類以匹配給定視頻對象的出現(xiàn)、通過將分類的視頻對象的出現(xiàn)與在所述對象信息庫中的視頻對象進行匹配來重新獲取描述所述視頻對象的信息、和將描述在所述視頻中的所述視頻對象的動態(tài)位置的信息以及描述所述視頻對象的信息儲存到所述對象目錄數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，進一步包括至少一個廣告服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；在所述廣告服務器上執(zhí)行的自動競標應用；以及在所述視頻分割及分類服務器上執(zhí)行的自動拍賣應用，所述拍賣應用傳輸拍賣信息至所述的至少一個廣告服務器，所述拍賣信息包括描述選定的視頻對象的信息，所述自動拍賣應用從所述至少一個廣告服務器接收來自于所述自動競標應用的競標信息，并授予關聯(lián)廣告內(nèi)容的權(quán)利給所述至少一個廣告服務器中選定的一個。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述自動拍賣應用將與所述給定視頻對象相關聯(lián)的用戶行為信息和市場細分信息中的至少一個傳送至所述廣告商競標應用。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，進一步包括 在數(shù)據(jù)庫中的廣告內(nèi)容；覆蓋圖生成應用，其用于創(chuàng)建將所述廣告內(nèi)容與給定的所述視頻對象鏈接的視頻覆蓋圖，并創(chuàng)建可選擇的超鏈接，該超鏈接的位置跟蹤在視頻中的所述視頻對象的動態(tài)位置。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，進一步包括視頻廣播服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；視頻用戶服務器，其包括可連接到分布式網(wǎng)絡且具有處理器、隨機存取存儲器、只讀存儲器、及大容量存儲器的計算機；所述視頻廣播服務器從所述視頻分割及分類服務器接收所述視頻覆蓋圖，并將該視頻覆蓋圖傳送給所述視頻用戶服務器，其中所述視頻覆蓋圖響應于與所述給定的視頻對象的交互而選擇性地引起與給定的所述視頻對象鏈接的內(nèi)容信息的顯示。
6.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述視頻分割及分類服務器保存已被拍賣的對象的數(shù)據(jù)庫。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中每個所述數(shù)據(jù)庫條目包括指示已被拍賣的對象的權(quán)利何時期滿的信息。
8.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述至少一個廣告服務器將指定所期望的人口統(tǒng)計受眾的信息傳送給所述視頻分割及分類服務器，并且所述拍賣服務器傳送被限制于所述所期望的人口統(tǒng)計受眾的對象拍賣信息。
9.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述拍賣信息包括指定人口統(tǒng)計信息和用戶行為歷史信息中的至少一個的信息。
10.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述視頻用戶服務器進一步包括內(nèi)容顯示應用， 用于顯示視頻并且當給定的視頻對象是利用指示設備所選擇和滾動的之一時，與所述視頻覆蓋圖交互并顯示廣告內(nèi)容。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中視頻對象的選擇使得內(nèi)容顯示應用暫?；蛘叻怕曨l的顯示。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述視頻用戶服務器包括指示設備；所述內(nèi)容顯示應用顯示與出現(xiàn)在視頻中的對象相關聯(lián)的第一內(nèi)容，并且當流視頻中所選擇的所述視頻對象是利用所述指示設備所選擇和滾動的之一時顯示第二內(nèi)容。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述廣告內(nèi)容包括可選擇的鏈接，其中該鏈接的選擇提供電子商務選項。
14.一種在視頻中自動創(chuàng)建可選擇的超鏈接的系統(tǒng)，包括將視頻文件分割成視頻對象，多個視頻對象，將所述的多個視頻對象進行分類以識別給定的所述視頻對象的重復出現(xiàn)；將每個視頻對象的幀和子幀信息存儲到數(shù)據(jù)庫中；以及利用將所述數(shù)據(jù)庫中的至少一個視頻對象與所述視頻文件鏈接的視頻覆蓋圖在視頻文件中創(chuàng)建可選擇的超鏈接。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述可選擇的超鏈接與廣告相鏈接，當用戶利用指示設備滾動或者選擇所述超鏈接時廣告被顯示。
16.一種視頻對象的市場交易平臺，包括視頻分割及分類應用，其用于自動地將視頻分割成多個對象，將所述對象分類成類似對象的群，利用描述信息對所述對象進行標記，將識別在所述視頻內(nèi)的所述視頻對象的動態(tài)位置的信息存儲在數(shù)據(jù)庫中；以及覆蓋圖生成器，其用于自動地創(chuàng)建將至少一個視頻對象群與所述視頻進行鏈接的視頻覆蓋圖。
17.根據(jù)權(quán)利要求16所述的視頻市場交易平臺，其中，每個被鏈接的視頻對象是可選擇的超鏈接，所述超鏈接的位置跟蹤在所述視頻中的視頻對象的動態(tài)位置。
18.一種為視頻觀看者應用提供交互層活動區(qū)域的方法，包括訪問定義示出了多個視頻對象的多個幀的視頻數(shù)據(jù)，每個視頻對象在一系列視頻幀中被示出；以及生成定義多個區(qū)域的區(qū)域定義數(shù)據(jù)，每個區(qū)域?qū)龆鄠€視頻對象中的一個，其中由所述區(qū)域定義數(shù)據(jù)定義的每個區(qū)域的輪廓匹配由在所述一系列幀中示出的對應視頻對象的輪廓。
19.根據(jù)權(quán)利要求18所述的方法，其中所述每個區(qū)域的輪廓在所述一系列幀中動態(tài)地變化以匹配在透視和大小及視角中的至少一個的變化，其中以該透視和大小及視角在所述一系列幀中示出的對應視頻對象。
20.根據(jù)權(quán)利要求18所述的方法，進一步包括使用所述區(qū)域定義數(shù)據(jù)定義多個活動區(qū)域用于交互式視頻觀看。
21.根據(jù)權(quán)利要求20所述的方法，其中所述幀作為視頻在顯示器上向用戶示出，并且其中所述區(qū)域定義數(shù)據(jù)被用于判定被引向這些幀中的至少一個幀的位置的用戶動作是否定址所述活動區(qū)域中的一個。
22.根據(jù)權(quán)利要求21所述的方法，其中，響應于用戶動作定址特定活動區(qū)域的判定，向用戶呈現(xiàn)廣告，所述廣告與對應所述特定活動區(qū)域的視頻對象相關。
23.根據(jù)權(quán)利要求18所述的方法，其中用于至少一個區(qū)域的所述區(qū)域定義數(shù)據(jù)包括對應所述區(qū)域的所述視頻對象的三維線框表示。
24.根據(jù)權(quán)利要求23所述的方法，其中用于所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對于在其中示出所述對應的視頻對象的所述一系列幀中的至少一個幀，定義所述三維線框表示的透視圖的數(shù)據(jù)，其中所述三維線框表示的透視圖的輪廓定義所述幀的區(qū)域的輪廓。
25.根據(jù)權(quán)利要求M所述的方法，其中所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對于在其中示出所述對應視頻對象的所述一系列幀中的至少一對幀，定義所述一對幀的幀之間的所述三維線框表示的變化的數(shù)據(jù)。
26.根據(jù)權(quán)利要求25所述的方法，其中所述三維線框表示包括多個節(jié)點，其中定義所述變化的數(shù)據(jù)包括定義至少一個節(jié)點相對于至少另一節(jié)點的位置的位移的數(shù)據(jù)。
27.根據(jù)權(quán)利要求25所述的方法，其中所述定義所述變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個的變化的數(shù)據(jù)。
全文摘要
本文公開了一種用于將視頻內(nèi)容自動分割和分類成對象的方法及系統(tǒng)。所述對象可用于在視頻中創(chuàng)建可選擇的超鏈接，所述超鏈接可以動態(tài)跟蹤視頻中的對象的位置。本文還公開了一種方法和系統(tǒng)，用于將視頻中的視頻內(nèi)容對象、動畫和可視數(shù)據(jù)流與情境相關信息進行關聯(lián)，以及用于將這些視頻內(nèi)容對象連接至廣告市場交易平臺和多元化觀看者概況中去并使這些對象具有交互性以進行推式和拉式觀看者交互。
文檔編號G06T7/20GK102160084SQ200980117626
公開日2011年8月17日 申請日期2009年3月6日 優(yōu)先權(quán)日2008年3月6日
發(fā)明者阿明·梅爾勒 申請人:阿明·梅爾勒