專利名稱:組合的水印法和指紋法的制作方法
技術(shù)領(lǐng)域:
本發(fā)明一般涉及信號(hào)處理,并且更具體地涉及多媒體信號(hào)處理,包括隱寫(xiě)術(shù) (steganography)、數(shù)字水印法、內(nèi)容信號(hào)鑒別、識(shí)別、分類以及基于內(nèi)容信號(hào)屬性的數(shù)據(jù)庫(kù)搜索和檢索。
背景技術(shù):
在一些應(yīng)用場(chǎng)合(諸如視頻和音頻內(nèi)容分發(fā)(例如廣播、互聯(lián)網(wǎng)等)的監(jiān)視和跟蹤)中,以精細(xì)粒度鑒別媒體的不同部分是合乎需要的。粒度是指可被可靠鑒別的媒體信號(hào)的最小時(shí)間單位(或部分)。例如,這可能是TV節(jié)目、廣告、電影或歌曲中的特定點(diǎn)??紤]具有嵌入水印的視頻信號(hào)。假定相同的水印有效載荷被重復(fù)嵌入每個(gè)視頻幀中。在噪聲條件(壓縮、D/A/D轉(zhuǎn)換等)下,由于有效載荷相同,因此水印檢測(cè)處理可以合計(jì)跨越若干個(gè)幀的水印信號(hào)。合計(jì)可以改善信噪比并提供改善的魯棒性。然而,在該實(shí)例中,水印信號(hào)不能提供在視頻信號(hào)的不同部分之間區(qū)分的能力。現(xiàn)在考慮在每個(gè)視頻幀中嵌入有唯一水印有效載荷的視頻信號(hào)。在此情況下,水印信號(hào)提供精細(xì)粒度——鑒別視頻信號(hào)的每個(gè)單獨(dú)幀的能力。然而,在噪聲條件下,由于唯一有效載荷不一定允許水印信號(hào)的合計(jì),因此水印魯棒性會(huì)下降。類似間題存在于通過(guò)對(duì)媒體信號(hào)的每個(gè)部分提取唯一指紋來(lái)實(shí)現(xiàn)粒度的指紋法系統(tǒng)中。粒度越精細(xì),指紋的數(shù)量越大并且指紋數(shù)據(jù)庫(kù)的規(guī)模越大。增大指紋數(shù)據(jù)庫(kù)的規(guī)模會(huì)增大指紋搜索和匹配處理的計(jì)算成本(和系統(tǒng)成本)。水印提供把媒體內(nèi)容串行化的能力,即同一媒體信號(hào)的多個(gè)相同拷貝可以嵌入有各不相同的水印有效載荷,而指紋法不能夠在相同拷貝之間區(qū)分。水印法涉及向媒體信號(hào)引入改變,并且會(huì)提出水印信號(hào)的可感知性的問(wèn)題。另一方面,指紋法不涉及向媒體信號(hào)引入任何改變。
發(fā)明內(nèi)容
水印法和指紋法的組合可以解決粒度、魯棒性和可感知性的問(wèn)題,并且可以允許在內(nèi)容鑒別系統(tǒng)的設(shè)計(jì)中有更大自由度。利用水印法和指紋法的互補(bǔ)優(yōu)點(diǎn)的組合方法將在下面描述。用于內(nèi)容鑒別及相關(guān)應(yīng)用的水印和指紋的組合被記述在本受讓人的美國(guó)專利公開(kāi)20060031684中,據(jù)此通過(guò)引用將其結(jié)合在本文中。水印法、指紋法和內(nèi)容識(shí)別技術(shù)也被記述在本受讓人的美國(guó)專利公開(kāi)20060280246以及專利6,122,403、7,289,643和 6,614,914中,據(jù)此通過(guò)引用將其結(jié)合在本文中。音頻和/或視頻識(shí)別的另外實(shí)例被記述在美國(guó)專利7,174,293號(hào)、7,346,512號(hào)、6,990,453號(hào)和美國(guó)專利公開(kāi)20020178410中,據(jù)此通過(guò)引用將其結(jié)合在本文中。為了本公開(kāi),這些專利文獻(xiàn)提供了可以如下面進(jìn)一步解釋的那樣與水印法技術(shù)組合的指紋技術(shù)的描述。對(duì)于視頻識(shí)別技術(shù)的另外實(shí)例。參見(jiàn)例如Bhat,D.N.和Nayar,S.K.的“Ordinal measures for image correspondence",IEEE Trans. Pattern Ana. Mach. Intell. ,vol.20, no· 4, pp. 415-423,1998 $ 4 月。Mohan,! ·的 “Video sequence matching", Proc. Int. Conf. Acoust. , Speech and Signal Processing (ICASSP), vol. 6, pp.3697-3700,1998 年 1 月。Oostveen, J.、Kalker, Τ·禾口 Haitsma, J.的"Feature extraction and a database strategy for video fingerprinting,,,Proc. 5th Int. Conf. Recent Advance in Visual Information Systems, pp. 117-128,2002。Kim, C.禾口 Vasudev B.的“Spatiotemporal sequence matching for efficient video copy detection",IEEE Trans. Circuits Syst. Video Technol. ,vol. 15,ηο· l,pp. 127-132,2005年 1 月。Lu,J.的"Video fingerprinting for copy identification :from research to industry applications,,,Proceedings of SPIE,Media Forensics and Security,Vol. 7254,2009 年 2 月。
圖1是示出使用指紋和水印的內(nèi)容識(shí)別系統(tǒng)的創(chuàng)建的框圖。圖2是示出內(nèi)容鑒別處理的框圖。圖3是可在一些內(nèi)容識(shí)別系統(tǒng)中使用的蜂窩電話的圖。
具體實(shí)施例方式1. 1使用水印法減小指紋匹配的搜索空間Kalker 和 Oostveen (Kalker,A.、Oostveen, J.的美國(guó)專利 7,168,083,2007 年 1 月23日)描述了把水印嵌入具有表示指紋數(shù)據(jù)庫(kù)中的位標(biāo)的有效載荷的媒體信號(hào)中的方案。他們?cè)O(shè)想一相對(duì)小的有效載荷,該有效載荷傳送關(guān)于將在其內(nèi)搜索媒體內(nèi)容的數(shù)據(jù)庫(kù)區(qū)段的信息。在檢測(cè)到水印時(shí),該有效載荷可以用作位標(biāo)(index)來(lái)限制用指紋數(shù)據(jù)庫(kù)搜索和匹配所需要的數(shù)據(jù)庫(kù)搜索。1. 2使用水印法進(jìn)行鑒別、使用指紋法進(jìn)行定位在1. 1節(jié)中討論的該方案可以進(jìn)一步擴(kuò)展成采用完整有效載荷對(duì)嵌入水印進(jìn)行編碼,所述完整有效載荷傳送關(guān)于媒體信號(hào)的全部相關(guān)鑒別信息。有效載荷于是可以鑒別特定媒體信號(hào)自身,而不是鑒別數(shù)據(jù)庫(kù)區(qū)段。另外,有效載荷還可以包括允許媒體信號(hào)的多個(gè)相同拷貝被唯一鑒別(例如為了跟蹤分發(fā)或使用)的串行化信息。該水印的任務(wù)是可靠且魯棒地鑒別視頻。水印信號(hào)的信噪比可以通過(guò)在整個(gè)媒體信號(hào)的范圍內(nèi)重復(fù)嵌入相同水印有效載荷來(lái)改善。該方法還允許媒體信號(hào)的任何特定區(qū)域中的水印信號(hào)的強(qiáng)度得到適應(yīng)使得水印信號(hào)無(wú)法被察覺(jué)到。在檢測(cè)期間,水印信號(hào)分量于是跨越媒體信號(hào)的不同區(qū)域或時(shí)間段被合計(jì)以提供足夠的魯棒性。在該方法中,水印不能夠提供定位信息(即, 水印是從媒體信號(hào)的哪個(gè)部分檢測(cè)到的)。定位可以通過(guò)指紋法提供。如在Kalker和 Oostveen (Kalker, Α.、Oostveen, J.的美國(guó)專利 7,168,083,2007 年 1 月 23 日)的方法中那樣,水印有效載荷被用作位標(biāo)來(lái)在指紋數(shù)據(jù)庫(kù)中鑒別與媒體信號(hào)相關(guān)聯(lián)的指紋。該步驟減小了數(shù)據(jù)庫(kù)搜索范圍(由此保持系統(tǒng)低成本)。然后使提取的指紋與在數(shù)據(jù)庫(kù)中鑒別的媒體信號(hào)的指紋匹配可以提供定位信息。1. 3使用指紋法進(jìn)行鑒別、使用水印法進(jìn)行定位與1. 2節(jié)中概述的方法相反,內(nèi)容鑒別可以使用指紋法執(zhí)行,同時(shí)定位可以通過(guò)水印法實(shí)現(xiàn)。內(nèi)容鑒別應(yīng)用場(chǎng)合可能需要鑒別以極精細(xì)的粒度執(zhí)行。例如,假定視頻序列的每個(gè)幀必須被唯一地鑒別。使用指紋法技術(shù)來(lái)唯一地鑒別每個(gè)幀是不實(shí)際的,因?yàn)閷?duì)應(yīng)的指紋數(shù)據(jù)庫(kù)將是巨大的并且把該數(shù)據(jù)庫(kù)搜索一遍在計(jì)算上將是昂貴的。作為替代,可以使用指紋法技術(shù)來(lái)實(shí)現(xiàn)初始鑒別。然后可以使用水印法技術(shù)實(shí)現(xiàn)定位。例如,唯一水印有效載荷可以嵌入每個(gè)視頻幀中。該有效載荷精確定位視頻內(nèi)的幀的位置,但是不能夠鑒別視頻自身。例如,水印有效載荷可以由每個(gè)幀都變化的時(shí)間碼構(gòu)成。然后可以利用用于在水印有效載荷內(nèi)攜帶時(shí)間碼的高效編碼方案來(lái)改善水印信號(hào)的魯棒性或降低其強(qiáng)度。這樣的方案在第4節(jié)中描述。1. 4使用指紋法和識(shí)別技術(shù)來(lái)為水印恢復(fù)提供同步讀取水印有效載荷經(jīng)常需要媒體信號(hào)的內(nèi)容的同步,使得媒體信號(hào)回復(fù)到水印信息比特被嵌入時(shí)的形式。通常,同步是通過(guò)嵌入分立的同步信號(hào)來(lái)實(shí)現(xiàn)的。不可感知性要求所施加的約束會(huì)限制可被嵌入的水印信號(hào)(和同步信號(hào))的強(qiáng)度。結(jié)果,僅能夠在對(duì)媒體信號(hào)的一定范圍的變換上實(shí)現(xiàn)同步。在該范圍之外,同步被丟失并且使水印有效載荷變得無(wú)法讀取。如果可以采用指紋法技術(shù)來(lái)鑒別媒體信號(hào),那么鑒別的信號(hào)可以用來(lái)恢復(fù)同步信號(hào)。例如,SIFT技術(shù)從圖像中提取一組特征點(diǎn),以便通過(guò)與數(shù)據(jù)庫(kù)中的對(duì)應(yīng)圖像匹配來(lái)識(shí)別圖像中的對(duì)象。SIFT技術(shù)可以通過(guò)與數(shù)據(jù)庫(kù)中的圖像進(jìn)行比較來(lái)確定應(yīng)用于圖像的幾何變換。可以使用取得的幾何信息來(lái)相對(duì)于原始媒體信號(hào)實(shí)現(xiàn)同步。這消除了對(duì)明確同步信號(hào)的需要。水印有效載荷的讀取經(jīng)常需要媒體信號(hào)內(nèi)容的同步,使得其被回復(fù)到水印信息比特被嵌入時(shí)的形式。經(jīng)常,同步是通過(guò)嵌入分立的同步信號(hào)實(shí)現(xiàn)的。如果內(nèi)容可以通過(guò)指紋法得到鑒別,那么同步信息可以通過(guò)比較原始媒體和變換后的媒體來(lái)恢復(fù)。該方法可以用來(lái)擴(kuò)展變換的范圍,其中水印可以在該范圍下得到恢復(fù)。例如,假定圖像水印的同步方案對(duì)尺度縮小到50%是魯棒的。圖像識(shí)別技術(shù)然后可以用于小于50%的縮小??商鎿Q地,使用指紋法或識(shí)別技術(shù)進(jìn)行同步可以對(duì)一些應(yīng)用場(chǎng)合消除對(duì)明確同步信號(hào)的需要。同步信號(hào)的消除可以減小水印的可感知性并且可以提高魯棒性。SIFT 描述SIFT是尺度不變特征變換的首字母縮寫(xiě)詞,是一種由David Lowe開(kāi)創(chuàng)的計(jì)算機(jī)視覺(jué)技術(shù)并且被記述在他的各種論文(包括^Distinctive Image Features from Scale-Invariant Keypoints,,,International Journal of Computer Vision, 60,2(2004), pp. 91-110 ; 以及"Object Recognition from Local Scale-Invariant Features,,,International Conference on Computer Vision, Corfu,希臘(1999 年 9 月), pp. 1150-1157)和專利 6,711,293 中。SIFT通過(guò)識(shí)別和描述局部圖像特征并隨后檢測(cè)局部圖像特征來(lái)工作。SIFT特征是局部的,并且基于對(duì)象在特定興趣點(diǎn)的外觀,并且相對(duì)于圖像縮放比例、旋轉(zhuǎn)和仿射變換不會(huì)發(fā)生改變。SIFT特征對(duì)于照明變化、噪聲以及一些視點(diǎn)變化也有魯棒性。除了這些特性之外,SIFT特征還有獨(dú)特性,相對(duì)易于提取,允許以低錯(cuò)誤匹配概率進(jìn)行正確對(duì)象識(shí)別, 并且能夠直接對(duì)照局部特征的(大型)數(shù)據(jù)庫(kù)進(jìn)行匹配。通過(guò)SIFT特征集合進(jìn)行的對(duì)象描述還對(duì)局部遮蔽有魯棒性;來(lái)自對(duì)象的少到3個(gè)SIFT特征就足以能夠計(jì)算位置和姿勢(shì)。本技術(shù)通過(guò)識(shí)別參考圖像中的被稱為關(guān)鍵點(diǎn)的局部圖像特征而開(kāi)始。這是通過(guò)在不同縮放比例(分辨率)下將圖像與高斯模糊濾波器卷積并確定相繼的高斯模糊圖像之間的差值來(lái)完成的。關(guān)鍵點(diǎn)是具有在多個(gè)縮放比例下產(chǎn)生的高斯差分的最大值或最小值的那些圖像特征。(將高斯差分幀中的每個(gè)像素與其相同縮放比例下的八個(gè)相鄰者進(jìn)行比較,并且與每個(gè)相鄰縮放比例(例如九個(gè)其它縮放比例)下的對(duì)應(yīng)像素進(jìn)行比較。如果像素值是所有這些像素中的最大值或最小值,則將其選為候選關(guān)鍵點(diǎn)。(應(yīng)認(rèn)識(shí)到的是,剛剛描述的程序是一種污點(diǎn)檢測(cè)方法,其檢測(cè)圖像的尺度局部化的拉普拉斯變換的空間尺度極值。高斯差分方法是以金字塔設(shè)置形式表達(dá)的這樣的拉普拉斯運(yùn)算的近似。)上述程序典型地會(huì)識(shí)別出例如由于具有低對(duì)比度(因而對(duì)噪聲敏感)或者由于具有沿著邊緣的確定得較差的位置(高斯差分函數(shù)沿邊緣具有強(qiáng)烈的響應(yīng),從而產(chǎn)生許多候選關(guān)鍵點(diǎn),但是這些點(diǎn)中的許多點(diǎn)對(duì)噪聲沒(méi)有魯棒性)而不適合的許多關(guān)鍵點(diǎn)。通過(guò)對(duì)候選關(guān)鍵點(diǎn)進(jìn)行詳細(xì)擬合從而擬合到附近數(shù)據(jù)以便獲得準(zhǔn)確位置、縮放比例和主曲率比,來(lái)將這些不可靠關(guān)鍵點(diǎn)篩除。這會(huì)除去具有低對(duì)比度或沿邊緣定位較差的關(guān)鍵點(diǎn)。更特別地,該過(guò)程通過(guò)對(duì)每個(gè)候選關(guān)鍵點(diǎn)進(jìn)行附近數(shù)據(jù)的內(nèi)插以便更準(zhǔn)確地確定關(guān)鍵點(diǎn)位置來(lái)開(kāi)始。這通常是通過(guò)以關(guān)鍵點(diǎn)作為原點(diǎn)進(jìn)行泰勒展開(kāi)來(lái)完成的,以便確定最大/最小位置的精確估算值。也可以使用二階泰勒展開(kāi)的值來(lái)識(shí)別低對(duì)比度關(guān)鍵點(diǎn)。如果對(duì)比度小于閾值(例如0. 03),則丟棄該關(guān)鍵點(diǎn)。為了消除具有強(qiáng)烈的邊緣響應(yīng)但是定位較差的關(guān)鍵點(diǎn),應(yīng)用角點(diǎn)檢測(cè)程序的變型。簡(jiǎn)要地說(shuō),這包括計(jì)算跨越該邊緣的范圍的主曲率,并將其與沿著邊緣的主曲率進(jìn)行比較。這是通過(guò)解出二階海森矩陣的特征值來(lái)完成的。一旦丟棄了不適合的關(guān)鍵點(diǎn),就通過(guò)局部圖像梯度函數(shù)評(píng)估保留下來(lái)的關(guān)鍵點(diǎn)的方向。對(duì)于高斯模糊圖像中的關(guān)鍵點(diǎn)周?chē)泥徑鼌^(qū)域中的每個(gè)像素,(在該關(guān)鍵點(diǎn)的縮放比例下)計(jì)算梯度的量值和方向。于是編輯出具有36個(gè)柄的方向直方圖,其中每個(gè)柄包含十度的方向。鄰近區(qū)域中的每個(gè)像素都對(duì)該直方圖有貢獻(xiàn),該貢獻(xiàn)通過(guò)其梯度的量值以及 σ為該關(guān)鍵點(diǎn)的縮放比例的1. 5倍的高斯函數(shù)加權(quán)。該直方圖中的峰值定義關(guān)鍵點(diǎn)的主方向。該方向數(shù)據(jù)允許SIFT實(shí)現(xiàn)旋轉(zhuǎn)魯棒性,因?yàn)榭梢韵鄬?duì)于該方向來(lái)表示關(guān)鍵點(diǎn)描述符。根據(jù)上文,識(shí)別了不同縮放比例下的多個(gè)關(guān)鍵點(diǎn),每個(gè)關(guān)鍵點(diǎn)具有相應(yīng)的方向。該數(shù)據(jù)相對(duì)于圖像平移、縮放比例和旋轉(zhuǎn)不會(huì)發(fā)生改變。然后對(duì)每個(gè)關(guān)鍵點(diǎn)產(chǎn)生1 個(gè)元素描述符,從而允許對(duì)照明和3D視點(diǎn)具有魯棒性。該運(yùn)算類似于剛剛回顧的方向評(píng)估程序。關(guān)鍵點(diǎn)描述符被計(jì)算為GX4)像素相鄰區(qū)域上的一組方向直方圖。方向直方圖與關(guān)鍵點(diǎn)方向相關(guān),并且方向數(shù)據(jù)來(lái)自于在縮放比例上最接近關(guān)鍵點(diǎn)縮放比例的高斯圖像。如上所述,每個(gè)像素的貢獻(xiàn)通過(guò)梯度量值以及 σ為關(guān)鍵點(diǎn)的縮放比例的1.5倍的高斯函數(shù)加權(quán)。每個(gè)直方圖包含8個(gè)柄,并且每個(gè)描述符包含該關(guān)鍵點(diǎn)周?chē)?X4陣列的16個(gè)直方圖。這導(dǎo)致SIFT特征向量具有0X4X8 =128個(gè)元素)。對(duì)該向量進(jìn)行歸一化以提高對(duì)照明變化的不變性。將上述程序應(yīng)用于訓(xùn)練圖像以便編輯出參考數(shù)據(jù)庫(kù)。然后如上所述那樣處理未知圖像以便產(chǎn)生關(guān)鍵點(diǎn)數(shù)據(jù),并且通過(guò)類似歐幾里得距離的度量來(lái)識(shí)別數(shù)據(jù)庫(kù)中最匹配的圖像。(典型地使用“最優(yōu)柄優(yōu)先”算法來(lái)代替純歐幾里得距離計(jì)算,以便實(shí)現(xiàn)幾個(gè)數(shù)量級(jí)的速度提高。)為了避免錯(cuò)誤肯定,如果最佳匹配的距離得分接近下一個(gè)最佳匹配的距離得分 (例如相差25 % ),則產(chǎn)生“無(wú)匹配”輸出。為了進(jìn)一步提高性能,可以通過(guò)聚類來(lái)匹配圖像。這能夠識(shí)別屬于同一參考圖像的特征,從而允許非聚類的結(jié)果作為假的結(jié)果被丟棄。可以使用霍夫變換,從而識(shí)別體現(xiàn)相同對(duì)象姿勢(shì)的特征的聚類。詳述適合于在下一代蜂窩電話中實(shí)現(xiàn)的用于執(zhí)行SIFT程序的特定硬件實(shí)施例的論文是 Bonato 等人的"Parallel Hardware Architecture for Scale and Rotation Invariant Feature Detection,,,IEEE Trans on Circuits and Systems for Video Tech, Vol. 18,No.12,2008。用于執(zhí)行SIFT技術(shù)的替代硬件架構(gòu)被詳述在%等人的“Vision Based Modeling and Localization for Planetary Exploration Rovers", Proc. of Int.Astronautical Congress (IAC),2004 年 10 月中。盡管SIFT或許是用于產(chǎn)生魯棒局部描述符的最眾所周知的技術(shù),但是也存在著其它技術(shù),它們?nèi)Q于應(yīng)用場(chǎng)合而可能更適合或較不適合。這些技術(shù)包括GL0H(參看 Mikolajczyk ^ A W"Performance Evaluation of Local Descriptors", IEEE Trans. Pattern Anal. Mach. Intell.,Vol. 27,No. 10,pp.1615-1630,2005)以及 SURF(參看 Bay 等人的"SURF :Speeded Up Robust Features", Eur. Conf. on Computer Vision (1), pp. 404-417,2006 ;Chen 等人的"Efficient Extraction of Robust Image Features on Mobile Devices,,,Proc. of the 6th IEEE and ACM Int. Symp. On Mixed and Augmented Reality, 2007 ; U R Takacs ^AW "Outdoors Augmented Reality on Mobile Phone Using Loxel-Based Visual Feature Organization,,,ACM Int. Conf. on Multimedia Information Retrieval, 2008 年 10 月)。1. 5使用指紋法和識(shí)別技術(shù)來(lái)去除主體內(nèi)容(host content)可以通過(guò)使用指紋法或識(shí)別技術(shù)鑒別媒體信號(hào)樣本中的內(nèi)容,使媒體信號(hào)樣本同步使得其與存儲(chǔ)在數(shù)據(jù)庫(kù)中的參考拷貝對(duì)準(zhǔn),然后使用參考信號(hào)去除(減去)媒體信號(hào)樣本中的主體內(nèi)容使得僅水印信號(hào)得到保留,來(lái)進(jìn)一步擴(kuò)展在1.4節(jié)中描述的方法。主體信息(原始圖像)的去除通過(guò)提高信噪比來(lái)改善魯棒性。有效地,該方法將水印檢測(cè)轉(zhuǎn)變成非盲方法(即有信檢測(cè)(informed detection)) 0這種情況下的水印有效載荷可以用來(lái)傳送諸如用于串行化或跟蹤的信息比特。2.從媒體信號(hào)樣本取得通道特性內(nèi)容鑒別典型地涉及鑒別媒體信號(hào)的樣本。內(nèi)容鑒別技術(shù)通常被設(shè)計(jì)成忽視(或甚至克服)媒體信號(hào)樣本可能已經(jīng)經(jīng)歷的變換。盡管在一些應(yīng)用場(chǎng)合中,確定媒體信號(hào)已經(jīng)經(jīng)歷的變換的性質(zhì)可能是有用的。例如,樣本是低分辨率視頻、高清晰度視頻嗎或者信號(hào)中的內(nèi)容已經(jīng)受到尺寸調(diào)整(縮放)或旋轉(zhuǎn)操作了嗎?在其它應(yīng)用場(chǎng)合中,可能必需確定樣本的分發(fā)路徑。例如,視頻是原始媒體的移動(dòng)版本嗎,或者視頻是廣播版本嗎?
水印法所提供的信息承載能力可以用來(lái)對(duì)水印有效載荷中的分發(fā)路徑進(jìn)行編碼。 此外,在視頻信號(hào)的情況下,水印可以被嵌入信號(hào)的音頻和視頻部分兩者中。音頻或視頻被改變或被來(lái)自另一視頻的片段替換這樣的變換,可以通過(guò)檢驗(yàn)從信號(hào)的每個(gè)部分恢復(fù)的水印有效載荷的完整性和一致性來(lái)檢測(cè)。例如,視頻部分中的水印有效載荷的一部分可以被編碼成使得其向音頻部分中的有效載荷提供線索(反之亦然)。在最簡(jiǎn)單的情況下,音頻和視頻水印可以是相同的。檢驗(yàn)也可以通過(guò)檢查作為時(shí)間的函數(shù)的有效載荷一致性和完整性來(lái)執(zhí)行。因此,可以鑒別各種變化諸如視頻幀的合成或音軌的替換。水印信號(hào)的同步分量可以直接提供關(guān)于對(duì)媒體進(jìn)行的其它變換的信息。例如,同步處理可以確定圖像已經(jīng)經(jīng)歷過(guò)仿射幾何變換,或者音頻信號(hào)的時(shí)間標(biāo)度已經(jīng)被修改。指紋法和識(shí)別技術(shù)一般被設(shè)計(jì)成忽視或丟棄對(duì)媒體信號(hào)進(jìn)行的變換,特別是在感知方面與鑒別任務(wù)無(wú)關(guān)的那些變換。然而,一旦已經(jīng)鑒別出媒體信號(hào)樣本,就可以執(zhí)行進(jìn)一步的分析來(lái)確定樣本已經(jīng)經(jīng)歷的變換,或者確定借以分發(fā)樣本的通道的特性。這與在語(yǔ)音識(shí)別和說(shuō)話者鑒別的領(lǐng)域中執(zhí)行的處理類似。在語(yǔ)音識(shí)別中,忽略各個(gè)單獨(dú)的說(shuō)話者的特性以便聚焦于識(shí)別說(shuō)話的內(nèi)容。在說(shuō)話者鑒別中,重點(diǎn)在于,在忽視說(shuō)話的內(nèi)容的同時(shí)提取各個(gè)單獨(dú)的說(shuō)話者的特性。然而,確定說(shuō)話的內(nèi)容可以有利地用來(lái)鎖定說(shuō)話者特性。下面, 我們描述使用指紋法和識(shí)別技術(shù)取得通道特性的一些方法。在下面的各節(jié)中,我們討論不同類別的指紋技術(shù)1.用來(lái)鑒別a)與通道獨(dú)立的、 以及b)依賴于通道的內(nèi)容信號(hào)的技術(shù)。2.信號(hào)特性提取,其是分發(fā)內(nèi)容信號(hào)的通道的特性(例如,壓縮格式、傳輸通道等),與特定內(nèi)容信號(hào)相反(其依賴于通道,但是不依賴于內(nèi)容信號(hào))。典型地對(duì)于基本識(shí)別,指紋技術(shù)被設(shè)計(jì)成用于類別1. a)。在此情況下,識(shí)別自身不會(huì)使通道能夠得到鑒別,但是它確實(shí)使系統(tǒng)能夠檢索內(nèi)容信號(hào)的參考版本,該參考版本然后可以與接收到的信號(hào)進(jìn)行比較以便確定畸變(包括借以確定通道的通道畸變)。在類別l.b)中,指紋數(shù)據(jù)庫(kù)被分段成不同的多組指紋,每組指紋都依賴于特定通道。這種分段使通道能夠得到鑒別,和/或使系統(tǒng)能夠跨越不同的通道來(lái)鑒別信號(hào)(例如,通過(guò)跨越不同的組來(lái)搜索匹配)。優(yōu)選地,通過(guò)確定通道特性,然后至少在存儲(chǔ)有與那些特性相關(guān)聯(lián)的依賴于通道的內(nèi)容指紋的數(shù)據(jù)庫(kù)分段上區(qū)分?jǐn)?shù)據(jù)庫(kù)匹配處理的優(yōu)先次序,來(lái)最優(yōu)化內(nèi)容識(shí)另O。在類別2中,系統(tǒng)提取與通道相關(guān)聯(lián)的特性(例如,反映由通道引入的畸變的可與不同通道的畸變區(qū)分開(kāi)的特別屬性)。這些系統(tǒng)可以被整合以實(shí)現(xiàn)最優(yōu)化的識(shí)別或期望的應(yīng)用結(jié)果(例如,高效的數(shù)據(jù)庫(kù)搜索以便進(jìn)行內(nèi)容識(shí)別、內(nèi)容和通道識(shí)別、通道鑒別、畸變分析等)。例如,通道特性的提取被用來(lái)使用類別2的方法鑒別通道(參見(jiàn)2. 2節(jié)),然后使用類別Ib的方法搜索該通道的依賴于內(nèi)容信號(hào)的指紋(參見(jiàn)2. 2. 1節(jié))。2. 1在鑒別內(nèi)容之后鑒別通道(畸變)在該方法中,使用識(shí)別或指紋法技術(shù)(或者甚至使用水印法)按照通常那樣鑒別媒體信號(hào)樣本。一旦鑒別媒體樣本,就可以利用存儲(chǔ)在參考數(shù)據(jù)庫(kù)中的關(guān)于該媒體的參考信號(hào)執(zhí)行比較分析。該分析可以包括比較信號(hào)帶寬以便確定壓縮的有無(wú)和壓縮量,或者通過(guò)將信號(hào)樣本的保真度與參考信號(hào)的保真度進(jìn)行比較來(lái)估計(jì)信號(hào)質(zhì)量。對(duì)于圖像或視頻中貞,可以使用圖像配準(zhǔn)技術(shù)(L. G. Brown, A survey of image registration techniques, ACM. Computing Surveys M (1992) 326-376)將樣本與參考信號(hào)進(jìn)行比較以便確定幾何變換(旋轉(zhuǎn)變化、縮放、仿射變換、裁切、縱橫比變化等)。
如果初始鑒別表明在樣本信號(hào)中存在多個(gè)媒體信號(hào),那么樣本可以與對(duì)應(yīng)于所存在的每個(gè)身份的參考信號(hào)進(jìn)行比較。媒體樣本的一部分可以與參考信號(hào)的一部分相關(guān)聯(lián), 以便確定諸如視頻幀替換、圖像區(qū)域替換或者音頻部分的替換或復(fù)制(diAbing)之類的操作。對(duì)樣本和參考信號(hào)的詳細(xì)分析可以使樣本信號(hào)所采用的可能分發(fā)路徑被明白地顯現(xiàn)出來(lái)。例如,考慮視頻已經(jīng)通過(guò)3個(gè)不同的通道分發(fā),即高清晰度版本(諸如通過(guò)藍(lán)光盤(pán))、標(biāo)準(zhǔn)清晰度版本(諸如通過(guò)DVD)以及用于在移動(dòng)電話上消費(fèi)的移動(dòng)(低分辨率)版本。分析樣本信號(hào)的質(zhì)量和帶寬以及與來(lái)自三個(gè)分發(fā)路徑中的每個(gè)分發(fā)路徑的信號(hào)進(jìn)行比較和關(guān)聯(lián),可以幫助確定樣本信號(hào)最可能的分發(fā)路徑。2. 2在鑒別通道之后鑒別內(nèi)容在某些情況下,可以鑒別通道而不鑒別媒體信號(hào)樣本自身??紤](例如以MP3或 AAC格式)壓縮的音頻樣本。該樣本的比特率可以從比特流自身確定而無(wú)需鑒別音頻內(nèi)容。 我們也可以通過(guò)分析信號(hào)衰減來(lái)推斷通道特性,例如幀尺寸較小的模糊視頻不可能形成高清晰度源。這樣的信息可以用來(lái)改善諸如指紋法或識(shí)別之類的鑒別技術(shù)的魯棒性。例如, 指紋數(shù)據(jù)庫(kù)可以分段成低分辨率部分和高分辨率部分。對(duì)于音頻樣本,可以把鑒別限制于數(shù)據(jù)庫(kù)的相關(guān)部分。一旦鑒別出樣本,就可以如2. 1節(jié)中所述的那樣執(zhí)行進(jìn)一步的分析。2. 2. 1指紋數(shù)據(jù)庫(kù)的分段如上面提到的那樣,指紋數(shù)據(jù)庫(kù)查找可以基于信號(hào)特性或通道的鑒別來(lái)定制。指紋數(shù)據(jù)庫(kù)可以分段或分割成不同的區(qū)域,以便使內(nèi)容鑒別任務(wù)集中在通道的鑒別上。作為進(jìn)一步的改進(jìn),指紋數(shù)據(jù)庫(kù)可以包含對(duì)同一內(nèi)容的多個(gè)變種的引用(reference)。例如,音頻指紋數(shù)據(jù)庫(kù)的641ApS區(qū)段可以存儲(chǔ)641Λρ上的相關(guān)特性,而更高比特率區(qū)段可以存儲(chǔ)該比特率上的相關(guān)特性。3.指紋法和水印法之間的連續(xù)性指紋法(識(shí)別)和水印法可以被認(rèn)為是用于鑒別信號(hào)的技術(shù)的連續(xù)譜的兩個(gè)末端。這兩個(gè)末端之間存在著從強(qiáng)內(nèi)容衍生鑒別(或基于內(nèi)容的鑒別)到弱內(nèi)容衍生鑒別到不依賴內(nèi)容的鑒別的一組技術(shù)。我們?cè)谙旅孢M(jìn)一步詳述這些技術(shù)中的一些技術(shù)的實(shí)例。3. 1指紋法指紋法和識(shí)別技術(shù)從內(nèi)容中取得(以圖案、特征、比特或指紋的形式表示的)信息以便表征內(nèi)容。通過(guò)與存儲(chǔ)在參考數(shù)據(jù)庫(kù)中的參考圖案、特征、比特或指紋匹配來(lái)執(zhí)行鑒另IJ。在這些技術(shù)中,如果樣本信號(hào)的指紋以高概率匹配參考數(shù)據(jù)庫(kù)中的指紋,那么獲得匹配。媒體的在感知方面相似的多個(gè)拷貝會(huì)導(dǎo)致匹配的指紋或特征。這組技術(shù)不具有信息承載能力(即,信號(hào)不能傳送獨(dú)立于信號(hào)自身的任何額外信息)。還應(yīng)注意的是,先前沒(méi)有被分析并存儲(chǔ)在參考數(shù)據(jù)庫(kù)中的信號(hào)不能夠得到鑒別。參考數(shù)據(jù)庫(kù)的大小與需要鑒別的媒體信號(hào)的數(shù)量成比例地增長(zhǎng)。3. 2利用先驗(yàn)信息的指紋法在這組技術(shù)中,指紋法或識(shí)別技術(shù)可以區(qū)分媒體的(預(yù)先已知的)某些變換。例如,從媒體的預(yù)先畸變的版本提取的指紋可以用于在之后鑒別每個(gè)不同的預(yù)先畸變的版本。先驗(yàn)信息包括關(guān)于可被應(yīng)用的可能的預(yù)先畸變的類型的知識(shí)。這里,所應(yīng)用的畸變可以在感知上是顯著的或者可以在感知上是不顯著的。該方法的實(shí)例包括在2. 2. 1節(jié)中描述的那些方法。用于這些技術(shù)的鑒別處理可以沿著在2.1節(jié)中描述的路線進(jìn)行。例如,初始鑒別可以忽略預(yù)先的畸變,而在初始鑒別之后,可以對(duì)信號(hào)進(jìn)行進(jìn)一步的檢查以便確定與其匹配的不同的預(yù)先畸變的版本。3. 3利用后驗(yàn)信息的指紋法在利用后驗(yàn)信息的指紋法中,以與傳統(tǒng)指紋法相同的方式執(zhí)行鑒別部分。一旦鑒別出媒體樣本,就使用后驗(yàn)信息來(lái)推斷媒體信號(hào)樣本的另外的特性。這些特性包括關(guān)于借以分發(fā)或傳輸該樣本的通道的信息,以及信號(hào)可能已經(jīng)經(jīng)歷的衰減和操作。后驗(yàn)信息包括通過(guò)分析媒體信號(hào)在通過(guò)各種通道時(shí)如何表現(xiàn)和衰減而獲得的知識(shí),以及衰減和操作對(duì)媒體信號(hào)屬性的影響的知識(shí)。該知識(shí)可以不直接從該特定媒體信號(hào)取得,而是可以是在一組相關(guān)媒體信號(hào)上觀察到的表現(xiàn)的一般化歸納。在2. 1節(jié)中描述的技術(shù)歸入該類別。3. 4組合的指紋法和水印法在該類別的技術(shù)中,采用指紋法和水印法以便利用每種技術(shù)所提供的互補(bǔ)優(yōu)勢(shì)并克服它們各自的局限和弱點(diǎn)。組合的指紋法和水印法的一些實(shí)例在第1節(jié)中描述。另外,組合的技術(shù)對(duì)于處理舊式媒體和系統(tǒng)成本而言特別有用。例如,尚未添加有水印的舊式媒體可以使用指紋法技術(shù)得到鑒別。此外,為了降低鑒別期間的系統(tǒng)成本,首先執(zhí)行水印檢測(cè)。 如果水印檢測(cè)失敗,那么提取指紋以便搜索參考數(shù)據(jù)庫(kù)并與參考數(shù)據(jù)庫(kù)匹配。首先執(zhí)行水印檢測(cè)和指紋提取這兩者所共用的信號(hào)處理操作以避免重復(fù)。3. 5整合的水印法和指紋法在這類技術(shù)中,從內(nèi)容取得的特性信息(即指紋)被存儲(chǔ)在水印有效載荷內(nèi)。參見(jiàn)美國(guó)專利7,519,819號(hào)。內(nèi)容衍生信息因此緊密地耦合在水印內(nèi)。這些技術(shù)主要在認(rèn)證型應(yīng)用場(chǎng)合中使用。3. 6有信的水印法在該類技術(shù)中,在水印法中使用關(guān)于媒體信號(hào)的信息,盡管該信息并不直接編碼到水印有效載荷中。在有信編碼(informed coding)中,包含水印信號(hào)(或有效載荷)的代碼字受到有關(guān)主媒體信號(hào)的知識(shí)的影響。在有信嵌入中,水印信號(hào)基于有關(guān)主媒體信號(hào)的知識(shí)而被修改或成形。在有信檢測(cè)(非盲檢測(cè))中,向水印檢測(cè)處理提供有關(guān)原始主媒體信號(hào)的信息(I. J. Cox, M. L. Miller 和 J. A. Bloom, "Digital watermarking", Morgan Kaufmann,2001)。通過(guò)使用指紋匹配來(lái)鑒別媒體信號(hào)內(nèi)容,指紋法可以用來(lái)幫助有信檢測(cè)。一旦得到鑒別,就可以從數(shù)據(jù)庫(kù)中檢索原始媒體信號(hào)并使其可用于水印檢測(cè)處理。該原始信號(hào)可以從媒體信號(hào)中減去以便去除由于主信號(hào)引起的對(duì)水印信號(hào)的干擾??商鎿Q地,指紋法技術(shù)可以僅用來(lái)提供同步信息。這樣的技術(shù)在1. 4節(jié)和1. 5節(jié)中描述。3. 7利用輔助識(shí)別的水印法在該類別的技術(shù)中,水印有效載荷獨(dú)立于主媒體信號(hào)內(nèi)容。然而,指紋法和識(shí)別技術(shù)被用來(lái)從內(nèi)容自身中提取輔助信息。這樣的輔助信息可以包括媒體信號(hào)的屬性(例如主色是藍(lán)色或主紋理是沙狀等)和甚至語(yǔ)義信息(駕駛紅色汽車(chē)的人)。這樣的信息然后可以用來(lái)促進(jìn)智能搜索和檢索能力(而無(wú)需預(yù)先對(duì)內(nèi)容進(jìn)行分析)。3. 8水印法在常規(guī)水印法中,由水印信號(hào)(有效載荷)承載的信息獨(dú)立于嵌入有水印的主體內(nèi)容。通過(guò)檢測(cè)水印信號(hào)的存在、并對(duì)編碼的消息進(jìn)行解碼并恢復(fù)有效載荷信息比特來(lái)執(zhí)行鑒別。恢復(fù)有效載荷不需要參考數(shù)據(jù)庫(kù)。通常,水印以察覺(jué)不到的方式被嵌入主媒體內(nèi)容中。通過(guò)使用水印法,一媒體信號(hào)的多個(gè)相同拷貝可以通過(guò)在這些相同拷貝中嵌入各不相同的有效載荷而被賦予各不相同的身份。在媒體內(nèi)容在水印法系統(tǒng)中變得有用之前,媒體內(nèi)容必須被添加水印。3.9自適應(yīng)系統(tǒng)自適應(yīng)方法從一種技術(shù)無(wú)縫地切換到另一種技術(shù),并且基于諸如可用處理功率、 電池電力、網(wǎng)絡(luò)連接性、帶寬、檢測(cè)成本、搜索和匹配成本、連接成本之類的參數(shù)而自適應(yīng), 并且確定應(yīng)該在客戶機(jī)上執(zhí)行檢測(cè)還是在服務(wù)器上執(zhí)行檢測(cè)。例如,考慮被添加了水印并且也在指紋數(shù)據(jù)庫(kù)中被引用的媒體信號(hào)。為了在移動(dòng)裝置上檢測(cè)該信號(hào)的樣本,我們可以使用水印法或指紋法。如果水印檢測(cè)可以在本地在裝置自身上容易地執(zhí)行,那么我們可以從水印檢測(cè)開(kāi)始。如果沒(méi)有發(fā)現(xiàn)水印,那么系統(tǒng)可以尋求從樣本中提取指紋并與參考數(shù)據(jù)庫(kù)匹配。如果裝置能力(處理)不支持本地指紋提取、但是帶寬和連接性不受限制,那么裝置可以傳輸樣本(或該樣本的某種削減版本)到遠(yuǎn)程服務(wù)器以便進(jìn)行指紋提取和匹配。如果電池電力受到限制,那么系統(tǒng)在傳輸之前在本地執(zhí)行大多數(shù)處理步驟(假定傳輸比在本地CPU上進(jìn)行處理需要更多的電力)。上面通過(guò)引用結(jié)合在本文中的美國(guó)專利公開(kāi) 20060031684描述了基于各種因素而使內(nèi)容識(shí)別得到自適應(yīng)的裝置。4水印有效載荷中的時(shí)間碼的高效編碼和恢復(fù)通過(guò)利用時(shí)間碼的性質(zhì),這些時(shí)間碼可以被高效地編碼在水印有效載荷中并隨后在檢測(cè)期間被解碼。時(shí)間信息可以以多種方式被包含在水印有效載荷內(nèi)。一種方法是把時(shí)間碼作為字符串對(duì)待,例如DD 匪:YYYY表示日、月和年、或者HH匪:SS表示小時(shí)、分鐘和秒。另一種方法是以整數(shù)碼(例如32位或64位代碼)的形式編碼時(shí)間信息。整數(shù)碼從預(yù)定起始點(diǎn)開(kāi)始對(duì)時(shí)鐘節(jié)拍的數(shù)量進(jìn)行計(jì)數(shù)。該類型代碼的實(shí)例是UNIX操作系統(tǒng),在該操作系統(tǒng)中時(shí)間被計(jì)算為自從1970年1月1日以來(lái)逝去的秒數(shù)。該類型的時(shí)間碼適合于水印有效載荷中的編碼并且可以在檢測(cè)期間被利用??紤]媒體信號(hào)(例如視頻、音頻或隨時(shí)間變化的任何信號(hào))將被嵌入有基于整數(shù)的時(shí)間碼水印, 所述時(shí)間碼每T秒就發(fā)生改變。假定現(xiàn)在T = 1。那么包含有效載荷的時(shí)間碼整數(shù)每秒改變1比特(如果時(shí)間碼更新間隔也是1秒)。在檢測(cè)期間,在大于1秒的時(shí)間間隔上累積水印有效載荷可以改善整數(shù)時(shí)間碼的與該間隔相應(yīng)的公共部分的魯棒性,即使一些時(shí)間分辨率將會(huì)丟失。這里應(yīng)注意的要點(diǎn)是,對(duì)于隨時(shí)間推移緩慢變化的有效載荷,選擇性地累積信號(hào)的一部分可能會(huì)是值得的策略。除了該改進(jìn)之外,特別設(shè)計(jì)的編碼方案、糾錯(cuò)和錯(cuò)誤檢測(cè)方案可以進(jìn)一步利用該類型的水印??紤]基于卷積碼的糾錯(cuò)方案。假定在每1秒時(shí)間間隔期間有效載荷受到1/3速率卷積碼的操作。于是任意相繼的兩組編碼比特之間的差值將是最后三個(gè)比特。任意相繼的三組編碼比特之間的差值將是最后6比特,等等。可以在檢測(cè)期間利用該配置來(lái)改善檢測(cè)的魯棒性。改善的魯棒性可以通過(guò)組合(累積)相鄰水印片段之間共有的編碼比特來(lái)實(shí)現(xiàn)。應(yīng)注意的是,累積意味著時(shí)間分辨率的可能損失,例如如果兩個(gè)相鄰片段被累積并通過(guò)卷積解碼器而被取得(忽略最后3個(gè)編碼比特),那么關(guān)于時(shí)間碼中最后一秒的信息將會(huì)丟失。所使用的累積量于是就是魯棒性的改善和時(shí)間分辨率的丟失之間的折衷。在極限情況CN 102461066 A說(shuō)明書(shū)10/13 頁(yè)
下,在嚴(yán)重弱的信號(hào)狀況下,我們可以在媒體信號(hào)的整個(gè)長(zhǎng)度上累積編碼比特,以便盡可能多地恢復(fù)時(shí)間碼的共有部分。應(yīng)注意的是,即使在時(shí)間分辨率丟失的情況下(準(zhǔn)確性降至最后一秒),也可以通過(guò)內(nèi)插來(lái)自時(shí)間準(zhǔn)確性高的片段的丟失數(shù)據(jù)來(lái)恢復(fù)該信息。該概念的變種可以被設(shè)計(jì)成改善魯棒性而仍然保留時(shí)間分辨率和準(zhǔn)確性??紤]上面提到的整數(shù)時(shí)間碼,其具有表示與1秒相對(duì)應(yīng)的時(shí)鐘節(jié)拍的每個(gè)整數(shù)增量值。該整數(shù)的最低有效位(LSB)每1秒都發(fā)生改變。通常,與該整數(shù)碼相對(duì)應(yīng)的比特會(huì)被輸入到首先從最高有效位(MSB)開(kāi)始并以LSB結(jié)束的卷積碼。現(xiàn)在考慮與該整數(shù)相對(duì)應(yīng)的比特受到采用顛倒的比特順序的卷積碼的糾錯(cuò)。即,各比特被輸入到首先從LSB開(kāi)始并以MSB結(jié)束的卷積碼。利用該比特倒序編碼方法,相鄰的糾錯(cuò)編碼的水印片段在朝向編碼序列末端的方向上將具有相同的編碼比特(特別是對(duì)于較長(zhǎng)的輸入比特序列),并且在編碼序列的開(kāi)頭具有相異的編碼比特。這允許在解碼之前共有部分被組合并且獨(dú)特的部分照原樣得到保留。 實(shí)際上,這種組合與卷積碼協(xié)力實(shí)現(xiàn)了加權(quán)重復(fù)方案。在加權(quán)重復(fù)方案中,某些編碼比特接收比其它比特更高的重復(fù)率(或權(quán)重)。對(duì)于卷積碼,處于尾部的編碼比特被加以更高的權(quán)重以便改善魯棒性。參見(jiàn)據(jù)此通過(guò)引用結(jié)合在本文中的美國(guó)專利7,412,072號(hào)和美國(guó)專利公開(kāi)2002/0159614。與時(shí)間碼的加權(quán)組合允許卷積碼比特的尾部遠(yuǎn)比頭部更可靠。尾部比特的更高可靠性直接轉(zhuǎn)化為解碼和糾正較早的比特的過(guò)程中的更大成功。該方案將會(huì)實(shí)現(xiàn)更高的魯棒性而無(wú)需犧牲時(shí)間準(zhǔn)確性(由于較早的比特在錯(cuò)誤的情況下遠(yuǎn)遠(yuǎn)更可能得到糾正)。通過(guò)累積相鄰片段的共有編碼比特而創(chuàng)建的上面提到的隱式加權(quán)重復(fù)代碼可以通過(guò)使用顯式加權(quán)重復(fù)代碼而被進(jìn)一步加強(qiáng)。在該特定情況下,顯式加權(quán)重復(fù)代碼被設(shè)計(jì)成向有效載荷比特的開(kāi)頭給予更高重復(fù)權(quán)重(即,與在上面參考的傳統(tǒng)加權(quán)重復(fù)方案中所做的相反)。然后可以使用隱式加權(quán)來(lái)對(duì)有效載荷的后面部分進(jìn)行加權(quán)。應(yīng)注意的是,早先描述的基于日、月、年的編碼也可以被修改從而利用這里提到的方法。例如順序可以改變?yōu)槟辍⒃潞腿找允蛊潆S時(shí)間推移而緩慢變化。如果時(shí)間被編碼成使得時(shí)間碼展現(xiàn)出緩慢變化特性,那么可以應(yīng)用全部上述改進(jìn)。這里描述的方法可以應(yīng)用于緩慢變化的任何水印信號(hào),例如具有以不同速率變化的比特或其它消息符號(hào)的序列的任何水印有效載荷。在內(nèi)容之內(nèi)的一定間隔上重復(fù)的有效載荷的分量在小于或等于重復(fù)間隔 (該分量在其上保持相同的時(shí)間間隔)的時(shí)間間隔上被選擇性地累積。圖1是示出使用指紋和水印的內(nèi)容識(shí)別系統(tǒng)的創(chuàng)建的框圖。數(shù)字化的輸入圖像/ 視頻/音頻信號(hào)100被輸入至指紋計(jì)算器/水印嵌入器102,該指紋計(jì)算器/水印嵌入器 102為每個(gè)內(nèi)容項(xiàng)目計(jì)算多個(gè)指紋以使其被唯一識(shí)別,并且還對(duì)內(nèi)容項(xiàng)目添加水印。在數(shù)據(jù)庫(kù)輸入處理102中,所述多個(gè)指紋與諸如內(nèi)容項(xiàng)目的元數(shù)據(jù)之類的附加信息、根據(jù)需要而使用的數(shù)字原版拷貝(參見(jiàn)涉及原始內(nèi)容的使用的上述技術(shù))一起被輸入并存儲(chǔ)在數(shù)據(jù)庫(kù)中。數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)庫(kù)組織處理106以一種數(shù)據(jù)結(jié)構(gòu)(諸如樹(shù)結(jié)構(gòu))分類和排列所述多個(gè)指紋以便使快速搜索和匹配能夠得到實(shí)現(xiàn)。該數(shù)據(jù)庫(kù)自身被分布在鑒別網(wǎng)絡(luò)中的一群計(jì)算機(jī)上(108)。該網(wǎng)絡(luò)接收基于來(lái)自請(qǐng)求裝置(諸如用戶的手持移動(dòng)裝置或其它計(jì)算裝置(監(jiān)視裝置網(wǎng)絡(luò)中的節(jié)點(diǎn)))的指紋和/或水印流來(lái)鑒別或識(shí)別內(nèi)容項(xiàng)目的詢問(wèn)。圖2是示出內(nèi)容鑒別處理的框圖。輸入信號(hào)109在接收器110中被捕捉。這包括用類似攝像機(jī)或其它圖像捕捉裝置的圖像傳感器捕捉圖像并對(duì)圖像進(jìn)行數(shù)字化的靜止或視頻圖像捕捉,以及通過(guò)麥克風(fēng)進(jìn)行的環(huán)境音頻捕捉。這也包括接收含廣播流或文件傳送在內(nèi)的廣播或傳輸通道中的音頻、圖像或視頻內(nèi)容。識(shí)別處理可以作為內(nèi)容信號(hào)的系統(tǒng)性互聯(lián)網(wǎng)監(jiān)視或廣播監(jiān)視的一部分、在家庭受眾測(cè)量中、在批數(shù)據(jù)庫(kù)搜索和內(nèi)容索引編制中、 或者在對(duì)內(nèi)容識(shí)別和元數(shù)據(jù)搜索的用戶請(qǐng)求中被調(diào)用。指紋計(jì)算器/水印提取器112為輸入的內(nèi)容項(xiàng)目計(jì)算指紋和/或水印,并將這些指紋和/或水印發(fā)給數(shù)據(jù)庫(kù)以便進(jìn)行搜索匹配指紋的數(shù)據(jù)庫(kù)搜索以及查找基于標(biāo)識(shí)符的水印的數(shù)據(jù)查找(114)。在搜索處理中發(fā)現(xiàn)的指紋匹配者和水印標(biāo)識(shí)符提供內(nèi)容鑒別(用于進(jìn)行元數(shù)據(jù)查找的編號(hào)或某種其它形式的索引),這繼而使得能夠在一個(gè)或更多元數(shù)據(jù)數(shù)據(jù)庫(kù)中查找與內(nèi)容鑒別相對(duì)應(yīng)的元數(shù)據(jù)。元數(shù)據(jù)然后被返回給裝置116以供顯示/輸出或進(jìn)一步處理。這可以包括將元數(shù)據(jù)返回給請(qǐng)求數(shù)據(jù)庫(kù)搜索的裝置或搜索結(jié)果所涉及的一些其它裝置(例如用戶的家庭裝置或監(jiān)視系統(tǒng)的數(shù)據(jù)收集數(shù)據(jù)庫(kù),在該數(shù)據(jù)收集數(shù)據(jù)庫(kù)中元數(shù)據(jù)和識(shí)別事件被匯集和編輯以便生成電子報(bào)告)??梢灶A(yù)見(jiàn)的是,上述處理、系統(tǒng)和系統(tǒng)組件可以在各種計(jì)算環(huán)境和裝置中實(shí)現(xiàn)。特別預(yù)期到的是,處理和組件在裝置內(nèi)實(shí)現(xiàn)以及跨越多個(gè)裝置實(shí)現(xiàn)。例如,信號(hào)捕捉、簽名計(jì)算以及數(shù)據(jù)庫(kù)輸入和組織在一組裝置上執(zhí)行以便構(gòu)造識(shí)別系統(tǒng),并且信號(hào)捕捉、簽名計(jì)算以及數(shù)據(jù)庫(kù)搜索和檢索在另一組裝置上執(zhí)行,這兩者可以相互不同或者可以有重疊。用來(lái)實(shí)現(xiàn)處理和系統(tǒng)組件的計(jì)算環(huán)境包含從通用、可編程計(jì)算裝置到專用電路, 以及包括這兩者的組合的裝置的寬廣范圍。處理和系統(tǒng)組件可以實(shí)現(xiàn)為用于計(jì)算裝置的指令,包括用于各種可編程處理器的通用處理器指令,所述可編程處理器包括微處理器、數(shù)字信號(hào)處理器等。這些指令可以實(shí)現(xiàn)為軟件、固件等。這些指令也可以轉(zhuǎn)換為各種形式的處理器電路,包括可編程邏輯器件、專用電路,該專用電路包括數(shù)字、模擬和混合模/數(shù)電路。 指令的執(zhí)行可以分布在各處理器之間,和/或指令可以跨越裝置內(nèi)的多個(gè)處理器或跨越裝置網(wǎng)絡(luò)被并行地執(zhí)行。內(nèi)容信號(hào)數(shù)據(jù)的變換也可以分布在不同處理器和存儲(chǔ)裝置之間。根據(jù)需要,計(jì)算裝置包括一個(gè)或更多處理器、一個(gè)或更多存儲(chǔ)器(包括計(jì)算機(jī)可讀介質(zhì))、輸入裝置、輸出裝置以及這些組件之間的通信裝置(在一些情況下被稱為總線)。 對(duì)于軟件/固件而言,指令經(jīng)由通信總線、接口電路或網(wǎng)絡(luò)從計(jì)算機(jī)可讀介質(zhì)(諸如光、電子或磁存儲(chǔ)介質(zhì))讀取并在一個(gè)或更多處理器上執(zhí)行。內(nèi)容信號(hào)的上述處理包括將這些信號(hào)以各種物理形式進(jìn)行變換。圖像和視頻(穿過(guò)實(shí)體空間傳播并描繪實(shí)體對(duì)象的電磁波形式)可使用攝像機(jī)或其它拍攝設(shè)備從實(shí)體對(duì)象拍攝,或者由計(jì)算裝置生成。類似地,可使用音頻換能器(例如麥克風(fēng))捕捉穿過(guò)實(shí)體介質(zhì)傳播的聲壓波,并將其轉(zhuǎn)換為電子信號(hào)(數(shù)字形式或模擬形式)。盡管這些信號(hào)典型地以電子和數(shù)字形式處理以實(shí)現(xiàn)上述組件和處理,但是這些信號(hào)也可以以包括電子、光學(xué)、磁、 和電磁波形式在內(nèi)的其它物理形式被捕捉、處理、發(fā)送和存儲(chǔ)。在處理期間對(duì)內(nèi)容信號(hào)進(jìn)行變換以便計(jì)算簽名,包括如上面解釋的簽名的各種數(shù)據(jù)結(jié)構(gòu)表示形式。繼而,對(duì)存儲(chǔ)器中的數(shù)據(jù)結(jié)構(gòu)信號(hào)進(jìn)行變換以便在搜索、分類、讀取、寫(xiě)入和檢索過(guò)程中進(jìn)行操作。這些信號(hào)還可以被變換以便被捕捉、發(fā)送、存儲(chǔ)并經(jīng)由顯示器或音頻換能器(例如揚(yáng)聲器)輸出。盡管參考(類似蜂窩電話的)移動(dòng)裝置和嵌入系統(tǒng)進(jìn)行描述,但應(yīng)認(rèn)識(shí)到的是, 本技術(shù)能夠在各種裝置(既包括便攜式裝置又包括固定裝置)中得到利用。PDA、管理器、 便攜式音樂(lè)播放器、桌上型計(jì)算機(jī)、可佩戴式計(jì)算機(jī)、服務(wù)器等全都可以利用在此詳述的原理。特別預(yù)期到的蜂窩電話包括蘋(píng)果iPhone以及遵循Google的Android規(guī)范的蜂窩電話 (例如由HTC公司為T(mén)-Mobile制造的Gl電話)。術(shù)語(yǔ)“蜂窩電話”應(yīng)被解釋為包含所有這樣的裝置,即使這些裝置不是嚴(yán)格來(lái)說(shuō)的蜂窩式的或者不是電話機(jī)。(包括觸摸界面在內(nèi)的iPhone的細(xì)節(jié)在已公開(kāi)的專利申請(qǐng)20080174570中有提供。)可以用來(lái)實(shí)踐本公開(kāi)的方法的蜂窩電話和其它計(jì)算機(jī)的設(shè)計(jì)是本領(lǐng)域技術(shù)人員所熟悉的。概括地說(shuō),各自包括一個(gè)或更多處理器、一個(gè)或更多內(nèi)存(例如,RAM)、存儲(chǔ)裝置(例如,磁盤(pán)或閃存)、用戶界面(其可包括例如鍵區(qū)、TFT IXD或OLED顯示屏、觸摸或其它姿態(tài)傳感器、攝像機(jī)或其它光學(xué)傳感器、麥克風(fēng)等,以及用于提供圖形用戶界面的軟件指令)、電池、以及用于與其它裝置通信的接口(其可以是無(wú)線的,諸如GSM、CDMA、W-CDMA、 CDMA2000、TDMA, EV-DO, HSDPA, WiFi、WiMax或藍(lán)牙,和/或可以是有線的,諸如通過(guò)以太局域網(wǎng)、T-I因特網(wǎng)連接等)??梢杂糜趯?shí)踐部分或全部所詳述的配置的示例性蜂窩電話在圖 3中示出。處理器可以是專用硬件裝置,或者可以通過(guò)執(zhí)行從內(nèi)存或存儲(chǔ)裝置讀取的軟件指令的可編程裝置來(lái)實(shí)現(xiàn),或者通過(guò)其組合實(shí)現(xiàn)。(使用由Arm有限公司開(kāi)發(fā)的32位RISC架構(gòu)的ARM系列的CPU被用在許多蜂窩電話中。)因此對(duì)“處理器”的提及應(yīng)被理解為是指功能性,而不是指任何特定的實(shí)現(xiàn)形式。除了通過(guò)專用硬件或由軟件控制的可編程硬件來(lái)實(shí)現(xiàn)之外,處理器還可以包括現(xiàn)場(chǎng)可編程門(mén)陣列,諸如Xilinx Virtex系列裝置。可替換地,處理器可以包括一個(gè)或更多數(shù)字信號(hào)處理核,諸如德州儀器公司的TMS320系列裝置。用于實(shí)現(xiàn)所詳述的功能性的軟件指令可由本領(lǐng)域技術(shù)人員根據(jù)在此提供的說(shuō)明、 參考文獻(xiàn)、結(jié)論以及上述的其它確定來(lái)容易地編寫(xiě)。典型地,用于實(shí)踐所詳述的方法的裝置包括提供對(duì)硬件裝置的接口和通用功能的操作系統(tǒng)軟件,并且還包括可被選擇性地調(diào)用以執(zhí)行用戶期望的特定任務(wù)的應(yīng)用軟件。已知的瀏覽器軟件、通信軟件和媒體處理軟件可以被修改以適應(yīng)在此詳述的用途。一些實(shí)施例可以實(shí)現(xiàn)為嵌入系統(tǒng),即一種專用計(jì)算機(jī)系統(tǒng),其中操作系統(tǒng)軟件和應(yīng)用軟件對(duì)用戶而言無(wú)法區(qū)分(例如,基本的蜂窩電話通常就是這種情況)。本說(shuō)明書(shū)中詳述的功能性可以以操作系統(tǒng)軟件、應(yīng)用軟件和/或嵌入系統(tǒng)軟件實(shí)現(xiàn)。不同的功能可以實(shí)現(xiàn)在不同的裝置上。例如,在蜂窩電話與遠(yuǎn)程服務(wù)提供商處的服務(wù)器通信的系統(tǒng)中,不同的任務(wù)可以專門(mén)由一個(gè)裝置或另一裝置執(zhí)行,或者執(zhí)行操作可以分配在多個(gè)裝置之間。例如,在蜂窩電話上執(zhí)行從測(cè)試圖像提取簽名的操作、而在遠(yuǎn)程服務(wù)器上執(zhí)行在數(shù)據(jù)庫(kù)中搜索對(duì)應(yīng)的參考圖像的操作僅是一種架構(gòu),但是還存在著許多其它架構(gòu)。例如,關(guān)于參考圖像的信息可以存儲(chǔ)在蜂窩電話上,從而允許蜂窩電話捕捉測(cè)試圖像、產(chǎn)生簽名、并對(duì)照所存儲(chǔ)的關(guān)于參考圖像的簽名數(shù)據(jù)結(jié)構(gòu)進(jìn)行比較,這些全都不依賴外部裝置。因此,應(yīng)理解的是,將一操作描述為由特定裝置(例如,蜂窩電話)執(zhí)行并不是限制性的,而是示例性的;由另一裝置(例如,遠(yuǎn)程服務(wù)器)執(zhí)行操作或者在多個(gè)裝置之間分擔(dān)操作也是明顯可預(yù)期到的。(此外,多于兩個(gè)裝置可被共同采用。例如,服務(wù)提供商可以把一些任務(wù)、功能或操作提交給專用于這些任務(wù)的服務(wù)器。)以類似的方式,數(shù)據(jù)可以存儲(chǔ)在任何地方存儲(chǔ)在本地裝置中,存儲(chǔ)在遠(yuǎn)程裝置中,存儲(chǔ)在云中,被分布式存儲(chǔ),等等。操作不需要專門(mén)由可明確識(shí)別的硬件執(zhí)行。相反,一些操作可以向外提交給其它服務(wù)(例如,云計(jì)算),這些其它服務(wù)通過(guò)另外的通常是匿名的系統(tǒng)來(lái)完成它們的執(zhí)行任務(wù)。這樣的分布式系統(tǒng)可以是大型的(例如,包含全球范圍的計(jì)算資源),或者是本地的 (例如,當(dāng)便攜式裝置通過(guò)藍(lán)牙通信識(shí)別附近的裝置,并且將一個(gè)或更多附近裝置牽涉到一操作中時(shí))。結(jié)束語(yǔ)盡管已經(jīng)參考特定實(shí)現(xiàn)方案描述和舉例說(shuō)明了本技術(shù)的原理,但是應(yīng)認(rèn)識(shí)到的是,本技術(shù)可以以許多其它不同的形式實(shí)現(xiàn)。為了提供全面的公開(kāi)而不會(huì)過(guò)度地加長(zhǎng)本說(shuō)明書(shū),申請(qǐng)人通過(guò)引用把上面提及的專利和專利申請(qǐng)結(jié)合在本文中。上面詳述的實(shí)施例中的元素和特征的特定組合僅是示例性的;這些教導(dǎo)與本申請(qǐng)和通過(guò)引用而結(jié)合在本文中的專利/申請(qǐng)中的其它教導(dǎo)的互換和置換也是可預(yù)期到的。
權(quán)利要求
1.一種鑒別內(nèi)容信號(hào)的方法,包括 使用編程的處理器執(zhí)行以下動(dòng)作從所述內(nèi)容信號(hào)的接收到的一部分中解碼數(shù)字水印,包括對(duì)在所述內(nèi)容信號(hào)中重復(fù)的所述數(shù)字水印的實(shí)例進(jìn)行合計(jì);所述數(shù)字水印用于鑒別所述內(nèi)容信號(hào)和所述內(nèi)容信號(hào)的相關(guān)內(nèi)容指紋;使用所述內(nèi)容指紋來(lái)定位所述內(nèi)容信號(hào)的所述接收到的一部分。
2.如權(quán)利要求1所述的方法,其中使用所述內(nèi)容指紋定位所述接收到的一部分包括 從所述內(nèi)容信號(hào)的所述接收到的一部分中提取指紋;和將來(lái)自所述內(nèi)容信號(hào)的所述接收到的一部分的所提取的指紋與所述相關(guān)內(nèi)容指紋匹配,以便確定所述數(shù)字水印是從所述內(nèi)容信號(hào)的哪個(gè)部分檢測(cè)到的。
3.一種鑒別內(nèi)容信號(hào)的方法,包括 使用編程的處理器執(zhí)行以下動(dòng)作為所述內(nèi)容信號(hào)的接收到的一部分計(jì)算指紋; 使用所述指紋來(lái)鑒別所述內(nèi)容信號(hào);和從所述內(nèi)容信號(hào)的所述接收到的一部分中提取數(shù)字水印,以便確定在所述接收到的一部分內(nèi)的關(guān)于內(nèi)容的定位信息。
4.如權(quán)利要求3所述的方法,其中所述內(nèi)容信號(hào)包括與所述內(nèi)容信號(hào)內(nèi)的位置相對(duì)應(yīng)的多個(gè)唯一數(shù)字水印,并且所述定位信息是從與所述內(nèi)容信號(hào)內(nèi)的位置相對(duì)應(yīng)的所述提取的數(shù)字水印中的唯一信息確定的。
5.如權(quán)利要求4所述的方法,其中所述唯一信息包括所述內(nèi)容信號(hào)中的提供時(shí)間位置的時(shí)間碼。
6.一種內(nèi)容識(shí)別方法,包括 使用編程的處理器執(zhí)行以下動(dòng)作為內(nèi)容信號(hào)的接收到的一部分計(jì)算指紋;將所述指紋發(fā)送給參考數(shù)據(jù)庫(kù)以鑒別所述內(nèi)容信號(hào),所述參考數(shù)據(jù)庫(kù)通過(guò)將所述指紋與所述數(shù)據(jù)庫(kù)中的參考指紋匹配來(lái)提供身份;基于所述身份,獲得所述內(nèi)容信號(hào)的參考拷貝;和基于所述接收到的一部分和所述參考拷貝之間的比較分析,確定所述內(nèi)容信號(hào)的所述接收到的一部分的畸變。
7.如權(quán)利要求6所述的內(nèi)容識(shí)別方法,其中使用所述參考拷貝和所述接收到的一部分來(lái)確定所述接收到的一部分相對(duì)于所述參考拷貝的幾何變換。
8.如權(quán)利要求7所述的內(nèi)容識(shí)別方法,包括應(yīng)用所述幾何變換以使所述接收到的一部分同步,以便從所述接收到的一部分中提取數(shù)字水印。
9.如權(quán)利要求8所述的內(nèi)容識(shí)別方法,包括 從所述接收到的一部分中提取所述數(shù)字水印。
10.如權(quán)利要求6所述的內(nèi)容識(shí)別方法,其中使用所述畸變來(lái)確定所述接收到的一部分的分發(fā)通道。
11.一種進(jìn)行內(nèi)容識(shí)別的方法,包括 使用編程的處理器執(zhí)行以下動(dòng)作分析內(nèi)容信號(hào)的接收到的一部分以推斷所述內(nèi)容信號(hào)的信號(hào)衰減;從所述信號(hào)衰減確定分發(fā)通道;為所述內(nèi)容信號(hào)的所述接收到的一部分計(jì)算指紋;將所述指紋發(fā)送給參考數(shù)據(jù)庫(kù)以鑒別所述內(nèi)容信號(hào),所述參考數(shù)據(jù)庫(kù)通過(guò)將所述指紋與所述數(shù)據(jù)庫(kù)中對(duì)應(yīng)于所述分發(fā)通道的一組參考指紋匹配來(lái)提供身份,所述數(shù)據(jù)庫(kù)被分割成對(duì)應(yīng)于分發(fā)通道的不同的多組參考指紋,使得所述不同的多組參考指紋包括共同的一組內(nèi)容信號(hào)的參考指紋,但是對(duì)于所述共同的一組內(nèi)容信號(hào)還存儲(chǔ)有基于與不同的分發(fā)通道相關(guān)的信號(hào)特性計(jì)算出的不同的參考指紋;以及使用所述分發(fā)通道確定使用所述不同的多組參考指紋中的哪一組來(lái)鑒別所述內(nèi)容信號(hào)。
12.如權(quán)利要求11所述的方法,其中所述分發(fā)通道對(duì)應(yīng)于壓縮格式。
13.一種內(nèi)容識(shí)別方法,包括 使用編程的處理器執(zhí)行以下動(dòng)作接收內(nèi)容信號(hào)的不同版本,所述不同版本對(duì)應(yīng)于不同的分發(fā)通道; 為所述不同版本計(jì)算參考指紋,并將所述參考指紋存儲(chǔ)在分段數(shù)據(jù)庫(kù)的對(duì)應(yīng)區(qū)段中, 所述對(duì)應(yīng)區(qū)段與特定分發(fā)通道相關(guān)聯(lián);和響應(yīng)于請(qǐng)求,通過(guò)在所述數(shù)據(jù)庫(kù)中與和所接收的指紋相關(guān)聯(lián)的分發(fā)通道相對(duì)應(yīng)的區(qū)段中搜索匹配者來(lái)確定所接收的指紋的匹配者。
14.一種進(jìn)行數(shù)字水印解碼的方法,包括接收添加有水印的電子信號(hào),在所述添加有水印的電子信號(hào)中,所述水印具有第一和第二分量,所述第一分量在所述電子信號(hào)的第一時(shí)間部分上重復(fù),并且所述第二分量不在所述第一時(shí)間部分上重復(fù);選擇性地累積所述第一分量;和從來(lái)自所述第一時(shí)間部分的所累積的第一分量和所述第二分量解碼所述水印。
15.如權(quán)利要求14所述的方法,其中所述解碼包括在所累積的第一分量和所述第二分量上執(zhí)行糾錯(cuò)解碼。
16.如權(quán)利要求15所述的方法,其中所述糾錯(cuò)解碼包括卷積解碼。
17.如權(quán)利要求14所述的方法,包括使用加權(quán)重復(fù)方案解碼所述水印,在所述加權(quán)重復(fù)方案中,對(duì)在所述電子信號(hào)中重復(fù)頻率更高的所述水印的分量所加的權(quán)重比對(duì)重復(fù)頻率更低的分量所加的權(quán)重大。
18.如權(quán)利要求14所述的方法,包括選擇性地組合在所述添加有水印的電子信號(hào)中的相鄰水印片段之間共有的編碼消息符號(hào)。
19.如權(quán)利要求14所述的方法,包括累積所述添加有水印的電子信號(hào)中的相鄰水印片段之間的水印信號(hào)的共有分量和變化分量;以及在共有分量之間進(jìn)行內(nèi)插以便解碼所述變化分量。
20.如權(quán)利要求17所述的方法,包括通過(guò)累積相鄰片段的共有編碼消息符號(hào)來(lái)對(duì)隱式加權(quán)重復(fù)代碼進(jìn)行解碼;以及對(duì)顯式加權(quán)重復(fù)代碼進(jìn)行解碼,在所述顯式加權(quán)重復(fù)代碼中,在所述數(shù)字水印的消息有效載荷的糾錯(cuò)編碼中對(duì)所述消息有效載荷的一部分賦予更高的重復(fù)權(quán)重。
全文摘要
以各種方式組合內(nèi)容指紋和水印以便用于內(nèi)容鑒別應(yīng)用場(chǎng)合。使用指紋來(lái)一般地鑒別內(nèi)容,同時(shí)水印提供內(nèi)容內(nèi)的各部分的更詳細(xì)的定位,反之亦然。還使用指紋技術(shù)進(jìn)行信號(hào)同步和其它預(yù)處理步驟以便幫助進(jìn)行數(shù)字水印解碼。各種指紋/水印技術(shù)從內(nèi)容樣本鑒別內(nèi)容的通道特性。
文檔編號(hào)H04L9/32GK102461066SQ201080032461
公開(kāi)日2012年5月16日 申請(qǐng)日期2010年5月21日 優(yōu)先權(quán)日2009年5月21日
發(fā)明者R.K.夏爾馬 申請(qǐng)人:數(shù)字標(biāo)記公司