專利名稱：流媒體監(jiān)播中的數(shù)字標(biāo)記構(gòu)造、驗證方法及監(jiān)播系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及流媒體監(jiān)播中的數(shù)字標(biāo)記構(gòu)造方法、數(shù)字標(biāo)記驗證方法及流媒體監(jiān)播系統(tǒng)，特別涉及對視/音頻流媒體構(gòu)造隱藏信息的方法、驗證所構(gòu)造的隱藏信息的方法及能夠?qū)α髅襟w數(shù)據(jù)構(gòu)造隱藏信息并進(jìn)行驗證的系統(tǒng)。
背景技術(shù)：
電視是目前最重要的傳播媒體之一，也是最能影響企業(yè)形象和消費(fèi)行為的媒體，有關(guān)調(diào)查表明，目前中國已有近400座電視臺，承載著2,000套節(jié)目的制作和播出，每日看電視的人超過10個億。電視的普及與市場經(jīng)濟(jì)的發(fā)展，也極大地促進(jìn)了電視廣告產(chǎn)業(yè)的發(fā)展，目前每年電視媒體廣告總投放量已過1,000億，電視廣告收入已經(jīng)成為各電視臺的主要經(jīng)濟(jì)來源，即使在多種經(jīng)營比較發(fā)達(dá)的電視臺，廣告收入在全部經(jīng)營收入中所占的比重也高達(dá)90％以上，廣告收入已成為電視臺賴以生存和發(fā)展的經(jīng)濟(jì)基礎(chǔ)。隨著企業(yè)廣告投入的日益加大，在巨大的經(jīng)濟(jì)效益和激烈地廣告播放時間競爭面前，廣告漏播、斷播，剪裁廣告內(nèi)容，改變播放時間、次數(shù)等損害廣告客戶利益的事件時有發(fā)生。
面對如此巨大的電視廣告投放量，以及劇烈的廣告播放時間競爭，對廣告監(jiān)播業(yè)務(wù)的需求也日趨增大，傳統(tǒng)的廣告監(jiān)播業(yè)務(wù)還停留在人工查看的方式，采用錄像/錄音機(jī)(或硬盤錄象機(jī))錄制節(jié)目并保存，廣告監(jiān)測人員通過回放錄音/錄像，記錄出現(xiàn)的廣告信息，這種方式需要大量人力成本，工作效率低、成本高，準(zhǔn)確性無法保證，已經(jīng)逐漸被自動化監(jiān)播系統(tǒng)所取代。然而，目前所使用的自動監(jiān)播系統(tǒng)普遍采用音頻(視頻)特征提取和音頻(視頻)檢索算法加以實現(xiàn)，雖能實現(xiàn)高檢測率的存在性監(jiān)播，但受音頻固有特征影響大，易出現(xiàn)誤檢，特別是面對以秒為單位的廣告時間(5-30秒)，在時間精確性、以及首幀檢測率上，仍然不能滿足電視廣告精確計時的要求。本發(fā)明將改變被動式的特征提取策略，采用主動性的信息隱藏技術(shù)，實現(xiàn)完全準(zhǔn)確的檢測方式。特別是數(shù)字化電視的出現(xiàn)與普及，所帶來的音/視頻保真度的增加，將更適于這種基于隱藏技術(shù)的檢測和監(jiān)視方式。
電影拷貝的播映過程中也存在與此類似的問題，即電影拷貝盜版，目前以網(wǎng)絡(luò)中的盜版拷貝傳播與擴(kuò)散最為嚴(yán)重，危害也最大，嚴(yán)重影響了知識產(chǎn)權(quán)保護(hù)與版權(quán)保護(hù)的實施。此外，在手機(jī)彩信、眩鈴等特色服務(wù)中，也存在著面向版權(quán)保護(hù)的監(jiān)播服務(wù)需求。目前尚無比較理想的技術(shù)能防范這種盜版行為，而采用隱藏技術(shù)的保護(hù)方案，將跟蹤信息預(yù)存于電影拷貝中，依靠隱藏技術(shù)的不可感知與魯棒性，實現(xiàn)拷貝盜版的監(jiān)視與跟蹤，必將是一種合理而又有效的電影拷貝監(jiān)播技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種流媒體監(jiān)播中的數(shù)字標(biāo)記構(gòu)造、驗證方法及流媒體監(jiān)播系統(tǒng)，該流媒體監(jiān)播中的數(shù)字標(biāo)記構(gòu)造、驗證方法及流媒體監(jiān)播系統(tǒng)通過構(gòu)造出一種能對特定監(jiān)視信息進(jìn)行編碼的具有容錯性和連續(xù)性的數(shù)字標(biāo)記序列，再利用基于信息隱藏的魯棒數(shù)字水印與數(shù)字指紋技術(shù)，將這種數(shù)字標(biāo)記序列融合于待監(jiān)視的流媒體數(shù)據(jù)中用于數(shù)字產(chǎn)品的發(fā)行和播放，在含有該標(biāo)記的流媒體被播放或傳播過程中，就可以通過檢測數(shù)據(jù)流并提取標(biāo)記中已編碼的信息，確定待監(jiān)視數(shù)據(jù)來源，從而實現(xiàn)視/音頻產(chǎn)品的認(rèn)定與跟蹤。該方法可用于視/音頻流媒體的電視廣告監(jiān)播、電影版權(quán)保護(hù)、網(wǎng)絡(luò)視/音頻數(shù)據(jù)監(jiān)控中，實現(xiàn)對視頻、音頻、光盤等產(chǎn)品的跟蹤與保護(hù)，保證跟蹤和監(jiān)播中的準(zhǔn)確性、實時性、連續(xù)性，并提高數(shù)字化產(chǎn)品的監(jiān)播效率。
本發(fā)明的數(shù)字標(biāo)記構(gòu)造方法包括抽取待跟蹤流媒體的數(shù)據(jù)幀的步驟，該步驟對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取每幀數(shù)據(jù)；編碼和構(gòu)造檢測標(biāo)記序列的步驟，在該步驟中，信息編碼算法依據(jù)編碼參數(shù)對跟蹤信息進(jìn)行編碼，并根據(jù)編碼結(jié)果構(gòu)造出檢測標(biāo)記序列；標(biāo)記融合步驟，該步驟將所述檢測標(biāo)記序列通過融合技術(shù)分別依附于已抽取的數(shù)據(jù)幀中，生成含檢測標(biāo)記序列的數(shù)據(jù)幀；合成可跟蹤數(shù)據(jù)流的步驟，該步驟將含檢測標(biāo)記序列的數(shù)據(jù)幀合成為可跟蹤的數(shù)據(jù)流。
在上述方法中，所述的固定格式包括采樣周期、分辨率、數(shù)據(jù)長度；所述流媒體為視/音頻數(shù)據(jù)流，視/音頻幀可以是單幅圖像、固定采樣個數(shù)的音頻信號。所述編碼參數(shù)包括媒體類型、數(shù)據(jù)內(nèi)容、指標(biāo)要求、播放方式。所述信息編碼算法包含編碼信息結(jié)構(gòu)、編碼信息屬性、編碼類型與特征、編碼擴(kuò)展方式、存在性標(biāo)志、起始標(biāo)志、容錯方式，可以采用偽隨機(jī)編碼器、加密算法、糾錯編碼、指紋編碼器進(jìn)行構(gòu)造。所述融合技術(shù)可以是視/音頻的數(shù)字水印算法、隱秘耦合算法、密鑰指紋算法、或DVD的內(nèi)容加擾算法中的任一種。在所述合成步驟中，可以采用視頻和音頻的數(shù)字壓縮編碼算法(MPEG1、MPEG2、MPEG4、MPEG7、MP3)、DVD的加解擾技術(shù)、有線電視的條件接收(CA)系統(tǒng)中的傳輸流標(biāo)準(zhǔn)中的任一種。
利用上述方法，可以提供一種包含跟蹤標(biāo)記的視/音頻流媒體拷貝。由于采用以數(shù)據(jù)幀為單位的融合技術(shù)，因此驗證過程不受數(shù)據(jù)流格式的影響；在此拷貝的使用中，任何能夠識別跟蹤標(biāo)記的設(shè)備都能夠?qū)Υ丝截愡M(jìn)行監(jiān)視，并約束拷貝獲得者的行為，例如，監(jiān)督拷貝播放時間、限制拷貝有效期、核查拷貝的完整性、控制許可播放次數(shù)等。此外，跟蹤標(biāo)記也可作為觀察產(chǎn)品流通與使用情況的依據(jù)。
本發(fā)明的數(shù)字標(biāo)記構(gòu)造方法的特征還在于，所述編碼參數(shù)包括媒體類型、數(shù)據(jù)內(nèi)容、指標(biāo)要求、播放方式。
本發(fā)明的數(shù)字標(biāo)記構(gòu)造方法的又一特征在于，所述跟蹤信息為數(shù)據(jù)頭Header、廠商序號SerialNo、產(chǎn)品號Product、版本號Version、幀序號FrameNo、校驗碼Verify、數(shù)據(jù)尾Trail。
本發(fā)明的數(shù)字標(biāo)記驗證方法包括抽取待驗證流媒體的數(shù)據(jù)幀的步驟，該步驟對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取檢測標(biāo)記；譯碼步驟，按照特定的碼元編碼對檢測標(biāo)記序列進(jìn)行譯碼，得到跟蹤信息，并由連續(xù)獲得的跟蹤信息構(gòu)成跟蹤信息序列；校驗與糾錯的步驟，對得到的跟蹤信息序列進(jìn)行校驗與糾錯；比對步驟，將糾錯后的跟蹤信息與存儲在存儲器裝置中的相應(yīng)跟蹤信息進(jìn)行比對，如果相似性超過預(yù)先設(shè)定的可信度，則可判定該流媒體為待跟蹤流媒體。
其中，所述的提取和譯碼過程是與標(biāo)記構(gòu)造中的融合和編碼過程相對應(yīng)的。另外，以幀為單位的檢測包括存在性檢測和信息完整性檢測；所用到的相似性比對方法可以是直接數(shù)據(jù)比較、統(tǒng)計上的概率比對、序列相關(guān)比較、糾錯碼中的譯碼方法中的任一種；所述的可信程度包括參數(shù)相關(guān)度、可信度、區(qū)分度。
上述數(shù)字標(biāo)記驗證方法的技術(shù)效果在于提供了一種實時的、精確的、可追溯的監(jiān)播與跟蹤功能。當(dāng)含數(shù)字標(biāo)記的產(chǎn)品混雜在正常數(shù)據(jù)流中，該功能不僅能準(zhǔn)確地區(qū)分出該產(chǎn)品，而且能通過標(biāo)記識別出具體的產(chǎn)品性質(zhì)，包括來源、種類、所屬關(guān)系、許可關(guān)系等，起到“可追溯”的作用；所謂精確，是指對首幀檢測率、末幀檢測率、數(shù)據(jù)流時長的檢測準(zhǔn)確性；在此基礎(chǔ)上，實時性是通過快速提取、譯碼、校驗過程實現(xiàn)的，并可補(bǔ)助于硬件加以實現(xiàn)。
本發(fā)明的流媒體監(jiān)播系統(tǒng)包括信號采集裝置，對流媒體數(shù)據(jù)進(jìn)行自動調(diào)諧、搜索和鎖定；媒體標(biāo)記裝置，該裝置對于來自信號采集裝置的數(shù)據(jù)流構(gòu)造出適應(yīng)不同監(jiān)播任務(wù)的檢測標(biāo)記序列，并將其標(biāo)記于流媒體數(shù)據(jù)文件中；內(nèi)容監(jiān)視裝置，部署于廣播網(wǎng)絡(luò)的終端節(jié)點(diǎn)、或是網(wǎng)絡(luò)的骨干節(jié)點(diǎn)，用于對流媒體數(shù)據(jù)中的帶標(biāo)記信息進(jìn)行監(jiān)視；分類存儲裝置，對媒體標(biāo)記裝置的輸出、內(nèi)容監(jiān)視裝置的實時檢測結(jié)果進(jìn)行校正、分類、存儲。
本發(fā)明的流媒體監(jiān)播系統(tǒng)的特征還在于，所述媒體標(biāo)記裝置包括決策編碼模塊，該模塊首先針對不同的媒體種類、產(chǎn)品內(nèi)容、指標(biāo)要求、和播放方式上的差異，制定編碼形式、編碼規(guī)則和標(biāo)記策略，再通過編碼算法依照編碼規(guī)則進(jìn)行編碼，輸出檢測標(biāo)記序列；標(biāo)記融合模塊，該模塊依據(jù)標(biāo)記策略將檢測標(biāo)記序列隱藏于待監(jiān)播的流媒體數(shù)據(jù)中，以此對流媒體數(shù)據(jù)進(jìn)行標(biāo)記；數(shù)據(jù)流合成模塊，該步驟將含檢測標(biāo)記序列的數(shù)據(jù)幀合成為可跟蹤的數(shù)據(jù)流。
本發(fā)明的流媒體監(jiān)播系統(tǒng)的特征還在于，所述內(nèi)容監(jiān)視裝置包括數(shù)據(jù)流預(yù)處理模塊，該模塊對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取檢測標(biāo)記；信息提取模塊，該模塊按照特定的碼元編碼對檢測標(biāo)記序列進(jìn)行譯碼，得到跟蹤信息，并由連續(xù)獲得的跟蹤信息構(gòu)成跟蹤信息序列；標(biāo)記檢測模塊，對得到的跟蹤信息序列進(jìn)行校驗與糾錯，將糾錯后的跟蹤信息與存儲在存儲器裝置中的相應(yīng)跟蹤信息進(jìn)行比對，如果相似性超過預(yù)先設(shè)定的可信度，則可判定該流媒體為待跟蹤流媒體。
本發(fā)明的媒體監(jiān)播系統(tǒng)的特征還在于，還包括分析報告裝置，具有用戶友好界面的數(shù)據(jù)統(tǒng)計分析、顯示報警、打印輸出。
本發(fā)明的技術(shù)效果在于，所述的數(shù)字標(biāo)記的構(gòu)造方法能有效構(gòu)造出可檢測的魯棒性標(biāo)記序列，達(dá)到對流媒體進(jìn)行監(jiān)視與跟蹤的目的，并采用不可感知的信息融合與隱藏技術(shù)，檢測標(biāo)記序列在視/音頻媒體中的生存性、穩(wěn)定性都得到了增強(qiáng)，特別是抗壓縮和抗噪聲性能顯著；其次，將序列編碼技術(shù)應(yīng)用于檢測標(biāo)記序列構(gòu)造中，采用容錯編碼與譯碼、概率檢測與比對技術(shù)，使檢測標(biāo)記序列的抗攻擊性能、與驗證可靠性都得到增強(qiáng)，檢測誤警率、漏報率得到很好地控制，對幾何失真(旋轉(zhuǎn)、縮放、位移)也具有很好的性能；同時，與一般相關(guān)水印中的隨機(jī)序列不同，所生成的檢測標(biāo)記序列是一種信息編碼，保證解碼后信息能起到標(biāo)識客體的作用，能用以解決版權(quán)爭議、許可權(quán)管理和版權(quán)監(jiān)控等問題，為視/音頻產(chǎn)品的播放、銷售、監(jiān)控提供一種簡單易行的方法，同時，該方法也能夠為法庭仲裁提供一定的依據(jù)。
上述系統(tǒng)的技術(shù)效果在于，提供一種便捷、可靠的多媒體數(shù)據(jù)流監(jiān)視方法和系統(tǒng)。首先，依靠的是數(shù)據(jù)中的冗余性，它將信息融合于數(shù)據(jù)流中，對人類感知和日常使用沒有影響；其次，采用序列編碼技術(shù)，并結(jié)合使用偽隨機(jī)發(fā)生器等技術(shù)，使沒有譯碼密鑰的用戶不能獲得檢測標(biāo)記序列中的信息，保證檢測標(biāo)記序列構(gòu)造及系統(tǒng)的安全；此外，配合于數(shù)據(jù)庫系統(tǒng)的使用，該系統(tǒng)能夠?qū)Υ罅繑?shù)據(jù)流媒體進(jìn)行監(jiān)播與跟蹤。
綜上所述，本發(fā)明的方法和體統(tǒng)提供了較好擴(kuò)展性和適應(yīng)性，以滿足各種應(yīng)用要求。在可跟蹤的數(shù)字流產(chǎn)品種類上，本發(fā)明不僅涵蓋以視頻、音頻為主的數(shù)據(jù)流媒體，而且可采用不同的隱蔽融合技術(shù)，將其應(yīng)用于軟件、光盤、文本等媒體的監(jiān)視中；在保護(hù)形式上，檢測標(biāo)記序列的構(gòu)造與檢測技術(shù)，即可以應(yīng)用于如前所述的基于媒體內(nèi)容的數(shù)據(jù)嵌入方法，也可以采用基于存儲結(jié)構(gòu)的數(shù)據(jù)隱秘耦合方法；在應(yīng)用環(huán)境上，本方明適用于各種廣播電視網(wǎng)絡(luò)中的廣告監(jiān)播系統(tǒng)構(gòu)建、以及各種版權(quán)管理系統(tǒng)(DRM)的構(gòu)建，包括互聯(lián)網(wǎng)環(huán)境下的P2P網(wǎng)絡(luò)電影下載服務(wù)，DVD光盤盜版鑒別、基于無線通信(如手機(jī))的多媒體服務(wù)；也可用在錄音、攝像產(chǎn)品的設(shè)計中，實現(xiàn)對源作品的版權(quán)保護(hù)。


圖1是本發(fā)明的流媒體監(jiān)播系統(tǒng)的面向視/音頻數(shù)據(jù)流的實施例的結(jié)構(gòu)示意圖；圖2是本發(fā)明的流媒體監(jiān)播方法的檢測標(biāo)記序列編碼與嵌入的流程圖；圖3是本發(fā)明的流媒體監(jiān)播方法的檢測標(biāo)記序列譯碼與檢測的流程圖；圖4是本發(fā)明的流媒體監(jiān)播方法的檢測標(biāo)記序列容錯處理的流程圖；圖5是本發(fā)明的檢測標(biāo)記序列所經(jīng)受的異常處理與容錯處理過程的示意圖。
具體實施例方式
以下參照附圖，詳細(xì)描述本發(fā)明的流媒體監(jiān)播系統(tǒng)作為電視廣告監(jiān)播系統(tǒng)的最佳實施例。
圖1是本發(fā)明的流媒體監(jiān)播系統(tǒng)的面向視/音頻數(shù)據(jù)流的實施例的結(jié)構(gòu)示意圖；在本實施例的流媒體監(jiān)播系統(tǒng)中，針對客戶指定監(jiān)播的電視廣告片，首先用媒體標(biāo)記裝置在其視頻流中自動執(zhí)行本發(fā)明中的數(shù)字標(biāo)記構(gòu)造方法，實現(xiàn)待監(jiān)播廣告片的生成，并送至電視臺播出，再由流媒體監(jiān)播系統(tǒng)進(jìn)行監(jiān)播。要求能保證不間斷、實時地檢測出該廣告片的播放，并要準(zhǔn)確地記錄每次播放的起始時間、時間長度等信息，在此基礎(chǔ)上，本實施例實現(xiàn)了對播放情況的實況存儲、記錄、查詢、統(tǒng)計等功能。
本發(fā)明的流媒體監(jiān)播系統(tǒng)，包括信號采集裝置20，部署于監(jiān)播系統(tǒng)前端，用以獲取指定格式的數(shù)據(jù)流媒體，內(nèi)含調(diào)頻、搜索與鎖定模塊210、采樣與格式變換模塊220，最終輸出固定分辨率、采樣周期、數(shù)據(jù)長度等的視/音頻數(shù)據(jù)流；媒體標(biāo)記裝置30，該裝置對于來自信號采集裝置20的數(shù)據(jù)流構(gòu)造出適應(yīng)不同監(jiān)播任務(wù)的檢測標(biāo)記序列13，并將其標(biāo)記于流媒體數(shù)據(jù)文件中，該裝置包括決策編碼模塊310，該模塊針對不同的媒體種類、產(chǎn)品內(nèi)容、指標(biāo)要求、和播放方式上的差異，制定編碼形式、編碼規(guī)則和標(biāo)記策略，并通過編碼算法依照編碼規(guī)則進(jìn)行編碼，輸出檢測標(biāo)記序列13；標(biāo)記融合模塊320，該模塊依據(jù)標(biāo)記策略將檢測標(biāo)記序列隱藏于待監(jiān)播的流媒體數(shù)據(jù)中，以此對流媒體數(shù)據(jù)進(jìn)行標(biāo)記；數(shù)據(jù)流合成模塊330，該步驟將含檢測標(biāo)記序列的數(shù)據(jù)幀合成為可跟蹤的視/音頻數(shù)據(jù)流；內(nèi)容監(jiān)視裝置40，該內(nèi)容監(jiān)視裝置40包括數(shù)據(jù)流預(yù)處理模塊410，該模塊對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取檢測標(biāo)記；信息提取模塊430，該模塊按照特定的碼元編碼對檢測標(biāo)記序列進(jìn)行譯碼，得到跟蹤信息，并由連續(xù)獲得的跟蹤信息構(gòu)成跟蹤信息序列；標(biāo)記檢測模塊420，對得到的跟蹤信息序列進(jìn)行校驗與糾錯，將糾錯后的跟蹤信息與存儲在存儲器裝置中的相應(yīng)跟蹤信息進(jìn)行比對，如果相似性超過預(yù)先設(shè)定的可信度，則可判定該流媒體為待跟蹤流媒體。
分類存儲裝置60，該裝置用于將內(nèi)容監(jiān)視裝置40的檢測輸出結(jié)果與已存儲的標(biāo)記記錄進(jìn)行分析、比較，并將結(jié)果存儲于特定的數(shù)據(jù)庫中，包括信息校正模塊510，用于根據(jù)視/音頻數(shù)據(jù)流信息的連續(xù)性，對提取出的信息進(jìn)行校正與糾錯；信息分類模塊520，根據(jù)已存儲的標(biāo)記記錄對校正后檢測信息進(jìn)行檢索、識別、分類；記錄存儲模塊530，對上述分類信息進(jìn)行分類存儲；分析報告裝置60，該裝置支持用戶友好界面的監(jiān)視結(jié)果分析、報警、顯示、報表輸出等功能，該分析報告裝置包括統(tǒng)計分析模塊610，用以實現(xiàn)監(jiān)視記錄的查詢、統(tǒng)計、分析；信息顯示模塊620，對用戶的監(jiān)視記錄進(jìn)行分析并輸出結(jié)果，以及輸出報警和圖形顯示；報告輸出模塊630，輸出用戶查詢結(jié)果的記錄打印和分析報表。
待監(jiān)播流媒體11輸入到信號采集裝置20中的采樣和格式變換模塊220，獲得指定格式的幀圖像序列，其中，格式包括目前常見的MPEG1、MPEG2、MPEG4等；并由媒體標(biāo)記裝置30中的標(biāo)記決策模塊310對系統(tǒng)操作員輸入的跟蹤信息12進(jìn)行分析，獲得編碼形式、編碼規(guī)則、標(biāo)記策略；再由信息編碼模塊320根據(jù)這些規(guī)則與策略進(jìn)行編碼，獲得該廣告片的檢測標(biāo)記序列；然后，標(biāo)記融合模塊330將此檢測標(biāo)記序列元素逐一嵌入到信號采集裝置20輸出的幀圖像中，并通過數(shù)據(jù)流合成裝置340的標(biāo)準(zhǔn)視/音頻編碼器將上述連續(xù)幀圖像合成出含有視覺不可感知標(biāo)記的拷貝；最后，將跟蹤信息、可檢測拷貝等送分類存儲裝置50中記錄存儲模塊530保存。
上述過程中的檢測標(biāo)記序列含有以下內(nèi)容

為了實現(xiàn)以上功能，針對目前的MPEG系列標(biāo)準(zhǔn)，實施例采用分塊DCT下的一種水印算法實現(xiàn)檢測標(biāo)記序列的不可感知嵌入，具體方法如下從運(yùn)行時間上考慮，將原始的RGB圖像變換到Y(jié)CbCr圖像(4∶2∶2或4∶4∶4)，并將檢測標(biāo)記序列(水印/指紋)嵌入于Y域內(nèi)，這樣只須一次水印嵌入，提高了嵌入效率；然后再將YCbCr圖像變換RGB圖像，使得檢測標(biāo)記序列分布到RGB三色調(diào)中，不僅增強(qiáng)檢測標(biāo)記隱藏的魯棒性，也減少了檢測標(biāo)記的檢測時間。
在將流媒體分解出連續(xù)幀圖像后，嵌入算法采用分塊DCT水印算法如圖2所示。對于待嵌入檢測標(biāo)記序列m1，m2，L，mk，首先，將圖像進(jìn)行8×8分塊DCT變換(步驟2010)，獲得分塊集合I1，I2，L，In；其次，按照系統(tǒng)密鑰生成偽隨機(jī)數(shù)(步驟3030)，進(jìn)行分組(步驟3020)，并保證該序列元素不重復(fù)，序列元素兩兩一組構(gòu)成DCT塊對，如<Ii，Ij>；然后進(jìn)行標(biāo)記融合步驟3040，如果實施例期望在每個DCT塊對中嵌入8bit信息，先將標(biāo)記序列擴(kuò)展為4n長序列，即m1，m2，L，m4n，再在8×8分塊的32個最高頻分解系數(shù)中，按照每4個分解系數(shù)構(gòu)成一組，每組存儲一位標(biāo)記信息。具體而言，標(biāo)記融合步驟3040可分為組內(nèi)編碼(步驟3050)和組間編碼(步驟3060)兩部分a)組內(nèi)編碼(步驟3050)對分塊Ii中的任一組分解系{Ii，k1，Ii，k2，Ii，k3，Ii，k4}，其中，下標(biāo)k1，L，k4通過生成偽隨機(jī)數(shù)(步驟3030)來確定，元素Ii，k1按照壓縮標(biāo)準(zhǔn)的門限Tk(需乘以抗壓縮因子)，獲得量化后的分解系數(shù)Ii,k1′=Round(Ii,k1Tk1)]]>其中，Round是取整函數(shù)。計算這四個整數(shù)最低有效位的異或，獲得比特值bi 其中，LSB表示求取最低有效位。并選擇每組4個中保真度最小的一個進(jìn)行嵌入。
b)組間編(步驟3060)對一個DCT塊對<Ii，Ij>中對應(yīng)的兩個組{Ii，k1，Ii，k2，Ii，k3，Ii，k4}和{Ij，k1′，Ij，k2′，Ij，k3′，Ij，k4′}，根據(jù)待嵌入標(biāo)記信息ml，通過修改保真度最小的整數(shù)的最低有效位實現(xiàn)標(biāo)記比特嵌入。即若ml＝1，就不必須使每組異或和滿足bi＝bj；而若ml＝0，保證bi≠bj，這種關(guān)系可表示如下bi=bjml=1bi≠bjml=0]]>編碼的結(jié)果是得到兩組新系數(shù){Ii′，k1，Ii′，k2，Ii′，k3，Ii′，k4}和{Ij′，k1′，Ij′，k2′，Ij′k3′，Ij′，k4′}。需要說明的是，這種改動量是很小的，僅需要改變兩組分解系數(shù)中保真度影響最小的那一個系數(shù)，即k＝min{Tk1，L，Tk4，Tk1′，L，Tk4′}對應(yīng)的分解系數(shù)。
在完成每個8×8分塊DCT的嵌入之后，需要對每塊進(jìn)行合成(步驟3070)，合成過程是指反復(fù)多次的分塊DCT與IDCT嵌入測試，目的是避免量化噪聲對嵌入的影響，直至所有比特被正確地嵌入到圖像中。
合成操作之后可以補(bǔ)助必要的感知嵌入(步驟3080)階段，這里采用Watson視覺感知模型求取感知縮放因子，適當(dāng)?shù)貙CT嵌入后系數(shù)進(jìn)行控制，實現(xiàn)信息隱藏的不可感知。最后進(jìn)行DCT反變換(IDCT)(步驟3090)，得到時域內(nèi)的幀圖像，即為輸出的含檢測標(biāo)記序列的拷貝。
所述的分類存儲裝置50中保存的信息包括

對于有線電視網(wǎng)絡(luò)或互聯(lián)網(wǎng)(Internet)10中一路待檢測的數(shù)據(jù)流，先將其送入信號采集裝置20中的調(diào)頻、搜索與鎖定模塊210進(jìn)行通信信道處理，并由采樣與格式變換器220轉(zhuǎn)化為指定格式的幀圖像序列；然后，幀圖像序列送至內(nèi)容監(jiān)視裝置40中的數(shù)據(jù)流預(yù)處理模塊410，完成圖像的扭曲/縮放校正、噪聲抑制、幀同步、前后向圖像預(yù)測識別、圖像格式變換(如，將圖像從空間域經(jīng)離散余弦變換(DCT)變換到頻域)等預(yù)處理；再由標(biāo)記檢測模塊420根據(jù)檢測算法抽取出檢測標(biāo)記序列，如果該檢測標(biāo)記序列有效，則送信息提取模塊430由譯碼算法提取出跟蹤信息，輸出到分類存儲裝置50，并啟動該裝置。
為了實現(xiàn)上述標(biāo)記檢測功能，實施例所采用的檢測算法如圖3所示。與前述嵌入算法相對應(yīng)，首先，待檢測幀圖像進(jìn)行DCT變換(步驟4010)后提取8×8分塊，由輸入的密鑰通過生成偽隨機(jī)數(shù)(步驟4030)進(jìn)行分組(步驟4020)，分組后系數(shù)完成分組譯碼(步驟4040)階段，與嵌入過程相對應(yīng)，分組譯碼(步驟4040)分別進(jìn)行組內(nèi)譯碼(步驟4050)和組間譯碼(步驟4060)a)組內(nèi)譯碼(步驟4050)類似于嵌入過程中的組內(nèi)編碼，對分塊Ii中的任一組分解系{Ii，k1，Ii，k2，Ii，k3，Ii，k4}，下標(biāo)k1，L，k4通過生成偽隨機(jī)數(shù)(步驟4030)來確定，元素Ii，k1按照壓縮標(biāo)準(zhǔn)的門限Tk(需乘以抗壓縮因子)，獲得量化后的分解系數(shù)，即Ii,k1′=Round(Ii,k1/Tk1),]]>再計算這四個整數(shù)最低有效位的異或，獲得比特值bi b)組內(nèi)譯碼(步驟4060)對一個DCT塊對<Ii，Ij>中對應(yīng)的兩個組{Ii，k1，Ii，k2，Ii，k3，Ii，k4}和{Ij，k1′，Ij，k2′，Ij，k3′，Ij，k4′}，根據(jù)兩組量化系數(shù)最低比特的異或值大小，確定嵌入信息。即若每組異或和滿足bi＝bj，則ml＝1；反之，若有bi≠bj，則ml＝0。這種關(guān)系可表示如下ml=1bi=bj0bi≠bj]]>經(jīng)過兩次譯碼后，將每組譯碼后結(jié)果進(jìn)行序列合成(步驟4070)完成字符串鏈接與組合，得到整個嵌入序列。對該序列依次進(jìn)行存在性檢驗(步驟4075)和完整性檢驗(步驟4085)，過程如下a)存在性檢驗(步驟4075)存在性主要針對起始與結(jié)束幀，如果未通過檢驗，則輸出非檢驗幀標(biāo)志(步驟4080)；否則，序列繼續(xù)完成完整性檢驗(步驟4085)，存在性檢測依靠嵌入強(qiáng)度判定和序列統(tǒng)計特性來實現(xiàn)，如統(tǒng)計已檢測序列中的0/1比例，無效序列中0/1出現(xiàn)概率均近似0.5；也可直接與首幀數(shù)據(jù)的不變部分進(jìn)行比對(數(shù)據(jù)頭Header、數(shù)據(jù)尾Trail)，滿足指定檢測門限即為有效。
b)完整性檢測(步驟4085)首先按比例大者去除嵌入中的序列擴(kuò)展，再采用編碼數(shù)據(jù)中的校驗碼(Verify)進(jìn)行糾錯，對糾錯后的數(shù)據(jù)檢查格式完整性，如果格式無效，則輸出數(shù)據(jù)無效標(biāo)志(步驟4090)；否則完整性存在，輸出檢測成功標(biāo)志(步驟4095)，輸出該幀序列并提取出隱藏的檢測標(biāo)記序列。
內(nèi)容監(jiān)視裝置40將獲取的檢測標(biāo)記序列送往分類存儲裝置50后，先由信息校正器510對隱藏的檢測標(biāo)記序列進(jìn)行容錯、序列化處理，獲得完整的跟蹤信息；信息分類器520再將該信息與數(shù)據(jù)庫中的廣告片記錄相比較，確定廣告片廠家、幀丟失等信息，并將這些信息以及捕獲的廣告片片段送記錄存儲模塊530中保存。
視/音頻數(shù)據(jù)流與單幀數(shù)據(jù)不同之處，在于視/音頻數(shù)據(jù)流在存儲上需要經(jīng)受較為嚴(yán)重的壓縮和變換處理，最常見的是幀交換、幀重復(fù)、幀刪除、干擾。為了保證檢測出的檢測標(biāo)記序列的有效性，需要對其進(jìn)行容錯、序列化處理。在實施例中，根據(jù)MPEG壓縮算法圖像幀頻率為25Hz或30Hz。以30Hz為例，雖然協(xié)議允許編碼自由選擇I圖像的頻率和位置，但一般要保證1秒鐘內(nèi)使用2次I圖像，由于I圖像中的標(biāo)記檢測通常是無錯的，因此，以連續(xù)兩次I圖像為分割提取隱藏標(biāo)記流，即以15幀左右為提取的標(biāo)記流長度。在此基礎(chǔ)上，可以設(shè)定如下的容錯處理前提條件①連續(xù)的重復(fù)幀信息個數(shù)不多于3；②連續(xù)的交換幀信息個數(shù)不大于2，即僅有一次交換發(fā)生；③連續(xù)出現(xiàn)未檢測數(shù)目不大于2。
本實施例所采用的容錯算法及其實例分別如圖4和圖5所示。具體容錯算法步驟如下首先，在開始(步驟5010)后，在每一標(biāo)記流長度內(nèi)，將幀序號按照升序進(jìn)行排序(步驟5020)；判斷是否出現(xiàn)無效幀號(步驟5030)，如果出現(xiàn)無效幀號記入x，則試探性依次將其進(jìn)行左或右置換(步驟5040)，確定出升序較好的一種，并回到執(zhí)行幀序列重排序(步驟5020)操作；否則，對正常的幀序號，檢查序列是否已到結(jié)尾(步驟5050)，如果沒有到結(jié)尾返回幀序列重排序(步驟5020)，如果到達(dá)結(jié)尾，則前進(jìn)到步驟5060，從頭開始順序搜索無效幀號x，并在此序號兩側(cè)分別搜索到有效序號(可能含有連續(xù)x)，將這兩個序號相減并減1，獲得無效幀個數(shù)(步驟5070)，判斷無效幀個數(shù)是否等于連續(xù)出現(xiàn)的未檢測幀數(shù)目(步驟5075)，如果無效幀個數(shù)不等于連續(xù)出現(xiàn)的未檢測幀數(shù)目，表明出現(xiàn)幀丟失，前進(jìn)到步驟5080，記錄在幀丟失存儲器；如果，無效幀個數(shù)等于連續(xù)出現(xiàn)的未檢測幀數(shù)目，則順序?qū)ξ礄z測幀填補(bǔ)幀號(步驟5085)，并前進(jìn)到步驟5090，判斷是否到達(dá)序列結(jié)尾，如果沒有到達(dá)結(jié)尾，返回到步驟5060繼續(xù)搜索無效幀號x，如果到達(dá)序列結(jié)尾則前進(jìn)到步驟5095，輸出連續(xù)幀號，并結(jié)束運(yùn)行；這樣可以恢復(fù)幀重復(fù)、干擾。
如果容錯過程正常結(jié)束，該算法輸出完整的幀序列。一個實例如圖6所示，在圖上半部分表示原始幀序列經(jīng)歷了幀交換、幀重復(fù)、幀刪除、干擾四種處理，下半部分表示容錯算法的步驟，可見本發(fā)明所提供的算法能夠有效除去這四類處理。
如上所述的記錄存儲模塊530中保存的記錄為

對于正常的用戶瀏覽和查詢操作，分析報告裝置60予以響應(yīng)。首先，統(tǒng)計分析模塊610從分類存儲裝置中的記錄存儲模塊530中獲取相應(yīng)記錄，實現(xiàn)通常的統(tǒng)計分析功能，如，時間匯總，播放頻率，誤差統(tǒng)計等；再由信息顯示模塊620進(jìn)行友好界面的顯示輸出；根據(jù)用戶要求，也可由報告輸出模塊630以圖表形式打印輸出監(jiān)播結(jié)果。
本發(fā)明的方法和體統(tǒng)提供了較好擴(kuò)展性和適應(yīng)性，以滿足各種應(yīng)用要求。在可跟蹤的產(chǎn)品種類上，本發(fā)明不僅涵蓋以視頻、音頻為主的流媒體，而且可采用不同的隱蔽融合技術(shù)，將其應(yīng)用于軟件、光盤、文本等媒體的監(jiān)視中；在保護(hù)形式上，檢測標(biāo)記序列的構(gòu)造與檢測技術(shù)，即可以應(yīng)用于如前所述的基于媒體內(nèi)容的數(shù)據(jù)嵌入方法，也可以采用基于存儲結(jié)構(gòu)的數(shù)據(jù)隱秘耦合方法；在應(yīng)用環(huán)境上，本方明適用于各種廣播電視網(wǎng)絡(luò)中的廣告監(jiān)播系統(tǒng)構(gòu)建、以及各種版權(quán)管理系統(tǒng)(DRM)的構(gòu)建，包括互聯(lián)網(wǎng)環(huán)境下的P2P網(wǎng)絡(luò)電影下載服務(wù)，DVD光盤盜版鑒別；也可用在錄音、攝像產(chǎn)品的設(shè)計中，實現(xiàn)對源作品的版權(quán)保護(hù)。
權(quán)利要求
1.一種數(shù)字標(biāo)記構(gòu)造方法，其特征在于，包括抽取待跟蹤流媒體的數(shù)據(jù)幀的步驟，該步驟對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取每幀數(shù)據(jù)；編碼和構(gòu)造檢測標(biāo)記序列的步驟，在該步驟中，信息編碼算法依據(jù)編碼參數(shù)對跟蹤信息進(jìn)行編碼，并根據(jù)編碼結(jié)果構(gòu)造出檢測標(biāo)記序列；標(biāo)記融合步驟，該步驟將所述檢測標(biāo)記序列通過融合技術(shù)分別依附于已抽取的數(shù)據(jù)幀中，生成含檢測標(biāo)記序列的數(shù)據(jù)幀；合成可跟蹤數(shù)據(jù)流的步驟，該步驟將含檢測標(biāo)記序列的數(shù)據(jù)幀合成為可跟蹤的數(shù)據(jù)流。
2.如權(quán)利要求1所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述融合技術(shù)為視/音頻的數(shù)字水印算法。
3.如權(quán)利要求1所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述融合技術(shù)為隱秘耦合算法。
4.如權(quán)利要求1所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述融合技術(shù)為密鑰指紋算法。
5.如權(quán)利要求1所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述融合技術(shù)為DVD的內(nèi)容加擾算法。
6.如權(quán)利要求1~權(quán)利要求5的任意一項所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述流媒體為視頻數(shù)據(jù)。
7.如權(quán)利要求1~權(quán)利要求5的任意一項所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述流媒體為音頻數(shù)據(jù)。
8.如權(quán)利要求1~權(quán)利要求5的任意一項所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述編碼參數(shù)包括媒體類型、數(shù)據(jù)內(nèi)容、指標(biāo)要求、播放方式。
9.如權(quán)利要求1~權(quán)利要求5的任意一項所述的數(shù)字標(biāo)記構(gòu)造方法，其特征在于，所述跟蹤信息為數(shù)據(jù)頭Header、廠商序號SerialNo、產(chǎn)品號Product、版本號Version、幀序號FrameNo、校驗碼Verify、數(shù)據(jù)尾Trail。
10.一種數(shù)字標(biāo)記驗證方法包括抽取待驗證流媒體的數(shù)據(jù)幀的步驟，該步驟對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取檢測標(biāo)記；譯碼的步驟，按照特定的碼元編碼對檢測標(biāo)記序列進(jìn)行譯碼，得到跟蹤信息，并由連續(xù)獲得的跟蹤信息構(gòu)成跟蹤信息序列；校驗與糾錯的步驟，對得到的跟蹤信息序列進(jìn)行校驗與糾錯；比對步驟，將糾錯后的跟蹤信息與存儲在存儲器裝置中的相應(yīng)跟蹤信息進(jìn)行比對，如果相似性超過預(yù)先設(shè)定的可信度，則可判定該流媒體為待跟蹤流媒體。
11.一種流媒體監(jiān)播系統(tǒng)，其特征在于，包括信號采集裝置，對流媒體數(shù)據(jù)進(jìn)行自動調(diào)諧、搜索和鎖定；媒體標(biāo)記裝置，該裝置對于來自信號采集裝置的數(shù)據(jù)流構(gòu)造出適應(yīng)不同監(jiān)播任務(wù)的檢測標(biāo)記序列，并將其標(biāo)記于流媒體數(shù)據(jù)文件中；內(nèi)容監(jiān)視裝置，部署于廣播網(wǎng)絡(luò)的終端節(jié)點(diǎn)、或是網(wǎng)絡(luò)的骨干節(jié)點(diǎn)，用于對流媒體數(shù)據(jù)中的帶標(biāo)記信息進(jìn)行監(jiān)視；分類存儲裝置，對媒體標(biāo)記裝置的輸出、內(nèi)容監(jiān)視裝置的實時檢測結(jié)果進(jìn)行校正、分類、存儲。
12.如權(quán)利要求11所述的流媒體監(jiān)播系統(tǒng)，其特征在于，所述媒體標(biāo)記裝置包括決策編碼模塊，該模塊首先針對不同的媒體種類、產(chǎn)品內(nèi)容、指標(biāo)要求、和播放方式上的差異，制定編碼形式、編碼規(guī)則和標(biāo)記策略，再通過編碼算法依照編碼規(guī)則進(jìn)行編碼，輸出檢測標(biāo)記序列；標(biāo)記融合模塊，該模塊依據(jù)標(biāo)記策略將檢測標(biāo)記序列隱藏于待監(jiān)播的流媒體數(shù)據(jù)中，以此對流媒體數(shù)據(jù)進(jìn)行標(biāo)記；數(shù)據(jù)流合成模塊，該步驟將含檢測標(biāo)記序列的數(shù)據(jù)幀合成為可跟蹤的數(shù)據(jù)流。
13.如權(quán)利要求11所述的流媒體監(jiān)播系統(tǒng)，其特征在于，所述內(nèi)容監(jiān)視裝置包括數(shù)據(jù)流預(yù)處理模塊，該模塊對流媒體數(shù)據(jù)進(jìn)行固定格式的采樣和變換，并以幀為單位提取檢測標(biāo)記；信息提取模塊，該模塊按照特定的碼元編碼對檢測標(biāo)記序列進(jìn)行譯碼，得到跟蹤信息，并由連續(xù)獲得的跟蹤信息構(gòu)成跟蹤信息序列；標(biāo)記檢測模塊，對得到的跟蹤信息序列進(jìn)行校驗與糾錯，將糾錯后的跟蹤信息與存儲在存儲器裝置中的相應(yīng)跟蹤信息進(jìn)行比對，如果相似性超過預(yù)先設(shè)定的可信度，則可判定該流媒體為待跟蹤流媒體。
14.如權(quán)利要求11所述的流媒體監(jiān)播系統(tǒng)，其特征在于，還包括分析報告裝置，具有用戶友好界面的數(shù)據(jù)統(tǒng)計分析、顯示報警、打印輸出。
全文摘要
本發(fā)明的目的在于提供一種數(shù)據(jù)流媒體監(jiān)播中的數(shù)字標(biāo)記構(gòu)造方法和數(shù)字標(biāo)記驗證方法以及流媒體監(jiān)播系統(tǒng)，所述流媒體監(jiān)播系統(tǒng)包括信號采集裝置，對流媒體數(shù)據(jù)進(jìn)行自動調(diào)諧、搜索和鎖定；媒體標(biāo)記裝置，該裝置對于來自信號采集裝置的數(shù)據(jù)流構(gòu)造出適應(yīng)不同監(jiān)播任務(wù)的檢測標(biāo)記序列，并將其標(biāo)記于流媒體數(shù)據(jù)文件中；內(nèi)容監(jiān)視裝置，根據(jù)不同功能部署于廣播網(wǎng)絡(luò)的終端節(jié)點(diǎn)、或是網(wǎng)絡(luò)的骨干節(jié)點(diǎn)，用于對流媒體數(shù)據(jù)中的帶標(biāo)記信息進(jìn)行監(jiān)視；分類存儲裝置，對媒體標(biāo)記裝置的編碼輸出、內(nèi)容監(jiān)視裝置的實時檢測結(jié)果進(jìn)行校正、分類、存儲；分析報告裝置，具有用戶友好界面的數(shù)據(jù)統(tǒng)計分析、顯示報警、打印輸出。
文檔編號H04N7/26GK1988669SQ20061014481
公開日2007年6月27日 申請日期2006年11月21日 優(yōu)先權(quán)日2006年11月21日
發(fā)明者朱巖, 韓心慧, 葉志遠(yuǎn), 張建宇 申請人:北京大學(xué)