專利名稱：視聽(tīng)媒體編碼系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視聽(tīng)媒體編碼系統(tǒng)。優(yōu)選地，本發(fā)明可以適于實(shí)時(shí)地或延時(shí)地對(duì)在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行的視頻會(huì)議、研討會(huì)或者演示進(jìn)行編碼，用于由觀察者進(jìn)行閱覽。而且，貫穿于本申請(qǐng)文件的參考是針對(duì)用于該情況的本發(fā)明而作出的，但是本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)，其他應(yīng)用也是可預(yù)見(jiàn)的，并且僅貫穿于本申請(qǐng)文件的上述情況不應(yīng)被視為限制。
背景技術(shù)：
視頻會(huì)議系統(tǒng)已經(jīng)得到了發(fā)展，其允許處于遠(yuǎn)程位置的參與者之間的雙向音頻和視頻通信。參與者可以通過(guò)公共數(shù)字傳輸網(wǎng)絡(luò)，在攝像機(jī)、麥克風(fēng)和連接到所使用的計(jì)算機(jī)網(wǎng)絡(luò)的適當(dāng)硬件和軟件的幫助下，實(shí)時(shí)地參與視頻會(huì)議。視頻會(huì)議通常可用于出現(xiàn)研討會(huì)或者其它類型的演示，其中還可以向另外的輸入系統(tǒng)或者文檔攝像機(jī)提供另外的媒體，諸如幻燈片或者文檔，用于集成到所發(fā)送的視頻或者數(shù)據(jù)流中。
當(dāng)視頻會(huì)議的參與者實(shí)時(shí)地相互交互時(shí)，這帶來(lái)了對(duì)傳輸視聽(tīng)內(nèi)容信號(hào)的網(wǎng)絡(luò)帶寬的高的要求。而且，如果所使用的網(wǎng)絡(luò)不具有所需用于正確進(jìn)行會(huì)議的足夠的帶寬，則可能存在一些關(guān)于會(huì)議視聽(tīng)內(nèi)容的質(zhì)量問(wèn)題。在該情況中，構(gòu)成了參與者之間的信號(hào)流的互聯(lián)網(wǎng)協(xié)議分組可能丟失或者晚到達(dá)接收機(jī)，并且因此不能實(shí)時(shí)地有效地集成到所播出的視頻和音頻中。
在某些情況中，同樣優(yōu)選的是，向另外的觀察者提供或流傳送這些視頻會(huì)議信號(hào)，這些觀察者不必參與該會(huì)議。例如，這些觀察者可能關(guān)注于所進(jìn)行的研討會(huì)或者演示，但是不必需要或者不必能夠?qū)崟r(shí)地出席或者參與該會(huì)議。另外的觀察者可以在會(huì)議進(jìn)行時(shí)實(shí)時(shí)地觀看視聽(tīng)信號(hào)流，或者可替換地，由于他們不需要參參與議，因此可以稍后觀看此信息。該視聽(tīng)信號(hào)流對(duì)于會(huì)議的參與者而言，也可以在晚些時(shí)候獲得。
為了向另外的觀察者流傳送視頻會(huì)議內(nèi)容，生成的信號(hào)通常提供給另外的編碼計(jì)算機(jī)系統(tǒng)。使用現(xiàn)有技術(shù)，向該計(jì)算機(jī)提供源自視頻會(huì)議單元的攝像機(jī)和麥克風(fēng)的視頻和音頻信號(hào)的模擬饋送，其隨后將該信息轉(zhuǎn)換、編碼或者格式化成為數(shù)字計(jì)算機(jī)文件，其可以由特定的軟件播放器應(yīng)用程序播放。所應(yīng)用的實(shí)際編碼或者格式化將取決于播放器應(yīng)用程序，其隨后播放或者顯示編碼的視頻會(huì)議。如本領(lǐng)域的技術(shù)人員所將理解的，此編碼信息可被實(shí)時(shí)地流傳送或者發(fā)送到觀察者，或者可替換地，可被存儲(chǔ)用于稍后發(fā)送給觀察者。
然而，此用于編碼用于另外觀察者的視頻會(huì)議內(nèi)容的方法受到諸多問(wèn)題的困擾。
在第一情況中，由于數(shù)字音頻和視頻信息轉(zhuǎn)換為模擬格式，用于隨后提供給編碼計(jì)算機(jī)系統(tǒng)，因此在結(jié)果格式化輸出中存在準(zhǔn)確性或者質(zhì)量的損失。接下來(lái)，所使用的計(jì)算機(jī)系統(tǒng)將這些信號(hào)轉(zhuǎn)換回?cái)?shù)字格式，導(dǎo)致與所進(jìn)行的每次轉(zhuǎn)換相關(guān)的質(zhì)量和準(zhǔn)確性的損失。
而且，所使用的編碼計(jì)算機(jī)必須配備有至視頻會(huì)議設(shè)備的模擬電纜連接，并且由此在多數(shù)情況下還必須位于其中出現(xiàn)了視頻會(huì)議的一個(gè)端點(diǎn)的房間中。這要求額外部分的裝置安置在視頻會(huì)議房間或者場(chǎng)所，除了視頻會(huì)議設(shè)備本身以外，在會(huì)議之前還必須對(duì)該裝置進(jìn)行設(shè)置和配置。
通過(guò)使用視頻會(huì)議傳輸協(xié)議，即ITU H.323，題為“Packet-BasedMulti-Media Communication System(基于分組的多媒體通信系統(tǒng))”，已經(jīng)進(jìn)行了致力于這些問(wèn)題的一種嘗試。該協(xié)議允許視聽(tīng)信號(hào)和相關(guān)的協(xié)議信息自所使用的視頻會(huì)議設(shè)備傳輸?shù)揭粋€(gè)網(wǎng)絡(luò)地址，而該網(wǎng)絡(luò)地址不用作正在進(jìn)行的視頻會(huì)議呼叫的完全參與者。額外的連接可被描述為關(guān)于視頻會(huì)議信號(hào)的流端點(diǎn)，該視頻會(huì)議信號(hào)可以提供所需的數(shù)字音頻和視覺(jué)信息，不需要使用現(xiàn)有技術(shù)所必需的數(shù)字-模擬-數(shù)字轉(zhuǎn)換。
然而，關(guān)于使用該基本協(xié)議的主要復(fù)雜性來(lái)自于，用于視頻會(huì)議呼叫的高帶寬需求，以及隨后的高比特率的至端點(diǎn)的信號(hào)流傳送。當(dāng)重新發(fā)送到軟件播放器應(yīng)用程序時(shí)，所提供輸入的較高比特率將出現(xiàn)在所產(chǎn)生的輸出中，由此導(dǎo)致了大的視頻文件或者高的帶寬要求，其不易于通過(guò)所使用的計(jì)算機(jī)網(wǎng)絡(luò)的低速連接而進(jìn)行訪問(wèn)。
致力于任何一個(gè)或者全部上述問(wèn)題的改進(jìn)的視聽(tīng)媒體編碼系統(tǒng)將是有利的。能夠用作用于會(huì)議呼叫端點(diǎn)并且能夠以多種比特率編碼或者格式化音頻和視頻會(huì)議內(nèi)容，用于隨后流傳送到或者提供給觀察者的系統(tǒng)將是有利的。能夠展現(xiàn)和提供有關(guān)如何對(duì)這些視頻和音頻信號(hào)進(jìn)行編碼并將其提供給觀察者的靈活性和功能的系統(tǒng)將是有利的。
所有參考文獻(xiàn)，包括本申請(qǐng)文件中所引用的任何專利或者專利申請(qǐng)，在此處并入列為參考。沒(méi)有允許任何參考文獻(xiàn)構(gòu)成現(xiàn)有技術(shù)。關(guān)于參考文獻(xiàn)的討論陳述了它們的作者所聲明的內(nèi)容，并且本申請(qǐng)人保留質(zhì)詢所引用文獻(xiàn)的準(zhǔn)確性和相關(guān)性的權(quán)利。應(yīng)清楚地認(rèn)識(shí)到，盡管此處參考了大量的現(xiàn)有技術(shù)出版物，但是這些參考文獻(xiàn)不構(gòu)成允許任何這些文獻(xiàn)形成本領(lǐng)域共有的一般性知識(shí)的一部分，不論是在新西蘭還是在任何其他國(guó)家。
應(yīng)當(dāng)承認(rèn)，術(shù)語(yǔ)“包括”在變化的管轄權(quán)下可被認(rèn)為具有排他性的或者包含性的意義。為了簡(jiǎn)化起見(jiàn)，并且除非另有說(shuō)明，否則術(shù)語(yǔ)“包括”將具有包含性的意義，即，其將意味著，不僅包括直接注明的所列成分，還包括其他未說(shuō)明的成分或者要素。在所使用的術(shù)語(yǔ)“被包括的”或“包括的”涉及方法或者處理中的一個(gè)或者多個(gè)步驟時(shí)，也使用相同的解釋。
本發(fā)明的目的在于解決上述問(wèn)題，或者至少為公眾提供有用的選擇。
通過(guò)后面僅借助于示例給出的描述，本發(fā)明的另外的方面和特征將變得顯而易見(jiàn)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)對(duì)接收視聽(tīng)信號(hào)應(yīng)用選定的編碼處理，所述編碼處理是取決于所讀取的所述至少一個(gè)協(xié)議信號(hào)的內(nèi)容而選擇的。
根據(jù)本發(fā)明的另一方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其進(jìn)一步的特征在于以下額外的后繼步驟(i)產(chǎn)生用于軟件播放器應(yīng)用程序的編碼輸出。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其中所述至少一個(gè)讀取的協(xié)議信號(hào)的內(nèi)容是用于檢測(cè)出現(xiàn)在視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中的至少一個(gè)關(guān)鍵幀的時(shí)間位置。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其中所述至少一個(gè)讀取的協(xié)議信號(hào)的內(nèi)容指出出現(xiàn)在視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中的內(nèi)容切換。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其中使用所述至少一個(gè)讀取的協(xié)議信號(hào)檢測(cè)到內(nèi)容切換時(shí)，選定的編碼處理使得至少一個(gè)索引標(biāo)記與編碼輸出相關(guān)聯(lián)。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼方法，其中索引標(biāo)記同與視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中檢測(cè)到內(nèi)容切換的時(shí)間位置相同的時(shí)間位置處的編碼輸出相關(guān)聯(lián)。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其中所讀取的協(xié)議信號(hào)提供了關(guān)于與視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)相關(guān)聯(lián)的下列參數(shù)的任何組合的信息(i)所使用的音頻編解碼器和/或(ii)所使用的視頻編解碼器和/或(iii)所提供的音頻信息的比特率和/或(iv)所提供的視頻信息的比特率和/或(v)視頻信息幀速率和/或(vi)視頻信息分辨率。
本發(fā)明優(yōu)選地適于提供一種用于編碼視聽(tīng)媒體信號(hào)的系統(tǒng)和方法。優(yōu)選地，這些信號(hào)可以源自或提供自視頻會(huì)議傳輸，本發(fā)明適于將這些信號(hào)的至少一部分編碼為可以向未直接參與視頻會(huì)議的其他用戶或者觀察者播放的格式。而且，貫穿于本申請(qǐng)文件進(jìn)行參考的是使用計(jì)算機(jī)網(wǎng)絡(luò)傳輸視頻會(huì)議，但是本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，顯然還可以使用任何形式的數(shù)字傳輸網(wǎng)絡(luò)基礎(chǔ)設(shè)施或系統(tǒng)。
優(yōu)選地，本發(fā)明可以用于實(shí)現(xiàn)在計(jì)算機(jī)系統(tǒng)中運(yùn)行的編碼處理，其可以執(zhí)行如此處描述的編碼方法或多種方法。而且，本發(fā)明還可以包括用于執(zhí)行該編碼方法的裝置，其優(yōu)選地由裝載有適于執(zhí)行和實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)軟件的計(jì)算機(jī)系統(tǒng)形成。本發(fā)明可以適于生成編碼輸出，其可以被播放、顯示或者另外轉(zhuǎn)播給另外的用戶，這些新的用戶不需要參與所牽涉的視頻會(huì)議，也不需要在視頻會(huì)議發(fā)生的相同時(shí)間觀看編碼輸出。
優(yōu)選地，結(jié)合本發(fā)明使用的用于提供所需的編碼處理的裝置可用于直接參加到所牽涉的視頻會(huì)議中，并且在某些情況中，可被認(rèn)為是視頻會(huì)議端點(diǎn)。用于提供該端點(diǎn)的裝置或設(shè)備接下來(lái)可以對(duì)結(jié)合視頻會(huì)議接收的至少一個(gè)視聽(tīng)信號(hào)執(zhí)行譯碼(transcode)或者重新編碼(re-encode)，用以提供結(jié)合本發(fā)明的譯碼視聽(tīng)輸出。所生成的編碼輸出可以存儲(chǔ)到計(jì)算機(jī)文件，或者可替換地，如果需要，其可以在編碼后傳輸或者流傳送到其他用戶。
優(yōu)選地，本發(fā)明可以適于提供編碼輸出文件、信號(hào)或傳輸，其可以由基于計(jì)算機(jī)的軟件播放器應(yīng)用程序接收或播放，以顯示視聽(tīng)媒體或內(nèi)容。在某些情況中，使用本發(fā)明提供的編碼輸出可以在視頻會(huì)議進(jìn)行時(shí)實(shí)時(shí)地流傳送到或者傳輸?shù)揭曨l會(huì)議的未參與的觀察者?？商鎿Q地，在其他情況中，所提供的編碼輸出可以保存到一個(gè)或者多個(gè)計(jì)算機(jī)文件，其接下來(lái)可以下載到或者傳輸?shù)轿磪⑴c的觀察者，用于在稍后的時(shí)間播放。
例如，在某些情況中，本發(fā)明可以適于提供可通過(guò)Microsoft的Windows Media PlayerTM、Apple的Quicktime PlayerTM或者Real Network的RealplayerTM播放的編碼視聽(tīng)內(nèi)容輸出。而且，所牽涉的播放器還可以支持在所牽涉的視頻會(huì)議進(jìn)行時(shí)接收至觀察者的編碼輸出的實(shí)時(shí)流傳送。
而且，貫穿于本申請(qǐng)文件進(jìn)行參考的是，使用基于計(jì)算機(jī)的軟件播放器應(yīng)用程序在計(jì)算機(jī)上或由計(jì)算機(jī)播放本發(fā)明提供的編碼輸出。然而，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，貫穿于本申請(qǐng)文件進(jìn)行參考的計(jì)算機(jī)應(yīng)具有最廣泛的可能解釋，包括任何形式的已編程的或者可編程的邏輯設(shè)備。獨(dú)立的個(gè)人計(jì)算機(jī)、個(gè)人數(shù)字助理、蜂窩電話、游戲控制臺(tái)等等也可以全部涵蓋于計(jì)算的該定義中，并且接下來(lái)可以全部配備有適于播放根據(jù)本發(fā)明提供的編碼輸出的軟件。本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，所參考的計(jì)算機(jī)和計(jì)算機(jī)軟件應(yīng)用程序不應(yīng)被孤立地認(rèn)為僅與個(gè)人計(jì)算機(jī)相關(guān)。
在本發(fā)明的另一優(yōu)選實(shí)施例中，所提供的編碼輸出可以適于在數(shù)字傳輸網(wǎng)絡(luò)上傳輸?shù)交蛘叻植?。如果需要，所提供的編碼輸出的格式化允許使該編碼輸出容易地和快速地分布到廣大的范圍和眾多的地理分撒的用戶。而且，貫穿于本申請(qǐng)文件進(jìn)行參考的是編碼輸出的傳輸是在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行的。但是，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，如果需要，可以結(jié)合本發(fā)明使用允許數(shù)字信號(hào)或數(shù)字內(nèi)容傳輸?shù)娜魏晤愋蛡鬏斁W(wǎng)絡(luò)、系統(tǒng)或者基礎(chǔ)設(shè)施。
而且，貫穿于本申請(qǐng)文件進(jìn)行參考的是，所提供的編碼輸出適于提供用于計(jì)算機(jī)系統(tǒng)的基于軟件的播放器應(yīng)用程序的輸入。但是，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，結(jié)合本發(fā)明也可以生成其他格式或形式的編碼輸出，并且貫穿于本申請(qǐng)文件進(jìn)行上述參考情況不應(yīng)被視為限制。例如，在其他實(shí)施例中，本發(fā)明可以提供能夠使用蜂窩電話、PDA、游戲控制臺(tái)或者其他相似類型設(shè)備播放的編碼輸出。
優(yōu)選地，所進(jìn)行的視頻會(huì)議傳輸可以使用計(jì)算機(jī)網(wǎng)絡(luò)傳輸。計(jì)算機(jī)網(wǎng)絡(luò)在本領(lǐng)域中是公知的，并且可以利用現(xiàn)有的傳輸協(xié)議，諸如TCP/IP，用于向視頻會(huì)議中的參與者傳遞信息分組。
在優(yōu)選實(shí)施例中，可以通過(guò)如上所述的計(jì)算機(jī)系統(tǒng)提供結(jié)合本發(fā)明接收的視頻會(huì)議傳輸。結(jié)合本發(fā)明使用的接收和編碼硬件可以連接到該計(jì)算機(jī)網(wǎng)絡(luò)，并且可以被分配特定的網(wǎng)絡(luò)或者IP地址，這些視頻會(huì)議傳輸可傳遞到該地址。
本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，貫穿于本申請(qǐng)文件進(jìn)行參考的計(jì)算機(jī)網(wǎng)絡(luò)可以涵蓋通過(guò)專用的以太網(wǎng)電線、無(wú)線無(wú)線電網(wǎng)絡(luò)提供的網(wǎng)絡(luò)以及使用電信系統(tǒng)的分布式網(wǎng)絡(luò)。
在另一優(yōu)選實(shí)施例中，本發(fā)明使用的硬件和裝置可被描述為關(guān)于所牽涉的視頻會(huì)議呼叫的流傳送端點(diǎn)或者流式端點(diǎn)。流傳送端點(diǎn)可以用作視頻會(huì)議的參與者，而沒(méi)有必要向視頻會(huì)議呼叫提供任何有用內(nèi)容。因此，在計(jì)算機(jī)網(wǎng)絡(luò)中具有特定地址的該端點(diǎn)可以接收所有與特定的視頻會(huì)議相關(guān)的傳輸，且沒(méi)有必要向會(huì)議貢獻(xiàn)有用內(nèi)容。本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，貫穿于本申請(qǐng)文件進(jìn)行參考的端點(diǎn)可以涵蓋用于實(shí)現(xiàn)相同目的任何裝置或部件，其先前還被稱為，例如，“終端”、“網(wǎng)關(guān)”或者“多點(diǎn)控制單元”。
本發(fā)明優(yōu)選地提供了一種用于編碼視聽(tīng)媒體的方法以及裝置或系統(tǒng)。所使用的系統(tǒng)或裝置可以由裝載有(并且適于執(zhí)行)適當(dāng)?shù)木幋a軟件的計(jì)算機(jī)系統(tǒng)形成或構(gòu)成。該軟件(通過(guò)經(jīng)由至計(jì)算機(jī)網(wǎng)絡(luò)的計(jì)算機(jī)系統(tǒng)的連接而在計(jì)算機(jī)系統(tǒng)上執(zhí)行)可以實(shí)現(xiàn)關(guān)于本發(fā)明所討論的編碼方法。而且，該計(jì)算機(jī)系統(tǒng)還可以適于存儲(chǔ)作為所述方法的編碼輸出而生成的計(jì)算機(jī)文件，或者將所提供的編碼輸出實(shí)時(shí)地重新發(fā)送給另外的觀察者。
而且，貫穿于本申請(qǐng)文件進(jìn)行參考的是，本發(fā)明使用或者涵蓋連接到計(jì)算機(jī)網(wǎng)絡(luò)的編碼計(jì)算機(jī)系統(tǒng)，其適于使用適當(dāng)?shù)能浖邮找曨l會(huì)議傳輸并對(duì)其編碼。
例如，在一種情況中，本發(fā)明可以利用H323協(xié)議用于在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行視頻會(huì)議傳輸。該協(xié)議可用于直接向編碼計(jì)算機(jī)系統(tǒng)提供數(shù)字信號(hào)，而不需要信號(hào)的任何數(shù)字-模擬-數(shù)字轉(zhuǎn)換。
貫穿于本申請(qǐng)文件進(jìn)行參考的是，本發(fā)明用于編碼源自在計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行的視頻會(huì)議傳輸?shù)囊暵?tīng)媒體。然而，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，關(guān)于本發(fā)明的其他應(yīng)用也是可預(yù)見(jiàn)的，貫穿于本申請(qǐng)文件進(jìn)行參考的上文的情況不應(yīng)被視為限制。例如，本發(fā)明可用于編碼其他形式的流式或者實(shí)時(shí)視聽(tīng)傳輸，其不必基于視頻會(huì)議，也不需要直接涉及在計(jì)算機(jī)網(wǎng)絡(luò)上的傳輸。
優(yōu)選地，由編碼計(jì)算機(jī)接收的視頻會(huì)議傳輸可以包含或包括至少一個(gè)或多個(gè)視聽(tīng)信號(hào)以及至少一個(gè)或多個(gè)協(xié)議信號(hào)。
優(yōu)選地，視聽(tīng)信號(hào)在視頻會(huì)議進(jìn)行時(shí)可以實(shí)時(shí)地承載關(guān)于該視頻會(huì)議的音頻和/或視頻內(nèi)容的信息。在某些情況中，在隨時(shí)間播出視頻會(huì)議時(shí)，可以提供承載了視頻會(huì)議的音頻和視覺(jué)內(nèi)容的單一的信號(hào)。然而，在可替換的情況中，提供了獨(dú)立的信號(hào)用于該所需視頻會(huì)議的音頻和視頻分量。
優(yōu)選地，所接收的視頻會(huì)議傳輸還并入或者包括至少一個(gè)或者多個(gè)協(xié)議信號(hào)。協(xié)議信號(hào)可以承載關(guān)于視聽(tīng)信號(hào)的格式化或構(gòu)成的信息，包括，與如何生成該信號(hào)相關(guān)聯(lián)的參數(shù)，以及有關(guān)用于生成該信號(hào)的物理硬件的配置、狀態(tài)或者狀況的信息。而且，協(xié)議信號(hào)還可以提供有關(guān)何時(shí)使用來(lái)自用于生成視聽(tīng)信號(hào)的特定硬件的反饋或者信息改變和切換內(nèi)容的指示。此外，協(xié)議信號(hào)還可以提供有關(guān)如何創(chuàng)建所傳輸?shù)囊暵?tīng)信號(hào)的信息，諸如例如，在生成信號(hào)時(shí)是否使用了數(shù)據(jù)壓縮方案，并且還可以提供關(guān)于該壓縮方案如何操作的某些基本信息。
優(yōu)選地，本發(fā)明可適于在初始時(shí)讀取結(jié)合構(gòu)成視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)接收的至少一個(gè)協(xié)議信號(hào)。然后，可以使用編碼到該一個(gè)或多個(gè)協(xié)議信號(hào)中的特定信息，做出關(guān)于進(jìn)入的視聽(tīng)信號(hào)接下來(lái)應(yīng)如何進(jìn)行編碼和格式化以提供給另外的觀察者的特定決定或判定。獲取自協(xié)議信號(hào)的信息可用于選擇特定的編碼處理或算法，并且隨后應(yīng)用該編碼處理或算法，以生成本發(fā)明的所需的編碼輸出。獲得自協(xié)議信號(hào)的信息的確切形式和可用的編碼處理以及本發(fā)明的操作員的興趣將確定選擇并應(yīng)用哪個(gè)編碼處理。
根據(jù)本發(fā)明的另一方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)確定出現(xiàn)在所接收視聽(tīng)信號(hào)中的關(guān)鍵幀的時(shí)間位置，和(iv)將關(guān)鍵幀編碼到編碼輸出中與檢測(cè)到關(guān)鍵幀的時(shí)間位置相同的時(shí)間位置處，并且對(duì)原始接收的視聽(tīng)信號(hào)進(jìn)行編碼。
在優(yōu)選實(shí)施例中，獲得自協(xié)議信號(hào)的信息可以包括或者指出出現(xiàn)在所接收的一個(gè)或者多個(gè)視聽(tīng)信號(hào)中的關(guān)鍵幀的時(shí)間位置或方位。
關(guān)鍵幀生成并用于數(shù)字視頻壓縮處理中，并且提供了完整的傳統(tǒng)視頻信息幀的等效物。除了關(guān)鍵幀以外，還傳輸作為所牽涉的視頻信息的第二部分的像素修改指令。關(guān)鍵幀(其并入了大量的數(shù)據(jù))可被獲取，并且然后，可以隨時(shí)間發(fā)送關(guān)于原始關(guān)鍵幀中目標(biāo)位置的變化的進(jìn)一步信息，由此減少了需作為視聽(tīng)信號(hào)一部分而被傳輸?shù)臄?shù)據(jù)量。
然而，由于僅是不定期地傳輸或并入完整的原始幀(關(guān)鍵幀)，因此對(duì)視頻壓縮的近似仍近似于組成原始視頻信號(hào)的實(shí)際幀。如果先前壓縮的視頻信號(hào)隨后被重新編碼或者“譯碼”，則這些關(guān)鍵幀可能丟失，或者選擇了新的關(guān)鍵幀，其不是初始?jí)嚎s視頻中的原始關(guān)鍵幀。這可能使結(jié)果的重新編碼或重新格式化的視頻信號(hào)的質(zhì)量或者準(zhǔn)確性劣化。
然而，如果結(jié)合本發(fā)明，則可自協(xié)議信息提取或檢測(cè)所使用的每個(gè)關(guān)鍵幀的時(shí)間位置。這樣，這允許隨后在視聽(tīng)信號(hào)視頻內(nèi)容的重新編碼或重新格式化中重新使用相同的關(guān)鍵幀，同時(shí)使任何后繼的質(zhì)量損失或者另外失準(zhǔn)的引入減到最小。在該情況中，將關(guān)鍵幀編碼到編碼輸出中的同所牽涉的視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中檢測(cè)到關(guān)鍵幀的時(shí)間相同的時(shí)間。
根據(jù)本發(fā)明的另一方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，以確定接收視頻會(huì)議傳輸?shù)木幋a特征，和(iii)接收來(lái)自至少一個(gè)用戶的編碼優(yōu)選，和(iv)自編碼處理的集合中選擇可以使用用戶編碼優(yōu)選和編碼特征實(shí)現(xiàn)的編碼處理的子集，和(v)向用戶顯示該編碼處理的子集。
在優(yōu)選實(shí)施例中，本發(fā)明還可以向用戶提供接口工具，其允許用戶或者操作員設(shè)置他們?nèi)绾蝺?yōu)選對(duì)進(jìn)入的視聽(tīng)信號(hào)的編碼或格式化。操作員可以通過(guò)該用戶接口提供編碼優(yōu)選或者輸入信息，該用戶接口接下來(lái)可用于定制所生成的編碼輸出的特征。
在另一優(yōu)選實(shí)施例中，可以自一個(gè)或者多個(gè)協(xié)議信號(hào)中提取關(guān)于進(jìn)入的視聽(tīng)信號(hào)的特征的信息或者參數(shù)。接收視頻會(huì)議傳輸?shù)倪@些編碼特征可以結(jié)合用戶提供的信息使用，用以確定特定情況中有待選擇的潛在的一個(gè)或多個(gè)編碼方案。
在優(yōu)選實(shí)施例中，接收的編碼特征和編碼優(yōu)選可用于自若干潛在的編碼處理中選擇編碼處理的子集，該編碼處理的子集可基于接收視頻會(huì)議傳輸?shù)木幋a特征實(shí)際地實(shí)現(xiàn)，以滿足用戶的優(yōu)選。優(yōu)選地，該可能或者可用處理的子集可以顯示給用戶，用于隨后的一個(gè)或者多個(gè)用于使用的處理選擇。
在另一優(yōu)選實(shí)施例中，本發(fā)明可以包括用于預(yù)先計(jì)算或者預(yù)先評(píng)估多種編碼方案的工具，其將基于用戶的編碼優(yōu)選和獲得自一個(gè)或者多個(gè)協(xié)議信號(hào)的編碼特征潛在地生成最優(yōu)的結(jié)果編碼輸出。在該情況中，可用的或者可能的編碼處理的子集仍可以演示或者顯示給用戶，但是所提供的系統(tǒng)或軟件可以為提供關(guān)于最優(yōu)潛在處理的推薦，用于使用戶進(jìn)行選擇。
該工具可以類似于用戶接口“向?qū)?wizard)”而進(jìn)行操作，由此將會(huì)向用戶呈現(xiàn)一種用以僅選擇和使用編碼方案的工具，其能夠滿足用戶的要求，或者能夠滿足基于自關(guān)于進(jìn)入視頻會(huì)議傳輸?shù)囊粋€(gè)或者多個(gè)協(xié)議信號(hào)提取的信息而提供的參數(shù)。
例如，在一個(gè)優(yōu)選實(shí)施例中，除了所需用于結(jié)果輸出的軟件播放器的格式以外，用戶還可以輸入關(guān)于結(jié)果編碼輸出的所需比特率。用戶還可以提供關(guān)于來(lái)自視頻會(huì)議呼叫的他們希望模擬的監(jiān)視器數(shù)目的進(jìn)一步的信息。
這樣，由一個(gè)或者多個(gè)協(xié)議信號(hào)可以獲得關(guān)于進(jìn)入的視聽(tīng)信號(hào)的構(gòu)成或特征的信息。例如，在一種情況中，獲得自協(xié)議信號(hào)的信息該可以包括下列項(xiàng)的任何組合(i)所使用的音頻編解碼器(ii)所使用的視頻編解碼器(iii)音頻比特率(iv)視頻比特率(v)視頻幀速率(vi)視頻分辨率這樣，此可用的關(guān)于本發(fā)明相關(guān)的或者本發(fā)明使用的軟件的信息可以做出選擇，或者向用戶呈現(xiàn)選項(xiàng)的范圍，該范圍指出所將使用的音頻和/或視頻編解碼器，以及可用于使用的特定的視頻分辨率和視頻幀速率，其將滿足原始由用戶提供的輸入標(biāo)準(zhǔn)。
在優(yōu)選實(shí)施例中，指出視聽(tīng)信號(hào)或者接收信號(hào)中存在的內(nèi)容切換的信息可以獲得自至少一個(gè)協(xié)議信號(hào)。該內(nèi)容切換可以指出，視聽(tīng)信號(hào)由新的或者不同的硬件部分生成，或者當(dāng)前使用的攝像機(jī)或者麥克風(fēng)的配置已被修改。
例如，在某些情況中，協(xié)議信號(hào)可以指出，已經(jīng)接收到作為視頻會(huì)議傳輸一部分的視頻凍結(jié)畫面請(qǐng)求信號(hào)。該凍結(jié)信號(hào)將保持構(gòu)成所有參與者屏幕上的會(huì)議視頻內(nèi)容的當(dāng)前的幀或畫面，并因此將指出發(fā)生了內(nèi)容切換。這樣，可以檢測(cè)到從動(dòng)態(tài)到靜態(tài)內(nèi)容的變化。在結(jié)合本發(fā)明進(jìn)行內(nèi)容切換時(shí)，還可以檢測(cè)到協(xié)議信號(hào)中的凍結(jié)畫面釋放控制命令的傳輸或者凍結(jié)畫面請(qǐng)求信號(hào)的移除。
而且，通過(guò)指出文檔攝像機(jī)當(dāng)前是否正用于為會(huì)議提供視頻饋送的協(xié)議信號(hào)，也可以檢測(cè)內(nèi)容切換。對(duì)于會(huì)議的參與者，該文檔攝像機(jī)可以示出印刷材料的良好質(zhì)量的近距離瀏覽。這樣，文檔攝像機(jī)的激活或使用、以及文檔攝像機(jī)信號(hào)的集成、或者文檔攝像機(jī)信號(hào)自協(xié)議信號(hào)中移除接下來(lái)可以指出所傳輸?shù)囊曨l信號(hào)內(nèi)容已被切換或改變。
在另一情況中，協(xié)議信號(hào)可以承載狀態(tài)信息，其指出當(dāng)前將使用數(shù)字圖像或者數(shù)字幻燈片形成會(huì)議的視頻內(nèi)容。協(xié)議信號(hào)中的該圖像并入或者靜止圖像指示信號(hào)可再次用于檢測(cè)內(nèi)容切換。靜止圖像或者“抽點(diǎn)”可呈現(xiàn)為會(huì)議的視頻內(nèi)容，該圖像源自數(shù)字文件、數(shù)字?jǐn)z像機(jī)、視頻記錄器、或者任何其他的兼容或者適當(dāng)類型的數(shù)據(jù)或信息輸入系統(tǒng)。而且，如果需要，由協(xié)議信號(hào)標(biāo)記為或者指示為抽點(diǎn)或者靜止圖像的該內(nèi)容也可以直接源于具有視頻會(huì)議設(shè)備的文檔攝像機(jī)。此外，該靜止圖像信息的移除也可用于指出內(nèi)容切換。
而且，通過(guò)視頻攝像機(jī)鏡頭自多個(gè)預(yù)選觀看位置或角度自動(dòng)地?fù)u動(dòng)或移動(dòng)，也可以檢測(cè)內(nèi)容切換?？梢灶A(yù)先設(shè)置這些觀看位置，使攝像機(jī)的焦點(diǎn)對(duì)準(zhǔn)選出的座位位置和它們相關(guān)聯(lián)的揚(yáng)聲器，由此，當(dāng)攝像機(jī)預(yù)設(shè)觀看角度變化時(shí)，可由存在于協(xié)議信號(hào)中的信息指出所牽涉的內(nèi)容切換。因此，將攝像機(jī)移動(dòng)信號(hào)集成到協(xié)議信號(hào)中可用于檢測(cè)內(nèi)容切換。
在本發(fā)明的另一實(shí)施例中，站點(diǎn)名稱可以同視頻會(huì)議的每個(gè)端點(diǎn)相關(guān)聯(lián)，其中由每個(gè)站點(diǎn)傳輸?shù)囊暵?tīng)信號(hào)也具有站點(diǎn)名稱，其嵌入在與這些視聽(tīng)傳輸相關(guān)聯(lián)的一個(gè)或者多個(gè)協(xié)議信號(hào)中。通過(guò)與一個(gè)或者多個(gè)視聽(tīng)信號(hào)相關(guān)聯(lián)的名稱的變化，可以檢測(cè)內(nèi)容切換，其中與每個(gè)信號(hào)相關(guān)聯(lián)的名稱可以進(jìn)一步用于取決于其中生成了內(nèi)容的每個(gè)部分的站點(diǎn)，檢索、搜索或者分類所牽涉的內(nèi)容。
根據(jù)本發(fā)明的另一方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)所接收視聽(tīng)信號(hào)的視聽(tīng)內(nèi)容中的內(nèi)容切換，和(iv)在檢測(cè)到內(nèi)容切換的時(shí)間位置處編碼索引標(biāo)記。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和
(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)所接收視聽(tīng)信號(hào)的視聽(tīng)內(nèi)容中的內(nèi)容切換，和(iv)編碼關(guān)鍵幀，和(v)在與編碼關(guān)鍵幀的位置相同或相鄰的時(shí)間位置處編碼索引標(biāo)記。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼方法，其中索引標(biāo)記被編碼在自關(guān)鍵幀的時(shí)間位置起的時(shí)間閾值內(nèi)。
在優(yōu)選實(shí)施例中，視聽(tīng)信號(hào)中的內(nèi)容切換的檢測(cè)或者指示可以觸發(fā)至少一個(gè)索引標(biāo)記同所提供的編碼輸出的關(guān)聯(lián)，其中該索引標(biāo)記基本上同與進(jìn)入的一個(gè)或者多個(gè)視聽(tīng)信號(hào)中檢測(cè)到內(nèi)容切換的時(shí)間位置相同的編碼輸出中的時(shí)間位置相關(guān)聯(lián)。
在另一優(yōu)選實(shí)施例中，索引標(biāo)記可以同與所牽涉的原始進(jìn)入的一個(gè)或者多個(gè)視聽(tīng)信號(hào)中檢測(cè)到內(nèi)容切換的時(shí)間位置相同的時(shí)間位置相關(guān)聯(lián)。然而，本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，由于結(jié)合本發(fā)明使用的軟件和設(shè)備的物理限制，將出現(xiàn)所牽涉的索引標(biāo)記的精確安置或定位的一定程度的變化。然而，在可替換的實(shí)施例中，所牽涉的索引標(biāo)記可以同設(shè)定的時(shí)間閾值周期中的編碼輸出相關(guān)聯(lián)。在該情況中，關(guān)于索引標(biāo)記何時(shí)被編碼可以允許一定程度的限度，而所提供的周期的閾值距離或周期限定了該所允許的限度的程度。
而且，已編碼索引標(biāo)記還可以包括關(guān)于如何檢測(cè)特定的內(nèi)容切換的參考信息，并且因此可以給出關(guān)于該索引標(biāo)記所位于的特定時(shí)間位置處的視聽(tīng)信號(hào)內(nèi)容的指示。
在優(yōu)選實(shí)施例中，索引標(biāo)記可以通過(guò)參考、指針、URL或者實(shí)際存在于所提供的編碼輸出中的其他相似標(biāo)記的實(shí)際編碼，與所提供的編碼輸出相關(guān)聯(lián)。這樣，在與視頻內(nèi)容的內(nèi)容切換位置近似相同的位置，由播放器應(yīng)用程序檢測(cè)該標(biāo)記或者參考。然而，在其他的實(shí)施例中，索引標(biāo)記可以不必直接編碼到待提供的輸出中。例如，在一個(gè)實(shí)施例中，除了與所牽涉的視頻信號(hào)相關(guān)聯(lián)的時(shí)間位置或方位信息以外，還可以記錄索引標(biāo)記的日志文件或者單獨(dú)記錄。該文件可以指出索引標(biāo)記與所牽涉的視頻內(nèi)容相關(guān)聯(lián)的特定時(shí)間位置。
在另一優(yōu)選實(shí)施例中，通過(guò)將通用資源定位符(URL)插入在由本發(fā)明生成的編碼輸出中，可以實(shí)現(xiàn)索引標(biāo)記。本領(lǐng)域的技術(shù)人員應(yīng)認(rèn)識(shí)到，在本領(lǐng)域中URL通常用于索引視聽(tīng)媒體，這樣，本發(fā)明可以使用現(xiàn)有的技術(shù)實(shí)現(xiàn)上文討論的索引標(biāo)記。
優(yōu)選地，這些編碼到所提供的輸出中的索引標(biāo)記可由播放器應(yīng)用程序的用戶使用，用以取決于這些索引標(biāo)記所涉及的特定內(nèi)容，主動(dòng)搜尋或者搜索本發(fā)明的視聽(tīng)輸出。索引標(biāo)記可以標(biāo)記出編碼輸出中的選定類型的內(nèi)容出現(xiàn)的時(shí)間位置或方位，并且隨后允許用戶在所生成的完整輸出中搜索選定部分或者選定類型的內(nèi)容。
在另一優(yōu)選實(shí)施例中，結(jié)合本發(fā)明，還可以檢測(cè)在接近對(duì)索引標(biāo)記進(jìn)行編碼的時(shí)間位置處、在進(jìn)入的一個(gè)或者多個(gè)視聽(tīng)信號(hào)中的原始關(guān)鍵幀的存在。
如果有過(guò)多的關(guān)鍵幀位置相互接近，則這將使本發(fā)明的結(jié)果編碼輸出的質(zhì)量劣化，并且還將潛在地影響幀速率和質(zhì)量。然而，優(yōu)選的是，使關(guān)鍵幀同編碼輸出中的索引標(biāo)記接近，這將允許軟件播放器應(yīng)用程序使用附近的關(guān)鍵幀，搜尋該索引標(biāo)記的時(shí)間位置，以快速地生成所需的視頻內(nèi)容。
優(yōu)選地，通過(guò)檢測(cè)原始關(guān)鍵幀是否接近于對(duì)索引標(biāo)記進(jìn)行編碼的時(shí)間位置，本發(fā)明可以優(yōu)化關(guān)鍵幀在結(jié)果編碼輸出中的安置。如果在指定的閾值時(shí)間位移容限內(nèi)不存在關(guān)鍵幀，則在與對(duì)索引標(biāo)記進(jìn)行編碼的時(shí)間位置相同的時(shí)間位置、或者剛好在其之前、之后接近的時(shí)間位置，可以編碼新的關(guān)鍵幀。相反地，如果關(guān)鍵幀在閾值時(shí)間周期中是可用的，則在結(jié)果編碼輸出中不會(huì)生成或者并入新的關(guān)鍵幀。這樣，關(guān)鍵幀可以編碼到編碼輸出中與所牽涉的索引標(biāo)記的時(shí)間位置相同或者相鄰的時(shí)間位置處。
根據(jù)本發(fā)明的另一方面，提供了一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)所接收視聽(tīng)信號(hào)中出現(xiàn)的低內(nèi)容狀態(tài)的存在，和(iv)在其中在所接收視頻會(huì)議傳輸中檢測(cè)到所述低內(nèi)容狀態(tài)的時(shí)間周期期間，對(duì)編碼輸出內(nèi)容進(jìn)行時(shí)間壓縮。
根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其中使用緩沖器接收視頻會(huì)議傳輸信號(hào)，由此緩沖器內(nèi)容播出到編碼處理中的速率確定了在編碼時(shí)應(yīng)用于原始視頻會(huì)議視聽(tīng)內(nèi)容的時(shí)間壓縮程度。
在優(yōu)選實(shí)施例中，本發(fā)明還可以用于，在與所提供的一個(gè)或者多個(gè)原始視聽(tīng)信號(hào)進(jìn)行比較時(shí)，修改編碼輸出中出現(xiàn)的視聽(tīng)內(nèi)容的特定部分的時(shí)序或者時(shí)間位置。如果通過(guò)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)檢測(cè)到特定的內(nèi)容切換，則可以完成此時(shí)序修改。
在另一優(yōu)選實(shí)施例中，當(dāng)使用至少一個(gè)讀取的協(xié)議信號(hào)在接收視聽(tīng)信號(hào)中檢測(cè)到低內(nèi)容狀態(tài)時(shí)，可以對(duì)編碼輸出進(jìn)行時(shí)間壓縮。該低內(nèi)容狀態(tài)可能持續(xù)隨機(jī)的時(shí)間周期，并且如果其直接編碼到編碼輸出中，則其可能導(dǎo)致僵硬或者緩慢的內(nèi)容演示。如果需要，(優(yōu)選地通過(guò)在至少一個(gè)協(xié)議信號(hào)中的數(shù)據(jù)或標(biāo)志進(jìn)行的)低內(nèi)容狀態(tài)的檢測(cè)可以允許出現(xiàn)在待加速的編碼輸出的視聽(tīng)內(nèi)容中。
在另一優(yōu)選實(shí)施例中，如果在協(xié)議信號(hào)中檢測(cè)到快速畫面更新或者凍結(jié)或保持畫面控制指令，則對(duì)所接收的視頻和音頻內(nèi)容可以進(jìn)行時(shí)間壓縮。通常這些指令或者信號(hào)與視頻會(huì)議中的參與者之間的大量的圖像信息的傳輸相關(guān)聯(lián)，其可能需要一定時(shí)間以到達(dá)特定的端點(diǎn)并且在該特定的端點(diǎn)處進(jìn)行匯編。接下來(lái)，由于在所有該信息已被接收并隨后被顯示之前，參與者不再關(guān)注于當(dāng)前凍結(jié)的圖像或畫面，因此這可能提供相對(duì)僵硬的內(nèi)容程序。
通過(guò)使用本發(fā)明，該信息系統(tǒng)可被預(yù)高速緩存，并且隨后僅顯示持續(xù)短的時(shí)間周期。如果在顯示靜止圖像或者凍結(jié)幀的時(shí)間中還生成了有限的視頻內(nèi)容，則會(huì)議的音頻內(nèi)容也可以隨時(shí)間進(jìn)行壓縮，以使音頻和視覺(jué)內(nèi)容部分同步。
在另一優(yōu)選實(shí)施例中，緩沖器可用于對(duì)編碼輸出的視聽(tīng)內(nèi)容進(jìn)行時(shí)間壓縮。在該實(shí)施例中，緩沖器或者類似于緩沖器的部件或者數(shù)據(jù)結(jié)構(gòu)在初始時(shí)可用于接收視聽(tīng)信號(hào)，由此，緩沖器的內(nèi)容播出到編碼處理中的速率將接下來(lái)確定在編碼時(shí)應(yīng)用于視頻會(huì)議內(nèi)容的時(shí)間壓縮程度。當(dāng)時(shí)間壓縮在其中檢測(cè)到低內(nèi)容狀態(tài)的選定時(shí)間周期中進(jìn)行時(shí)，緩沖器的內(nèi)容可以以快于正常使用速率的速率播出到進(jìn)行處理的編碼器。
而且，優(yōu)選地，當(dāng)在協(xié)議信號(hào)中接收到凍結(jié)畫面釋放命令或信號(hào)時(shí)，緩沖器的內(nèi)容可以以慢于正常速率的速率播出，直至緩沖器彌補(bǔ)了其先前以較快速率播出的內(nèi)容量。
相比于現(xiàn)有技術(shù)，本發(fā)明可以提供許多潛在的優(yōu)點(diǎn)。
本發(fā)明可以讀取并隨后使用來(lái)自一個(gè)或者多個(gè)協(xié)議信號(hào)的信息，以做出關(guān)于如何對(duì)視聽(tīng)信號(hào)或流進(jìn)行編碼或重新格式化的明智的決定。
自該協(xié)議信號(hào)可以獲得關(guān)于進(jìn)入的視聽(tīng)信號(hào)中的原始關(guān)鍵幀安置的信息，接下來(lái)使用該信息，用于在所提供的輸出視聽(tīng)信息中重新使用相同的關(guān)鍵幀。而且，對(duì)于在所提供的編碼輸出中被檢測(cè)到或索引的接收視聽(tīng)信號(hào)中的特定的內(nèi)容切換的情況，該技術(shù)也是有幫助的。所提供的這些索引標(biāo)記可以允許用戶主動(dòng)地快速地在結(jié)果編碼輸出搜尋或者搜索特定類型的內(nèi)容。而且，獲得自協(xié)議信號(hào)的關(guān)鍵幀安置信息還可以用于確保關(guān)鍵幀安置在接近于該索引標(biāo)記的附近時(shí)間位置，由此允許快速地生成并向用戶顯示所需的視頻信息。
獲得自一個(gè)或者多個(gè)協(xié)議信號(hào)的信息還可用于協(xié)助選擇用于進(jìn)入的一個(gè)或者多個(gè)視聽(tīng)信號(hào)的特定的編碼方案或型式?；谟脩魞?yōu)選或選擇并且結(jié)合獲得自協(xié)議信號(hào)的關(guān)于進(jìn)入的視聽(tīng)信號(hào)的特征，可向用戶呈現(xiàn)有限數(shù)目的編碼方案，其將生成關(guān)于所提供的輸入信息的最優(yōu)結(jié)果。
本發(fā)明還可以提供了一種工具，其用于相對(duì)于演示時(shí)間，壓縮進(jìn)入的一個(gè)或多個(gè)視聽(tīng)信號(hào)中出現(xiàn)的選定類型的內(nèi)容。如果在進(jìn)入的視頻會(huì)議中檢測(cè)到相對(duì)僵硬的或者緩慢的內(nèi)容部分(諸如凍結(jié)畫面分段)，則在所提供的編碼輸出中，出現(xiàn)該內(nèi)容的時(shí)間可被壓縮。
附圖簡(jiǎn)述通過(guò)下文僅借助于示例給出的描述，并參考附圖，本發(fā)明的另外的方面將變得顯而易見(jiàn)，在附圖中

圖1示出了結(jié)合優(yōu)選實(shí)施例的編碼視聽(tīng)媒體的方法中執(zhí)行的步驟的框式示意性流程圖，和圖2以示意圖的形式說(shuō)明了參考圖1討論的編碼處理所牽涉的信號(hào)，和圖3a、3b、3c以示意圖的形式示出了關(guān)于如圖2討論的編碼關(guān)鍵幀的信號(hào)。
圖4示出了根據(jù)本發(fā)明的另一實(shí)施例提供的用戶接口和編碼方案選擇工具。
圖5a、5b、5c示出了根據(jù)本發(fā)明的另一實(shí)施例使用和產(chǎn)生的信號(hào)的一系列示意圖，和圖6a、6b和6c再次示意性地示出了根據(jù)本發(fā)明的另一實(shí)施例接收并隨后生成的一組信號(hào)，和圖7和表1示出了結(jié)合本發(fā)明的優(yōu)選實(shí)施例的關(guān)鍵幀插入或編碼中采用的處理流程圖和相關(guān)的偽代碼細(xì)化步驟，和圖8和9以及表2和3說(shuō)明了根據(jù)本發(fā)明的另一實(shí)施例的關(guān)鍵幀和索引標(biāo)記的編碼，和圖10和表4說(shuō)明了自適應(yīng)內(nèi)容播出機(jī)制的提供方案，其在檢測(cè)到低內(nèi)容狀態(tài)時(shí)使用緩沖器加速內(nèi)容編碼。
用于實(shí)現(xiàn)本發(fā)明的最佳模式圖1示出了結(jié)合優(yōu)選實(shí)施例的編碼視聽(tīng)媒體的方法中執(zhí)行的步驟的框式示意性流程圖。
在該方法的第一步驟中，連接到計(jì)算機(jī)網(wǎng)絡(luò)的編碼計(jì)算機(jī)系統(tǒng)接收來(lái)自該計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸。該視頻會(huì)議傳輸包括視聽(tīng)信號(hào)和協(xié)議信號(hào)集。該協(xié)議信號(hào)除了提供用于生成信號(hào)的特定硬件設(shè)備的狀態(tài)以外，還提供關(guān)于如何生成視聽(tīng)信號(hào)的信息。
在該方法的階段2中，從在階段1中接收的協(xié)議信號(hào)中提取信息。在參考圖1和2討論的實(shí)施例中，提取自這些協(xié)議信號(hào)的信息包括，關(guān)鍵幀被編碼到所接收的原始視聽(tīng)信號(hào)中時(shí)間位置的指示，并且還包括，關(guān)于特定的內(nèi)容切換在所使用的視聽(tīng)信息出現(xiàn)時(shí)間的信息。在所考慮的實(shí)施例中，通過(guò)使用文檔攝像機(jī)(其相對(duì)于示出會(huì)議的參與者的攝像機(jī))檢測(cè)內(nèi)容切換。
在該方法的階段3中，基于所讀取的協(xié)議信號(hào)中出現(xiàn)的信息，選擇特定的編碼處理，用于應(yīng)用于所接收的視聽(tīng)信號(hào)。在所討論的情況中，選定的編碼處理將特定的索引標(biāo)記參考并入到所提供的輸出中，用于指出在使用文檔攝像機(jī)時(shí)出現(xiàn)在視聽(tīng)信息中的內(nèi)容切換。該選定的編碼處理還考慮編碼到原始視聽(tīng)信號(hào)中的每個(gè)關(guān)鍵幀的位置，并且基于所使用的原始關(guān)鍵幀的時(shí)間位置，調(diào)節(jié)所生成的編碼輸出中的關(guān)鍵幀的生成和應(yīng)用。
在該方法的步驟4中，生成并產(chǎn)生用于特定的軟件播放器應(yīng)用程序的該方法的編碼輸出。在參考圖1和2討論的情況中，所提供的編碼輸出可以在Real Media Real Player上播放。
圖2以示意圖的形式說(shuō)明了參考圖1討論的編碼處理的要素，示出了原始視聽(tīng)信號(hào)(5)以及后繼的編碼輸出的視聽(tīng)信號(hào)(6)。
原始信號(hào)(5)包括多個(gè)沿信號(hào)(5)的播放時(shí)間的特定時(shí)間位置分布的關(guān)鍵幀(7)。原始信號(hào)(5)還并入了向參與者顯示內(nèi)容的視頻(8)和獲取自針對(duì)會(huì)議參與者訓(xùn)練的視頻攝像機(jī)的靜止圖像或者抽點(diǎn)(9)之間的特定的內(nèi)容切換。
重新編碼信號(hào)(6)利用獲得自協(xié)議信號(hào)的信息，檢測(cè)關(guān)鍵幀(7)和內(nèi)容切換的出現(xiàn)，其中該協(xié)議信號(hào)接收自進(jìn)入的視頻會(huì)議傳輸。索引標(biāo)記(10)(在優(yōu)選實(shí)施例中由URL形成)插入到編碼輸出信號(hào)(6)中，用以表示信號(hào)的視聽(tīng)內(nèi)容中的內(nèi)容切換的出現(xiàn)。
如果有可能，還循環(huán)或者重新使用進(jìn)入的視聽(tīng)信號(hào)(5)的原始的關(guān)鍵幀(7)，如第二信號(hào)(6)中的第一關(guān)鍵幀(11a)的位置所示出的。然而，在所示出的情況中，生成新的關(guān)鍵幀(11b)，并且將其編碼到第二信號(hào)(6)中，用以提供與指出待顯示的視聽(tīng)信息中出現(xiàn)內(nèi)容切換的索引標(biāo)記接近的關(guān)鍵幀。在該情況中，在第二信號(hào)(6)中不重新編碼或者重新使用原始信號(hào)的第二關(guān)鍵幀(7b)。
圖3a～3c示出了進(jìn)入的視頻流(3a)、未使用本發(fā)明進(jìn)行重新編碼的視頻流(3b)、以及使用本發(fā)明進(jìn)行重新編碼的視頻流(3c)，其中使用了關(guān)于原始視頻流(3a)的原始關(guān)鍵幀安置的信息。
如可由圖3b中可以看到的，在不使用本發(fā)明的情況下，譯碼或者重新編碼的視頻信號(hào)沒(méi)有必要將關(guān)鍵幀安置于與參考圖3a所示的信號(hào)中提供的位置相同的位置或者方位。相反地，在圖3c中，所使用的關(guān)鍵幀基本上位于與原始的流式視頻信號(hào)中的原始關(guān)鍵幀相同的時(shí)間位置。
圖4示出了根據(jù)本發(fā)明的另一實(shí)施例提供的用戶接口和編碼方案選擇裝置。
在所示出的情況中，編碼計(jì)算機(jī)系統(tǒng)(12)配備有至計(jì)算機(jī)網(wǎng)絡(luò)(14)的連接(13)。該計(jì)算機(jī)網(wǎng)絡(luò)(14)可以承載有待提供給編碼計(jì)算機(jī)(12)的視頻會(huì)議傳輸，該編碼計(jì)算機(jī)(12)用作關(guān)于視頻會(huì)議的編碼端點(diǎn)。編碼計(jì)算機(jī)(12)作為視頻會(huì)議的參與者，傳輸所維持的無(wú)聲音頻且空白視頻的信號(hào)，并且適于提供另外的編碼視聽(tīng)輸出，其源自視頻會(huì)議傳輸中使用的視聽(tīng)信號(hào)。
用戶接口模塊(15)可以提供用于與用于單獨(dú)用戶計(jì)算機(jī)的編碼計(jì)算機(jī)(12)通信，或者通過(guò)在相同的編碼計(jì)算機(jī)(12)上運(yùn)行的軟件進(jìn)行通信。該用戶接口(UI)模塊可以在初始時(shí)向編碼計(jì)算機(jī)系統(tǒng)發(fā)送用戶參數(shù)信息(16)。編碼計(jì)算機(jī)系統(tǒng)(12)還可以從作為視頻會(huì)議傳輸一部分而接收的協(xié)議信號(hào)中提取視聽(tīng)信號(hào)參數(shù)信息，其中這些參數(shù)給出了關(guān)于構(gòu)成視頻傳輸一部分的視聽(tīng)信號(hào)的信息。這些參數(shù)可以提供有關(guān)進(jìn)入的視聽(tīng)信號(hào)的構(gòu)成的信息，諸如
(i)所使用的音頻編解碼器，和(ii)所使用的視頻編解碼器，和(iii)所提供的音頻信息的比特率，和(iv)所提供的視頻信息的比特率，和(v)視頻信息幀速率，和(vi)視頻信息分辨率編碼計(jì)算機(jī)系統(tǒng)可以通過(guò)使用所獲得的所有用戶和協(xié)議信息，計(jì)算“最相配的”編碼方案的數(shù)目，該編碼方案可用于滿足用戶關(guān)于進(jìn)入的視頻流的需要。然后，關(guān)于有效編碼方案的信息可以傳輸(17)到UI模塊，其接下來(lái)允許用戶將方案選擇指令(18)傳輸回到編碼計(jì)算機(jī)(12)，用以指出應(yīng)使用哪個(gè)編碼方案。
基于這些指令，編碼計(jì)算機(jī)系統(tǒng)可以編碼并生成輸出(19)，其可以在適當(dāng)?shù)幕谟?jì)算機(jī)的媒體播放器應(yīng)用程序上播放。
而且，通過(guò)下文給出的偽代碼，更加詳細(xì)地示出了用于選擇或指定可使用的編碼方案的集合的處理。
<pre listing-type="program-listing"><![CDATA[H.323 call parameters　　 H.263video @ 112kbps　　 H.263video resolution @ CIF　　 H.263video frame rate @ 12.5fps　　 G.728audio @ 16kbpsUser input　　 Bitrate56kbps Modem　　 Player formatRealMedia Native-Single Stream　　 Display modeSingle MonitorProfiler decisions　　 //find the media type for the stream　　 //either standard(video and audio only)or presentation(audio，videoand //snapshots)　　 If Display_Mode＝Single_Monitor then　　Profiler_Media_Type＝(standard)　　 Else　　Profiler_Media_Type＝(presentation)　　 Endlf//find the maximum audio bitrate for the stream based on the mediatype//where media type is standard，allow more bitrate to the audio codecthan if//media type of presentation selected(when presentation need toleave//bandwidth for the snapshot).User_Bitrate＝(56kbps)and Profiler_Media_Type＝(standard)thereforeMax_Audio_Bitrate＝(8.5kbps).//select the audio codec for use in the stream based on the maximum//available bandwidth.If Incoming_Audio_Bitrate＞Max_Audio_Bitrate then　　 Profiler_Audio_Codec＝Select Audio_Codec from Table_3 where　　 Bitrate_Supported＜＝Max_Audio_Bitrate therefore　　 Profiler_Audio_Codec＝(RealAudio_8.5kbps_Voice)Else　　 Profiler_Audio_Codec＝Incoming_Audio_CodecEndlf//set the video bandwidth based on total available bandwidth andbandwidth//used by audio codec.Profiler_Optimum_Bitrate＝Select Optimum_Bitrate from Table_4whereBandwidth_Option＝(56kbps_Modem)If(Profiler_Audio_Codec＜＞Incoming_Audio_Codec)then　　Profiler_Audio_Bitrate＝Select Bitrate_Supported from Table_3where　　Audio_Codec＝(Profiler_Audio_Codec)Else　　Profiler_Audio_Bitrate＝Incoming_Audio_BitrateEndlfProfiler_Video_Bitrate＝Profiler_Optimum_Bitrate-Profiler_Audio_BitratethereforeProfiler_Video_Bitrate＝(29.5kbps)//set video resolutionProfiler_Video_Res＝Select Optimum_Resolution from Table_4where Bandwidth_Option＝(56kbps_Modem)thereforeProfiler_Video_Res＝(176×144)//set video codecIf User_Player_Format＝RealMedia_Native thenProfiler_Video_Codec＝(RealVideog).//set video frame rateMax_Profiler_Frame_Rate＝Incoming_Frame_RateProfiler_Frame_Rate＝Select Optimum_Frame_Rate fromTable_4where Bandwidth_Option＝(56kbpsModem)If Profiler_Frame_Rate＞Max_Profiler_Frame_Rate then　　 Profiler_Frame_Rate＝Max_Profiler_Frame_RateEndIf]]></pre>
圖5a～5c示出了與本發(fā)明相關(guān)聯(lián)的信號(hào)的一系列示意圖，并且說(shuō)明了取決于其接收信號(hào)的本發(fā)明的進(jìn)一步的動(dòng)作。
圖5a示出了進(jìn)入的協(xié)議信號(hào)，其指出了在參考圖5b示出的視頻信號(hào)的幀150處出現(xiàn)了抽點(diǎn)事件。圖5b還示出了，關(guān)鍵幀在幀125處被編碼到原始的進(jìn)入的視頻中。
圖5c示出了結(jié)合在所示實(shí)施例中的本發(fā)明提供的編碼視頻輸出。該圖說(shuō)明了，本發(fā)明如何取決于輸入的接收視頻會(huì)議傳輸，將關(guān)鍵幀安置在其編碼輸出信號(hào)中。
本發(fā)明使用的軟件在所示情況中做出一組決定。通過(guò)考慮關(guān)于應(yīng)處于編碼輸出信號(hào)中的關(guān)鍵幀之間的最大時(shí)間位移的設(shè)定值，完成了這些決定中的第一個(gè)。在所示情況中，每150個(gè)幀中編碼一個(gè)關(guān)鍵幀，并且由于關(guān)鍵幀在幀124處提供，因此隨后在編碼輸出(5c)中使用該原始的幀。
其次，所使用的軟件指出，索引標(biāo)記被編碼到或者寫入到在幀150處提供的輸出中，以標(biāo)出抽點(diǎn)事件在進(jìn)入的視頻信號(hào)中的位置。通過(guò)考慮關(guān)于自該索引標(biāo)記的時(shí)間位移的容限值，所使用的軟件可以了解，出現(xiàn)在幀124處的關(guān)鍵幀處于該容限內(nèi)，并且在幀150處的抽點(diǎn)事件之前不需要對(duì)另外的關(guān)鍵幀進(jìn)行編碼。
圖6a、6b和6c示出了說(shuō)明另一實(shí)施例中的本發(fā)明的進(jìn)一步的動(dòng)作的一組信號(hào)。在所示實(shí)施例中，參考圖6a示出了進(jìn)入的協(xié)議信號(hào)，參考圖6b示出了進(jìn)入的視頻信號(hào)，而如圖6c，示出了結(jié)合本發(fā)明提供的編碼輸出視頻。
在該抽點(diǎn)中，進(jìn)入的視頻包括幀275和402處的關(guān)鍵幀，以及幀398處的視頻快速更新畫面協(xié)議信號(hào)。相反地，所提供的編碼輸出包括分別位于幀250和幀402處的關(guān)鍵幀。在示出的該情況中，做出對(duì)有待提供的輸出進(jìn)行編碼的決定，由此關(guān)鍵幀被安置在隔開(kāi)150個(gè)幀的最大值。然而，關(guān)鍵幀之間的該最大時(shí)間可以取決于進(jìn)入的信號(hào)的細(xì)節(jié)而變化，如下文所討論的。
當(dāng)進(jìn)入信號(hào)中的位于幀275處的原始關(guān)鍵幀被檢測(cè)到時(shí)，由所使用的軟件做出不對(duì)輸出中的關(guān)鍵幀進(jìn)行編碼的決定，這是因?yàn)槠渑c在幀250處提供的先前的編碼關(guān)鍵幀鄰近。自幀250起每150個(gè)關(guān)鍵幀，應(yīng)基于關(guān)鍵幀之間的最大時(shí)間值對(duì)關(guān)鍵幀進(jìn)行編碼。然而，在該情況中，由于幀398處的協(xié)議信號(hào)示出了預(yù)見(jiàn)到關(guān)鍵幀處于隨后的幀中，因此未對(duì)其進(jìn)行編碼。在該情況中，關(guān)鍵幀之間的最大時(shí)間略微擴(kuò)展，以允許傳遞與視頻快速畫面更新相關(guān)聯(lián)的關(guān)鍵幀。該關(guān)鍵幀在幀402處到達(dá)進(jìn)入的視頻，并且該關(guān)鍵幀然后在幀402處被編碼到輸出視頻中。
圖7和表1示出了結(jié)合本發(fā)明的優(yōu)選實(shí)施例的關(guān)鍵幀插入或編碼中采用的處理流程圖和相關(guān)的偽代碼細(xì)化步驟。
所描述的處理在初始時(shí)接收來(lái)自形成至視頻會(huì)議呼叫端點(diǎn)的視頻會(huì)議設(shè)備的解碼元件或部件的幀。
在初始時(shí)審查所接收的幀，以確定其是否是幀內(nèi)編碼的，或者其在結(jié)合所牽涉的視頻會(huì)議而接收的視聽(tīng)信號(hào)中形成關(guān)鍵幀。通過(guò)檢查幀中的實(shí)際幀內(nèi)編碼宏塊的數(shù)目，實(shí)現(xiàn)該關(guān)鍵幀測(cè)試，其中最大的可能幀內(nèi)編碼宏塊計(jì)數(shù)將指出關(guān)鍵幀的出現(xiàn)。
如果該幀未被確認(rèn)為關(guān)鍵幀，則該處理進(jìn)行檢查以確定所牽涉的視頻會(huì)議系統(tǒng)是否已向視頻會(huì)議傳輸源傳輸了快速畫面更新，其中該快速畫面更新請(qǐng)求關(guān)鍵幀的傳輸。
如果未預(yù)見(jiàn)到關(guān)鍵幀，則測(cè)試所接收的幀，以確定其質(zhì)量或者其包含的宏塊要素相比于最大宏塊水平的比例或者百分比。在所討論的實(shí)施例中，該閾值測(cè)試被設(shè)定在85％。如果該幀通過(guò)該85％的閾值，則其有效地被當(dāng)作關(guān)鍵幀進(jìn)行處理，并且運(yùn)行涉及關(guān)鍵幀處理的處理部分。
如果接收幀未能通過(guò)宏塊或者幀內(nèi)編碼測(cè)試，則其轉(zhuǎn)發(fā)到標(biāo)準(zhǔn)的編碼系統(tǒng)，其生成所需的大量編碼輸出。該編碼系統(tǒng)將取決于其內(nèi)部參數(shù)，以幀間編碼的形式或者幀內(nèi)編碼的形式，對(duì)所需的幀進(jìn)行編碼。
如果接收幀未被確認(rèn)為關(guān)鍵幀，然而卻預(yù)見(jiàn)到關(guān)鍵幀，則完成測(cè)試，以確定自上一關(guān)鍵幀起的時(shí)間是否大于或者等于關(guān)鍵幀之間的可允許的最大時(shí)間。如果該測(cè)試導(dǎo)致了真值，則所允許的關(guān)鍵幀之間的最大時(shí)間增加，并且隨后將該幀發(fā)送到標(biāo)準(zhǔn)的編碼系統(tǒng)。相反地，如果關(guān)鍵幀之間的時(shí)間低于所牽涉的最大時(shí)間，則簡(jiǎn)單地將該幀發(fā)送到標(biāo)準(zhǔn)的編碼系統(tǒng)。
然后，使用關(guān)鍵幀之間的最大時(shí)間值測(cè)試其是否應(yīng)將所接收的當(dāng)前幀編碼為關(guān)鍵幀或者編碼為幀間編碼幀。
如果系統(tǒng)確認(rèn)接收到了關(guān)鍵幀，或者測(cè)試了接收幀的質(zhì)量并且確定了其具有足夠高的質(zhì)量可被視作關(guān)鍵幀，則檢索自接收上一關(guān)鍵幀起的時(shí)間。下一步，完成測(cè)試以確定當(dāng)前的關(guān)鍵幀是否是在最大時(shí)間閾值之后接收的。如果已經(jīng)超過(guò)了該最大時(shí)間閾值，則所提供的該系統(tǒng)或處理將強(qiáng)制將當(dāng)前幀作為關(guān)鍵幀編碼到編碼輸出中。如果沒(méi)有超過(guò)該最大時(shí)間閾值，則將當(dāng)前幀提供給標(biāo)準(zhǔn)的編碼系統(tǒng)。
圖8、9以及表2和3說(shuō)明了根據(jù)本發(fā)明的另一實(shí)施例的關(guān)鍵幀和索引標(biāo)記的編碼。
在參考圖8示出的處理的初始階段，如參考圖7所討論的，采用相同的步驟，用于關(guān)鍵幀的編碼。然而，該處理通常在應(yīng)對(duì)關(guān)鍵幀或者幀編碼的點(diǎn)處偏離。
在所描述的處理中，將關(guān)鍵幀編碼到編碼輸出被推遲，直至從視頻會(huì)議接收到所需的關(guān)鍵幀。該處理還測(cè)試低的時(shí)間閾值，以確定所接收的索引標(biāo)記是否將被編碼到自關(guān)鍵幀起的特定時(shí)間周期或者時(shí)間位移中。如果在所需的時(shí)間周期中沒(méi)有現(xiàn)存的關(guān)鍵幀是可用的，則將強(qiáng)制將現(xiàn)存的幀作為關(guān)鍵幀而進(jìn)行編碼。相反地，如果關(guān)鍵幀是可用的，則可以使用標(biāo)準(zhǔn)的編碼處理。
參考圖9和表3討論的另外的索引狀態(tài)程序允許監(jiān)視或跟蹤兩個(gè)并發(fā)的或者連續(xù)的索引標(biāo)記事件，并且還允許對(duì)所需的任何索引標(biāo)記進(jìn)行編碼。如果顯見(jiàn)的是所牽涉的視頻會(huì)議中的操作員或者參與者錯(cuò)誤地觸發(fā)了索引標(biāo)記事件，則允許丟棄這些索引標(biāo)記中的一個(gè)，并且隨后或者立即使視頻會(huì)議設(shè)備返回到其先前狀態(tài)或者現(xiàn)有配置。
圖10和表4說(shuō)明了自適應(yīng)內(nèi)容播出機(jī)制的提供方案，其在檢測(cè)到低內(nèi)容狀態(tài)時(shí)使用緩沖器加速對(duì)內(nèi)容進(jìn)行的編碼。
在所討論的實(shí)現(xiàn)方案中，凍結(jié)畫面信號(hào)和協(xié)議信號(hào)被用于確定存在低內(nèi)容狀態(tài)。由所示處理維持和修改緩沖器數(shù)據(jù)結(jié)構(gòu)，以取決于所牽涉的視頻凍結(jié)畫面信號(hào)是否已被維持或者是否已被釋放，加速時(shí)基編碼速率或者減慢該時(shí)基編碼速率。
僅借助于示例已描述了本發(fā)明的方面，應(yīng)當(dāng)理解，在不偏離附屬權(quán)利要求中限定的本發(fā)明的范圍的前提下，可以對(duì)其進(jìn)行修改和補(bǔ)充。
權(quán)利要求
1.一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)將所選編碼處理應(yīng)用于所接收的視聽(tīng)信號(hào)，所述編碼處理是取決于讀取的所述至少一個(gè)協(xié)議信號(hào)的內(nèi)容而選擇的。
2.權(quán)利要求1的編碼方法，其進(jìn)一步的特征在于以下額外的后繼步驟(iv)產(chǎn)生用于軟件播放器應(yīng)用程序的編碼輸出。
3.權(quán)利要求2的編碼方法，其中所提供的編碼輸出適于播放給未直接參與視頻會(huì)議的用戶。
4.權(quán)利要求2或3的任何一個(gè)的編碼方法，其適于提供一個(gè)或者多個(gè)編碼輸出文件。
5.權(quán)利要求2或3的編碼方法，其適于提供編碼輸出傳輸。
6.權(quán)利要求2～5的任何一個(gè)的編碼方法，其中所提供的編碼輸出適于使用計(jì)算機(jī)系統(tǒng)播放。
7.權(quán)利要求2～6的任何一個(gè)的編碼方法，其中編碼輸出在計(jì)算機(jī)網(wǎng)絡(luò)上分布到用戶。
8.權(quán)利要求2～7的任何一個(gè)的編碼方法，其中用于提供編碼輸出的裝置形成了視頻會(huì)議端點(diǎn)。
9.前面任何一個(gè)權(quán)利要求的編碼方法，其中所讀取的協(xié)議信號(hào)提供了關(guān)于與視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)相關(guān)聯(lián)的下列參數(shù)的任何組合的信息(i)所使用的音頻編解碼器和/或(ii)所使用的視頻編解碼器和/或(iii)所提供的音頻信息的比特率和/或(iv)所提供的視頻信息的比特率和/或(v)視頻信息幀速率和/或(vi)視頻信息分辨率。
10.前面任何一個(gè)權(quán)利要求的編碼方法，其中所讀取的協(xié)議信號(hào)的內(nèi)容用于檢測(cè)視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中出現(xiàn)的至少一個(gè)關(guān)鍵幀的時(shí)間位置。
11.權(quán)利要求10的編碼方法，其中關(guān)鍵幀被編碼在編碼輸出中的、與視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中檢測(cè)到關(guān)鍵幀的時(shí)間位置相同的時(shí)間位置處。
12.前面任何一個(gè)權(quán)利要求的編碼方法，其中所述至少一個(gè)所讀取的協(xié)議信號(hào)的內(nèi)容指出了在視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中出現(xiàn)的內(nèi)容切換。
13.權(quán)利要求12的編碼方法，其中通過(guò)提取自協(xié)議信號(hào)的凍結(jié)畫面信號(hào)來(lái)檢測(cè)內(nèi)容切換。
14.權(quán)利要求12的編碼方法，其中通過(guò)移除提取自協(xié)議信號(hào)的凍結(jié)畫面請(qǐng)求信號(hào)來(lái)檢測(cè)內(nèi)容切換。
15.權(quán)利要求12的編碼方法，其中通過(guò)提取自協(xié)議信號(hào)的文檔攝像機(jī)信號(hào)來(lái)檢測(cè)內(nèi)容切換。
16.權(quán)利要求12的編碼方法，其中通過(guò)移除提取自協(xié)議信號(hào)的文檔攝像機(jī)信號(hào)來(lái)檢測(cè)內(nèi)容切換。
17.權(quán)利要求12的編碼方法，其中通過(guò)提取自協(xié)議信號(hào)的圖象并入信號(hào)來(lái)檢測(cè)內(nèi)容切換。
18.權(quán)利要求12的編碼方法，其中通過(guò)移除提取自協(xié)議信號(hào)的圖象并入信號(hào)來(lái)檢測(cè)內(nèi)容切換。
19.權(quán)利要求12的編碼方法，其中通過(guò)提取自協(xié)議信號(hào)的攝像機(jī)移動(dòng)信號(hào)來(lái)檢測(cè)內(nèi)容切換。
20.權(quán)利要求12～19的任何一個(gè)的編碼方法，其中內(nèi)容切換的檢測(cè)觸發(fā)了至少一個(gè)索引標(biāo)記同檢測(cè)到內(nèi)容切換的編碼輸出中對(duì)應(yīng)時(shí)間位置處的編碼輸出之間的關(guān)聯(lián)。
21.權(quán)利要求20的編碼方法，其中索引標(biāo)記包括參考信息，其指示所檢測(cè)到的內(nèi)容切換。
22.權(quán)利要求20或21的任何一個(gè)的編碼方法，其中協(xié)議信號(hào)指出了視頻會(huì)議傳輸?shù)囊暵?tīng)信號(hào)中出現(xiàn)的至少一個(gè)關(guān)鍵幀的時(shí)間位置，并且其中將編碼到編碼輸出中的關(guān)鍵幀安置在與編碼到所述輸出的索引標(biāo)記的位置相鄰或者相同的位置。
23.權(quán)利要求22的編碼方法，其中將編碼到編碼輸出中的關(guān)鍵幀安置在自索引標(biāo)記起的閾值時(shí)間內(nèi)。
24.權(quán)利要求22的編碼方法，其中關(guān)鍵幀被編碼在與索引標(biāo)記相同的時(shí)間位置處。
25.權(quán)利要求2～24的任何一個(gè)的編碼方法，其中當(dāng)自接收協(xié)議信號(hào)檢測(cè)到低內(nèi)容狀態(tài)時(shí)，對(duì)編碼輸出視聽(tīng)內(nèi)容進(jìn)行時(shí)間壓縮。
26.權(quán)利要求25的編碼方法，其中緩沖器用于對(duì)編碼輸出的視聽(tīng)內(nèi)容進(jìn)行時(shí)間壓縮。
27.一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)確定出現(xiàn)在所接收視聽(tīng)信號(hào)中的關(guān)鍵幀的時(shí)間位置，和(iv)將關(guān)鍵幀編碼到編碼輸出中的、與原始接收視聽(tīng)信號(hào)中檢測(cè)到關(guān)鍵幀的時(shí)間位置相同的時(shí)間位置處。
28.一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)在所接收的一個(gè)或者多個(gè)視聽(tīng)信號(hào)的視聽(tīng)內(nèi)容中的內(nèi)容切換，和(iv)將索引標(biāo)記編碼在檢測(cè)到內(nèi)容切換的時(shí)間位置處。
29.權(quán)利要求28的編碼方法，其中索引標(biāo)記被編碼在在自關(guān)鍵幀的時(shí)間位置起的時(shí)間閾值內(nèi)。
30.根據(jù)本發(fā)明的另一方面，提供了一種基本上如上文所述的編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)所接收視聽(tīng)信號(hào)的視聽(tīng)內(nèi)容中的內(nèi)容切換，和(iv)編碼關(guān)鍵幀，和(v)將索引標(biāo)記編碼在與編碼關(guān)鍵幀的時(shí)間位置相同或相鄰的時(shí)間位置處。
31.一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，和(iii)檢測(cè)所接收的一個(gè)或者多個(gè)視聽(tīng)信號(hào)中出現(xiàn)的低內(nèi)容狀態(tài)的存在，和(iv)在其中在所接收視頻會(huì)議傳輸中檢測(cè)到所述低內(nèi)容狀態(tài)的時(shí)間周期期間，對(duì)編碼輸出內(nèi)容進(jìn)行時(shí)間壓縮。
32.權(quán)利要求31的編碼方法，其中使用緩沖器接收視頻會(huì)議傳輸信號(hào)，由此緩沖器內(nèi)容播出到編碼處理中的速率確定了在編碼時(shí)應(yīng)用于原始視頻會(huì)議內(nèi)容的時(shí)間壓縮程度。
33.一種編碼視聽(tīng)媒體信號(hào)的方法，其特征在于以下步驟(i)接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，所述視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)，和(ii)讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，以確定所接收視頻會(huì)議傳輸?shù)木幋a特征，和(iii)接收來(lái)自至少一個(gè)用戶的編碼優(yōu)選，和(iv)自編碼處理的集合中選擇可以使用該用戶優(yōu)選和該編碼特征實(shí)現(xiàn)的編碼處理的子集，和(v)向用戶顯示編碼處理的子集。
34.一種基本如此處通過(guò)參考附圖和/或示例描述的并且由該附圖和/或示例說(shuō)明的編碼視聽(tīng)信號(hào)的方法。
35.一種基本如此處通過(guò)參考附圖和/或示例描述的并且由該附圖和/或示例說(shuō)明的編碼視聽(tīng)信號(hào)的方法。
36.適于實(shí)現(xiàn)如此處通過(guò)參考附圖和/或示例描述的并且由該附圖和/或示例說(shuō)明的編碼視聽(tīng)信號(hào)的方法的計(jì)算機(jī)軟件。
全文摘要
本發(fā)明涉及一種用于編碼視聽(tīng)媒體信號(hào)的方法、系統(tǒng)和裝置，該信號(hào)優(yōu)選地源自視頻會(huì)議傳輸。所提供的技術(shù)適于接收來(lái)自計(jì)算機(jī)網(wǎng)絡(luò)的視頻會(huì)議傳輸，其中該視頻會(huì)議傳輸包括至少一個(gè)視聽(tīng)信號(hào)和至少一個(gè)協(xié)議信號(hào)。然后自接收的傳輸讀取一個(gè)或者多個(gè)協(xié)議信號(hào)，所提供的技術(shù)將所選的編碼處理應(yīng)用于接收的視聽(tīng)信號(hào)，其中所選的該編碼處理取決于讀取的協(xié)議信號(hào)的內(nèi)容。
文檔編號(hào)H04N7/15GK1714554SQ03824526
公開(kāi)日2005年12月28日 申請(qǐng)日期2003年8月21日 優(yōu)先權(quán)日2002年8月23日
發(fā)明者克雷格·喬治·科克頓 申請(qǐng)人:艾克特斯有限公司