專利名稱：一種雙目立體字幕處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體顯示技術(shù)，具體的說是涉及一種雙目立體字幕處理方法。
背景技術(shù)：
與二維視頻顯示相比，立體視頻顯示與人的視覺特征更加匹配，使得人們在觀看圖像時富有立體感和沉浸感。隨著立體顯示技術(shù)的發(fā)展，各國政府和企業(yè)紛紛投入巨資進行立體電視的研究和開發(fā)。目前，立體電視已逐漸進入家庭，成為下一代電視的發(fā)展方向。
雙眼在觀察物體時，物體在雙眼視網(wǎng)膜上的成像位置上略有差異，稱為雙目視差。 雙目視差經(jīng)過大腦視覺皮層的融合，增強人們對于現(xiàn)實世界的立體感知效果。雙目立體視頻利用人眼雙目視差特性，使用兩個攝像機從兩個不同視點(視點間距一般等于人的雙目間距)獲取同一景物的兩個圖像，然后再把兩個圖像分別呈現(xiàn)給人的左右眼，大腦通過處理左視和右視圖像間的間距，感知圖像內(nèi)景物的深度信息，使得欣賞到的圖像具有強烈的深度感和逼真感。
由于立體視頻的字幕處理和平面視頻字幕處理方法不同，現(xiàn)有的立體播放設(shè)備往往還不支持常見的字幕文件。針對雙目立體視頻的字幕處理方法，目前還沒有統(tǒng)一的標準和規(guī)范。如果采用手動方式往左右視頻序列中依次插入透明字幕圖片的方法進行立體字幕的疊加，工作量非常巨大且深度感不易調(diào)整和測試。因此，在制作高質(zhì)量的雙目立體內(nèi)容過程中，如何對字幕信息進行處理是立體內(nèi)容制作的一個研究熱點和難點。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提出一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，提高字幕顯示品質(zhì)，使觀看者在觀看立體視頻中擁有更好的字幕效果體驗。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是一種雙目立體字幕處理方法，包括以下步驟 a.讀入雙目立體視頻內(nèi)容； b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定立體字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示； c.讀入字幕文件，獲得每一次字幕顯示的時間信息，將每次字幕顯示時左右眼首副圖像放入到緩沖區(qū)以待分析； d.對字幕顯示區(qū)域進行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)； e.根據(jù)立體字幕的視差數(shù)據(jù)進行字幕的疊加，將字幕壓縮到雙目立體視頻內(nèi)容之中； f.根據(jù)字幕文件中字幕顯示的時間區(qū)域持續(xù)插入立體字幕信息并與雙目立體視頻內(nèi)容一起進行編碼，當遇到新的字幕文件時，返回步驟C。
進一步，步驟f還包括當檢測到所有字幕信息顯示結(jié)束時，仍須對后續(xù)未編碼的雙目立體視頻內(nèi)容進行編碼。
進一步，所述雙目立體視頻內(nèi)容為雙目立體未壓縮的圖像序列。
進一步，所述雙目立體視頻內(nèi)容為已經(jīng)壓縮過的雙目立體視頻，則步驟a還包括 對雙目立體視頻進行解碼。
進一步，步驟b中，在獲取雙目立體視頻內(nèi)容中單路視頻的尺寸過程中，須進行左右路圖像的分離操作，對于水平或垂直方向有分辨率損失的圖像須進行分辨率還原，得到單路信號的全分辨率圖像序列。
進一步，步驟b中，所述立體字幕顯示區(qū)域為雙目立體視頻內(nèi)容畫面的下方矩形區(qū)域。
進一步，步驟d中，對字幕顯示區(qū)域進行立體圖像像素匹配，獲得左右眼圖像的最大視差信息的具體方法為假設(shè)該字幕顯示區(qū)域的水平像素寬度為M，則可將該區(qū)域分為 「Μ/Λη個NxN的子塊；假設(shè)左路圖像中的某個NxN塊的左上角像素點的坐標為O^yi),經(jīng)過立體圖像像素匹配后，對應(yīng)右路圖像匹配塊的左上角像素點的坐標為(x' i’y'」)，記d =Xi-X' i，如果d為正，則該子塊位于立體顯示屏外，如果d為負，則該子塊位于立體顯示屏內(nèi)； 依次對左路圖像字幕顯示區(qū)域各子塊進行立體圖像匹配，記錄左路子塊及其右路匹配塊的左上角像素點的橫坐標之差的最大值dmax，則有， 當dmax > 0時，左右眼立體字幕的視差數(shù)據(jù)為 ds = (l+k)dmax，其中k的取值在0. 1 0. 2之間； 當dmax彡0時，則立體字幕不會擋住原有立體視頻中的畫面信息，取ds > 0即可。
進一步，步驟e中，根據(jù)立體字幕的視差數(shù)據(jù)進行字幕疊加的具體方法是將雙目立體視頻內(nèi)容中的左路視頻圖像直接疊加字幕信息，右路視頻圖像中字幕信息水平偏移量為根據(jù)步驟d中計算的左右眼圖像的最大視差信息，將左右路字幕信息疊加到雙目立體視頻內(nèi)容中進行編碼。
本發(fā)明的有益效果是通過對每次字幕顯示時左右眼首副圖像字幕顯示區(qū)域進行立體圖像像素匹配，得到字幕顯示區(qū)域左右眼圖像的視差信息。為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差， 使觀看者能在觀看雙目立體視頻內(nèi)容過程中獲得更好的立體字幕效果體驗。


圖1為本發(fā)明的方法流程圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明作進一步的描述。
本發(fā)明提出一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，該方法通過對每次字幕顯示時左右眼首副圖像字幕顯示區(qū)域進行立體圖像像素匹配， 得到字幕顯示區(qū)域左右眼圖像的視差信息。為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差，使觀看者能在觀看雙目立體視頻內(nèi)容過程中獲得更好的立體字幕效果體驗。
如圖1所示，本發(fā)明的方案通過以下步驟來實現(xiàn) a.讀入雙目立體視頻內(nèi)容，可支持雙目立體視頻內(nèi)容和雙目立體的圖像序列，如果為雙目立體視頻內(nèi)容時需將該內(nèi)容重新解碼成圖像序列重新編碼，進入步驟b ； b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定雙目立體視頻內(nèi)容字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示，進入步驟C，由于雙目立體視頻內(nèi)容的格式較多，如左右格式(Side by Side)、上下格式(Top and Bottom)格式、幀封裝格式(Frame Packing)、幀序列格式(Frame Sequential)等，須進行左右路圖像的分離操作，對于水平或垂直方向有分辨率損失的圖像須進行分辨率還原，得到單路信號的全分辨率圖像序列； 在獲得雙目立體內(nèi)容中單路圖像的全分辨率圖像尺寸后，確定雙目立體視頻內(nèi)容字幕顯示區(qū)域。在字幕信息插入位置時，可將立體字幕信息插入到原有視頻畫面內(nèi)和畫面外兩種情形，其中將立體字幕信息插入到原有視頻畫面外時，往往需要對原有雙目立體內(nèi)容進行黑邊處理，立體字幕信息不必直接疊加到原有立體視頻內(nèi)容之中，這種處理方法只需手動設(shè)定左右路字幕的視差即可，而本發(fā)明主要考慮將字幕信息插入到原有視頻畫面內(nèi)的情形。常見二維視頻字幕信息通常位于視頻畫面下方區(qū)域，在雙目立體字幕處理時也可將字幕位置放在視頻畫面下方區(qū)域，確定矩形區(qū)域為立體字幕的顯示區(qū)域，該區(qū)域須保證立體字幕信息的完全顯示。
c.讀入二維視頻字幕文件，獲得每一次顯示字幕的時間信息，將每次字幕顯示時左右眼首副全分辨率圖像放入到緩沖區(qū)待下一步進行立體圖像像素匹配分析，進入步驟 d； d.對字幕顯示區(qū)域進行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)，進入步驟e ； 具體方法是假設(shè)左路圖像字幕顯示區(qū)域內(nèi)像素點C(k，1)的亮度為IJk，1)，對應(yīng)右路圖像該像素C (k，l)的亮度為Ir(k，l)。采用NxN子塊進行像素匹配，采用平均絕對誤差MAD (Mean Absolute Deviation)準則進行匹配。其中，
權(quán)利要求
1.一種雙目立體字幕處理方法，其特征在于包括以下步驟a.讀入雙目立體視頻內(nèi)容；b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定立體字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示；c.讀入字幕文件，獲得每一次字幕顯示的時間信息，將每次字幕顯示時左右眼首副圖像放入到緩沖區(qū)以待分析；d.對字幕顯示區(qū)域進行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)；e.讀入字幕文件，根據(jù)立體字幕的視差數(shù)據(jù)進行字幕的疊加，將字幕壓縮到雙目立體視頻內(nèi)容之中；f.根據(jù)字幕文件中字幕顯示的時間區(qū)域持續(xù)插入立體字幕信息并與雙目立體視頻內(nèi)容一起進行編碼，當遇到新的字幕文件時，返回步驟C。
2.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于步驟f還包括當檢測到所有字幕信息顯示結(jié)束時，仍須對后續(xù)未編碼的雙目立體視頻內(nèi)容進行編碼。
3.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于所述雙目立體視頻內(nèi)容為雙目立體視頻內(nèi)容為雙目立體未壓縮的圖像序列。
4.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于所述雙目立體視頻內(nèi)容為已經(jīng)壓縮過的雙目立體視頻，則步驟a還包括對雙目立體視頻進行解碼。
5.如權(quán)利要求1-4任意一項所述的一種雙目立體字幕處理方法，其特征在于步驟b 中，在獲取雙目立體視頻內(nèi)容中單路視頻的尺寸過程中，須進行左右路圖像的分離操作，對于水平或垂直方向有分辨率損失的圖像須進行分辨率還原，得到單路信號的全分辨率圖像序列。
6.如權(quán)利要求5所述的一種雙目立體字幕處理方法，其特征在于步驟b中，所述立體字幕顯示區(qū)域為雙目立體視頻內(nèi)容畫面的下方矩形區(qū)域。
7.如權(quán)利要求6所述的一種雙目立體字幕處理方法，其特征在于步驟d中，對字幕顯示區(qū)域進行立體圖像像素匹配，獲得左右眼圖像的最大視差信息的具體方法為假設(shè)該字幕顯示區(qū)域的水平像素寬度為M，則可將該區(qū)域分為「Μ/Λη個NxN的子塊；假設(shè)左路圖像中的某個NxN塊的左上角像素點的坐標為(Xi，yi)，經(jīng)過立體圖像像素匹配后，對應(yīng)右路圖像匹配塊的左上角像素點的坐標為(x' i，y'」)，記d = Xi-' i，如果d為正，則該子塊位于立體顯示屏外，如果d為負，則該子塊位于立體顯示屏內(nèi)；依次對左路圖像字幕顯示區(qū)域各子塊進行立體圖像匹配，記錄左路子塊及其右路匹配塊的左上角像素點的橫坐標之差的最大值dmax，則有，當dmax > 0時，左右眼立體字幕的視差數(shù)據(jù)為ds = (1+k) dmax，其中k的取值在0. 1 0. 2之間；當dmax ( 0時，則立體字幕不會擋住原有立體視頻中的畫面信息，取ds > 0即可。
8.如權(quán)利要求7所述的一種雙目立體字幕處理方法，其特征在于步驟e中，根據(jù)立體字幕的視差數(shù)據(jù)進行字幕疊加的具體方法是將雙目立體視頻內(nèi)容中的左路視頻圖像直接疊加字幕信息，右路視頻圖像中字幕信息水平偏移量為根據(jù)步驟d中計算的左右眼圖像的最大視差信息，將左右路字幕信息疊加到雙目立體視頻內(nèi)容中進行編碼。
全文摘要
本發(fā)明涉及立體顯示技術(shù)，其公開了一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，其技術(shù)方案的要點可概括為該方法通過對每次字幕顯示時左右眼首副圖像字幕顯示區(qū)域進行立體圖像像素匹配，得到字幕顯示區(qū)域左右眼圖像的視差信息；為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差，使觀看者能在觀看雙目立體視頻過程中獲得更好的立體字幕效果體驗，適用于3D立體顯示。
文檔編號H04N5/278GK102186023SQ20111010675
公開日2011年9月14日 申請日期2011年4月27日 優(yōu)先權(quán)日2011年4月27日
發(fā)明者曾超 申請人:四川長虹電器股份有限公司