一種全景視頻實(shí)現(xiàn)同步幀的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種全景視頻實(shí)現(xiàn)同步幀的方法，包括以下步驟：S1、多臺(tái)設(shè)備開(kāi)始錄像；S2、所述多臺(tái)設(shè)備同時(shí)多次接收到同步信號(hào)，并在當(dāng)前編碼的視頻幀上繪制一識(shí)別碼；S3、分別提取所述具有識(shí)別碼的同步幀，并同步合成全景視頻。一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，用于執(zhí)行以上所述的方法；其包括微處理器、圖像采集模塊、存儲(chǔ)模塊和顯示模塊；所述圖像采集模塊、存儲(chǔ)模塊和顯示模塊均與微處理器連接。通過(guò)識(shí)別一幀特別處理的視頻幀來(lái)作為全景視頻的時(shí)間戳，實(shí)現(xiàn)全景視頻的同步?？朔藗鹘y(tǒng)全景視頻無(wú)法實(shí)現(xiàn)提供同步時(shí)間戳。通過(guò)識(shí)別特殊的視頻幀，不需另加模塊，實(shí)現(xiàn)起來(lái)更加靈活，方便，且能實(shí)現(xiàn)精確同步。廣泛應(yīng)用于圖像拼接技術(shù)。
【專利說(shuō)明】
一種全景視頻實(shí)現(xiàn)同步幀的方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像拼接技術(shù)，具體為全景視頻實(shí)現(xiàn)同步幀的方法及系統(tǒng)。
【背景技術(shù)】
[0002]I幀:又稱為內(nèi)部畫面，I幀通常是每個(gè)G0P(MPEG所使用的一種視頻壓縮技術(shù))的第一個(gè)幀，經(jīng)過(guò)適度地壓縮，做為隨機(jī)訪問(wèn)的參考點(diǎn)，可以當(dāng)成圖像。
[0003]gop:Group of Pictures，策略影響編碼質(zhì)量:所謂gop，意思是畫面組，一個(gè)gop就是一組連續(xù)的畫面。
[0004]YUV是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法(屬于PAL)，是PAL和SECAM模擬彩色電視制式采用的顏色空間。在現(xiàn)代彩色電視系統(tǒng)中，通常采用三管彩色攝影機(jī)或彩色C⑶攝影機(jī)進(jìn)行取像，然后把取得的彩色圖像信號(hào)經(jīng)分色、分別放大校正后得到RGB，再經(jīng)過(guò)矩陣變換電路得到亮度信號(hào)Y和兩個(gè)色差信號(hào)B—Y(即U)、R—Y(即V)，最后發(fā)送端將亮度和色差三個(gè)信號(hào)分別進(jìn)行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。采用YUV色彩空間的重要性是它的亮度信號(hào)Y和色度信號(hào)U、V是分離的。
[0005]全景視頻即720度或者360度全景視頻，它是在720度或者360度全景的技術(shù)之上發(fā)展延伸而來(lái)，它將靜態(tài)的全景圖片轉(zhuǎn)化為動(dòng)態(tài)的視頻圖像，全景視頻可以在拍攝角度左右上下360度的任意觀看動(dòng)態(tài)視頻?，F(xiàn)有的全景視頻無(wú)法實(shí)現(xiàn)提供同步時(shí)間戳，僅以開(kāi)始錄像為全景視頻的開(kāi)始點(diǎn)，結(jié)束錄像為全景視頻的結(jié)束點(diǎn)。因此有必要進(jìn)行改進(jìn)。

【發(fā)明內(nèi)容】

[0006]為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的是提供一種可靈活精確的實(shí)現(xiàn)全景視頻的同步幀的方法及系統(tǒng)。
[0007]本發(fā)明所采用的技術(shù)方案是:
一種全景視頻實(shí)現(xiàn)同步幀的方法，包括以下步驟:S1、多臺(tái)設(shè)備開(kāi)始錄像；
52、所述多臺(tái)設(shè)備同時(shí)多次接收到同步信號(hào)，并在當(dāng)前編碼的視頻幀上繪制一識(shí)別碼；
53、分別提取所述具有識(shí)別碼的同步幀，并同步合成全景視頻。
[0008]作為該技術(shù)方案的改進(jìn)，在所述步驟S2中，當(dāng)前編碼的視頻幀為隨機(jī)幀。
[0009]作為該技術(shù)方案的改進(jìn)，所述步驟S3包括采用就近原則配對(duì)同步信號(hào)。
[0010]作為該技術(shù)方案的改進(jìn)，所述識(shí)別碼包括黑白相間的矩形圖案。
[0011]進(jìn)一步地，所述步驟S3包括采用YUV色彩空間來(lái)檢測(cè)識(shí)別碼的顏色分布。
[0012]進(jìn)一步地，所述步驟S3包括:
將所述同步幀解碼為YUV圖像；
通過(guò)YUV格式的圖像分別累加所述黑白相間矩形的各純色塊識(shí)別碼區(qū)域的Y分量，求平均值，可獲取識(shí)別碼的顏色分布；
根據(jù)所得顏色分布進(jìn)行同步幀的識(shí)別與提取。
[0013]另一方面，本發(fā)明還提供一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，包括存儲(chǔ)程序的存儲(chǔ)器和一處理器，所述處理器運(yùn)行所述程序以執(zhí)行所述的方法。
[0014]再一方面，本發(fā)明還提供一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，包括微處理器、圖像采集模塊、存儲(chǔ)模塊和顯示模塊;所述圖像采集模塊、存儲(chǔ)模塊和顯示模塊均與微處理器連接。
[0015]本發(fā)明的有益效果是:本發(fā)明通過(guò)識(shí)別一幀特別處理的視頻幀來(lái)作為全景視頻的時(shí)間戳，實(shí)現(xiàn)全景視頻的同步?？朔藗鹘y(tǒng)全景視頻無(wú)法實(shí)現(xiàn)提供同步時(shí)間戳。本發(fā)明通過(guò)識(shí)別特殊的視頻幀為全景視頻提供時(shí)間戳，不需另加模塊，實(shí)現(xiàn)起來(lái)更加靈活，方便，且能實(shí)現(xiàn)精確同步。
[0016]本發(fā)明通過(guò)為合成全景視頻提供時(shí)間戳，任意時(shí)候都可實(shí)現(xiàn)全景視頻的同步，從而實(shí)現(xiàn)了全景視頻可根據(jù)使用者任意裁剪及精確同步。本發(fā)明主要解決了全景視頻制作時(shí)精確同步的問(wèn)題。
【附圖說(shuō)明】
[0017]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步說(shuō)明:
圖1是本發(fā)明一實(shí)施例的步驟流程示意圖；
圖2是本發(fā)明第二實(shí)施例的步驟流程示意圖；
圖3是本發(fā)明第三實(shí)施例的示意圖；
圖4是本發(fā)明第四實(shí)施例的系統(tǒng)示意圖。
【具體實(shí)施方式】
[0018]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0019]—種全景視頻實(shí)現(xiàn)同步幀的方法，包括以下步驟:S1、多臺(tái)設(shè)備開(kāi)始錄像；
52、所述多臺(tái)設(shè)備同時(shí)多次接收到同步信號(hào)，并在當(dāng)前編碼的視頻幀上繪制一識(shí)別碼；
53、分別提取所述具有識(shí)別碼的同步幀，并同步合成全景視頻。
[0020]作為該技術(shù)方案的改進(jìn)，在所述步驟S2中，當(dāng)前編碼的視頻幀為隨機(jī)幀。
[0021]作為該技術(shù)方案的改進(jìn)，所述步驟S3包括采用就近原則配對(duì)同步信號(hào)。
[0022]作為該技術(shù)方案的改進(jìn)，所述識(shí)別碼包括黑白相間的矩形圖案。
[0023]進(jìn)一步地，所述步驟S3包括采用YUV色彩空間來(lái)檢測(cè)識(shí)別碼的顏色分布。
[0024]進(jìn)一步地，所述步驟S3包括:
將所述同步幀解碼為YUV圖像；
通過(guò)YUV格式的圖像分別累加所述黑白相間矩形的各純色塊識(shí)別碼區(qū)域的Y分量，求平均值，可獲取識(shí)別碼的顏色分布；
根據(jù)所得顏色分布進(jìn)行同步幀的識(shí)別與提取。
[0025]參照?qǐng)D1，是本發(fā)明一實(shí)施例的步驟流程示意圖。全景視頻通過(guò)多臺(tái)相機(jī)取景，通過(guò)同步幀的方式來(lái)獲取每臺(tái)相機(jī)的全景素材，從而實(shí)現(xiàn)全景視頻的合成。一種全景視頻實(shí)現(xiàn)同步幀的方法，包括以下步驟:
51、多臺(tái)設(shè)備開(kāi)始錄像；
52、所述多臺(tái)設(shè)備同時(shí)多次接收到同步信號(hào)，并在當(dāng)前編碼的視頻幀上繪制一識(shí)別碼； S3、分別提取所述具有識(shí)別碼的同步幀，并同步合成全景視頻。
[0026]進(jìn)一步地，在所述步驟S2中，當(dāng)前編碼的視頻幀為隨機(jī)幀。
[0027]作為優(yōu)選的實(shí)施例，同步幀為I幀，使用I幀做為同步幀，則減小了gop周期，以此來(lái)降低因?yàn)間op周期導(dǎo)致的各相機(jī)I幀的時(shí)間差。
[0028]所述步驟S3包括采用就近原則配對(duì)同步信號(hào)。
[0029]具體地，同步信號(hào)(或同步幀)采取就近配對(duì)原則，第一個(gè)同步信號(hào)為同步開(kāi)始信號(hào)，則第二個(gè)同步信號(hào)則為同步結(jié)束信號(hào)，以此類推。這2個(gè)信號(hào)之間的視頻即為全景素材。例如有4個(gè)同步信號(hào)，則1、2信號(hào)配對(duì)，3、4信號(hào)配對(duì);若有3個(gè)同步信號(hào)，則1、2配對(duì)，第3個(gè)同步信號(hào)舍棄。
[0030]參照?qǐng)D2，是本發(fā)明第二實(shí)施例的步驟流程示意圖。一種全景視頻實(shí)現(xiàn)同步幀的方法，其包括以下步驟:
Sll，對(duì)多臺(tái)相機(jī)建立同一控制臺(tái)，由控制臺(tái)作為幀同步基準(zhǔn)，控制臺(tái)可發(fā)出同步開(kāi)始信號(hào)和同步結(jié)束信號(hào);兩種信號(hào)雖外部表現(xiàn)不同，本質(zhì)上為同一處理方式，以下統(tǒng)稱為同步信號(hào)。
[0031 ] S22，開(kāi)始錄像后，控制臺(tái)發(fā)出同步請(qǐng)求，若相機(jī)已做好準(zhǔn)備，則像控制臺(tái)發(fā)出請(qǐng)求同步信號(hào)，當(dāng)控制臺(tái)接收到所有相機(jī)的請(qǐng)求信號(hào)后，向所有相機(jī)同時(shí)發(fā)出同步信號(hào)，結(jié)束全景時(shí)再由控制臺(tái)統(tǒng)一同時(shí)發(fā)出結(jié)束信號(hào)。
[0032]S33，相機(jī)收到同步信號(hào)后，在當(dāng)前編碼的視頻幀上繪制指定識(shí)別碼，識(shí)別碼的繪制方式如上圖所示，為黑白相間色塊。
[0033]S44，全景視頻合成時(shí)，提取H264同步幀解碼為YUV圖像。
[0034]S55，通過(guò)YUV格式的圖像分別累加各純色塊識(shí)別碼區(qū)域的Y分量，求平均值，即可獲取識(shí)別碼的顏色分布。
[0035]S66，檢測(cè)到的第一個(gè)同步幀即為第一段全景視頻的開(kāi)始，全景視頻的合成通過(guò)同步信號(hào)配對(duì)的方式來(lái)采樣視頻數(shù)據(jù)，完成全景視頻的制作。
[0036]參照?qǐng)D3，是本發(fā)明第三實(shí)施例的示意圖。作為本發(fā)明的一實(shí)施例，其中同步幀的標(biāo)示方法為:當(dāng)主控收到同步信號(hào)，在編碼的視頻幀的左上角區(qū)域繪制100*200像素黑白交叉實(shí)心矩形。采用黑白相間色塊增加圖像識(shí)別的容錯(cuò)率，避免應(yīng)黑夜、純色塊以及特殊場(chǎng)景的誤判，同時(shí)降低識(shí)別難度，通過(guò)分析矩形框中各個(gè)色塊的顏色以及顏色面積來(lái)實(shí)現(xiàn)對(duì)同步幀的識(shí)別。
[0037]全景視頻制作時(shí)，檢測(cè)視頻幀左上角區(qū)域200*100像素點(diǎn)矩形框中顏色分布，若檢測(cè)到如上顏色分布，則記錄該幀為同步幀，確定該處為全景視頻開(kāi)始點(diǎn)，同時(shí)繼續(xù)向后檢索下一個(gè)同步幀，以此確定全景視頻的結(jié)束點(diǎn)，從而實(shí)現(xiàn)全景視頻的同步。
[0038]正如幾何上用坐標(biāo)空間來(lái)描述坐標(biāo)集合，色彩空間用數(shù)學(xué)方式來(lái)描述顏色集合。常見(jiàn)的3個(gè)基本色彩模型是RGB，CMYK和YUV。通過(guò)采用YUV色彩空間來(lái)檢測(cè)識(shí)別碼的顏色分布，YUV的關(guān)鍵在于它的亮度信號(hào)Y和色度信號(hào)U、V是分離的。如果只有Y信號(hào)分量而沒(méi)有U、V分量，那么這樣表示的圖像就是黑白灰度圖像，由于識(shí)別碼為黑白色塊，與彩色信息無(wú)關(guān)，使用Y信號(hào)分量即可檢索顏色區(qū)域分布。
[0039]YCbCr則是在世界數(shù)字組織視頻標(biāo)準(zhǔn)研制過(guò)程中作為ITU - R BT.601建議的一部分，其實(shí)是YUV經(jīng)過(guò)縮放和偏移的翻版。YCbCr其中Y是指亮度分量，Cb指藍(lán)色色度分量，而Cr指紅色色度分量。人的肉眼對(duì)視頻的Y分量更敏感，因此在通過(guò)對(duì)色度分量進(jìn)行子采樣來(lái)減少色度分量后，肉眼將察覺(jué)不到的圖像質(zhì)量的變化。YUV主要的采樣格式有YCbCr 4:2:
0、YCbCr 4:2:2, YCbCr 4:1:1和YCbCr 4:4:4，作為本發(fā)明的一實(shí)施例，使用由H264解碼獲得的YUV420采樣格式。
[0040]另一方面，本發(fā)明還提供一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，包括存儲(chǔ)程序的存儲(chǔ)器和一處理器，所述處理器運(yùn)行所述程序以執(zhí)行所述的方法。
[0041]再一方面，本發(fā)明還提供一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，包括微處理器、圖像采集模塊、存儲(chǔ)模塊和顯示模塊;所述圖像采集模塊、存儲(chǔ)模塊和顯示模塊均與微處理器連接。
[0042]參照?qǐng)D4，是本發(fā)明第四實(shí)施例的系統(tǒng)示意圖。一種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，其用于執(zhí)行所述的一種全景視頻實(shí)現(xiàn)同步幀的方法，其包括微處理器、圖像采集模塊、存儲(chǔ)模塊和顯示模塊;所述圖像采集模塊、存儲(chǔ)模塊和顯示模塊均與微處理器連接。
[0043]具體的，所述圖像采集模塊為攝像頭模塊，所述顯示模塊為L(zhǎng)CD顯示模塊。
[0044]以上是對(duì)本發(fā)明的較佳實(shí)施進(jìn)行了具體說(shuō)明，但本發(fā)明創(chuàng)造并不限于所述實(shí)施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于包括以下步驟:S1、多臺(tái)設(shè)備開(kāi)始錄像； 52、所述多臺(tái)設(shè)備同時(shí)多次接收到同步信號(hào)，并在當(dāng)前編碼的視頻幀上繪制一識(shí)別碼； 53、分別提取所述具有識(shí)別碼的同步幀，并同步合成全景視頻。2.根據(jù)權(quán)利要求1所述的全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于，在所述步驟S2中，當(dāng)前編碼的視頻幀為隨機(jī)幀。3.根據(jù)權(quán)利要求2所述的全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于，所述步驟S3包括采用就近原則配對(duì)同步信號(hào)。4.根據(jù)權(quán)利要求3所述的全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于:所述識(shí)別碼包括黑白相間的矩形圖案。5.根據(jù)權(quán)利要求4所述的全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于，所述步驟S3包括采用YUV色彩空間來(lái)檢測(cè)識(shí)別碼的顏色分布。6.根據(jù)權(quán)利要求5所述的全景視頻實(shí)現(xiàn)同步幀的方法，其特征在于，所述步驟S3包括: 將所述同步幀解碼為YUV圖像； 通過(guò)YUV格式的圖像分別累加所述黑白相間矩形的各純色塊識(shí)別碼區(qū)域的Y分量，求平均值，可獲取識(shí)別碼的顏色分布； 根據(jù)所得顏色分布進(jìn)行同步幀的識(shí)別與提取。7.—種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，包括存儲(chǔ)程序的存儲(chǔ)器和一處理器，其特征在于，所述處理器運(yùn)行所述程序以執(zhí)行權(quán)利要求1至6任一項(xiàng)所述的方法。8.—種全景視頻實(shí)現(xiàn)同步幀的系統(tǒng)，其特征在于，包括微處理器、圖像采集模塊、存儲(chǔ)模塊和顯示模塊;所述圖像采集模塊、存儲(chǔ)模塊和顯示模塊均與微處理器連接。
【文檔編號(hào)】H04N9/04GK106027886SQ201610332871
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月17日
【發(fā)明人】唐耿紅, 楊自和
【申請(qǐng)人】深圳市極酷威視科技有限公司