一種視頻碼流中全景信息的標(biāo)識(shí)方法和標(biāo)識(shí)裝置的制造方法
【專利摘要】本發(fā)明的視頻碼流中全景信息的標(biāo)識(shí)方法，包括：獲取視頻全景處理中的全景信息；將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中?？梢栽谌耙曨l生成的完整步驟中，將每個(gè)處理過程中形成或利用的全景信息獨(dú)立編碼，與處理形成的相應(yīng)部分視頻片段形成全景視頻的相應(yīng)部分視頻碼流。充分利用了現(xiàn)有的視頻編碼標(biāo)準(zhǔn)中定義的參數(shù)集，使得解碼端可以依據(jù)參數(shù)集中的參數(shù)對(duì)視頻碼流進(jìn)行解碼解析和后續(xù)處理。還包括視頻碼流中全景信息的標(biāo)識(shí)裝置。
【專利說明】
一種視頻碼流中全景信息的標(biāo)識(shí)方法和標(biāo)識(shí)裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種數(shù)據(jù)處理方法和處理裝置，特別是涉及一種視頻處理數(shù)據(jù)的處理方法和處理裝置。
【背景技術(shù)】
[0002]全景視頻技術(shù)的飛速發(fā)展，給用戶帶來了一種全新的生動(dòng)震撼的觀看體驗(yàn)，在視頻廣播、通信、游戲和監(jiān)控等領(lǐng)域，有著遠(yuǎn)大和廣泛的應(yīng)用前景。全景視頻的制作包括全景視頻的采集、圖像拼接、格式轉(zhuǎn)換和渲染等過程，其中圖像拼接是關(guān)鍵步驟，包括攝像機(jī)的標(biāo)定、傳感器圖像畸變校正、圖像的投影變換、匹配點(diǎn)選取、全景圖像融合，以及亮度與顏色的均衡處理等具體過程。全景視頻數(shù)據(jù)量龐大，是傳統(tǒng)單個(gè)攝像機(jī)采集的單目視頻的數(shù)據(jù)量的兩倍，甚至更大，無法在實(shí)際應(yīng)用中進(jìn)行網(wǎng)絡(luò)傳輸。因此，需要對(duì)全景視頻進(jìn)行編碼。然而，現(xiàn)有的視頻編解碼標(biāo)準(zhǔn)僅針對(duì)單個(gè)攝像機(jī)采集的單目視頻，不支持直接對(duì)全景視頻編解碼。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明實(shí)施例提供了一種視頻碼流中全景信息的標(biāo)識(shí)方法，解決傳輸全景視頻占用帶寬資源巨大，以及現(xiàn)有視頻編解碼標(biāo)準(zhǔn)不支持編解碼全景視頻的問題，實(shí)現(xiàn)對(duì)全景視頻的編解碼和高效地網(wǎng)絡(luò)傳輸。
[0004]本發(fā)明實(shí)施例還提供了一種視頻碼流中全景信息的標(biāo)識(shí)裝置，解決現(xiàn)有視頻碼流處理不能完成全景視頻的編解碼，無法靈活網(wǎng)絡(luò)傳輸?shù)膯栴}。
[0005]本發(fā)明的視頻碼流中全景信息的標(biāo)識(shí)方法，包括:
[0006]獲取視頻全景處理中的全景信息；
[0007]將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中。
[0008]所述獲取視頻全景處理中的全景信息，包括:
[0009]獲取所在處理過程中的全景信息。
[0010]所述獲取視頻全景處理中的全景信息，包括:
[0011]獲取所在處理步驟中的所在處理過程的信息，或/和獲取視頻全景處理中的所在處理步驟的信息。
[0012]還包括:
[0013]將所述視頻碼流按需傳輸。
[0014]所述將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中，還包括:
[0015]記錄相應(yīng)處理步驟和處理過程的全景信息變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。
[0016]還包括:
[0017]獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息；
[0018]根據(jù)解析的全景信息，完成后續(xù)視頻拼接及渲染過程，并輸出。
[0019]本發(fā)明的視頻碼流中全景信息的標(biāo)識(shí)裝置，包括全景信息獲取裝置、參數(shù)編碼裝置和參數(shù)封裝裝置，其中:
[0020]全景信息獲取裝置，用于獲取所在處理過程中的全景信息；
[0021 ]參數(shù)編碼裝置，用于將相應(yīng)處理步驟和處理過程的全景信息編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)；
[0022]參數(shù)封裝裝置，用于將參數(shù)數(shù)據(jù)封裝在單元結(jié)構(gòu)中，與處理過程形成的視頻形成視頻碼流。
[0023]還包括處理步驟標(biāo)記裝置和處理過程標(biāo)記裝置，其中:
[0024]處理步驟標(biāo)記裝置，用于獲取視頻全景處理中的所在處理步驟的信息；
[0025]處理過程標(biāo)記裝置，用于獲取所在處理步驟中的所在處理過程的信息。
[0026]還包括碼流轉(zhuǎn)發(fā)裝置，用于將視頻碼流按需傳輸。
[0027]還包括碼流解析裝置和全景視頻生成裝置，其中:
[0028]碼流解析裝置，用于獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息或參數(shù)數(shù)據(jù)；
[0029]全景視頻生成裝置，用于根據(jù)解析的全景信息或參數(shù)數(shù)據(jù)，完成后續(xù)視頻拼接及渲染過程并輸出。
[0030]所述參數(shù)編碼裝置，還用于記錄相應(yīng)處理步驟和處理過程的全景信息的變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。
[0031]本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法可以在全景視頻生成的完整步驟中，將每個(gè)處理過程中形成或利用的全景信息獨(dú)立編碼，與處理形成的相應(yīng)部分視頻片段形成部分全景視頻碼流。充分利用了現(xiàn)有的視頻編碼標(biāo)準(zhǔn)中定義的參數(shù)集，包括序列參數(shù)集、圖像參數(shù)集和補(bǔ)充增強(qiáng)信息參數(shù)集等。如其中補(bǔ)充增強(qiáng)信息參數(shù)集用于封裝擴(kuò)展功能信息，解碼端依據(jù)參數(shù)集中的參數(shù)對(duì)視頻碼流進(jìn)行解碼解析和后續(xù)處理。
[0032]本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置可以將全景視頻形成過程中的全景信息獨(dú)立編碼，插入相應(yīng)的視頻碼流，形成全景視頻的編解碼，完成靈活地網(wǎng)絡(luò)傳輸。
【附圖說明】
[0033]圖1為本發(fā)明視頻碼流中全景信息的標(biāo)識(shí)方法實(shí)施例的流程圖一；
[0034]圖2為本發(fā)明視頻碼流中全景信息的標(biāo)識(shí)方法實(shí)施例的流程圖二；
[0035]圖3為本發(fā)明視頻碼流中全景信息的標(biāo)識(shí)裝置實(shí)施例的結(jié)構(gòu)示意圖一；
[0036]圖4為本發(fā)明視頻碼流中全景信息的標(biāo)識(shí)裝置實(shí)施例的結(jié)構(gòu)示意圖二。
【具體實(shí)施方式】
[0037]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。圖紙中的步驟編號(hào)僅用于作為該步驟的附圖標(biāo)記，不表示執(zhí)行順序。
[0038]本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，主要包括獲取視頻全景處理中的全景信息，將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中，與全景處理后的全景視頻碼流同步傳輸。
[0039]如圖1所示，本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，包括:
[0040]獲取視頻全景處理中的所在處理步驟的信息；
[0041 ]獲取所在處理步驟中的所在處理過程的信息；
[0042]獲取所在處理過程(完成)中的全景信息；
[0043]將相應(yīng)處理步驟和處理過程的全景信息編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中(語(yǔ)法)單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)；
[0044]將參數(shù)數(shù)據(jù)封裝在單元結(jié)構(gòu)中，與處理過程形成的視頻形成視頻碼流；
[0045]將視頻碼流按需傳輸。
[0046]上述全景信息，包括在不同步驟的不同階段，對(duì)全景視頻的形成，做出視覺特征改變的狀態(tài)參數(shù)信息或控制參數(shù)信息，包括但不限于以下全景參數(shù):
[0047]投影方式參數(shù)，包括立方體投影，圓柱體投影，棱錐投影等。
[0048]排列方式參數(shù)，包括正方形圖像的排列方式，如前-后-左-右-上-下，左上-右上-左下-右下等。
[0049]立體影像模式畫面布局參數(shù)，包括雙目三維左右排列視頻，雙目三維上下排列視頻等。
[0050]幀圖像尺寸參數(shù)，包括單目二維視頻包含的一幅圖像的寬度和高度，雙目三維視頻包含的兩幅圖像的寬度和高度等。
[0051]拼接全景視頻邊側(cè)參數(shù)，包括全景視頻左側(cè)被裁掉的列數(shù)，全景視頻頂部被裁掉的行數(shù)，全景視頻的寬度，全景視頻的高度等。
[0052]拼接全景視頻角度參數(shù)，包括全景視頻水平方向的環(huán)繞度數(shù)，全景視頻俯仰角的上限，全景視頻俯仰角的下限等。
[0053]渲染全景視頻角度參數(shù)，包括初始顯示畫面中心的水平方位角度，初始顯示畫面中心的俯仰角度，初始繞顯示畫面中心旋轉(zhuǎn)的角度等。
[0054]渲染全景視頻尺寸參數(shù)，包括顯示畫面的圖像寬度，顯示畫面的圖像高度，畫面顯示的初始水平視角，畫面顯示的最大水平視角，畫面顯示的最小水平視角等。
[0055]處理模塊參數(shù)，包括拼接軟件的名稱，版本等。
[0056]場(chǎng)景采集參數(shù)，包括攝像機(jī)的個(gè)數(shù)，擺位等。
[0057]上述單元結(jié)構(gòu)為標(biāo)準(zhǔn)碼流結(jié)構(gòu)(語(yǔ)法結(jié)構(gòu))明確定義的語(yǔ)法單元。本實(shí)施例中的單元結(jié)構(gòu)優(yōu)選補(bǔ)充增強(qiáng)信息單元(SEI)，充分利用補(bǔ)充增強(qiáng)信息單元與視頻數(shù)據(jù)的同步性，使得參數(shù)數(shù)據(jù)可以隨視頻碼流實(shí)時(shí)傳輸，使得處理軟件實(shí)時(shí)獲得，實(shí)時(shí)處理。
[0058]上述按需傳輸，包括但不限于受控的順序傳輸、點(diǎn)對(duì)多點(diǎn)傳輸、廣播傳輸和變速率傳輸?shù)葌鬏敺绞降牟糠只蛉俊?br>[0059]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，可以在全景視頻生成的完整步驟中，將每個(gè)處理過程中形成或利用的全景信息獨(dú)立編碼，與過程形成的中間視頻片段形成部分全景視頻碼流，進(jìn)而形成完整的全景視頻的編碼過程。同時(shí)充分利用了現(xiàn)有的視頻編碼標(biāo)準(zhǔn)中定義的參數(shù)集結(jié)構(gòu)，優(yōu)化了全景信息的編碼封裝過程，使得解碼解析視頻碼流時(shí)可以快速獲得參數(shù)集中的參數(shù)對(duì)視頻碼流進(jìn)行解碼解析和后續(xù)處理。
[0060]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，還包括:
[0061]記錄相應(yīng)處理步驟和處理過程的全景信息變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中(語(yǔ)法)單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。
[0062]通過本標(biāo)識(shí)方法，可以記錄多個(gè)處理步驟和處理過程的全景信息的變化信息，為后期的全景視頻的優(yōu)化提供可靠的數(shù)據(jù)基礎(chǔ)。
[0063]如圖2所示，本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，還包括:
[0064]獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息或參數(shù)數(shù)據(jù)；
[0065]根據(jù)解析的全景信息或參數(shù)數(shù)據(jù)，完成后續(xù)視頻拼接及渲染過程，并全景輸出。
[0066]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)方法，可以對(duì)獲得的用于全景視頻生成的中間素材的視頻碼流進(jìn)行解析，獲得必要的后續(xù)視頻拼接及渲染的全景控制參數(shù)及數(shù)據(jù)，形成全景視頻行程中的完整控制信息。
[0067]如圖3所示，本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置包括處理步驟標(biāo)記裝置01、處理過程標(biāo)記裝置02、全景信息獲取裝置03、參數(shù)編碼裝置04、參數(shù)封裝裝置05和碼流轉(zhuǎn)發(fā)裝置06，其中:
[0068]處理步驟標(biāo)記裝置01，用于獲取視頻全景處理中的所在處理步驟的信息；
[0069]處理過程標(biāo)記裝置02，用于獲取所在處理步驟中的所在處理過程的信息；
[0070]全景信息獲取裝置03，用于獲取所在處理過程中的全景信息；
[0071]參數(shù)編碼裝置04，用于將相應(yīng)處理步驟和處理過程的全景信息編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)；
[0072]參數(shù)封裝裝置05，用于將參數(shù)數(shù)據(jù)封裝在單元結(jié)構(gòu)中，與處理過程形成的視頻形成視頻碼流；
[0073]碼流轉(zhuǎn)發(fā)裝置06，用于將視頻碼流按需傳輸。
[0074]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置可以將全景視頻形成過程中的全景信息獨(dú)立編碼，插入相應(yīng)的視頻碼流，形成全景視頻的編解碼，完成靈活地網(wǎng)絡(luò)傳輸。使得全景視頻形成過程可以基于分布式計(jì)算平臺(tái)完成，優(yōu)化了全景視頻形成的資源消耗。
[0075]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置中，參數(shù)編碼裝置04，還用于記錄相應(yīng)處理步驟和處理過程的全景信息變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中(語(yǔ)法)單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。
[0076]如圖4所示，本發(fā)明實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置，還包括碼流解析裝置07和全景視頻生成裝置08，其中:
[0077]碼流解析裝置07，用于獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息或參數(shù)數(shù)據(jù)；
[0078]全景視頻生成裝置08，用于根據(jù)解析的全景信息或參數(shù)數(shù)據(jù)，完成后續(xù)視頻拼接及渲染過程并輸出。
[0079]本實(shí)施例的視頻碼流中全景信息的標(biāo)識(shí)裝置，將視頻碼流中攜帶的全景信息解析并形成后續(xù)步驟的完整控制參數(shù)和數(shù)據(jù)，使得單目視頻間設(shè)置的相關(guān)全景信息高效復(fù)原和結(jié)合，用于后續(xù)的全景視頻的完整形成和呈現(xiàn)。
[0080]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種視頻碼流中全景信息的標(biāo)識(shí)方法，包括: 獲取視頻全景處理中的全景信息； 將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中。2.如權(quán)利要求1所述的視頻碼流中全景信息的標(biāo)識(shí)方法，其特征在于，所述獲取視頻全景處理中的全景信息，包括: 獲取所在處理過程中的全景信息。3.如權(quán)利要求1所述的視頻碼流中全景信息的標(biāo)識(shí)方法，其特征在于，所述獲取視頻全景處理中的全景信息，包括: 獲取所在處理步驟中的所在處理過程的信息，或/和獲取視頻全景處理中的所在處理步驟的信息。4.如權(quán)利要求1所述的視頻碼流中全景信息的標(biāo)識(shí)方法，還包括: 將所述視頻碼流按需傳輸。5.如權(quán)利要求1所述的視頻碼流中全景信息的標(biāo)識(shí)方法，其特征在于，所述將編碼的全景信息封裝在視頻碼流的單元結(jié)構(gòu)中，還包括: 記錄相應(yīng)處理步驟和處理過程的全景信息變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。6.如權(quán)利要求1所述的視頻碼流中全景信息的標(biāo)識(shí)方法，還包括: 獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息； 根據(jù)解析的全景信息，完成后續(xù)視頻拼接及渲染過程，并輸出。7.—種視頻碼流中全景信息的標(biāo)識(shí)裝置，包括全景信息獲取裝置(03)、參數(shù)編碼裝置(04)和參數(shù)封裝裝置(05)，其中: 全景信息獲取裝置(03)，用于獲取所在處理過程中的全景信息； 參數(shù)編碼裝置(04)，用于將相應(yīng)處理步驟和處理過程的全景信息編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)； 參數(shù)封裝裝置(05)，用于將參數(shù)數(shù)據(jù)封裝在單元結(jié)構(gòu)中，與處理過程形成的視頻形成視頻碼流。8.如權(quán)利要求7所述的視頻碼流中全景信息的標(biāo)識(shí)裝置，還包括處理步驟標(biāo)記裝置(01)和處理過程標(biāo)記裝置(02)，其中: 處理步驟標(biāo)記裝置(01)，用于獲取視頻全景處理中的所在處理步驟的信息； 處理過程標(biāo)記裝置(02)，用于獲取所在處理步驟中的所在處理過程的信息。9.如權(quán)利要求7所述的視頻碼流中全景信息的標(biāo)識(shí)裝置，還包括碼流轉(zhuǎn)發(fā)裝置(06)，用于將視頻碼流按需傳輸。10.如權(quán)利要求7所述的視頻碼流中全景信息的標(biāo)識(shí)裝置，還包括碼流解析裝置(07)和全景視頻生成裝置(08)，其中: 碼流解析裝置(07)，用于獲取相應(yīng)的視頻碼流，解析視頻碼流的單元結(jié)構(gòu)中的全景信息或參數(shù)數(shù)據(jù)； 全景視頻生成裝置(08)，用于根據(jù)解析的全景信息或參數(shù)數(shù)據(jù)，完成后續(xù)視頻拼接及渲染過程并輸出。11.如權(quán)利要求7至10任一所述的視頻碼流中全景信息的標(biāo)識(shí)裝置，其特征在于，所述參數(shù)編碼裝置(04)，還用于記錄相應(yīng)處理步驟和處理過程的全景信息的變化，編碼為符合標(biāo)準(zhǔn)碼流結(jié)構(gòu)中單元結(jié)構(gòu)的參數(shù)數(shù)據(jù)。
【文檔編號(hào)】H04N21/434GK106060652SQ201610404446
【公開日】2016年10月26日
【申請(qǐng)日】2016年6月8日
【發(fā)明人】昝勁文, 汪源, 呂卓逸, 張韻東
【申請(qǐng)人】北京中星微電子有限公司