多視點分布式視頻編碼系統(tǒng)幀排列選擇方法
【專利摘要】本發(fā)明屬于分布式視頻編碼【技術領域】，為一種根據多視點分布式編碼系統(tǒng)要求進行選擇多視點分布式視頻編碼系統(tǒng)幀排列方式的準則。為此，本發(fā)明采取的技術方案是，多視點分布式視頻編碼系統(tǒng)幀排列選擇方法，包括如下步驟：多視點分布式視頻編碼系統(tǒng)幀排列方式有三種，分別是棋盤型，非直線型和低時延型；分析每種幀排列模型及排列特點，根據分析結果，選擇不同的多視點分布式視頻系統(tǒng)幀排列方式，當視頻系統(tǒng)要求高重構質量時，選擇棋盤型排列方式；當視頻系統(tǒng)的多個視點分布在非直線情況下，選擇非直線型排列方式；當視頻系統(tǒng)要求高實時性時，選擇低時延型排列方式。本發(fā)明主要應用于分布式視頻編碼。
【專利說明】多視點分布式視頻編碼系統(tǒng)幀排列選擇方法

【技術領域】
[0001]本發(fā)明屬于分布式視頻編碼【技術領域】，尤其涉及一種多視點分布式視頻編碼系統(tǒng)幀排列選擇方法。
技術背景
[0002]分布式視頻編碼是一種新興的視頻編碼技術，它能夠使運動估計與運動補償預測從編碼端轉移到解碼端，有效地降低了編碼端復雜度，適用于低復雜度、低功耗的視頻系統(tǒng)，如無線監(jiān)控系統(tǒng)、無線視頻系統(tǒng)等。多視點分布式視頻編碼和傳統(tǒng)的單視點視頻編碼相比可以提供更多的視頻場景信息。
[0003]多視點分布式視頻編碼中，邊信息的獲得是整個系統(tǒng)的關鍵部分，直接影響解碼端非關鍵幀的重構質量。多視點分布式視頻編碼系統(tǒng)中的邊信息包括視點間邊信息和時間邊信息，不同的邊信息生成方法，與多視點分布式視頻編碼的幀排列有很大關系。不同的幀排列方式采用不同的時間邊信息和視點間邊信息的生成方式，在解碼端解碼的視頻重構質量和重構時間以及對視點的分布情況有不同的影響。針對這種影響，急需一種根據多視點分布式編碼系統(tǒng)要求進行選擇多視點分布式視頻編碼系統(tǒng)幀排列方式的準則。


【發(fā)明內容】

[0004]為了克服現(xiàn)有技術的不足，提出一種根據多視點分布式編碼系統(tǒng)要求進行選擇多視點分布式視頻編碼系統(tǒng)幀排列方式的準則。為此，本發(fā)明采取的技術方案是，多視點分布式視頻編碼系統(tǒng)幀排列選擇方法，包括如下步驟:多視點分布式視頻編碼系統(tǒng)幀排列方式有三種，分別是棋盤型，非直線型和低時延型；分析每種幀排列模型及排列特點，根據分析結果，選擇不同的多視點分布式視頻系統(tǒng)幀排列方式，當視頻系統(tǒng)要求高重構質量時，選擇棋盤型排列方式；當視頻系統(tǒng)的多個視點分布在非直線情況下，選擇非直線型排列方式；當視頻系統(tǒng)要求高實時性時，選擇低時延型排列方式。
[0005]分析每種幀排列模型及排列特點具體為:
[0006]棋盤型多視點分布式視頻編碼幀排列方式，關鍵幀與非關鍵幀間隔排列；在時間方向上，非關鍵幀是根據前、后兩個關鍵幀經過運動補償內插法重構獲得時間邊信息；在視點方向上，非關鍵幀是通過與之相鄰視點的關鍵幀經過視差矢量內插法獲得視點間邊信息；通過棋盤型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息、視點間邊信息的獲得都是經過兩個幀的運動估計，運動補償等過程獲得的，所以重構幀的質量比較高；但是在視點內部，運動補償內插法導致解碼順序與顯示順序不一致，導致出現(xiàn)一定的解碼時延；在視點間，視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求；
[0007]非直線型多視點分布式視頻系統(tǒng)幀排列方式，在時間方向上，關鍵幀與非關鍵幀間隔排列，非關鍵幀的時間邊信息是由前、后兩個關鍵幀經過運動補償內插法獲得的，并經過重構得到的重構幀；在視點方向上，即不同視點同一時刻的巾貞，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的；每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量外推法獲得的；通過非直線型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息的獲得是經過兩個幀的運動估計，運動補償過程獲得的，所以時間邊信息的質量比較高，但運動補償內插法導致解碼順序與顯示順序不一致，出現(xiàn)一定的解碼時延；在視點間采用視差矢量外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視差矢量外推法視點可以分布在非直線上，適用于更多的視點分布情況；
[0008]低時延型多視點分布式視頻系統(tǒng)幀排列方式，奇數視點的前兩幀都是關鍵幀，從第三幀開始出現(xiàn)非關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)；偶數視點的前兩幀是非關鍵幀，第三幀是關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)；奇數視點的前兩幀外推出后一幀，然后把當前解碼的非關鍵幀作為已解碼幀與后一關鍵幀外推出后面的非關鍵幀；偶數視點的第二幀與第三幀外推出第四幀等；第二，在視點方向上，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的；每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量內插法獲得的；通過低時延型多視點分布式視頻編碼系統(tǒng)幀排列方式，視點間邊信息的獲得是經過兩個幀的運動估計，運動補償等過程獲得的，所以視點間邊信息的質量比較高，但視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求；在視點內采用運動補償外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視頻的解碼順序與顯示順序一致，解碼時延大大降低，適合于實時性要求高的視頻系統(tǒng)。
[0009]與已有技術相比,本發(fā)明的技術特點與效果:
[0010]通過幀排列方法比較，本發(fā)明可以根據不同視頻編碼系統(tǒng)的要求，選擇不同的多視點分布式視頻系統(tǒng)幀排列方式，當視頻系統(tǒng)要求高重構質量時，選擇棋盤型排列方式；當視頻系統(tǒng)的多個視點分布在非直線情況下，選擇非直線型排列方式；當視頻系統(tǒng)要求高實時性時，選擇低時延型排列方式。

【專利附圖】

【附圖說明】
[0011]圖1本發(fā)明的棋盤型的多視點分布式視頻編碼系統(tǒng)幀排列方式。
[0012]圖2本發(fā)明的非直線型的多視點分布式視頻編碼系統(tǒng)幀排列方式。
[0013]圖3本發(fā)明的低時延型的多視點分布式視頻編碼系統(tǒng)幀排列方式。
[0014]圖4本發(fā)明的步驟流程圖。

【具體實施方式】
[0015]多視點分布式視頻編碼系統(tǒng)，將編碼端復雜度轉移到解碼端，適用于低復雜度的視頻編碼系統(tǒng)，對于不同的視頻編碼系統(tǒng)對視頻的重構質量、視點的分布位置以及視頻的解碼時間有不同的要求，而視頻的重構質量與解碼時間是一對矛盾。因此針對不同的視頻系統(tǒng)的要求，急需一種多視點分布式視頻編碼系統(tǒng)幀排列選擇準則。
[0016]目前存在的多視點分布式視頻編碼系統(tǒng)幀排列方式有三種，分別是棋盤型，非直線型和低時延型。分別介紹每種幀排列模型及排列特點，分析得到多視點分布式視頻編碼系統(tǒng)巾貞排列選擇標準。
[0017]棋盤型多視點分布式視頻編碼幀排列方式，關鍵幀與非關鍵幀間隔排列。在時間方向上，非關鍵幀是根據前、后兩個關鍵幀經過運動補償內插法重構獲得時間邊信息。在視點方向上，非關鍵幀是通過與之相鄰視點的關鍵幀經過視差矢量內插法獲得視點間邊信息。通過棋盤型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息、視點間邊信息的獲得都是經過兩個幀的運動估計，運動補償等過程獲得的，所以重構幀的質量比較高。但是在視點內部，運動補償內插法導致解碼順序與顯示順序不一致，導致出現(xiàn)一定的解碼時延。在視點間，視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求。
[0018]非直線型多視點分布式視頻系統(tǒng)幀排列方式，在時間方向上，關鍵幀與非關鍵幀間隔排列，非關鍵幀的時間邊信息是由前、后兩個關鍵幀經過運動補償內插法獲得的，并經過重構得到的重構巾貞。在視點方向上，即不同視點同一時刻的巾貞，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的。每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量外推法獲得的。通過非直線型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息的獲得是經過兩個幀的運動估計，運動補償等過程獲得的，所以時間邊信息的質量比較高，但運動補償內插法導致解碼順序與顯示順序不一致，出現(xiàn)一定的解碼時延。在視點間采用視差矢量外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視差矢量外推法視點可以分布在非直線上，可以適用于更多的視點分布情況。
[0019]低時延型多視點分布式視頻系統(tǒng)幀排列方式，奇數視點的前兩幀都是關鍵幀，從第三幀開始出現(xiàn)非關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)。偶數視點的前兩幀是非關鍵幀，第三幀是關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)。奇數視點的前兩幀外推出后一幀，然后把當前解碼的非關鍵幀作為已解碼幀與后一關鍵幀外推出后面的非關鍵幀。偶數視點的第二幀與第三幀外推出第四幀等。第二，在視點方向上，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的。每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量內插法獲得的。通過低時延型多視點分布式視頻編碼系統(tǒng)幀排列方式，視點間邊信息的獲得是經過兩個幀的運動估計，運動補償等過程獲得的，所以視點間邊信息的質量比較高，但視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求。在視點內采用運動補償外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視頻的解碼順序與顯示順序一致，解碼時延大大降低，適合于實時性要求高的視頻系統(tǒng)。
[0020]結合附圖對本發(fā)明作更詳細的說明。
[0021]如圖1所示，所述的棋盤型的多視點分布式視頻編碼系統(tǒng)幀排列圖中，橫向表示時間，縱向表示視點。K代表關鍵幀，WZ代表非關鍵幀。在時間方向上，WZ幀是根據前、后兩個K幀經過運動補償內插法重構獲得時間邊信息。在視點方向上，WZ幀是通過與之相鄰視點的K幀經過視差矢量內插法獲得視點間邊信息。對于本發(fā)明的棋盤型的多視點分布式視頻編碼的幀排列方法，解碼順序如下:對于視點之間的邊信息解碼，是先解碼I號視點的第一中貞，同時解碼3號視點的第一巾貞,然后通過視差矢量內插法解碼2號視點的第一巾貞。依次按照這樣的順序，視點間解碼，先解碼K幀，再由已解碼的K幀通過視差矢量內插法解碼WZ幀。在視點內部(以I號視點為例)，先由重構解碼I號幀(K幀)，再解碼3號幀(K幀)，然后由已解碼的2個K幀，經過運動補償內插法獲得2號幀(WZ)幀的邊信息，從而重構出2號幀，以此類推其他的幀間解碼。
[0022]如圖2所示，所述的非直線型的多視點分布式視頻編碼系統(tǒng)幀排列圖中，橫向表示時間，縱向表示視點。在時間方向上，K幀與WZ幀間隔排列，WZ幀的時間邊信息是由前、后兩個K幀經過運動補償內插法獲得的，經過重構得到重構WZ幀。在視點方向上，即不同視點同一時刻的巾貞，在同一時刻的不同視點的巾貞的排列是K巾貞與WZ巾貞交替出現(xiàn)的。每個視點的WZ幀的邊信息是通過與之相鄰的視點的同一時刻的K幀通過視差矢量外推法獲得的。對于本發(fā)明的非直線型的多視點分布式視頻編碼的幀排列方法，解碼順序如下:對于視點之間的邊信息解碼，是先解碼I號視點的第一幀，同時解碼2號視點的第一幀，然后通過視差矢量外推法解碼3號視點的第一幀。依次按照這樣的順序，視點間解碼，先解碼K巾貞，再由已解碼的K幀通過視差矢量外推法解碼WZ幀。在視點內部(以I號視點為例)，先由重構解碼I號幀(K幀)，再解碼3號幀(K幀)，然后由已解碼的2個K幀，經過運動補償內插法獲得2號幀(WZ)幀的邊信息，從而重構出2號幀，以此類推其他的幀間解碼。
[0023]如圖3所示，所述的低時延型的多視點分布式視頻編碼系統(tǒng)幀排列圖中，橫向表示時間，縱向表示視點。奇數視點的前兩幀都是K幀，從第三幀開始出現(xiàn)WZ幀，此后K幀、WZ幀交替出現(xiàn)。偶數視點的前兩幀是WZ幀，第三幀是K幀，此后K幀、WZ幀交替出現(xiàn)。奇數視點的前兩幀外推出后一幀，然后把當前解碼的WZ幀作為已解碼幀與后一 K幀外推出后面的WZ幀。偶數視點的第二幀與第三幀外推出第四幀等。第二，在視點方向上，在同一時刻的不同視點的幀的排列是K幀與WZ幀交替出現(xiàn)的。每個視點的WZ幀的邊信息是通過與之相鄰的視點的同一時刻的K幀通過視差矢量內插法獲得的。對于本發(fā)明的低時延型的多視點分布式視頻編碼的幀排列方法，解碼順序如下:對于視點之間的邊信息解碼，是先解碼I號視點的第一幀，同時解碼3號視點的第一幀，然后通過視差矢量內插法解碼2號視點的第一幀。依次按照這樣的順序，視點間解碼，先解碼K幀，再由已解碼的K幀通過視差矢量內插法解碼WZ幀。在視點內部(以I號視點為例)，先由重構解碼I號幀(K幀)，再解碼2號幀(K幀)，然后由已解碼的2個K幀，經過運動補償外推法獲得2號幀(WZ)幀的邊信息，從而重構出2號幀，以此類推其他的幀間解碼。
【權利要求】
1.一種多視點分布式視頻編碼系統(tǒng)幀排列選擇方法，其特征是，包括如下步驟:多視點分布式視頻編碼系統(tǒng)幀排列方式有三種，分別是棋盤型，非直線型和低時延型；分析每種幀排列模型及排列特點，根據分析結果，選擇不同的多視點分布式視頻系統(tǒng)幀排列方式，當視頻系統(tǒng)要求高重構質量時，選擇棋盤型排列方式；當視頻系統(tǒng)的多個視點分布在非直線情況下，選擇非直線型排列方式；當視頻系統(tǒng)要求高實時性時，選擇低時延型排列方式。
2.如權利要求1所述的多視點分布式視頻編碼系統(tǒng)幀排列選擇方法，其特征是，分析每種幀排列模型及排列特點具體為: 棋盤型多視點分布式視頻編碼幀排列方式，關鍵幀與非關鍵幀間隔排列；在時間方向上，非關鍵幀是根據前、后兩個關鍵幀經過運動補償內插法重構獲得時間邊信息；在視點方向上，非關鍵幀是通過與之相鄰視點的關鍵幀經過視差矢量內插法獲得視點間邊信息；通過棋盤型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息、視點間邊信息的獲得都是經過兩個幀的運動估計，運動補償等過程獲得的，所以重構幀的質量比較高；但是在視點內部，運動補償內插法導致解碼順序與顯示順序不一致，導致出現(xiàn)一定的解碼時延；在視點間，視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求； 非直線型多視點分布式視頻系統(tǒng)幀排列方式，在時間方向上，關鍵幀與非關鍵幀間隔排列，非關鍵幀的時間邊信息是由前、后兩個關鍵幀經過運動補償內插法獲得的，并經過重構得到的重構幀；在視點方向上，即不同視點同一時刻的幀，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的；每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量外推法獲得的；通過非直線型多視點分布式視頻編碼系統(tǒng)幀排列方式，時間邊信息的獲得是經過兩個幀的運動估計，運動補償過程獲得的，所以時間邊信息的質量比較高，但運動補償內插法導致解碼順序與顯示順序不一致，出現(xiàn)一定的解碼時延；在視點間采用視差矢量外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視差矢量外推法視點可以分布在非直線上，適用于更多的視點分布情況； 低時延型多視點分布式視頻系統(tǒng)幀排列方式，奇數視點的前兩幀都是關鍵幀，從第三幀開始出現(xiàn)非關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)；偶數視點的前兩幀是非關鍵幀，第三幀是關鍵幀，此后關鍵幀、非關鍵幀交替出現(xiàn)；奇數視點的前兩幀外推出后一幀，然后把當前解碼的非關鍵幀作為已解碼幀與后一關鍵幀外推出后面的非關鍵幀；偶數視點的第二幀與第三幀外推出第四幀等；第二，在視點方向上，在同一時刻的不同視點的幀的排列是關鍵幀與非關鍵幀交替出現(xiàn)的；每個視點的非關鍵幀的邊信息是通過與之相鄰的視點的同一時刻的關鍵幀通過視差矢量內插法獲得的；通過低時延型多視點分布式視頻編碼系統(tǒng)幀排列方式，視點間邊信息的獲得是經過兩個幀的運動估計，運動補償等過程獲得的，所以視點間邊信息的質量比較高，但視差矢量內插法要求視點分布在一條直線上，或者至少相鄰的3個視點在一條直線上，這就對編碼端的視點分布提出了一定的要求；在視點內采用運動補償外推法獲得，僅從一個方向進行運動估計、運動補償等，相對棋盤型分布方式視點間邊信息質量差一些，但視頻的解碼順序與顯示順序一致，解碼時延大大降低，適合于實時性要求聞的視頻系統(tǒng)。
【文檔編號】H04N19/597GK104079945SQ201410325192
【公開日】2014年10月1日 申請日期:2014年7月9日 優(yōu)先權日:2014年7月9日
【發(fā)明者】郭繼昌, 許穎 申請人:天津大學