專利名稱：一種基于透視變換的立體視頻繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視覺處理、立體視頻和自由視點電視技術(shù)領(lǐng)域，特別涉及一種基于透視變換的立體視頻繪制方法。
背景技術(shù)：
多視角立體視頻可以給觀察者提供任意視角的圖像，從而使景物的立體真實感更強，在這些年收到越來越多地關(guān)注。基于多視角立體視頻，人們又提出了自由視點電視的概念。由于自由視點電視需要顯示任意視角的視圖，如果對每一個視角的圖像都進行傳輸，那么多視角立體視頻的存儲量和傳輸帶寬需求將是無窮大的。因此通常使用基于深度圖的方法，利用深度圖和少量的參考圖像，生成所需要的任意視角的圖像。任意視角的視頻繪制會直接影響立體顯示的實時性和圖片質(zhì)量，因此，立體視頻繪制技術(shù)是自由立體電視中非常重要的一項關(guān)鍵技術(shù)。相對于傳統(tǒng)平面視頻，立體視頻包含了更多視角的數(shù)據(jù)信息，會造 成數(shù)據(jù)量成倍地增長，這就給立體視頻的存儲和傳輸環(huán)節(jié)帶來了極大的困難?，F(xiàn)有的編碼算法計算復(fù)雜度高，需要耗費大量的存儲帶寬。

發(fā)明內(nèi)容
本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題之一或至少提供一種有用的商業(yè)選擇。為此，本發(fā)明的第一個目的在于提出一種基于透視變換的立體視頻繪制方法。本發(fā)明可以顯著降低立體視頻繪制算法的計算復(fù)雜度，節(jié)省了存儲帶寬。為達到上述目的，本發(fā)明的實施例提出了一種基于透視變換的立體視頻繪制方法，包括如下步驟獲取相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并根據(jù)所述相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，其中，所述單應(yīng)矩陣用于表示所述參數(shù)視圖和所述虛擬視圖的像素坐標對應(yīng)關(guān)系；輸入第一參考深度圖和第二參考深度圖，并根據(jù)所述單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波以得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對所述第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。根據(jù)本發(fā)明實施例的基于透視變換的立體視頻繪制方法，可以用于通過立體繪制得到各視角的虛擬視圖，供多視角立體顯示設(shè)備進行顯示，并顯著降低了立體視頻繪制算法的計算復(fù)雜度，節(jié)省了存儲帶寬。在本發(fā)明的一個實施例中，所述根據(jù)相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，包括如下步驟計算所述參考視圖和所述虛擬視圖之間的多個深度值；對于每個所述深度值，分別取深度值相同的多個參考像素點，并利用所述多個參考像素點的坐標分別計算對應(yīng)的虛擬像素點的坐標；根據(jù)所述參考像素點坐標和所述虛擬像素點坐標計算所述單應(yīng)矩陣。在本發(fā)明的一個實施例中，所述根據(jù)相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，包括如下步驟計算所述參考視圖和所述虛擬視圖之間的多個深度值；對所述多個深度值按照出現(xiàn)次數(shù)遞減進行排序以生成深度值序列，其中，所述深度值序列包括N個深度值；在所述深度值序列中，取前M個深度值，對所述M個深度值分別計算單應(yīng)矩陣，M〈N，M為預(yù)設(shè)數(shù)目；根據(jù)計算得到的M個單應(yīng)矩陣，通過線性內(nèi)插方法計算剩余N-M個深度值的單應(yīng)矩陣。在本發(fā)明的一個實施例中，所述通過線性內(nèi)插方法計算剩余N-M個深度值的單應(yīng)矩陣的計算公式為
權(quán)利要求
1.一種基于透視變換的立體視頻繪制方法，其特征在于，包括如下步驟 獲取相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并根據(jù)所述相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，其中，所述單應(yīng)矩陣用于表示所述參數(shù)視圖和所述虛擬視圖的像素坐標對應(yīng)關(guān)系； 輸入第一參考深度圖和第二參考深度圖，并根據(jù)所述單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖； 對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波以得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖； 輸入第一參考視圖和第二參考視圖，根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；以及 對所述第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。
2.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，包括如下步驟 計算所述參考視圖和所述虛擬視圖之間的多個深度值； 對于每個所述深度值，分別取深度值相同的多個參考像素點，并利用所述多個參考像素點的坐標分別計算對應(yīng)的虛擬像素點的坐標； 根據(jù)所述參考像素點坐標和所述虛擬像素點坐標計算所述單應(yīng)矩陣。
3.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)計算單應(yīng)矩陣，包括如下步驟 計算所述參考視圖和所述虛擬視圖之間的多個深度值； 對所述多個深度值按照出現(xiàn)次數(shù)遞減進行排序以生成深度值序列，其中，所述深度值序列包括N個深度值； 在所述深度值序列中，取前M個深度值，對所述M個深度值分別計算單應(yīng)矩陣，M<N, M為預(yù)設(shè)數(shù)目； 根據(jù)計算得到的M個單應(yīng)矩陣，通過線性內(nèi)插方法計算剩余N-M個深度值的單應(yīng)矩陣。
4.如權(quán)利要求3所述的立體視頻繪制方法，其特征在于，利用下述公式通過線性內(nèi)插方法計算剩余N-M個深度值的單應(yīng)矩陣，
5.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)單應(yīng)矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖，包括如下步驟 對所述第一參考深度圖和所述第二參考深度圖中的每個像素點計算對應(yīng)的虛擬視圖中的坐標，并將對應(yīng)的深度值復(fù)制到所述第一虛擬深度圖和第二虛擬深度圖。
6.如權(quán)利要求5所述的立體視頻繪制方法，其特征在于，采用深度比較方法或極線方向處理方法對所述第一參考深度圖和所述第二參考深度圖進行映射。
7.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，采用中值濾波法對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波。
8.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述根據(jù)第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖，包括如下步驟 根據(jù)所述第一濾波后虛擬深度圖和第二濾波后虛擬深度圖的深度值分別計算所述第一參考視圖和第二參考視圖中的像素點在所述第一虛擬視圖和第二虛擬視圖中的位置，并將像素點復(fù)制到對應(yīng)的位置。
9.如權(quán)利要求I所述的立體視頻繪制方法，其特征在于，所述對第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖，包括如下步驟 對于每個像素位置，分別判斷所述像素位置在所述第一虛擬視圖和第二虛擬視圖中的對應(yīng)位置是否為空， 如果所述像素位置在所述第一虛擬視圖為空洞，在所述第二虛擬視圖不為空，則在所述目標虛擬視圖的對應(yīng)位置填充所述第二虛擬視圖中對應(yīng)位置的值； 如果所述像素位置在所述第二虛擬視圖為空洞，在所述第一虛擬視圖不為空，則在所述目標虛擬視圖的對應(yīng)位置填充所述第一虛擬視圖中對應(yīng)位置的值； 如果所述像素位置在所述第一虛擬視圖和第二虛擬視圖均不為空洞，則對所述第一虛擬視圖的對應(yīng)值和所述第二虛擬視圖的對應(yīng)值進行線性插值以作為所述目標虛擬視圖的對應(yīng)值。
10.如權(quán)利要求9所述的立體視頻繪制方法，其特征在于，還進一步包括對所述目標虛擬視圖中的空洞進行全局優(yōu)化填補。
全文摘要
本發(fā)明提出一種基于透視變換的立體視頻繪制方法，包括獲取相機參數(shù)、虛擬視圖的視角參數(shù)以及參考視圖的視角參數(shù)，并計算單應(yīng)矩陣；輸入第一參考深度圖和第二參考深度圖，并根據(jù)單應(yīng)矩陣將第一參考深度圖和第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對第一虛擬深度圖和第二虛擬深度圖進行濾波得到第一濾波后虛擬深度圖和第二濾波后虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據(jù)第一濾波后虛擬深度圖和第二濾波后虛擬深度圖將第一參考視圖和第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。本發(fā)明可以顯著降低立體視頻繪制算法的計算復(fù)雜度，節(jié)省了存儲帶寬。
文檔編號G06T7/00GK102768761SQ201210185779
公開日2012年11月7日 申請日期2012年6月6日 優(yōu)先權(quán)日2012年6月6日
發(fā)明者戴瓊海, 王競瑤, 索津莉, 郝偉 申請人:北京華清美倫科技有限公司, 清華大學(xué)