專利名稱：一種雙目立體視頻狀態(tài)信息的監(jiān)測方法及裝置的制作方法
技術領域：
本發(fā)明涉及數字圖像視頻處理技術領域，特別涉及一種雙目立體視頻狀態(tài)信息的監(jiān)測方法及裝置。
背景技術：
立體視頻技術(也稱3D視頻技術)是未來多媒體技術的發(fā)展方向，立體視頻能夠提供立體感的新型視頻技術。與單通道視頻相比，立體視頻一般有兩個視頻通道，數據量要遠遠大于單通道視頻。立體視頻可以提供人類視覺能感受到的立體感。當前雙目立體視頻拍攝已經成為制作立體視頻內容的常用手段。攝影工作人員通過專業(yè)的雙目立體拍攝設備，從兩個不同視角采集到場景的視頻。傳統(tǒng)的平面視頻拍攝狀態(tài)監(jiān)視內容通常局限在每幀圖像中的顏色信息，通過對每個像素在顏色空間上的分布進行統(tǒng)計，其中，顏色空間可以為RGB空間或HSV空間。常見的灰度直方圖即為在HSV空間上對S分量的統(tǒng)計顯示，該狀態(tài)信息能夠比較合理地表現(xiàn)出幀圖像的曝光程度，使得工作人員能夠實時監(jiān)視并對相關攝像機參數(如光圈、快門時間)及場景布置(如光源設置)作出相應反饋。在雙目立體拍攝過程中，工作人員為了獲得所期望的立體感，通常需要對兩個視角的距離、匯聚角以及場景內容進行調整，然而傳統(tǒng)的平面視頻狀態(tài)監(jiān)測內容無法提供與立體感相對應的信息。

發(fā)明內容
本發(fā)明的目的旨在至少解決上述技術缺陷之一。為此，本發(fā)明的第一個目的在于提出一種雙目立體視頻狀態(tài)信息的監(jiān)測方法，該方法可以圖形化顯示雙目立體視頻狀態(tài)信息，從而為雙目立體攝制工作人員提供一種實時、直觀的監(jiān)測與參考。本發(fā)明的第二個目的在于提出一種雙目立體視頻狀態(tài)信息的監(jiān)測裝置。為實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種雙目立體視頻狀態(tài)信息的監(jiān)測方法，包括如下步驟輸入雙目立體視頻流，從所述雙目立體視頻流中提取左視角幀圖像和右視角幀圖像；對所述左視角幀圖像和所述右視角幀圖像進行灰度處理以得到左視角幀灰度圖像和右視角幀灰度圖像；對所述左視角幀灰度圖像進行圖像分割以得到所述左視角幀灰度圖像的多個圖像分割塊，在所述左視角幀灰度圖像上采樣關鍵點，并在所述右視角幀灰度圖像上查找所述關鍵點的匹配點；根據所述關鍵點和所述匹配點計算所述關鍵點的視差信息；根據所述左視角幀灰度圖像的多個圖像分割塊和所述關鍵點的視差信息對所述左視角幀灰度圖像進行逐像素統(tǒng)計；將對所述左視角幀灰度圖像進行逐像素統(tǒng)計的狀態(tài)信息轉換為圖形信息，并對所述圖形信息進行渲染。根據本發(fā)明實施例的雙目立體視頻狀態(tài)信息的監(jiān)測方法，可以實時計算出拍攝到的雙目立體視頻數據中關于立體感的信息，并通過合適的圖形方式顯示該信息，作為雙目立體視頻的狀態(tài)信息監(jiān)測，從而向拍攝過程中的工作人員提供直觀的立體拍攝狀態(tài)。本發(fā)明第二方面的實施例提出了一種雙目立體視頻狀態(tài)信息的監(jiān)測裝置，包括輸入模塊，所述輸入模塊用于輸入雙目立體視頻流；ISP實時處理模塊，所述ISP實時處理模塊與所述輸入模塊相連，用于從所述雙目立體視頻流中提取左視角幀圖像和右視角幀圖像，對所述左視角幀圖像和所述右視角幀圖像進行灰度處理以得到左視角幀灰度圖像和右視角幀灰度圖像，對所述左視角幀灰度圖像進行圖像分割以得到所述左視角幀灰度圖像的多個圖像分割塊，在所述左視角幀灰度圖像上采樣關鍵點，并在所述右視角幀灰度圖像上查找所述關鍵點的匹配點，根據所述關鍵點和所述匹配點計算所述關鍵點的視差信息；狀態(tài)信息統(tǒng)計模塊，所述狀態(tài)信息統(tǒng)計模塊與所ISP實時處理模塊相連，用于根據所述左視角幀灰度圖像的多個圖像分割塊和所述關鍵點的視差信息對所述左視角幀灰度圖像進行逐像素統(tǒng)計；狀態(tài)信息顯示模塊，所述狀態(tài)信息顯示模塊與所述狀態(tài)信息統(tǒng)計模塊相連，用于將逐像素統(tǒng)計的狀態(tài)信息轉換為圖形信息，并對所述圖形信息進行渲染，并顯示所述渲染后的圖形信息。根據本發(fā)明實施例的雙目立體視頻狀態(tài)信息的監(jiān)測裝置，可以實時計算出拍攝到的雙目立體視頻數據中關于立體感的信息，并通過合適的圖形方式顯示該信息，作為雙目立體視頻的狀態(tài)信息監(jiān)測，從而向拍攝過程中的工作人員提供直觀的立體拍攝狀態(tài)。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據本發(fā)明實施例的雙目立體視頻狀態(tài)信息的監(jiān)測方法流程圖；圖2為根據本發(fā)明實施例的狀態(tài)信息獲取的流程圖；圖3為根據本發(fā)明實施例的左視角幀灰度圖像的關鍵點采樣示意圖；圖4(a)為根據本發(fā)明實施例的左視角幀灰度圖像的示意圖；圖4(b)為根據本發(fā)明實施例的右視角幀灰度圖像的示意圖；圖5為根據本發(fā)明實施例的左視角幀關鍵點的視差計算示意圖；圖6為根據本發(fā)明實施例的狀態(tài)信息統(tǒng)計的流程圖；圖7為根據本發(fā)明實施例的狀態(tài)信息顯示的流程圖；和圖8為根據本發(fā)明實施例的雙目立體視頻狀態(tài)信息的監(jiān)測裝置的示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。下面參考圖1至圖7描述根據本發(fā)明實施例的雙目立體視頻狀態(tài)信息的監(jiān)測方法。如圖1所示，本發(fā)明實施例提供的雙目立體視頻狀態(tài)信息的監(jiān)測方法包括如下步驟SlOl 輸入雙目立體視頻流，從雙目立體視頻流中提取左視角幀圖像和右視角幀圖像。輸入雙目立體視頻流，其中雙目立體視頻流包括左視角視頻流和右視角視頻流。 首先從左視角視頻流中取出左視角視頻流中時間戳值最小的幀圖像，記為左視角幀圖像込。然后從右視角視頻流中取出右視角視頻流中時間戳與上述左視角幀圖像時間戳相差最小的幀圖像，記為右視角幀圖像Ικ。S102:圖像預處理。對步驟SlOl中得到的左視角幀圖像Il和右視角幀圖像Ik進行圖像預處理。在本發(fā)明的一個實施例中，圖像預處理過程可以為灰度處理過程，即對左視角幀圖像l·和右視角幀圖像Ik進行灰度處理，得到左視角幀灰度圖像和右視角幀灰度圖像。1)如果左視角幀圖像込和右視角幀圖像Ik是RGB彩色圖像，則按照如下方式得到左視角幀灰度圖像Ia和右視角幀灰度圖像IeK。G = O. 299*R+0. 587*G+0. 114*B其中，G為左視角幀灰度圖像或右視角幀灰度圖像上每個像素的灰度值；R、G、B分別為左視角幀圖像l·或右視角幀圖像Ik的彩色圖像中每個像素對應的紅色、綠色、藍色分量的顏色值，R、G、B的取值范圍為0至255。2)如果左視角幀圖像L和右視角幀圖像Ik是YUV彩色圖像，則提取將彩色圖像左視角幀圖像l·或右視角幀圖像Ik的彩色圖像中每個像素的Y通道值，得到相應的左視角幀灰度圖像Ia和右視角幀灰度圖像IeK。3)如果左視角幀圖像L和右視角幀圖像Ik是其他格式的彩色圖像，則采用相應的格式轉換算法將原彩色圖像轉化為RGB彩色格式后，再按照第一種方式計算相應的灰度圖像。在計算得到左視角幀灰度圖像Ia和右視角幀灰度圖像Ict后，進一步包括通過圖像濾波算法對左視角幀灰度圖像Ia和右視角幀灰度圖像進行濾波，從而降低圖像噪聲。 上述濾波過程也可以看作圖像平滑過程。具體而言，對左視角幀灰度圖像Ia和右視角幀灰度圖像Ira的每個像素按照如下方式進行計算首先以該像素為中心得到3*3的像素窗口，對該窗口中的所有像素進行加權求和，其中權重矩陣為
"1/161/81/16
1/81/41/81/161/81/16由此，對左視角幀灰度圖像Ia和右視角幀灰度圖像Ict的每個像素采用上述方式進行加權求和以實現(xiàn)對圖像的平滑處理。S103 對左視角幀灰度圖像進行圖像分割，在左視角幀灰度圖像上采樣關鍵點，并在右視角幀灰度圖像上查找關鍵點的匹配點。S1031 對左視角幀灰度圖像進行圖像塊分割。首先，計算左視角幀灰度圖像IJ勺梯度圖像，得到左視角梯度圖像Im。具體而言， 將左視角幀灰度圖像l·中相鄰像素的灰度值進行相減，從而得到左視角梯度圖像Im。
在左視角梯度圖像込中均勻劃分網格，并對網格中所有像素的梯度進行排序。在本發(fā)明的一個示例中，可以在左視角梯度圖像中均勻劃分8*8網格，并對8*8網格中每個網格中的所有像素的梯度進行排序。將梯度最低對應的像素作為該網格的種子點Ps。由此可以得到所有網格的種子點。在左視角梯度圖像Im中，對所有的種子點采用分水嶺算法進行區(qū)域生長，每個種子點最終生長為一個圖像塊。對于相鄰的圖像塊，當相鄰的圖像塊的平均灰度的差值小于灰度閾值，或者相鄰的圖像塊中的一個的像素總數小于像素閾值時，則對相鄰的圖像塊進行合并。在本發(fā)明的一個實施例中，灰度閾值可以為30，像素閾值可以為16。將左視角梯度圖像中每一個圖像塊對應到左視角幀灰度圖像中的相同位置下，從而可以得到左視角幀灰度圖像的多個圖像分割塊。S1032 在左視角幀灰度圖像上采樣關鍵點。在本發(fā)明的一個實施例中，采用均勻采樣的方法獲得關鍵點。具體而言，在左視角幀灰度圖像l·中均勻劃分網格，設網格中心的點為關鍵點。如圖3所示，將左視角幀灰度圖像Il分為15*15大小的網格，取網格中心的點，記為關鍵點Ki。S1033 在右視角灰度圖像上查找左視角灰度圖像上關鍵點的匹配點。對于左視角幀灰度圖像L上的每一個關鍵點Ki,以該關鍵點Ki為中心建立一個像素窗口稱為左視角窗口。在右視角幀灰度圖像Ik上對應與關鍵點的坐標位置，即與上述關鍵點具有相同坐標位置上建立同樣大小的像素窗口，稱為右視角窗口。例如，以關鍵點Ki為中心建立一個5*5的像素窗口，記為左視角窗口 Wy在右視角幀灰度圖中的同一個位置，建立一個5*5的像素窗口，記為右視角窗口 WK。計算左視角窗口 I和右視角窗口 Wk的像素灰度差值的平方和，得到當前左視角窗口 I和右視角窗口 Wk的灰度差異。Δ =Σ (ffLi-WEi)2其中，Wu為左視角窗口中的第i個像素灰度值，WKi為右視角窗口中的第i個像素灰度值。水平移動右視角窗口 Wk的位置，同時計算左視角窗口和右視角窗口的像素灰度差異Δ，直到找到差異Δ最小的位置，則右視角幀灰度圖像中，該差異Δ最小的位置對應的像素點即為關鍵點Ki的匹配點，記為虬。圖4(a)為左視角幀灰度圖像的示意圖，其中點1、2、3分別為左視角幀灰度圖像込的關鍵點。圖4(b)為右視角幀灰度圖像的示意圖，其中，點1’為左視角幀灰度圖像上的點 1的匹配點，點2’為左視角幀灰度圖像上的點2的匹配點，點3’為左視角幀灰度圖像上的點3的匹配點。S104 計算關鍵點的視差信息。根據步驟S1032中得到的關鍵點Ki和步驟S1033中得到的匹配點Mi計算關鍵點 Ki的視差信息。具體而言，對于每一個關鍵點Ki (圖5中的點A)，根據與該關鍵點對應的匹配點 Ki (圖5中的點B)，計算兩點水平方向坐標的差值作為關鍵點的視差值D”Di = XMi-XKio
上述步驟SlOl至步驟S104均屬于對雙目立體視頻流進行的ISP (Image Signal Processing,圖像是信號處理)實時處理。S105 狀態(tài)信息統(tǒng)計。根據步驟S1031中得到的圖像分割結果和步驟S104中得到視差信息進行逐像素統(tǒng)計。S1051 關鍵點視差擴散。計算左視角幀圖像上的每個圖像分割塊上的所有關鍵點的視差值的平均值，然后將該平均值作為當前圖像分割塊中的每個像素的視差值。
權利要求
1.一種雙目立體視頻狀態(tài)信息的監(jiān)測方法，其特征在于，包括如下步驟輸入雙目立體視頻流，從所述雙目立體視頻流中提取左視角幀圖像和右視角幀圖像； 對所述左視角幀圖像和所述右視角幀圖像進行灰度處理以得到左視角幀灰度圖像和右視角幀灰度圖像；對所述左視角幀灰度圖像進行圖像分割以得到所述左視角幀灰度圖像的多個圖像分割塊，在所述左視角幀灰度圖像上采樣關鍵點，并在所述右視角幀灰度圖像上查找所述關鍵點的匹配點；根據所述關鍵點和所述匹配點計算所述關鍵點的視差信息；根據所述左視角幀灰度圖像的多個圖像分割塊和所述關鍵點的視差信息對所述左視角幀灰度圖像進行逐像素統(tǒng)計；將對所述左視角幀灰度圖像進行逐像素統(tǒng)計的狀態(tài)信息轉換為圖形信息，并對所述圖形信息進行渲染。
2.如權利要求1所述的監(jiān)測方法，其特征在于，所述從所述雙目立體視頻流中提取左視角幀圖像，包括如下步驟從所述雙目立體視頻流的左視角視頻流中提取時間戳值最小的幀圖像，記為左視角幀圖像，所述從所述雙目立體視頻流中提取右視角幀圖像，包括如下步驟 從所述雙目立體視頻流的右視角視頻流中提取與所述左視角幀圖像時間戳值相差最小的幀圖像，記為右視角幀圖像。
3.如權利要求1所述的監(jiān)測方法，其特征在于，在對所述左視角幀圖像和所述右視角幀圖像進行灰度處理后，還包括對得到的所述左視角幀灰度圖像和所述右視角幀灰度圖像進行濾波。
4.如權利要求1所述的監(jiān)測方法，其特征在于，所述對所述左視角幀灰度圖像進行圖像分割，包括如下步驟將所述左視角幀灰度圖像中相鄰像素的灰度值相減，得到左視角梯度圖像； 在所述左視角梯度圖像中均勻劃分網格，并對所述網格中所有像素的梯度進行排序， 將梯度最低的像素作為所述網格的種子點；在所述左視角梯度圖像中，對所有的種子點利用分水嶺算法進行區(qū)域生成，其中，每個種子點生長為一個圖像塊；對于相鄰的所述圖像塊，當所述相鄰的圖像塊的平均灰度的差值小于灰度閾值，或者所述相鄰的所述圖像塊中的一個的像素總數小于像素閾值時，則將相鄰的所述圖像塊進行合并；將所述左視角梯度圖像中的每一個圖像塊對應到所述左視角幀灰度圖像中的相同位置下，得到所述左視角幀灰度圖像的多個圖像分割塊。
5.如權利要求1所述的監(jiān)測方法，其特征在于，在所述左視角幀灰度圖像中均勻劃分網格，設置所述網格中心的點為關鍵點。
6.如權利要求5所述的監(jiān)測方法，其特征在于，在所述右視角幀灰度圖像上查找所述關鍵點的匹配點，包括如下步驟建立多個左視角窗口和多個右視角窗口，其中，每個左視角窗口為以所述左視角幀灰度圖像上的每一個關鍵點為中心建立的一個像素窗口，每個右視角窗口為在所述右視角幀灰度圖像上對應于所述關鍵點的坐標位置建立的與相應的所述左視角窗口相同大小的像素窗口 ；計算所述左視角窗口和所述右視角窗口的像素灰度差值的平方和，得到當前左視角窗口和當前右視角窗口的灰度差異；水平移動所述右視角窗口的位置直至所述灰度差異最小，則所述右視角窗口的中心像素為所述左視角幀灰度圖像上當前關鍵點的匹配點。
7.如權利要求1所述的監(jiān)測方法，其特征在于，所述關鍵點的視差信息為所述匹配點的水平方向坐標與所述關鍵點的水平方向坐標之差。
8.如權利要求1所述的監(jiān)測方法，其特征在于，所述對所述左視角幀灰度圖像進行逐像素統(tǒng)計，包括如下步驟計算所述左視角幀灰度圖像上的每個圖像分割塊上的所有關鍵點的視差值的平均值， 將所述平均值作為當前圖像分割塊中每個像素的視差值；計算所述左視角幀灰度圖像上所有像素點的視差值進行一維直方圖統(tǒng)計以得到狀態(tài) fn息ο
9.如權利要求1所述的監(jiān)測方法，其特征在于，將所述狀態(tài)信息轉換為圖形信息，包括如下步驟將所述狀態(tài)信息進行歸一化，并將所述歸一化后的狀態(tài)信息映射到預先設定的顏色索引表中，得到所述狀態(tài)信息對應的圖形化顯示時的顏色值。
10.一種雙目立體視頻狀態(tài)信息的監(jiān)測裝置，其特征在于，包括輸入模塊，所述輸入模塊用于輸入雙目立體視頻流；ISP實時處理模塊，所述ISP實時處理模塊與所述輸入模塊相連，用于從所述雙目立體視頻流中提取左視角幀圖像和右視角幀圖像，對所述左視角幀圖像和所述右視角幀圖像進行灰度處理以得到左視角幀灰度圖像和右視角幀灰度圖像，對所述左視角幀灰度圖像進行圖像分割以得到所述左視角幀灰度圖像的多個圖像分割塊，在所述左視角幀灰度圖像上采樣關鍵點，并在所述右視角幀灰度圖像上查找所述關鍵點的匹配點，根據所述關鍵點和所述匹配點計算所述關鍵點的視差信息；狀態(tài)信息統(tǒng)計模塊，所述狀態(tài)信息統(tǒng)計模塊與所ISP實時處理模塊相連，用于根據所述左視角幀灰度圖像的多個圖像分割塊和所述關鍵點的視差信息對所述左視角幀灰度圖像進行逐像素統(tǒng)計；狀態(tài)信息顯示模塊，所述狀態(tài)信息顯示模塊與所述狀態(tài)信息統(tǒng)計模塊相連，用于將逐像素統(tǒng)計的狀態(tài)信息轉換為圖形信息，并對所述圖形信息進行渲染，并顯示所述渲染后的圖形信息。
11.如權利要求10所述的監(jiān)測裝置，其特征在于，所述ISP實時處理模塊從所述雙目立體視頻流的左視角視頻流中提取時間戳值最小的幀圖像，記為左視角幀圖像；從所述雙目立體視頻流的右視角視頻流中提取與所述左視角幀圖像時間戳值相差最小的幀圖像，記為右視角幀圖像。
12.如權利要求10所述的監(jiān)測裝置，其特征在于，所述ISP實時處理模塊在對所述左視角幀圖像和所述右視角幀圖像進行灰度處理后，對得到的所述左視角幀灰度圖像和所述右視角幀灰度圖像進行濾波。
13.如權利要求10所述的監(jiān)測裝置，其特征在于，所述ISP實時處理模塊將所述左視角幀灰度圖像中相鄰像素的灰度值相減，得到左視角梯度圖像，在所述左視角梯度圖像中均勻劃分網格，并對所述網格中所有像素的梯度進行排序，將梯度最低的像素作為所述網格的種子點，在所述左視角梯度圖像中，對所有的種子點利用分水嶺算法進行區(qū)域生成，其中，每個種子點生長為一個圖像塊，對于相鄰的所述圖像塊，當所述相鄰的圖像塊的平均灰度的差值小于灰度閾值，或者所述相鄰的所述圖像塊中的一個的像素總數小于像素閾值時，則將相鄰的所述圖像塊進行合并，將所述左視角梯度圖像中的每一個圖像塊對應到所述左視角幀灰度圖像中的相同位置下，得到所述左視角幀灰度圖像的多個圖像分割塊。
14.如權利要求10所述的監(jiān)測裝置，其特征在于，所述ISP實時處理模塊在所述左視角幀灰度圖像中均勻劃分網格，設置所述網格中心的點為關鍵點。
15.如權利要求14所述的監(jiān)測裝置，其特征在于，所述ISP實時處理模塊建立多個左視角窗口和多個右視角窗口，其中，每個左視角窗口為以所述左視角幀灰度圖像上的每一個關鍵點為中心建立的一個像素窗口，每個右視角窗口為在所述右視角幀灰度圖像上對應于所述關鍵點的坐標位置建立的與相應的所述左視角窗口相同大小的像素窗口，計算所述左視角窗口和所述右視角窗口的像素灰度差值的平方和，得到當前左視角窗口和當前右視角窗口的灰度差異，水平移動所述右視角窗口的位置直至所述灰度差異最小，則所述右視角窗口的中心像素為所述左視角幀灰度圖像上當前關鍵點的匹配點。
16.如權利要求10所述的監(jiān)測裝置，其特征在于，所述關鍵點的視差信息為所述匹配點的水平方向坐標與所述關鍵點的水平方向坐標之差。
17.如權利要求10所述的監(jiān)測裝置，其特征在于，所述狀態(tài)信息統(tǒng)計模塊計算所述左視角幀灰度圖像上的每個圖像分割塊上的所有關鍵點的視差值的平均值，將所述平均值作為當前圖像分割塊中每個像素的視差值，計算所述左視角幀灰度圖像上所有像素點的視差值進行一維直方圖統(tǒng)計以得到狀態(tài)信息。
18.如權利要求10所述的監(jiān)測裝置，其特征在于，所述狀態(tài)信息顯示模塊將所述狀態(tài)信息進行歸一化，并將所述歸一化后的狀態(tài)信息映射到預先設定的顏色索引表中，得到所述狀態(tài)信息對應的圖形化顯示時的顏色值。
全文摘要
本發(fā)明公開了一種雙目立體視頻狀態(tài)信息的監(jiān)測方法，包括如下步驟輸入雙目立體視頻流，提取左視角幀圖像和右視角幀圖像；對左視角幀圖像和右視角幀圖像進行灰度處理；對左視角幀灰度圖像進行圖像分割以得到左視角幀灰度圖像的多個圖像分割塊，在左視角幀灰度圖像上采樣關鍵點，并在右視角幀灰度圖像上查找關鍵點的匹配點；計算關鍵點的視差信息；對左視角幀灰度圖像進行逐像素統(tǒng)計；將狀態(tài)信息轉換為圖形信息，并對圖形信息進行渲染。本發(fā)明還公開了一種雙目立體視頻狀態(tài)信息的監(jiān)測裝置。本發(fā)明可以實時計算出拍攝到的雙目立體視頻數據中關于立體感的信息，并通過合適的圖形方式顯示該信息，作為雙目立體視頻的狀態(tài)信息監(jiān)測。
文檔編號H04N17/00GK102333234SQ20111033634
公開日2012年1月25日 申請日期2011年10月28日 優(yōu)先權日2011年10月28日
發(fā)明者戴瓊海, 邵航 申請人:清華大學