專利名稱：一組多鏡頭光心重合式全方位攝像裝置及全景攝像、轉(zhuǎn)播的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一組攝像、轉(zhuǎn)播裝置及方法，特別涉及一組多鏡頭光心重合式全方位攝像裝置 及全景攝像、轉(zhuǎn)播的方法，屬于視頻監(jiān)視及視頻轉(zhuǎn)播領(lǐng)域。
背景技術(shù)：
現(xiàn)就應(yīng)用于安全防范領(lǐng)域的攝像監(jiān)視設(shè)備加以說明經(jīng)調(diào)研及査閱資料，目前常用的保安
監(jiān)視系統(tǒng)中的攝像部分如德國博世VG4300系列高速球型攝像機、美國威視VC-881高速球 型攝像機及廣州郵科視頻設(shè)備有限公司YUCOO-NC7201網(wǎng)絡(luò)攝像機等監(jiān)控裝置中攝像機不僅 可基于計算機局域網(wǎng)用于區(qū)域監(jiān)控，如住宅小區(qū)監(jiān)控、辦公樓、銀行、商場等傳統(tǒng)監(jiān)控；而且 也能通過廣域網(wǎng)用于跨區(qū)域遠(yuǎn)程監(jiān)控及網(wǎng)上展示、遠(yuǎn)程兒童及老人看護(hù)、無人值守通信機房監(jiān) 控、旅游景點網(wǎng)上演播、產(chǎn)品網(wǎng)上展覽等。但這些攝像機本身的視野均較窄，因此360度全方 位視頻信息的采集，依靠高速云臺上、下、左、右的移動來完成。 一般采用一至二臺步進(jìn)電機 或直流電機作為機械驅(qū)動，以及一系列機械傳動部分完成上述動作。其外圍設(shè)備多、功耗大、 成本高等缺點已日益突出。這類監(jiān)控系統(tǒng)的最大缺點是無法同時采集360度全方位視頻信息， 而機械動作速度慢，完成全方位視覺信息的機械掃描圖像采集需要數(shù)百毫秒乃至數(shù)秒，因而在 視頻采集過程中顧此失彼，存在較大盲點和死區(qū)。
又如申請人2000年7月28日申請的復(fù)眼式全方位攝像裝置實用新型專利(專利號 ZL00245946.9):根據(jù)仿生學(xué)的原理，將多臺攝像機組合成類似昆蟲球形多截面復(fù)眼結(jié)構(gòu)的全 方位攝像機。視頻服務(wù)器將多路圖像并行采集、合成與圖像處理，通過網(wǎng)絡(luò)將全方位圖像信息 傳輸?shù)奖姸嗫蛻舳?，多位客戶端操作者可以在各自微機的顯示緩存區(qū)中選擇自己感興趣的圖像 部份，并在顯示器上顯示該部份圖像。但復(fù)眼式全方位攝像裝置也存在一定缺陷其一，多臺 攝像機組合成復(fù)眼式全方位攝像裝置時由于存在光路交叉，因而會存在視頻盲區(qū)，在不同景深
處由于交叉程度不同軟件處理也不同，造成很大的工作量。其二，視頻傳輸?shù)姆椒ㄒ灿腥毕?br>
全方位視頻信息(由4-8幅圖像拼接成360度或2-4幅圖像拼接成180度)。要達(dá)到實時生成 的速率，S卩每秒25-30幀，須把如此巨大的全方位視頻信息通過網(wǎng)絡(luò)傳送給遠(yuǎn)程客戶端操作 者微機的顯示緩存區(qū)中，由客戶端操作者在其微機的顯示緩存區(qū)中選擇自己感興趣的視角，實 現(xiàn)全方位個性化轉(zhuǎn)播的目的。但是，完成上述功能對視頻壓縮、傳輸速率及網(wǎng)絡(luò)帶寬要求很高。 因而，由于申請人2000年7月28日申請的復(fù)眼式全方位攝像裝置實用新型專利(專利號 ZL00245946.9)在實現(xiàn)全景攝像、轉(zhuǎn)播的過程中存在的缺陷，很多場合如網(wǎng)絡(luò)帶寬較低時就難以實現(xiàn)。
發(fā)明內(nèi)容
本發(fā)明的目的之一，就是要克服上述攝像機在結(jié)構(gòu)上的缺陷，指出一種多鏡頭光心重合式 全方位攝像機，同樣是利用仿生學(xué)的原理，模擬昆蟲的球形多截面復(fù)眼結(jié)構(gòu)，同時對攝像機周 圍的360度區(qū)域進(jìn)行圖像采集，但經(jīng)過結(jié)構(gòu)的改造消除了光路交叉造成的缺陷。
本發(fā)明的另一個目的是為降低傳輸信息量和對網(wǎng)絡(luò)帶寬的要求，即采用按需分配的方式； 不再采用申請人于2000年7月28日申請的復(fù)眼式全方位攝像裝置專利中釆用的方式"把1S0 度或360度全方位視頻圖像全部發(fā)送到客戶端的視頻緩存區(qū)中，客戶端用戶在視頻緩存區(qū)中從 全方位圖像里選擇感興趣的畫面進(jìn)行顯示的方式"，而是采用如下方式，即視頻服務(wù)器根據(jù) 客戶端在選擇視野時上行數(shù)據(jù)申請的需求，把相應(yīng)的視頻圖像部分發(fā)出去。該客戶端用戶在移 動鼠標(biāo)、搖桿或遙控器選擇需要的視野時，即改變發(fā)往視頻服務(wù)器上行數(shù)據(jù)的需求，視頻服務(wù) 器則根據(jù)該客戶端上行數(shù)據(jù)的需求發(fā)送相應(yīng)的視頻圖像。不再把全部全方位視頻發(fā)給客戶端， 因而，大幅度減少了傳輸?shù)男畔⒘?，大大降低了對傳輸速率和網(wǎng)絡(luò)帶寬的要求。
為了達(dá)到上述目的，本發(fā)明在攝像裝置的結(jié)構(gòu)上采用了特殊的光路設(shè)計讓不同方位的攝
像機光心重合(包括實際光心與虛擬光心的重合)。通過在攝像裝置內(nèi)部為攝像機鏡頭引入反 射鏡(或具有相同反射作用的棱鏡等反射裝置)，以改變鏡頭的光路，使得各個鏡頭的光心雖 然在物理上不重合，但其在反射鏡中所成的像重合，從而達(dá)到使各個鏡頭具有虛擬的光心重合 的實際效果。w而，克服了光路交叉存在的視頻盲區(qū)，實現(xiàn)了讓全方位攝像裝置各個鏡頭采集 的視頻圖像在各點不同景深處均能很好銜接的目的，經(jīng)過視頻處理后，將不同層次的視頻圖像 均能很好的進(jìn)行融合。當(dāng)需要采集球形或半球形的視頻圖像時，同樣可使各個鏡頭在空間橫軸 方向(水平方向)及縱軸方向(垂直方向)具有的虛擬光心重合，以便使球形或半球形的視頻 圖像克服光路交叉，形成完美的全方位視頻圖像。當(dāng)然，也可以采用攝像機鏡頭實際光心與虛 擬光心在空間縱軸方向(垂直方向)重合的方式，采集球形或半球形的視頻圖像，以達(dá)到同樣 的效果。
上述設(shè)計分散了原來向中心集中的光線，使得原本需要在一點做全方位接收的攝像機群改 變?yōu)榉植荚诙帱c接收的攝像機群，克服了攝像機不能重疊放置的難題，消除了盲區(qū)和重影區(qū)。 由于構(gòu)成虛擬光心重合時，每臺攝像機的前方都有一面反射鏡，并且反射鏡之間的結(jié)合部無縫 銜接，使各個不同角度攝像機采集的視頻圖像拼接成渾然一體的全方位視頻圖像。
同時，本發(fā)明對視頻傳輸?shù)姆椒ㄟM(jìn)行重大改進(jìn)，采用的方法是在中央視頻服務(wù)器中增加 了視頻分發(fā)功能，即中央視頻服務(wù)器在通過多個攝像頭同時對現(xiàn)場多角度的進(jìn)行視頻采集并生成全景視頻的同時，將生成的全景視頻根據(jù)客戶需要裁剪成不同的內(nèi)容分發(fā)給不同的客戶 端，從而讓不同用戶自由的觀看他們所感興趣的區(qū)域而互不影響。 其工作過程如下-
改進(jìn)的全景實況轉(zhuǎn)播方法設(shè)計方案，是在申請人2000年7月28日申請的復(fù)眼式全方位攝 像裝置專利中視頻轉(zhuǎn)播方法的基礎(chǔ)上發(fā)展而來的。如同傳統(tǒng)的轉(zhuǎn)播方法一樣，改進(jìn)的全景實況 轉(zhuǎn)播方法仍采用服務(wù)器-客戶端的結(jié)構(gòu)，即C/S結(jié)構(gòu)。C/S結(jié)構(gòu)的優(yōu)點在于服務(wù)器控制能力強， 與客戶端的交互能力強，對實時性要求高的全景實況轉(zhuǎn)播方法來講，C/S結(jié)構(gòu)是理想的選擇。 從本質(zhì)上講，改進(jìn)的全景實況轉(zhuǎn)播方法是一種視頻點播模式，但它與視頻點播模式有所不同(與 申請人:2000年申請的復(fù)眼式全方位攝像裝置專利也有所不同)。傳統(tǒng)的視頻點播模式僅將被點 播視頻如實地傳送給請求播放的客戶端，無須進(jìn)行任何處理；而改進(jìn)的全景實況轉(zhuǎn)播方法，則 必須實時地生成全景視頻，又實時地將全景視頻按照客戶端操作者的意愿進(jìn)行剪裁，將眾多操 作者期望看到的部分分別發(fā)送出去，這其中涉及全方位視頻采集、全景視頻拼接、個性化剪 裁、視頻壓縮及解壓等步驟，比傳統(tǒng)視頻點播模式要復(fù)雜的多。因此，改進(jìn)的全景實況轉(zhuǎn)播的 方案設(shè)計上要充分考慮到實時性、并行性、穩(wěn)定性以及性能優(yōu)化上的問題。整個裝置由全景攝 像機群，中央視頻服務(wù)器和多個客戶端組成。全景攝像機群放置在被拍攝場景的前端，負(fù)責(zé)拍 攝現(xiàn)場的各個位置和區(qū)域，并將拍攝好的多路視頻信息傳送給中央視頻服務(wù)器。中央視頻服務(wù) 器是一個圖形工作站級別的服務(wù)器，它負(fù)責(zé)將多路視頻合成為一個全景視頻，并將全景視頻經(jīng) 過剪裁、編碼等進(jìn)一步處理，通過網(wǎng)絡(luò)發(fā)送給客戶端?？蛻舳丝梢允莻€人電腦，也可以是配置 了機頂盒的家庭電視機或者其它具有交互功能并接入互聯(lián)網(wǎng)的顯示設(shè)備。客戶端負(fù)責(zé)接收中央 視頻服務(wù)器端發(fā)來的現(xiàn)場實況視頻，并將它進(jìn)行解碼，放映到顯示設(shè)備上。如果客戶端觀眾想 要改變觀察區(qū)域，可利用客戶端安裝的相應(yīng)的軟件，通過鼠標(biāo)、搖桿或遙控器向服務(wù)器發(fā)回一 條位置消息，告之中央視頻服務(wù)器客戶端觀眾要觀看的區(qū)域。中央視頻服務(wù)器根據(jù)位置消息， 對全景視頻進(jìn)行剪裁，將用戶感興趣的區(qū)域剪裁下來，再進(jìn)行編碼，發(fā)送給客戶端，完成客戶 端觀眾個性化選擇觀察區(qū)域的功能。
如前所述全景實況轉(zhuǎn)播裝置的中央視頻服務(wù)器端(簡稱服務(wù)器端)主要承擔(dān)全景視頻的 采集、生成，剪裁，編碼與傳輸5部分工作。另外服務(wù)器端還要接收和處理客戶端傳來的位置 信息，以便根據(jù)客戶端觀眾的要求剪裁其所感興趣的全景視頻區(qū)域中的相應(yīng)部分。服務(wù)器端的 工作流程分如下部分
1. 采集全景視頻:全景視頻的采集是使用攝像機群從多個角度將場景中的所有區(qū)域以多路 視頻的形式拍攝下來。
2. 生成全景視頻將采集好的多路視頻傳入中央視頻服務(wù)器并合成為一幅180度或360
8度全景視頻。
3. 剪裁全景視頻服務(wù)器端生成的全景視頻是由幾路視頻合成而來的，信息量過大不易于 傳輸，同時觀眾在同一時刻只需觀看全景視頻的一部分。因此，在將全景視頻傳輸給遠(yuǎn)程客戶 端觀眾之前，服務(wù)器首先要對其進(jìn)行剪裁，僅將客戶端觀眾感興趣的區(qū)域剪裁傳輸。由于每個 客戶端觀眾感興趣的區(qū)域有所不同，因此，服務(wù)器端分別為每個觀眾剪裁他們所期望的視頻區(qū) 域。剪裁區(qū)域的大小可根據(jù)系統(tǒng)的設(shè)計需求而定， 一般網(wǎng)絡(luò)上視頻的分辨率320*240或者 640*480的，在本裝置中設(shè)為640*480。
4. 采用視頻編碼視頻編碼是在視頻傳輸前所要做的必要的一個環(huán)節(jié)。視頻編碼可以大大
降低視頻的體積，使之適合在互聯(lián)網(wǎng)上傳輸。本裝置選用Divx (Divx編碼器是MPEG編碼器 基礎(chǔ)上發(fā)展而來的，是MPEG4壓縮算法的一個子集。)作為視頻編碼器，Divx不僅是一款功
能齊全的編碼器，更重要的是，它為采用多核處理器的中央視頻服務(wù)器作了特殊的優(yōu)化，編碼 效率有了明顯的提升。
5. 視頻傳輸適合視頻的傳輸協(xié)議主要有UDP/RTP/SIP (UDP:用戶數(shù)據(jù)報傳輸層協(xié)議； RTP:用于Internet上針對多媒體數(shù)據(jù)流的一種實時傳輸協(xié)議；SIP是在IP網(wǎng)上進(jìn)行多媒體 通信的應(yīng)用層控制協(xié)議)，其中RTP和SIP最適合多媒體數(shù)據(jù)如視頻在互聯(lián)網(wǎng)上傳輸。在本裝 置中，可使用UDP的、議(局域網(wǎng)中)，或采用RTP 、 SIP協(xié)議(互聯(lián)網(wǎng)中)傳輸。
6. 接收及處理位置消息中央視頻服務(wù)器接收到客戶端發(fā)來的位置消息后，會對位置消息 進(jìn)行處理，分析發(fā)送此位置消息的客戶端ID (標(biāo)示、身份證)，并按照新的位置剪裁全景視頻， 把相應(yīng)的視頻部分發(fā)送給對應(yīng)的客戶端。
客戶端如前所述， 一般為個人電腦，也可以是配置了機頂盒的家庭電視機或者其它具有交 互功能并接入互聯(lián)網(wǎng)的顯示設(shè)備。其運作流程包括接收、解碼和顯示視頻，以及發(fā)送位置信 息四個任務(wù)。其中，接收、解碼和顯示視頻三個任務(wù)與傳統(tǒng)的視頻點播系統(tǒng)客戶端沒有什么不
同，而發(fā)送位置消息是全景實況轉(zhuǎn)播系統(tǒng)的客戶端的最重要的功能?？蛻舳说倪\作流程如下
1. 視頻接收客戶端接收由中央視頻服務(wù)器發(fā)來的視頻，檢查視頻的完整性。在視頻接收 的過程中，通常會設(shè)置一個視頻幀緩存區(qū)，來保障客戶端播放視頻的完整性。如是在局域網(wǎng)中， 由于網(wǎng)速較快，客戶端接收視頻流一般都是連貫的、暢通的，因此這個幀緩存區(qū)可以不用設(shè)置。
2. 視頻解碼解碼環(huán)節(jié)與編碼環(huán)節(jié)相對應(yīng)，是將服務(wù)器端編碼后的視頻幀重新恢復(fù)回來。
服務(wù)器端使用的是Divx的編碼器，解碼器可以選擇Divx解碼器，也可以選擇整合了 Divx解 碼器的FFDShow (使各類視頻播放更加流暢的通用編碼器)解碼器。
3. 視頻顯示視頻顯示是將被播放的視頻經(jīng)過顯示卡放映到屏幕中的過程。在Windows 中，視頻顯示模式一般是Overlay (—種數(shù)字視頻的顯示技術(shù)，用于優(yōu)化視頻播放。)模式。4.發(fā)送位置消息這個環(huán)節(jié)是全景實況轉(zhuǎn)播系統(tǒng)中最重要的一個環(huán)節(jié)，它賦予了客戶端觀 眾改變視角的能力。當(dāng)觀眾要求改變視角，想觀看場景中的其他區(qū)域的時候，通過操縱鼠標(biāo)、 搖桿或遙控器，客戶端就會發(fā)送相應(yīng)位置消息給服務(wù)器端。
位置消息記錄著客戶端觀眾向中央視頻服務(wù)器請求新的觀察區(qū)域的位置，是遠(yuǎn)程客戶端觀 眾與中央視頻服務(wù)器進(jìn)行交互，改變其觀察區(qū)域的關(guān)鍵，是全景實況轉(zhuǎn)播系統(tǒng)與傳統(tǒng)轉(zhuǎn)播系統(tǒng) 最主要的區(qū)別之一。在這里，"位置"是指中央視頻服務(wù)器中生成的全景視頻的某部分像素的 位置。全景視頻是一個超寬視頻，以本發(fā)明樣機6臺(8臺攝像機構(gòu)成360度全方位，僅用其 中6臺)攝像機為例所生成的全景視頻的角度為45度乂6=270度，所生成的"水平環(huán)狀"全 景視頻的寬度為640X6=3840像素，這里每一個像素都代表一個位置，就像水平坐標(biāo)一樣。
一個寬度與高度分別為3840和480像素的全景視頻，被放置在坐標(biāo)系中與X軸和Y軸對 齊，X軸的長度和Y軸的長度與全景視頻的寬度和高度一致，即3840和480像素。這樣，全 景視頻中的每個象素，坐標(biāo)系中都有一個坐標(biāo)點與之對應(yīng)。在本裝置中，以客戶端觀眾改變水 平方向的視角為例，因此只定義水平坐標(biāo)，是為剪裁窗口橫向運動的位置作準(zhǔn)備的。剪裁窗口 是一個抽象的窗口，它負(fù)責(zé)將全景視頻中特定部分剪裁下來傳送給相應(yīng)遠(yuǎn)程客戶端觀眾，遠(yuǎn)程 客戶端觀眾屏幕中看到的現(xiàn)場區(qū)域，就是根據(jù)該觀眾通過鼠標(biāo)、搖桿或遙控器選擇的視頻圖像， 通過上傳位置消息給中央視頻服務(wù)器，經(jīng)剪裁窗口剪裁下的全景視頻中的部分區(qū)域。服務(wù)器每 生成一幀全景視頻，剪裁窗口就將它剪裁下來，并發(fā)送給客戶端，所以對于客戶端來講，每時 每刻收到的視頻大小，總是剪裁窗口大小，均為全景視頻中的一部分區(qū)域。剪裁窗口所在的位 置，即剪裁全景視頻的位置，是由客戶端決定的。每當(dāng)觀眾通過鼠標(biāo)、搖桿或遙控器要求改變 所視區(qū)域的吋候，客戶端就發(fā)送一條記錄著觀眾要求觀看的新區(qū)域的位置消息給中央視頻服務(wù) 器，服務(wù)器收到這條位置消息，將剪裁窗口移動至新的位置，并將新位置上的全景視頻相應(yīng)區(qū) 域剪裁下來，傳送給客戶端。這樣，遠(yuǎn)程客戶端的觀眾一要求改變觀察區(qū)域，客戶端就發(fā)送相 應(yīng)的位置消息，服務(wù)器立即按照位置消息改變剪裁窗口的位置，把新位置的視頻區(qū)域剪裁下來， 再通過網(wǎng)絡(luò)傳送給客戶端，客戶端將新位置區(qū)域的視頻播放出來。這樣，遠(yuǎn)程的客戶端觀眾就 控制了他的視域，就像在現(xiàn)場一樣，自由地觀看現(xiàn)場的任何一個區(qū)域，左顧右盼，如同身臨其 境。
因此，本發(fā)明所述的一組多鏡頭光心重合式全方位攝像裝置及轉(zhuǎn)播方法，應(yīng)用于網(wǎng)絡(luò)視頻 轉(zhuǎn)播及視頻監(jiān)控領(lǐng)域吋具有很突出的優(yōu)點。首先，本裝置采用多鏡頭光心重合式全方位攝像裝 置用于圖像信息的采集時，經(jīng)過結(jié)構(gòu)的改造消除了光路交叉造成的視頻盲區(qū)，以及在不同景深 處由于交叉程度不同軟件處理也不同，因而造成很大的軟件處理的工作量。改進(jìn)后的全方位攝 像裝置，由于光心重合、光路不再交叉，無須大量計算機處理時間，且效果更完美。其次，視頻傳輸?shù)姆椒ú捎冒葱璺峙涞姆绞?，根?jù)客戶端觀眾的需要，不再把180度或360 度或其它全方位視頻圖像全部發(fā)給客戶端，而是根據(jù)客戶端在選擇視角時上行數(shù)據(jù)申請的需 求，把其中客戶端觀眾感興趣的部分發(fā)送給客戶端，因而，大幅度降低了傳輸信息量和對網(wǎng)絡(luò) 帶寬的要求，更有利于實現(xiàn)網(wǎng)絡(luò)化實時轉(zhuǎn)播。
綜上所述，本發(fā)明在應(yīng)用于視頻監(jiān)控、視頻會議及視頻轉(zhuǎn)播時，將生成的光心重合、光路 不再交義、無盲區(qū)的全景視頻，通過剪裁、壓縮編碼、傳輸?shù)炔襟E，發(fā)送給眾多的遠(yuǎn)程客戶端 觀眾。因為可以選擇全景視頻的任意部分，遠(yuǎn)程客戶端的眾多觀眾在觀看現(xiàn)場節(jié)目時，可以自 由地觀看他們感興趣的區(qū)域，擺脫了以往攝像機云臺或攝像師控制視野的束縛，讓眾多的客戶 端觀眾通過鼠標(biāo)、搖桿或遙控器自行控制視野如同身臨其境、左顧右盼。這是目前監(jiān)控裝置以 及網(wǎng)絡(luò)化實時轉(zhuǎn)播無法實現(xiàn)的。
現(xiàn)結(jié)合附圖和具體實施例對本發(fā)明進(jìn)一步加以說明，其中-
圖1為視頻圖像光路交叉式攝像機群構(gòu)成的視場(申請人2000年申請的復(fù)眼式全方位攝 像裝置專利的視頻圖像光路示意圖)； 圖2為視頻圖像光路反射示意圖； 圖3為裝有反射鏡的全景攝像機視頻圖像光路模型； 圖4為攝像機在反射鏡中的虛擬光心重合示意圖； 圖5為雙排攝像機全景反射鏡視頻圖像光路模型； 圖6為全方位反射鏡式攝像裝置結(jié)構(gòu)圖； 圖7為全景實況轉(zhuǎn)播系統(tǒng)的運作模式； 圖8為全景視頻位置坐標(biāo)及剪裁窗口示意圖； 圖9為視域控制流程圖10為全景實況視頻服務(wù)器的過濾器圖表；
圖11為全景實況視頻客戶端的過濾器圖表
圖12為視頻發(fā)送器的Socket (套結(jié)字)運作流程圖13為客戶端的Socket (套結(jié)字)工作流程圖14反射鏡45度、攝像機60度視角視頻光路反射示意圖15為反射鏡15度、攝像機60度視角視頻光路反射示意圖16為視頻光路逆向、反射鏡45度、鏡頭視角60度示意圖17為視頻光路逆向、錐狀反射鏡30度、鏡頭視角45度示意11圖18為錐狀反射鏡30度、8臺攝像機視頻疊加示意圖19為錐狀反射鏡30度、8臺攝像機視頻裁剪、拼接示意圖;
圖20球型全方位攝像機群構(gòu)成示意圖21球型全方位攝像機群構(gòu)成半球視野示意圖A;
圖22球型全方位攝像機群構(gòu)成半球視野示意圖B;
圖23球型全方位攝像機群三部分構(gòu)成示意圖A;
圖24球型全方位攝像機群三部分構(gòu)成示意圖B;
圖25半球型簡易全方位攝像機群構(gòu)成示意圖。
具體實施例方式
參照附圖將詳細(xì)描述具體實施方案。
圖1為視頻圖像光路交叉式攝像機群構(gòu)成的視場(申請人2000年申請的復(fù)眼式全方位攝 像裝置專利的視頻圖像光路示意圖〉；
圖中以3臺攝像機為例la、 Ib、 lc構(gòu)成了攝像機群的一部分，并以一個點為圓心部署， 均勻地放置在與圓心等半徑的圓上,每個攝像機負(fù)責(zé)拍攝360度或180度視域中的一個角度(角 度取決于攝像機鏡頭的拍攝角度)。攝像機群采集的視頻圖像可拼成一幅完整的360度或180 度現(xiàn)場全方位視頻圖像。圖中2a為攝像機lb、 lc構(gòu)成視頻圖像光路中存在的盲區(qū)Al ，該區(qū) 域兩臺攝像機lb、 lc的視場均無法覆蓋到，即無法拍攝到這個區(qū)域中的景物。3a為攝像機lc 生成的視場B1; 4a為攝像機lb、 lc生成視場的交叉點，即lb、 lc兩臺攝像機的視場交于--點，5a為攝像機lb、 lc生成的視場的重影區(qū)C1，即該區(qū)域lb、 lc兩臺攝像機的視場均能覆 蓋；3b為攝像機lb生成的視場B2; 4b為la、 lb兩臺攝像機生成視場的交叉點；5b為攝像 機la、 lb生成視場的重影區(qū)C2， 3c為攝像機la生成的視場B3，圖1中6為3臺攝像機la、 lb、 lc構(gòu)成的視場在進(jìn)行視頻拼接時最佳拼接位置，g卩"良好拼接圈"，是一條穿過各個交點 的圓圈，在這個位置上的所有景物均不會受到盲區(qū)和重影區(qū)的影響。圖中2b為攝像機la、 lb 構(gòu)成的視場存在的"盲區(qū)"A2?？梢姼鶕?jù)上述攝像機群部署的全方位攝像裝置，在它的全景 視域中含有較大的盲區(qū)和重影區(qū)。圖中7a、 7b、 7c為3臺攝像機la、 lb、 lc的光心即攝像 機鏡頭的拍攝角度(視角)的出發(fā)點或(視角)頂點，不難看出當(dāng)3臺攝像機la、 lb、 lc的 光心7a、 7b、 7c在空間重合時，所拍攝的全方位視頻圖像不存在盲區(qū)和重影區(qū)，3臺攝像機 la、 lb、 lc拍攝角度(視角)所生成的光路銜接良好，通過視頻處理可生成完好的全方位視頻 圖像。但是，攝像機存在一定體積，其光心不可能在空間重合，因而需要改變攝像機視頻圖像 的接收方式。圖2為視頻圖像光路反射示意圖2引入了平面反射鏡以改變鏡頭的光路，使得各個鏡頭在反射鏡中所成像的光心重合， 從而達(dá)到使各個鏡頭具有虛擬的公共光心的實際效果。
圖中A部分21為直接進(jìn)入攝像機鏡頭22的視頻圖像光路，圖中B部分增加一面45度 斜放的反射鏡23為進(jìn)入反射鏡24的視頻圖像光路，未能直接進(jìn)入攝像機鏡頭25(虛線所示)， 26為反射鏡將投影到它上面的視頻圖像光路進(jìn)行折射，由水平方向傳播改變?yōu)樨Q直向下方向傳 播，進(jìn)入攝像機鏡頭27。原來攝像機需要擺放在水平方向上來接受水平方向的光線，如圖中A 部分?jǐn)z像機鏡頭22所示；現(xiàn)在攝像機可以在鏡子下方豎直向上，接收反射鏡向下反射的視頻 圖像，如圖中B部分?jǐn)z像機鏡頭27所示。根據(jù)光路等效的原則，這相當(dāng)于反射鏡中的虛像攝 像機25在水平方向上接收水平方向的視頻圖像。
圖3為裝有反射鏡的全景攝像機視頻圖像光路模型；
圖3為每一部攝像機均配上一面反射鏡，圖中共8部攝像機及8面反射鏡，這里僅以31a、 31b、 31c三部攝像機為例31a、 31b、 31c放置在反射鏡下方豎直向上，來自左側(cè)視頻圖像投 影33a、來自正前方視頻圖像投影33b、來自右側(cè)視頻圖像投影33c，經(jīng)過反射鏡34a、 34b、 34c，生成向下反射的視頻圖像投影32a、 32b、 32c，在攝像機31a、 31b、 31c中成像。于是所 有的攝像機均可在反射鏡的底部接收從各個方向射入的水平傳播的視頻圖像投影，根據(jù)光路等 效的原則，這相當(dāng)于各個攝像機在鏡子中的虛像光心重合到了一點，來接收從各個方向射入的 視頻圖像投影。圖中35a、 35b、 35c為反射鏡34a、 34b、 34c支撐模塊。
圖4為攝像機在反射鏡中的虛擬影像光心重合示意圖中41為圖3中三部攝像機在反射鏡中重合的虛擬光心，42a為圖3中攝像機31a接受來 自右側(cè)視頻圖像投影33c，經(jīng)反射鏡34c反射的視頻圖像投影32c所生成的視場；同樣，42b 為圖3中攝像機31b接受來自正前方視頻圖像投影33b，經(jīng)反射鏡34b反射的視頻圖像投影32b 所生成的視場；42c為圖3中攝像機31c接受來自左側(cè)視頻圖像投影33a，經(jīng)反射鏡34a反射 的視頻圖像投影32a所生成的視場；三部攝像機每部45度視角，共生成3 X 45二135度視角， 即全方位360度視角中的135度。
圖5雙排攝像機全景反射鏡視頻圖像光路模型；
圖5雙排攝像機全景反射鏡視頻圖像光路模型本質(zhì)與圖3裝有反射鏡的全景攝像機視頻 圖像投影模型沒有區(qū)別，只是由于本裝置樣機的攝像機印制電路部分的排列占了較大的位置， 導(dǎo)致全景攝像機直徑較大，為了縮小直徑，將攝像機分別固定在上下兩層，反射鏡片分別往上 下兩層攝像機投影，因而形成上下兩層攝像機生成的圖像方向不一致，對此，只需在采集視頻 圖像的服務(wù)器緩存區(qū)中用軟件將反方向圖像校正即可。圖5中51a、 51c為固定在上層的攝像
1機；51b為固定在下層的攝像機；52b為向下反射的鏡片、52a、 52c為向上反射的鏡片，53a 為來自左側(cè)視頻圖像的投影，通過反射鏡52a向上反射視頻圖像54a進(jìn)入攝像機51c; 53b為 來自正前方投影，經(jīng)過反射鏡52b向下反射影像54b進(jìn)入攝像機51b。 53c為來自右側(cè)視頻圖 像的投影，通過反射鏡52c向上反射視頻圖像投影54c進(jìn)入攝像機51a;三部攝像機經(jīng)反射鏡 同樣構(gòu)成視頻圖像虛擬光心重合，生成全方位360度視角中135度視角。 圖6為全方位反射鏡式攝像裝置結(jié)構(gòu)圖中61為全方位反射鏡式攝像裝置底盤，螺栓62安裝在底盤上，使支撐板63固定在螺 栓62上；64a為安裝在支撐板上的攝像機，螺栓65支撐裝有反射鏡的模塊66a，同樣裝有反 射鏡的模塊66b由螺栓67固定并與支撐板68聯(lián)接，攝像機64b安裝在支撐板68上，螺栓69 把支撐板68與上端蓋610固定在一起，611a為攝像機64b的印制電路板裝有CCD (電荷藕 合器件圖像傳感器)芯片、DSP (數(shù)字信號處理)芯片及USB (通用串行總線)接口，與計算 機相應(yīng)的USB接口連接。由于攝像機構(gòu)造及原理是公知的技術(shù)，在此不再贅述。螺栓612把 支撐板63、裝有反射鏡的8個模塊及支撐板68緊固在一起。611b為攝像機64c的印制電路板； 同樣裝有反射鏡的模塊66c、 66d、 66e經(jīng)螺栓安裝在支撐板68上；攝像機64d、 64e安裝在支 撐板63上;613為裝有反射鏡的全景攝像裝置樣機外殼。611c為攝像機64e的印制電路板，安 裝在支撐板63上。
圖7為全景實況轉(zhuǎn)播系統(tǒng)的運作模式；
圖7中71為一高校體育場的現(xiàn)場實況270度環(huán)形視角的平面描述。72為6臺獨立的攝 像機(用于描述全方位反射鏡式攝像裝置)構(gòu)成360度全景攝像機群中270度示意圖，放置在 被拍攝體育場的前端，負(fù)責(zé)拍攝現(xiàn)場的相關(guān)位置和區(qū)域，覆蓋體育場的270度現(xiàn)場實況。全景 攝像機群(全方位反射式攝像裝置)72將拍攝好的多路視頻傳送給中央視頻服務(wù)器73;中央 視頻服務(wù)器是一個圖形工作站級別的服務(wù)器，它負(fù)責(zé)將多路視頻合成為一個全景視頻，并對全 景視頻實施剪裁、編碼等步驟，通過網(wǎng)絡(luò)發(fā)送給客戶端。74a為中央視頻服務(wù)器根據(jù)客戶端要 求的視角發(fā)送的全景視頻的片段；75a為客戶端向服務(wù)器發(fā)回的一條位置消息，告之中央視頻 服務(wù)器客戶端觀眾想要觀看的區(qū)域。76a為中央視頻服務(wù)器根據(jù)位置消息，對全景視頻進(jìn)行剪 裁，將用戶感興趣的區(qū)域如74a剪裁下來，再進(jìn)行編碼，發(fā)送給客戶端；77a為客戶端78a選 擇的視角l的視頻圖像；客戶端78a可以是家用電腦，也可以是配置了機頂盒的家庭電視機或 者其它具有交互功能并接入互聯(lián)網(wǎng)的顯示設(shè)備，如一些視頻監(jiān)視裝置?？蛻舳素?fù)責(zé)接收中央視 頻服務(wù)器端發(fā)來的現(xiàn)場實況視頻，并將它進(jìn)行解碼，放映到顯示設(shè)備上。78b為選擇視角2的 客戶端，77b為其選擇的視頻圖像；78c為選擇視角n的客戶端，77c為其選擇的視頻圖像；78d 為變換視角瀏覽的客戶端，77d為其選擇的新的視頻圖像，其過程為75b為客戶端78d向中
14央視頻服務(wù)器73發(fā)送的位置消息，選中中央視頻服務(wù)器端73中拼接的全景實況視頻79中的 710部分，中央視頻服務(wù)器73根據(jù)位置消息75b，對全景實況視頻79進(jìn)行剪裁，將客戶端78d 觀眾感興趣的區(qū)域710剪裁下來，再進(jìn)行編碼、發(fā)送給客戶端78d，如箭頭76b所示。這個環(huán) 節(jié)是全景實況轉(zhuǎn)播系統(tǒng)中最重要的一個環(huán)節(jié)，它賦予了客戶端觀眾改變視角的能力。使客戶端 觀眾如同身歷體育場其境，左顧右盼、想看哪看哪。 圖8全景視頻位置坐標(biāo)及剪裁窗口示意圖8中81為一個寬度與高度分別為3840和480像素的全景視頻案例，被放置在坐標(biāo)系中 與X軸和Y軸對齊，X軸的長度和Y軸的長度與本例中全景視頻的寬度和高度一致，即3840 和480。這樣，全景視頻中的每個象素，坐標(biāo)系中都有一個坐標(biāo)點與之對應(yīng)。在此，僅以客戶 端觀眾做水平方向的視角改變?yōu)槔?，因此只定義水平坐標(biāo)，為剪裁窗口的橫向運動作準(zhǔn)備。剪 裁窗口 82是一個抽象的窗口，它負(fù)責(zé)將全景視頻的一部分剪裁下來傳送給遠(yuǎn)程客戶端觀眾， 遠(yuǎn)程客戶端觀眾看到的現(xiàn)場區(qū)域，就是剪裁窗口剪裁下的全景視頻中的部分區(qū)域。中央視頻服 務(wù)器每生成一幀全景視頻，剪裁窗口 82就將它剪裁下來，并發(fā)送給相應(yīng)客戶端，所以對于客 戶端來講，每時每刻收到的視頻大小，總是剪裁窗口的大小，總是全景視頻中的一塊區(qū)域。剪 裁窗口82所在的位置，即全景視頻81所需剪裁、發(fā)送的位置，是由客戶端決定的。每當(dāng)客戶 端觀眾要求改變顯示區(qū)域的時候，客戶端就發(fā)送一條記錄著觀眾要求觀看的新區(qū)域的位置消息 給中央視頻服務(wù)器，中央視頻服務(wù)器收到這條位置消息，將剪裁窗口 82移動至新的位置，并 將全景視頻中新位置上的區(qū)域剪裁下來，傳送給客戶端。這樣，遠(yuǎn)程的客戶端觀眾一要求改變 觀察區(qū)域，客戶端就發(fā)送位置消息，中央視頻服務(wù)器立即按照位置消息改變剪裁窗口的位置， 把新位置的視頻區(qū)域剪裁下來，再通過網(wǎng)絡(luò)傳送給客戶端，客戶端將新位置區(qū)域的視頻播放出 來。這樣，遠(yuǎn)程的客戶端觀眾就控制了他的視域，就像坐在現(xiàn)場一樣，自由地觀看現(xiàn)場的任何 一個區(qū)域，左顧右盼，如同身臨其境。
圖9視域控制流程圖9中91為中央視頻服務(wù)器接收位置消息部分模塊，通過網(wǎng)絡(luò)中央視頻服務(wù)器接收到客 戶端上行發(fā)送位置消息后，分析發(fā)送此位置消息的客戶端ID (標(biāo)示、身份證)，并按照新的位 置，將改變剪裁窗口的位置模塊92移動至全景視頻中剪裁新的位置上的視頻圖像模塊93，將 新位置上的區(qū)域剪裁下來，編碼后送至發(fā)送視頻模塊94發(fā)送給對應(yīng)的客戶端?？蛻舳私邮沼?中央視頻服務(wù)器發(fā)來的視頻后，接收視頻模塊95檢查視頻的完整性，經(jīng)視頻解碼后送至視頻 幀緩存區(qū)。播放視頻模塊96將被播放的視頻從視頻幀緩存區(qū)取出經(jīng)過顯示卡放映到屏幕中。 當(dāng)客戶端觀眾要求改變視角，想觀看場景中的其他區(qū)域的時候，通過操縱鼠標(biāo)、搖桿或遙控器 客戶端發(fā)送位置消息模塊97就會發(fā)送相應(yīng)位置消息給服務(wù)器端。發(fā)送位置消息模塊97是全景實況轉(zhuǎn)播系統(tǒng)中最重要的一個環(huán)節(jié)，它賦予了客戶端觀眾改變視角的能力。當(dāng)觀眾要求改變視 角，想觀看場景中的其他區(qū)域的時候，通過操縱鼠標(biāo)、搖桿或遙控器客戶端就會發(fā)送相應(yīng)位置 消息給服務(wù)器端。
位置消息記錄著客戶端觀眾向中央視頻服務(wù)器請求新的觀察區(qū)域的位置，是遠(yuǎn)程客戶端觀 眾與中央視頻服務(wù)器進(jìn)行交互，改變其觀察區(qū)域的關(guān)鍵，是全景實況轉(zhuǎn)播系統(tǒng)與傳統(tǒng)轉(zhuǎn)播系統(tǒng) 最主要的區(qū)別之一。在這里，"位置"是指中央視頻服務(wù)器中生成的全景視頻的某個水平像素 的位置。全景視頻是一個超寬視頻，以本發(fā)明樣機中6臺攝像機為例所生成的全景視頻的角 度為45度X6々70度，所生成的"水平環(huán)狀"全景視頻的寬度為640X6=3840像素，這里每一
個像素都代表一個位置，就像坐標(biāo)一樣。
圖IO全景實況視頻服務(wù)器的過濾器圖表；
圖10中視頻服務(wù)器的過濾器圖表包括101為視頻釆集器，是一種"源過濾器(Source Filer)"，它與攝像機的驅(qū)動軟件銜接，將外部攝像機捕獲到的視頻數(shù)據(jù)，通過驅(qū)動軟件導(dǎo)入 到過濾器圖表中來。360度、180度或本例中270度全景視頻的生成，需要多個攝像頭同時采 集，因此在本例過濾器圖表中，有6個視頻采集器，分別與6臺攝像機相對應(yīng)。視頻采集器往 往是攝像機廠商隨攝像機提供的配套軟件，不需要再進(jìn)行編制或改動。視頻采集器的數(shù)據(jù)傳遞， 一般屬于DirectShow (微軟公司提供的一套在Windows平臺上進(jìn)行流媒體處理的開發(fā)包)的
"推模式"，即由源過濾器"推動"視頻數(shù)據(jù)向下游的過濾器流動。
本例中6路攝像機形成270度視域與一個全景視頻合成器102相連接，這是生成全景視頻 的最主要的過濾器，它將實現(xiàn)時間同步，色彩融合和透視變換以及最終全景視頻的生成中提出 的算法和架構(gòu)。本例中是有6個輸入端和1個輸出端的過濾器，6個輸入端分別與6個視頻采 集器的輸出端相連，使得6個視頻采集器輸出的視頻數(shù)據(jù)都進(jìn)入全景視頻合成器102中。全景 視頻合成器102內(nèi)部有多個顯示緩存區(qū)，與它每個輸入端相對應(yīng)，本例中有6個緩存區(qū)。采用 多視頻流同步方案式即每臺攝像機的視頻幀(Sample)將進(jìn)入相應(yīng)的緩存區(qū)等待，直到6個緩 存區(qū)內(nèi)都有至少一個視頻幀的時候，釋放出來用以合成全景視頻。全景視頻的合成采用GPU:
(Graphic Processing Unit)顯示卡中圖形處理芯片，協(xié)同運算，因此在這個過濾器中需要對 OpenGL ( "Open Graphics Library",開放的圖形程序接口，是一套三維圖形處理庫，也是該 領(lǐng)域的工業(yè)標(biāo)準(zhǔn)。)進(jìn)行初始化。采用GPU協(xié)同運算，需要將視頻幀以紋理的形式上傳上去， 這個過程需要用到OpenGL的glTexSublmage2D (圖形處理算法)指令生成全景視頻。全景視 頻在顯示緩存區(qū)中生成后，需要調(diào)用OpenGL中的ReadBack指令，系統(tǒng)將顯示緩存區(qū)中的視 頻數(shù)據(jù)讀回到內(nèi)存中來，并將這些數(shù)據(jù)看作為一個新的視頻幀，儲存在一片新的內(nèi)存區(qū)域里。 它的大小就是全景視頻的一個幀的大小即本例中6臺攝像機的6個緩存區(qū)的大小。最后，全景視頻合成器將新生成的視頻幀打上時間戳(保持特定時間同步)，再通過輸出端，將全景視 頻遞推給視頻分配器103。視頻分配器103是一個一進(jìn)多出的過濾器，它將全景視頻合成器輸 出的全景視頻復(fù)制成多路視頻，并分別從它的各個輸出端中傳送出去，以便后邊處理。每當(dāng)一 個視頻分配器的輸出端被一個下游的過濾器連接上時，便會自動生成一個未被連接的輸出端， 等待其他下游過濾器的連接。因此，視頻分配器理論上可以有無限多個輸出端，將全景視頻無 限復(fù)制并推送給各個輸出分支。但是一般地，往往會考慮到系統(tǒng)性能的問題，會有一個分支的 上限，上限要依據(jù)系統(tǒng)的帶載能力而定。本樣機采用4核CPU的普通PC機及GPU協(xié)處理器作 為中央視頻服務(wù)器，帶載能力上限為24臺客戶端，仍能保持25幀實時播放。如果本發(fā)明與相 關(guān)網(wǎng)絡(luò)技術(shù)結(jié)合如P2P (peer-to-peer的縮寫)技術(shù)，通過互聯(lián)網(wǎng)直接交互與共亨，可節(jié)省大 量資源，承載更多的客戶端。
視頻剪裁器104:視頻剪裁器是將視頻分配器發(fā)來的全景視頻進(jìn)行剪裁，并將它剪裁的結(jié) 果送入視頻編碼器105的一個變換過濾器。中央視頻服務(wù)器生成的全景視頻是由幾路視頻合成 而來的，分辨率過大不易于傳輸，同時觀眾在同一時刻只能觀看全景視頻的一部分。因此，在 將選好的視頻部分傳輸給遠(yuǎn)程客戶端觀眾之前，中央視頻服務(wù)器首先要對其進(jìn)行剪裁，僅將客 戶端觀眾感興趣的區(qū)域剪裁下來傳送給他。每個客戶端觀眾感興趣的區(qū)域都有所不同，因此， 服務(wù)器分別為每個觀眾剪裁他們所期望的全景視頻區(qū)域。剪裁區(qū)域的大小可根據(jù)系統(tǒng)的設(shè)計需 求而定， 一般網(wǎng)絡(luò)上視頻的分辨率為320*240或者640*480，在本裝置中設(shè)為640*480，因為 網(wǎng)絡(luò)視頻分辨率越高，越能帶給觀眾如臨現(xiàn)場的感覺。
由于全景實況轉(zhuǎn)播系統(tǒng)，是一個個性化單播系統(tǒng)，每個用戶需要有一個單獨的視頻編碼器 105，它的主要功能是將剪裁下來的視頻進(jìn)行壓縮編碼，這一功能可以由軟件完成，也可以由 硬件完成，每個獨立的硬件視頻編碼器支持一個用戶，這樣全景視頻便被分配給每一個遠(yuǎn)程客 戶端觀眾了。采用硬件編碼系統(tǒng)的好處是可以進(jìn)行大規(guī)模的擴展，使全景視頻系統(tǒng)可以支持眾 多的遠(yuǎn)程客戶端觀眾。
視頻發(fā)送器106負(fù)責(zé)將編碼完成的視頻發(fā)送給遠(yuǎn)程客戶端。視頻數(shù)據(jù)的收發(fā)主要靠使用 Windows Socket來完成(簡稱Winsock網(wǎng)絡(luò)編程)，是一套開放的、支持多種協(xié)議的Wndows 下的網(wǎng)絡(luò)編程接口，是Wndows網(wǎng)絡(luò)編程事實上的標(biāo)準(zhǔn)。應(yīng)用程序通過調(diào)用Winsock的API (應(yīng)用程序編程接口 )實現(xiàn)相互之間的通信，而Winsock利用下層的網(wǎng)絡(luò)通訊協(xié)議功能和操作 系統(tǒng)調(diào)用實現(xiàn)實際的通信工作。套接字是通信端點的一種抽象，它提供一種發(fā)送和接收數(shù)據(jù)的 機制。Windows環(huán)境下的套接字有兩種標(biāo)準(zhǔn)的協(xié)議TCP (傳輸控制協(xié)議)，它提供了雙向、 有序、無重復(fù)并且無報文邊界的數(shù)據(jù)流服務(wù)；UDP (用戶數(shù)據(jù)報協(xié)議)，它建立在IP (網(wǎng)際協(xié) i)協(xié)議之上，提供數(shù)據(jù)報傳輸，支持雙向的數(shù)據(jù)流。本裝置采用UDP協(xié)議，這是因為標(biāo)準(zhǔn)
17的TCP協(xié)議雖然可以保證數(shù)據(jù)傳輸?shù)目煽啃?，但是由于視頻傳輸所需要的網(wǎng)絡(luò)頻帶很寬，在 一般網(wǎng)絡(luò)帶寬的條件下，使用TCP協(xié)議的網(wǎng)絡(luò)開銷是不可接受的。UDP協(xié)議雖然由于取消了 校驗、重發(fā)機制在可靠性上稍有不足，但是，能夠達(dá)到較高的通信速率。因此，對數(shù)據(jù)可靠性 要求不高而對數(shù)據(jù)實吋性要求較高的網(wǎng)絡(luò)數(shù)據(jù)通信，如本裝置進(jìn)行實時的視頻傳送，當(dāng)采用校 驗、重發(fā)機制后，獲得的視頻圖像己經(jīng)"時過境遷"了，反而不利。此時，采用UDP協(xié)議更加 理想。
上述6種過濾器各司其職，共同完成全景視頻的采集、生成和發(fā)送。 圖11全景實況視頻客戶端的過濾器圖表；
圖11中111客戶端的視頻接收器與服務(wù)器端的視頻發(fā)送器相對應(yīng)，接收來自視頻發(fā)送器 的視頻數(shù)據(jù)，并將它通過輸出端推送給下游的視頻解碼器。視頻數(shù)據(jù)采用以UDP為協(xié)議的分包 發(fā)送方式，位置消息的發(fā)送，采用TCP協(xié)議，這是因為一方面位置消息相對視頻數(shù)據(jù)更加重 要，另一方面位置消息的數(shù)據(jù)量比較小，可以選擇網(wǎng)絡(luò)開銷比較大的TCP協(xié)議發(fā)送。圖ll中 112 FFDShow視頻解碼器。FFDShow視頻解碼器融合了多個解碼器為一體，它可以解包括 Xvix、 Divx、 X264等多種壓縮格式的視頻。在此過濾器圖表中，由于上游的過濾器輸出的是 以Divx壓縮的格式，因此在媒體協(xié)商的時候就已經(jīng)確認(rèn)，這個視頻解碼器的內(nèi)核轉(zhuǎn)為Divx解 碼器。圖11中113為VMR視頻渲染器。VMR全稱Video Mixing Renderer，它是集視頻混合 與播放為一體的視頻渲染器。它內(nèi)部包括混合器(Mixer)、圖像合成器(Compositor)、分配 演示器(Allocator Presenter)、核心同步控制器(Core Synchronization Unit)和窗口管理器 (WindowManager)。雖然VMR的功能很強大，但是在這里，本裝置僅將它用作單純的視頻 播放。
圖12視頻發(fā)送器的Socket (套結(jié)字)運作流程圖12中121: socket ()建立流式套接字，在開始視頻傳輸之前，服務(wù)器首先啟動，通過 調(diào)用socket函數(shù)建立一個套接字，設(shè)置好通訊協(xié)議(UDP協(xié)議)；圖12中122:設(shè)置套接字的 地址與協(xié)議，調(diào)用bind函數(shù)將該套接字和本地服務(wù)器網(wǎng)絡(luò)IP地址聯(lián)系在一起。圖12中123: 等待服務(wù)器告知客戶端IP，當(dāng)客戶端同樣調(diào)用socket函數(shù)建立一個套接字，服務(wù)器與客戶端建 立通訊聯(lián)系互相獲得對方的IP地址，此時，服務(wù)器即可告知視頻發(fā)送器客戶端IP地址，由 于采用UDP協(xié)議，因此不需要進(jìn)行l(wèi)isten (監(jiān)聽)和accpet (接收)，客戶端和服務(wù)器之間就可 以直接通過調(diào)用函數(shù)sendto (發(fā)送到)和recvfrom (接收自)來發(fā)送和接收數(shù)據(jù)。視頻數(shù)據(jù)量 一般都比較大，往往需要重復(fù)調(diào)用多次recvfrom函數(shù)來接收視頻數(shù)據(jù)。因此為了保證客戶端能 夠正確接收視頻數(shù)據(jù)，圖12中124:發(fā)送視頻數(shù)據(jù)的大小給指定IP客戶端，服務(wù)器端Socket 在發(fā)送正式的視頻數(shù)據(jù)之前，首先發(fā)送一個視頻大小的數(shù)據(jù)給指定IP客戶端，告訴客戶端被接受視頻的數(shù)據(jù)量。然后，圖12中125:發(fā)送視頻數(shù)據(jù)給指定IP的客戶端，由視頻發(fā)送器發(fā) 送。圖12中126:客戶端關(guān)閉判斷，客戶端是否退出，如果沒有退出，視頻發(fā)送器程序轉(zhuǎn)至 127模塊，準(zhǔn)備發(fā)送下一幀視頻，重復(fù)124、 125、 126模塊步驟。如果客戶端關(guān)閉，視頻發(fā)送 器程序轉(zhuǎn)至128模塊等待下一個客戶端IP地址到來。視頻發(fā)送器接收到從上游傳來的視頻 數(shù)據(jù)后，就將它分兩歩進(jìn)行發(fā)送，直到客戶端退出為止，雙方才調(diào)用closesocket (關(guān)閉套接字) 函數(shù)將套接字關(guān)閉。客戶端退出后，服務(wù)器會讓連接此客戶端的視頻發(fā)送器進(jìn)行復(fù)位，清空它 的IP地址，準(zhǔn)備為下一個客戶端發(fā)送數(shù)據(jù)。
圖13客戶端的Socket (套結(jié)字)工作流程圖13客戶端在視頻接收時，與服務(wù)器端視頻發(fā)送器的Socket運作流程相對應(yīng)?？蛻舳耸?先建立Socket套接字131模塊；132模塊設(shè)定協(xié)議即運行；當(dāng)與服務(wù)器端連接成功后，客戶 端Socket便開始運行模塊133:接收視頻數(shù)據(jù)量。在接收視頻數(shù)據(jù)之前，Socket會先接收由視 頻發(fā)送器傳來的視頻大小的數(shù)據(jù)量，再按照此數(shù)據(jù)量調(diào)用recvfrom ()接收視頻數(shù)據(jù)模塊134: 接收視頻發(fā)送器發(fā)來的視頻數(shù)據(jù)，直到此幀視頻數(shù)據(jù)全部接收完畢，并經(jīng)模塊135判斷是否接 受完畢。如果接受完畢，將運行模塊136: MediaSample形式封裝，將接收的視頻數(shù)據(jù)以 MediaSample的形式進(jìn)行封裝；模塊137:打上時間戳推送視頻解碼器，即推送給下游過濾器 進(jìn)行解碼；模塊138:判斷是否退出？如果客戶端退出，則轉(zhuǎn)至模塊139:關(guān)閉Socket套結(jié)字， 即結(jié)束客戶端視頻采集；如不退出，程序轉(zhuǎn)至1310模塊準(zhǔn)備接收下一幀視頻數(shù)據(jù)；重復(fù)模 塊133、 134、 135、 136、 137、 138模塊步驟，繼續(xù)客戶端視頻采集的過程。
圖14為反射鏡45度、攝像機60度視角視頻光路反射示意圖中141為進(jìn)入45度反射鏡142視頻光路的上部光路示意，143為141視頻光路穿過45 度反射鏡的虛擬光路。144為反射鏡后方虛擬攝像機鏡頭(虛線所示)，為水平方向放置。145 為視頻光路的下部光路149穿過45度反射鏡142進(jìn)入虛擬攝像機鏡頭144的虛擬光路。146 表示水平基準(zhǔn)與反射鏡142構(gòu)成45度角。147為視頻光路的下部光路149經(jīng)過45度反射鏡142 折射進(jìn)入攝像機鏡頭148的光路。1410為視頻光路的上部光路141經(jīng)過45度反射鏡142折射 進(jìn)入攝像機鏡頭148的光路。1411表示攝像機60度視角。
圖15反射鏡15度、攝像機60度視角視頻光路反射示意圖中反射鏡151與水平面155構(gòu)成15度反射鏡，主要為采集全景攝像機下部圖像而設(shè)計。 圖中152為視頻光路左部份1510穿過15度反射鏡151進(jìn)入反射鏡后方虛擬攝像機鏡頭153 (虛線所示)的虛擬光路。虛擬攝像機鏡頭153為傾角方式放置。圖中154為視頻光路右部份 156穿過15度反射鏡151進(jìn)入反射鏡后方虛擬攝像機鏡頭153 (虛線所示)的虛擬光路。155 表示水平基準(zhǔn)，與反射鏡151構(gòu)成15度角。156為視頻光路的右部份，與水平基準(zhǔn)155垂直。
19因此，全景攝像機下部圖像均可通過反射鏡151采集。
157為經(jīng)過15度反射鏡151將156視頻光路折射進(jìn)入攝像機鏡頭158的光路。159為經(jīng)過 15度反射鏡151將1510視頻光路折射進(jìn)入攝像機鏡頭158的光路。
圖16視頻光路逆向、反射鏡45度、鏡頭視角60度示意圖16視頻光路逆向是指根據(jù)光路可逆原則人們在反射鏡中可以互相觀察到對方。因此， 當(dāng)把攝像機放置在反射鏡前不同位置時，就可以觀察到反射鏡前不同的事物。圖16中攝像機 為接收全景攝像機下部圖像不再豎直向上放置，而是放置在反射鏡斜前方。因此，攝像機及反 射鏡擺放的位置、角度可以根據(jù)需要設(shè)計。
圖16與圖14裝有反射鏡的全景攝像機視頻光路模型基本相同，只是攝像機為接收下部視 頻圖像不再豎直向上放置而是放置在反射鏡斜前方。圖中161為反射鏡與水平基準(zhǔn)165構(gòu)成45 度角。162為1610視頻光路的左側(cè)光路穿過45度反射鏡的虛擬光路，進(jìn)入反射鏡后方虛擬攝 像機鏡頭163 (虛線所示)。164為166視頻光路的右側(cè)光路穿過45度反射鏡的虛擬光路，進(jìn) 入虛擬攝像機鏡頭163 (虛線所示)。167為攝像機鏡頭的60度視頻光路角度。168為166視頻 光路的右側(cè)光路經(jīng)45度反射鏡161折射進(jìn)入攝像機鏡頭169的光路。1611為視頻光路的上部 光路1610經(jīng)過45度反射鏡161折射進(jìn)入攝像機鏡頭169視頻光路。169為60度視角攝像機。
圖17視頻光路逆向、錐狀反射鏡30度、鏡頭視角45度示意圖17攝像機為采集下部視頻圖像設(shè)計的，圖中共有8臺攝像機，僅以171a、 171b、 171c 三臺為例171a、 171b、 171c分別放置在反射鏡174a、 174b、 174c斜上方，來自右下方投影 172a、來自正前方投影172b、來自左下方投影172c，經(jīng)過反射鏡174a、 174b、 174c，生成向 上反射的視頻光路173a、 173b、 173c，并在攝像機171a、 171b、 171c中成像。因此，所有的 攝像機均可接收反射鏡的底部視頻圖像，8臺攝像機由于光心重合，生成的圖像沒有死區(qū)，但 是有重疊。經(jīng)過圖像處理后可以形成無縫銜接的底部圖像。175a、 175b、 175c為支撐模塊。
圖18錐狀反射鏡30度、8臺攝像機視頻圖像疊加示意圖，為圖17攝像機采集的下部視頻 圖像疊加示意圖中181為8臺攝像機中第一臺攝像機采集的視頻圖像，由于視頻傳感器為矩形，故圖像 信息呈矩形狀。圖中182a虛線為圖中181矩形視頻圖像的分割線，182a與圖中182h虛線分割 線共同將181矩形視頻圖像分割成3部分，除181矩形視頻圖像中標(biāo)有①部分外，其余兩部分 均與其它攝像機視頻圖像183及189重疊。由于8臺攝像機向下俯視，其矩形視頻圖像必然重 疊，因此，在拼接成一幅完整的俯視圖像時需要去掉重疊部分。同理，圖中183為8臺攝像機 中第二臺攝像機采集的視頻圖像，182a與圖中182b虛線分割線共同將183矩形視頻圖像分割 成3部分，除183矩形視頻圖像中標(biāo)有②部分外，其余兩部分均與其它攝像機視頻圖像181及184重疊，拼接時需要去掉這些重疊部分。圖中184為第三臺攝像機采集的視頻圖像，182b與 圖中182c虛線分割線共同將184矩形視頻圖像分割成3部分，除184矩形視頻圖像中標(biāo)有③ 部分外，其余兩部分均與其它攝像機視頻圖像183及185重疊，拼接時需要去掉這些重疊部分。 依此類推，分別保留圖18中185的 部分、186的 部分、187的⑥部分、188的⑦部分及189 的⑧部分。形成8臺攝像機視頻疊加的模式。
圖19為錐狀反射鏡30度、8臺攝像機視頻裁剪、拼接示意圖中191①為矩形視頻圖像181去掉重疊部分保留下來的視頻圖像；圖中192②為矩形視 頻圖像183去掉重疊部分保留下來的視頻圖像；圖中193③為矩形視頻圖像184去掉重疊部分 保留下來的視頻圖像；圖中194④、195 、 196⑥、197⑦、198⑧分別為矩形視頻圖像185、 186、 187、 188、 189去掉重疊部分保留下來的視頻圖像。因此，圖19屮①②③④⑤⑥⑦⑧可 拼接成一幅完整的同光心、無重疊、無交叉、拼接良好的俯視圖像。同理，錐狀反射鏡也適合 采集仰視圖像，只是把采集下部視頻圖像的圖17攝像機及反射鏡垂直旋轉(zhuǎn)180度即可。
圖20為球型全方位攝像機群構(gòu)成示意圖20球型全方位攝像機群主要為需要仰視天穹和俯視腳下的地方時用，如北京奧運場館 "鳥巢"，人們在觀看體育表演時渴望觀察鳥巢建筑的奇特的頂部；而轉(zhuǎn)播"水立方"時，人 們又一定要看到下部碧綠的游泳池。因而，球型全方位攝像機群在一些轉(zhuǎn)播現(xiàn)場也很需要。
圖20為球型全方位攝像機群，由圖17、圖3及圖17攝像機及反射鏡垂直旋轉(zhuǎn)180度構(gòu)成 的，分別為下、中、上二部份。為簡化起見，各部份僅以三部攝像機為例說明。圖20中上部 份201a、 201b、 201c三部攝像機為用于接收上部視頻圖像203a、 203b、 203c經(jīng)過反射鏡204a、 204b、 204c反射，進(jìn)入三部攝像機的視頻圖像202a、 202b、 202c。圖20的中間部份205a、 205b、 205c為中間部份反射鏡，中間部分視頻圖像206a、 206b、 206c反射的視頻圖像2012a、 2012b、 2012c進(jìn)入中間部份三部攝像機207a、 207b、 207c。圖20中的下部份208a、 208b、 208c為下部份反射鏡，2011a、 2011b、 2011c為進(jìn)入反射鏡的下部視頻圖像。209a、 209b、 209c 為經(jīng)過反射鏡反射進(jìn)入攝像機2010a、 2010b、 2010c的視頻圖像。下、中、上三部份攝像機群 的虛擬光心重合，合成的球型全方位圖像經(jīng)過視頻處理后，可形成即無死區(qū)又無重疊、渾然一 體的球型圖像。
圖21球型全方位攝像機群構(gòu)成半球視野示意圖A;
圖21為球型全方位攝像機群將下、中、上三部份攝像機群拍攝的視頻圖像拼接，然后投 影到一個球型空間以供客戶端觀眾選擇自己喜歡觀看的視角。圖21為球型空問一分為二的的 其中一部分。
圖22球型全方位攝像機群構(gòu)成半球視野示意圖B;圖22為球型空間一分為二的的另外一部分。
圖23球型全方位攝像機群三部份構(gòu)成的示意圖A;
圖23將圖21球型空間分為三部分，圖中231表示由上部攝像機群合成的視頻圖像；圖中 232表示由中部攝像機群合成的視頻圖像；圖中233表示由下部攝像機群合成的視頻圖像。圖 23三部分合成的圖像可根據(jù)需要進(jìn)行組合，如中部、上部組合，或中部、下部組合，或中部單 獨合成視頻圖像。
圖24是球型全方位攝像機群三部份構(gòu)成示意圖B;
圖24將圖22球型空間分為三部分，圖中241表示由上部攝像機群合成的視頻圖像；圖中 242表示由中部攝像機群合成的視頻圖像；圖中243表示由下部攝像機群合成的視頻圖像。圖 24三部分與圖23三部分合成的圖像可構(gòu)成完整的球型空間，由三部分組成圖23中231與圖 24中241為完整的上部分；圖23中232與圖24中242合成為完整的中間部分；圖23中233 與圖24中243合成為完整的下部分。同樣可以根據(jù)需要進(jìn)行組合，如中部、上部組合，或中 部、下部組合，或中部單獨合成視頻圖像。
圖25半球型簡易全方位攝像機群構(gòu)成示意圖25為一些視頻監(jiān)控場合研制的，如交通路口、廣場或樓宇中。這些場合無需體育或文 藝轉(zhuǎn)播那樣高的分辨率，也無需觀察上部，為降低成本，提高性價比，只需簡易半球型全方位 攝像機群圖25中采用90度廣角攝像機5部，其中4部拍攝中部視頻圖像，為簡潔起見只描 述其中正面的兩部攝像機及反射鏡，背面兩部攝像機及反射鏡的形態(tài)及功能與正面的兩部攝像 機及反射鏡完全相同，不再贅述。圖25中251及2510為正面的兩面反射鏡，252及259分別 接受左右兩側(cè)視頻圖像投影，加之背面另外兩側(cè)視頻圖像投影共同構(gòu)成環(huán)狀連續(xù)視頻圖像即 圖23中232與圖24中242拼接成的完整的中間部分；253及258為經(jīng)過反射鏡折射進(jìn)入攝像 機254及257的視頻圖像；256為下部視頻圖像投影，直接進(jìn)入攝像機255。圖25中攝像機群 與以往有所不同，5部攝像機中放在反射鏡前面的254等4部攝像機仍然經(jīng)過反射鏡形成橫軸 方向(水平方向)虛擬光心重合，拍攝中部視頻圖像；采集下部圖像的攝像機255的實際光心 在縱軸方向(垂直方向)與254等4部攝像機的光心重合。這樣，圖25簡易半球型全方位攝 像機群采集的圖像由于光心重合，合成的半球型全方位圖像經(jīng)過視頻處理后，可形成即無死區(qū) 又無重疊、渾然一體的半球型圖像。圖25的顯示區(qū)域與圖23中232、圖24中242合成為完 整的中間部分，加上圖23中233、圖24中243合成的完整的下部分所顯示的區(qū)域相同，只是 攝像機較少，合成后的像素較少而已。
從上述說明可以看到本發(fā)明所述的多鏡頭光心重合式全方位攝像裝置及全景攝像、轉(zhuǎn)播 的方法，由于采用新型全景攝像裝置及轉(zhuǎn)播的方法，當(dāng)其應(yīng)用于視頻監(jiān)視時不但無機械傳動部
22分，而且消除了盲點和死區(qū)，并且可供多人遠(yuǎn)程同時登錄觀看，并可從服務(wù)器端全方位視頻監(jiān) 控圖像中各取所需；應(yīng)用于視頻轉(zhuǎn)播等領(lǐng)域時遠(yuǎn)程客戶端觀眾在觀看現(xiàn)場節(jié)目時，可以自由 地通過遙控器、操縱桿從視頻服務(wù)器中360度球形、半球形，360度環(huán)形全方位視頻轉(zhuǎn)播圖像 中選取自己感興趣的區(qū)域，擺脫了以往攝像師控制視野的束縛，讓客戶端觀眾如同身臨其境， 左顧右盼。并且對網(wǎng)絡(luò)帶寬、客戶端設(shè)備性能要求不高，在三網(wǎng)合一的形勢下，為視頻轉(zhuǎn)播技 術(shù)掀開了新的一頁?？梢姡景l(fā)明比目前網(wǎng)絡(luò)化視頻監(jiān)控及視頻轉(zhuǎn)播有著顯著進(jìn)步。
權(quán)利要求
1. 一組多鏡頭光心重合式全方位攝像裝置，其特征在于由5部90度廣角攝像機構(gòu)成半球型全方位攝像機群，其中4部攝像機放在反射鏡前面，經(jīng)過反射鏡形成橫軸方向(水平方向)虛擬光心的重合，用于拍攝半球型全方位中部的環(huán)形視頻圖像；另外一部攝像機垂直向下放置，拍攝球型全方位下部視頻圖像，它的實際光心在縱軸方向(垂直方向)與4部攝像機的橫軸方向(水平方向)的虛擬光心重合；采集的全方位圖像信息通過USB接口、1394接口或TCP/IP接口送入視頻服務(wù)器中，完成圖像拼接構(gòu)成全方位視頻圖像；經(jīng)采集、合成的半球型全方位視頻圖像通過處理后，可形成即無死區(qū)又無重疊、渾然一體的半球型視頻圖像。
2. 根據(jù)權(quán)利要求1的--組多鏡頭光心重合式全方位攝像裝置，當(dāng)拍攝球型全方位視頻圖 像時，可由下、中、上三部份攝像機群及反射鏡構(gòu)成，其特征在于下、中、上三部份攝像 機群分別通過下、中、上三部份反射鏡，構(gòu)成下、中、上三部份橫軸方向(水平方向)虛擬 光心重合的360度、180度或其他角度的全方位圖像；且三部份橫軸方向(水平方向)重合 的虛擬光心在縱軸方向(垂直方向)也重合，因而通過視頻處理后合成了即無死區(qū)又無重疊、 渾然一體的球型全方位視頻圖像；下、中、上三部份攝像機群合成的視頻圖像分別對應(yīng)球形視頻圖像下、中、上三部份；三部分合成的圖像可根據(jù)需要進(jìn)行組合，如中部、上部組合， 或中部、下部組合，或中部單獨合成視頻圖像，以完成球形、半球形或環(huán)形視頻圖像的采集。
3. —種全景攝像、轉(zhuǎn)播的方法，其特征在于全景實況轉(zhuǎn)播裝置的中央視頻服務(wù)器端(簡 稱服務(wù)器端)主要承擔(dān)全景視頻的采集、生成、剪裁、編碼、傳輸以及接收和處理客戶端上 傳的位置信息，以便根據(jù)客戶端觀眾的要求，剪裁客戶端觀眾所感興趣的全景視頻區(qū)域中的 相應(yīng)部分進(jìn)行分發(fā)；服務(wù)器端的工作流程如下步驟一、采集全景視頻全景視頻的采集是使用攝像機群從多個角度將場景中的所有區(qū)域以多路視頻的形式拍攝下來；(101)視頻采集器是一種"源過濾器(Source Filer)",它 與攝像機的驅(qū)動軟件銜接，將外部攝像機捕獲到的視頻數(shù)據(jù)，通過驅(qū)動軟件導(dǎo)入到過濾器圖 表中來；360度、180度或本例中270度全景視頻的生成，需要多個攝像頭同時采集，因此在 本例過濾器圖表中，有6個視頻采集器，分別與6臺攝像機相對應(yīng)；視頻采集器往往是攝像 機廠商隨攝像機提供的配套軟件，不需要再進(jìn)行編制或改動；視頻釆集器的數(shù)據(jù)傳遞， 一般 屬于DirectShow (微軟公司提供的一套在Windows平臺上進(jìn)行流媒體處理的丌發(fā)包)的"推 模式"，即由源過濾器"推動"視頻數(shù)據(jù)向下游的過濾器流動；步驟二、生成全景視頻將采集好的多路視頻傳入中央視頻服務(wù)器并合成為一幅180度、 360度或本例270度全景視頻，與一個全景視頻合成器(102)相連接，這是生成全景視頻的 最主要的過濾器，它將實現(xiàn)時間同步，色彩融合和透視變換以及最終全景視頻的生成中提出 的算法和架構(gòu)；本例中是有6個輸入端和1個輸出端的過濾器，6個輸入端分別與6個視頻采集器的輸出端相連，使得6個視頻采集器輸出的視頻數(shù)據(jù)都進(jìn)入全景視頻合成器(102)中； 全景視頻合成器(102)內(nèi)部有多個顯示緩存區(qū)，與它每個輸入端相對應(yīng)，本例中有6個緩存 區(qū)，采用多視頻流同歩方案模式即每臺攝像機的視頻幀(Sample)將進(jìn)入相應(yīng)的緩存區(qū)等待， 直到6個緩存區(qū)內(nèi)都有至少一個視頻幀的時候，釋放出來用以合成全景視頻；全景視頻的合 成采用GPU: (Graphic Processing Unit)顯示卡中圖形處理芯片，協(xié)同運算；全景視頻在顯示緩存區(qū)中生成后，系統(tǒng)將顯示緩存區(qū)中的視頻數(shù)據(jù)讀回到內(nèi)存中來，并 將這些數(shù)據(jù)看作一個新的視頻幀，儲存在一片新的內(nèi)存區(qū)域里，它的大小就是全景視頻的一 個幀的大小即本例中6臺攝像機的6個緩存區(qū)的大?。蛔詈?，全景視頻合成器將新生成的視頻幀打上時間戳(保持特定時間同步)，再通過輸出端，將全景視頻遞推給視頻分配器(103);視頻分配器(103)是一個一進(jìn)多出的過濾器，它將全景視頻合成器輸出的全景視頻復(fù)制成多 路視頻，并分別從它的各個輸出端中傳送出去，以便后邊處理；每當(dāng)一個視頻分配器的輸出 端被一個下游的過濾器連接上時，便會自動生成一個未被連接的輸出端，等待其他下游過濾 器的連接；歩驟三、剪裁全景視頻視頻剪裁器(104)是將視頻分配器發(fā)來的全景視頻進(jìn)行剪裁， 并將它剪裁的結(jié)果送入視頻編碼器(105)的一個變換過濾器；每個客戶端觀眾感興趣的區(qū)域 都有所不同，因此，視頻剪裁器(104)分別為每個觀眾剪裁他們所期望的全景視頻區(qū)域；步驟四、采用視頻編碼視頻編碼(105)是在視頻傳輸前所要做的必要的一個環(huán)節(jié)，視 頻編碼可以大大降低視頻的體積，使之適合在互聯(lián)網(wǎng)上傳輸；本裝置選用Divx (Divx編碼器 是MPEG編碼器基礎(chǔ)上發(fā)展而來的，是MPEG4壓縮算法的一個子集)作為視頻編碼器，Divx 不僅是一款功能齊全的編碼器，更重要的是，它為采用多核處理器的中央視頻服務(wù)器作了特 殊的優(yōu)化，編碼效率有了明顯的提升；步驟五、視頻傳輸為視頻發(fā)送器(106)的具體實施在開始視頻傳輸之前，服務(wù)器首先 啟動、運行模塊(121) socket建立流式(套接字)，設(shè)置好通訊協(xié)議(UDP協(xié)議)及套接字 的地址與協(xié)議(122)，將該套接字和本地服務(wù)器網(wǎng)絡(luò)IP地址聯(lián)系在一起，模塊(123)等待 服務(wù)器告知客戶端IP地址；當(dāng)客戶端同樣建立一個socket套接字時，服務(wù)器與客戶端建立 通訊聯(lián)系互相獲得對方的IP地址，此時，服務(wù)器即可告知視頻發(fā)送器客戶端IP地址，客 戶端和服務(wù)器之間就可以直接通過調(diào)用函數(shù)sendto (發(fā)送到)和recvfrom (接收自)來發(fā)送 和接收數(shù)據(jù)；視頻數(shù)據(jù)量一般都比較大，往往需要重復(fù)多次來接收，因此為了保證客戶端能 夠正確接收視頻數(shù)據(jù)，服務(wù)器端Socket套接字在發(fā)送正式的視頻數(shù)據(jù)之前，模塊(124)首 先發(fā)送一個視頻大小的數(shù)據(jù)給指定IP客戶端，告訴客戶端被接受視頻的數(shù)據(jù)量；然后，(125) 發(fā)送視頻數(shù)據(jù)給指定IP的客戶端，由視頻發(fā)送器發(fā)送；(126)判斷客戶端是否退出，如果沒有退出，視頻發(fā)送器程序轉(zhuǎn)至(127)模塊，準(zhǔn)備發(fā)送下一幀視頻，重復(fù)(124)、 (125)、 (126) 模塊步驟；如果客戶端關(guān)閉，視頻發(fā)送器程序轉(zhuǎn)至(128)模塊等待下一個客戶端IP地址 到來；步驟六、中央視頻服務(wù)器接收位置消息部分模塊(91)，通過網(wǎng)絡(luò)中央視頻服務(wù)器接收到 客戶端上行發(fā)送位置消息模塊(97)發(fā)送的位置消息后，分析發(fā)送此位置消息的客戶端ID (標(biāo) 示、身份證)，并按照新的位置，將改變剪裁窗口的位置模塊(92)移動至全景視頻中剪裁新 位置上的視頻圖像模塊(93)，將新位置上的區(qū)域剪裁下來，編碼后送至發(fā)送視頻模塊(94) 發(fā)送給對應(yīng)的客戶端。
4.根據(jù)權(quán)利要求3所述的全景攝像、轉(zhuǎn)播的方法，其特征在于客戶端一般為個人電腦， 也可以是配置了機頂盒的家庭電視機或者其它具有交互功能并接入互聯(lián)網(wǎng)的顯示設(shè)備；其運 作流程包括接收、解碼、顯示視頻以及發(fā)送位置信息四個任務(wù)，客戶端的運作流程如下-步驟一、客戶端接收過程在視頻接收時，客戶端首先建立Socket套接字(131)模塊， 與服務(wù)器端視頻發(fā)送器的Socket (套接字)運作流程相對應(yīng)；(132)模塊設(shè)定協(xié)議即運行，當(dāng)與服務(wù)器端連接成功后，便開始運行模塊(133):接收視頻數(shù)據(jù)量；在接收視頻數(shù)據(jù)之前，會先接收山視頻發(fā)送器傳來的視頻大小的數(shù)據(jù)量，再按照此數(shù)據(jù)量調(diào)用recvfrom ()接收視 頻數(shù)據(jù)模塊(134):接收視頻發(fā)送器發(fā)來的視頻數(shù)據(jù)，直到此幀視頻數(shù)據(jù)全部接收完畢，并 經(jīng)模塊135判斷是否接受完畢，如果接受完畢，將運行模塊(136): MediaSample形式封裝， 將接收的視頻數(shù)據(jù)以MediaSample的形式進(jìn)行封裝；模塊(137)將視頻數(shù)據(jù)打上時間戳推送 視頻解碼器，即推送給下游過濾器進(jìn)行解碼；模塊(138)判斷是否退出，如果客戶端退出， 則轉(zhuǎn)至模塊(139)關(guān)閉Socket套結(jié)字，即結(jié)束客戶端視頻采集過程；如不退出，界序轉(zhuǎn)至 1310模塊準(zhǔn)備接收下一幀視頻數(shù)據(jù)，重復(fù)模塊133、 134、 135、 136、 137、 138模塊歩驟， 繼續(xù)客戶端視頻采集的過程；歩驟二、客戶端解碼過程解碼環(huán)節(jié)與編碼環(huán)節(jié)相對應(yīng)，是將服務(wù)器端編碼后的視頻幀 重新恢復(fù)回來；客戶端的視頻接收器(1U)與服務(wù)器端的視頻發(fā)送器(106)相對應(yīng)，接收 來自視頻發(fā)送器的視頻數(shù)據(jù)，并將它通過輸出端推送給下游的視頻FFDShow解碼器(112); FFDShow視頻解碼器(112)融合了多個解碼器為一體，它可以解包括Xvix、 Divx、 X264等 多種壓縮格式的視頻；在此過濾器圖表中，由于上游的過濾器輸出的是以Divx壓縮的格式， 因此在媒體協(xié)商的時候就巳經(jīng)確認(rèn)，這個視頻解碼器的內(nèi)核為Divx解碼器；客戶端接收到由 中央視頻服務(wù)器發(fā)來的視頻，設(shè)置一個視頻幀緩存區(qū)，保障客戶端播放視頻的完整性；步驟三、客戶端視頻顯示過程視頻顯示是將被播放的視頻經(jīng)過顯示卡放映到屏幕中的過程，在Windows中，視頻顯示模式一般是Overlay (—種數(shù)字視頻的顯示技術(shù)，用于優(yōu)化視頻播放)模式；步驟四、客戶端發(fā)送位置消息當(dāng)客戶端觀眾要求改變視角，想觀看場景中的其他區(qū)域 的時候，通過操縱鼠標(biāo)、搖桿或遙控器客戶端發(fā)送位置消息模塊(97)就會發(fā)送相應(yīng)位置消 息給服務(wù)器端；位置消息記錄著客戶端觀眾向中央視頻服務(wù)器請求新的觀察區(qū)域的位置，在 這里，"位置"是指中央視頻服務(wù)器屮生成的全景視頻的某部分像素的位置；全景視頻中的每 個象素，坐標(biāo)系中都有一個坐標(biāo)點與之對應(yīng)；位置消息的發(fā)送采用TCP協(xié)議，這是因為一方 面位置消息相對視頻數(shù)據(jù)更加重要，另一方面位置消息的數(shù)據(jù)量比較小，可以選擇網(wǎng)絡(luò)開銷 較大但可靠性較高的TCP協(xié)議發(fā)送。
全文摘要
多鏡頭光心重合式全方位攝像裝置及全景攝像、轉(zhuǎn)播方法采用特殊光路設(shè)計，讓不同方位的攝像機群光心重合(包括實際光心與虛擬光心重合)，消除了光路交叉造成的缺陷。同時對360度球形、半球形、環(huán)狀區(qū)域進(jìn)行圖像采集，實現(xiàn)了視頻圖像信息在各點不同景深處均能很好銜接的目的，形成了渾然一體的全方位圖像。客戶端用戶在播放視頻圖像時，可通過移動鼠標(biāo)、搖桿或遙控器選擇需要的視野，即改變發(fā)往視頻服務(wù)器的上行數(shù)據(jù)。視頻服務(wù)器根據(jù)客戶端的需求，將生成的全景視頻裁剪成不同的內(nèi)容分發(fā)給相應(yīng)的客戶端，從而讓不同的用戶自由的觀看他們所感興趣的區(qū)域而互不影響，完成客戶端觀眾個性化選擇觀察視角的功能觀眾左顧右盼，如同身臨其境。
文檔編號H04N7/18GK101521745SQ20091013166
公開日2009年9月2日 申請日期2009年4月14日 優(yōu)先權(quán)日2009年4月14日
發(fā)明者王廣生 申請人:王廣生