專利名稱：通信終端和信息系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例涉及移動通信領(lǐng)域，尤其是一種通信終端和通信系統(tǒng)。
背景技術(shù)：
二維的圖像或視頻是二維信息載體，只能表現(xiàn)出景物的內(nèi)容而無法表現(xiàn)物體的遠(yuǎn)近、位置等深度信息，是不完整的。
立體(Three-Dimensional, 3D )視頻是基于人的雙目視差原理，通過攝像機(jī)獲取同一場景但略有差異的兩幅圖像，分別對左眼和右眼進(jìn)行顯示，形成雙目視差，從而獲得場景深度信息并體驗(yàn)到立體感。立體圖像一般有兩種常用的形式，即由分別針對左右眼的左右圖像對構(gòu)成的立體圖像，或者是由一幅二維圖像以及與該二維圖像對應(yīng)的深度圖構(gòu)成立體圖像。因此立體視頻技術(shù)可以提供符合立體視覺原理的深度信息，從而能夠更加真實(shí)地重現(xiàn)客觀世界景象，表現(xiàn)出場景的縱深感、層次感和真實(shí)性，隨著時(shí)代的發(fā)展，立體圖像/立體視頻技術(shù)也顯得越來越重要。
立體圖像/視頻技術(shù)廣泛應(yīng)用在立體電影、電視，立體視頻會議，虛擬現(xiàn)實(shí)系統(tǒng)，遠(yuǎn)程工業(yè)控制，機(jī)器人導(dǎo)航和遠(yuǎn)程醫(yī)療等諸多場合。
在曰常生活中，同樣需要立體圖像/視頻技術(shù)。例如旅游時(shí)遇到的美麗景色，希望通過發(fā)送立體短信，讓其他用戶也可以顯示當(dāng)前的立體景色；再例如進(jìn)行立體視頻通話或發(fā)送立體圖像/視頻信息，則通話雙方在聽到對方聲音的同時(shí)，還可以感知對方的立體場景。
現(xiàn)有的三維圖像通信終端包括 一個(gè)三維圖像輸入模塊，具有多個(gè)攝像頭用于捕獲立體物體圖像； 一個(gè)三維圖像顯示模塊，用于顯示三維圖像信息；一個(gè)通信模塊，用于至少傳輸由三維圖像輸入模塊獲得的三維圖像信息；三維圖像顯示模塊由集成成像類型的水平/垂直視差顯示設(shè)備組成，攝像機(jī)被排列為至少呈上/下，左/右方位分布，在三維圖像顯示設(shè)備的附近。
因此現(xiàn)有的三維通信終端必須采用多個(gè)攝像頭才能完成三維圖像信息的輸入，因此結(jié)構(gòu)復(fù)雜，并且無法將三維圖像/視頻信息進(jìn)行存儲。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種通信終端和通信系統(tǒng)，利用簡單的結(jié)構(gòu)實(shí)現(xiàn)立體圖像/視頻的采集、現(xiàn)實(shí)和傳輸。
本發(fā)明實(shí)施例提供一種通信系統(tǒng)，利用簡單的結(jié)構(gòu)圖像/視頻信息的傳輸。
本發(fā)明實(shí)施例提供了一種通信終端，包括
一個(gè)圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；
通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；
圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
本發(fā)明實(shí)施例提供了一種信息系統(tǒng)，包括立體圖像/視頻信息中心，該立體圖像/視頻信息中心包括
立體圖像/視頻信息中繼，用于與通信終端進(jìn)行交互；
立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息，以及立體圖像/視頻信息和短信息的轉(zhuǎn)換。
本發(fā)明實(shí)施例通信終端可以利用圖像/視頻采集生成模塊釆集和生成立體圖像/視頻數(shù)據(jù)，然后由通信模塊圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)，在圖像/視頻顯示模塊進(jìn)行顯示，所以結(jié)構(gòu)簡單效果好。本發(fā)明實(shí)施例的通信系統(tǒng)可進(jìn)行立體圖像/視頻信息的通信，讓通話雙方在聽到對方聲音的同時(shí)，還可以感知對方場景的深度信息，獲得一種身臨其境的通話效果，使得通話雙方感覺更親切且更真實(shí)。


圖1為本發(fā)明通信終端實(shí)施例的結(jié)構(gòu)示意圖2為本發(fā)明通信終端實(shí)施例利用一個(gè)平面圖像/視頻攝像機(jī)，針對相同場景進(jìn)行兩次拍攝的示意圖3為本發(fā)明通信終端實(shí)施例的掃描線平行對齊的兩幅圖像；
圖4為本發(fā)明通信終端實(shí)施例采用二維轉(zhuǎn)三維圖像序列處理方法的示意
圖5為本發(fā)明通信終端實(shí)施例圖像/視頻采集模塊采集圖像的示意圖；圖6為本發(fā)明通信終端實(shí)施例的圖像/視頻生成模塊進(jìn)行處理的示意圖；圖7為本發(fā)明通信終端實(shí)施例目標(biāo)點(diǎn)深度與攝像機(jī)之間的幾何關(guān)系示意
圖8為本發(fā)明通信終端另一實(shí)施例的結(jié)構(gòu)示意圖；圖9為本發(fā)明通信終端另一實(shí)施例的通信模塊采用分層編碼的方式編碼的示意圖10為本發(fā)明通信終端再一實(shí)施例的結(jié)構(gòu)示意圖；圖11為本發(fā)明通信系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
下面通過附圖和實(shí)施例，對本發(fā)明實(shí)施例的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
如圖1所示，為本發(fā)明通信終端實(shí)施例的結(jié)構(gòu)示意圖，該通信終端包括一個(gè)圖像/視頻采集生成模塊l，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊2,用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/
視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊3，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
進(jìn)一步的，再如圖1所示，圖像/視頻采集生成模塊包括圖像/視頻采集模塊ll，用于采集圖像/視頻；圖像/視頻生成模塊12，用于將采集到的圖像/視頻生成立體圖像/視頻數(shù)據(jù)。
圖像/視頻采集模塊用來進(jìn)行圖像/視頻的采集，可以是單個(gè)的立體圖像/視頻攝像機(jī)也可以是一個(gè)平面圖像/視頻攝像機(jī)或者多個(gè)(例如兩個(gè))平面圖像/視頻攝像機(jī)。
平面圖像/視頻攝像機(jī)只能采集平面的圖像/視頻，因此需要圖像/視頻生成模塊將采集到的平面圖像/視頻處理成立體圖像/視頻數(shù)據(jù)，處理方式有很多種。
第一，圖像/視頻采集模塊為一個(gè)單獨(dú)的平面圖像/視頻攝像機(jī)，可以通過從不同角度采集同 一場景的兩幅圖像，然后由圖像/視頻生成模塊進(jìn)行立體匹配獲取三維圖像/^f見頻。
生成模塊可以根據(jù)采集到的不同角度的圖像進(jìn)行對齊預(yù)處理，從而生成立體圖像/視頻數(shù)據(jù)；或者生成模塊根據(jù)采集到的不同角度的圖像進(jìn)行對齊預(yù)處理，對對齊后的兩幅圖像進(jìn)行立體匹配，得到深度信息，并根據(jù)其中的一幅圖像和深度信息重構(gòu)生成立體圖像/視頻數(shù)據(jù)。如圖2所示，為本發(fā)明實(shí)施例通信終端，利用一個(gè)平面圖像/視頻攝像機(jī)針對相同場景進(jìn)行兩次拍攝的示意圖，圖中實(shí)線所示的位置為攝像機(jī)采集第一幅圖像/視頻的位置，然后平移距離B，圖中虛線所示的位置為將攝像機(jī)平移后采集第二幅圖像/視頻的位置，當(dāng)兩次所采集的圖像中的場景內(nèi)容沒有變化或變化很緩慢時(shí)，則可以近似獲得由雙目攝像機(jī)或立體攝像機(jī)一次拍攝的效果，圖中f為焦距，Z為場景點(diǎn)到光心平面的距離，d為圖像對中相對應(yīng)的成像點(diǎn)變換到同 一平面的距離，B為攝像機(jī)采集兩個(gè)圖像的位置的光心間距。針對攝像頭從不同位置獲取的兩幅圖像，圖像/視頻生成模塊可以釆用各種預(yù)處理方法進(jìn)行 預(yù)處理，如可以采用快速極線調(diào)整的方法或其它方法進(jìn)行預(yù)處理和掃描線 對齊，從而消除在通信終端后攝像頭方位變化給后續(xù)立體匹配帶來的影響。 當(dāng)圖像/視頻生成模塊對在兩個(gè)不同位置針對相同場景的拍攝的圖像進(jìn) 行上述的預(yù)處理后，可以得到如圖3所示的本發(fā)明通信終端實(shí)施例的掃描線平
行對齊的兩幅圖像，M點(diǎn)在左右兩幅圖像中成像點(diǎn)分別是m,和nv,利用偏振約 束可以按照如下方式進(jìn)行深度求解
<formula>formula see original document page 9</formula>
其中，w)表示圖像在同 一坐標(biāo)系的視差，對攝像機(jī)拍攝的兩幅圖像進(jìn) 行立體匹配，在獲得場景中同一目標(biāo)在兩幅圖像中的視差后，可根據(jù)式l中視 差與深度之間的關(guān)系獲得場景中目標(biāo)的深度信息，從而得到立體圖像/視頻數(shù) 據(jù)。
第二，圖像/視頻采集模塊為一個(gè)單獨(dú)的平面圖像/視頻攝像機(jī)，然后利 用采集到的平面圖像，圖像/視頻生成模塊基于平面二維圖像獲取三維圖像需 要確定場景中目標(biāo)的深度信息，即需要創(chuàng)建深度圖，通過對圖像中目標(biāo)的辨 別和理解，獲得相對的深度關(guān)系，從而創(chuàng)建深度圖，得到立體圖像/視頻數(shù)據(jù)，
該方法用于處理針對小屏幕僅需稀疏深度信息的立體圖像時(shí)，非常方便；
第三，圖像/視頻采集模塊為一個(gè)單獨(dú)的平面圖像/視頻攝像機(jī)，當(dāng)需要 處理連續(xù)的圖像幀時(shí)，圖像/視頻生成模塊可以采用二維轉(zhuǎn)三維圖像序列處理 方法，將場景中的目標(biāo)劃分為前景和背景，并設(shè)置不同的深度信息，利用設(shè) 置的深度信息和所述圖像/視頻，生成立體圖像/視頻數(shù)據(jù)。如圖4所示的本發(fā) 明通信終端實(shí)施例采用二維轉(zhuǎn)三維圖像序列處理方法的示意圖，圖像/視頻生 成模塊根據(jù)采集到的圖像系列中點(diǎn)的深度數(shù)據(jù)；利用深度數(shù)據(jù)和一個(gè)分類器
9確定深度特性作為圖像特征和相關(guān)位置的函數(shù)；利用圖像特征創(chuàng)建圖像序列
至少某一幀的深度圖，由此得到立體圖像/視頻數(shù)據(jù)。
第三，圖像/視頻采集模塊為一個(gè)單獨(dú)的平面圖像/視頻攝像機(jī)，圖像/視
頻生成模塊可以包括采樣圖像獲取子模塊，用于采集當(dāng)前圖像和前一幀圖 像；
運(yùn)動檢測子模塊，用于通過對當(dāng)前圖像和前一幀圖像的相關(guān)性像素比較 檢測運(yùn)動像素和靜止像素；區(qū)域分割子模塊，用于將當(dāng)前圖像分割為小的搜 索區(qū)域，根據(jù)運(yùn)動檢測的結(jié)果對每個(gè)區(qū)域的運(yùn)動像素生成表示值；深度圖生 成子模塊，用于檢測構(gòu)成運(yùn)動物體區(qū)域的運(yùn)動像素組，給每個(gè)運(yùn)動像素組設(shè) 置權(quán)值，生成和原圖像同樣大小的深度圖；視差處理子模塊，用于生成左/ 右眼圖像生成立體圖像/視頻數(shù)據(jù)。
第四，圖像/視頻采集模塊為兩個(gè)平面圖像/視頻攝像機(jī)，如圖5所示， 為本發(fā)明通信終端實(shí)施例圖像/視頻釆集模塊釆集圖像的示意圖，可以同時(shí)采 集從不同方位拍攝的相同場景內(nèi)容的兩幅圖像。如圖6所示，為本發(fā)明通信 終端實(shí)施例的圖像/視頻生成模塊進(jìn)行處理的示意圖，場景中目標(biāo)點(diǎn)M在兩幅 圖像中的對應(yīng)成像點(diǎn)分別為mL和m 基于雙目立體匹配可獲得對應(yīng)成像點(diǎn)nii
和nv之間坐標(biāo)差值，即雙目視差《—再如圖7所示，為本發(fā)明通信終端 實(shí)施例目標(biāo)點(diǎn)深度與攝像機(jī)之間的幾何關(guān)系示意圖，圖中目標(biāo)點(diǎn)深度與攝像 機(jī)之間的幾何關(guān)系，可以按照公式2求得目標(biāo)點(diǎn)的深度Z，式中，f為焦距， Z為場景點(diǎn)到光心平面的距離，d為兩幅圖像對中的成像點(diǎn)的距離，B為兩個(gè) 攝像機(jī)位置的光心間距，由此圖像/視頻生成模塊生成立體圖像/視頻數(shù)據(jù)。
<formula>formula see original document page 10</formula>(式2 )
圖像/視頻采集模塊也可以采用立體圖像/視頻攝像機(jī)，立體圖像/視頻攝 像機(jī)有兩種結(jié)構(gòu)，即由和由 一 個(gè)平面攝像機(jī)加 一 個(gè)深度傳感器組成的立體攝像機(jī)，當(dāng)采用不同的立體圖像/視頻攝像機(jī)時(shí)，圖像/視頻生成模塊的處理也 不相同。
第 一 ，當(dāng)圖像/視頻采集模塊為分開一定距離的兩個(gè)鏡頭組成的雙目立體 攝像機(jī)時(shí)，兩個(gè)鏡頭可以同時(shí)采集一個(gè)場景的兩幅不同的圖像，相當(dāng)于人的 左右眼圖像，與采用兩個(gè)平面攝像機(jī)的圖像/視頻采集模塊類似，其圖像/視
頻生成模塊的后續(xù)處理，也可以通過立體匹配確定場景中目標(biāo)的深度信息； 當(dāng)進(jìn)行圖像采集時(shí)，可以對兩個(gè)圖像視頻序列中的圖像對進(jìn)行匹配，獲取每 一幀圖像所對應(yīng)的深度信息，從而獲取立體圖像/視頻數(shù)據(jù)。
第二，當(dāng)圖像/視頻采集模塊為一個(gè)平面攝像機(jī)加一個(gè)深度傳感器組成的 立體攝像機(jī)時(shí)，平面攝像機(jī)可以和采集，而深度傳感器可以獲得該二維圖像 中目標(biāo)的，圖像/視頻生成模塊根據(jù)圖像的二維信息和深度信息生成立體圖像 /視頻數(shù)據(jù)。
因此本發(fā)明實(shí)施例一的通信終端，可以利用圖像/視頻采集生成模塊采集 和生成立體圖像/視頻數(shù)據(jù)，然后由通信模塊發(fā)送該生成的立體圖像/視頻數(shù) 據(jù)，或者接收其他立體圖像/視頻數(shù)據(jù)在圖像/視頻顯示模塊進(jìn)行顯示，所以 結(jié)構(gòu)簡單，效果好，并且可以使通話雙發(fā)在聽到對方聲音的同時(shí)，還可以感 知對方場景的深度信息，獲得一種身臨其境的通話效果，使得通話雙方感覺 更親切且更真實(shí)，因此可以獲得更好的用戶體驗(yàn)。
如圖8所示，為本發(fā)明通信終端另一實(shí)施例的結(jié)構(gòu)示意圖，本實(shí)施例與 實(shí)施例一不同之處在于增加了存儲模塊4，可以用于存儲生成和接收到的立體 圖像/視頻數(shù)據(jù)和/或通話信息。
進(jìn)一步的，通信模塊2可以包括編碼子模塊21，用于將采集或者存儲的 圖像/視頻數(shù)據(jù)編碼；通信子模塊20,用于接收和發(fā)送經(jīng)過編碼或者未經(jīng)編碼 的圖像/視頻數(shù)據(jù)；解碼子模塊22,用于將接收到的經(jīng)過編碼的圖像/視頻數(shù) 據(jù)進(jìn)行解碼。通信模塊2發(fā)送和接收三維立體圖像/視頻數(shù)據(jù)，包括但是不限 于傳輸三維圖像，還可以對聲音等其它數(shù)據(jù)進(jìn)行傳輸；通信的方式可采用有線或者無線連接和傳輸；三維圖像/視頻數(shù)據(jù)的傳送可以采用多種方式，如分
別編碼傳送兩個(gè)獨(dú)立的圖像或視頻流，提取深度后編碼傳輸參考圖像和深度 信息，以及傳輸參考圖像和各種預(yù)測估計(jì)等。
通信模塊2可以將從圖像/視頻采集模塊11采集的圖像或從存儲模塊4 讀取的立體圖像/視頻數(shù)據(jù)進(jìn)行傳輸。傳輸內(nèi)容可以為編碼和未編碼的立體圖
像/視頻數(shù)據(jù)。
如果圖像/視頻采集模塊11是由雙個(gè)平面圖像/視頻攝像機(jī)組成的，通信 模塊2的編碼子模塊21對采集的兩個(gè)圖像流可以分別單獨(dú)編碼傳輸，也可以 基于所獲取的深度信息和原始圖像對編碼傳輸。如圖9所示，為本發(fā)明通信 終端另 一實(shí)施例的通信模塊采用分層編碼的方式編碼的示意圖，基本層編碼 傳輸從原始圖像對中選擇的參考視圖(圖中選擇左視圖)，將深度信息編碼 放入增強(qiáng)層，其中基本層采用標(biāo)準(zhǔn)的混合編碼方法編碼，增強(qiáng)層基于基本層 對應(yīng)幀進(jìn)行預(yù)測編碼，同時(shí)使用層內(nèi)幀間預(yù)測編碼。采用此編碼方案，在接 收端可以根據(jù)需要，僅解碼基本層編碼內(nèi)容用于兼容傳統(tǒng)二維顯示，或同時(shí) 解碼基本層和增強(qiáng)層編碼內(nèi)容用于立體顯示。
通信模塊2除了進(jìn)行圖像編碼傳輸外，還可以接收網(wǎng)絡(luò)發(fā)送的立體圖像/ 視頻數(shù)據(jù)和其它信息，接收的立體圖像/視頻信息經(jīng)過解碼子模塊32解碼后 放入立體顯示模塊進(jìn)行立體顯示，也可以將接收的數(shù)據(jù)放入存儲模塊4進(jìn)行 存儲。
對于圖像/視頻顯示模塊3可以是能夠進(jìn)行三維立體顯示的所有設(shè)備，例 如自動立體顯示設(shè)備，立體眼鏡和全息顯示設(shè)備等。圖像/視頻顯示模塊3完 成立體圖像/視頻的顯示，顯示的圖像/視頻內(nèi)容可以為圖像/視頻采集模塊11 采集的圖像/視頻，也可以是通過網(wǎng)絡(luò)接收到的內(nèi)容，還可以是從存儲模塊4 中讀取的內(nèi)容等。
此外，若圖像/視頻顯示模塊3可以兼容顯示二維圖像信息，則可以實(shí)現(xiàn) 三維圖像通信終端與傳統(tǒng)二維圖像通信設(shè)備的兼容通信，便于通信終端從二維平面通信向三維立體通信的順利過渡。
當(dāng)進(jìn)行立體視頻通信時(shí)，可以將圖像/視頻采集模塊11采集的圖像/視頻
通過通信模塊2發(fā)送；或者將圖像/視頻生成模塊12生成的立體圖像/視頻數(shù) 據(jù)發(fā)送；也可以將存儲模塊4中存儲的圖像/視頻和立體圖像/視頻數(shù)據(jù)發(fā)送； 同時(shí)通信模塊接收對端發(fā)送的像/視頻或立體圖像/視頻數(shù)據(jù)，由圖像/視頻顯 示模塊3進(jìn)行三維立體顯示。
因此本發(fā)明實(shí)施例二的通信終端，可以利用存儲模塊，將圖像/視頻采集 生成模塊采集到的圖像/視頻，以及生成的立體圖像/視頻數(shù)據(jù)進(jìn)行存儲，從 而便于發(fā)送。效果更好。
如圖10所示，為本發(fā)明通信終端再一實(shí)施例的結(jié)構(gòu)示意圖，本實(shí)施例與 上一實(shí)施例相比增加了立體信息生成模塊5,用于根據(jù)立體圖像/視頻數(shù)據(jù)生 成立體圖像/視頻信息，并存儲在存儲模塊4中；應(yīng)答模塊6，用于通過通信 模塊2自動向?qū)Χ税l(fā)送立體圖像/視頻信息。
立體信息生成模塊5可以根據(jù)圖像/視頻生成模塊12生成的立體圖像/視 頻數(shù)據(jù)，或者存儲模塊4存儲的立體圖像/視頻數(shù)據(jù)生成立體圖像/視頻信息， 這些立體圖像/視頻信息可以直接由通信模塊2發(fā)送；也可以存儲到存儲模塊 4中，后續(xù)調(diào)取存儲模塊4中存儲的立體圖像/視頻信息進(jìn)行發(fā)送。當(dāng)利用通 信終端利用立體圖像/視頻信息進(jìn)行溝通時(shí)，即可以利同通信模塊2發(fā)送立體 圖像/視頻信息，也可以接收立體圖像/視頻信息，由圖像/視頻顯示模塊3進(jìn) 4亍顯示。
而應(yīng)答模塊6實(shí)現(xiàn)自動應(yīng)答方式如下首先可以利用圖像/視頻采集模塊 11采集圖像/視頻，或者利用圖像/視頻生成模塊12生成立體圖像/視頻數(shù)據(jù) 存儲在存儲模塊4中作為應(yīng)答內(nèi)容，(可以為針對不同呼叫用戶使用相同或 者不同的應(yīng)答內(nèi)容)，當(dāng)其它用戶呼叫時(shí)，本地通信終端無應(yīng)答時(shí)，應(yīng)答模 塊6讀取自動答錄的設(shè)置，當(dāng)設(shè)置為不處理時(shí)，則不進(jìn)行任何處理；否則自 動接聽呼叫，判斷呼叫用戶，并根據(jù)不同的用戶從存儲才莫塊4中讀取預(yù)先設(shè)
13置的相應(yīng)應(yīng)答內(nèi)容，播放給呼叫用戶，同時(shí)錄制呼叫用戶的應(yīng)答留言存入存 儲模塊4中。
因此本發(fā)明實(shí)施例三的通信終端，可以利用立體信息生成模塊生成立體
圖像/視頻信息，并存儲在存儲模塊中；利用應(yīng)答模塊通過通信模塊自動向?qū)?端發(fā)送立體圖像/視頻信息，所以可以生成和發(fā)送立體圖像/視頻信息，因此 功能更加豐富，效果更佳。
如圖ll所示，為本發(fā)明通信系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖，該通信系統(tǒng)包括 立體圖像/視頻信息中心91,該立體圖像/視頻信息中心91包括立體圖像/視 頻信息中繼911，用于與通信終端90進(jìn)行交互；立體圖像/視頻信息服務(wù)器 912,用于存儲立體圖像/視頻信息和立體圖像/視頻信息和短信息的轉(zhuǎn)換。進(jìn) 一步的，再如圖11所示，該通信系統(tǒng)還包括電子郵件(Email)服務(wù)器92, 用于提供電子郵件服務(wù)。
通信終端90就是上述所述的可以支持立體圖像/視頻信息的通信終端， 可以實(shí)現(xiàn)立體圖像/視頻信息的生成、管理、發(fā)送和接收，通過通信網(wǎng)絡(luò)與立 體圖像/視頻信息中心連接，可以為有線或者無線連接。立體圖像/視頻信息 中繼911是本信息系統(tǒng)的核心組成部分，主要實(shí)現(xiàn)與通信終端90的交互。立 體圖像/視頻信息服務(wù)器912是本信息系統(tǒng)的核心組成部分，提供立體圖像/ 視頻信息的存儲，還可以根據(jù)完成相應(yīng)的格式轉(zhuǎn)化，該格式轉(zhuǎn)化可以是從立 體圖像/視頻信息轉(zhuǎn)換到平面圖像/視頻信息，也可以是將立體圖像/視頻信息 的分辨率降低的轉(zhuǎn)化，從而在提高傳輸效率的同時(shí)，兼容各種不同終端顯示 能力或短信系統(tǒng)。Email服務(wù)器92可以提供標(biāo)準(zhǔn)的Internet郵件服務(wù)，可以 從通信終端接收立體圖像/視頻信息，也可以向通信終端發(fā)送立體圖像/視頻
j呂息。
本通信系統(tǒng)也可以與其它短信中心交互。
利用支持立體圖像/視頻信息的通信終端與現(xiàn)有的各種通信終端的兼容 通信可以利用以下方式實(shí)現(xiàn)1) 發(fā)送方知道對端通信終端的處理能力，發(fā)送有先有短信息系統(tǒng);格式兼
容的短信息，發(fā)送現(xiàn)有短信息；
2) 發(fā)送方通信終端直接發(fā)送立體圖像/視頻信息，由立體圖像/視頻信息
中心根據(jù)接受方通信終端的顯示能力對立體圖像/視頻信息進(jìn)行格式轉(zhuǎn)換，轉(zhuǎn)
換成與現(xiàn)有系統(tǒng)兼容的格式，實(shí)現(xiàn)與現(xiàn)有的短信息通信終端的兼容通信；
3) 發(fā)送方通信終端直接發(fā)送立體圖像/視頻信息，立體圖像/視頻信息中 心發(fā)送簡單通知給現(xiàn)有短信息通信終端的同時(shí)發(fā)送立體圖像/視頻信息到 Email郵箱，用戶通過Internet在計(jì)算機(jī)等其它支持立體短信顯示的設(shè)備上 查看。
基于立體圖像/視頻信息中心的信息格式轉(zhuǎn)化功能，在群發(fā)立體圖像/視 頻信息時(shí)，系統(tǒng)可以根據(jù)接受方通信終端的顯示能力將立體圖像/視頻信息轉(zhuǎn) 化成相應(yīng)的格式發(fā)送，可以充分利用網(wǎng)絡(luò)帶寬的前提。同時(shí)在接受用戶點(diǎn)播 時(shí)也可以根據(jù)接受方通信終端的顯示能力發(fā)送相應(yīng)的點(diǎn)播內(nèi)容。
因此本發(fā)明實(shí)施例的通信系統(tǒng)可進(jìn)行立體圖像/視頻信息的通信，讓通話 雙方在聽到對方聲音的同時(shí)，還可以感知對方場景的深度信息，獲得一種身 臨其境的通話效果，使得通話雙方感覺更親切且更真實(shí)，可以獲得更好的用 戶體驗(yàn)。同時(shí)還可以實(shí)現(xiàn)利用通信終端對立體圖像/視頻信息與現(xiàn)有信息的通 信系統(tǒng)之間的現(xiàn)有信息互發(fā)。
最后所應(yīng)說明的是，以上實(shí)施例僅用以說明本發(fā)明實(shí)施例的技術(shù)方案而 非限制，盡管參照較佳實(shí)施例對本發(fā)明實(shí)施例進(jìn)行了詳細(xì)說明，本領(lǐng)域的普 通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明實(shí)施例的技術(shù)方案進(jìn)行修改或者等同替 換，而不脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍。
1權(quán)利要求
1、一種通信終端，其特征在于包括一個(gè)圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
2、 根據(jù)權(quán)利要求1所述的通信終端，其特征在于所述圖像/視頻采集生 成模塊包括圖像/視頻采集模塊，用于采集圖像/視頻；圖像/視頻生成模塊，用于將采集到的圖像/視頻生成立體圖像/視頻數(shù)據(jù)。
3、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機(jī)，用來從不同角度采集同一場景的兩幅圖像；所述 圖像/視頻生成模塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)。
4、 根據(jù)權(quán)利要求3所述的通信終端，其特征在于所述圖像/視頻生成模 塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)，是生成模塊根據(jù)采 集到的不同角度的圖像進(jìn)行對齊預(yù)處理，從而生成立體圖像/視頻數(shù)據(jù)。
5、 根據(jù)權(quán)利要求3所述的通信終端，其特征在于所述圖像/視頻生成模 塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)，是生成模塊根據(jù)采 集到的不同角度的圖像進(jìn)行對齊預(yù)處理，對對齊后的兩幅圖像進(jìn)行立體匹配， 得到深度信息，并根據(jù)其中的一幅圖像和深度信息重構(gòu)生成立體圖像/視頻數(shù) 據(jù)。
6、 根據(jù)權(quán)利要求5所述的通信終端，其特征在于所述生成模塊根據(jù)公式.A Z-《(附,，^卜x,-x,^Z(;r,-&) = ^，得到深度信息，從而生成立體圖 、—/ z zX —5像/視頻數(shù)據(jù)，式中f為焦距，Z為場景點(diǎn)到光心平面的距離即深度信息，d 為圖像對中相對應(yīng)的成像點(diǎn)變換到同一平面的距離，B為攝像機(jī)采集兩個(gè) 圖像的位置的光心間距，m,和mr為同一點(diǎn)在兩幅圖像中的成像點(diǎn)，分 乇—， ;i表示圖像在同 一坐標(biāo)系的視差。
7、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機(jī)，用來采集圖像/視頻；所述圖像/視頻生成模塊根 據(jù)采集到的圖像，將場景中的目標(biāo)劃分為前景和背景，并設(shè)置不同的深度信 息，利用設(shè)置的深度信息和所述圖像/視頻，生成立體圖像/視頻數(shù)據(jù)。
8、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機(jī)，用來采集圖像/視頻；所述圖像/視頻生成模塊包 括采樣圖像獲取子模塊，用于采集當(dāng)前圖像和前一幀圖像；運(yùn)動檢測子模塊，用于通過對當(dāng)前圖像和前一幀圖像的相關(guān)性像素比較 檢測運(yùn)動像素和靜止像素；區(qū)域分割子模塊，用于將當(dāng)前圖像分割為小的搜索區(qū)域，根據(jù)運(yùn)動檢測 的結(jié)果對每個(gè)區(qū)域的運(yùn)動像素生成表示值；深度圖生成子模塊，用于檢測構(gòu)成運(yùn)動物體區(qū)域的運(yùn)動像素組，給每個(gè) 運(yùn)動像素組設(shè)置深度值，生成和原圖同樣大小的深度圖；視差處理子模塊，用于生成立體圖像/視頻數(shù)據(jù)。
9、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為立體圖像/視頻攝像機(jī)。
10、 根據(jù)權(quán)利要求9所述的通信終端，其特征在于所述立體圖像/視頻攝 像機(jī)是由兩個(gè)平面圖像/視頻攝像頭組成的雙目立體攝像機(jī)，用于同時(shí)采集兩個(gè)不同的圖像/視頻；所述圖像/視頻生成模塊根據(jù)采集到的兩個(gè)平面圖像/視 頻序列中的圖像進(jìn)行匹配，獲取每一個(gè)圖像對應(yīng)的深度信息，生成立體圖像/ 視頻數(shù)據(jù)。
11、 根據(jù)權(quán)利要求9所述的通信終端，其特征在于所述立體圖像/視頻攝 像機(jī)是由一個(gè)平面圖像/視頻攝像頭和一個(gè)深度傳感器組成，用于釆集平面圖 像/視頻和深度信息；所述圖像/視頻生成模塊根據(jù)采集到的平面圖像/視頻和 該平面圖像/視頻的深度信息生成立體圖像/視頻數(shù)據(jù)。
12、 根據(jù)權(quán)利要求1所述的通信終端，其特征在于所述通信模塊包括 編碼子模塊，用于將采集或者存儲的圖像/視頻數(shù)據(jù)編碼； 通信子模塊，用于接收和發(fā)送經(jīng)過編碼或者未經(jīng)編碼的圖像/視頻數(shù)據(jù)； 解碼子模塊，用于將接收到的經(jīng)過編碼的圖像/視頻數(shù)據(jù)進(jìn)行解碼。
13、 根據(jù)權(quán)利要求1-12任一所述的通信終端，其特征在于還包括存儲模 塊，用于存儲生成和接收到的立體圖像/視頻數(shù)據(jù)和/或通話信息。
14、 根據(jù)權(quán)利要求13所述的通信終端，其特征在于還包括立體信息生成 模塊，用于根據(jù)立體圖像/視頻數(shù)據(jù)生成立體圖像/視頻信息，并存儲在存儲 模塊中。
15、 根據(jù)權(quán)利要求16所述的通信終端，其特征在于還包括應(yīng)答模塊，用 于通過通信模塊自動向?qū)Χ税l(fā)送立體圖像/視頻信息。
16、 一種信息系統(tǒng)，其特征在于包括立體圖像/視頻信息中心，該立體圖 像/視頻信息中心包括立體圖像/視頻信息中繼，用于與通信終端進(jìn)行交互； 立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息，以及立體圖 像/視頻信息和短信息的轉(zhuǎn)換。
17、 根據(jù)權(quán)利要求16所述的信息系統(tǒng)，其特征在于還包括電子郵件服務(wù) 器，用于提供電子郵件服務(wù)。
全文摘要
本發(fā)明實(shí)施例涉及一種通信終端，包括一個(gè)圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。本發(fā)明實(shí)施例涉及一種信息系統(tǒng)，包括立體圖像/視頻信息中心，該立體圖像/視頻信息中心包括立體圖像/視頻信息中繼，用于與通信終端進(jìn)行交互；立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息和立體圖像/視頻信息和短信息的轉(zhuǎn)換。本發(fā)明實(shí)施例通信終端結(jié)構(gòu)簡單效果好，通信系統(tǒng)可進(jìn)行立體圖像/視頻信息的通信。
文檔編號H04N13/00GK101459857SQ200710179059
公開日2009年6月17日 申請日期2007年12月10日 優(yōu)先權(quán)日2007年12月10日
發(fā)明者源 劉, 平 方, 凱 李, 靜 王 申請人:深圳華為通信技術(shù)有限公司