專利名稱：在即時通信中顯示多方視頻的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及即時通信中的視頻技術(shù)，尤其涉及在即時通信中顯示多方視頻 的方法及裝置。
背景技術(shù)：
網(wǎng)絡(luò)即時通訊工具發(fā)展到今天，已經(jīng)被大多數(shù)的網(wǎng)絡(luò)用戶所接受，而且逐 漸成為了用戶日常生活中不可缺少的一部分?，F(xiàn)有的即時通信系統(tǒng)能夠提供^見 頻聊天功能，多方用戶之間不僅可以通過文本消息和語音進行通信，而且還可 以傳送和顯示對方的圖像。
現(xiàn)有即時通信中都采用矩形顯示區(qū)域顯示參與通信方的視頻。圖1A所示 為在顯示裝置上顯示通信對方的圖像(圖中的4莫糊處理用于保護隱私，并非顯 示效果，以下同)。圖1B所示為在顯示裝置上顯示參與通信的多方的圖像。
從圖1A和圖1B可看出，雖然現(xiàn)有技術(shù)能夠顯示參與通信方的視頻，但 均采用單一的矩形方式顯示，導(dǎo)致在顯示多方視頻時，顯示的整體效果和給用 戶帶來的體驗欠佳。

發(fā)明內(nèi)容
本發(fā)明提供一種在即時通信中顯示多方視頻的方法及裝置，在即時通信中 顯示多方視頻時提高顯示效果和增強用戶的體驗。
一種在即時通信中顯示多方視頻的方法，包括如下步驟
確定顯示即時通信中多方視頻的多個多邊形;現(xiàn)頻顯示區(qū)，其中，所述多個 多邊形視頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；
分別將需要顯示的視頻分割為三角形，以及將對應(yīng)的視頻顯示區(qū)分割為相 同數(shù)量的三角形，并根據(jù)映射關(guān)系確定分割后三角形的視頻紋理頂點與顯示區(qū)^戈的三角形頂點之間的》于應(yīng)關(guān)系；
根據(jù)三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到對應(yīng)的區(qū)域，并至少對 視頻顯示區(qū)的視頻紋理進行變換和/或縮放處理；以及
顯示所述多個多邊形視頻顯示區(qū)的視頻圖像。
其中在確定所述多邊形視頻顯示區(qū)時進一步確定倒影顯示區(qū)；在分割視 頻和視頻顯示區(qū)時，進一步將對應(yīng)的倒影顯示區(qū)分割為相同數(shù)量的三角形，并 根據(jù)倒影映射關(guān)系確定分割后三角形的視頻紋理頂點與倒影顯示區(qū)的三角形 頂點之間的對應(yīng)關(guān)系；在映射視頻時，根據(jù)三角形頂點之間的對應(yīng)關(guān)系，將視 頻紋理映射到對應(yīng)的倒影顯示區(qū)，并將映射后的視頻紋理與背景紋理進行混 合；以及在顯示多邊形視頻顯示區(qū)的視頻圖像時，顯示所述多邊形視頻區(qū)圖像 的倒影。
一種顯示多方^L頻的裝置，包括
用于確定顯示即時通信中多方視頻的多個多邊形視頻顯示區(qū)的模塊，其 中，所述多個多邊形視頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；
用于分別將需要顯示的視頻分割為三角形，以及將對應(yīng)的視頻顯示區(qū)分割 為相同數(shù)量的三角形，并根據(jù)映射關(guān)系確定分割后三角形的視頻紋理頂點與顯 示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系的模塊；
用于根據(jù)三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到對應(yīng)的區(qū)域，并至 少對視頻顯示區(qū)的視頻纟文理進行變換和/或縮放處理的模塊；
用于顯示所述多邊形視頻顯示區(qū)的視頻圖像的模塊。
其中，所述裝置還包括
用于確定所述多邊形視頻顯示區(qū)對應(yīng)的倒影顯示區(qū)的模塊；
用于將所述倒影顯示區(qū)分割為的三角形，并根據(jù)倒影映射關(guān)系確定分割后
三角形的視頻紋理頂點與倒影顯示區(qū)的三角形頂點之間的對應(yīng)關(guān)系的模塊； 用于根據(jù)三角形頂點之間的對應(yīng)關(guān)系，將視頻紋理映射到對應(yīng)的倒影顯示
區(qū)的模塊；
用于將倒影顯示區(qū)的視頻紋理與背景紋理進行混合的模塊； 用于顯示所述多邊形視頻區(qū)圖像的倒影的模塊。 本發(fā)明有益效果如下
1、 本發(fā)明采用非直角的平行四邊形顯示視頻，突破了現(xiàn)有技術(shù)中采用矩 形區(qū)域顯示視頻的傳統(tǒng)模式，在顯示多方視頻時能夠形成面對面的立體效果， 提高用戶體驗。
2、 本發(fā)明通過增加視頻的倒影，能夠進一步提高顯示的立體效果。


圖1A、圖1B為現(xiàn)有技術(shù)中顯示通信方視頻的示意圖； 圖2為現(xiàn)有Direct3D顯示技術(shù)中紋理坐標(biāo)的示意圖； 圖3為現(xiàn)有Direct3D顯示技術(shù)中三角形面的紋理映射的示意圖； 圖4為本發(fā)明實施例中釆用非直角的平行四邊形區(qū)域顯示視頻的流程圖； 圖5為本發(fā)明實施例中采用非直角的平行四邊形區(qū)域顯示視頻及其倒影的 流程圖6為本發(fā)明實施例中將矩形紋理映射到非直角的平行四邊形區(qū)域的示意
圖7為本發(fā)明實施例中將矩形紋理映射到倒影顯示區(qū)域的示意圖8為本發(fā)明實施例中顯示兩方^L頻及倒影的效果示意圖9為本發(fā)明實施例中顯示三方視頻及倒影的效果示意圖10為本發(fā)明實施例中顯示四方視頻及倒影的效果示意圖11A為在六邊形視頻顯示區(qū)中確定平行四邊形視頻紋理映射區(qū)的示意
圖IIB為本發(fā)明實施例中利用矩形、不規(guī)則多邊形和六邊形顯示視頻的效 果示意圖12為本發(fā)明實施例中顯示多方視頻的裝置結(jié)構(gòu)示意圖。
具體實施例方式
本實施例在即時通信中顯示參與通信的多方的視頻中，突破原有的簡單矩 形顯示模式，部分或全部采用矩形之外的其他多邊形顯示區(qū)來顯示視頻，以呈 現(xiàn)視頻之間的立體效果。例如，非直角的平行四邊形、五邊形、六邊形等。進 一步的，顯示正視的視頻的倒影，以增強立體效果。
本實施例中利用Direct3D顯示技術(shù)，通過Direct3D的紋理映射將矩形模 式的圖像紋理映射到顯示視頻的矩形視頻顯示區(qū)和其他多邊形視頻顯示區(qū)。下 面對本實施例中使用的Direct3D顯示技術(shù)作簡要說明。
由于三維世界由點、線和面組成，分別對應(yīng)到Direct3D中就是頂點、直線 和三角形(因為三點確定一個平面，任何多邊形都可以分割成三角形，比如圓 也可以有三角形模擬)。三角形是Direct3D變換和渲染的核心元素。
視頻處理中紋理的本質(zhì)是貼圖，紋理坐標(biāo)又叫貼圖坐標(biāo)。在Direct3D中用 兩個0到1的浮點值(U, V)來設(shè)置一個點的紋理坐標(biāo)，U表示橫軸、V表 示縱軸。紋理的左上角為(0， 0),右下角為(1, 1)，紋理坐標(biāo)的定義如圖2 所示。
Direct3D顯示技術(shù)中的紋理映射就是將紋理的指定部分(一個三角形區(qū) 域)映射到Direct3D的三角形表面上，如圖3所示(圖中的模糊處理用于保護 隱私，并非顯示效果，以下同)。紋理貼圖的三角形區(qū)域和Direct3D的三角形 表面可以形狀不同和大小不同，此時顯示處理裝置(如顯示卡)會自動對紋理 進行變換和放縮處理。
Alpha混合是在紋理映射時將兩個或多個紋理(也可以是紋理和背景)按 照比例(又稱Alpha系數(shù))混合后映射到Direct3D的三角形表面，Alpha混合 可以創(chuàng)造很多特效。
下面以矩形之外的其他多邊形顯示區(qū)為非直角的平行四邊形為例進行說明。
參閱圖4所示，采用非直角的平行四邊形區(qū)域顯示兩方視頻的主要處理流 程如下
步驟400、在即時通信用戶所在客戶端啟動^f見頻通信。
步驟410、即時通信客戶端在視頻窗口設(shè)定顯示本方和對方視頻的兩個平 行四邊形區(qū)域。該兩個平行四邊形在顯示空間中顯現(xiàn)立體形狀，如在水平上呈 現(xiàn)"V"字形。
步驟420、將非直角的平行四邊形區(qū)域和在該區(qū)域顯示的視頻分割為相同 數(shù)量的三角形，并根據(jù)視頻映射關(guān)系確定分割后三角形的視頻紋理頂點與顯示 區(qū)域的三角形頂點之間的對應(yīng)關(guān)系。
一種較佳的分割方式是將平行四邊形分割為兩個三角形，當(dāng)然也可以分割 成兩個以上的三角形。
步驟430、才艮據(jù)三角形頂點之間的對應(yīng)關(guān)系將在非直角的平行四邊形區(qū)域 顯示的視頻紋理映射到對應(yīng)的區(qū)域。在該過程中，對視頻紋理進行適當(dāng)扭曲， 和拉伸。
步驟440、在兩非直角平行四邊形顯示區(qū)顯示即時通信雙方的視頻圖像。 參閱圖5所示，本實施例中采用非直角的平行四邊形區(qū)域顯示視頻及其倒
影的主要處理流程如下
步驟500、在多個即時通信用戶所在客戶端之間啟動視頻通信。
步驟510、即時通信客戶端在視頻窗口設(shè)定顯示本方和對方視頻及視頻的
倒影的多個平行四邊形區(qū)域，其中至少包括非直角的平行四邊形區(qū)域，也可以
包括矩形區(qū)域。
步驟520、將非直角的平行四邊形區(qū)域和在該區(qū)域顯示的視頻分割為相同 數(shù)量的三角形，并根據(jù)視頻映射關(guān)系及倒影映射關(guān)系確定分割后三角形的視頻 紋理頂點與顯示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系。
步驟530、根據(jù)三角形頂點之間的對應(yīng)關(guān)系，將在非直角的平行四邊形區(qū) 域顯示的3見頻紋理映射到對應(yīng)的區(qū)域，將在倒影顯示區(qū)域顯示的^L頻紋理映射 到對應(yīng)的區(qū)域。
如果存在矩形顯示區(qū)域，其處理與現(xiàn)有處理方式相同，不再贅述。
步驟540、將倒影顯示區(qū)域映射后的視頻紋理與背景紋理進行混合，使圖 像紋理變暗，然后在多個平行四邊形區(qū)域顯示多方視頻圖像及其倒影。
下面以圖示為例進行說明上述進行分割和映射的處理過程。
參閱圖6所示，矩形ABCD中的視頻圖像需要在即時客戶端采用非直角的 平行四邊形顯示。首先，客戶端確定待顯示視頻的平行四邊形1234,并初始化 其四個頂點1、 2、 3、 4。
其次，將平行四邊形分割成兩個三角形面，即三角形123和三角形134; 根據(jù)視頻紋理的四個邊界A、 B、 C、 D點[其中紋理坐標(biāo)為A (0.0， 0.0)， B (1.0， 0.0)， C(l.O, 1.0), D(O.O， 1.0)]分成三角形ABC和三角形ACD, 三角形頂點和紋理坐標(biāo)之間映射的對應(yīng)關(guān)系是1-A, 2-B， 3-C, 4-D。
然后，根據(jù)對應(yīng)關(guān)系，將三角形ABC的紋理映射到三角形123上，將三 角形ACD的紋理映射到三角形134。當(dāng)頂點三角形和紋理三角形大小相同時， 映射只需將相應(yīng)的紋理圖像的像素點顏色值賦予相應(yīng)的三角形頂點和內(nèi)部各 點即可；而當(dāng)這兩個三角形不相同時，映射時先將紋理圖像插值到頂點三角形 的大小，然后賦值。
如圖7所示，在圖6中還需要顯示非直角平行四邊形1234的倒影時，需 要增加的處理為在確定待顯示視頻的平行四邊形1234時還確定相同的另一 平4亍四邊形r 2' 3' 4',同時也初始化其四個頂點r 、 2' 、 3' 、 4'。
其次，在分割時，將平行四邊形l'2'3'4'分割成兩個三角形面，即三角形 l'2。'和三角形r3'4。三角形頂點和紋理坐標(biāo)的映射對應(yīng)關(guān)系是r-D， 2'-C， 3'-B, 4'-A。
然后，對圖像作水平方向的鏡像處理(因為是倒影)；在映射時，將三角
形DCB上的紋理映射到三角形1'2'3'上，將三角形DBA映射到三角形T3'4' 上；在映射完成后，將平行四邊形r2'3'4'上的紋理與背景紋理進行Alpha 混合，使顯示結(jié)果變暗以體現(xiàn)影子的效果(因為倒影圖像比原始圖像亮度低)。
本實施例中采用非直角的平行四邊形區(qū)域顯示兩方視頻及其倒影的效果 如圖8所示，在該圖示中，兩個非直角的平行四邊形區(qū)域在水平面上呈現(xiàn)"V" 字形，其呈現(xiàn)的立體空間形狀效果較佳。
本實施例中采用非直角的平行四邊形和矩形區(qū)域顯示三方視頻及其倒影 的效果如圖9所示，在該實施中，兩個非直角的平行四邊形區(qū)域呈現(xiàn)"V"字 形，矩形顯示區(qū)域設(shè)置在兩個非直角的平行四邊形區(qū)域的下方。
本實施例中采用非直角的平行四邊形和矩形區(qū)域顯示四方視頻及其倒影 的效果如圖10所示，在該圖示中，兩個非直角的平行四邊形區(qū)域和其中一個 矩形區(qū)域呈現(xiàn)"U"字形，整個視頻呈現(xiàn)多人坐在一起面對面交談的立體空間 效果。
對于顯示區(qū)域為非平行四邊形的其他多邊形時，如六邊形，在分割時可以 先在該非平行邊形顯示區(qū)確定一個矩形或非直角的平行四邊形，然后在該矩形 或非直角的平行四邊形內(nèi)分割三角形，然后按照前述的方式在矩形或非直角的 平行四邊形區(qū)域映射和處理視頻紋理，如圖IIA所示。對于所述非平行四邊形 的其他多邊形中除矩形或非直角的平行四邊形之外的區(qū)域，可以設(shè)置為黑色 (當(dāng)然也可以根據(jù)需要設(shè)置為其他色)。采用六邊形顯示視頻的效果圖如圖11B 所示。
圖12所示給出了本實施例中一種顯示多方視頻的裝置，包括確定模塊 120、分割模塊121、映射模塊122、混合模塊123和顯示模塊124。確定模塊 120確定顯示即時通信中多方視頻及其倒影的多邊形顯示區(qū)，所述多個多邊形 視頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；分割模塊121將顯示視頻及倒影的多 邊形區(qū)域和在該區(qū)域顯示的視頻分割為相同數(shù)量的三角形，并根據(jù)映射關(guān)系確
定分割后三角形的視頻紋理頂點與顯示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系；映 射模塊122根據(jù)各三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到視頻顯示區(qū)， 以及將需要顯示倒影的視頻紋理映射到對應(yīng)的區(qū)域；混合模塊123將映射后的 倒影顯示區(qū)域的視頻紋理與背景紋理進行混合，使紋理形成倒影效杲；顯示模 塊124呈現(xiàn)多個多邊形區(qū)域的視頻及倒影圖像，使其呈現(xiàn)前述的空間立體效果。 顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā) 明的精神和范圍。這樣，倘若對本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求 及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1、一種在即時通信中顯示多方視頻的方法，其特征在于，包括如下步驟確定顯示即時通信中多方視頻的多個多邊形視頻顯示區(qū)，其中，所述多個多邊形視頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；分別將需要顯示的視頻分割為三角形，以及將對應(yīng)的視頻顯示區(qū)分割為相同數(shù)量的三角形，并根據(jù)映射關(guān)系確定分割后三角形的視頻紋理頂點與顯示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系；根據(jù)三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到對應(yīng)的區(qū)域，并至少對視頻顯示區(qū)的視頻紋理進行變換和/或縮放處理；以及顯示所述多個多邊形視頻顯示區(qū)的視頻圖像。
2、 如權(quán)利要求1所述的方法，其特征在于，在確定所述多邊形視頻顯示 區(qū)時進一步確定倒影顯示區(qū)；在分割視頻和視頻顯示區(qū)時，進一步將對應(yīng)的倒影顯示區(qū)分割為相同數(shù)量 的三角形，并根據(jù)倒影映射關(guān)系確定分割后三角形的視頻紋理頂點與倒影顯示 區(qū)的三角形頂點之間的對應(yīng)關(guān)系；在映射視頻時，根據(jù)三角形頂點之間的對應(yīng)關(guān)系，將視頻紋理映射到對應(yīng) 的倒影顯示區(qū)，并將映射后的視頻紋理與背景紋理進行混合；以及在顯示多邊形視頻顯示區(qū)的視頻圖像時，顯示所述多邊形視頻區(qū)圖像的倒影 衫。
3、 如權(quán)利要求1所述的方法，其特征在于，所述變換處理為拉伸和/或扭曲。
4、 如權(quán)利要求1所述的方法，其特征在于，所述多邊形視頻顯示區(qū)包括非直角的平行四邊形區(qū)域。
5、 如權(quán)利要求4所述的方法，其特征在于，所述多邊形視頻顯示區(qū)包括 非平行邊形顯示區(qū)時，在分割時先在該非平行四邊形顯示區(qū)確定一個平行四邊 形，然后在該平行四邊形內(nèi)分割三角形。
6、 如權(quán)利要求5所述的方法，其特征在于，在所述非平行四邊形顯示區(qū) 中所述平行四邊形之外的區(qū)域填充視頻的背景紋理。
7、 如權(quán)利要求4所述的方法，其特征在于，將平行四邊形分割為三角形 時，按對角線將其分割為兩個三角形。
8、 如權(quán)利要求4所述的方法，其特征在于，當(dāng)顯示兩方視頻時，采用兩 個非直角的平行四邊形i見頻顯示區(qū)。
9、 如權(quán)利要求8所述的方法，其特征在于，所述兩個非直角的平行四邊 形區(qū)域顯示的視頻呈現(xiàn)"V"字形的立體空間形狀。
10、 如權(quán)利要求4所述的方法，其特征在于，當(dāng)顯示三方或三方以上視頻 時，采用至少兩個非直角的平行四邊形顯示區(qū)。
11、 如權(quán)利要求10所述的方法，其特征在于，所述至少兩個非直角的平 行四邊形視頻顯示區(qū)與其他視頻顯示區(qū)的視頻圖像呈現(xiàn)面對面的立體空間形 狀。
12、 一種顯示多方視頻的裝置，其特征在于，包括用于確定顯示即時通信中多方視頻的多個多邊形視頻顯示區(qū)的模塊，其 中，所述多個多邊形-f見頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；用于分別將需要顯示的視頻分割為三角形，以及將對應(yīng)的視頻顯示區(qū)分割 為相同數(shù)量的三角形，并根據(jù)映射關(guān)系確定分割后三角形的視頻紋理頂點與顯 示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系的模塊；用于根據(jù)三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到對應(yīng)的區(qū)域，并至 少對視頻顯示區(qū)的視頻紋理進行變換和/或縮放處理的模塊；用于顯示所述多邊形視頻顯示區(qū)的視頻圖像的模塊。
13、 如權(quán)利要求12所述的裝置，其特征在于，還包括用于確定所述多邊形視頻顯示區(qū)對應(yīng)的倒影顯示區(qū)的模塊；用于將所述倒影顯示區(qū)分割為的三角形，并才艮據(jù)倒影映射關(guān)系確定分割后 三角形的視頻紋理頂點與倒影顯示區(qū)的三角形頂點之間的對應(yīng)關(guān)系的模塊；用于根據(jù)三角形頂點之間的對應(yīng)關(guān)系，將視頻紋理映射到對應(yīng)的倒影顯示 區(qū)的模塊；用于將倒影顯示區(qū)的視頻紋理與背景紋理進行混合的模塊； 用于顯示所述多邊形視頻區(qū)圖像的倒影的模塊。
全文摘要
本發(fā)明公開了一種在即時通信中顯示多方視頻的方法，該方法為確定顯示即時通信中多方視頻的多個多邊形視頻顯示區(qū)，其中，所述多個多邊形視頻顯示區(qū)在顯示空間中呈現(xiàn)立體形狀；分別將需要顯示的視頻分割為三角形，以及將對應(yīng)的視頻顯示區(qū)分割為相同數(shù)量的三角形，并根據(jù)映射關(guān)系確定分割后三角形的視頻紋理頂點與顯示區(qū)域的三角形頂點之間的對應(yīng)關(guān)系；根據(jù)三角形頂點之間的對應(yīng)關(guān)系將視頻紋理映射到對應(yīng)的區(qū)域，并至少對視頻顯示區(qū)的視頻紋理進行變換和/或縮放處理；以及顯示所述多個多邊形視頻顯示區(qū)的視頻圖像。本發(fā)明還同時公開了一種顯示多方視頻的裝置。
文檔編號H04L12/16GK101179409SQ200610172238
公開日2008年5月14日 申請日期2006年12月30日 優(yōu)先權(quán)日2006年12月30日
發(fā)明者陳敬昌 申請人:騰訊科技(深圳)有限公司