專利名稱：用于畫中畫視頻生成中的存儲(chǔ)器縮減的機(jī)制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例一般涉及電子網(wǎng)絡(luò)領(lǐng)域，尤其涉及在畫中畫視頻生成中執(zhí)行存儲(chǔ)器縮減。
背景技術(shù)：
在利用多個(gè)數(shù)據(jù)流，例如用于顯示的多個(gè)媒體數(shù)據(jù)流，的系統(tǒng)的操作中，數(shù)據(jù)可包含由高帶寬數(shù)字內(nèi)容保護(hù)(HDCP)數(shù)據(jù)所保護(hù)的數(shù)據(jù)，其在此稱為HDCP數(shù)據(jù)。傳遞多個(gè)媒體數(shù)據(jù)流可包含在傳送機(jī)構(gòu)(例如有線電視或衛(wèi)星公司)與接收裝置(例如電視(TV))之間藉由傳送裝置(例如電纜/衛(wèi)星信號(hào)傳送裝置)通過高清晰度多媒體接口(HDMI)所傳送的內(nèi)容流。畫中畫(Picture-in-Picture, PiP)是某些視頻傳送器及接收器的特征,其中一·個(gè)播送頻道顯示于接收裝置(例如電視)的整個(gè)屏幕上，而同時(shí)一個(gè)或多個(gè)其他頻道顯示于整個(gè)顯示屏幕中的嵌入視窗中。此技術(shù)藉由混合多個(gè)視頻流而使接收裝置的觀看者能夠以單一屏幕觀賞多個(gè)頻道。然而，由于畫中畫需要大量的存儲(chǔ)器，因此它主要用于且實(shí)施于利用相對較大量的存儲(chǔ)器的通用處理器型平臺(tái)上，而不適于較小平臺(tái)例如專用集成電路(ASIC)型平臺(tái)。專用集成電路指非用于一般用途的集成電路；更確切言之，它被定制用于特定用途(例如被定制且特別用于手持式裝置、智能電話等)。如果專用集成電路型平臺(tái)被定制用于特定用途，則它不包含大到足以容納常規(guī)畫中畫實(shí)現(xiàn)的存儲(chǔ)器。第一圖顯示從多個(gè)視頻流產(chǎn)生畫中畫視頻的常規(guī)機(jī)制。如圖所示,兩個(gè)輸入視頻或視頻流102及104進(jìn)入畫中畫處理區(qū)域106，一個(gè)視頻流102被觀看者選擇為主要視頻108，而另一視頻流2104被選擇為顯示成子視頻110。視頻流102通過主要通道選擇112，并出現(xiàn)無任何改變例如其尺寸等無改變的主要視頻108。然而，視頻流104通過子通道選擇114,且接著到達(dá)減少取樣(down sampling) 116,于其中視頻流104被減少取樣且作為子視頻110出現(xiàn)。減少取樣116指將視頻流104的圖像尺寸以某個(gè)量或比率進(jìn)行縮減或取樣減少，而造成子視頻110的產(chǎn)生，上述子視頻110如圖所示比原始的視頻流104小得多。視頻108及110兩者接著經(jīng)過常規(guī)視頻混合處理118，該處理118將兩個(gè)圖像108及110合并，以在單一顯示屏幕上如圖所示顯示成主要視頻108及子視頻110。第二圖顯示常規(guī)畫中畫實(shí)現(xiàn)200，其被設(shè)計(jì)成在處理器型平臺(tái)上操作。視頻或視頻流202及204進(jìn)入芯片214并分別通過視頻接口 206及208 (例如HDMI)到達(dá)處理器210。處理器210從其通道接收并讀取原始視頻202及204，且將其儲(chǔ)存于存儲(chǔ)器216中。處理器210接著實(shí)施減少取樣演算法，并將包含主要視頻218及經(jīng)減少取樣的子視頻220的結(jié)果存回存儲(chǔ)器216中。主要視頻218及子視頻220接著由處理器210合并成一體，以產(chǎn)生內(nèi)含主要視頻218及子視頻220兩者的單一最終圖像222。如圖所示，該常規(guī)實(shí)現(xiàn)200需要相當(dāng)大的存儲(chǔ)器216以儲(chǔ)存至少一個(gè)視頻圖像，即主要視頻218，以及在許多實(shí)例中的多個(gè)視頻圖像218及220。此畫中畫實(shí)現(xiàn)200僅能與大容量外部存儲(chǔ)器裝置216共同作用，而造成具有畫中畫特征的電視系統(tǒng)的制造成本高且使得其不適于較小裝置例如蜂窩電話。

發(fā)明內(nèi)容
公開一種用于在畫中畫視頻產(chǎn)生中的存儲(chǔ)器縮減的機(jī)制。本發(fā)明的實(shí)施例的方法包 含在接收裝置處從傳送裝置接收多個(gè)視頻流，所述接收裝置耦合于傳送裝置，其中多個(gè)視頻流中的第一視頻流被指定使其顯示成主要視頻，而多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定使其顯示成對于主要視頻而言的一個(gè)或多個(gè)子視頻。該方法還包含將上述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成一個(gè)或多個(gè)子視頻、暫時(shí)使上述一個(gè)或多個(gè)子視頻保留在壓縮幀緩沖器內(nèi)，以及藉由像素替換將主要視頻及上述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得上述一個(gè)或多個(gè)子視頻占據(jù)主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。本發(fā)明的實(shí)施例的系統(tǒng)包含數(shù)據(jù)處理裝置，其包含儲(chǔ)存介質(zhì)及與上述儲(chǔ)存介質(zhì)耦合的處理器，上述數(shù)據(jù)處理裝置還包含畫中畫視頻產(chǎn)生機(jī)制。畫中畫視頻產(chǎn)生機(jī)制于接收裝置處從傳送裝置接收多個(gè)視頻流，上述接收裝置耦合于上述傳送裝置，其中上述多個(gè)視頻流中的第一視頻流被指定使其顯示成主要視頻，上述多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定使其顯示成對于上述主要視頻而言的一個(gè)或多個(gè)子視頻。畫中畫視頻產(chǎn)生機(jī)制進(jìn)一步將上述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成上述一個(gè)或多個(gè)子視頻，暫時(shí)使上述一個(gè)或多個(gè)子視頻保留在壓縮幀緩沖器內(nèi)，以及藉由像素替換將上述主要視頻及上述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得上述一個(gè)或多個(gè)子視頻占據(jù)上述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。本發(fā)明的實(shí)施例的設(shè)備包含數(shù)據(jù)處理裝置，上述數(shù)據(jù)處理裝置包含儲(chǔ)存介質(zhì)以及與上述儲(chǔ)存介質(zhì)耦合的處理器，上述處理器于接收裝置處從傳送裝置接收多個(gè)視頻流，上述接收裝置耦合于上述傳送裝置，其中上述多個(gè)視頻流中的第一視頻流被指定使其顯示成主要視頻，上述多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定使其顯示成對于上述主要視頻而言的一個(gè)或多個(gè)子視頻。上述處理器進(jìn)一步將上述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成上述一個(gè)或多個(gè)子視頻，暫時(shí)使上述一個(gè)或多個(gè)子視頻保留在壓縮幀緩沖器內(nèi)，以及藉由像素替換將上述主要視頻及上述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得上述一個(gè)或多個(gè)子視頻占據(jù)上述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。


本發(fā)明的實(shí)施例藉由實(shí)例加以說明，而非用以限制本發(fā)明。附圖中相似的元件符號(hào)指代類似的元件。第一圖顯示從多個(gè)視頻流產(chǎn)生畫中畫視頻的常規(guī)機(jī)制。第二圖顯示被設(shè)計(jì)成在處理器型平臺(tái)上操作的常規(guī)畫中畫實(shí)現(xiàn)。第三圖根據(jù)本發(fā)明的一實(shí)施例顯示畫中畫視頻產(chǎn)生系統(tǒng)。第四圖根據(jù)本發(fā)明的一實(shí)施例顯示畫中畫視頻產(chǎn)生系統(tǒng)的像素替換。第五圖根據(jù)本發(fā)明的一實(shí)施例顯示用于畫中畫視頻產(chǎn)生的方法。
第六圖根據(jù)本發(fā)明的一實(shí)施例顯示利用畫中畫視頻產(chǎn)生系統(tǒng)的網(wǎng)絡(luò)計(jì)算機(jī)裝置。
具體實(shí)施例方式公開一種用于畫中畫視頻產(chǎn)生中的存儲(chǔ)器縮減的機(jī)制。本發(fā)明的實(shí)施例的方法包含于接收裝置處從傳送裝置接收多個(gè)視頻流，上述接收裝置耦合于傳送裝置，其中多個(gè)視頻流中的第一視頻流被指定使其顯示成主要視頻，而多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定使其顯示成對于主要視頻而言的一個(gè)或多個(gè)子視頻。該方法還包含將上述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成一個(gè)或多個(gè)子視頻、暫時(shí)使上述一個(gè)或多個(gè)子視頻保留在壓縮幀緩沖器內(nèi)，以及藉由像素替換將主要視頻及上述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得上述一個(gè)或多個(gè)子視頻占據(jù)主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。進(jìn)一步的細(xì)節(jié)將在后面通篇討論。如此處所使用，“網(wǎng)絡(luò)”或“通信網(wǎng)絡(luò)”指利用任何數(shù)量的技術(shù)例如串行高級技術(shù)附連(Serial Advanced Technology Attachment, SATA)、巾貞信息結(jié)構(gòu)(FIS)等在裝置之間傳遞數(shù)字媒體內(nèi)容(包含音樂、音頻/視頻、游戲、圖片及其他)的互連網(wǎng)絡(luò)。娛樂網(wǎng)絡(luò)可包含 個(gè)人娛樂網(wǎng)絡(luò)，例如家庭中的網(wǎng)絡(luò)、商業(yè)環(huán)境中的網(wǎng)絡(luò)或任何其他裝置及/或組件的網(wǎng)絡(luò)。網(wǎng)絡(luò)包含局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、城域網(wǎng)(MAN)、內(nèi)聯(lián)網(wǎng)(intranet)、因特網(wǎng)等。在網(wǎng)絡(luò)中，某些網(wǎng)絡(luò)裝置可為媒體內(nèi)容的來源，例如數(shù)字電視選臺(tái)器、有線機(jī)頂盒、手持式裝置(例如個(gè)人裝置助理(PDA))、視頻儲(chǔ)存服務(wù)器以及其他來源裝置。其他裝置可顯示或利用媒體內(nèi)容，例如數(shù)字電視、家庭影院系統(tǒng)、音頻系統(tǒng)、游戲系統(tǒng)及其他裝置。再者，某些裝置可旨在儲(chǔ)存或傳送媒體內(nèi)容，例如視頻及音頻儲(chǔ)存服務(wù)器。某些裝置可實(shí)施多個(gè)媒體功能，例如有線機(jī)頂盒可作為接收裝置(從有線電視頭端(cable headend)接收信息)以及作為傳送裝置(傳送信息至電視)，反之亦然。網(wǎng)絡(luò)裝置可共置(co-located)于單一局域網(wǎng)或可橫跨多個(gè)網(wǎng)絡(luò)段(network segment),例如通過局域網(wǎng)之間的通道建立技術(shù)(tunneling)。網(wǎng)絡(luò)亦可包含多個(gè)數(shù)據(jù)編碼及加密過程以及身份驗(yàn)證過程，例如唯一簽名驗(yàn)證(uniquesignature verification)及唯——標(biāo)識(shí)I匕較(unique identification comparison) 此夕卜，互連網(wǎng)絡(luò)可包含高清晰度多媒體接口(HDMI)。高清晰度多媒體接口指用以傳送未經(jīng)壓縮的數(shù)字?jǐn)?shù)據(jù)的音頻-視頻接口，且其代表相對于常規(guī)模擬標(biāo)準(zhǔn)例如同軸電纜、射頻(RF)、組成視頻(component video)等的數(shù)字替選方案。高清晰度多媒體接口一般用以連接不同的裝置，例如將機(jī)頂盒、數(shù)字視頻盤(DVD)播放器、游戲控制臺(tái)、計(jì)算機(jī)系統(tǒng)等連接至電視、計(jì)算機(jī)監(jiān)視器及其他顯示裝置。例如，高清晰度多媒體接口可用以將傳送裝置連接至接收裝置，且更進(jìn)一步至其他中間及/或外圍裝置，例如單獨(dú)的顯示裝置等。第三圖根據(jù)本發(fā)明的一實(shí)施例顯示畫中畫視頻產(chǎn)生系統(tǒng)300。在一個(gè)實(shí)施例中，畫中畫視頻產(chǎn)生系統(tǒng)300于微處理器或芯片306處利用畫中畫視頻產(chǎn)生機(jī)制，以提供由壓縮單元312所進(jìn)行的實(shí)時(shí)幀壓縮與由解壓縮單元314所進(jìn)行的解壓縮的新穎結(jié)合，這是利用壓縮幀緩沖器318以及由像素替換單元或機(jī)制322所進(jìn)行的動(dòng)態(tài)連續(xù)(on-the-fly)像素替換過程來降低存儲(chǔ)器需求并消除常規(guī)需有大量存儲(chǔ)器例如幀存儲(chǔ)器的需求，以實(shí)施畫中畫視頻產(chǎn)生。視頻流302及視頻流304由用戶所選擇，以合并成單一視頻圖像328并于畫中畫視頻產(chǎn)生過程300結(jié)束時(shí)在顯示裝置上顯示。在所示實(shí)施例中，視頻流302被選擇并指定作為主要視頻326 (亦稱為首要視頻)，而視頻流304被選擇并指定作為子視頻320 (亦稱為從屬視頻)。兩個(gè)視頻流302及304及其對應(yīng)的主要視頻326及子視頻320僅用作為示例以利于簡明扼要地且清楚地說明本發(fā)明，應(yīng)理解輸入的數(shù)量并不限于只有兩個(gè)視頻流。例如，若有一個(gè)視頻流被指定且顯示為主要視頻，則任何數(shù)量的其他視頻流可被指定且顯示為子視頻。在本文通篇中示出和討論了被指定為主要視頻及子視頻的兩個(gè)視頻流，如上所述其僅作為示例以簡明扼要地且清楚地說明本發(fā)明。另外，于本發(fā)明中，術(shù)語“主要”及“子”分別與“首要”及“從屬”同義。例如，“主要視頻”亦稱為“首要視頻”，而“子視頻”亦稱為“從屬視頻”。同樣地，應(yīng)理解若干比率、組件等僅用作為示例，以利于簡明扼要地且簡單明了地說明本發(fā)明(例如，比率可為5 :1或10 :1等；端口可包含高清晰度多媒體接口或非高清晰度多媒體接口端口等)。假定視頻流302已被指定顯示為主要視頻326，因此不需要任何擴(kuò)變(例如減少取樣、壓縮、解壓縮等)，其直接通過端口 1324藉由像素替換機(jī)制322進(jìn)行像素替換。另一方面，視頻流304開始經(jīng)歷減少取樣308的過程。在減少取樣308中，視頻流304基于經(jīng)定義的比率(例如5:1的比率，即五條線被減少至一條線)予以減少取樣至縮小的尺寸。應(yīng)理解，如需要或有所要求時(shí)任何減少取樣比率均可予以定義，以用于減少取樣。視頻流304的 減少取樣版本接著通過線緩沖器(line buffer) 310(例如如需要或有所要求時(shí)逐線通過或一次通過若干條線)，且進(jìn)一步通過壓縮單元312，以利用例如圖像壓縮算法進(jìn)行壓縮。視頻流304的減少取樣且壓縮的版本，即子視頻320，被傳送至壓縮幀緩沖器318且暫時(shí)保留于其中。子視頻320的任何數(shù)量的線(包含最小及/或最小數(shù)量的線、行、子幀等)及可變尺寸或長度的比特流(例如25K字節(jié)、50K字節(jié)、100K字節(jié)等)可傳送至壓縮幀緩沖器318并儲(chǔ)存于其中。在一個(gè)實(shí)施例中，壓縮幀緩沖器318根據(jù)任何數(shù)量的視頻壓縮及解壓縮技術(shù)接收和暫時(shí)儲(chǔ)存子視頻320的任何數(shù)量的線或子幀。在另一實(shí)施例中，壓縮及解壓縮過程是基于行的(相對于例如基于幀的)。行包含一組線，這組線與用于壓縮單元312所進(jìn)行的壓縮過程及解壓縮單元314所進(jìn)行的解壓縮過程的轉(zhuǎn)換算法相容且適合。子視頻320接著從壓縮幀緩沖器318傳送(例如逐線、逐行、逐幀等)至解壓縮單元314以用于解壓縮。在一個(gè)實(shí)施例中，另一線緩沖器，即線緩沖器316，被指定作為中轉(zhuǎn)(transit)或休息站(pit stop)，以暫時(shí)儲(chǔ)存子視頻320中的線、行或幀并將其傳輸至像素替換機(jī)制322，以用于像素替換。在一個(gè)實(shí)施例中，像素替換被實(shí)施以使子視頻320與主要視頻326合并且同步，而線緩沖器316作用為緩沖器以提供子視頻320的像素?cái)?shù)據(jù)，使其逐漸覆蓋或強(qiáng)加于主要視頻326的選定部份上，藉此子視頻320與主要視頻326的合并得以準(zhǔn)確地以同步的方式實(shí)施。像素替換過程被實(shí)施以使主要視頻326與子視頻320合并，藉此主要視頻326占據(jù)整個(gè)屏幕328，而子視頻320在被強(qiáng)加于主要視頻326上時(shí)占據(jù)屏幕328的一部分。完整且最終的圖像328利用接收裝置的顯示裝置或耦合至接收裝置的顯示裝置例如電視顯示給用戶。上述技術(shù)的優(yōu)點(diǎn)之一為僅利用壓縮幀緩沖器318及數(shù)個(gè)線緩沖器310及316實(shí)施和進(jìn)行畫中畫視頻產(chǎn)生，而所有必需的邏輯及存儲(chǔ)器均在單一微處理器芯片306上。如此藉由顯著地減少所需要的片上存儲(chǔ)器面積以及用以接合片外存儲(chǔ)器的接腳數(shù)的數(shù)量，可顯著地減少畫中畫視頻控制器芯片的制造成本。
第四圖根據(jù)本發(fā)明的一實(shí)施例顯示畫中畫視頻產(chǎn)生系統(tǒng)300的像素替換單元或機(jī)制322。在一個(gè)實(shí)施例中，像素替換被實(shí)施以使主要視頻326及子視頻320合并成單一視頻圖像。假定P 402為進(jìn)入像素替換322的端口 I (例如第三圖的端口 324)的像素。變量(X，y) 404指示距離主要視頻326的左上角的距離，而變量(x0, y0) 406指示子視頻320的左上角座標(biāo)且變量(xl，yl)408指示子視頻320的右下角座標(biāo)。當(dāng)像素P 402滿足下列標(biāo)準(zhǔn)x大于xO且小于xl，而y大于y0且小于yl時(shí)，像素替換過程藉由像素替換機(jī)制322以通過端口 2 (例如第三圖的端口 326)所得的子視頻320的像素替換掉通過端口 I所得的主要視頻326的像素。為準(zhǔn)備線緩沖器2 (例如第三圖的線緩沖器316)上的子視頻相關(guān)數(shù)據(jù)(例如視頻圖像線或行)以使其準(zhǔn)備就緒得以進(jìn)行動(dòng)態(tài)連續(xù)像素替換，解壓縮藉由預(yù)測上述條件匹配而事先實(shí)施。此動(dòng)態(tài)連續(xù)替換技術(shù)可消除常規(guī)用以儲(chǔ)存主要視頻326的龐大存儲(chǔ)器的要求。在一個(gè)實(shí)施例中，像素替換提取每一色彩深度的主要視頻326的像素，且如需要或有所要求時(shí)實(shí)施子視頻320或主要視頻326的色彩轉(zhuǎn)換，并進(jìn)一步實(shí)施每一解析度的子視頻320的減少取樣。例如，屬于主要視頻326的某些量的主要視頻像素(形成變量 (x0，y0)406與(xl, yl) 408之間所代表的區(qū)域)用變量(x0，y0)406及(xl, yl) 408之間所顯示的子視頻320的子視頻像素替換。像素替換可進(jìn)一步包含色彩轉(zhuǎn)換或調(diào)整，例如子視頻像素的色彩深度根據(jù)主要視頻326的其余的主要視頻像素的色彩深度予以調(diào)整或格式化。第五圖根據(jù)本發(fā)明的一實(shí)施例顯示用于畫中畫視頻產(chǎn)生的方法500。方法500可藉由處理邏輯實(shí)施，上述處理邏輯可包含硬件(例如電路、專用邏輯、可編程邏輯、微代碼等)、軟件(例如在處理裝置上運(yùn)行的指令)或其結(jié)合，例如硬件裝置內(nèi)的固件或功能電路。在一個(gè)實(shí)施例中，方法500由第三圖的畫中畫視頻產(chǎn)生系統(tǒng)300所實(shí)施。方法500以多個(gè)視頻流例如兩個(gè)視頻A及B從方塊505開始，上述多個(gè)視頻流在用于畫中畫視頻產(chǎn)生的處理器處接收。應(yīng)理解，用戶可選擇任何數(shù)量的視頻流以用于合并及顯示，且兩個(gè)視頻流A及B僅用作為示例，以利于簡明扼要地且簡單明了地說明本發(fā)明。在選擇時(shí)，用戶委派或選擇視頻流A為主要視頻，且委派或選擇視頻流B為子視頻。在方塊510，一旦被接收，視頻流A (主要視頻)被傳遞至像素替換處理單元或機(jī)制，以進(jìn)行像素替換。在方塊515，視頻流B (子視頻)由減少取樣單元予以減少取樣，且經(jīng)減少取樣的視頻流B被傳送至壓縮單元，以用于壓縮。在方塊520，經(jīng)減少取樣的視頻流B被壓縮且接著傳送(例如逐線或逐行等)至壓縮幀緩沖器。在一個(gè)實(shí)施例中，在方塊525，壓縮幀緩沖器用以暫時(shí)保留經(jīng)壓縮且經(jīng)減少取樣的視頻流B，且接著傳送經(jīng)壓縮且經(jīng)減少取樣的視頻流B至解壓縮單元，以用于解壓縮。經(jīng)壓縮且經(jīng)減少取樣的視頻流可加以設(shè)定成以任何順序、尺寸及數(shù)量予以接收及傳送。在方塊530，經(jīng)壓縮且經(jīng)減少取樣的視頻流從壓縮幀緩沖器接收(例如逐線、逐行或逐幀等)，且加以解壓縮及作為子視頻B傳送至像素替換機(jī)制以用于像素替換。此傳送至像素替換機(jī)制/單元(例如逐線、逐幀等)的步驟逐漸地且同步地實(shí)施，藉此主要視頻A的一部分像素由子視頻B所疊加。在方塊535，在像素替換過程期間視頻A及子視頻合并成單一視頻圖像。視頻A及B的合并被實(shí)施成使得子視頻B強(qiáng)加于主要視頻A的一部分像素空間上并占據(jù)該部分像素空間。在方塊540，經(jīng)合并的視頻(具有視頻A作為主要視頻及視頻B作為子視頻)在接收裝置上的或與接收裝置耦合的顯示裝置(例如電視)上顯示成單一視頻圖像。第六圖根據(jù)本發(fā)明的一實(shí)施例顯示利用畫中畫視頻產(chǎn)生系統(tǒng)的網(wǎng)絡(luò)計(jì)算機(jī)裝置605的組件。在此實(shí)施例中，網(wǎng)絡(luò)裝置605可為網(wǎng)絡(luò)中的任何裝置，包含但不限于電視、有線電視機(jī)頂盒、收音機(jī)、DVD (數(shù)字視頻盤)播放器、CD (致密盤)播放器、智能電話、儲(chǔ)存單元、游戲控制臺(tái)或其他媒體裝置。在某些實(shí)施例中，網(wǎng)絡(luò)裝置605包含網(wǎng)絡(luò)單元610，以提供網(wǎng)絡(luò)功能。上述網(wǎng)絡(luò)功能包含但不限于媒體內(nèi)容流的產(chǎn)生、傳送、儲(chǔ)存及接收。網(wǎng)絡(luò)單元610可被實(shí)現(xiàn)為單個(gè)片上系統(tǒng)(SoC)或多個(gè)組件。在某些實(shí)施例中，網(wǎng)絡(luò)單元610包含處理器615，以用于數(shù)據(jù)處理。數(shù)據(jù)處理可包含媒體數(shù)據(jù)流的產(chǎn)生、媒體數(shù)據(jù)流在傳送或儲(chǔ)存時(shí)的操作以及媒體數(shù)據(jù)流的解密及解碼以利于使用。在一個(gè)實(shí)施例中，處理數(shù)據(jù)還包含畫中畫處理器690，以實(shí)施本發(fā)明的實(shí)施例，包含參照第三圖至第五圖及本說明書全文所敘述的畫中畫視頻產(chǎn)生。在一個(gè)實(shí)施例中，畫中畫視頻產(chǎn)生處理在單獨(dú)的芯片上進(jìn)行或通過將該芯片集成到SoC中來進(jìn)行。再者，如處理器615與畫中畫處理器690之間及至視頻輸出665的實(shí)線箭頭及虛線箭頭所表示，畫中 畫處理器690可設(shè)置于處理器615之前或之后。畫中畫處理器690被進(jìn)一步配置成從任何數(shù)量的來源接收任何數(shù)量的視頻輸入660。網(wǎng)絡(luò)裝置亦可包含主存儲(chǔ)器620，以支持網(wǎng)絡(luò)操作，例如包含DRAM (動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)、SRAM (靜態(tài)隨機(jī)存取存儲(chǔ)器))等的RAM (隨機(jī)存取存儲(chǔ)器)或其他類似存儲(chǔ)器，以及閃存625或其他非易失性存儲(chǔ)器，以用于儲(chǔ)存某些元件及信息以及將由處理器615及690所執(zhí)行的指令。存儲(chǔ)器620亦可用以儲(chǔ)存用于數(shù)據(jù)流的數(shù)據(jù)。動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器需要存儲(chǔ)器內(nèi)容的刷新，而靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM不需要刷新內(nèi)容，但其成本會(huì)增加。動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器可包含同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM)，其包含時(shí)鐘信號(hào)以控制信號(hào)，以及擴(kuò)展數(shù)據(jù)輸出動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(EDO DRAM)。在某些實(shí)施例中，系統(tǒng)的存儲(chǔ)器可包含某些寄存器或其他專用存儲(chǔ)器。網(wǎng)絡(luò)裝置605亦可包含只讀存儲(chǔ)器(ROM)或其他靜態(tài)儲(chǔ)存裝置，用以儲(chǔ)存靜態(tài)信息及用于處理器615及690的指令。網(wǎng)絡(luò)裝置605亦可包含傳送器630及/或接收器640，以用于通過一個(gè)或多個(gè)網(wǎng)絡(luò)接口 655分別傳送數(shù)據(jù)至網(wǎng)絡(luò)上或從網(wǎng)絡(luò)接收數(shù)據(jù)。傳送器630或接收器640可連接至有線傳輸電纜，包含例如以太網(wǎng)電纜650、同軸電纜，或連接至無線單元。傳送器630或接收器640可以一個(gè)或多個(gè)線路，例如用于數(shù)據(jù)傳送的線路635及用于數(shù)據(jù)接收的線路645，耦合至網(wǎng)絡(luò)單元610，以用于數(shù)據(jù)傳送及控制信號(hào)。亦可存在額外的連接。網(wǎng)絡(luò)裝置605亦可包含數(shù)個(gè)用于裝置的媒體操作的組件，其在此并未示出。裝置605亦可通過互連結(jié)構(gòu)耦合至顯示裝置或呈現(xiàn)裝置。在某些實(shí)施例中，顯示器可包含液晶顯示器(LCD)、等離子體顯示器、陰極射線管顯示器或任何其他顯示技術(shù)，用以向終端用戶顯示信息或內(nèi)容。在某些實(shí)施例中，顯示器可用于顯示電視節(jié)目或其它視頻內(nèi)容等。在某些環(huán)境中，顯示器可包含觸摸屏，其亦可用作為輸入裝置的至少一部分。在某些環(huán)境中，顯示器可為或可包含音頻裝置，例如揚(yáng)聲器，以用于提供音頻信息，包含電視節(jié)目的音頻部分。輸入裝置可耦合至互連結(jié)構(gòu)，用以傳達(dá)信息及/或命令選擇至處理器615及690。在若干實(shí)現(xiàn)中，輸入裝置可為鍵盤、鍵區(qū)、觸摸屏及指示筆、語音激活系統(tǒng)或其他輸入裝置或這些裝置的組合。另一類型的用戶輸入裝置可包含游標(biāo)控制裝置，例如鼠標(biāo)、軌跡球或游標(biāo)方向鍵，以用于傳達(dá)方向信息及命令選擇至一個(gè)或多個(gè)處理器615及690，并用以控制顯示裝置上的游標(biāo)移動(dòng)。在某些實(shí)施例中，裝置605包含一個(gè)或多個(gè)端口，用以接收或傳送數(shù)據(jù)?？杀唤邮栈騻魉偷臄?shù)據(jù)可包含視頻數(shù)據(jù)或音頻-視頻數(shù)據(jù)，例如高清晰度多媒體接口及迷你高清晰度多媒體接口數(shù)據(jù)，且可加以加密以用于傳送，例如高帶寬數(shù)字內(nèi)容保護(hù)(HDCP)加密數(shù)據(jù)。在某些實(shí)施例中，裝置605包含一個(gè)或多個(gè)端口，用以傳送及/或接收用于內(nèi)容數(shù)據(jù)的傳輸?shù)臄?shù)據(jù)，以及一個(gè)或多個(gè)端口，用以傳送及/或接收控制數(shù)據(jù)，例如命令數(shù)據(jù)。命令數(shù)據(jù)可包含一個(gè)或多個(gè)關(guān)于數(shù)據(jù)傳送模式的改變的消息，且可包含關(guān)于數(shù)據(jù)傳送模式改變的應(yīng)答。此外，裝置605可包含USB (通用串行總線)。裝置605可進(jìn)一步包含一個(gè)或多個(gè)天線，用以通過無線電信號(hào)接收數(shù)據(jù)。裝置605亦可包含電源裝置或系統(tǒng)，其可包含電源供應(yīng)器、電池、太陽能電池、燃料電池或其他用以提供或產(chǎn)生電力的系統(tǒng)或裝置。電源裝置或系統(tǒng)所提供的電力可依需求分配至裝置605的元件。為說明本發(fā)明上述敘述提出了若干特定細(xì)節(jié)，以利于徹底了解本發(fā)明。然而，應(yīng)理 解，對本領(lǐng)域普通技術(shù)人員而言，本發(fā)明可在不需要其中的某些特定細(xì)節(jié)的情況下實(shí)施。在其他實(shí)例中，已知的結(jié)構(gòu)及裝置以方塊圖的形式顯示。圖中所示組件之間可能有中間結(jié)構(gòu)。此處所述或所顯示的組件可能具有額外的輸入或輸出并未加以顯示或敘述。本發(fā)明可包含若干過程。本發(fā)明的過程可藉由硬件組件加以實(shí)施或可具體實(shí)施于計(jì)算機(jī)可讀指令中，上述計(jì)算機(jī)可讀指令可用以使通用或?qū)Ｓ锰幚砥骰蚓幊逃兄噶畹倪壿嬰娐穼?shí)施該過程。另則，過程可藉由硬件與軟件的結(jié)合加以實(shí)施。許多方法以其最基礎(chǔ)的形式加以敘述，但仍可加入若干過程至任一方法或從任一方法刪除若干過程，在不脫離本發(fā)明的基礎(chǔ)范圍下可增加若干信息至此處所述的任一消息中或從其刪減若干信息。本領(lǐng)域普通技術(shù)人員應(yīng)理解，可對本發(fā)明進(jìn)一步做若干修改及改變。此處所提供的特定實(shí)施例并非用以限制本發(fā)明，而是用以說明本發(fā)明。本發(fā)明的實(shí)施例的范圍并非由以上所提供的特定實(shí)例所決定，而是僅由所附權(quán)利要求書所決定。若敘述了 “A”元件耦合至“B”元件或與“B”元件耦合，則A元件可直接耦合至B元件或通過例如C元件非直接耦合。當(dāng)說明書或權(quán)利要求書敘述了 A組件、特征、結(jié)構(gòu)、過程或特性“造成”B組件、特征、結(jié)構(gòu)、過程或特性，則是指“A”為“B”的至少一部分原因，但亦可能有至少一個(gè)其他組件、特征、結(jié)構(gòu)、過程或特性協(xié)助造成“B”。若說明書指出一組件、特征、結(jié)構(gòu)、過程或特性“可”、“可能”或“能”被包含，則該特定組件、特征、結(jié)構(gòu)、過程或特性并不要求要被包含。若說明書或權(quán)利要求書指“一”元件，則其并不意指僅有一個(gè)所述元件。本發(fā)明的實(shí)施例為本發(fā)明的實(shí)現(xiàn)或示例。說明書中所提到的“一實(shí)施例”、“一個(gè)實(shí)施例”、“某些實(shí)施例”或“其他實(shí)施例”指與實(shí)施例有關(guān)而敘述的特定特征、結(jié)構(gòu)或特性被包含于至少某些實(shí)施例中，但不一定是所有實(shí)施例?！耙粚?shí)施例”、“一個(gè)實(shí)施例”或“某些實(shí)施例”的若干次出現(xiàn)并不一定全部指向同一實(shí)施例。應(yīng)理解，在上述本發(fā)明的示例性實(shí)施例的敘述中，為簡化揭露內(nèi)容并有助于了解若干創(chuàng)新觀點(diǎn)中的一個(gè)或多個(gè)，若干特征有時(shí)會(huì)聚集于單一實(shí)施例、附圖或其敘述中。然而，此揭露方法并不欲被解釋成反映有以下意圖所要求保護(hù)的發(fā)明需要相較于每一權(quán)利要求所明確列舉的特征更多的特征。更確切地說，如所附權(quán)利要求所反映，創(chuàng)新的方面存在于與前述所揭露的單一實(shí)施例的所有特征相比為少的特征中。因此，權(quán)利要求藉此明確地并入此敘述中，每一權(quán)利要求獨(dú)自代表本發(fā)明的獨(dú)立 實(shí)施例。
權(quán)利要求
1.一種方法，包括 在接收裝置處從傳送裝置接收多個(gè)視頻流，所述接收裝置耦合于所述傳送裝置，其中所述多個(gè)視頻流中的第一視頻流被指定顯示成主要視頻，且所述多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定顯示成對于所述主要視頻而言的一個(gè)或多個(gè)子視頻； 將所述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成所述一個(gè)或多個(gè)子視頻； 將所述一個(gè)或多個(gè)子視頻暫時(shí)保留在壓縮幀緩沖器內(nèi)；以及 藉由像素替換將所述主要視頻及所述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得所述一個(gè)或多個(gè)子視頻占據(jù)所述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。
2.如權(quán)利要求I所述的方法，其中所述轉(zhuǎn)換步驟包括根據(jù)定義的減少取樣比率將所述一個(gè)或多個(gè)其他視頻流減少取樣。
3.如權(quán)利要求I所述的方法，其中所述轉(zhuǎn)換步驟還包括 通過第一線緩沖器將一個(gè)或多個(gè)經(jīng)減少取樣的視頻傳送至壓縮器；以及 壓縮所述一個(gè)或多個(gè)經(jīng)減少取樣的視頻。
4.如權(quán)利要求I所述的方法，其中所述轉(zhuǎn)換步驟還包括將一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至所述壓縮幀緩沖器內(nèi)。
5.如權(quán)利要求I所述的方法，其中所述轉(zhuǎn)換步驟還包括 解壓縮一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻；以及 通過第二線緩沖器將一個(gè)或多個(gè)經(jīng)解壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至像素轉(zhuǎn)換單元。
6.如權(quán)利要求I所述的方法，還包括將所述第一視頻作為所述主要視頻直接傳送至像素替換單元。
7.如權(quán)利要求I所述的方法，其中所述像素替換還包括下列中的一個(gè)或多個(gè)提取每一色彩深度的像素，實(shí)施色彩轉(zhuǎn)換，以及對所述一個(gè)或多個(gè)其他視頻流的每一解析度進(jìn)行減少取樣。
8.如權(quán)利要求I所述的方法，其中所述一個(gè)或多個(gè)子視頻占據(jù)所述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素的步驟包括將所述區(qū)域的主要視頻像素以子視頻像素進(jìn)行像素替換，其中將所述區(qū)域的主要視頻像素以子視頻像素進(jìn)行像素替換的步驟還包括在對所述主要視頻的主要視頻像素進(jìn)行色彩深度格式化之后對子視頻像素進(jìn)行色彩調(diào)整。
9.如權(quán)利要求I所述的方法，還包括將所述最終視頻圖像顯示于所述顯示裝置的顯示屏幕上。
10.一種系統(tǒng),包括 數(shù)據(jù)處理裝置，具有儲(chǔ)存介質(zhì)及與所述儲(chǔ)存介質(zhì)耦合的處理器，所述數(shù)據(jù)處理裝置還具有畫中畫(PiP)視頻產(chǎn)生機(jī)制；以及 所述畫中畫視頻產(chǎn)生機(jī)制用于 在接收裝置處從傳送裝置接收多個(gè)視頻流，所述接收裝置耦合于所述傳送裝置，其中所述多個(gè)視頻流中的第一視頻流被指定顯示成主要視頻，且所述多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定顯示成對于所述主要視頻而言的一個(gè)或多個(gè)子視頻，將所述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成所述一個(gè)或多個(gè)子視頻， 將所述一個(gè)或多個(gè)子視頻暫時(shí)保留在壓縮幀緩沖器內(nèi)，以及 藉由像素替換將所述主要視頻及所述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得所述一個(gè)或多個(gè)子視頻占據(jù)所述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。
11.如權(quán)利要求10所述的系統(tǒng)，其中所述轉(zhuǎn)換步驟包括根據(jù)定義的減少取樣比率將所述一個(gè)或多個(gè)其他視頻流減少取樣。
12.如權(quán)利要求10所述的系統(tǒng)，其中所述轉(zhuǎn)換步驟還包括 通過第一線緩沖器將一個(gè)或多個(gè)經(jīng)減少取樣的視頻傳送至壓縮器；以及 壓縮所述一個(gè)或多個(gè)經(jīng)減少取樣的視頻。
13.如權(quán)利要求10所述的系統(tǒng)，其中所述轉(zhuǎn)換步驟還包括將一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至所述壓縮幀緩沖器內(nèi)。
14.如權(quán)利要求10所述的系統(tǒng)，其中所述轉(zhuǎn)換步驟還包括 解壓縮一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻；以及 通過第二線緩沖器將一個(gè)或多個(gè)經(jīng)解壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至像素轉(zhuǎn)換單元。
15.如權(quán)利要求10所述的系統(tǒng)，其中所述畫中畫視頻產(chǎn)生機(jī)制進(jìn)一步將所述第一視頻作為所述主要視頻直接傳送至像素替換單元。
16.一種設(shè)備，包括數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置具有儲(chǔ)存介質(zhì)以及與所述儲(chǔ)存介質(zhì)耦合的處理器，所述處理器實(shí)施下列步驟 在接收裝置處從傳送裝置接收多個(gè)視頻流，所述接收裝置耦合于所述傳送裝置，其中所述多個(gè)視頻流中的第一視頻流被指定顯示成主要視頻，且所述多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定顯示成對于所述主要視頻而言的一個(gè)或多個(gè)子視頻； 將所述一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成所述一個(gè)或多個(gè)子視頻； 將所述一個(gè)或多個(gè)子視頻暫時(shí)保留在壓縮幀緩沖器內(nèi)；以及 藉由像素替換將所述主要視頻及所述一個(gè)或多個(gè)子視頻合并成能夠利用顯示裝置顯示于單一屏幕上的最終視頻圖像，其中像素替換被實(shí)施使得所述一個(gè)或多個(gè)子視頻占據(jù)所述主要視頻所占據(jù)的屏幕空間像素中的一個(gè)或多個(gè)區(qū)域的像素。
17.如權(quán)利要求16所述的設(shè)備，其中所述轉(zhuǎn)換步驟包括根據(jù)定義的減少取樣比率將所述一個(gè)或多個(gè)其他視頻流減少取樣。
18.如權(quán)利要求16所述的設(shè)備，其中所述轉(zhuǎn)換步驟還包括 通過第一線緩沖器將一個(gè)或多個(gè)經(jīng)減少取樣的視頻傳送至壓縮器；以及 壓縮所述一個(gè)或多個(gè)經(jīng)減少取樣的視頻。
19.如權(quán)利要求16所述的設(shè)備，其中所述轉(zhuǎn)換步驟還包括將一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至所述壓縮幀緩沖器內(nèi)。
20.如權(quán)利要求16所述的設(shè)備，其中所述轉(zhuǎn)換步驟還包括 解壓縮一個(gè)或多個(gè)經(jīng)壓縮且經(jīng)減少取樣的視頻；以及 通過第二線緩沖器將一個(gè)或多個(gè)經(jīng)解壓縮且經(jīng)減少取樣的視頻作為所述一個(gè)或多個(gè)子視頻傳送至像素轉(zhuǎn)換單元。
全文摘要
本發(fā)明公開了一種用于畫中畫視頻生成中的存儲(chǔ)器縮減的機(jī)制。本發(fā)明的實(shí)施例的方法包含在接收裝置處從傳送裝置接收多個(gè)視頻流，接收裝置耦合傳送裝置，多個(gè)視頻流中的第一視頻流被指定顯示成主要視頻，多個(gè)視頻流中的一個(gè)或多個(gè)其他視頻流被指定顯示成對主要視頻而言的一個(gè)或多個(gè)子視頻。上述方法更包含將一個(gè)或多個(gè)其他視頻流轉(zhuǎn)換成一個(gè)或多個(gè)子視頻、暫時(shí)使一個(gè)或多個(gè)子視頻保留在壓縮幀緩沖器內(nèi)，以及藉由像素替換將主要視頻及一個(gè)或多個(gè)子視頻合并成能利用顯示裝置顯示于單一屏幕上的最終視頻圖像，像素替換被實(shí)施使得一個(gè)或多個(gè)子視頻占據(jù)主要視頻所占據(jù)的屏幕空間像素的一個(gè)或多個(gè)區(qū)域的像素。
文檔編號(hào)H04N21/472GK102948160SQ201180029741
公開日2013年2月27日 申請日期2011年6月6日 優(yōu)先權(quán)日2010年6月16日
發(fā)明者金榮一, 梁又升, 金大卿, 樸重圣, 崔薰 申請人:晶像股份有限公司