本發(fā)明涉及一種虛擬內(nèi)容插入系統(tǒng)和方法，尤其涉及一種基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)和方法。

背景技術(shù)：

目前越來越多的賽事、表演的直播正朝著全球化的方向發(fā)展，nba、英超等賽事都面向全世界觀眾轉(zhuǎn)播，因此賽場內(nèi)的廣告牌也出現(xiàn)了許多國際化的元素。然而，如果是實體廣告牌，只能展示單一的廣告內(nèi)容，實際上限制了廣告的受眾范圍，在全球范圍內(nèi)有大量觀眾的直播中尤其明顯，比如英國的觀眾看到現(xiàn)場的中文廣告牌就會完全不知所云。

此外，在現(xiàn)行的體制中，以賽事直播為例，通常是由當(dāng)?shù)氐膬?nèi)容提供商提供直播畫面信號，購買了版權(quán)的各級轉(zhuǎn)播商在拿到原始信號后配上解說、字幕等內(nèi)容播出給觀眾。對于不同地區(qū)的廣告主而言，要想在賽事直播中投放廣告，為了不影響直播畫面的觀感，保證良好的用戶體驗，要么只能在比賽間歇插播，要么就需要花大價錢去到賽事場地購買現(xiàn)場廣告牌。

為了克服上述缺陷，期望獲得一種基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)和方法，該系統(tǒng)和方法使得轉(zhuǎn)播商可以在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入，從而在插入廣告的同時保證了良好的用戶體驗。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的之一是提供一種基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)，該系統(tǒng)使得可以在畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍內(nèi)以增強現(xiàn)實的方式實時顯示待插入的虛擬內(nèi)容，從而使得轉(zhuǎn)播商可以在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入。

根據(jù)上述目的之一，本發(fā)明提出了一種基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)，其包括：

定位標(biāo)記，其設(shè)于物理區(qū)域內(nèi)的至少一個展示區(qū)域內(nèi)；

攝像裝置，其拍攝物理區(qū)域內(nèi)的畫面并捕捉所述定位標(biāo)記，所述攝像裝置將拍攝到的畫面以及捕捉到的定位標(biāo)記信息傳輸出去；

處理單元，其與所述攝像裝置數(shù)據(jù)連接，所述處理單元接收攝像裝置傳輸?shù)漠嬅嬉约安蹲降降亩ㄎ粯?biāo)記信息，并基于所述捕捉到的定位標(biāo)記信息計算所述攝像裝置的投影矩陣以及確定展示區(qū)域的范圍，并計算表征待插入的虛擬內(nèi)容的范圍的像素坐標(biāo)到表征所述展示區(qū)域的范圍的物理坐標(biāo)的變換矩陣；所述處理單元采用所述變換矩陣將待插入的虛擬內(nèi)容進行三維變換，再采用所述投影矩陣對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換，以將變換后的虛擬內(nèi)容插入到畫面顯示的展示區(qū)域內(nèi)。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)的基本構(gòu)思是利用增強現(xiàn)實技術(shù)將待插入的虛擬內(nèi)容以后期制作的形式實時插入到畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍。其中：所述待插入的虛擬內(nèi)容可以是個性化的廣告內(nèi)容；所述畫面可以是直播畫面；所述物理區(qū)域該物理區(qū)域通常是一個現(xiàn)實三維空間，例如真實賽場；所述展示區(qū)域可以是真實賽場內(nèi)廣告牌的位置。由于利用了增強現(xiàn)實技術(shù)，使得可以在畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍內(nèi)以增強現(xiàn)實的方式實時顯示待插入的虛擬內(nèi)容，從而使得轉(zhuǎn)播商可以在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)涉及的原理具體包括：

一、定位標(biāo)記的設(shè)置和捕捉

本發(fā)明要求在物理區(qū)域的展示區(qū)域內(nèi)設(shè)置有定位標(biāo)記，該定位標(biāo)記用于確定展示區(qū)域的范圍，以及作為計算攝像裝置的投影矩陣的特征點。

定位標(biāo)記的特征：通常，定位標(biāo)記應(yīng)當(dāng)容易被計算機視覺算法捕捉，并且具有一定的抗干擾能力。例如具備固定簡單模式的高對比度圖片即可滿足要求。定位標(biāo)記可以是可見光范圍內(nèi)的貼紙或者led顯示，也可以是可見光范圍外的可以被攝像機捕捉的標(biāo)記，例如紅外/紫外標(biāo)記，對于現(xiàn)場觀眾而言體驗更好，但是攝像裝置需要能夠支持識別。定位標(biāo)記的大小通常需要滿足在攝像裝置原生分辨率下捕捉遠景畫面時仍然能夠分辨。

定位標(biāo)記的數(shù)量和分布：通常，定位標(biāo)記的數(shù)量以同時滿足確定展示區(qū)域的范圍和同一畫面內(nèi)特征點的數(shù)量要求為準(zhǔn)。為了確定展示區(qū)域范圍，通常對于矩形的廣告區(qū)域可以在至少三個頂點的位置對應(yīng)設(shè)置至少三個定位標(biāo)記；對于復(fù)雜圖形例如多邊形，通常需要在多邊形的每個頂點的位置設(shè)置一個定位標(biāo)記。此外，需要保證在需要插入虛擬內(nèi)容的畫面內(nèi)捕捉到的定位標(biāo)記即特征點的數(shù)量能夠解出攝像裝置的投影矩陣的所有參數(shù)。

定位標(biāo)記的捕捉：定位標(biāo)記的捕捉主要體現(xiàn)為識別畫面中的定位標(biāo)記并生成相應(yīng)的定位標(biāo)記信息，該定位標(biāo)記信息通常包括定位標(biāo)記在畫面中的位置信息。需要說明的是，通常對可見光范圍內(nèi)的定位標(biāo)記不需要額外的捕捉動作，因為畫面本身包含了定位標(biāo)記信息，可以留給后續(xù)處理單元利用計算機視覺算法進行提取，這樣可以提高畫面?zhèn)鬏數(shù)膶崟r性。對可見光范圍外的定位標(biāo)記可以通過專門識別的攝像裝置進行識別。

二、投影矩陣的計算

由于定位標(biāo)記即特征點固定設(shè)置在物理區(qū)域，對定位標(biāo)記的物理區(qū)域位置和攝像裝置拍攝的畫面中相應(yīng)位置列方程可以解出一個表示攝像裝置投影變換的投影矩陣，該投影矩陣通常是3×3投影矩陣，其包含攝像裝置投影變換導(dǎo)致的透視關(guān)系以及攝像裝置鏡頭導(dǎo)致的畸變信息。通過該投影矩陣可以將三維空間中的坐標(biāo)點投射到二維畫面中的坐標(biāo)點。記該投影矩陣為c。

當(dāng)當(dāng)前畫面中特征點數(shù)量超過計算當(dāng)前投影矩陣需要的最低數(shù)量時，可以利用諸如隨機采樣一致性等方法來增強投影矩陣參數(shù)計算的穩(wěn)定性。

三、展示區(qū)域范圍的確定

對于在頂點設(shè)置定位標(biāo)記的展示區(qū)域，通常按順序連接一組定位標(biāo)記即可相應(yīng)得到一個展示區(qū)域的范圍，按同樣方法即可得到各展示區(qū)域的范圍，即輸出各展示區(qū)域的頂點在畫面中的二維坐標(biāo)。記展示區(qū)域a的頂點在在畫面中的二維坐標(biāo)為ai，其集合為[a1，a2，...，an]。

四、變換矩陣的計算

變換矩陣反映的是待插入的虛擬內(nèi)容的像素坐標(biāo)到展示區(qū)域的物理坐標(biāo)的變換關(guān)系。由于展示區(qū)域a的頂點上設(shè)置的定位標(biāo)記是固定的，對表征待插入的虛擬內(nèi)容的范圍的像素坐標(biāo)和表征展示區(qū)域的范圍的物理坐標(biāo)列方程可以解出一個表示待插入的虛擬內(nèi)容的像素坐標(biāo)到展示區(qū)域的物理坐標(biāo)的變換關(guān)系的變換矩陣，該變換矩陣通常是3×3變換矩陣。記該變換矩陣為c′，其滿足方程其中pi為表征待插入的虛擬內(nèi)容的范圍的像素坐標(biāo)，通常為與ai相應(yīng)的待插入的虛擬內(nèi)容的頂點坐標(biāo)。由此可解出變換矩陣c′。

五、虛擬內(nèi)容的插入

設(shè)待插入的虛擬內(nèi)容的像素點集合為p，需要插入到展示區(qū)域a在畫面中以ai確定的相應(yīng)范圍內(nèi)。首先需要將p中的每個像素點坐標(biāo)找到其在畫面中的插入位置。對p中的某一像素點的坐標(biāo)p，可以利用cpc′計算出其在畫面中的插入位置，即采用變換矩陣c′將待插入的虛擬內(nèi)容進行三維變換，再采用投影矩陣c對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換。然后，最簡單的情況下，將該像素點的rgb值覆蓋顯示到原始畫面中的插入位置則完成了虛擬內(nèi)容的插入。

將兩個二維坐標(biāo)變換為三維坐標(biāo)的原因在于，攝像裝置的投影變換是發(fā)生在三維空間的，所以無法直接建立兩個二維坐標(biāo)點之間的線性變換關(guān)系。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)中，所述定位標(biāo)記為可見的標(biāo)記。

上述方案中，所述可見的標(biāo)記可以是可見光范圍內(nèi)的貼紙或者led顯示。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)中，所述定位標(biāo)記為不可見的標(biāo)記。

上述方案中，所述不可見的標(biāo)記可以是可見光范圍外的可以被攝像機捕捉的標(biāo)記，例如紅外/紫外標(biāo)記。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)中，所述定位標(biāo)記具有若干個，該若干個定位標(biāo)記環(huán)繞展示區(qū)域地設(shè)置以勾勒出展示區(qū)域的邊緣。

上述方案中，對于多邊形的展示區(qū)域，通常將定位標(biāo)記設(shè)置在多邊形的頂點處。

更進一步地，上述基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)中，對應(yīng)每一個畫面，所述定位標(biāo)記的數(shù)量至少為7個。

上述方案中，由于攝像裝置投影變換理論證明，每個畫面內(nèi)至少需要有7個特征點被檢測到才能解出攝像裝置投影矩陣。本發(fā)明中定位標(biāo)記具有作為特征點使用的功能，因此對應(yīng)每一個畫面，定位標(biāo)記的數(shù)量至少為7個。需要說明的是特征點不必屬于同一個展示區(qū)域，只要是同一畫面內(nèi)即可。

本發(fā)明的另一目的是提供一種基于增強現(xiàn)實的虛擬內(nèi)容插入方法，該方法使得可以在畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍內(nèi)以增強現(xiàn)實的方式實時顯示待插入的虛擬內(nèi)容，從而使得轉(zhuǎn)播商可以在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入。

基于上述發(fā)明目的，本發(fā)明還提供了一種基于增強現(xiàn)實的虛擬內(nèi)容插入方法，其包括步驟：

(1)在物理區(qū)域內(nèi)的至少一個展示區(qū)域內(nèi)設(shè)置定位標(biāo)記；

(2)采用攝像裝置拍攝物理區(qū)域內(nèi)的畫面并捕捉所述定位標(biāo)記；

(3)根據(jù)所述定位標(biāo)記確定展示區(qū)域的范圍以及計算攝像裝置的投影矩陣，計算表征待插入的虛擬內(nèi)容的范圍的像素坐標(biāo)到表征所述展示區(qū)域的范圍的物理坐標(biāo)的變換矩陣，并采用所述變換矩陣將待插入的虛擬內(nèi)容進行三維變換，然后采用所述投影矩陣對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換，以將變換后的虛擬內(nèi)容插入到畫面顯示的展示區(qū)域內(nèi)。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法，其基本構(gòu)思和涉及的原理與上述系統(tǒng)部分相應(yīng)的解釋基本相同，因此不再贅述。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法中，采用可見光攝像機捕捉視覺可見的定位標(biāo)記。

上述方案中，所述可見的定位標(biāo)記可以是可見光范圍內(nèi)的貼紙或者led顯示。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法中，采用紅外攝像機捕捉視覺不可見的定位標(biāo)記。

上述方案中，所述不可見的定位標(biāo)記可以是可見光范圍外的可以被紅外攝像機捕捉的標(biāo)記，例如紅外標(biāo)記。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法中，所述定位標(biāo)記具有若干個，該若干個定位標(biāo)記環(huán)繞展示區(qū)域地設(shè)置以勾勒出展示區(qū)域的邊緣。

更進一步地，上述基于增強現(xiàn)實的虛擬內(nèi)容插入方法中，對于形狀基本為矩形的展示區(qū)域，設(shè)置至少三個定位標(biāo)記；對于多邊形的展示區(qū)域，在多邊形展示區(qū)域的每一個頂點均設(shè)置一個定位標(biāo)記。

上述方案中，可以通過按順序連接一組定位標(biāo)記從而相應(yīng)得到一個展示區(qū)域的范圍。例如按順序連接三個定位標(biāo)記從而相應(yīng)得到矩形展示區(qū)域的范圍，按順序連接多個定位標(biāo)記從而相應(yīng)得到多邊形展示區(qū)域的范圍。

進一步地，本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法中，將待插入的虛擬內(nèi)容進行三維變換后，對虛擬內(nèi)容進行增強處理，然后采用所述投影矩陣對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換，以將變換后的虛擬內(nèi)容插入到畫面顯示的展示區(qū)域內(nèi)。

上述方案中，對虛擬內(nèi)容進行增強處理是因為：如果直接將待插入的虛擬內(nèi)容通過線性變換之后覆蓋到原始畫面，其表現(xiàn)會比較不自然，因為缺乏真實環(huán)境中物體的光照、紋理特性。由于計算了變換矩陣c′，可以將待插入的虛擬內(nèi)容中的任意點轉(zhuǎn)換到三維空間，即構(gòu)造一個展示區(qū)域a的虛擬內(nèi)容三維模型。因此可以通過后處理的方式加入光照和紋理的模擬，使得插入的虛擬內(nèi)容更好地融入真實環(huán)境。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)，其優(yōu)點和有益效果包括：

(1)可用于在畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍內(nèi)以增強現(xiàn)實的方式實時顯示待插入的虛擬內(nèi)容。

(2)可用于轉(zhuǎn)播商在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入。

(3)可用于直播廣告的后處理插入，并且通過模擬真實插入位置和畫面增強的方法降低插入的虛擬內(nèi)容的違和感，提高用戶體驗。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法，其同樣具有上述效果。

附圖說明

圖1為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的結(jié)構(gòu)示意圖。

圖2為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的定位標(biāo)記的一種設(shè)置場景和范圍示意圖。

圖3為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的定位標(biāo)記的第一種圖形樣式示意圖。

圖4為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的定位標(biāo)記的第二種圖形樣式示意圖。

圖5為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的定位標(biāo)記的第三種圖形樣式示意圖。

圖6為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的定位標(biāo)記的第四種圖形樣式示意圖。

圖7為一種廣告內(nèi)容的示意圖。

圖8為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的工作流程示意圖。

具體實施方式

下面將結(jié)合說明書附圖和具體的實施例來對本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)和方法進行進一步地詳細說明，但是該詳細說明不構(gòu)成對本發(fā)明的限制。

圖1顯示了本實施例的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)的結(jié)構(gòu)。圖2顯示了本實施例的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)的定位標(biāo)記的設(shè)置場景和范圍。圖3-圖6顯示了本實施例的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)的定位標(biāo)記1的圖形樣式。圖7示意了廣告內(nèi)容7。

如圖1所示，結(jié)合參考圖2-圖3，本實施例的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)利用增強現(xiàn)實技術(shù)將作為待插入的虛擬內(nèi)容的廣告內(nèi)容7以后期制作的形式實時插入到畫面中對應(yīng)作為物理區(qū)域的賽場4的展示區(qū)域(包括場邊廣告牌5以及場邊空地指定范圍6)的范圍。該系統(tǒng)包括：定位標(biāo)記1、作為攝像裝置的攝像機2以及作為處理單元的計算機3，其中：

結(jié)合參考圖2，定位標(biāo)記1設(shè)于賽場4內(nèi)的若干展示區(qū)域內(nèi)(圖1中示意了單個矩形展示區(qū)域的三個定位標(biāo)記)，用于確定展示區(qū)域的范圍，以及作為計算攝像機2的投影矩陣的特征點。

攝像機2拍攝賽場4內(nèi)的畫面并捕捉定位標(biāo)記1，攝像機2將拍攝到的畫面以及捕捉到的定位標(biāo)記信息傳輸出去。

本實施例中，定位標(biāo)記1的設(shè)置和捕捉滿足以下條件：

定位標(biāo)記1可以為具備固定簡單模式的高對比度圖片，例如按圖3-圖6所示的圖形樣式中的一種或幾種制作的圖片。在其它實施例中，也可以是可見光范圍外的可以被攝像機捕捉的標(biāo)記，例如紅外標(biāo)記，對于現(xiàn)場觀眾而言體驗更好，但是需要采用能夠支持識別紅外標(biāo)記的紅外攝像機。定位標(biāo)記的大小需要滿足在攝像機2原生分辨率下捕捉遠景畫面時仍然能夠分辨。需要說明的是，定位標(biāo)記不限于本文所列舉的樣式，其也可以為本領(lǐng)域內(nèi)技術(shù)人員知曉的其他樣式。

定位標(biāo)記1環(huán)繞展示區(qū)域地設(shè)置以勾勒出展示區(qū)域的邊緣。對于矩形的廣告區(qū)域在至少三個頂點的位置對應(yīng)設(shè)置至少三個定位標(biāo)記1；對于復(fù)雜圖形例如多邊形，在多邊形的每個頂點的位置設(shè)置一個定位標(biāo)記1。此外，需要保證在需要插入廣告內(nèi)容7的畫面內(nèi)捕捉到的定位標(biāo)記即特征點的數(shù)量至少為七個。

定位標(biāo)記1的捕捉體現(xiàn)為識別畫面中的定位標(biāo)記1并生成相應(yīng)的定位標(biāo)記信息，該定位標(biāo)記信息包括定位標(biāo)記1在畫面中的位置信息。需要說明的是，本實施例中，由于畫面本身包含了定位標(biāo)記信息，因此對可見光范圍內(nèi)的定位標(biāo)記不需要額外的捕捉動作，而是留給后續(xù)計算機3利用計算機視覺算法進行提取。

計算機3與攝像機2數(shù)據(jù)連接，計算機3被配置為具有以下信息處理功能：

(1)接收攝像機2傳輸?shù)漠嬅嬉约安蹲降降亩ㄎ粯?biāo)記信息。

(2)基于捕捉到的定位標(biāo)記信息計算攝像機2的投影矩陣以及確定展示區(qū)域的范圍。

本實施例中：

對定位標(biāo)記1的賽場4位置和攝像機2拍攝的畫面中相應(yīng)位置列方程解出表示攝像機2投影變換的投影矩陣，該投影矩陣是3×3投影矩陣。記該投影矩陣為c。

當(dāng)當(dāng)前畫面中特征點數(shù)量超過計算當(dāng)前投影矩陣需要的最低數(shù)量時，利用隨機采樣一致性來增強投影矩陣參數(shù)計算的穩(wěn)定性。

(3)計算表征如圖7所示的廣告內(nèi)容7的范圍的像素坐標(biāo)到表征展示區(qū)域的范圍的物理坐標(biāo)的變換矩陣。

本實施例中：

首先確定展示區(qū)域的范圍：

按順序連接一組定位標(biāo)記1即相應(yīng)得到一個展示區(qū)域的范圍，按同樣方法即得到各展示區(qū)域的范圍，即輸出各展示區(qū)域的頂點在畫面中的二維坐標(biāo)。記展示區(qū)域a的頂點在在畫面中的二維坐標(biāo)為ai，其集合為[a1，a2，...，an]。

然后進行變換矩陣的計算：

變換矩陣反映的是廣告內(nèi)容7的像素坐標(biāo)到展示區(qū)域的物理坐標(biāo)的變換關(guān)系。對表征廣告內(nèi)容7的范圍的像素坐標(biāo)和表征展示區(qū)域的范圍的物理坐標(biāo)列方程解出表示廣告內(nèi)容7的像素坐標(biāo)到展示區(qū)域的物理坐標(biāo)的變換關(guān)系的變換矩陣，該變換矩陣是3×3變換矩陣。記該變換矩陣為c′，其滿足方程其中pi為表征廣告內(nèi)容7的范圍的像素坐標(biāo)，為與ai相應(yīng)的廣告內(nèi)容7的頂點坐標(biāo)。由此可解出變換矩陣c′。

(4)采用變換矩陣c′將廣告內(nèi)容7進行三維變換，之后先對廣告內(nèi)容7進行增強處理，例如通過后處理的方式加入光照和紋理的模擬，然后再采用投影矩陣c對經(jīng)過三維變換的廣告內(nèi)容7再次進行變換。

本實施例中，設(shè)廣告內(nèi)容7的像素點集合為p，需要插入到展示區(qū)域a在畫面中以ai確定的相應(yīng)范圍內(nèi)。首先需要將p中的每個像素點坐標(biāo)找到其在畫面中的插入位置。對p中的某一像素點的坐標(biāo)p，利用cpc′計算出其在畫面中的插入位置，即采用變換矩陣c′將廣告內(nèi)容7進行三維變換，再采用投影矩陣c對經(jīng)過三維變換的廣告內(nèi)容7再次進行變換。

(5)將變換后的廣告內(nèi)容7插入到畫面顯示的展示區(qū)域內(nèi)。

本實施例中，將變換后的廣告內(nèi)容7像素點的rgb值覆蓋顯示到原始畫面中的插入位置(即畫面顯示的相應(yīng)的展示區(qū)域內(nèi))則完成廣告內(nèi)容7的插入。

圖8為本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)在一種實施方式下的工作流程示意圖。

如圖8所示，結(jié)合參考圖1-圖7，本實施例的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)的工作流程包括步驟(各步驟的細節(jié)在上面相應(yīng)部分已有詳細描述，在此不再贅述)：

步驟110：在賽場4內(nèi)的若干展示區(qū)域內(nèi)設(shè)置定位標(biāo)記1。

步驟120：攝像機2拍攝賽場4內(nèi)的畫面并捕捉定位標(biāo)記1，攝像機2將拍攝到的畫面以及捕捉到的定位標(biāo)記信息傳輸出去。

步驟130：計算機3接收攝像機2傳輸?shù)漠嬅嬉约安蹲降降亩ㄎ粯?biāo)記信息。

步驟140：計算機3基于捕捉到的定位標(biāo)記信息計算攝像機2的投影矩陣以及確定展示區(qū)域的范圍。

步驟150：計算機3計算表征如圖7所示的廣告內(nèi)容7的范圍的像素坐標(biāo)到表征展示區(qū)域的范圍的物理坐標(biāo)的變換矩陣。

步驟160：計算機3采用變換矩陣c′將廣告內(nèi)容7進行三維變換，之后先對廣告內(nèi)容7進行增強處理，例如通過后處理的方式加入光照和紋理的模擬，然后再采用投影矩陣c對經(jīng)過三維變換的廣告內(nèi)容7再次進行變換。

步驟170：計算機3將變換后的廣告內(nèi)容7插入到畫面顯示的展示區(qū)域內(nèi)。

下面對本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法進行簡要描述，由于其實質(zhì)內(nèi)容可以體現(xiàn)在上述系統(tǒng)實施例的相應(yīng)部分，因此在此不再贅述。

本發(fā)明所述的基于增強現(xiàn)實的虛擬內(nèi)容插入方法包括步驟：

(1)在物理區(qū)域內(nèi)的至少一個展示區(qū)域內(nèi)設(shè)置定位標(biāo)記；

(2)采用攝像裝置拍攝物理區(qū)域內(nèi)的畫面并捕捉所述定位標(biāo)記；

(3)根據(jù)所述定位標(biāo)記確定展示區(qū)域的范圍以及計算攝像裝置的投影矩陣，計算表征待插入的虛擬內(nèi)容的范圍的像素坐標(biāo)到表征所述展示區(qū)域的范圍的物理坐標(biāo)的變換矩陣，并采用所述變換矩陣將待插入的虛擬內(nèi)容進行三維變換，然后采用所述投影矩陣對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換，以將變換后的虛擬內(nèi)容插入到畫面顯示的展示區(qū)域內(nèi)。

在某些實施方式中，采用可將光攝像機捕捉視覺可見的定位標(biāo)記。

在某些實施方式中，采用紅外攝像機捕捉視覺不可見的定位標(biāo)記。

在某些實施方式中，所述定位標(biāo)記具有若干個，該若干個定位標(biāo)記環(huán)繞展示區(qū)域地設(shè)置以勾勒出展示區(qū)域的邊緣。其中，對于形狀基本為矩形的展示區(qū)域，設(shè)置至少三個定位標(biāo)記；對于多邊形的展示區(qū)域，在多邊形展示區(qū)域的每一個頂點均設(shè)置一個定位標(biāo)記。

在某些實施方式中，將待插入的虛擬內(nèi)容進行三維變換后，對虛擬內(nèi)容進行增強處理，然后采用所述投影矩陣對經(jīng)過三維變換的虛擬內(nèi)容再次進行變換，以將變換后的虛擬內(nèi)容插入到畫面顯示的展示區(qū)域內(nèi)。

由上述說明可知，本發(fā)明的基于增強現(xiàn)實的虛擬內(nèi)容插入系統(tǒng)和方法可用于在畫面中對應(yīng)物理區(qū)域的展示區(qū)域的范圍內(nèi)以增強現(xiàn)實的方式實時顯示待插入的虛擬內(nèi)容。例如，可用于轉(zhuǎn)播商在直播畫面中無違和感地插入廣告，并且可以很方便地匹配不同地區(qū)，不同渠道甚至不同觀眾的個性，實現(xiàn)非侵入式個性化直播廣告插入，通過模擬真實插入位置和畫面增強的方法降低插入的廣告內(nèi)容的違和感，提高用戶體驗。

需要注意的是，以上列舉的僅為本發(fā)明的具體實施例，顯然本發(fā)明不限于以上實施例，隨之有著許多的類似變化。本領(lǐng)域的技術(shù)人員如果從本發(fā)明公開的內(nèi)容直接導(dǎo)出或聯(lián)想到的所有變形，均應(yīng)屬于本發(fā)明的保護范圍。