用于增強(qiáng)視頻圖像的設(shè)備和方法【專(zhuān)利摘要】一種增強(qiáng)視頻圖像的方法，包括步驟：估計(jì)視頻圖像內(nèi)捕獲的標(biāo)識(shí)表面的范圍；標(biāo)識(shí)與視頻圖像內(nèi)標(biāo)識(shí)表面的估計(jì)范圍對(duì)應(yīng)的測(cè)試區(qū)域內(nèi)的皮膚像素；基于標(biāo)識(shí)的皮膚像素，外推在測(cè)試區(qū)域之外的視頻圖像內(nèi)的皮膚像素的位置；由標(biāo)識(shí)的皮膚像素和外推的皮膚像素的組合生成掩蔽；設(shè)置實(shí)際上疊加在視頻圖像內(nèi)標(biāo)識(shí)表面的頂部上的計(jì)算機(jī)圖形的范圍，該范圍大于標(biāo)識(shí)表面的估計(jì)范圍；和對(duì)應(yīng)于生成的掩蔽疊加視頻圖像的圖形增強(qiáng)?！緦?zhuān)利說(shuō)明】用于增強(qiáng)視頻圖像的設(shè)備和方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及用于增強(qiáng)視頻圖像的設(shè)備和方法?！?br>背景技術(shù)：
】[0002]典型的增強(qiáng)現(xiàn)實(shí)(或者“AR”)應(yīng)用或系統(tǒng)接收實(shí)際環(huán)境的實(shí)況或記錄的視頻圖像，且然后以下述方式以計(jì)算機(jī)圖形增強(qiáng)這些視頻圖像，即計(jì)算圖形顯得在視頻圖像中以與實(shí)際環(huán)境的移動(dòng)或位置一致的方式移動(dòng)或定位。[0003]效果是以一致和可信的方式將計(jì)算機(jī)圖形(或者“虛擬物體”)插入實(shí)際環(huán)境中。優(yōu)選地，這實(shí)時(shí)進(jìn)行；就是說(shuō)，以正常視頻幀速率執(zhí)行視頻的生成和增強(qiáng)?？梢栽赟ony?PlayStation3?或者“PS3”⑩.的游戲“EyePet”⑧’中看到其示例。[0004]大多數(shù)AR應(yīng)用或系統(tǒng)通過(guò)在其外觀(guān)和維度已知的環(huán)境中利用實(shí)際物體且隨后預(yù)先將該物體的外觀(guān)和維度編碼為計(jì)算機(jī)中的基準(zhǔn)模型來(lái)實(shí)現(xiàn)此。通過(guò)比較視頻圖像中找到的該物體的規(guī)模和定向與基準(zhǔn)模型，計(jì)算機(jī)可以計(jì)算應(yīng)該應(yīng)用于用于增強(qiáng)該圖像的虛擬物體的相應(yīng)規(guī)模和定向。[0005]為了在不利的光照條件下，或者在使用中的視頻相機(jī)具有低分辨率時(shí)改進(jìn)該處理的可靠性，通常使用的實(shí)際物體是所謂的參照標(biāo)記800，其示例如圖1所示。這種標(biāo)記典型地具有高對(duì)比度邊界和圖形以改進(jìn)對(duì)光照的魯棒性，且圖形典型地是非對(duì)稱(chēng)的以幫助解決標(biāo)記的定向。[0006]隨后，AR應(yīng)用對(duì)視頻圖像的增強(qiáng)通常將計(jì)算機(jī)圖形定位于參照標(biāo)記之上，以使得在用戶(hù)實(shí)現(xiàn)信任的中止；例如，如果標(biāo)記放置在平坦表面上，那么整個(gè)平坦表面可以與圖形效果重疊(比如跑道或者運(yùn)動(dòng)場(chǎng)等)。在這種情況下，如果用戶(hù)希望與該平坦表面頂部的實(shí)際或虛擬物體交互，那么AR應(yīng)用能夠標(biāo)識(shí)用戶(hù)的皮膚色調(diào)并在重疊的計(jì)算機(jī)圖形與視頻圖像中用戶(hù)的皮膚一致時(shí)省略(或遮蔽掉)該重疊的計(jì)算機(jī)圖形，由此使得用戶(hù)的皮膚(例如，用戶(hù)的手)顯得在圖形層的前面。[0007]但是，通常皮膚色調(diào)的標(biāo)識(shí)的精確度可能相對(duì)差，導(dǎo)致用戶(hù)的手在計(jì)算機(jī)圖形上的過(guò)度渲染(noisy)或者不調(diào)和的遮蔽(patchymasking)。【
發(fā)明內(nèi)容】[0008]本發(fā)明尋求解決或緩解上述問(wèn)題。[0009]在第一方面中，根據(jù)權(quán)利要求1提供增強(qiáng)視頻圖像的方法。[0010]在另一方面中，根據(jù)權(quán)利要求9提供娛樂(lè)裝置。[0011]在另一方面中，根據(jù)權(quán)利要求15提供增強(qiáng)的現(xiàn)實(shí)系統(tǒng)[0012]本發(fā)明的另外的各個(gè)方面和特征在所附權(quán)利要求中限定?！緦?zhuān)利附圖】【附圖說(shuō)明】[0013]現(xiàn)在將通過(guò)參考附圖以示例的方式描述本發(fā)明的實(shí)施例。[0014]圖1是參照標(biāo)記的示意圖；[0015]圖2是根據(jù)本發(fā)明實(shí)施例的娛樂(lè)裝置的示意圖；[0016]圖3A是根據(jù)本發(fā)明實(shí)施例的書(shū)的示意圖；[0017]圖3B是根據(jù)本發(fā)明實(shí)施例的增強(qiáng)的書(shū)的捕獲的視頻圖像的示意圖；[0018]圖4A是根據(jù)本發(fā)明實(shí)施例的書(shū)的捕獲的視頻圖像的示意圖；[0019]圖4B是根據(jù)本發(fā)明實(shí)施例的遮蔽物的示意圖；[0020]圖4C是根據(jù)本發(fā)明實(shí)施例的增強(qiáng)的書(shū)的捕獲的視頻圖像的示意圖；[0021]圖5是以計(jì)算機(jī)圖形增強(qiáng)的捕獲的視頻圖像的示意圖；[0022]圖6是根據(jù)本發(fā)明實(shí)施例的遮蔽物的示意圖；[0023]圖7是根據(jù)本發(fā)明實(shí)施例的增強(qiáng)視頻圖像的方法的流程圖?！揪唧w實(shí)施方式】[0024]公開(kāi)了增強(qiáng)視頻圖像的設(shè)備和方法。在下面描述中，呈現(xiàn)多個(gè)特定細(xì)節(jié)以提供本發(fā)明實(shí)施例的全面理解。但是，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)很明顯不需要采用這些特定細(xì)節(jié)來(lái)實(shí)踐本發(fā)明。相反地，為了清楚的目的在適當(dāng)時(shí)省略本領(lǐng)域技術(shù)人員已知的特定細(xì)節(jié)。[0025]如上所述，Sony'?PS3?是用于實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的適當(dāng)設(shè)備或娛樂(lè)裝置，典型地當(dāng)連接到比如EyeToy的適當(dāng)?shù)囊曨l相機(jī)時(shí),或者當(dāng)在適當(dāng)?shù)能浖刂?比如AR應(yīng)用)下操作時(shí)。[0026]圖2示意性地圖示已知為Sony?PlayStation3?娛樂(lè)裝置或者PS3?的適當(dāng)?shù)膴蕵?lè)裝置的整個(gè)系統(tǒng)架構(gòu)。PS3包括系統(tǒng)單元10，如下詳細(xì)所述地，包括視頻相機(jī)的外圍裝置可連接到該系統(tǒng)單元10。[0027]系統(tǒng)單元10包括:單元處理器100；Rambus?動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM)單元500;具有專(zhuān)用視頻隨機(jī)存取存儲(chǔ)器(VRAM)單元250的現(xiàn)實(shí)合成器圖形單元200;和I/O橋接器700。[0028]系統(tǒng)單元10還包括通過(guò)I/O橋接器700可訪(fǎng)問(wèn)的用于從盤(pán)440讀取的BluRay?DiskBD-ROM?光盤(pán)讀取器430和可拆卸插槽式硬盤(pán)驅(qū)動(dòng)器(HDD)400?？蛇x地，系統(tǒng)單元還包括用于讀取致密閃存儲(chǔ)存儲(chǔ)卡的、存儲(chǔ)棒⑩儲(chǔ)存卡等的存儲(chǔ)卡讀取器450，其類(lèi)似地通過(guò)I/O橋接器700可訪(fǎng)問(wèn)。[0029]I/O橋接器700還連接到四個(gè)通用串行總線(xiàn)(USB)2.0端口710;G比特以太端口720；IEEE802.llb/g無(wú)線(xiàn)網(wǎng)絡(luò)(W1-Fi)端口730;和能夠支持多達(dá)七個(gè)藍(lán)牙連接的藍(lán)牙⑩無(wú)線(xiàn)鏈路端口740。[0030]在操作中，I/O橋接器700處理所有無(wú)線(xiàn)、USB和以太數(shù)據(jù)，包括來(lái)自一個(gè)或多個(gè)游戲控制器751的數(shù)據(jù)。例如，當(dāng)用戶(hù)正在玩游戲時(shí)，I/O橋接器700經(jīng)由藍(lán)牙鏈路從游戲控制器751接收數(shù)據(jù)，并將其導(dǎo)向單元處理器100，該單元處理器100相應(yīng)地更新游戲的當(dāng)前狀態(tài)。[0031]無(wú)線(xiàn)、USB和以太端口還提供除了游戲控制器751之外用于其它外圍裝置的連接性，比如，遙控器752、鍵盤(pán)753、鼠標(biāo)754、便攜式娛樂(lè)裝置755(比如SonyPlaystationPortable?娛樂(lè)裝置)和頭帶耳機(jī)757。這種外圍裝置因此原則上可以無(wú)線(xiàn)地連接到系統(tǒng)單元10;例如，便攜式娛樂(lè)裝置755可以經(jīng)由W1-Fi自組織連接通信，同時(shí)頭戴耳機(jī)757可以經(jīng)由藍(lán)牙鏈路通信。[0032]具體地說(shuō),這些連接使得比如EyeToy?視頻相機(jī)756(或者立體視頻相機(jī),未示出)之類(lèi)的視頻相機(jī)能夠耦接到PS3，以捕獲書(shū)的視頻圖像(或立體視頻圖像對(duì))。[0033]提供這些接口意味著Playstation3裝置還潛在地與其它外圍裝置(比如數(shù)字錄像機(jī)(DVR)、機(jī)頂盒、數(shù)碼相機(jī)、便攜式媒體播放器、IP語(yǔ)音電話(huà)、移動(dòng)電話(huà)、打印機(jī)和掃描儀)兼容。[0034]另外，傳統(tǒng)存儲(chǔ)卡讀取器410可以經(jīng)由USB端口710連接到系統(tǒng)單元，使能由Playstation?或者Playstation2?裝置使用的這種存儲(chǔ)卡420的讀取。[0035]在本實(shí)施例中，游戲控制器751可操作以經(jīng)由藍(lán)牙鏈路與系統(tǒng)單元10無(wú)線(xiàn)地通信。但是，游戲控制器751可以代替地連接到USB端口，由此還提供對(duì)游戲控制器751的電池進(jìn)行充電的功率。除了一個(gè)或多個(gè)模擬操作桿和現(xiàn)有的控制按鈕之外，游戲控制器對(duì)在六個(gè)自由度(對(duì)應(yīng)于每個(gè)軸的平移和旋轉(zhuǎn))上的運(yùn)動(dòng)敏感。因此，除了現(xiàn)有的按鈕或操作桿命令，或者代替現(xiàn)有的按鈕或操作桿命令，游戲控制器的用戶(hù)的手勢(shì)和移動(dòng)也可以翻譯為對(duì)游戲的輸入。可選地，比如便攜式娛樂(lè)裝置755或者PlaystationMove激758之類(lèi)的其它無(wú)線(xiàn)使能外圍裝置可以用作控制器。在便攜式娛樂(lè)裝置的情況下，可以在裝置的屏幕上提供另外的游戲或控制信息(例如，控制指令或生命數(shù)目)。在PlaystationMove的情況下，控制信息可以由內(nèi)部運(yùn)動(dòng)傳感器和通過(guò)PlaystationMove裝置上監(jiān)控光的視頻兩者提供。其它替代的或補(bǔ)充的控制裝置也可以使用比如跳舞毯(未示出)、激光槍(未示出)、方向盤(pán)和踏板(未示出)或者預(yù)約控制器，比如用于快速響應(yīng)問(wèn)答游戲的單個(gè)或幾個(gè)大的按鈕(同樣未不出)。[0036]遙控器752也可操作為經(jīng)由藍(lán)牙鏈路與系統(tǒng)單元10無(wú)線(xiàn)通信。遙控器752包括適于藍(lán)光盤(pán)BD-ROM讀取器430的操作和用于盤(pán)的內(nèi)容的導(dǎo)航的控制。[0037]除了現(xiàn)有預(yù)記錄和可記錄⑶之外，藍(lán)光盤(pán)BD-ROM讀取器430可操作為讀取與Playstation和Playstation〗裝置兼容的⑶-ROM,和所謂的超級(jí)音頻⑶。除了現(xiàn)有的預(yù)記錄和可記錄DVD之外，讀取器430還可操作為讀取與Playstation〗和Playstation3裝置兼容的DVD-ROM。讀取器430進(jìn)一步可操作為讀取與Playstation3裝置兼容的BD-R0M，以及現(xiàn)有的預(yù)記錄和可記錄藍(lán)光盤(pán)。[0038]系統(tǒng)單元10可操作為通過(guò)音頻和視頻連接器將音頻和視頻(由Playstation3裝置經(jīng)由現(xiàn)實(shí)合成器圖形單元200生成或解碼的)提供給顯示和聲音輸出裝置300，比如具有顯示器305和一個(gè)或多個(gè)揚(yáng)聲器310的監(jiān)視器或電視機(jī)。音頻連接器210可以包括現(xiàn)有的模擬和數(shù)字輸出，同時(shí)視頻連接器220可以多樣地包括分量視頻、S-視頻、合成視頻和一個(gè)或多個(gè)高清晰度多媒體接口(HDMI)輸出。因此，視頻輸出可以以比如PAL或NTSC或者以720p、1080i或1080p高清晰度的格式。[0039]音頻處理(生成、解碼等)由單元處理器100執(zhí)行。Playstation3裝置的操作系統(tǒng)支持Dolby?5.1環(huán)繞聲、Dolby_?劇院環(huán)繞聲(DTS)和來(lái)自藍(lán)光⑩盤(pán)的7.1環(huán)繞聲的解碼。[0040]在本實(shí)施例中，視頻相機(jī)756包括單個(gè)電荷耦合器件(CXD)，LED指示器和基于硬件的實(shí)時(shí)數(shù)據(jù)壓縮和編碼設(shè)備，以使得可以以比如基于圖像內(nèi)的MPEG(運(yùn)動(dòng)圖像專(zhuān)家組)的適當(dāng)格式發(fā)送壓縮的視頻數(shù)據(jù)以由系統(tǒng)單元10解碼。相機(jī)LED指示器布置為響應(yīng)于來(lái)自系統(tǒng)單元10的適當(dāng)?shù)目刂茢?shù)據(jù)照亮，例如表示不利的光照條件。視頻相機(jī)756的實(shí)施例可以經(jīng)由USB、藍(lán)牙或W1-Fi通信端口多樣地連接到系統(tǒng)單元10。視頻相機(jī)的實(shí)施例可以包括一個(gè)或多個(gè)相關(guān)聯(lián)的麥克風(fēng)且也能夠發(fā)送音頻數(shù)據(jù)。在視頻相機(jī)的實(shí)施例中，CCD可以具有適于高清晰度視頻捕獲的分辨率。在視頻相機(jī)的實(shí)施例中，其是立體的。在使用中，由視頻相機(jī)捕獲的圖像例如可以并入游戲內(nèi)或者解釋為游戲控制輸入。[0041]通常，為了經(jīng)由系統(tǒng)單元10的通信端口之一進(jìn)行與比如視頻相機(jī)或遙控器的外圍裝置的成功的數(shù)據(jù)通信，應(yīng)該提供比如裝置驅(qū)動(dòng)之類(lèi)的適當(dāng)軟件。裝置驅(qū)動(dòng)技術(shù)是公知的且將不在這里詳細(xì)描述，除了條本領(lǐng)域技術(shù)人員將知道在描述的本實(shí)施例中可能需要裝置驅(qū)動(dòng)或類(lèi)似的軟件接口。[0042]在制造時(shí)提供的軟件包括系統(tǒng)固件和Playstation3裝置的操作系統(tǒng)(OS)。在操作中，OS提供使得用戶(hù)能夠從包括玩游戲、聽(tīng)音樂(lè)、看照片或看電影的多種功能中選擇的用戶(hù)界面。該界面以所謂的交叉媒體條(XMB)的形式，其中功能的種類(lèi)水平排列。用戶(hù)通過(guò)使用游戲控制器751、遙控器752或其它適當(dāng)?shù)目刂蒲b置水平地移動(dòng)通過(guò)功能圖標(biāo)(表示功能)來(lái)導(dǎo)航，從而在選項(xiàng)圖標(biāo)的垂直可卷動(dòng)列表的中心在該功能圖標(biāo)上時(shí)高亮想要的功能圖標(biāo)(在該點(diǎn)屬于該功能的選項(xiàng)出現(xiàn))，這可以以模擬方式導(dǎo)航。但是，如果游戲、音頻或電影盤(pán)440插入BD-ROM光盤(pán)讀取器430,Playstation3裝置可以自動(dòng)地選擇適當(dāng)?shù)倪x項(xiàng)(例如，通過(guò)開(kāi)始游戲)或者可以提供相關(guān)選項(xiàng)(例如，在播放音頻盤(pán)或壓縮其內(nèi)容到HDD400之間選擇)。[0043]另外，OS提供在線(xiàn)性能，包括網(wǎng)絡(luò)瀏覽器，與可以從其下載另外的游戲內(nèi)容，示范游戲(demos)和其它媒體的在線(xiàn)商店的界面，以及朋友管理性能，提供與由當(dāng)前裝置的用戶(hù)任命的其它Playstation3裝置用戶(hù)的在線(xiàn)通信。該在線(xiàn)性能還提供在玩適當(dāng)配置的游戲期間的在線(xiàn)通信、內(nèi)容下載和內(nèi)容購(gòu)買(mǎi)，且提供Playstation3裝置本身的固件和OS的更新。將認(rèn)可術(shù)語(yǔ)“在線(xiàn)”并不暗指線(xiàn)路的物理存在，因?yàn)樵撔g(shù)語(yǔ)可應(yīng)用于多種類(lèi)型的無(wú)線(xiàn)連接。[0044]現(xiàn)在參考圖3A和圖3B，在本發(fā)明的實(shí)施例中，書(shū)1000具有多個(gè)剛性可翻動(dòng)的頁(yè)(所謂的“板頁(yè)”)，并包括每一頁(yè)1001、1002上的參照標(biāo)記1011、1012，如圖3A所示。頁(yè)將被理解為書(shū)的單個(gè)可翻動(dòng)的紙張或面板，且典型地包括每一側(cè)上的頁(yè)。圖3A和圖3B通過(guò)示例的方式示出頁(yè)I和2(分別標(biāo)記為1001和1002)?？蛇x地，書(shū)的內(nèi)側(cè)的前和/或后封面也可以用作頁(yè)，并包括參照標(biāo)記。因此，在該示例中，頁(yè)I實(shí)際上可以是內(nèi)側(cè)前封面。類(lèi)似的，可選地外側(cè)前和/或后封面可以包括參照標(biāo)記。另外，可選地，每個(gè)頁(yè)的邊緣在外邊緣具有聞對(duì)比度標(biāo)記1020以促進(jìn)頁(yè)的內(nèi)容的檢測(cè)。[0045]耦接到視頻相機(jī)的娛樂(lè)裝置可以捕獲書(shū)的圖像并使用已知的技術(shù)來(lái)檢測(cè)每一可見(jiàn)頁(yè)上的參照標(biāo)記，且因此定位書(shū)的那些頁(yè)。給定該信息，然后如圖2B所示，娛樂(lè)裝置可以以對(duì)應(yīng)于可見(jiàn)頁(yè)上的參照標(biāo)記1011、1012的放置、規(guī)模和定向的彈出的虛擬計(jì)算機(jī)圖形元素1111、1112來(lái)增強(qiáng)書(shū)的捕獲的視頻圖像，并輸出增強(qiáng)的視頻圖像以顯示。以該方式，書(shū)的顯示的版本變?yōu)槠渲许?yè)可以活起來(lái)的“魔術(shù)”彈出式書(shū)。[0046]在這些頁(yè)的很多上，可以期望圖形角色可以動(dòng)作化故事，且需要用戶(hù)與其交互。例如，在已知的故事三只小豬的交互版本中，在后續(xù)頁(yè)中可以詢(xún)問(wèn)用戶(hù)收集稻草、木頭或磚塊用于各個(gè)頁(yè)中的豬的角色來(lái)使用以建造房屋。[0047]同樣地，在典型的使用中，書(shū)的頁(yè)可被處理為用于增強(qiáng)的現(xiàn)實(shí)播放的一系列表面。[0048]因此，在典型的使用場(chǎng)景中，在平面上呈現(xiàn)給用戶(hù)的書(shū)的視頻圖像由完全覆蓋書(shū)的描繪場(chǎng)景的計(jì)算機(jī)圖形的重疊(比如示出三只小豬的房屋的地圖)來(lái)增強(qiáng)。[0049]因此，如果用戶(hù)希望與該場(chǎng)景交互(例如，點(diǎn)擊上房屋上以開(kāi)始故事的相應(yīng)部分)，那么他們將他們的手在書(shū)上方移動(dòng)。因?yàn)樗麄兊氖忠彩浅跏嫉囊曨l圖像的一部分，經(jīng)由重疊的計(jì)算機(jī)圖形覆蓋。這不僅模糊用戶(hù)的手，使得精確的交互(例如，指向房屋)困難，而且還損壞圖形是書(shū)的一部分的幻覺(jué)，因?yàn)橛脩?hù)知道他們的手在書(shū)的上方，但是顯示為在計(jì)算機(jī)圖形的下面。[0050]因此，如上所述，為解決該問(wèn)題，AR應(yīng)用可以以多個(gè)已知技術(shù)中的任意一個(gè)，通過(guò)檢測(cè)輸入視頻圖像中的皮膚像素來(lái)特別地修改增強(qiáng)處理，并且應(yīng)用對(duì)應(yīng)于那些皮膚像素的遮蔽物(mask)，以使得計(jì)算機(jī)圖形不疊加在與皮膚像素對(duì)應(yīng)的遮蔽物區(qū)域中。結(jié)果，用戶(hù)的手等看起來(lái)其在與書(shū)重疊的計(jì)算機(jī)圖形的上方。[0051]由于陰影、不同的光照顏色溫度或者用戶(hù)的皮膚和背景表面之間的低對(duì)比度，在某些情況下皮膚像素的標(biāo)識(shí)可能很困難。[0052]在本發(fā)明的實(shí)施例中，為改進(jìn)皮膚和書(shū)之間的區(qū)分，書(shū)的頁(yè)是非皮膚色調(diào)，比如綠或藍(lán)。因此，例如，書(shū)的背景可以以亮藍(lán)色，同時(shí)以暗藍(lán)色印刷參照標(biāo)記(和任意其它標(biāo)記)。替代地可以使用亮和暗的綠色方案。[0053]使用這種用戶(hù)書(shū)本的顏色方案，則在捕獲的圖像中由書(shū)本占據(jù)的區(qū)域內(nèi)，可以假定落在皮膚色調(diào)的寬范圍內(nèi)的任意像素必須屬于用戶(hù)，因?yàn)樗衅渌袼貙⒁詴?shū)本的色調(diào)。[0054]將理解由AR應(yīng)用基于參照標(biāo)記或者在書(shū)本的頁(yè)上可見(jiàn)的標(biāo)記的位置、規(guī)模和定向以及它們與書(shū)本的已知的物理關(guān)系(大小、位置等)來(lái)估計(jì)視頻圖像中由書(shū)本占據(jù)的區(qū)域。同時(shí)對(duì)于其中書(shū)本在視頻圖像中可見(jiàn)的圖像的區(qū)域，在用戶(hù)的手或者手臂與書(shū)本的邊緣交叉的區(qū)域中，這可以與書(shū)本的顏色方案交叉驗(yàn)證，然后僅估計(jì)是可用的。[0055]因此在本發(fā)明的實(shí)施例中，可選地輸入視頻圖像被處理(例如，由單元處理器100或者由用作圖像處理裝置的現(xiàn)實(shí)合成器圖形單元200中的遮蔽器)，以規(guī)范化捕獲的圖像的紅色、綠色和綠色(“RGB”)通道的值。就是說(shuō)，對(duì)于圖像的給定像素，S=R+G+B，且像素的顏色值然后更新為R/S、G/S和B/S。[0056]這產(chǎn)生保持原始圖像的R:G:B比率同時(shí)具有均勻的亮度水平的圖像，由此去除由于高亮或陰影引起的圖像中的變化。其一個(gè)優(yōu)點(diǎn)是由于來(lái)自用戶(hù)的手落在書(shū)本上的陰影引起的任意交互錯(cuò)誤因而可以由該步驟減輕，雖然并不必要地完全消除。[0057]無(wú)論是否以該方式處理，單元處理器100或現(xiàn)實(shí)合成器圖形單元200然后基于測(cè)試中的像素的顏色通道中紅色對(duì)藍(lán)色值的第一閾值比率和/或可能不同的紅色對(duì)藍(lán)色值的第二閾值比率，來(lái)對(duì)于書(shū)本的估計(jì)區(qū)域中的每個(gè)像素是否是皮膚色調(diào)而測(cè)試該像素。換句話(huà)說(shuō)，取決于R:B和/或R:G閾值，響應(yīng)于像素的顏色平衡是否超過(guò)紅色的預(yù)定閾值純度，將像素分類(lèi)為皮膚或非皮膚像素。因此該分類(lèi)可用于產(chǎn)生二進(jìn)制值的皮膚/非皮膚掩碼。[0058]因?yàn)闀?shū)本的背景顏色設(shè)計(jì)為產(chǎn)生捕獲圖像中非常高的綠色或藍(lán)色像素顏色值，所以可以使得經(jīng)驗(yàn)地確定的一個(gè)或多個(gè)閾值水平對(duì)從淺白色到暗黑色的寬范圍的皮膚色調(diào)敏感，這些皮膚色調(diào)都包含比書(shū)本更高的紅色的比例。就是說(shuō)，可以積極地設(shè)置一個(gè)或多個(gè)閾值水平以包圍皮膚色調(diào)的大范圍。[0059]因此，提供了檢測(cè)用戶(hù)的皮膚而不需要用戶(hù)的任意校準(zhǔn)的有力的和計(jì)算簡(jiǎn)單的方法。[0060]上述技術(shù)在產(chǎn)生用于與增強(qiáng)層一起使用的書(shū)本上的掩蔽時(shí)工作良好，使得用戶(hù)的手顯得在疊加在書(shū)本上的圖形之上。[0061]因此，參考圖4A，在該處理的示例中，用戶(hù)的手(1300)放在屋里的書(shū)本之上。在該情況下，示出該書(shū)本在頁(yè)I和2上打開(kāi)且除了頁(yè)I和2(1001，1002)的參照標(biāo)記1011和1012之外還包括多個(gè)可選的印刷要素，包括位于參照標(biāo)記和書(shū)本的一個(gè)或多個(gè)外邊緣之間的非字母數(shù)字圖案(1040A-D)，且其可以用于在同一頁(yè)上的參照標(biāo)記變?yōu)楸豢吹街?，將新的?yè)標(biāo)識(shí)為在其上翻頁(yè)的多個(gè)頁(yè)，由此使能展現(xiàn)出的頁(yè)的更高的增強(qiáng)。因此，當(dāng)結(jié)合如由書(shū)本的不同頁(yè)上的參照標(biāo)記指示的書(shū)本的規(guī)模和定向使用是，每個(gè)非字母數(shù)字圖案能夠至少指示相對(duì)的一對(duì)頁(yè)，其包含非字母數(shù)字圖案位于其上的各個(gè)頁(yè)。另外，可以提供邊界圖案(1030A-D，1035L、R)，在那里書(shū)本的封面延伸到頁(yè)的維度之外。這些圖案再次以與書(shū)本的頁(yè)相同的藍(lán)色或綠色方案，且例如可以用于檢測(cè)書(shū)本的一個(gè)或多個(gè)頁(yè)是否翻頁(yè)，或者書(shū)本本身是否和上(僅該第二動(dòng)作導(dǎo)致邊界圖案的相應(yīng)翻轉(zhuǎn))。這可以用于當(dāng)書(shū)本正在合上時(shí)停止一般的和估計(jì)的增強(qiáng)頁(yè)的初始顯示。這種初始顯示通?？梢杂糜陔[藏正在展現(xiàn)的新的藍(lán)色或綠色的頁(yè)，直到其由非字母數(shù)字圖案或者在其上印刷的參照標(biāo)記適當(dāng)?shù)貥?biāo)識(shí)為止。[0062]現(xiàn)在參考圖4B，基于上述的書(shū)本的占主導(dǎo)的藍(lán)色或綠色頁(yè)和用戶(hù)的皮膚之間的差別的檢測(cè)，基于如先前所述的書(shū)本的估計(jì)區(qū)域初始地生成皮膚掩蔽。該皮膚掩蔽可被稱(chēng)為初始皮膚掩蔽。圖4B示出了對(duì)應(yīng)于圖4A中所示的書(shū)本的估計(jì)區(qū)域的這種初始皮膚掩蔽1320。在該初始皮膚掩蔽中，對(duì)應(yīng)于皮膚色調(diào)的像素1340的區(qū)域以黑色示出。這些像素可被稱(chēng)為皮膚掩蔽的背景內(nèi)的皮膚像素(即，標(biāo)識(shí)在視頻圖像中在哪里找到皮膚像素的二進(jìn)制值)。[0063]現(xiàn)在參考圖4C，在產(chǎn)生的增強(qiáng)圖像中，重疊的計(jì)算機(jī)圖形(1113)被疊加在書(shū)本的估計(jì)區(qū)域之上(如之前所述，如基于參照標(biāo)記的位置、規(guī)模、定向以及這些對(duì)書(shū)本的已知的物理關(guān)系而計(jì)算的)，并且在該情況下完全遮擋該估計(jì)區(qū)域，除了由初始皮膚掩蔽作為皮膚像素遮蔽掉的書(shū)本的那些區(qū)域之外。如上所述，結(jié)果是用戶(hù)的手1300顯得保留在計(jì)算機(jī)圖形之上。[0064]但是，實(shí)際上，上述書(shū)本的區(qū)域的計(jì)算可能不是完全精確的。其原因包括輸入視頻圖像的分辨率，這給予參照標(biāo)記的垂直和水平測(cè)量有限的精確性。就是說(shuō)，書(shū)本可能小量地傾斜或旋轉(zhuǎn)或充定位，然而仍然將參照標(biāo)記映射到輸入視頻圖像的同一像素上。但是，整體的書(shū)本典型地是參照標(biāo)記的大小的3到6倍，且因此同一小范圍的角度可能導(dǎo)致書(shū)本的區(qū)域的估計(jì)的典型I到5個(gè)像素的誤差。誤差的程度可能是參照標(biāo)記的相關(guān)角度的函數(shù)(例如，淺的角度可能導(dǎo)致更大的估計(jì)誤差)，且因此可以根據(jù)參照標(biāo)記的外觀(guān)上的角度來(lái)估計(jì)可能的誤差的大小。[0065]在任意情況下，因?yàn)闀?shū)本大部分是淺藍(lán)色(或者淺綠色)，在誤差導(dǎo)致增強(qiáng)未對(duì)準(zhǔn)且沒(méi)有完全覆蓋書(shū)本時(shí)，這在增強(qiáng)的圖像中非常明顯。[0066]可以以幾種方式減輕該誤差。[0067]一個(gè)方式是當(dāng)首先估計(jì)視頻圖像中書(shū)本的區(qū)域時(shí)校驗(yàn)視頻圖像；書(shū)本的估計(jì)的區(qū)域可以與視頻圖像比較，且緊接在與緊接在邊界內(nèi)的相鄰像素同一顏色(或在容差內(nèi))的估計(jì)區(qū)域的邊界之外的視頻圖像中的任意像素可被分類(lèi)為書(shū)本的一部分。如果以該方式分類(lèi)出在書(shū)本的任意一側(cè)上的邊界之外的多余閾值百分比的像素，則區(qū)域可以在該側(cè)延伸一個(gè)像素，且可以重復(fù)該處理，以生長(zhǎng)該估計(jì)區(qū)域直到其適配為止。但是，該方法具有幾個(gè)問(wèn)題，第一個(gè)是如果背景(例如書(shū)本放置在其上的地毯)也在顏色方案的容差內(nèi)，則系統(tǒng)可能將背景錯(cuò)誤地分類(lèi)為書(shū)本的一部分。另一問(wèn)題由混淆(aliasing)引起。在書(shū)本邊緣的像素的顏色可能由于混淆而是藍(lán)色(例如)和背景顏色的混合，且藍(lán)色的比例可能逐像素地改變。因此，書(shū)本的外觀(guān)上的范圍可能快速波動(dòng)±1像素，這是不希望的。第三個(gè)問(wèn)題在于當(dāng)用戶(hù)的手或手臂遮擋了邊界的大比例(這可能是如果用戶(hù)持有書(shū)本的情況)，則可能在一側(cè)沒(méi)有足夠邊界來(lái)可信地校驗(yàn)在任意情況下邊界外測(cè)的像素的閾值數(shù)目。簡(jiǎn)短地說(shuō)，存在與校驗(yàn)書(shū)本的邊緣相關(guān)聯(lián)的大量波動(dòng)的變量和條件，這使得視頻圖像的一致的處理很困難。[0068]因此，另一方式是簡(jiǎn)單地假定書(shū)本部分地大于其估計(jì)的范圍，以使得在增強(qiáng)的圖像中增強(qiáng)以典型的I到5像素的量級(jí)延伸超出書(shū)本的估計(jì)區(qū)域。如上所述，可能的錯(cuò)誤的程度可能與參照標(biāo)記的當(dāng)前定向成正比，且這可以用于選擇將增強(qiáng)延伸多遠(yuǎn)。實(shí)際上，對(duì)于大多數(shù)情況，增強(qiáng)延伸I或2個(gè)像素超出書(shū)本的計(jì)算的范圍。[0069]這是通過(guò)過(guò)估計(jì)幾個(gè)像素來(lái)隱藏書(shū)本的區(qū)域的估計(jì)中的誤差的相對(duì)簡(jiǎn)單的方式。[0070]但是，現(xiàn)在參考圖5，這導(dǎo)致了新的問(wèn)題。在圖5中，擴(kuò)展的計(jì)算機(jī)圖形1113’(僅為了示例的目的)比其重疊的書(shū)本的估計(jì)區(qū)域大5%。[0071]同時(shí)，用于保證用戶(hù)的皮膚顯得在疊加的計(jì)算機(jī)圖形的頂部的皮膚掩蔽仍然基于書(shū)本的初始估計(jì)的區(qū)域。結(jié)果，計(jì)算機(jī)圖形現(xiàn)在將重疊視頻中用戶(hù)皮膚1310的區(qū)域，其超出物理書(shū)本的估計(jì)的區(qū)域且不包括在皮膚掩蔽中。如圖5所示，效果是計(jì)算機(jī)圖形像素的薄的邊界在用戶(hù)的手/手臂交叉到書(shū)本的表面上的點(diǎn)處顯得在用戶(hù)的手/手臂的頂部。[0072]顯而易見(jiàn)的解決方案可能是簡(jiǎn)單地將皮膚像素的檢測(cè)延伸到計(jì)算機(jī)圖形的擴(kuò)展的區(qū)域。但是，由系統(tǒng)應(yīng)用的積極的皮膚色調(diào)檢測(cè)基于背景是書(shū)本的藍(lán)色或綠色的假設(shè)，且該假設(shè)在書(shū)本的估計(jì)區(qū)域外不能保證。結(jié)果，如果皮膚像素檢測(cè)處理應(yīng)用于計(jì)算機(jī)圖形的擴(kuò)展的區(qū)域，則(取決于背景的顏色，例如，紅色的毯子)，擴(kuò)展區(qū)域的大部分將錯(cuò)誤地作為皮膚掩蔽掉。[0073]原則上，可以看到以與第一解決方案互補(bǔ)的方式解決書(shū)本大小估計(jì)誤差；如果它們是藍(lán)色/綠色則添加像素到書(shū)本，如果它們不是藍(lán)色/綠色則從擴(kuò)展的書(shū)本區(qū)域刪除它們。但是，將認(rèn)可該方法同樣具有與第一方法相同的問(wèn)題，即當(dāng)存在混淆背景時(shí)失敗(這里可適用的藍(lán)色或綠色)和由于混淆引起的波動(dòng)。[0074]因此，現(xiàn)在參考圖4B且還參考圖6，在本發(fā)明的實(shí)施例中，如先前所述的，基于書(shū)本的初始估計(jì)區(qū)域初始地生成初始皮膚掩蔽，如圖4B所示。[0075]圖6示出圖4B的初始皮膚掩蔽的角落的特寫(xiě)視圖，這里對(duì)應(yīng)于掩蔽中的皮膚像素的區(qū)域1340到達(dá)初始皮膚掩蔽的邊緣1322，因此指示用戶(hù)的手/手臂交叉書(shū)本的估計(jì)邊緣的區(qū)域。[0076]可通過(guò)對(duì)于沿著邊界的鄰近的一組皮膚像素(S卩，多于預(yù)定閾值數(shù)目的像素)分析初始皮膚掩蔽的邊界來(lái)自動(dòng)找到該區(qū)域。該數(shù)目可以與視頻圖像中的書(shū)本的當(dāng)前規(guī)模成正t匕，這又指示在視頻圖像中用戶(hù)的手/手臂當(dāng)放在書(shū)本之上時(shí)可能的規(guī)模。[0077]這樣一組中的第一和最后像素(1342，1352)然后可以用于預(yù)測(cè)其中用戶(hù)的手/手臂突出到初始皮膚掩蔽的范圍之外的另外的區(qū)域。[0078]因此，在本發(fā)明的實(shí)施例中，本領(lǐng)域中已知的任意適當(dāng)?shù)倪吘壐櫦夹g(shù)可以用于從上述的第一和最后像素中的每個(gè)開(kāi)始，跟蹤發(fā)展到掩蔽區(qū)域中的皮膚像素區(qū)域的各個(gè)邊緣。[0079]該跟蹤可對(duì)于預(yù)定距離(在此選擇性地與視頻圖像中當(dāng)前檢測(cè)到的書(shū)本的規(guī)模/大小成比例)進(jìn)行，以達(dá)到沿著由掩蔽定義的用戶(hù)的手/手臂的輪廓的邊緣的點(diǎn)。[0080]一旦對(duì)于該預(yù)定距離跟蹤，在達(dá)到的點(diǎn)和形成邊緣跟蹤的開(kāi)始點(diǎn)的各個(gè)第一或最后像素之間的線(xiàn)(1344，1354)可被計(jì)算并突出到掩蔽之外。該線(xiàn)基于適配掩蔽的皮膚像素區(qū)域的跟蹤的邊緣的多邊形而可以是直線(xiàn)或曲線(xiàn)。因此，該線(xiàn)預(yù)測(cè)用戶(hù)的手/手臂的外邊緣怎樣可能地從視頻圖像內(nèi)書(shū)本的初始估計(jì)的區(qū)域之外繼續(xù)到相鄰區(qū)域中。[0081]給定這些預(yù)測(cè)，然后可以計(jì)算這些線(xiàn)與用于擴(kuò)展圖形(1113’)的書(shū)本的區(qū)域的擴(kuò)展的估計(jì)的邊緣(1324)的交叉點(diǎn)(1346，1356)。由書(shū)本的區(qū)域的初始估計(jì)的邊緣限定的區(qū)域，書(shū)本的區(qū)域的擴(kuò)展的估計(jì)的邊緣(1324)和由皮膚掩蔽計(jì)算的線(xiàn)(1344，1354)然后表示可能的皮膚區(qū)域(1360)，其可能包括不應(yīng)該由擴(kuò)展的計(jì)算機(jī)圖形覆蓋的另外的皮膚像素。[0082]因此，皮膚掩蔽可以擴(kuò)展以匹配書(shū)本的擴(kuò)展的估計(jì)的區(qū)域。假定掩蔽的擴(kuò)展的區(qū)域是非皮膚像素，除了在上述可能的皮膚區(qū)域(1360)中。[0083]在該可能的皮膚區(qū)域中，掩蔽可以簡(jiǎn)單地填充有皮膚像素掩蔽值。替代地，可以以如前所述的皮膚檢測(cè)器分析可能的皮膚區(qū)域，可選地以不同的R:B和/或R:G比率閾值。因?yàn)樵搮^(qū)域非常接近匹配視頻圖像中皮膚的可能位置，所以該區(qū)域中背景作為皮膚的大范圍的誤分類(lèi)的可能性很小，使得在該區(qū)域中檢測(cè)器的使用是可接受的。[0084]可選地，可能的皮膚區(qū)域可以平行于估計(jì)的區(qū)域的各個(gè)邊緣擴(kuò)展幾個(gè)像素(例如，I和5個(gè)像素之間，可選地與視頻圖像中書(shū)本的當(dāng)前檢測(cè)的規(guī)模/尺寸，或者可能的皮膚區(qū)域自身的尺寸成正比)。換句話(huà)說(shuō)，新的皮膚區(qū)域可以在初始估計(jì)的書(shū)本區(qū)域和擴(kuò)展估計(jì)的書(shū)本區(qū)域之間的區(qū)域中擴(kuò)展預(yù)定數(shù)目的像素。這減少了用戶(hù)的手/手臂的視頻圖像由新的皮膚掩蔽剪切的機(jī)會(huì)，其潛在代價(jià)是幾個(gè)像素被誤分類(lèi)為皮膚像素(再次，該擴(kuò)展區(qū)域可被簡(jiǎn)單地設(shè)置為掩蔽中的皮膚像素，或者使得經(jīng)歷皮膚檢測(cè)處理)。[0085]因此，通過(guò)上述實(shí)施例中的技術(shù)的使用，可以通過(guò)選擇性地檢測(cè)(或設(shè)置)基于書(shū)本的初始估計(jì)區(qū)域內(nèi)檢測(cè)到的皮膚掩蔽像素預(yù)測(cè)的區(qū)域中的書(shū)本的初始估計(jì)區(qū)域相鄰的皮膚掩蔽像素，緩解位于書(shū)本的邊緣相鄰的皮膚區(qū)域之上的擴(kuò)展的計(jì)算機(jī)圖形的問(wèn)題，以使得背景顏色和混淆抖動(dòng)的問(wèn)題變得對(duì)實(shí)際上檢測(cè)到皮膚的區(qū)域?qū)嵸|(zhì)上無(wú)意義。[0086]將認(rèn)可用戶(hù)的手/手臂的外邊緣怎么可能地繼續(xù)到視頻圖像內(nèi)書(shū)本的初始估計(jì)區(qū)域之外的預(yù)測(cè)可以由任意適當(dāng)?shù)姆绞竭M(jìn)行，例如包括估計(jì)初始皮膚掩蔽的皮膚像素內(nèi)的中線(xiàn)且因此皮膚像素的全部方向，且然后將皮膚像素從如上所述的第一和最后皮膚像素(1342，1352)傳播到由中線(xiàn)指示的方向上的相鄰區(qū)域中。[0087]在本發(fā)明的另一實(shí)施例中，使得初始皮膚掩蔽極小地小于書(shū)本的區(qū)域的初始估計(jì)，例如，小幾個(gè)(1-5個(gè))像素。這將偏離在視頻圖像中書(shū)本的實(shí)際區(qū)域之外的初始估計(jì)的誤差的效果減輕了幾個(gè)像素，以使得使用積極的皮膚色調(diào)檢測(cè)處理評(píng)估一些背景像素。然后，皮膚掩蔽可以每個(gè)如前所述的處理都擴(kuò)展到書(shū)本的初始估計(jì)區(qū)域或者書(shū)本的擴(kuò)展估計(jì)區(qū)域(按照需要的)和標(biāo)識(shí)的任意新的皮膚區(qū)域中填充的擴(kuò)展區(qū)域。[0088]因此，在本發(fā)明的概括實(shí)施例中，用于增強(qiáng)現(xiàn)實(shí)應(yīng)用的娛樂(lè)裝置(例如，PS3，10)包括用于接收視頻圖像的視頻輸入端(例如，USB,WiFi或藍(lán)牙?輸入端)，可操作以估計(jì)視頻圖像內(nèi)捕獲的識(shí)別的表面(1320)的范圍的圖像處理器(例如，在適當(dāng)?shù)能浖噶钕虏僮鞯膯卧幚砥?00和/或現(xiàn)實(shí)合成器圖形單元200，可操作以標(biāo)識(shí)與視頻圖像內(nèi)標(biāo)識(shí)的表面的估計(jì)范圍對(duì)應(yīng)的測(cè)試區(qū)域(1320)內(nèi)的皮膚像素的皮膚像素檢測(cè)器(例如，再次在適當(dāng)?shù)能浖噶钕虏僮鞯膯卧幚砥?00)，在操作中布置以基于標(biāo)識(shí)的皮膚像素來(lái)外推在測(cè)試區(qū)域外測(cè)的視頻圖像內(nèi)皮膚像素的位置的處理器(例如，再次在適當(dāng)?shù)能浖噶钕虏僮鞯膯卧幚砥?00)，可操作以由標(biāo)識(shí)的皮膚像素和外推的皮膚像素的組合來(lái)生成掩蔽的掩蔽發(fā)生器(例如，在適當(dāng)?shù)能浖噶钕虏僮鞯膯卧幚砥?00和/或現(xiàn)實(shí)合成器圖形單元200)，以及可操作以將計(jì)算機(jī)圖形的范圍設(shè)置為實(shí)質(zhì)上重疊在視頻圖形內(nèi)標(biāo)識(shí)的表面的頂部上的處理器，該范圍比標(biāo)識(shí)的表面的估計(jì)的范圍更大，以及可操作以響應(yīng)于生成的掩蔽疊加視頻圖像的圖形增強(qiáng)的圖像處理器。將認(rèn)可生成的掩蔽將具有與計(jì)算機(jī)圖形相同的范圍，或者可選地更大。[0089]在概括的實(shí)施例的情況下，測(cè)試區(qū)域(1320)與視頻圖像內(nèi)標(biāo)識(shí)的表面的估計(jì)范圍相同。但是，在替代的情況下，測(cè)試區(qū)域從視頻圖像內(nèi)標(biāo)識(shí)的表面的估計(jì)范圍的邊緣擴(kuò)展到預(yù)定數(shù)目像素之內(nèi)。如前所述，預(yù)定數(shù)目的像素可以對(duì)應(yīng)于估計(jì)書(shū)本在視頻圖像中占據(jù)的區(qū)域。[0090]在任一情況下，在概括實(shí)施例的情況下，如前所述，在操作中布置處理器以標(biāo)識(shí)交叉測(cè)試區(qū)域的邊緣(1322)的皮膚像素的區(qū)域(1340)，且對(duì)于標(biāo)識(shí)的區(qū)域，在操作中布置以標(biāo)識(shí)在邊緣的第一外圍皮膚像素(1342，1352)，描繪(trace)遠(yuǎn)離邊緣預(yù)定距離的區(qū)域的外圍并從測(cè)試區(qū)域的邊緣向外外推軌跡(1344，1354)。[0091]替代地，在概括實(shí)施例的情況下，然后如前所述，在操作中布置處理器以標(biāo)識(shí)交叉測(cè)試區(qū)域區(qū)域的邊緣(1322)的皮膚像素的區(qū)域(1340)，且對(duì)于該標(biāo)識(shí)的區(qū)域，在操作中布置以計(jì)算與測(cè)試區(qū)域的邊緣交叉的中心線(xiàn)(例如，使用骨骼建模技術(shù)或者其它適當(dāng)?shù)募夹g(shù))，計(jì)算垂直于中心線(xiàn)的區(qū)域?qū)挾?例如在垂直于中心線(xiàn)的線(xiàn)交叉第一外圍皮膚像素之一的點(diǎn)的寬度(1342，1352)-和對(duì)應(yīng)于中心線(xiàn)的方向和計(jì)算的區(qū)域?qū)挾葘?biāo)識(shí)的區(qū)域傳播到測(cè)試區(qū)域的邊緣之外。[0092]在任一情況下，在概括實(shí)施例的情況下，在操作中布置掩蔽發(fā)生器以標(biāo)識(shí)測(cè)試區(qū)域的邊緣和計(jì)算圖形的范圍的邊緣之間的外推的皮膚像素的區(qū)域，并生成代表標(biāo)識(shí)的皮膚像素和標(biāo)識(shí)的外推皮膚像素的掩蔽。作為標(biāo)識(shí)適當(dāng)?shù)耐馔破つw像素的處理的一部分，掩蔽發(fā)生器可以操作以檢測(cè)標(biāo)識(shí)的區(qū)域中的外推的皮膚像素是否滿(mǎn)足皮膚像素顏色測(cè)試，且僅如果像素通過(guò)測(cè)試才標(biāo)識(shí)像素為外推的皮膚像素。[0093]實(shí)際上，娛樂(lè)裝置將與可操作地耦合到娛樂(lè)裝置的視頻相機(jī)結(jié)合地使用，且如這里所述的書(shū)本至少包括用于標(biāo)識(shí)書(shū)本表面的目的的第一參照標(biāo)記。[0094]現(xiàn)在轉(zhuǎn)到圖7，增強(qiáng)視頻圖像的方法包括:[0095]在第一步驟slO中,估計(jì)視頻圖像內(nèi)捕獲的標(biāo)識(shí)的表面的范圍；[0096]在第二步驟s20中，標(biāo)識(shí)與視頻圖像內(nèi)的標(biāo)識(shí)的表面的估計(jì)范圍對(duì)應(yīng)的測(cè)試區(qū)域內(nèi)的皮膚像素；[0097]在第三步驟s30中，基于標(biāo)識(shí)的皮膚像素外推在測(cè)試區(qū)域之外的視頻圖像內(nèi)皮膚像素的位置；[0098]在第四步驟s40中，由標(biāo)識(shí)的皮膚像素和外推的皮膚像素的組合生成掩蔽；[0099]在第五步驟s50中，設(shè)置計(jì)算機(jī)圖形的范圍實(shí)質(zhì)上重疊在視頻圖像內(nèi)標(biāo)識(shí)的表面的頂部之上，該范圍比標(biāo)識(shí)的表面的估計(jì)的范圍更大；和[0100]在第六步驟s60中，對(duì)應(yīng)于生成的掩蔽疊加視頻圖像的圖形增強(qiáng)。[0101]對(duì)于本領(lǐng)域技術(shù)人員很明顯在本發(fā)明的范圍內(nèi)考慮對(duì)應(yīng)于如上所述和在這里要求權(quán)利的設(shè)備的各種實(shí)施例的操作的上述方法的變型，包括但不限于:[0102]測(cè)試區(qū)域與視頻圖像內(nèi)標(biāo)識(shí)的表面的估計(jì)的范圍相同，或者測(cè)試區(qū)域從視頻圖像內(nèi)標(biāo)識(shí)的表面的估計(jì)范圍的邊緣延伸到預(yù)定數(shù)目像素之內(nèi)；[0103]在任一情況下，外推步驟包括:標(biāo)識(shí)與測(cè)試區(qū)域的邊緣交叉的皮膚像素的區(qū)域，且對(duì)于該標(biāo)識(shí)的區(qū)域，標(biāo)識(shí)在邊緣的第一外圍皮膚像素，跟蹤遠(yuǎn)離邊緣預(yù)定距離的區(qū)域的外圍，且從測(cè)試區(qū)域的邊緣向外外推軌跡，或者[0104]外推步驟包括標(biāo)識(shí)與測(cè)試區(qū)域的邊緣交叉的皮膚像素的區(qū)域，且對(duì)于該標(biāo)識(shí)的區(qū)域，計(jì)算與測(cè)試區(qū)域的邊緣交叉的中心線(xiàn)，計(jì)算與中心線(xiàn)垂直的區(qū)域?qū)挾?，且?duì)應(yīng)于中心線(xiàn)的方向和計(jì)算的區(qū)域?qū)挾葘?biāo)識(shí)的區(qū)域傳播到測(cè)試區(qū)域的邊緣之外；[0105]在任意情況下，該生成掩蔽的步驟包括標(biāo)識(shí)測(cè)試區(qū)域的邊緣和計(jì)算機(jī)圖形的范圍的邊緣之間的外推的皮膚像素的區(qū)域，和生成代表標(biāo)識(shí)的皮膚像素和標(biāo)識(shí)的外推皮膚像素的掩蔽，[0106]且其中標(biāo)識(shí)外推的皮膚像素的區(qū)域的步驟可以包括檢測(cè)外推的皮膚像素是否滿(mǎn)足皮膚像素顏色測(cè)試，并如果像素通過(guò)測(cè)試才標(biāo)識(shí)像素為外推的皮膚像素。[0107]最后，將認(rèn)可在這里公開(kāi)的方法可以在適當(dāng)?shù)剡m配為可由軟件指令應(yīng)用的現(xiàn)有硬件上或者由專(zhuān)用硬件的內(nèi)含物或替代來(lái)執(zhí)行。[0108]因此，對(duì)現(xiàn)有等效裝置的現(xiàn)有部分的所需的適配可以以非瞬時(shí)計(jì)算機(jī)程序產(chǎn)品或者制造的類(lèi)似物體的形式實(shí)現(xiàn)，包括:可實(shí)現(xiàn)在數(shù)據(jù)載體上存儲(chǔ)的指令的處理器，該數(shù)據(jù)載體比如軟盤(pán)、光盤(pán)、硬盤(pán)、PROM、RAM、閃存存儲(chǔ)器或這些活其它存儲(chǔ)介質(zhì)的任意組合，或者以硬件實(shí)現(xiàn)的處理器，比如ASIC(特定用途集成電路)或者FPGA(場(chǎng)可編程門(mén)陣列)或者適于適配于現(xiàn)有等效裝置使用的其它可配置電路。分開(kāi)地，如果可應(yīng)用，計(jì)算機(jī)程序可采取網(wǎng)絡(luò)上經(jīng)由數(shù)據(jù)信號(hào)的傳輸?shù)男问?，該網(wǎng)絡(luò)比如以太網(wǎng)、無(wú)線(xiàn)網(wǎng)、因特網(wǎng)或者這些或其它網(wǎng)絡(luò)的任意組合?！緳?quán)利要求】1.一種增強(qiáng)視頻圖像的方法，包括步驟:估計(jì)視頻圖像內(nèi)捕獲的標(biāo)識(shí)表面的范圍；標(biāo)識(shí)與視頻圖像內(nèi)的標(biāo)識(shí)表面的估計(jì)范圍對(duì)應(yīng)的測(cè)試區(qū)域內(nèi)的皮膚像素；基于標(biāo)識(shí)的皮膚像素，外推在測(cè)試區(qū)域之外的視頻圖像內(nèi)的皮膚像素的位置；設(shè)置實(shí)際上要疊加在視頻圖像內(nèi)的標(biāo)識(shí)表面的頂部上的計(jì)算機(jī)圖形的范圍，該范圍大于標(biāo)識(shí)表面的估計(jì)范圍；和從標(biāo)識(shí)的皮膚像素和外推的皮膚像素的組合生成掩蔽，該掩蔽至少具有與計(jì)算機(jī)圖形相同的范圍；和對(duì)應(yīng)于生成的掩蔽疊加視頻圖像的圖形增強(qiáng)。2.如權(quán)利要求1所述的方法，其中，所述測(cè)試區(qū)域與視頻圖像內(nèi)的標(biāo)識(shí)表面的估計(jì)范圍相同。3.如權(quán)利要求1所述的方法，其中，所述測(cè)試區(qū)域從視頻圖像內(nèi)的標(biāo)識(shí)表面的估計(jì)范圍的邊緣延伸到預(yù)定數(shù)目的像素內(nèi)。4.如權(quán)利要求1所述的方法，其中，所述外推步驟包括:標(biāo)識(shí)與測(cè)試區(qū)域的邊緣交叉的皮膚像素的區(qū)域；和對(duì)于標(biāo)識(shí)的區(qū)域，標(biāo)識(shí)在邊緣的第一外圍皮膚像素；追溯遠(yuǎn)離邊緣預(yù)定距離的區(qū)域的外圍；和從測(cè)試區(qū)域的邊緣向外外推軌跡。5.如權(quán)利要求1到3中的任意一個(gè)所述的方法，其中，所述外推步驟包括:標(biāo)識(shí)與測(cè)試區(qū)域的邊緣交叉的皮膚像素的區(qū)域；和對(duì)于標(biāo)識(shí)的區(qū)域，計(jì)算與測(cè)試區(qū)域的邊緣交叉的中心線(xiàn)；計(jì)算垂直于中心線(xiàn)的區(qū)域?qū)挾龋缓蛯?duì)應(yīng)于中心線(xiàn)的方向和計(jì)算的區(qū)域?qū)挾仍跍y(cè)試區(qū)域的邊緣之外傳播標(biāo)識(shí)區(qū)域。6.如權(quán)利要求1所述的方法，其中，所述生成掩蔽的步驟包括:標(biāo)識(shí)測(cè)試區(qū)域的邊緣和計(jì)算機(jī)圖形的范圍的邊緣之間的外推的皮膚像素的區(qū)域；和生成代表標(biāo)識(shí)的皮膚像素和標(biāo)識(shí)的外推的皮膚像素的掩蔽。7.如權(quán)利要求6所述的方法，其中，所述標(biāo)識(shí)外推的皮膚像素的區(qū)域的步驟包括:檢測(cè)外推的皮膚像素是否滿(mǎn)足皮膚像素顏色測(cè)試，和如果像素通過(guò)測(cè)試則標(biāo)識(shí)所述像素為外推的皮膚像素。8.用于實(shí)現(xiàn)權(quán)利要求1的步驟的計(jì)算機(jī)程序。9.一種用于增強(qiáng)現(xiàn)實(shí)應(yīng)用的娛樂(lè)裝置，包括:用于接收視頻圖像的視頻輸入端；圖像處理器，可操作以估計(jì)視頻圖像內(nèi)捕獲的標(biāo)識(shí)表面的范圍；皮膚像素檢測(cè)器，可操作以標(biāo)識(shí)與視頻圖像內(nèi)標(biāo)識(shí)表面的估計(jì)范圍對(duì)應(yīng)的測(cè)試區(qū)域內(nèi)的皮膚像素；處理器，在操作中布置以基于標(biāo)識(shí)的皮膚像素外推測(cè)試區(qū)域之外的視頻圖像內(nèi)的皮膚像素的位置，所述處理器可操作以設(shè)置實(shí)際上要疊加在視頻圖像內(nèi)的標(biāo)識(shí)表面的頂部上的計(jì)算機(jī)圖形的范圍，該范圍大于標(biāo)識(shí)表面的估計(jì)范圍；掩蔽生成器，可操作以由標(biāo)識(shí)的皮膚像素和外推的皮膚像素的組合生成掩蔽，該掩蔽至少具有與計(jì)算機(jī)圖形相同的范圍；和所述圖像處理器可操作以對(duì)應(yīng)于生成的掩蔽疊加視頻圖像的圖形增強(qiáng)。10.如權(quán)利要求9所述的娛樂(lè)裝置，其中，所述測(cè)試區(qū)域與視頻圖像內(nèi)的標(biāo)識(shí)表面的估計(jì)范圍相同。11.如權(quán)利要求9所述的娛樂(lè)裝置，其中，所述測(cè)試區(qū)域從視頻圖像內(nèi)標(biāo)識(shí)表面的估計(jì)范圍的邊緣延伸到預(yù)定數(shù)目的像素內(nèi)。12.如權(quán)利要求9所述的娛樂(lè)裝置，其中，所述處理器在操作中布置以:標(biāo)識(shí)與測(cè)試區(qū)域的邊緣交叉的皮膚像素的區(qū)域；和對(duì)于標(biāo)識(shí)的區(qū)域，標(biāo)識(shí)在邊緣的第一外圍皮膚像素；追溯遠(yuǎn)離邊緣預(yù)定距離的區(qū)域的外圍；和從測(cè)試區(qū)域的邊緣向外外推軌跡。13.如權(quán)利要求9到11中的任意一個(gè)所述的娛樂(lè)裝置，其中，所述處理器在操作中布置以:標(biāo)識(shí)交叉測(cè)試區(qū)域的邊緣的皮膚像素的區(qū)域；和對(duì)于標(biāo)識(shí)的區(qū)域，計(jì)算與測(cè)試區(qū)域的邊緣交叉的中心線(xiàn)；計(jì)算垂直于中心線(xiàn)的區(qū)域?qū)挾?；和?duì)應(yīng)于中心線(xiàn)的方向和計(jì)算的區(qū)域?qū)挾仍跍y(cè)試區(qū)域的邊緣之外傳播標(biāo)識(shí)區(qū)域。14.如權(quán)利要求9所述的娛樂(lè)裝置，其中，所述掩蔽生成器在操作中布置以:標(biāo)識(shí)測(cè)試區(qū)域的邊緣和計(jì)算機(jī)圖形的范圍的邊緣之間的外推的皮膚像素的區(qū)域；檢測(cè)標(biāo)識(shí)區(qū)域中的外推的皮膚像素是否滿(mǎn)足皮膚像素顏色測(cè)試，如果像素通過(guò)測(cè)試則標(biāo)識(shí)所述像素為外推的皮膚像素；和生成代表標(biāo)識(shí)的皮膚像素和標(biāo)識(shí)的外推皮膚像素的掩蔽。15.一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括:根據(jù)權(quán)利要求9到14中的任意一個(gè)所述的娛樂(lè)裝置；可操作以耦合到所述娛樂(lè)裝置的視頻相機(jī)；和包括用于標(biāo)識(shí)書(shū)本的表面的目的的參照標(biāo)記的書(shū)本?！疚臋n編號(hào)】G06T7/00GK103455978SQ201310211270【公開(kāi)日】2013年12月18日申請(qǐng)日期:2013年5月31日優(yōu)先權(quán)日:2012年5月31日【發(fā)明者】G.D.克萊默,T.E.盧卡斯-伍德利,W.O.賽克斯,A.R.薩法里阿澤阿拉姆達(dá)利申請(qǐng)人:索尼電腦娛樂(lè)歐洲有限公司