局部化分割的圖像的連網(wǎng)捕捉和三維顯示的制作方法
【專利摘要】本文描述了包括接收具有前景部分和背景部分的源圖像的系統(tǒng)、裝置和方法，其中，背景部分包括三維(3D)環(huán)境的圖像內(nèi)容。通過比較源圖像的特征和3D環(huán)境的目標(biāo)圖像的圖像特征，可確定源圖像的攝像機(jī)位姿，并且使用攝像機(jī)位姿將前景部分和背景部分分割可生成分割的源圖像。結(jié)果分割的源圖像和相關(guān)聯(lián)攝像機(jī)位姿可存儲(chǔ)在連網(wǎng)的數(shù)據(jù)庫中。攝像機(jī)位姿和分割的源圖像可用于在虛擬3D環(huán)境中提供前景部分的模擬。
【專利說明】局部化分割的圖像的連網(wǎng)捕捉和三維顯示
【背景技術(shù)】
[0001]用于查看群組圖像的當(dāng)前自動(dòng)化方法未將每攝像機(jī)圖像定位和前景分割的組合效應(yīng)考慮在內(nèi)。相反，一般以幻燈片方式一次一個(gè)地顯示圖像。目前，為實(shí)現(xiàn)此效應(yīng)，離線手工處理圖像。
[0002]一般情況下，移動(dòng)裝置的室內(nèi)定位依賴某種形式的本地基礎(chǔ)設(shè)施設(shè)置，如全球定位系統(tǒng)(GPS)塔位置、無線塔位置、多個(gè)接入點(diǎn)位置等等。這些基礎(chǔ)設(shè)施元素能夠在實(shí)現(xiàn)上特別昂貴，并且有時(shí)甚至不可能提供用于許多室內(nèi)環(huán)境，如主題公園、博物館、會(huì)議中心、家庭及諸如此類。
【專利附圖】

【附圖說明】
[0003]本文中所述的材料在附圖中以示例而非限制的方式示出。為確保示圖的簡明和清晰起見，圖中所示元素不一定按比例畫出。例如，為清晰起見，一些元素的尺寸相對(duì)其它元素可能顯得過大。此外，在認(rèn)為視當(dāng)之處，標(biāo)號(hào)已在圖中重復(fù)以指示一致或類似的元素。在附圖中:
圖1是示例系統(tǒng)的說明性圖形；
圖2示出示例源圖像；
圖3是示出示例圖像定位過程的流程圖；
圖4示出攝像機(jī)位姿坐標(biāo)；
圖5A、5B和5C示出示例圖像分割過程的流程圖；
圖6示出示例分割的源圖像；
圖7是示出示例3D模擬過程的流程圖；
圖8示出示例3D環(huán)境模擬；
圖9是示例系統(tǒng)的說明性圖形；以及
圖10示出全部根據(jù)本公開內(nèi)容的至少一些實(shí)現(xiàn)布置的示例圖像分割過程。
【具體實(shí)施方式】
[0004]現(xiàn)在參照附圖描述一個(gè)或幾個(gè)實(shí)施例或?qū)崿F(xiàn)。雖然論述了特定的配置和布置，但應(yīng)理解的是，這只是為了便于說明。相關(guān)領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，在不脫離描述的精神和范圍的情況下，可采用其它配置和布置。相關(guān)領(lǐng)域技術(shù)人員將明白，本文中所述技術(shù)和/或布置也可在與本文中所述不同的多種其它系統(tǒng)和應(yīng)用中采用。
[0005]雖然下面的描述陳述了可在諸如芯片上系統(tǒng)(SoC)體系結(jié)構(gòu)等體系結(jié)構(gòu)中顯露的各種實(shí)現(xiàn)，但本文中所述技術(shù)和/或布置的實(shí)現(xiàn)不限于特定體系結(jié)構(gòu)和/或計(jì)算系統(tǒng)，并且可由用于類似目的的任何體系結(jié)構(gòu)和/或計(jì)算系統(tǒng)實(shí)現(xiàn)。例如，采用例如多個(gè)集成電路(IC)芯片和/或封裝的各種體系結(jié)構(gòu)和/或諸如機(jī)頂盒、智能電話等各種計(jì)算裝置和/或消費(fèi)者電子(CE)裝置可實(shí)現(xiàn)本文中所述的技術(shù)和/或布置。此外，雖然以下描述可陳述諸如邏輯實(shí)現(xiàn)、系統(tǒng)組件的類型和相互關(guān)系、邏輯分割/集成選擇等各種特定細(xì)節(jié)，但實(shí)踐所述主題可無需此類特定細(xì)節(jié)。在其它情況下，諸如控制結(jié)構(gòu)和完全軟件指令序列等一些材料可未詳細(xì)示出以免混合本文中公開的材料。
[0006]本文中公開的材料可以硬件、固件、軟件或其任何組合的形式實(shí)現(xiàn)。本文中公開的材料也可實(shí)現(xiàn)為存儲(chǔ)在機(jī)器可讀媒體上的指令，其可由一個(gè)或多個(gè)處理器讀取和執(zhí)行。機(jī)器可讀媒體可包括用于以機(jī)器(例如，計(jì)算裝置)可讀形式存儲(chǔ)或傳送信息的任何媒體和/或機(jī)制。
[0007]例如，機(jī)器可讀媒體可包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁盤存儲(chǔ)媒體、光存儲(chǔ)媒體、閃存裝置、電氣、光、聲或其它形式傳播信號(hào)(例如，載波、紅外信號(hào)、數(shù)字信號(hào)等)及其它。
[0008]說明書中對(duì)“ 一個(gè)實(shí)現(xiàn)”、“實(shí)現(xiàn)”、“示例實(shí)現(xiàn)”等的引用指所述實(shí)施例可包括特定特征、結(jié)構(gòu)或特性，但每個(gè)實(shí)現(xiàn)可不一定包括特定特征、結(jié)構(gòu)或特性。另外，此類詞語不一定指同一實(shí)現(xiàn)。此外，在結(jié)合實(shí)某個(gè)實(shí)現(xiàn)描述某個(gè)特定特征、結(jié)構(gòu)或特性時(shí)，應(yīng)認(rèn)為結(jié)合無論本文中是否明確描述的其它實(shí)現(xiàn)來達(dá)到此類特征、結(jié)構(gòu)或特性是在本領(lǐng)域技術(shù)人員的認(rèn)知之內(nèi)。
[0009]圖1示出根據(jù)本公開內(nèi)容的示例系統(tǒng)100。在各種實(shí)現(xiàn)中，系統(tǒng)100可包括提供一個(gè)或幾個(gè)二維(2D)源圖像到無線和/或有線網(wǎng)絡(luò)(例如，因特網(wǎng))的一個(gè)或幾個(gè)攝像機(jī)102，其中，源圖像是在三維(3D)環(huán)境103中捕捉。在各種實(shí)現(xiàn)中，攝像機(jī)102可以是能夠提供數(shù)字形式的2D源圖像到網(wǎng)絡(luò)104的任何類型的攝像機(jī)。源圖像可具有任何分辨率和/或長寬比。
[0010]源圖像可經(jīng)網(wǎng)絡(luò)104提供到視覺引擎106，在該引擎中，源圖像可進(jìn)行本文中所述的攝像機(jī)定位和圖像分割過程。視覺引擎106可提供攝像機(jī)定位和圖像分割過程的結(jié)果到連網(wǎng)的數(shù)據(jù)庫108，并且3D顯示引擎110可從數(shù)據(jù)庫108訪問那些結(jié)果以便提供也要在本文中描述的3D環(huán)境模擬。在各種實(shí)現(xiàn)中，視覺引擎106可提供攝像機(jī)定位和圖像分割過程的結(jié)果到顯示引擎110而不先在數(shù)據(jù)庫108中存儲(chǔ)那些結(jié)果。此外，在各種實(shí)現(xiàn)中，視覺引擎106可與顯示引擎110相鄰，并且可直接提供攝像機(jī)定位和圖像分割過程的結(jié)果到顯示引擎110而不使用網(wǎng)絡(luò)104提供。
[0011]在各種實(shí)現(xiàn)中，在3D環(huán)境103中由攝像機(jī)102捕捉的源圖像可包括背景部分和前景部分。例如，圖2示出在3D環(huán)境103中捕捉的示例2D源圖像200。圖像200包括前景部分202 (例如，人體)和背景部分204 (例如，諸如地板、墻壁、窗戶及諸如此類等房間的各部分)。
[0012]圖3根據(jù)本公開內(nèi)容的各種實(shí)現(xiàn)，示出示例圖像定位過程300的流程圖。過程300可包括如由圖3的一個(gè)或幾個(gè)方框304、306、308、314、316和320所示的一個(gè)或幾個(gè)操作、功能或動(dòng)作，并且可確定源圖像的攝像機(jī)位姿。作為非限制性示例，本文中將參照?qǐng)D1的示例系統(tǒng)100描述過程300。在各種實(shí)現(xiàn)中，過程300可由系統(tǒng)100的視覺引擎106進(jìn)行。過程300可從方框304開始，在該方框，可接收具有未知攝像機(jī)位姿的源圖像302。例如，方框304可涉及視覺引擎106經(jīng)網(wǎng)絡(luò)104接收源圖像302。
[0013]在各種實(shí)現(xiàn)中，方框304可涉及接收諸如示例圖像200等在已知3D環(huán)境(例如，環(huán)境103)中已捕捉的源圖像。雖然在已知3D環(huán)境中捕捉，但在該3D環(huán)境中捕捉源圖像的攝像機(jī)的位姿未知。根據(jù)眾所周知的針孔攝像機(jī)模型，攝像機(jī)位姿可表述為六維量，包括方位信息，如攝像機(jī)的3D方位坐標(biāo)(例如，在笛卡爾(x，y, z)坐標(biāo)中)及姿態(tài)或定向信息，包括攝像機(jī)相對(duì)于3D環(huán)境的偏航(yaw)、俯仰(pitch)和滾轉(zhuǎn)(roll)。例如，圖4示出在3D環(huán)境103的(X，Y, Z)坐標(biāo)系統(tǒng)內(nèi)相對(duì)于示例攝像機(jī)位置400示出攝像機(jī)位姿坐標(biāo)。
[0014]3D環(huán)境(例如，環(huán)境103)包括多個(gè)2D平面結(jié)構(gòu)及其對(duì)應(yīng)目標(biāo)圖像。每個(gè)目標(biāo)圖像表示在3D背景環(huán)境中平面結(jié)構(gòu)的圖像，并且此目標(biāo)圖像的圖像特征可被提取并存儲(chǔ)在數(shù)據(jù)庫108中。在方框306，可比較源圖像視覺特征和3D環(huán)境的存儲(chǔ)的圖像特征以確定最佳匹配的目標(biāo)圖像。例如，方框306可涉及使用諸如尺度不變特征變換(SIFT)技術(shù)等熟知的計(jì)算機(jī)視覺技術(shù)從源圖像提取視覺特征(例如，參閱D.G.Lowe所著“從局部尺度不變特征進(jìn)行對(duì)象識(shí)別，，(〃0bject recognition from local scale-1nvariant features, Proc.0f the International Conference on Computer Vision, Corfu (Sept.1999)))。在各種實(shí)現(xiàn)中，視覺特征可包括圖像紋理。隨后，可比較從源圖像提取的視覺特征和諸如圖像紋理等以前從3D環(huán)境的目標(biāo)圖像提取并且存儲(chǔ)在例如數(shù)據(jù)庫108中的視覺特征(例如，對(duì)應(yīng)于如在目標(biāo)圖像中捕捉的源圖像200的背影204的各種部分)。方框306的比較可從3D環(huán)境的存儲(chǔ)的目標(biāo)圖像中識(shí)別最佳匹配目標(biāo)圖像。
[0015]在方框308，可通過比較源圖像和最佳匹配目標(biāo)圖像，確定單應(yīng)性矩陣H。在各種實(shí)現(xiàn)中，單應(yīng)性矩陣H表示非奇異3x3矩陣，該矩陣提供源圖像到與在方框306確定的最佳匹配的目標(biāo)圖像相關(guān)聯(lián)的3D環(huán)境中平面結(jié)構(gòu)的投影變換。各種熟知的技術(shù)可用于在方框308確定單應(yīng)性矩陣H (例如，參閱E.Vincent和R.Laganiere所著“檢測圖像對(duì)中的平面單應(yīng)性，，("Detecting planar homographies in an image pair, 〃 Proceedings of the2nd International Symposium on Image and Signal Processing and Analysis (2001))(下文稱為:“Vincent 和 Laganiere”)。
[0016]由于源圖像可包括多個(gè)平面，因此，方框308可涉及識(shí)別源圖像中匹配3D環(huán)境中平面結(jié)構(gòu)的主導(dǎo)平面。在各種實(shí)現(xiàn)中，方框308可包括識(shí)別在平面結(jié)構(gòu)與源圖像之間的匹配點(diǎn)。例如，在方框308，四個(gè)對(duì)應(yīng)匹配點(diǎn)可足以估計(jì)單應(yīng)性矩陣H。方框308可產(chǎn)生3D環(huán)境的匹配平面結(jié)構(gòu)310和源圖像單應(yīng)性矩陣312。
[0017]在方框314，對(duì)于平面結(jié)構(gòu)，單應(yīng)性矩陣H描述從3D點(diǎn)M到其對(duì)應(yīng)2D點(diǎn)m的透視投影關(guān)系，這可由m=HM表示，其中，H = K[R|T]，其中，K是取決于諸如焦距等攝像機(jī)的內(nèi)部參數(shù)的3x3攝像機(jī)標(biāo)定矩陣，并且[R|T]是3x4攝像機(jī)位姿參數(shù)(其中，R表示3x3旋轉(zhuǎn)矩陣，并且T是平移)。由于H和K已知，因此，在進(jìn)行M和m的幾次(n>6)已知映射測量的條件下，可通過最小二乘最小化技術(shù)估計(jì)攝像機(jī)位姿。如果測量ImJ有噪聲，則可通過最小化重投影誤差之和，或者在3D點(diǎn)的投影與其測量的2D坐標(biāo)之間的平方距離，細(xì)化攝像機(jī)位姿。隨后，可使用迭代優(yōu)化方案求解最小化。
[0018]在方框316，可應(yīng)用旋轉(zhuǎn)矩陣R和平移矩陣T到匹配平面結(jié)構(gòu)的3D坐標(biāo)以生成源圖像攝像機(jī)位姿318。隨后，過程300可在方框320結(jié)束，其中，如下面將更詳細(xì)描述的一樣，源圖像攝像機(jī)位姿可存儲(chǔ)在諸如系統(tǒng)100的數(shù)據(jù)庫108等網(wǎng)絡(luò)可訪問的數(shù)據(jù)庫中以供以后使用。如下面將進(jìn)一步解釋的一樣，源圖像攝像機(jī)位姿可在數(shù)據(jù)庫中存儲(chǔ)為與分割的源圖像相關(guān)聯(lián)的元數(shù)據(jù)。
[0019]雖然如圖3所示的示例過程300的實(shí)現(xiàn)可包括以所示順序進(jìn)行示出的所有方框，但本公開內(nèi)容在此方面并無限制，并且在各種示例中，過程300的實(shí)現(xiàn)可包括只進(jìn)行示出的所有方框的子集和/或以與所示不同的順序進(jìn)行。
[0020]圖5A、5B和5C根據(jù)本公開內(nèi)容的各種實(shí)現(xiàn)，示出示例圖像分割過程500的流程圖。過程500可包括如圖5A、5B和5C的一個(gè)或幾個(gè)方框502-548所示的一個(gè)或幾個(gè)操作、功能或動(dòng)作，并且可分割或提取源圖像的前景部分以創(chuàng)建分割的源圖像。作為非限制性示例，本文中將參照?qǐng)D1的示例系統(tǒng)100、圖2的示例源圖像200和圖3的示例過程300描述過程500。在各種實(shí)現(xiàn)中，過程500可由系統(tǒng)100的視覺引擎106進(jìn)行。
[0021]過程500可從方框502開始，在該方框，可接收多個(gè)目標(biāo)圖像(包括背景圖像部分)和相關(guān)聯(lián)單應(yīng)性矩陣。在各種實(shí)現(xiàn)中，源圖像包含來自多個(gè)目標(biāo)圖像的部分。對(duì)于在方框502收到的每個(gè)目標(biāo)圖像，可在方框504應(yīng)用對(duì)應(yīng)單應(yīng)性矩陣以使用已知技術(shù)生成投影的目標(biāo)圖像和二值投影矩陣(例如，參閱Vincent和Laganiere)。方框504可涉及使用單應(yīng)性矩陣將目標(biāo)圖像投影到源圖像的圖像平面上，以便結(jié)果投影的目標(biāo)圖像大致與源圖像對(duì)齊。在各種實(shí)現(xiàn)中，方框504可產(chǎn)生具有與源圖像類似的幾何屬性的投影的目標(biāo)圖像。例如，與投影的目標(biāo)圖像相關(guān)聯(lián)的攝像機(jī)位姿可類似于過程300生成的攝像機(jī)位姿(與源圖像相關(guān)聯(lián))。在各種實(shí)現(xiàn)中，目標(biāo)圖像和源圖像可具有相同分辨率和長寬比。在目標(biāo)圖像和源圖像可具有不同分辨率和/或長寬比的實(shí)現(xiàn)中，投影的目標(biāo)圖像具有與源圖像相同的分辨率和長寬比。
[0022]如上所述并且如圖2的示例所示，源圖像200包括前景部分202和背景部分204。雖然方框502的目標(biāo)圖像可已在與源圖像相同的3D環(huán)境103中捕捉，但目標(biāo)圖像可從與源圖像不同的角度拍攝(例如，方位和定向)，并且可包括至少一些背景部分204，而不包括在源圖像中存在的前景部分202。在各種實(shí)現(xiàn)中，在方框502收到的目標(biāo)圖像可在以前已捕捉并且與其相關(guān)聯(lián)單應(yīng)性矩陣一起存儲(chǔ)在諸如系統(tǒng)100的數(shù)據(jù)庫108等數(shù)據(jù)庫中。
[0023]在方框506，可接收源圖像(包括前景和背景部分)。在方框508，可對(duì)從方框504產(chǎn)生的投影的目標(biāo)圖像和源圖像進(jìn)行低通過濾以生成過濾的源圖像和過濾的投影的目標(biāo)圖像。在方框510，可確定在過濾的源圖像和在與每個(gè)過濾的投影的目標(biāo)圖像相關(guān)聯(lián)的投影蒙板(mask)內(nèi)每個(gè)過濾的投影的目標(biāo)圖像之間的強(qiáng)度差，以產(chǎn)生對(duì)應(yīng)的差圖(differencemap)。隨后，每個(gè)差圖可進(jìn)行閾值功能處理以生成在投影蒙板內(nèi)粗略分割的前景蒙板(方框512)。例如，在方框512可應(yīng)用對(duì)應(yīng)于50%的最大圖像強(qiáng)度的閾值功能(例如，對(duì)于8比特圖像強(qiáng)度為128的閾值)。在方框514，可從投影蒙板減除粗略分割的前景蒙板以生成與每個(gè)過濾的投影的目標(biāo)圖像相關(guān)聯(lián)的調(diào)整的投影蒙板。
[0024]雖然從方框508產(chǎn)生的過濾的投影的目標(biāo)圖像和過濾的源圖像在幾何形狀上可類似，但由于在攝像機(jī)屬性、設(shè)置、光線條件等中差別的原因，可在它們之間存在相當(dāng)大的色差。因此，在方框516，可估計(jì)在每個(gè)調(diào)整的投影蒙板內(nèi)每個(gè)過濾的投影的目標(biāo)圖像與過濾的源圖像之間的顏色映射。
[0025]現(xiàn)在參照?qǐng)D5B，過程500可在方框518通過應(yīng)用從圖5A的方框516產(chǎn)生的估計(jì)的顏色圖到對(duì)應(yīng)過濾的投影的目標(biāo)圖像以生成顏色調(diào)整的投影的目標(biāo)圖像。從方框518產(chǎn)生的顏色調(diào)整的投影的目標(biāo)圖像因而可具有與從方框508產(chǎn)生的過濾的源圖像大致類似的顏色特性。
[0026]在方框520，可確定在每個(gè)顏色調(diào)整的投影的目標(biāo)圖像與過濾的源圖像之間的強(qiáng)度差以產(chǎn)生差圖，并且可混合差圖以生成混合差圖。在非限制性示例中，可將方框520的差圖確定為在顏色調(diào)整的投影的目標(biāo)圖像與過濾的源圖像之間強(qiáng)度的絕對(duì)差。在此類實(shí)現(xiàn)中，從方框520產(chǎn)生的混合差圖可對(duì)應(yīng)于差圖像。在各種其它實(shí)現(xiàn)中，可采用不同的圖像類似性度量，如互相關(guān)、互信息、強(qiáng)度差平方和、圖像均勻性比率等。此外，在各種實(shí)現(xiàn)中，可在方框520比較所有顏色通道以提供在前景與背景顏色之間的更佳辨別。
[0027]在方框522，可應(yīng)用低強(qiáng)度閾值和高強(qiáng)度閾值(即，雙取閾值功能)到混合差圖，并且可根據(jù)高閾值結(jié)果過濾低閾值結(jié)果以生成二值前景蒙板。在各種實(shí)現(xiàn)中，可使用已知技術(shù)(例如，參閱W.Sun和S.P.Spackman所著“通過立體聲失配進(jìn)行的多對(duì)象分割”("Mult1-object segmentation by stereo mismatch, 〃 Machine Vision andApplications, Vol.7 Issue 2 (October 2009))進(jìn)行方框 522 的雙取閾。
[0028]過程500可方框524繼續(xù)，在該方框，可通過在二值前景蒙板周圍的區(qū)域中執(zhí)行過濾的源圖像和對(duì)應(yīng)顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化從方框522產(chǎn)生的二值前景蒙板?？稍诿總€(gè)投影蒙板內(nèi)的每個(gè)二值前景蒙板上單獨(dú)應(yīng)用方框524的細(xì)化。
[0029]在各種實(shí)現(xiàn)中，在方框524進(jìn)行的細(xì)化使用了前景區(qū)域往往是局部化并且良好關(guān)聯(lián)的直觀感覺，并且已知前景像素相鄰的像素也可能是前景像素。在方框524的細(xì)化可涉及分析在前景和目標(biāo)圖像兩者中已知前景像素周圍的局部區(qū)域的統(tǒng)計(jì)。局部區(qū)域中的背景像素可在其統(tǒng)計(jì)在前景與目標(biāo)圖像之間差別相當(dāng)大時(shí)添加到前景蒙板。例如，方框524的細(xì)化過程可考慮在標(biāo)記為前景的每個(gè)像素的局部窗口(例如，5x5像素)。通過使用帶有均值(μ)和標(biāo)準(zhǔn)偏差(σ )的正態(tài)分布，可為來自此窗口中每個(gè)顏色通道的像素建模。通過使用諸如最大似然估計(jì)等標(biāo)準(zhǔn)技術(shù)，可從前景和目標(biāo)圖像估計(jì)這些參數(shù)。隨后，可在對(duì)應(yīng)前景和背景像素均是分別來自這些前景和背景分布的樣本的假設(shè)下，為此局部窗口中的每個(gè)像素定義色散的兩個(gè)量度。前景和背景統(tǒng)計(jì)類似時(shí)，預(yù)期采用前景或背景分布計(jì)算的色散的量度是小量度，并且預(yù)期此條件適用于屬于背景區(qū)域的像素。對(duì)于屬于前景區(qū)域的像素，預(yù)期色散的兩個(gè)量度均是大量度。
[0030]因此，由于方框524的原因，在分別采用前景和背景分布計(jì)算的色散的兩個(gè)量度均超過某個(gè)閾值時(shí)，可將像素添加到前景蒙板。色散的量度可定義為跨顏色通道在前景與背景像素之間值的范圍的最大概率。例如，基于分別來自前景和背景的樣本像素[XK，XG, XB]和[yK，ye，yB]的色散(假設(shè)前景分布)可定義為前景分布占用跨所有顏色通道在前景與背景
像素之間值的范圍的最大概率:m-mm ? a}>fCWx,(s,MTDF認(rèn)V,?。因此，CDFxi相應(yīng)地
表示在顏色通道i中前景分布的累積分布函數(shù)。類似量度％可采用背景分布定義。在^和％均超過某個(gè)閾值時(shí)，可將像素標(biāo)記為前景。在各種實(shí)現(xiàn)中，％和％的值可在O與I的范圍之間，并且對(duì)應(yīng)閾值可以是大約0.5。
[0031]在方框524的細(xì)化可在新添加到前景蒙板的像素上重復(fù)進(jìn)行，直至達(dá)到迭代次數(shù)的最大限制，或者直至達(dá)到每迭代添加的像素?cái)?shù)量的最小限制。此外，也可在不同顏色空間中執(zhí)行方框524。例如，在源與目標(biāo)圖像之間存在相當(dāng)大的光照差的情況下，在YCbCr顏色空間中執(zhí)行細(xì)化可有利于最小化分類誤差。
[0032]在方框526，可合并從方框524產(chǎn)生的細(xì)化的二值前景蒙板以生成二值前景蒙板。例如，在方框526可使用邏輯“或”操作，組合在方框524從不同平面獲得的不同細(xì)化的二值前景蒙板。在方框528，可從過濾的源圖像減除圖層部分(floor portion)以生成圖層前景蒙板。在各種實(shí)現(xiàn)中，可在諸如YCbCr等其它顏色空間中執(zhí)行圖層減除，減除只在Cb和Cr組成空間中執(zhí)行以改進(jìn)在源與目標(biāo)圖像之間光照更改的穩(wěn)固性。在方框530，可將圖層前景蒙板和來自方框526的二值前景蒙板合并以生成單個(gè)二值前景蒙板。隨后，可在方框532對(duì)從方框530產(chǎn)生的前景蒙板進(jìn)行中值過濾以去除由處理和合并不同平面結(jié)構(gòu)形成的偽影。
[0033]現(xiàn)在參照?qǐng)D5C，過程500可在方框536繼續(xù)，在該方框，可使用級(jí)聯(lián)分類器和源圖像的強(qiáng)度通道，在二值前景蒙板中檢測矩形臉部區(qū)域。在各種實(shí)現(xiàn)中，可調(diào)諧在方框536進(jìn)行的檢測的參數(shù)以最小化錯(cuò)誤肯定概率。在方框538，可初始化檢測到的臉部區(qū)域內(nèi)的像素，使得所有前景和背景像素指派有“可能前景”或“可能背景”的初始標(biāo)簽。在方框540，可將臉部區(qū)域的內(nèi)部子集初始化為“前景”，并且將外部子集定義為“背景”。
[0034]隨后，過程500可在方框542繼續(xù)，在該方框，可執(zhí)行基于顏色的分割以細(xì)化在方框540進(jìn)行的臉部區(qū)域的標(biāo)簽指派并且生成二值臉部蒙板。在各種實(shí)現(xiàn)中，可使用諸如圖形切割或諸如此類等已知技術(shù)進(jìn)行方框542以生成臉部蒙板。
[0035]隨后，過程在方框544繼續(xù)，在該方框，可合并來自方框542的臉部蒙板和來自方框532的二值前景蒙板以產(chǎn)生單個(gè)二值前景蒙板。在各種實(shí)現(xiàn)中，可使用邏輯“或”操作合并蒙板以確保分割的圖像包含目標(biāo)圖像中任何人的臉部。
[0036]過程500可在方框546繼續(xù)，在該方框，可應(yīng)用諸如連通組成分析(例如，參閱Azriel Rosenfeld和John L.Pfaltz所著“數(shù)字圖像處理的有序操作”("SequentialOperations in Digital Picture Processing, 〃 J.ACM, vol.13, n0.4, pp.471-494，October 1966))到來自方框544的二值前景蒙板以獲得源圖像中的組成。在各種實(shí)現(xiàn)中，方框546可包括濾除和去除小組成和/或在所有組成中填充以去除空洞。此外，方框546也可包括基于人體解剖模型和不同組成相對(duì)于最大組成(可能相對(duì)于軀干)的相對(duì)位置來去除組成。隨后，過程500可在方框548結(jié)束，在該方框，可將最后的二值前景蒙板提供為過程500的輸出。例如，圖6示出使用從過程500產(chǎn)生的最后背景蒙板生成的示例分割的源圖像600。從過程500產(chǎn)生的分割的源圖像可存儲(chǔ)在諸如圖1的數(shù)據(jù)庫108等網(wǎng)絡(luò)可訪問數(shù)據(jù)庫中，并且可在該數(shù)據(jù)庫中與從過程300產(chǎn)生的攝像機(jī)位姿相關(guān)聯(lián)。
[0037]圖7根據(jù)本公開內(nèi)容的各種實(shí)現(xiàn)，示出示例3D模擬過程700的流程圖。過程700可包括如圖7的一個(gè)或幾個(gè)方框702、704、706、708和710所示的一個(gè)或幾個(gè)操作、功能或動(dòng)作，并且可產(chǎn)生包含使用過程300和500從多個(gè)2D圖像分割的共同背景部分和前景部分的環(huán)境的3D模擬。
[0038]過程700可從接收包括前景和背景部分的源圖像開始(方框702)，之后是通過比較源圖像和3D環(huán)境的圖像特征，確定攝像機(jī)位姿(方框704)。方框702和704可以本文中相對(duì)于過程300所述的方式進(jìn)行。過程700可通過使用攝像機(jī)位姿從背景部分提取前景部分，生成分割的源圖像(方框706)，之后是在連網(wǎng)的數(shù)據(jù)庫中存儲(chǔ)分割的源圖像和攝像機(jī)位姿(方框708)。方框706和708可以本文中相對(duì)于過程500所述的方式進(jìn)行。
[0039]過程700可在方框710通過使用分割的源圖像和相關(guān)聯(lián)攝像機(jī)位姿提供虛擬3D環(huán)境中前景部分的模擬而結(jié)束。例如，系統(tǒng)100的顯示引擎110可從數(shù)據(jù)庫108檢索分割的源圖像和相關(guān)聯(lián)攝像機(jī)位姿元數(shù)據(jù)。隨后，顯示引擎110可生成包括背影204的已知3D環(huán)境103的3D模型或模擬。隨后，可響應(yīng)相應(yīng)攝像機(jī)位姿元數(shù)據(jù)，在其相應(yīng)位置中渲染分割的源圖像的前景部分。因此，可生成諸如3D照片瀏覽器等可導(dǎo)航3D環(huán)境，包括諸如已實(shí)時(shí)被協(xié)作捕捉的人和對(duì)象等前景部分或元素。例如，圖8示出環(huán)境103的示例3D模擬800，包括分割的源圖像的前景部分202和從也要進(jìn)行本文中所述過程的另外源圖像提取的前景部分802和804。
[0040]雖然如圖5和7所示的示例過程500和700的實(shí)現(xiàn)可包括以所示順序進(jìn)行示出的所有方框，但本公開內(nèi)容在此方面并無限制，并且在各種示例中，過程500和700的實(shí)現(xiàn)可包括只進(jìn)行示出的所有方框的子集和/或以與所示不同的順序進(jìn)行。
[0041]另外，可響應(yīng)一個(gè)或幾個(gè)計(jì)算機(jī)程序產(chǎn)品提供的指令，進(jìn)行圖3、5和7的一個(gè)或幾個(gè)過程和/或方框。此類程序產(chǎn)品可包括提供指令的信號(hào)承載媒體，指令在由例如一個(gè)或幾個(gè)處理器核執(zhí)行時(shí)，可提供本文中所述功能性。計(jì)算機(jī)程序產(chǎn)品可能計(jì)算機(jī)可讀媒體的任何形式提供。因此，例如，響應(yīng)由計(jì)算機(jī)可讀媒體輸送到處理器的指令，包括一個(gè)或幾個(gè)處理器核的處理器可進(jìn)行圖3、5和7所示一個(gè)或幾個(gè)方框。
[0042]圖9示出根據(jù)本公開內(nèi)容的示例系統(tǒng)900。系統(tǒng)900可用于執(zhí)行本文中討論的一些或所有各種功能，并且可包括能夠進(jìn)行本文中根據(jù)本公開內(nèi)容的各種實(shí)現(xiàn)描述的過程的任何裝置或裝置的集合。例如，系統(tǒng)900可包括諸如臺(tái)式、移動(dòng)或平板計(jì)算機(jī)、智能電話、機(jī)頂盒等計(jì)算平臺(tái)或裝置的選擇的組件，但本公開內(nèi)容在此方面并無限制。在一些實(shí)現(xiàn)中，系統(tǒng)900可以是基于用于CE裝置的Intel?體系結(jié)構(gòu)(IA)的計(jì)算平臺(tái)或SoC。本領(lǐng)域技術(shù)人員將容易領(lǐng)會(huì)，在不脫離本公開內(nèi)容的范圍的情況下，能夠通過備選處理系統(tǒng)使用本文中所述的實(shí)現(xiàn)。
[0043]系統(tǒng)900包括具有一個(gè)或幾個(gè)處理器核904的處理器902。處理器核904可以是至少在一定程度上能夠執(zhí)行軟件和/或處理數(shù)據(jù)信號(hào)的任何類型的處理器邏輯。在各種示例中，處理器核904可包括CISC處理器核、RISC微處理器核、VLIM微處理器核和/或?qū)崿F(xiàn)指令集的任何組合的任何數(shù)量的處理器核或諸如數(shù)字信號(hào)處理器或微控制器等任何其它處理器裝置。
[0044]處理器902也包括可用于將例如由顯示處理器908和/或圖形處理器910收到的指令解碼成控制信號(hào)和/或微碼進(jìn)入點(diǎn)的解碼器906。雖然在系統(tǒng)900中示為與核904不同的組件，但本領(lǐng)域技術(shù)人員可認(rèn)識(shí)到，一個(gè)或多個(gè)核904可實(shí)現(xiàn)解碼器906、顯示處理器908和/或圖形處理器910。在一些實(shí)現(xiàn)中，處理器902可配置成進(jìn)行本文中所述的任何過程，包括相對(duì)于圖3、5A-5C和7所述的示例過程。此外，響應(yīng)控制信號(hào)和/或微碼進(jìn)入點(diǎn)，解碼器906、顯示處理器908和/或圖形處理器910可執(zhí)行對(duì)應(yīng)操作。
[0045]處理器核904、解碼器906、顯示處理器908和/或圖形處理器910可以通信方式和/或可操作方式通過系統(tǒng)互連916相互耦合和/或與各種其它系統(tǒng)裝置耦合，這些裝置可包括但不限于例如存儲(chǔ)器控制器914、音頻控制器918和/或外設(shè)920。外設(shè)920例如可包括統(tǒng)一串行總線(USB)主機(jī)端口、外設(shè)組件互連(PCI)快速端口、串行外設(shè)接口(SPI)接口、擴(kuò)展總線和/或其它外設(shè)。雖然圖9將存儲(chǔ)器控制器914示為通過互連916耦合到解碼器906和處理器908與910，但在各種實(shí)現(xiàn)中，存儲(chǔ)器控制器914可直接耦合到解碼器906、顯示處理器908和/或圖形處理器910。
[0046]在一些實(shí)現(xiàn)中，系統(tǒng)900可經(jīng)I/O總線(也未示出)與未示出的各種I/O裝置進(jìn)行通信。此類I/o裝置可包括但不限于例如通用異步接收器/傳送器(UART)裝置、USB裝置、I/O擴(kuò)展接口或其它I/O裝置。在各種實(shí)現(xiàn)中，系統(tǒng)900可表示用于進(jìn)行移動(dòng)、網(wǎng)絡(luò)和/或無線通信的系統(tǒng)的至少一些部分。
[0047]系統(tǒng)900可還包括存儲(chǔ)器912。存儲(chǔ)器912可以是諸如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)裝置、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)裝置、閃存存儲(chǔ)器裝置或其它存儲(chǔ)器裝置等一個(gè)或幾個(gè)離散存儲(chǔ)器組件。雖然圖9將存儲(chǔ)器912示為在處理器902的外部，但在各種實(shí)現(xiàn)中，存儲(chǔ)器912可以在處理器902的內(nèi)部。存儲(chǔ)器912可存儲(chǔ)由數(shù)據(jù)信號(hào)表示的指令和/或數(shù)據(jù)，數(shù)據(jù)信號(hào)可由處理器902執(zhí)行以進(jìn)行本文中所述的任何過程，包括相對(duì)于圖3、5A-5C和7所述的示例過程。在一些實(shí)現(xiàn)中，存儲(chǔ)器912可包括系統(tǒng)存儲(chǔ)器部分和顯示存儲(chǔ)器部分。
[0048]圖10根據(jù)本公開內(nèi)容的各種實(shí)現(xiàn)，示出示例圖像分割過程1000的流程圖。過程1000可包括如圖10的一個(gè)或幾個(gè)方框1002-1022所示的一個(gè)或幾個(gè)操作、功能或動(dòng)作。過程1000的各種方框?qū)⒃诒疚闹袇⒄請(qǐng)D5A、5B和5C的過程500進(jìn)行描述。
[0049]過程1000可從方框1002開始，在該方框，可如上參照過程500的方框502和504所述，應(yīng)用單應(yīng)性矩陣到目標(biāo)圖像。在方框1004，可如上相對(duì)于過程500的方框506和508所述，執(zhí)行源圖像和投影的目標(biāo)圖像的低通過濾。在方式1006，可如上參照過程500的方框510、512和514所述，調(diào)整投影蒙板。在方框1008，可如上參照過程500的方框516和518所述，執(zhí)行顏色映射。在方框1010，可如上參照過程500的方框520所述，執(zhí)行圖像差分化。
[0050]過程1000可在方框1012繼續(xù)，在該方框，可如上參照過程500的方框522所述，執(zhí)行雙取閾，之后是如上參照過程500的方框524和526所述，執(zhí)行顏色統(tǒng)計(jì)分析(方框1014)。在方框1016，可如上參照過程500的方框528和530所述，執(zhí)行圖層減除。在方框1018，可如上參照過程500的方框532所述，去除邊界偽影。
[0051]過程1000可在方框1020繼續(xù)，在該方框，可如上參照過程500的方框536、538、540、542和544所述，執(zhí)行臉部區(qū)域分割細(xì)化。過程1000可在方框1022結(jié)束，在該方框，可如上參照過程500的方框546所述，執(zhí)行連通組成分析。
[0052]上述系統(tǒng)和如本文中所述由它們執(zhí)行的處理可在硬件、固件或軟件或其任何組合中實(shí)現(xiàn)。另外，本文中公開的任何一個(gè)或幾個(gè)特征可在硬件、軟件、固件和其組合中實(shí)現(xiàn)，包括離散和集成電路邏輯、專用集成電路(ASIC)邏輯和微控制器，并且可實(shí)現(xiàn)為域特定的集成電路封裝的一部分或集成電路封裝的組合。在本文使用時(shí)，術(shù)語軟件指計(jì)算機(jī)程序產(chǎn)品，包括其中存儲(chǔ)有計(jì)算機(jī)程序邏輯以促使計(jì)算機(jī)系統(tǒng)執(zhí)行本文中公開的一個(gè)或幾個(gè)特征和/或特征的組合的計(jì)算機(jī)可讀媒體。
[0053]雖然本文中陳述的某些特征已參照各種實(shí)現(xiàn)進(jìn)行了描述，但描述并無限制意義。因此，本公開內(nèi)容有關(guān)領(lǐng)域的技術(shù)人員明白本文中所述實(shí)現(xiàn)例的各種修改及其它實(shí)現(xiàn)，這些均應(yīng)視為在本公開內(nèi)容的精神和范圍內(nèi)。
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 接收源圖像，所述源圖像包括前景部分和背景部分，其中所述背景部分包括三維(3D)環(huán)境的圖像內(nèi)容； 通過比較所述源圖像和所述3D環(huán)境的多個(gè)目標(biāo)圖像，確定所述源圖像的攝像機(jī)位姿； 通過響應(yīng)所述攝像機(jī)位姿將所述前景部分和所述背景部分分割，生成分割的源圖像；以及 在連網(wǎng)的數(shù)據(jù)庫中存儲(chǔ)所述分割的源圖像和所述攝像機(jī)位姿。
2.如權(quán)利要求1所述的方法，其中確定所述攝像機(jī)位姿包括: 從所述源圖像提取至少一個(gè)源圖像視覺特征； 通過比較所述至少一個(gè)源圖像視覺特征和所述多個(gè)目標(biāo)圖像，確定最佳匹配目標(biāo)圖像；以及 將所述源圖像投影到與所述最佳匹配目標(biāo)圖像相關(guān)聯(lián)的所述3D環(huán)境中的平面結(jié)構(gòu)上，所述平面結(jié)構(gòu)在所述3D環(huán)境中具有3D坐標(biāo)。
3.如權(quán)利要求2所述的方法，其中將所述源圖像投影到所述平面結(jié)構(gòu)上包括: 確定單應(yīng)性矩陣； 使用所述單應(yīng)性矩陣、內(nèi)在攝像機(jī)標(biāo)定矩陣和最小二乘重投影誤差最小化技術(shù)求解旋轉(zhuǎn)矩陣和平移矩陣；以及 應(yīng)用所述旋轉(zhuǎn)矩陣和所述平移矩陣到所述平面結(jié)構(gòu)的所述3D坐標(biāo)。
4.如權(quán)利要求1所述的方法，其中將所述前景部分分割包括: 對(duì)于每個(gè)目標(biāo)圖像，應(yīng)用單應(yīng)性矩陣到所述目標(biāo)圖像以生成投影蒙板和投影的目標(biāo)圖像，所述投影蒙板指示所述源圖像內(nèi)所述目標(biāo)圖像的至少一些所述背景部分； 根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整； 通過比較所述顏色調(diào)整的投影的目標(biāo)圖像和所述源圖像，生成多個(gè)差圖；以及 合并所述差圖以生成混合差圖。
5.如權(quán)利要求4所述的方法，還包括: 應(yīng)用雙取閾到所述混合差圖以生成多個(gè)第一二值前景蒙板；以及通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化每個(gè)第一二值前景蒙板。
6.如權(quán)利要求5所述的方法，其中通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化所述二值前景蒙板包括: 在至少一個(gè)本地窗口中按顏色通道分析所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)；以及 在所述本地窗口中在每個(gè)像素指定至少兩個(gè)色散量度；以及 在兩個(gè)色散量度大于指定閾值時(shí)，添加像素到每個(gè)第一前景蒙板。
7.如權(quán)利要求5所述的方法，還包括: 從所述過濾的源圖像減除圖層部分以產(chǎn)生圖層蒙板； 混合所述多個(gè)第一細(xì)化前景蒙板和所述圖層蒙板以產(chǎn)生第二二值前景蒙板；以及 應(yīng)用中值過濾器到所述第二二值前景蒙板。
8.如權(quán)利要求7所述的方法，還包括:檢測在所述第二二值前景蒙板中的臉部區(qū)域以生成臉部蒙板； 混合所述臉部蒙板和所述第二二值前景蒙板以生成第三二值前景蒙板；以及 應(yīng)用連通組成分析到所述第三二值前景蒙板。
9.如權(quán)利要求4所述的方法，其中根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整包括: 通過比較每個(gè)投影的目標(biāo)圖像和所述源圖像，生成差圖； 應(yīng)用固定閾值到所述差圖以生成粗略分割的前景蒙板； 從所述投影蒙板減除所述粗略分割的前景蒙板以生成調(diào)整的投影蒙板； 在所述調(diào)整的投影蒙板內(nèi)，估計(jì)從所述投影的目標(biāo)圖像到所述源圖像的顏色映射；以及 在所述原投影蒙板內(nèi)應(yīng)用所述顏色映射到所述投影的目標(biāo)圖像以生成所述顏色調(diào)整的投影的目標(biāo)圖像。
10.如權(quán)利要求1所述的方法，還包括: 使用所述攝像機(jī)位姿和分割的源圖像以在虛擬3D環(huán)境中提供所述前景部分的模擬。
11.一種系統(tǒng),包括: 處理器和耦合到所述處理器的存儲(chǔ)器，其中所述存儲(chǔ)器中的指令配置所述處理器執(zhí)行以下操作: 接收源圖像，所述源圖像包括前景部分和背景部分，其中所述背景部分包括三維(3D)環(huán)境的圖像內(nèi)容； 通過比較所述源圖像和所述3D環(huán)境的多個(gè)目標(biāo)圖像，確定所述源圖像的攝像機(jī)位姿； 通過響應(yīng)所述攝像機(jī)位姿將所述前景部分和所述背景部分分割，生成分割的源圖像；以及 在連網(wǎng)的數(shù)據(jù)庫中存儲(chǔ)所述分割的源圖像和所述攝像機(jī)位姿。
12.如權(quán)利要求11所述的系統(tǒng)，其中配置所述處理器確定所述攝像機(jī)位姿的指令包括配置所述處理器執(zhí)行以下操作的指令: 從所述源圖像提取至少一個(gè)源圖像視覺特征； 通過比較所述至少一個(gè)源圖像視覺特征和所述多個(gè)目標(biāo)圖像，確定最佳匹配目標(biāo)圖像；以及 將所述源圖像投影到與所述最佳匹配目標(biāo)圖像相關(guān)聯(lián)的所述3D環(huán)境中的平面結(jié)構(gòu)上，所述平面結(jié)構(gòu)在所述3D環(huán)境中具有3D坐標(biāo)。
13.如權(quán)利要求12所述的系統(tǒng)，其中配置所述處理器將所述源圖像投影到所述平面結(jié)構(gòu)上的指令包括配置所述處理器執(zhí)行以下操作的指令: 確定單應(yīng)性矩陣； 使用所述單應(yīng)性矩陣、內(nèi)在攝像機(jī)標(biāo)定矩陣和最小二乘重投影誤差最小化技術(shù)求解旋轉(zhuǎn)矩陣和平移矩陣；以及 應(yīng)用所述旋轉(zhuǎn)矩陣和所述平移矩陣到所述平面結(jié)構(gòu)的所述3D坐標(biāo)。
14.如權(quán)利要求11所述的系統(tǒng)，其中配置所述處理器將所述前景部分分割的指令包括配置所述處理器執(zhí)行以下操作的指令: 對(duì)于每個(gè)目標(biāo)圖像，應(yīng)用單應(yīng)性矩陣到所述目標(biāo)圖像以生成投影蒙板和投影的目標(biāo)圖像，所述投影蒙板指示所述源圖像內(nèi)所述目標(biāo)圖像的至少一些所述背景部分； 根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整； 通過比較所述顏色調(diào)整的投影的目標(biāo)圖像和所述源圖像，生成多個(gè)差圖；以及 合并所述差圖以生成混合差圖。
15.如權(quán)利要求14所述的系統(tǒng)，還包括配置所述處理器執(zhí)行以下操作的指令: 應(yīng)用雙取閾到所述混合差圖以生成多個(gè)第一二值前景蒙板；以及 通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化每個(gè)第一二值前景蒙板。
16.如權(quán)利要求15所述的系統(tǒng)，其中配置所述處理器通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化所述二值前景蒙板的指令包括配置所述處理器執(zhí)行以下操作的指令: 在至少一個(gè)本地窗口中按顏色通道分析所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)；以及 在所述本地窗口中在每個(gè)像素指定至少兩個(gè)色散量度；以及 在兩個(gè)色散量度大于指定閾值時(shí)，添加像素到每個(gè)第一前景蒙板。
17.如權(quán)利要求15所述的系統(tǒng)，還包括配置所述處理器執(zhí)行以下操作的指令: 從所述過濾的源圖像減除圖層部分以產(chǎn)生圖層蒙板； 混合所述多個(gè)第一細(xì)化前景蒙板和所述圖層蒙板以產(chǎn)生第二二值前景蒙板；以及 應(yīng)用中值過濾器到所述第二 二值前景蒙板。
18.如權(quán)利要求17所述的系統(tǒng)，還包括配置所述處理器執(zhí)行以下操作的指令: 檢測在所述第二二值前景蒙板中的臉部區(qū)域以生成臉部蒙板； 混合所述臉部蒙板和所述第二二值前景蒙板以生成第三二值前景蒙板；以及 應(yīng)用連通組成分析到所述第三二值前景蒙板。
19.如權(quán)利要求14所述的系統(tǒng)，其中配置所述處理器根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整的指令包括配置所述處理器執(zhí)行以下操作的指令: 通過比較每個(gè)投影的目標(biāo)圖像和所述源圖像，生成差圖； 應(yīng)用固定閾值到所述差圖以生成粗略分割的前景蒙板； 從所述投影蒙板減除所述粗略分割的前景蒙板以生成調(diào)整的投影蒙板； 在所述調(diào)整的投影蒙板內(nèi)，估計(jì)從所述投影的目標(biāo)圖像到所述源圖像的顏色映射；以及 在所述原投影蒙板內(nèi)應(yīng)用所述顏色映射到所述投影的目標(biāo)圖像以生成所述顏色調(diào)整的投影的目標(biāo)圖像。
20.如權(quán)利要求11所述的系統(tǒng)，還包括配置所述處理器執(zhí)行以下操作的指令: 使用所述攝像機(jī)位姿和分割的源圖像以在虛擬3D環(huán)境中提供所述前景部分的模擬。
21.一種包括其中存儲(chǔ)有指令的計(jì)算機(jī)程序產(chǎn)品的制品，所述指令如果被執(zhí)行，則弓丨發(fā)以下操作: 接收源圖像，所述源圖像包括前景部分和背景部分，其中所述背景部分包括三維(3D)環(huán)境的圖像內(nèi)容； 通過比較所述源圖像和所述3D環(huán)境的多個(gè)目標(biāo)圖像，確定所述源圖像的攝像機(jī)位姿；通過響應(yīng)所述攝像機(jī)位姿將所述前景部分和所述背景部分分割，生成分割的源圖像；以及 在連網(wǎng)的數(shù)據(jù)庫中存儲(chǔ)所述分割的源圖像和所述攝像機(jī)位姿。
22.如權(quán)利要求21所述的制品，其中引發(fā)確定所述攝像機(jī)位姿的所述指令包括如果被執(zhí)行，則引發(fā)以下操作的指令: 從所述源圖像提取至少一個(gè)源圖像視覺特征； 通過比較所述至少一個(gè)源圖像視覺特征和所述多個(gè)目標(biāo)圖像，確定最佳匹配目標(biāo)圖像；以及 將所述源圖像投影到與所述最佳匹配目標(biāo)圖像相關(guān)聯(lián)的所述3D環(huán)境中的平面結(jié)構(gòu)上，所述平面結(jié)構(gòu)在所述3D環(huán)境中具有3D坐標(biāo)。
23.如權(quán)利要求22所述的制品，其中引發(fā)將所述源圖像投影到所述平面結(jié)構(gòu)上的所述指令包括如果被執(zhí)行，則引發(fā)以下操作的指令: 確定單應(yīng)性矩陣； 使用所述單應(yīng)性矩陣、內(nèi)在攝像機(jī)標(biāo)定矩陣和最小二乘重投影誤差最小化技術(shù)求解旋轉(zhuǎn)矩陣和平移矩陣；以及 應(yīng)用所述旋轉(zhuǎn)矩陣和所述平移矩陣到所述平面結(jié)構(gòu)的所述3D坐標(biāo)。
24.如權(quán)利要求21所述的制品，其中引發(fā)將所述前景部分分割的所述指令包括如果被執(zhí)行，則引發(fā)以下操作的指令: 對(duì)于每個(gè)目標(biāo)圖像，應(yīng)用單應(yīng)性矩陣到所述目標(biāo)圖像以生成投影蒙板和投影的目標(biāo)圖像，所述投影蒙板指示所述源圖像內(nèi)所述目標(biāo)圖像的至少一些所述背景部分； 根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整； 通過比較所述顏色調(diào)整的投影的目標(biāo)圖像和所述源圖像，生成多個(gè)差圖；以及 合并所述差圖以生成混合差圖。
25.如權(quán)利要求24所述的制品，還包括如果被執(zhí)行，則引發(fā)以下操作的指令: 應(yīng)用雙取閾到所述混合差圖以生成多個(gè)第一二值前景蒙板；以及 通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化每個(gè)第一二值前景蒙板。
26.如權(quán)利要求25所述的制品，其中引發(fā)通過執(zhí)行所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)分析，細(xì)化所述二值前景蒙板的所述指令包括如果被執(zhí)行，則引發(fā)以下操作的指令: 在至少一個(gè)本地窗口中按顏色通道分析所述源圖像和所述顏色調(diào)整的投影的目標(biāo)圖像的統(tǒng)計(jì)；以及 在所述本地窗口中在每個(gè)像素指定至少兩個(gè)色散量度；以及 在兩個(gè)色散量度大于指定閾值時(shí)，添加像素到每個(gè)第一前景蒙板。
27.如權(quán)利要求25所述的制品，還包括如果被執(zhí)行，則引發(fā)以下操作的指令: 從所述過濾的源圖像減除圖層部分以產(chǎn)生圖層蒙板； 混合所述多個(gè)第一細(xì)化前景蒙板和所述圖層蒙板以產(chǎn)生第二二值前景蒙板；以及 應(yīng)用中值過濾器到所述第二二值前景蒙板。
28.如權(quán)利要求27所述的制品，還包括如果被執(zhí)行，則引發(fā)以下操作的指令:檢測在所述第二二值前景蒙板中的臉部區(qū)域以生成臉部蒙板； 混合所述臉部蒙板和所述第二二值前景蒙板以生成第三二值前景蒙板；以及 應(yīng)用連通組成分析到所述第三二值前景蒙板。
29.如權(quán)利要求24所述的制品，其中引發(fā)根據(jù)所述源圖像對(duì)每個(gè)投影的目標(biāo)圖像進(jìn)行顏色調(diào)整的所述指令包括如果被執(zhí)行，則引發(fā)以下操作的指令: 通過比較每個(gè)投影的目標(biāo)圖像和所述源圖像，生成差圖； 應(yīng)用固定閾值到所述差圖以生成粗略分割的前景蒙板； 從所述投影蒙板減除所述粗略分割的前景蒙板以生成調(diào)整的投影蒙板； 在所述調(diào)整的投影蒙板內(nèi)，估計(jì)從所述投影的目標(biāo)圖像到所述源圖像的顏色映射；以及 在所述原投影蒙板內(nèi)應(yīng)用所述顏色映射到所述投影的目標(biāo)圖像以生成所述顏色調(diào)整的投影的目標(biāo)圖像。
30.如權(quán)利要求21所述的制品，還包括如果被執(zhí)行，則引發(fā)以下操作的指令: 使用所述攝像機(jī)位姿和分割的源`圖像以在虛擬3D環(huán)境中提供所述前景部分的模擬。
【文檔編號(hào)】H04N13/00GK103765880SQ201180073424
【公開日】2014年4月30日 申請(qǐng)日期:2011年9月12日 優(yōu)先權(quán)日:2011年9月12日
【發(fā)明者】J.拉特克里夫, Y.吳, M.E.喬巴斯, Y.加特, W.V.孫, K.塞沙德里納塔恩, I.V.科辛特塞夫 申請(qǐng)人:英特爾公司