專利名稱：：實(shí)況視頻中的背景移除的制作方法實(shí)況視頻中的背景移除背景層提取一直以來是計(jì)算機(jī)視覺領(lǐng)域中的研究課題。最近的研究工作顯示前景層可從例如電話會(huì)議的情形中的雙目立體視頻中被精確而高效地提出(即，接近實(shí)時(shí))。在一個(gè)應(yīng)用中，這種前景層提取被用來執(zhí)行高質(zhì)量實(shí)況背景替換。雙目方法的成功源自多提示信息(即，立體、顏色和對比差提示信息)的概率融合。然而，在大多數(shù)現(xiàn)實(shí)的視覺通信情形下，例如電話會(huì)議或即時(shí)消息通信，大多數(shù)用戶只有單個(gè)web攝像頭在工作。所需要的是，使用這種單個(gè)web攝像頭的有質(zhì)量的前景層提取。對于一個(gè)典型的場景(例如，具有非靜態(tài)"移動(dòng)"背景)，自動(dòng)前景層提取在本領(lǐng)域的當(dāng)前狀況下仍然是一個(gè)巨大挑戰(zhàn)。但是，在一種特殊的情況下，即背景是已知并固定的情況下，從單個(gè)攝像頭中獲得高質(zhì)量、實(shí)時(shí)的前景提取(或背景移除)是有用的。為了解決這個(gè)問題，最有效的方法是背景減除。背景減除將前景對象檢測為當(dāng)前圖像與一個(gè)預(yù)先存在、已知的背景圖像的差。然而，這種背景減除仍然存在復(fù)雜的問題首先，背景減除中的閾值對于噪聲和背景照明變化是很敏感的。一個(gè)較大的閾值檢測到較少的前景像素，反之亦然。第二，前景顏色和背景顏色會(huì)碰巧非常相似，導(dǎo)致檢測的前景對象中存在洞。已提出更復(fù)雜的技術(shù)來克服這些問題。但是結(jié)果仍然是容易出錯(cuò)并且不能夠足夠準(zhǔn)確以進(jìn)行高質(zhì)量實(shí)況前景提取。最近的交互圖像和視頻分割技術(shù)顯示出基于顏色/對比差的模型的有力效果。基于顏色/對比差的模型考慮對手動(dòng)獲得的前景/背景顏色模型的顏色相似度和沿分割邊界的對比差(或邊緣)強(qiáng)度兩者。最終前景層通過采用最小割算法被全局地確定。但是即使釆用顏色和對比差提示信息的背景減除方法仍然不足以進(jìn)行正確的前景提取。一個(gè)直接的改進(jìn)是結(jié)合以上兩個(gè)技術(shù)一從背景減除中構(gòu)建前景和背景顏色模型，然后運(yùn)用以上基于顏色/對比差的模型。由于背景圖形是已知和固定的，所以背景顏色模型可以被建模成全局顏色模型與更精確的單像素顏色模型的混合。這個(gè)組合可產(chǎn)生更精確的分割結(jié)果，并在此處被稱為(常規(guī)的)"基本模型"。然而，基本模型中仍然存在問題。由于基本模型同時(shí)考慮顏色和對比差兩者，所以最終的分割邊界在有雜斑的背景中不可避免地會(huì)吸引或牽引到高對比差邊緣。盡管這種差錯(cuò)在邊界周圍是小的或者僅在部分幀中發(fā)生，但是由該差錯(cuò)引起的正在播放的視頻中的閃爍偽影在最終的合成視頻中會(huì)是非常使人分心且不舒服的。概述示例性系統(tǒng)和方法在視頻序列中將前景從背景圖像中分割出來。在一個(gè)實(shí)現(xiàn)中，系統(tǒng)在保持分割邊界自身的對比差的同時(shí)通過衰減背景對比差來提煉前景和背景圖像之間的分割邊界，實(shí)時(shí)提供了對實(shí)況視頻的精確背景切割。然后，替換背景可以與在實(shí)況視頻中分割出的前景合并。該系統(tǒng)可應(yīng)用一個(gè)自適應(yīng)的背景顏色混合模型以便在諸如攝像機(jī)運(yùn)動(dòng)、照明變化以及背景中的小對象的移動(dòng)等各種背景變化的情況下改進(jìn)前景從背景中的分割。提供本概述以便以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非意在確定所請求保護(hù)的主題的關(guān)鍵特征或重要特征，也并非意在用來幫助確定所請求保護(hù)的主題的范圍。附圖簡述圖1是在實(shí)況視頻中執(zhí)行背景移除的示例性系統(tǒng)的圖示。圖2是示例性視頻層提取引擎的框圖。圖3是示例性背景衰減和背景替換的圖示。圖4是示例性背景移除對比常規(guī)的背景移除的圖示。圖5是一視頻幀中的像素對與該視頻幀的已知背景中的對應(yīng)像素對的對比差屬性的示例性比較的圖示。圖6是基于對比差圖中經(jīng)衰減的背景的示例性改進(jìn)的分割結(jié)果的圖示。圖7是使用不同的背景對比差衰減參數(shù)值產(chǎn)生的示例性對比差圖的圖示。圖8是基于經(jīng)衰減的背景對比差來提煉分割邊界的示例性方法的流程圖。圖9是比較視頻幀和已知背景之間的像素對以便通過衰減背景中的對比差來提煉分割邊界的示例性方法的流程圖。圖10是使用自適應(yīng)的背景顏色混合模型來維持視頻序列中的背景的示例性方法的流程圖。詳細(xì)描述概要本公開描述在實(shí)況視頻中將前景從背景中自動(dòng)分離。示例性系統(tǒng)和方法比常規(guī)技術(shù)具有更高的背景切割精度。一個(gè)示例性系統(tǒng)將前景和背景視覺層與實(shí)況視頻的高質(zhì)量、實(shí)時(shí)的分離。然后，在一個(gè)典型的應(yīng)用中，前景通過背景替換可放置于不同的背景布景中。在一個(gè)實(shí)現(xiàn)中，該示例性系統(tǒng)應(yīng)用一個(gè)有時(shí)在此處被稱為"背景切割"的層提取方法。在一個(gè)帶有移動(dòng)的前景對象和固定背景的視頻序列中，背景切割方法采用示例性背景對比差衰減方法來大大減少因背景雜斑中的高對比差邊緣引起的分割錯(cuò)誤。由此，示例性背景切割方法結(jié)合背景減除、顏色提示信息和對比差提示信息來精確而有效地提取前景層。在該示例性背景切割方法中，背景減除不僅基于圖像顏色，而且還基于在背景中被衰減的圖像對比差以更精確地確定分割邊界。重要的是，背景對比差衰減僅引入自適應(yīng)地衰減背景中的對比差,而同時(shí)保持了存在于前景/背景邊界上的對比差。示例性背景對比差衰減利用在大多數(shù)情況下背景中的那種對比差(或更準(zhǔn)確地說，顏色圖像梯度)與存在于前景/背景邊界上的那種對比差是不相似的事實(shí)。因此，使用示例性背景切割，由背景雜斑引起的層提取錯(cuò)誤可大大減少。示例性系統(tǒng)對實(shí)時(shí)應(yīng)用中發(fā)生的各種背景偽影和變化也是魯棒的。另外，本公開描述支持精確和有效的背景切割方法的背景維持的示例性方法。在各種實(shí)現(xiàn)中，全局和單像素背景顏色的自適應(yīng)混合模型改進(jìn)了示例性系統(tǒng)和方法在視頻經(jīng)受各種背景變化時(shí)的魯棒性。在一個(gè)實(shí)現(xiàn)中，示例性系統(tǒng)的目標(biāo)是使用單個(gè)web攝像頭實(shí)現(xiàn)高質(zhì)量前景層提取。因此，該示例性系統(tǒng)的一個(gè)實(shí)現(xiàn)解決了雖然有些受限但普遍有用的現(xiàn)實(shí)問題當(dāng)存在已知、固定的背景時(shí)從單個(gè)攝像頭中高質(zhì)量、實(shí)時(shí)地提取前景(或背景移除)。示例性環(huán)境圖1示出示例性系統(tǒng)在其中將前景視頻對象或?qū)?02從背景層104中自動(dòng)分離的計(jì)算環(huán)境100。計(jì)算設(shè)備106與顯示器108相連并且主宿一個(gè)示例性視頻層提取引擎110。通過將自適應(yīng)背景對比差衰減作為示例性層提取的一部分來執(zhí)行，視頻層提取引擎110精確地、實(shí)時(shí)地將前景層102從背景層104中分割出來。然后，可選擇地，在一個(gè)實(shí)現(xiàn)中，視頻層提取引擎110用新的背景層112替換原始背景層104。基本模型盡管以下將進(jìn)一步描述的示例性引擎擁有上述"基本模型"所不包括的組件和功能，但是基本模型為示例性引擎提供基本的視頻層提取框架。即，在一個(gè)實(shí)現(xiàn)中，視頻層提取引擎110構(gòu)建在基本模型中所使用的概念之上。因此，現(xiàn)在將描述基本模型，以作為以下進(jìn)一步描述示例性引擎的基礎(chǔ)。在一個(gè)實(shí)現(xiàn)中，令戶為已知背景圖像且/為當(dāng)前時(shí)間步處的將要被處理的圖像。/，和A分別是像素r在戶和/中的顏色值。令F為/中所有像素的集合，S為/中所有相鄰像素對(4個(gè)相鄰點(diǎn)或8個(gè)相鄰點(diǎn))的集合。前景/背景分割可作為一個(gè)雙值標(biāo)記問題被提出一為每個(gè)像素rEK分配唯一標(biāo)簽^，即，^e{前景(=1),背景(=0)}。標(biāo)記變量1=(xj可通過最小化等式(1)的Gibbs能量五CY)來獲得網(wǎng)J^(AV)"J](1)r印其中A(;c,)是顏色項(xiàng)，對像素r的標(biāo)簽是x,時(shí)的成本進(jìn)行編碼；￡2,1,)是對比差項(xiàng)，表示相鄰節(jié)點(diǎn)r和s的標(biāo)簽分別是x,和&時(shí)的成本。參數(shù);i平衡兩個(gè)項(xiàng)的影響?；灸Ｐ偷念伾?xiàng)為了對每個(gè)像素r是屬于前景還是背景的可能性進(jìn)行建模，從樣本中學(xué)習(xí)得到前景顏色模型;(/Jx=l)和背景顏色模型p(/,|X=0)。兩個(gè)模型均由空間全局高斯混合模型(GMM)表示。全局背景顏色模型P(/,lx=O)可直接從已知背景圖像戶中學(xué)習(xí)得到，如等式(2)所示P("x=0)=|>〖K),(2)其中MO是高斯分布，且(vit/4,g)表示背景GMM的第k個(gè)分量的權(quán)重、顏色均值以及協(xié)方差矩陣。對于背景，《的典型值是15。對于固定背景，還可使用單像素單個(gè)同位素高斯分布7^(/,)對背景顏色更精確地建模，如等式(3)所示威)=(3)其中^^z/，且^-^/。單像素方差^可從背景初始化階段學(xué)習(xí)得到。單像素顏色模型比全局顏色模型更準(zhǔn)確，但對噪聲、照明變化以及背景的微小移動(dòng)敏感。全局背景顏色模型準(zhǔn)確度相對不高，但更魯棒。因此，改進(jìn)的方法是混合兩個(gè)模型，如等式(4)所示=".Ix=0)+(1-(4)其中a是全局和單像素背景顏色模型的混合因子。全局背景顏色模型從背景減除中學(xué)習(xí)得到。有了單像素背景顏色模型，示例性系統(tǒng)可將具有非常低的背景可能性的像素標(biāo)記為"絕對前景"。令B、F、U分別表示"絕對背景"、"絕對前景"和"不確定區(qū)域"，產(chǎn)生等式(5):,咸)巧(5)Lt/其它，其中&和/是兩個(gè)閾值。接著，全局前景顏色模型/7(/^=1)從尸中的像素中學(xué)習(xí)得到。為了加強(qiáng)時(shí)間相關(guān)性，系統(tǒng)還從^和前一時(shí)間步處的幀中被標(biāo)記的前景區(qū)域(分割后)的交集中對像素采樣。因?yàn)榍熬邦伾ǔ１缺尘邦伾唵?，所以，對于前景，分量?shù)《被設(shè)置為5，。最后，如等式(6)定義顏色項(xiàng):<table>tableseeoriginaldocumentpage31</column></row><table>基本模型的對比差項(xiàng)對于兩個(gè)相鄰像素r和s，如等式(7)定義它們之間的對比差項(xiàng)五2(^,x,)定義<table>tableseeoriginaldocumentpage31</column></row><table>其中《=|/,-/』2是顏色差的丄2范數(shù)，此處被稱為"對比差"。"是魯棒參數(shù)，它對顏色對比差加權(quán)并且可被設(shè)置成"=(2〈||/,-、其中G是期望算子。因子K-X,I允許該項(xiàng)僅沿分割邊界捕捉對比差信息。換言之，對比差項(xiàng)&是當(dāng)相鄰像素被賦予不同標(biāo)簽時(shí)的懲罰項(xiàng)。兩個(gè)相鄰像素的顏色越相似，對比差項(xiàng)五2越大，因此邊緣越不可能位于前景對象的邊界上。為了最小化等式(1)中的能量風(fēng)"，可使用一個(gè)最小割算法的實(shí)現(xiàn)。示例性引擎圖2更具體地示出圖1的示例性視頻層提取引擎110。示例性引擎110不但可根據(jù)以上展示的基本模型來執(zhí)行，而且還擁有那些基本模型以外的組件和功能。示例性視頻層提取引擎110所示出的配置僅僅是一個(gè)實(shí)現(xiàn)，并且意在僅提供一個(gè)示例布局以供總覽。在本主題的范圍之內(nèi)可能存在示出的組件或類似組件的許多其它安排。這種示例性引擎110可以用硬件、軟件或硬件、軟件、固件等組合來執(zhí)行。在一個(gè)示出的配置中，示例性視頻層提取引擎110包括前景層提取器202、自適應(yīng)背景維持引擎204和背景替換引擎206。前景層提取器202還包括分割引擎208，該分割引擎為了分離前景和背景例如通過用不同于背景像素的值標(biāo)記前景像素以將前景從背景中區(qū)分出來的。前景層提取器202還包括跟蹤底層固定或"靜態(tài)"背景層的背景圖像管理器210。這幫助確定圖像的哪些像素鑒于建立前景的邊界確定可按默認(rèn)方式標(biāo)記為背景。前景層提取器202還包括描繪出圖像的前景區(qū)和圖像的背景區(qū)之間的11邊界的邊界確定引擎212。邊界確定引擎212還包括將前景顏色建模到前景調(diào)色板215中并將背景顏色建模到背景調(diào)色板216中的顏色評估器214。接著，顏色評估器214可基于前景像素和背景像素的顏色屬性將前景像素從背景像素中區(qū)分出來，由此提供一種用于確定前景和背景之間的邊界的提示信息。邊界確定引擎212還包括還基于前景像素和背景像素的對比差屬性(即，它們的顏色圖像梯度)將前景像素(或像素對)從背景像素中區(qū)分出來的對比差評估器218。對比差評估器218主要通過在不干擾邊界對比差的前提下衰減背景對比差來提供用于確定前景和背景之間的邊界的對比差提示信息。因此，背景對比差衰減器220減小被確定為位于背景中、構(gòu)成強(qiáng)視覺邊緣的像素對上的對比差，而邊界保持區(qū)分器222維持組成前景和背景之間的視覺界線(邊緣)的像素對上的對比差。如果像素對被確定為位于背景中，則這可以通過使用一個(gè)大的衰減參數(shù)值來實(shí)現(xiàn)；如果像素被確定為位于前景/背景邊界上，則這可以通過使用一個(gè)小的衰減參數(shù)值來實(shí)現(xiàn)。采用經(jīng)背景對比差衰減器220衰減的背景對比差和經(jīng)邊界保持區(qū)分器222保持的邊界對比差，對比差評估器218向邊界確定引擎212提供強(qiáng)而可靠的對比差提示信息，其中這些對比差提示信息與來自顏色評估器214的顏色提示信息一起使用以用于決定前景和背景之間的分割界線應(yīng)在何處。以上引入的自適應(yīng)背景維持引擎204還包括單像素背景顏色模型224和全局背景顏色模型226。另外，背景替換引擎206還可包括替換背景輸入228和視頻層合并引擎230。所示出的視頻層提取引擎110的各組件只是出于描述目的一種配置。示例性視頻層提取引擎110的其它實(shí)現(xiàn)可具有不同組件或組件的不同安排。圖3示出用于描述示例性視頻層提取引擎110的功能的一些元素。來自視頻序列的圖像/302是對應(yīng)的對比差圖304的源。為了顯示，每個(gè)像素的對比差被計(jì)算為^/《^+《，其中^和^是位于像素r的左邊和上方的兩個(gè)相鄰像素。示例性視頻層提取引擎110得到一個(gè)經(jīng)衰減的對比差圖306，其中對比差圖306的背景部分307己被衰減。背景圖像/5308表示前景被提取出的圖像/302。背景對比差圖310可在得到以上衰減對比差圖306(其前景保持沒有被衰減)的過程中使用?？蛇x擇地，新背景可與被分割出的前景一起使用來產(chǎn)生一個(gè)帶有新背景的最終前景提取結(jié)果312。示例性引擎的操作在圖2的邊界確定引擎212(該邊界是前景和背景之間的分界)中，背景對比差衰減基于一個(gè)重要的觀察，即背景像素上(例如，兩者之間，或多個(gè)之間)的對比差與前景/背景邊界上的對應(yīng)像素上的對比差是不相似的。參考圖3，幀304和幀310分別示出當(dāng)前圖像和背景圖像的對比差圖。由前景/背景邊界引起的對比差圖304中的大多數(shù)對比差與對比差圖310中的對比差不一致?；谶@個(gè)觀察，背景對比差衰減自適應(yīng)地修改對比差圖304以產(chǎn)生一個(gè)衰減的對比差圖306。在對比差圖306中，背景中的大多數(shù)對比差被移除，而良好保持由前景/背景邊界引起的對比差。使用這個(gè)衰減的對比差圖306，如幀312所示的，示例性背景切割方法可從有雜斑的背景中提取高質(zhì)量的前景層。背景圖像308還表明，對比基本模型，分割錯(cuò)誤可被大大減少。上述背景一節(jié)中引入的"基本模型"通常在視頻的許多幀中產(chǎn)生良好的層提取結(jié)果。然而，當(dāng)畫面包含背景雜斑時(shí)，經(jīng)常發(fā)生邊界周圍的明顯的分割錯(cuò)誤。這在視頻中產(chǎn)生閃爍的偽影。大多數(shù)的不正確的分割邊界沿著背景中的強(qiáng)邊緣經(jīng)過。這些錯(cuò)誤主要由基本模型中的對比差項(xiàng)導(dǎo)致，如等式(8)所示五2""、)=1、-乙lexp(-.《s).(8)示例性邊界確定引擎212通過移除或衰減背景中的對比差修正了這個(gè)偏差從而得到更精確的分割結(jié)果。背景對比差衰減在一個(gè)可能的實(shí)現(xiàn)中，由于"基線"或?qū)嵸|(zhì)上固定的背景圖像(例如，當(dāng)沒有前景存在時(shí))對于背景管理器210是已知的，所以分割引擎208可應(yīng)用一種從當(dāng)前圖像/304的對比差中減去背景圖像戶310的對比差的直接技術(shù)。為了避免硬取閾，并且經(jīng)各向異性擴(kuò)散概念所提示，背景對比差衰減器220可通過背景圖像中的對比差差從《,=11人-/,1|2衰減至"力將圖像/中的兩個(gè)相鄰像素(r,"之間的對比其中《是控制衰減力度的常數(shù)。背景中的對比差||/，-/，|2越大，越多的衰減將應(yīng)用到圖像/中的對比差|/,-/J上。然而，圖4示出對比差圖402、406、410和對應(yīng)的分割結(jié)果404、408、412，其中采用以上的直接技術(shù)得到的結(jié)果與由示例性視頻層提取引擎110得到的改進(jìn)結(jié)果作比較。對比差圖402和對比差圖406示出在上述直接"軟"對比差相減之前和之后的對比差。不幸的是，由前景滑景邊界407引起的對比差也被衰減了。簡單的減法產(chǎn)生了不令人滿意的分割結(jié)果408，其中前景不正確地包括部分背景409。因此，在另一個(gè)實(shí)現(xiàn)中，對比差評估器218具有一個(gè)執(zhí)行示例性自適應(yīng)背景對比差衰減方法的背景對比差衰減器220。背景對比差衰減器220可衰減背景中的大多數(shù)對比差，而同時(shí)邊界保持區(qū)分器222保持沿前景/背景邊界的對比差。這些可應(yīng)用等式(10)給出的示例性技術(shù)來實(shí)現(xiàn)在保持前景/背景邊界的同時(shí)自適應(yīng)地執(zhí)行背景對比差衰減的目標(biāo)<formula>formulaseeoriginaldocumentpage14</formula>其中，如圖5(a)所示，^測量圖像/中的像素對(/,，/,)與背景圖像戶中的像素對,/f)之間的不相似度。對z的類似Hausdorff距離的定義是<formula>formulaseeoriginaldocumentpage14</formula>如果^小，則像素對(力，/,)具有屬于背景的高可能性，并且衰減力度被背景對比差衰減器220設(shè)置為大的(exp(-z^/cTz)4l)。否則，像素對(/,，/,)很可能具有由前景/背景邊界引起的對比差，并且衰減力度被邊界保持區(qū)分器222設(shè)置成小的(exp(-力)—0)。圖4還示出背景對比差衰減器220自適應(yīng)地應(yīng)用等式(10)之后的對比差圖410。如圖所示，背景411中的大多數(shù)對比差被大大衰減并且沿前景對象邊界413的大多數(shù)對比差保持良好。分割結(jié)果412是背景移除后對應(yīng)的圖像。圖6的最后兩行608和610還示出衰減后的對比差圖和滿意的分割結(jié)果。圖7示出使用不同的《和^參數(shù)值的衰減結(jié)果。對比差圖704顯示大的《值將減小衰減力度。小的^值將使得圖像中保留更多對比差(諸如對比差圖706)，并且反之亦然(如對比差圖708)。在一個(gè)實(shí)現(xiàn)中，如對比差圖702所示，《和^的默認(rèn)值分別設(shè)置為5和10，以便獲得平均的良好分割結(jié)果。這些值是相當(dāng)穩(wěn)定的一當(dāng)《和^分別在范圍(2.5-10)和(5-20)內(nèi)變化時(shí)，分割結(jié)果中沒有出現(xiàn)明顯變化。如果背景圖像中沒有一定大小的照明變化，則自適應(yīng)背景對比差衰減器220在大多數(shù)情況下運(yùn)作良好。為了使背景對比差衰減更加魯棒，使用一個(gè)對大的明變化不敏感的z的量度z'。=(12)其中，如圖5(b)所示，^",6)是RGB色空間內(nèi)從點(diǎn)a到點(diǎn)b的向量。如果兩個(gè)相鄰像素的顏色變化被假定為是相同的，則量度、是照明不變的(同樣如圖5(b)所示)。背景維持現(xiàn)實(shí)的視頻場景中的一個(gè)挑戰(zhàn)是背景維持。提出過許多常規(guī)的技術(shù)來處理背景中的各種變化，例如照明的漸變和突變(辦公室中的電燈開關(guān)的開和關(guān))、背景中的小的移動(dòng)的對象(例如，移動(dòng)的窗簾)、不經(jīng)意的攝像機(jī)抖動(dòng)(例如，膝上型計(jì)算機(jī)上的web攝像頭)、休眠對象(移動(dòng)到背景中并然后變成靜止的對象)、走動(dòng)對象(從背景中移走并暴露出新的背景部分的對象)以及由前景對象投射的陰影等。自適應(yīng)背景維持引擎204通過使用自適應(yīng)混合模型使示例性系統(tǒng)對背景變化更實(shí)用和魯棒。在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204采用全局226和單像素224背景顏色模型的自適應(yīng)混合。對于"基本模型"或具有顏色和對比差項(xiàng)兩者的模型的顏色項(xiàng)，全局背景顏色模型226(對于背景變化更魯棒)和單像素背景顏色模型224(更精確)之間存在折衷。諸如基本模型等模型中的混合因子通常是一個(gè)固定值。為了最大化魯棒性，諸如示例性視頻層提取引擎110等改進(jìn)的系統(tǒng)自適應(yīng)地調(diào)整一個(gè)相似的混合因子。因此，如果前景顏色和背景顏色能被很好地分開，則自適應(yīng)背景維持引擎204更依賴全局顏色模型226，使得整個(gè)系統(tǒng)對于背景的各種變化具有魯棒性。否則，引擎110依賴全局226和單像素224顏色模型兩者。在一個(gè)實(shí)現(xiàn)中，為了實(shí)現(xiàn)這個(gè)目標(biāo)，自適應(yīng)背景維持引擎204基于全局背景顏色模型226和單像素背景顏色混合模型224的辨別能力自適應(yīng)地混合這兩個(gè)模型。在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204采用兩個(gè)高斯混合模型(GMM)之間的KulIback-Liebler散度的逼近，如等式(13)所示;=|>/min(虹(W/<formula>formulaseeoriginaldocumentpage16</formula>(13)其中iVf和M分別是前景GMM的第k個(gè)分量和背景GMM的第i個(gè)分量。7V(和Ar;之間的KL散度可以被分析地計(jì)算。在一個(gè)實(shí)現(xiàn)中，背景顏色模型224的自適應(yīng)混合由等式(14)和(15)給出<formula>formulaseeoriginaldocumentpage16</formula>(15)其中C7n是控制^X^的影響的參數(shù)。如果前景和背景顏色能被很好地分開，即Ki^是大的，則自適應(yīng)背景維持引擎204將混合因子《'設(shè)置成一個(gè)大的值以便更依賴全局背景顏色模型226。否則，自適應(yīng)背景維持引擎204將混合因子a'設(shè)置成一個(gè)小的值(例如，最小值為0.5)以便使用全局226和單像素224背景顏色模型兩者。示例性背景維持方案由于視覺通信(例如，視頻聊天)通常僅持續(xù)較短時(shí)間，所以例如由于攝像機(jī)的自動(dòng)增益/白平衡控制、熒光燈的照明(與攝像機(jī)的幀捕捉異步)以及燈的開關(guān)等造成的照明突變是需要考慮的主要問題。另外，還存在可能的背景改變事件，例如，背景中的微小移動(dòng)、不經(jīng)意的攝像機(jī)抖動(dòng)、背景中的"休眠"和"走動(dòng)"對象。以下是基于上述全局226和單像素224背景顏色模型的自適應(yīng)混合的示例性背景維持方案的一個(gè)實(shí)現(xiàn)。照明突變由攝像機(jī)的自動(dòng)增益/白平衡控制或熒光燈的照明引起的照明變化通常是一個(gè)小的全局變化。在一個(gè)實(shí)現(xiàn)中，釆用一個(gè)直方圖規(guī)范來全局地調(diào)整背景圖像。當(dāng)在每個(gè)時(shí)間步處進(jìn)行分割之后，自適應(yīng)背景維持引擎204計(jì)算來自/和戶中的標(biāo)記背景區(qū)的兩個(gè)直方圖之間的直方圖變換函數(shù)。然后，自適應(yīng)背景維持引擎204應(yīng)用這個(gè)變換以更新整體背景圖像/。這個(gè)簡單的示例性方法對于小的全局照明或顏色變化很有效果。在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204使用幀間差來檢測相對大的照明突變(例如，由開關(guān)燈引起的)。如果差在高于一預(yù)先設(shè)定的閾值，則引擎204觸發(fā)以下背景維持過程。分割之前的照明突變根據(jù)直方圖規(guī)范更新背景圖像戶并且重建全局背景顏色模型226。將前景閾值^增加至力/以防止引入不正確的樣本。初始化背景的不確定度映射[^={^=1}。根據(jù)等式(16)修改背景顏色模型226的混合<formula>formulaseeoriginaldocumentpage17</formula>(16)分割之后的照明突變自適應(yīng)背景維持引擎204根據(jù)等式(17)、(18)和(19)更新標(biāo)記背景區(qū)中每個(gè)像素的顏色、方差和不確定性。<formula>formulaseeoriginaldocumentpage17</formula>(19)其中/7:yfflV(八,l/^,o^)和^(例如，典型地為0.2)是一個(gè)學(xué)習(xí)速率。由于沒有關(guān)于前景后面的隱藏像素的信息，所以前景后面的隱藏像素的不確定性沒有減小。背景中的移動(dòng)在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204通過兩種機(jī)制處理移動(dòng)背景。首先，如果前景顏色和背景顏色能很好地分開，則自適應(yīng)背景維持引擎204自動(dòng)自我調(diào)節(jié)以便依賴全局背景顏色模型226，該模型對背景中的小移動(dòng)或動(dòng)態(tài)運(yùn)動(dòng)(例如，移動(dòng)的窗簾)是魯棒的。第二，如果在移動(dòng)對象和前景之間沒有交集，則自適應(yīng)背景維持引擎204將分割結(jié)果中的最大的連接成分保持為前景對象。否則，如果沒有更高層次的語義信息可用，則自適應(yīng)背景維持引擎204將移動(dòng)對象視為前景。然而，如果這種處理是不正確的，則一旦對象移動(dòng)出視線或沒有與前景交互，自適應(yīng)背景維持引擎204就立即恢復(fù)。休眠和走動(dòng)對象休眠和走動(dòng)這兩種情況基本類似休眠對象是背景中的新的靜態(tài)對象，而走動(dòng)對象暴露新的背景區(qū)域。當(dāng)這些新的像素沒有和前景交叉時(shí)，自適應(yīng)背景維持引擎204將這些新的像素吸收到背景中。當(dāng)分割后，遠(yuǎn)離于前景(即，最大的連接成分)的那些小的連接成分被標(biāo)識為新的像素。如果這些像素和它們的相鄰像素在充足的時(shí)間段內(nèi)被標(biāo)記為前景，則在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204觸發(fā)背景維持處理(即，等式(17)、(18)和(19))將這些像素吸收到背景中。不經(jīng)意的攝像機(jī)抖動(dòng)攝像機(jī)抖動(dòng)對于膝上型計(jì)算機(jī)用戶經(jīng)常發(fā)生。在一個(gè)實(shí)現(xiàn)中，自適應(yīng)背景維持引擎204檢測當(dāng)前和前一幀之間的攝像機(jī)移位。如果該移位較小(例如，小于四個(gè)像素)，則由于全局背景顏色模型226對攝像機(jī)抖動(dòng)不敏感，應(yīng)用一個(gè)高斯模糊的背景圖像(例如，標(biāo)準(zhǔn)方差2.0)并減小單像素顏色模型224的權(quán)重。背景替換可選擇地，當(dāng)前景和背景層經(jīng)分割引擎208和邊界確定引擎212確定之后，背景替換引擎206可將各層中的一個(gè)或其它層與新的或不同的層組合。在一個(gè)實(shí)現(xiàn)中，替換背景輸入228接收或緩沖視頻層合并引擎230將其與提取的前景組合的替換背景圖像，以便實(shí)時(shí)地將前景對象(例如用戶的圖像)放置在新的或修改后的背景中。由于在示例性視頻層提取引擎110的一個(gè)實(shí)現(xiàn)中，背景圖像是固定的，所以要用來替換的新背景只能是畫面或環(huán)境的靜止圖像。示例性方法圖8示出基于衰減的背景對比差提煉分割邊界的示例性方法800。在該流程圖中，操作被概括在各個(gè)框中。取決于實(shí)現(xiàn)，示例性方法800可由硬件、軟件或硬件、軟件、固件等組合來執(zhí)行，例如，由示例性視頻層提取引擎iio的組件來執(zhí)行。在框802處，確定將在實(shí)況視頻序列中使用的背景圖像的屬性。在框804處，使用顏色和對比差兩個(gè)提示信息逼近實(shí)況視頻序列中的前景。在框806處，通過衰減背景對比差并同時(shí)保持分割邊界的對比差來提煉前景和背景之間的分割邊界。圖9示出比較視頻幀與已知背景之間的像素對以便通過衰減背景中的對比差來提煉分割邊界的示例性方法900。在該流程圖中，操作被概括在各個(gè)框中。取決于實(shí)現(xiàn)，示例性方法900可由硬件、軟件或硬件、軟件、固件等組合來執(zhí)行，例如，由示例性視頻層提取引擎110的組件來執(zhí)行。在框902處，從視頻幀中獲得第一像素對并且從該視頻幀所使用的已知背景圖像中獲得相應(yīng)的第二像素對。視頻幀來自實(shí)況視頻序列。第一像素對來自當(dāng)前實(shí)況視頻序列本身而第二像素對來自作為該實(shí)況視頻序列的背景布景來使用的已知背景圖像。在框904處，比較第一和第二像素對的對比差以確定它們是否它們彼此的不相似性是否超出一個(gè)閾值。由于對比差是一對或一組像素中的每個(gè)像素的屬性之間的差，所以該屬性可以是照明、顏色強(qiáng)度、灰度等。在框906處，如果第一和第二像素對彼此的不相似性超出一個(gè)閾值，則來自視頻幀中的第一像素對被指定為位于背景中。即，如果來自視頻序列的像素對的對比差屬性值與在已知背景中其對應(yīng)的像素對的對比差屬性值相同，則來自視頻序列的像素對被認(rèn)為是背景的一部分。在框90S中，現(xiàn)在被指定為背景的第一像素對受到大的衰減因子的影響而減小像素對的對比差。因此，背景中的像素對的對比差被衰減，即，背景邊緣的強(qiáng)度被減小，或消失在對比差圖中，只留下非常明顯地提供了精確分割的分割界線。在框910處，如果第一和第二像素對的對比差的不相似性超出一個(gè)閾值，則來自視頻幀的該第一像素對被指定為位于前景和背景之間的分割邊界上或與該分割邊界相關(guān)聯(lián)。在框912處，或者通過不衰減第一像素對的對比差或者通過使用小的衰減因子衰減第一像素對的對比差來保持來自視頻幀的第一像素對的對比差。這使得分割界線成為強(qiáng)邊緣，以產(chǎn)生精確的分割。圖10示出使用自適應(yīng)的背景顏色混合模型來維持視頻序列中的背景的示例性方法1000。在該流程圖中，操作被概括在各個(gè)框中。取決于實(shí)現(xiàn)，示例性方法1000可由硬件、軟件或硬件、軟件、固件等組合來執(zhí)行，例如，由示例性視頻層提取引擎110的組件來執(zhí)行。在框1002處，全局背景顏色模型從要被使用于視頻序列的背景圖像中學(xué)習(xí)得到。即，學(xué)習(xí)得到了描繪背景特征的全局顏色調(diào)色板。面對背景的微小改變，為了維持該背景，視頻幀的受影響部分可被回復(fù)到全局背景顏色模型。在框1004處，單像素背景顏色模型從視頻序列的背景啟動(dòng)中學(xué)習(xí)得到。單像素顏色模型比全局顏色模型更準(zhǔn)確，但對噪聲、照明改變或背景中的小移動(dòng)敏感。在框1006中，在視頻序列實(shí)況播放時(shí)，檢測到背景中的變化。該變化可以是由攝像機(jī)抖動(dòng)、照明變化、小對象移動(dòng)到背景中或穿過背景或由前景投射的陰影引起。在框1008中，調(diào)整全局和單像素背景顏色模型的混合來補(bǔ)償檢測到的變化。混合的比例取決于背景改變的類型。全局背景顏色模型一般對背景改變更魯棒。而單像素背景顏色模型比全局模型更精確。結(jié)論盡管用對結(jié)構(gòu)性特征和/或方法性動(dòng)作專用的語言描述了示例性系統(tǒng)和方法，但應(yīng)該理解，所附權(quán)利要求中定義的主題并不必然局限于以上所描述的具體特征或動(dòng)作。相反，上述的具體特征和動(dòng)作是作為實(shí)現(xiàn)所要求保護(hù)的方法、設(shè)備、系統(tǒng)等的示例性形式而公開的。權(quán)利要求1.一種方法，包括確定將在視頻序列中使用的背景圖像中的像素的顏色和對比差屬性，其中除了當(dāng)前景隱藏了所述背景圖像的一部分時(shí)之外，所述背景圖像占據(jù)所述視頻序列的每個(gè)幀的整個(gè)區(qū)域；基于所述前景中的像素的顏色和對比差屬性對比所述背景圖像中的像素的顏色和對比差屬性之間的差逼近一劃分所述視頻序列中的前景的分割邊界；以及通過自適應(yīng)地衰減背景對比差來提煉所述前景和所述背景圖像之間的所述分割邊界，其中所述衰減包括在維持與所述分割邊界相關(guān)聯(lián)的像素對的對比差屬性值的同時(shí)減小所述背景圖像中的像素對的對比差屬性值。2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)一像素對的對比差屬性值與所述背景圖像中的對應(yīng)像素對的對比差屬性值不相似時(shí)，所述提煉將所述像素對與所述分割邊界相關(guān)聯(lián)。3.如權(quán)利要求1所述的方法，其特征在于，所述背景圖像在所述視頻序列中實(shí)質(zhì)上是固定的。4.如權(quán)利要求2所述的方法，其特征在于，還包括從單個(gè)攝像機(jī)中獲得所述視頻序列。5.如權(quán)利要求1所述的方法，其特征在于，所述對比差屬性包括顏色圖像梯度。6.如權(quán)利要求1所述的方法，其特征在于，還包括在所述分割邊界處將所述前景從所述背景圖像中分割出來。7.如權(quán)利要求6所述的方法，其特征在于，還包括將所述前景與不同的背景圖像合并。8.如權(quán)利要求1所述的方法，其特征在于，還包括應(yīng)用自適應(yīng)混合模型以便在各種背景變化的情況下改進(jìn)前景從背景圖像中的分割。9.如權(quán)利要求8所述的方法，其特征在于，還包括在所述視頻序列期間維持所述背景圖像，其中所述維持包括通過自適應(yīng)地應(yīng)用單像素背景顏色模型和全局背景顏色模型的加權(quán)混合來補(bǔ)償所述視頻序列期間所述背景圖像中的變化。10.如權(quán)利要求9所述的方法，其特征在于，還包括從所述背景圖像中學(xué)習(xí)得到所述全局背景顏色模型。11.如權(quán)利要求9所述的方法，其特征在于，還包括從背景啟動(dòng)階段中學(xué)習(xí)得到所述背景顏色模型的單像素方差。12.如權(quán)利要求9所述的方法，其特征在于，還包括根據(jù)所述背景圖像中的變化類型對所述單個(gè)背景顏色模型和所述全局背景顏色模型的混合進(jìn)行加權(quán)。13.如權(quán)利要求9所述的方法，其特征在于，所述背景圖像中的變化類型包括以下之一噪聲、照明變化、由于攝像機(jī)運(yùn)動(dòng)引起的所述背景的小移動(dòng)、背景上的小對象移動(dòng)以及小對象進(jìn)入所述背景中并留在所述背景中。14.一種系統(tǒng)，包括用于將前景從視頻序列的背景中分離的前景提取器；所述前景提取器中將所述視頻序列中的像素標(biāo)記為前景或者背景的分割引擎；所述前景提取器中計(jì)算所述前景和所述背景之間的邊界的邊界確定引擎；所述前景提取器中根據(jù)前景顏色和背景顏色計(jì)算所述邊界的顏色評估器；所述前景提取器中根據(jù)前景對比差和背景對比差計(jì)算所述邊界的對比差評估器；所述對比差評估器中衰減所述背景中的對比差而同時(shí)自適應(yīng)地保持與所述邊界相關(guān)聯(lián)的對比差的背景對比差衰減器。15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，還包括獲取和跟蹤將作為所述視頻序列中的所述背景使用的圖像的顏色和對比差屬性的背景圖像管理器。16.如權(quán)利要求14所述的系統(tǒng)，其特征在于，還包括獲得所述視頻序列的單個(gè)攝像機(jī)。17.如權(quán)利要求14所述的系統(tǒng)，其特征在于，還包括背景維持引擎，所述背景維持引擎通過自適應(yīng)地應(yīng)用單像素背景顏色模型和全局背景顏色模型的加權(quán)混合來補(bǔ)償所述視頻序列期間背景圖像中的變化。18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述背景維持引擎從所述背景中學(xué)習(xí)得到所述全局背景顏色模型并且所述背景維持引擎從背景啟動(dòng)中學(xué)習(xí)得到所述單像素顏色模型。19.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括將不同的背景與所述視頻序列中所述分離出的前景合并的背景替換引擎。20.—種系統(tǒng)，包括用于在視頻序列中將前景從背景圖像中分割出來的裝置；用于確定所述前景和所述背景圖像之間的分割邊界的裝置；用于根據(jù)與所述背景圖像中的對應(yīng)像素對的對比差的差來選擇與所述分割邊界相關(guān)聯(lián)的像素對的裝置；以及用于通過在保持與所述分割邊界相關(guān)聯(lián)的像素對的對比差的同時(shí)衰減背景對比差來提煉所述分割邊界的裝置。全文摘要示例性系統(tǒng)和方法在視頻序列中將前景從背景圖像中分割出來。在一個(gè)實(shí)現(xiàn)中，系統(tǒng)通過在保持分割邊界自身的對比差的同時(shí)衰減背景對比差來提煉前景和背景圖像之間的分割邊界，實(shí)時(shí)提供了對實(shí)況視頻的精確背景切割。然后，替換背景可以與所述實(shí)況視頻內(nèi)分割出的前景合并。該系統(tǒng)可應(yīng)用一個(gè)自適應(yīng)背景顏色混合模型以便在諸如攝像機(jī)移動(dòng)、照明變化以及背景中的小對象的移動(dòng)等各種背景變化的情況下改進(jìn)前景從背景中的分割。文檔編號G06F17/00GK101326514SQ200680046337公開日2008年12月17日申請日期2006年12月5日優(yōu)先權(quán)日2005年12月9日發(fā)明者H-Y·沈,J·孫,W·張,湯曉鷗申請人:微軟公司