專利名稱：用于多視角場景分析的系統(tǒng)和方法
用于多視角場景分析的系統(tǒng)和方法相關專利申請的交叉引用本專利申請要求2008年10月3日提交的美國臨時專利申請No. 61/102670的優(yōu)先權。相關專利申請本專利申請還涉及2008年10月3日提交的美國臨時專利申請No. 61/1(^618和 2008年10月3日提交的美國臨時專利申請No. 61/1(^625。
背景技術：
人類視覺系統(tǒng)是容量有限的系統(tǒng)，因為其在任何特定時間只能處理較少數(shù)量的對象。盡管事實上在任何特定時間有許多對象可以觀察到，但情況確實如此。人類視覺系統(tǒng)在任何特定時間將只注意或處理來自人類可見對象的陣列中的一個(或極少數(shù))對象。當人觀察圖像或場景時，其視覺系統(tǒng)將讓注意力(和心智處理)從一對象轉移到另一對象。在人類視覺注意領域已有大量的研究。該項研究已產生許多針對理解人類視覺注意行為的研究成果，以及許多視覺注意的計算模型。這些計算模型(有時稱為視覺注意模型、眼球凝視預測模型、注意模型或顯著性模型)在給定視覺刺激物(例如，圖片或場景) 下預測人將讓其視覺注意或凝視分配在何處。這些模型提供對場景內將吸引視覺注意的對象或區(qū)域的預測。然而，典型的真實世界場景常常是高度動態(tài)的。當(例如)人的有利位置改變、場景內的對象改變位置或定向、或者照明改變(投射不同陰影)時，投射到人的圖像將隨之改變。此外，觀察者自身會將不確定性引入預測(觀察者會心不在焉或者說是傾向于特定的注意模式)。從場景投射圖像的任何變動或觀察者的變動、或者甚至場景本身的微小改變都會顯著地改變這些模型作出的預測。在將視覺注意模型用于應用裝置時會由此而產生問題。

發(fā)明內容
將視覺注意建模技術用于從多個視角評估場景的系統(tǒng)和方法。在示例性實施例中，從一場景多幅圖像獲得(或者說是生成)多幅圖像。在各幅圖像中識別場景內的對象， 然后使用視覺注意模型來分析場景。跟蹤由視覺注意模型預測的對象，以便可以在一區(qū)域中從多個有利位置進行關于對象顯著性的預測。在其他示例性實施例中，多視角場景分析可以和與優(yōu)化場景有關的技術和系統(tǒng)結合。例如，可以定義對象的容許變化，然后獲得或生成從不同有利位置選取的多幅圖像，而后進行分析。這些圖像可以包括對對象進行的改動。另外，在一些實施例中，穩(wěn)健性(robustness)還可以被用作多視角場景分析中的一個因素。例如，可以分析3D場景并認為其具有穩(wěn)健性(或計算所得的一個穩(wěn)健性值)，或者可以確定3D場景內的一個對象具有穩(wěn)健性。在一個實施例中，描述了一種計算機實現(xiàn)的方法，其包括接收從一個3D場景內取得的多幅圖像；接收識別出現(xiàn)在該多幅圖像中的對象中的至少一些的輸入；用視覺注意模型分析該多幅圖像；以及，基于該分析確定在多幅圖像中的易于接收視覺注意的所識別的對象。除了具有從3D場景內取得的多幅圖像以外，可以從一組通用對象的不同視角生成多幅圖像。在另一個實施例中，描述了一種計算機實現(xiàn)的方法，其包括定義3D場景的至少一個視覺目標，場景由多個對象構成，視覺目標指示期望被視覺注意模型預測為被注意到的場景中的至少一個對象，并另外指示應當從其注意至少一個對象的視角。從3D場景內的多個視角接收多幅圖像；接收定義場景內至少一些對象的容許變化的輸入；將成本估計至少分配到容許變化的一些；自動修改與定義的容許變化相一致的多個對象中的一些，以便產生改動的圖像；用視覺注意模型評估修改圖像；以及，基于評估確定實現(xiàn)場景的至少一個視覺目標的修改場景的至少一些。在另一個實施例中，描述了一個計算機系統(tǒng)，其包括處理器和存儲器；以及，多視角場景分析模塊，其可操作用于至少⑴接收從一個3D場景內選取的多幅圖像；(2)識別顯現(xiàn)在圖像中的至少一些對象；C3)將視覺注意模塊應用到圖像，視覺注意模塊可操作用于預測易于接收視覺注意的圖像內的對象；以及，(4)確定所識別對象中的哪些被視覺注意模塊預測。


圖1是示出代表性視覺注意模塊的高級功能的流程圖。圖2是代表性場景的草圖。圖3A是視覺注意模塊輸出的藝術效果圖。圖;3B是視覺注意模塊輸出的藝術效果圖。圖4是示出兩個實例對象的特性的曲線圖。圖5示出廣告牌對象可以如何以不同背景場景為背景來設定。圖6是用于評估場景或場景內對象的穩(wěn)健性的系統(tǒng)中功能模塊的示意圖。圖7是示出實例場景修改的具體說明。圖8示出視覺注意穩(wěn)健性評估系統(tǒng)的一個替代實施例，其中視覺注意穩(wěn)健性評估系統(tǒng)另外包括網絡服務器模塊。圖9是說明視覺注意穩(wěn)健性評估系統(tǒng)評估場景內對象或場景本身的穩(wěn)健性可采用的流程的一個實施例的高級流程圖。圖10是示出場景優(yōu)化的高級流程的流程圖。圖11是說明與注意掃視所關注對象的連續(xù)位置有關的兩種不同回報結構的曲線圖。圖12是場景優(yōu)化系統(tǒng)中的功能模塊的示意圖。圖13A和圖1 各自為一個場景的藝術效果圖。圖14A和圖14B各自為一個場景的藝術效果圖。圖15是示出多視角場景分析的高級流程圖。圖16是會議室的示意圖。圖17A和圖17B示出會議室的不同視角。圖18是說明對會議室中各種對象進行的三個不同實例分析的圖。圖19是多視角場景分析系統(tǒng)的示意圖。
具體實施例方式視覺灃意樽型視覺注意模型確定場景內區(qū)域在其將吸引視覺注意或吸引眼球運動的可能性方面相異的程度。場景是經受視覺注意模型評估的任何輸入形式(例如，圖形圖像)，并可以是(例如)數(shù)碼照片、虛擬3D場景、網頁、文件或視頻。對象的視覺注意模型傾向是指視覺注意的模型如何表征場景內對象的相對顯著性。例如，一些視覺注意模型將在所預測對象周圍疊加跡線。其他視覺注意模型將生成可以在圖像上疊加或與圖像分開看的熱圖。還有一些模型可以生成并分配一個值到特定對象和/或區(qū)域，該值相對地代表對象的顯著性。在跡線的語境中，對象的傾向可以認為是由模型“選定”(加跡線時)或“未選定”。在熱圖的語境中，對象的傾向是算法已選定對象(或未選定對象)的程度。而在顯著性數(shù)字的語境中，對象的傾向可以是顯著性數(shù)字本身。有許多視覺注意模型可預測人類視覺注意會被分配到場景內的何處。通常，這些視覺注意模型采用環(huán)境的單幅圖像作為輸入，并生成對注意將分配在該場景內何處的預測。實驗方法使人類受試者接觸到場景，并跟蹤其眼球移動。然而，該實驗方法是資源密集型的，所以已經開發(fā)出多個數(shù)學模型以通過至少部分地分析場景來預測注意。那就是說實驗方法還可以用作本文所述系統(tǒng)和方法的一部分，并如本文所用，實驗方法被認為是視覺注意建模的一種類型。圖1表示這些模型之一的基本方法論，其由Itti，L. & Koch，C (2000)在“基于顯著性的視覺注意明顯和隱蔽轉移的搜索機制”(A saliency-based search mechanism for overt and covert shifts of visual attention)(〈〈視覺石if究〉〉(Vision Research),第 40卷，1489-1506頁)中提出。在高標準下，圖1示出如何通過評估“由下而上”特征(例如，顏色、運動、亮度、邊緣等)來進行視覺注意的預測，所述特征用作傳達人類視覺的一些方面的視覺表現(xiàn)的構成要素。首先，將數(shù)碼照片形式的場景提供給Itti & Koch模型的計算機實現(xiàn)版本(步驟10)。接著，特征提取過程分析數(shù)碼照片的顏色、強度、取向或其他場景線索，例如運動、接點、明暗界線、立體視差和從明暗恢復形狀(步驟11)。特征提取過程產生多幅特征映射(步驟12)，所述特征映射相結合以產生顯著性映射(步驟13)。就 Itti & Koch模型而言，將顯著性數(shù)據作為原始數(shù)碼照片的效果圖提供給使用者，其中“最亮的”對象為模型已預測下一個將分配視覺注意的對象。這種所預測的對象在“贏者通吃 (wirmer-take-all)”算法(步驟15)中被辨認為視覺顯著的(步驟14)，并且此過程隨后重復，直到多個對象被模型辨認。圖2是場景201的藝術效果圖，其可以提供給視覺注意模型，例如Itti & Koch。 該場景是簡化場景，僅為了說明而包含于此；在實施過程中，場景常常是真實數(shù)碼照片或視頻，并且要復雜得多。圖2包括許多場景內的對象，例如五角星202、花朵203、臉204、五角星205、箭頭206和杯子207。圖3A是表示Itti & Koch模型的輸出如何被表示的藝術效果圖。突出的(且在該代表性圖示中，圈繞的)對象是模型預測將為視覺顯著的那些。例如，圖中的五角星202 在突出邊界208內；花朵203在邊界209內；臉204在邊界210內；五角星205在邊界211 內；箭頭206在邊界212內；并且杯子207在邊界213內。因而此實例中的模型已確定六個相對于其他對象更為視覺顯著的對象。這個特定的模型還預測注意將在確定為在某一視覺顯著性閾值之上的對象中如何移動。例如，視覺注意路徑301、302、303、304和305顯示所預測的視覺注意路徑。圖;3B是示出Itti & Koch模型的輸出有時被表示的另一方式的第二藝術效果圖。除了圖3A所示的內容以外，圖;3B包括所預測視覺注意的順序。例如，五角星202標為 “1”(注意注意序號214)，花朵203標為“2”(注意注意序號215)等等。當然，圖3A和圖;3B僅為視覺注意預測可被傳達到使用者的一種方式；不同模型以不同的方法表示這種信息(或這種信息的某一子集)。例如，雖然可以通過確定具有最高視覺顯著性水平的對象，然后排除該對象并尋找下一最高視覺顯著性水平的對象等等，來得出這種注意注意序列，但并非每個模型都確定所預測的注意注意序列。Itti & Koch’ s模型代表了一種“由下而上”視覺注意模型，因為該模型基于場景的細節(jié)分析進行其預測。其他由下而上視覺顯著性模型描述于以下這些參考文獻feo， Mahadevan 禾口 Vesconcelos(2008)。除了由下而上模型以外，有另一類模型被稱為視覺注意的“由上而下”模型。相比于“由下而上”模型，這些模型以場景和明確任務(例如，避開障礙和收集對象)或將影響注意在特定搜索任務期間將分配在何處的對于世界的現(xiàn)有知識(例如，椅子往往會在地面而不是在天花板)開始。這種知識(既基于任務又基于場景的)與“由下而上”特征結合使用來將注意指向所觀察場景內的對象。在Rothkopf，C.A.，Ballard, D. H. & Hayhoe, Μ. Μ. (2007)的“任務和環(huán)境確定你看向何處”(Task and context Determine Where You Look) (Journal of Vision 7(14) :16,1-20)；以及還在 iTorralba, Α.的“目標顯著性的環(huán)境調制，，(Contextual Modulation of Target Saliency) (Adv. in Neural Information Processing Systems 14 (NIPS), (2001)MIT Press, 2001)中描述了一些示例性的“由上而下”模型。例如，視覺注意的Torralba’ s模型具有關于包括特定類型的對象的特征的現(xiàn)有知識以及關于場景內這些對象的絕對及相對位置的信息。這種現(xiàn)有知識對場景內特定目標的搜索提供“由上而下”的影響。本領域已發(fā)展為包括既有“由下而上”又有“由上而下”設計特征的混合視覺注意模型，并已適應模型將接觸到的場景類型的差異(例如，視頻對靜止圖像，室外圖像對網頁
寸寸J。穩(wěn)健性穩(wěn)健性是指從視覺注意模型輸出的預測對以下任一者或其組合的靈敏度(a)場景視覺特性內的變化和/或變動，其包括(例如)場景內對象的布置，對象的照明、對象的顏色等(稱為“外部變動”)；或，(b)觀察者或觀察模型的變化和/或變動(稱為“內部變動”)。如本文所用的術語“對象”是指場景內的物件、范圍或區(qū)域，視情況而定，或通過視覺注意模型分析的場景內的區(qū)域。術語“對象”視情況而定可與“范圍”或“區(qū)域”互換使用。兩種類型的變化(a)和(b)被總體稱為內部或外部或IE變化，引入然后評估這類變化的各種方法在下面進一步討論。穩(wěn)健性評估是一種用于測量IE變化對注意將分配在場景內何處的影響的方法。然后，場景內對象的穩(wěn)健性是特定對象的視覺注意模型預測的傾向變化或未變化的程度 (不管IE變化)。一組對象的穩(wěn)健性為超過一個對象(一個對象的集合)的視覺注意模型的傾向隨著IE變化變化或未變化的程度。場景的穩(wěn)健性是對場景中對象的視覺注意模型的傾向將變化或未變化的程度的測量(不管IE變化)。例如，如果視覺注意模型預測將對場景內相同的四個對象進行注意或注視，并且雖然有IE變化，但這四個對象往往會仍然被視覺注意模型預測，則該場景往往會比所述四個對象隨著IE變化而變化的場景更具穩(wěn)健性。視覺灃意穩(wěn)健件評估系統(tǒng)圖6是顯示視覺注意穩(wěn)健性評估系統(tǒng)403中示例性功能模塊的示意圖，該系統(tǒng)是用于評估場景的穩(wěn)健性、場景內對象的穩(wěn)健性或多個場景內對象的穩(wěn)健性的系統(tǒng)。當然，也可以手動實踐這些方法。在圖6所示的實施例中，視覺注意穩(wěn)健性評估系統(tǒng)在計算機系統(tǒng) 408內。計算機系統(tǒng)408可以是任何通用或專用的計算機或裝置。其可以是單獨的膝上型計算機或多個聯(lián)網的計算機。另外，計算機系統(tǒng)408可以是手持式計算機、數(shù)字照相機或平板電腦或甚至移動電話。在一個實施例中，計算機系統(tǒng)408具有包括操作系統(tǒng)的各種功能模塊(圖6中未示出)。這樣的操作系統(tǒng)便于視覺注意穩(wěn)健性評估系統(tǒng)進入計算機系統(tǒng)資源。計算機系統(tǒng)408具有處理器和存儲器以及各種傳統(tǒng)的輸入/輸出接口。視覺注意模塊403是任何視覺注意模型或模型組合的任何實施例。如前所述，有不同類型的視覺注意模型，但在一定程度上，其全都預測視覺注意往往將會分配到的場景內對象或范圍。在圖6中視覺注意模塊403示出為視覺注意穩(wěn)健性評估系統(tǒng)402的一部分， 但在另一個實施例中，視覺注意模塊403作為單獨的計算機處理或甚至作為在任何類型的計算機網絡(例如萬維網)上提供在遠程計算機的服務而工作。VAM修改模塊404是視覺注意模塊修改模塊。VAM修改模塊404修改視覺注意模塊的參數(shù)或架構的一些方面。這種修改可以根據視覺注意模塊403的執(zhí)行以許多方法來實現(xiàn)。例如，視覺注意模塊403本身可以支持對視覺注意模塊如何工作的一些方面進行修改的函數(shù)調用。在一個實施例中，視覺注意模塊403可以支持對給予場景某些方面(例如亮度)的權重進行修改的函數(shù)調用。在另一個實施例中，如果視覺注意模塊經由命令行調用， 則可以使用各種開關來改變視覺注意模塊內的變量。或者，如果視覺注意模塊403嵌入腳本或程序代碼中，則IE修改模塊可以修改腳本或程序代碼本身。在另一個實施例中，整個視覺注意模型被另一視覺注意模型替換。下面進一步討論VAM修改模塊404修改視覺注意模塊403的基礎視覺注意模型(或這樣的模型于場景的應用)的特定方法，但一個實例可能將修改與用來生成顯著性映射的多個特征映射相關的權重。這可以通過將基于可接受值的分布修改這些值的函數(shù)調用來實現(xiàn)。場景修改模塊405修改將提供給視覺注意模塊403用于分析的場景。場景變化是與模擬環(huán)境動態(tài)特性的外部環(huán)境相關的變化。這樣的外部變動可以包括(例如)場景內的移動對象(例如，行人的位置)、由于照明方向變化引起的陰影變化、或者大氣條件變化(例如，空氣中的粉塵)。這種變動可用許多方法產生。一種方法是將攝影機放在場景內，并在不同時刻捕獲圖像。這樣可捕獲真實場景的自然變動。另一方法是捕獲場景的單幅圖像， 并規(guī)定對該場景內單個元素和對象進行的可能變化。這樣的技術的具體說明如圖7所示。場景801表示的是原始場景。場景802示出用場景變動元素替換的場景801的對象，所述場景變動元素例如陰影和其他對象(例如，汽車或鳥類等任何可以放在場景內的對象)。場景803、804、805和806示出原始場景801與場景變動元素的不同組合。本領域技術人員會知道有無數(shù)種不同的方法來修改場景，例如使用市售的圖像編輯軟件，例如Adobe Systems (San Jose, California)以商品名“Photoshop”市售的軟件。本文僅作為非限制性實例示出了幾種。場景修改模塊405將外部變動添加到場景，這又會產生場景或場景實例的多個版本。在一個實施例中，場景實例的集合留存場景內的變動。為了測量對象的穩(wěn)健性或場景的穩(wěn)健性，各場景實例被提交到視覺注意模塊403以產生關于視覺注意將分配在各個場景實例內何處(也就是說，分配到哪個對象)的預測。從屬于各次預測的信息保存在數(shù)據庫 407中，然后穩(wěn)健性評估模塊409遍及這些不同的實例(并如前文進一步詳述)對數(shù)據進行評估，以生成基于將被分配模型預測的注意的對象的統(tǒng)計。圖形用戶接口模塊406有助于與使用者401的交互。圖形用戶接口模塊406可以 (例如)訪問(計算機系統(tǒng)408的)操作系統(tǒng)資源來構建圖形用戶接口以請求用戶401的輸入。在一個實施例中，這種輸入包括場景的位置以及視覺注意穩(wěn)健性評估系統(tǒng)的其他操作參數(shù)。在一個實施例中，這種輸入將規(guī)定評估中用戶401感興趣的場景內的區(qū)域和/或位置。除了指示這類位置以外，用戶401可以指示何種類型的變動將被視覺注意模塊403 考慮。這可以包括普通或特定內部變動、或普通或特定外部變動。例如，一種特定類型的外部變動可能是由于照明方向的變化而改變圖像。隨著光線變化，產生的陰影將變化。這是一種特定類型的外部變動，因為其不會考慮如動態(tài)對象、大氣析光差等的其他因素。普通內部變動的一個實例可以是其中各特征映射的權重被允許獨立變化的狀況。特定內部變動的一個實例是在一組特征映射的權重(例如，亮度)變化但其他未變化時的情況。圖形用戶接口模塊406也有助于(可能從用戶)獲得有關應該從哪個地方獲取場景的圖像的輸入可能的地方包括(例如)數(shù)據庫或平面文件。穩(wěn)健性評估模塊409控制其他模塊的交互，以評估場景內對象的穩(wěn)健性或場景本身的穩(wěn)健性。例如，穩(wěn)健性評估模塊409必要時調用視覺注意模塊403以及VAM修改模塊 404和場景修改模塊405。穩(wěn)健性評估模塊409調用各種模塊的方式可以通過來自用戶401 經由(例如)圖形用戶接口模塊406提供給穩(wěn)健性評估模塊409的輸入來修改。穩(wěn)健性評估模塊409必要時還評估由其他模塊提供的數(shù)據并生成報告。數(shù)據庫407處理視覺注意穩(wěn)健性評估系統(tǒng)402的數(shù)據存儲需求。除了別的以外， 數(shù)據庫407可以保留場景的圖像。數(shù)據庫407可以是任何計算機存儲器。其可以是隨機存取存儲器或平面文件、或在一個或多個數(shù)據庫服務器上執(zhí)行的一個或多個數(shù)據庫管理系統(tǒng)(DBMS)。數(shù)據庫管理系統(tǒng)可以是關系(RDBMS)、分層(HDBMS)、多維(MDBMS)、面向對象 (0DBMS或00DBMQ或對象關系(0RDBMQ數(shù)據庫管理系統(tǒng)。例如，數(shù)據庫407可以是單一關系數(shù)據庫，例如Microsoft Corporation的SQL服務器。用戶401是視覺注意穩(wěn)健性評估系統(tǒng)的任何用戶。在一些實施例中，視覺注意穩(wěn)健性評估系統(tǒng)402非常容易使用，使得不熟悉視覺顯著性理論的人員可以使用該系統(tǒng)來評估對象、區(qū)域或場景的穩(wěn)健性。用戶401可以是評估標牌和非標牌對象在它們的環(huán)境內的定位的商業(yè)實體雇用的顧問或為其工作的雇員。用戶401還可以是對評估其中頁面的視覺特性可以改變的網頁上的數(shù)字對象(例如廣告)的設計和布局感興趣的內容設計者。圖8是視覺注意穩(wěn)健性評估系統(tǒng)的一個替代實施例，其中視覺注意穩(wěn)健性評估系統(tǒng)另外包括網絡服務器模塊501。為方便起見，網絡服務器模塊501示出為視覺注意穩(wěn)健性評估系統(tǒng)402的一部分。然而，網絡服務器模塊可以具體化為計算機系統(tǒng)408上運行的在單獨存儲空間中的軟件模塊?；蛘呔W絡服務器模塊501可以在經由網絡連接到視覺注意穩(wěn)健性評估系統(tǒng)402的獨立計算機系統(tǒng)上。Web服務器模塊501提供用戶401可以經其通過客戶端計算機503并通過網絡502 與視覺注意穩(wěn)健性評估系統(tǒng)402溝通的界面。在一種配置中，web模塊501執(zhí)行網頁服務器軟件，例如Microsoft Corporation (Redmond, Washington)的互聯(lián)網信息月艮務器(Internet Information Server) 0網絡服務器模塊501通過使用(例如)動態(tài)服務器頁面(Active Server Pages)、超文本標記語言(HTML)或動態(tài)HTML編寫的網頁、Active X模塊、Lotus腳本、Java腳本、Java小程序、分布式組件對象模塊(DCOM)等等來提供與遠程用戶401交互的機制。盡管舉例說明為在由計算機系統(tǒng)408提供的操作環(huán)境內執(zhí)行的“服務器端”軟件模塊，但包括視覺注意穩(wěn)健性評估系統(tǒng)402的功能模塊可以容易地實現(xiàn)為在由用戶401使用的諸如客戶端計算機503之類的計算設備上執(zhí)行的“客戶端”軟件模塊。視覺注意穩(wěn)健性評估系統(tǒng)402可以(例如)實現(xiàn)為由網頁瀏覽器執(zhí)行的Active X模塊，所述網頁瀏覽器在客戶端計算機503上執(zhí)行。網絡502可以是任何類型的網絡(公共網絡或專用網絡)。在一個實施例中，網絡 502是互聯(lián)網。圖7和圖8中的用戶401可以是互聯(lián)網的任何用戶。在一個實施例中，用戶401 可以經許可預先安排訪問視覺注意穩(wěn)健性評估系統(tǒng)的功能。圖9是說明視覺注意穩(wěn)健性評估系統(tǒng)402評估場景內對象或場景本身的穩(wěn)健性可采用的流程的一個實施例的高級流程圖。首先，調用視覺注意模塊，并向其提供場景輸入 (步驟601)。然后從視覺注意模塊接收場景內所預測的對象(步驟60 。然后，模型預測具有較高相對顯著性的位置/對象/區(qū)域的一些指示被存儲到數(shù)據庫(步驟60 。確切地說，存儲在數(shù)據庫中的內容很大程度上取決于從步驟602中視覺注意模塊接收的輸出類型。在一個實施例中，數(shù)據庫存儲關于到達閾值顯著性值的對象的信息。在另一個實施例中，數(shù)據庫存儲值的矩陣(圖像中辨認的每個對象一個值)，并存儲(例如)對象到達閾值顯著性值的次數(shù)。然后，進行檢查以查看處理是否完成(步驟60 。在一個實施例中，這種檢查可以確定當前迭代是否已超出由用戶401最初設置的迭代次數(shù)。在另一個實施例中， 迭代次數(shù)可以由算法確定。在又一個實施例中，迭代次數(shù)可以由場景的特性或者由關于穩(wěn)健性測量的統(tǒng)計數(shù)據確定。例如，如果嘗試確定在特定場所兩副廣告中哪副更好，則可以運行該算法，直到兩幅廣告的穩(wěn)健性值之間有統(tǒng)計學上可靠的效果。如果穩(wěn)健性評估未完成(步驟605 “否”)，則將IE變化引入視覺注意模塊的視覺注意模型或場景輸入。IE變化可以分為兩類結構化的和隨機的。隨機變動是不相關的變動。例如，場景中的隨機變動可以包括各個像素顏色和/或亮度的隨機變化。在這種情況下，像素變化是不相關的。相比之下，結構化變動在正被修改的元素之間具有相關性。例如，通過模擬場景內對象的運動或添加或移除場景內對象而修改的場景將構成結構化場景變動。在這種情況下，像素修改的變化是相關的。隨機內部變化可以包括被視覺注意模塊利用的注意模型中的隨機變化。在另一方面，結構化變動可以是注意映射的一部分中相比于另一部分中的注意的程序性偏倚產生變動的方法類型匯總于表1。引入IE變化的子處理在下面進一步詳細說明。表 權利要求
1.一種計算機實現(xiàn)的方法，其包括 接收從在一個3D場景內取得的多幅圖像；接收識別出現(xiàn)在所述多幅圖像中的對象中的至少一些的輸入； 用視覺注意模型分析所述多幅圖像；以及，基于所述分析確定在所述多幅圖像中的易于接收視覺注意的所識別的對象。
2.根據權利要求1所述的計算機實現(xiàn)的方法，還包括 另外確定易于接收視覺注意的所述對象是否具有穩(wěn)健性。
3.根據權利要求1所述的計算機實現(xiàn)的方法，其中所述多幅圖像由定位在環(huán)境內多個位置處的成像裝置生成。
4.根據權利要求1所述的計算機實現(xiàn)的方法，其中所述多幅圖像由計算機程序通過虛擬場景生成。
5.根據權利要求3所述的計算機實現(xiàn)的方法，還包括基于所述分析確定在所述多幅圖像中的不易接收視覺注意的所識別的對象。
6.根據權利要求1所述的計算機實現(xiàn)的方法，其中識別包括 從用戶處接收識別特定對象的邊界的輸入。
7.根據權利要求1所述的計算機實現(xiàn)的方法，其中識別包括 自動計算特定對象的邊界。
8.根據權利要求4所述的計算機實現(xiàn)的方法，其中識別包括 從所述計算機程序處接收所述對象的邊界。
9.根據權利要求1所述的計算機實現(xiàn)的方法，還包括 接收定義在所述3D場景內取得圖像的位置的信息；生成識別特定的所識別的對象易于接收視覺注意的在所述3D內的位置的報告。
10.根據權利要求1所述的計算機實現(xiàn)的方法，還包括基于所述分析確定至少一個特定對象在所述多幅圖像中的至少兩幅上是否具有穩(wěn)健性。
11.根據權利要求1所述的計算機實現(xiàn)的方法，還包括接收與3D場景內的位置有關的特定對象應當可見并得到視覺注意的視覺目標；以及， 生成指示所述視覺目標是否實現(xiàn)的報告。
12.—種計算機實現(xiàn)的方法，包括定義3D場景的至少一個視覺目標，所述場景由多個對象構成，所述視覺目標指示期望被視覺注意模型預測為被注意到的所述場景中的至少一個對象，并另外指示應當從其注意所述至少一個對象的視角；從所述3D場景內的多個視角接收多幅圖像； 接收定義所述場景內至少一些對象的容許變化的輸入； 將成本估計分配到所述容許變化的至少一些；自動修改與所定義的容許變化相一致的所述多個對象中的一些，以便產生修改圖像； 用視覺注意模型評估所述修改圖像；以及，基于所述評估確定實現(xiàn)所述場景的所述至少一個視覺目標的所述修改場景中的至少一些。
13.一個計算機系統(tǒng)，包括處理器和存儲器；以及，多視角場景分析模塊，其可操作用于至少(1)接收從在3D場景內取得的多幅圖像；(2)識別出現(xiàn)在所述圖像中的至少一些對象；(3)將視覺注意模塊應用到所述圖像，所述視覺注意模塊可操作用于預測易于接收視覺注意的所述圖像內的對象；以及，(4)確定所識別的對象中的哪些被所述視覺注意模塊預測。
14.根據權利要求13所述的計算機系統(tǒng)，其中所述多視角場景分析模塊還可操作用于確定易于在全部所述多幅圖像中接收注意的所識別的對象。
15.根據權利要求13所述的計算機系統(tǒng)，還包括(5)穩(wěn)健性評估模塊，其可操作用于確定所識別的對象或圖像是否具有穩(wěn)健性或具有穩(wěn)健性的程度。
16.根據權利要求13所述的計算機系統(tǒng)，其中識別顯現(xiàn)在所述圖像中的所述對象中的至少一些是自動完成的。
17.根據權利要求13所述的計算機系統(tǒng)，還包括用戶接口模塊，其可操作用于向用戶傳送指示在多幅圖像上預測的所述對象中的所述至少一些的信息。
18.根據權利要求1所述的計算機實現(xiàn)的方法，其中從在3D場景內取得圖像包括從多個視角取得至少一個對象的多幅圖像。
全文摘要
本發(fā)明涉及將視覺注意建模技術用于從多個視角評估場景的系統(tǒng)和方法。
文檔編號G06T19/00GK102227748SQ200980147507
公開日2011年10月26日 申請日期2009年10月1日 優(yōu)先權日2008年10月3日
發(fā)明者布拉因·J·斯坦凱維奇, 布賴恩·E·布魯克斯, 布賴恩·L·林茲, 戴維·K·麥斯米爾, 格蘭·E·卡斯納爾, 納森·J·安德森, 蒂莫西·J·加德納, 邁克爾·凱利·卡那萬 申請人:3M創(chuàng)新有限公司