專利名稱：提供具有感知深度的視頻的攝像機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于從使用單個視角圖像捕獲裝置所捕獲的視頻提供具有感知深度的視頻的方法。
背景技術(shù)：
一場景的立體圖像通常是通過組合具有所述同一場景的不同視角的兩個或兩個以上圖像而產(chǎn)生。通常，用圖像捕獲裝置同時捕獲立體圖像，所述圖像捕獲裝置具有被分離一距離以提供場景的不同視角的兩個(或兩個以上)圖像捕獲裝置。然而，此立體圖像捕獲方法需要具有兩個(或兩個以上)圖像捕獲裝置的更復雜的圖像捕獲系統(tǒng)。已提議用于產(chǎn)生立體視頻的方法，其中使用單個圖像捕獲裝置以捕獲包含視頻圖像時間序列的視頻，且接著修改所述視頻以產(chǎn)生具有感知深度的視頻。在N·小卡夫賴爾(N. Cafarell, Jr.)的名為“準立體視覺系統(tǒng)(Quasi-stereoscopic systems) ”的美國專利·2，865，988中，揭示一種方法，其中從用單個視角圖像捕獲裝置所捕獲的視頻提供具有感知深度的視頻。具有感知深度的視頻是通過向觀看者的左眼及右眼展示視頻圖像而產(chǎn)生，其中向左眼及右眼所展示的視頻圖像的時序相差恒定幀偏移(frame offset)，使得一只眼睛在時間序列上比另一只眼睛更早地接收視頻圖像。由于在場景內(nèi)相機的位置及對象的位置通常隨著時間而變化，所以時間感知差被觀看者的大腦解譯為深度。然而，因為在場景中圖像捕獲裝置及對象的運動量通常隨著時間而變化，所以深度感知常常不一致。達索(Dasso)的名為“電子三維觀看系統(tǒng)(Electronicthree-dimensionalviewingsystem) ”的美國專利5，701, 154也從用單個視角圖像捕獲裝置所捕獲的視頻提供具有感知深度的視頻。具有感知深度的視頻是通過向觀看者的左眼及右眼提供視頻而產(chǎn)生，其中在被呈現(xiàn)給觀看者的左眼及右眼的視頻之間具有恒定幀偏移(例如，一到五個幀)。在此專利中，被呈現(xiàn)給左眼及右眼的視頻圖像的不同之處也可在于被呈現(xiàn)給一只眼睛的視頻圖像相較于被呈現(xiàn)給另一只眼睛的視頻圖像可被移動位置、放大或增亮以進一步增強感知深度。然而，在具有恒定幀偏移的情況下，深度感知將歸因于在視頻捕獲期間存在的變化運動而再次不一致。在納特斯(Nattress)的名為“用于使用計算機產(chǎn)生的3D圖形來組合圖像序列的系統(tǒng)(System for combining a sequence of images with computer-generated 3Dgraphics) ”的美國專利申請公開案2005/0168485中，描述一種用于組合圖像序列與計算機產(chǎn)生的三維動畫的系統(tǒng)。此專利申請案的方法包括當捕獲序列中的每一圖像時測量圖像捕獲裝置的位置，以使更易于識別圖像捕獲裝置的視角且借此使更易于組合經(jīng)捕獲圖像與動畫中的計算機產(chǎn)生的圖像。一種用于用單個視角圖像捕獲裝置所捕獲的視頻到具有感知深度的視頻的捕獲后轉(zhuǎn)換的方法被揭示于納斯克(Naske)等人的名為“用于2D/3D圖像轉(zhuǎn)換及優(yōu)化的方法及系統(tǒng)(Methods and systems for 2D/3D image conversion and optimization) ” 的美國專利申請公開案2008/0085049中。在此方法中，將依序視頻圖像彼此比較以確定在場景中的運動方向及速率。產(chǎn)生第二視頻，第二視頻相較于經(jīng)捕獲視頻具有幀偏移，其中當在依序視頻圖像彼此的比較中檢測到快速運動或垂直運動時減少幀偏移以避免假影。然而，在場景中相機及對象的運動量將仍隨著時間而變化，且因此，深度感知將仍不一致且將隨著在視頻捕獲期間存在的運動而變化。在美國專利申請公開案2009/0003654中，使用圖像捕獲裝置的經(jīng)測量位置以從已用圖像捕獲裝置在不同位置中所捕獲的圖像對確定范圍映射(range map)。仍然需要從用單個視角圖像捕獲裝置所捕獲的視頻提供具有感知深度的視頻，其中當在場景中存在圖像捕獲裝置或?qū)ο蟮牟灰恢逻\動時，具有感知深度的視頻具有改善的圖像質(zhì)量及改善的深度感知
發(fā)明內(nèi)容
本發(fā)明表示一種用于提供具有感知深度的視頻的視頻圖像捕獲裝置，所述視頻圖像捕獲裝置包含圖像傳感器，其用于捕獲視頻幀；光學系統(tǒng)，其用于將場景從單個視角成像到所述圖像傳感器上；數(shù)據(jù)存儲系統(tǒng)，其用于存儲通過所述圖像傳感器捕獲的視頻圖像序列；位置感測裝置，其用于針對所述視頻圖像序列而感測所述圖像捕獲裝置的相對位置；存儲構(gòu)件，其用于與經(jīng)存儲視頻圖像序列相關(guān)聯(lián)地將所述圖像捕獲裝置的所述經(jīng)感測相對位置的指示存儲于所述數(shù)據(jù)存儲系統(tǒng)上；數(shù)據(jù)處理器；存儲器系統(tǒng)，其以通信方式連接到所述數(shù)據(jù)處理器且存儲經(jīng)配置以使所述數(shù)據(jù)處理器通過如下步驟來提供具有感知深度的視頻的指令響應(yīng)于所述圖像捕獲裝置的所述經(jīng)存儲相對位置來選擇視頻圖像立體像對；及提供具有感知深度的視頻，所述視頻包括所述視頻圖像立體像對的序列。本發(fā)明具有如下優(yōu)點可使用用單個視角圖像捕獲裝置所捕獲的場景的視頻圖像來提供具有感知深度的視頻圖像。具有感知深度的視頻是響應(yīng)于圖像捕獲裝置的相對位置而形成，以便提供感知深度的更一致的感覺。本發(fā)明具有如下另外優(yōu)點當檢測到與產(chǎn)生具有感知深度的視頻圖像不一致的圖像捕獲裝置的運動時，可提供不具有感知深度的圖像。


參看以下圖式來更好地理解本發(fā)明的實施例。圖I為視頻圖像捕獲裝置的框圖；圖2A為在視野中具有三個對象的視頻圖像捕獲裝置的說明；圖2B為將用來自圖2A的視頻圖像捕獲裝置所捕獲的圖像的說明；圖3A為圖2A的視頻圖像捕獲裝置的說明，其中已通過橫向地移位視頻圖像捕獲裝置而改變視野；圖3B為將用來自圖3A的視頻圖像捕獲裝置所捕獲的圖像的說明；
圖4A為圖2A的視頻圖像捕獲裝置的說明，其中已通過旋轉(zhuǎn)視頻圖像捕獲裝置而改變視野；圖4B為將用來自圖4A的視頻圖像捕獲裝置所捕獲的圖像的說明；圖5A為來自圖2B及圖3B的覆蓋圖像的說明，其展示圖像的立體失配；圖5B為來自圖2B及圖4B的覆蓋圖像的說明，其展示圖像的立體失配；圖6A為根據(jù)本發(fā)明的一個實施例的用于形成具有感知深度的視頻的方法的流程圖；圖6B為根據(jù)本發(fā)明的另外實施例的用于形成具有感知深度的視頻的方法的流程圖；
圖7為具有內(nèi)建式運動追蹤裝置的可卸除式存儲卡的說明；圖8為具有內(nèi)建式運動追蹤裝置的可卸除式存儲卡的框圖，可卸除式存儲卡包括為在卡可卸除式存儲卡內(nèi)部形成具有感知深度的視頻圖像所需要的組件；及圖9為經(jīng)受MPEG編碼的視頻幀序列的示意圖。
具體實施例方式產(chǎn)生具有感知深度的圖像需要以使得觀看者的左眼及右眼觀看不同視角圖像的方式來呈現(xiàn)具有不同視角的兩個或兩個以上圖像。對于立體圖像的最簡單狀況，以立體像對的形式向觀看者呈現(xiàn)具有不同視角的兩個圖像，其中立體像對包含用于觀看者的左眼的圖像及用于觀看者的右眼的圖像。具有感知深度的視頻包含被依序地呈現(xiàn)給觀看者的一系列立體像對。本發(fā)明提供一種用于從使用僅具有單個視角的視頻圖像捕獲裝置所捕獲的視頻產(chǎn)生具有感知深度的視頻的方法。通常，通過具有一個電子圖像捕獲單元的視頻圖像捕獲裝置來提供單個視角，所述電子圖像捕獲單元包含一個透鏡及一個圖像傳感器。然而，本發(fā)明同等地適用于具有一個以上電子圖像捕獲單元、一個以上透鏡或一個以上圖像傳感器的視頻圖像捕獲裝置，前提是一次使用僅一個電子圖像捕獲單元或僅一個透鏡及一個圖像傳感器以捕獲視頻。參看圖1，在特定實施例中，展示視頻圖像捕獲裝置10的組件，其中組件布置于提供結(jié)構(gòu)支撐及保護的機身中。機身可變化以滿足特定使用的要求及式樣考慮。安裝于視頻圖像捕獲裝置10的機身中的電子圖像捕獲單元14至少具有取像透鏡16及與取像透鏡16對準的圖像傳感器18。來自場景的光沿著光徑20傳播通過取像透鏡16且照在圖像傳感器18上，從而產(chǎn)生模擬電子圖像。所使用的圖像傳感器類型可變化，但在優(yōu)選實施例中，圖像傳感器為固態(tài)圖像傳感器。舉例來說，圖像傳感器可為電荷耦合裝置(CCD)、CMOS傳感器(CMOS)或電荷注入裝置(CID)。通常，電子圖像捕獲單元14將也包括與圖像傳感器18相關(guān)聯(lián)的其它組件。典型圖像傳感器18附有充當時鐘驅(qū)動器(在本文中也被稱為時序產(chǎn)生器)、模擬信號處理器(ASP)及模/數(shù)轉(zhuǎn)換器/放大器(A/D轉(zhuǎn)換器)的分離的組件。這些組件常常連同圖像傳感器18被并入到單個單元中。舉例來說，用允許將其它組件集成到同一半導體裸片上的過程來制造CMOS圖像傳感器。通常，電子圖像捕獲單元14用三個或三個以上彩色通道來捕獲圖像。當前優(yōu)選的是，將單個圖像傳感器18連同彩色濾光片陣列一起使用，然而，也可使用多個圖像傳感器及不同類型的濾光片。合適濾光片是所屬領(lǐng)域的技術(shù)人員眾所周知的，且在一些狀況下與圖像傳感器18合并以提供一體式組件。來自圖像傳感器18的每一像素的電信號與到達所述像素的光的強度及允許所述像素積聚或積分來自入射光的信號的時間長度兩者有關(guān)。此時間被稱為積分時間(integration time)或曝光時間(exposure time)。積分時間是通過可在打開狀態(tài)與關(guān)閉狀態(tài)之間切換的快門22控制?？扉T22可為機械的、機電的，或可被提供為電子圖像捕獲單元14的硬件及軟件的邏輯功能。舉例來說，一些類型的圖像傳感器18允許通過重設(shè)圖像傳感器18且接著在稍后某一時間讀出圖像傳感器18來電子地控制積分時間。當使用CCD圖像傳感器時，可通過在非感光區(qū)域中所提供的光屏蔽寄存器下移位所積聚的電荷來提供積分時間的電子控制。此光屏蔽寄存器可用于
所有像素(如在幀傳遞裝置CCD中)，或可呈在像素行或列之間的行或列的形式(如在線間傳遞裝置CCD中)。合適裝置及程序為所屬領(lǐng)域的技術(shù)人員所眾所周知。因此，時序產(chǎn)生器24可提供針對圖像傳感器18上的像素而控制何時發(fā)生積分時間以捕獲圖像的方式。在圖I的視頻圖像捕獲裝置10中，快門22及時序產(chǎn)生器24聯(lián)合地確定積分時間?？傮w光強度及積分時間的組合被稱為曝光。曝光與圖像傳感器18的敏感性及噪聲特性的組合確定在經(jīng)捕獲圖像中所提供的信噪比?？赏ㄟ^光強度及積分時間的各種組合來實現(xiàn)等效曝光。盡管曝光是等效的，但基于場景的特性或相關(guān)聯(lián)的信噪比，光強度及積分時間的特定曝光組合可能比用于捕獲場景的圖像的其它等效曝光優(yōu)選。盡管圖I展示若干曝光控制元件,但一些實施例可能不包括這些元件中的一者或一者以上，或可存在用于控制曝光的替代性機構(gòu)。視頻圖像捕獲裝置10可具有對所說明的特征的替代性特征。舉例來說，也充當光闌的快門為所屬領(lǐng)域的技術(shù)人員所眾所周知。在所說明的視頻圖像捕獲裝置10中，濾光片組合件26及光圈28修改圖像傳感器18處的光強度。每一者可為可調(diào)整的。光圈28使用機械光闌或可調(diào)整光圈(未圖示)以阻擋光徑20中的光來控制到達圖像傳感器18的光的強度。光圈的大小可為可連續(xù)調(diào)整的、步進式的，或以另外方式變化。作為替代例，光圈28可移入及移出光徑20。濾光片組合件26可同樣地變化。舉例來說，濾光片組合件26可包括一組不同中性密度濾光片，所述中性密度濾光片可旋轉(zhuǎn)或以另外方式移入光徑。其它合適濾光片組合件及光圈為所屬領(lǐng)域的技術(shù)人員所眾所周知。視頻圖像捕獲裝置10具有光學系統(tǒng)44，光學系統(tǒng)44包括取像透鏡16且還可包括用以幫助操作者構(gòu)成待捕獲圖像的取景器的組件(未圖示)。光學系統(tǒng)44可采取許多不同形式。舉例來說，取像透鏡16可與光學取景器完全地分離或可包括具有提供于內(nèi)部顯示器上方的目鏡的數(shù)字取景器，在內(nèi)部顯示器中，在圖像捕獲之前及之后連續(xù)地展示預(yù)覽圖像。其中，預(yù)覽圖像通常為連續(xù)地捕獲的較低分辨率圖像。取景器透鏡單元及取像透鏡16也可共享一個或一個以上組件。這些及其它替代性光學系統(tǒng)的細節(jié)為所屬領(lǐng)域的技術(shù)人員所眾所周知。出于方便起見，在下文中關(guān)于具有可用以觀看場景的預(yù)覽圖像(通常進行此操作以在用例如數(shù)字攝像機的圖像捕獲裝置進行捕獲之前構(gòu)成圖像)的相機上數(shù)字取景器顯示器76或圖像顯示器48的實施例來大體論述光學系統(tǒng)44。取像透鏡16可為簡單的，例如，具有單個焦距及手動聚焦或固定焦點，但此情形不是優(yōu)選的。在圖I所示的視頻圖像捕獲裝置10中，取像透鏡16為機動化變焦透鏡，其中一透鏡元件或多個透鏡元件是通過變焦控制件(zoom control) 50而相對于其它透鏡元件被驅(qū)動。此情形允許改變透鏡的有效焦距。代替或結(jié)合光學變焦，還可使用數(shù)字變焦(數(shù)字圖像的數(shù)字放大)。取像透鏡16還可包括透鏡元件或透鏡群組(未圖示)，可通過宏控制件(macro contool) 52而從光徑插入或移除所述透鏡元件或透鏡群組，以便提供宏(緊密聚焦(close focus))能力。視頻圖像捕獲裝置10的取像透鏡16也可為自動聚焦。舉例來說，自動聚焦系統(tǒng)可提供使用被動式自動聚焦或主動式自動聚焦或所述兩者的組合的聚焦。參看圖I，取像透鏡16的多個聚焦元件(未分離地圖示)中的一者是通過聚焦控制件(focus control) 54驅(qū)動，以將來自場景中的特定距離的光聚焦到圖像傳感器18上。自動聚焦系統(tǒng)可通過用不同透鏡聚焦設(shè)定來捕獲預(yù)覽圖像而操作，或自動聚焦系統(tǒng)可具有測距儀56，測距儀56具有將與從視頻圖像捕獲裝置10到場景的距離有關(guān)的信號發(fā)送到系統(tǒng)控制器66的一個或一個以上感測元件。系統(tǒng)控制器66進行預(yù)覽圖像或來自測距儀的信號的聚焦分析，且接著操作聚焦控制件54以移動取像透鏡16的可聚焦透鏡元件(未分離地說明)。自動聚焦方法在 所屬領(lǐng)域中是眾所周知的。視頻圖像捕獲裝置10包括用以測量場景的亮度的構(gòu)件?？赏ㄟ^分析預(yù)覽圖像中的像素碼值或經(jīng)由使用亮度傳感器58而進行亮度測量。在圖I中，將亮度傳感器58展示為一個或一個以上分離組件。也可將亮度傳感器58提供為電子圖像捕獲單元14的硬件及軟件的邏輯功能。亮度傳感器58可用以提供表示場景的光強度的一個或一個以上信號以用于選擇一個或一個以上圖像傳感器18的曝光設(shè)定。作為一選項，來自亮度傳感器58的信號也可提供色彩平衡信息?？捎靡蕴峁﹫鼍罢彰骷吧手抵械囊徽呋虼藘烧咔遗c電子圖像捕獲單元14分離的合適亮度傳感器58的實例被揭示于美國專利4，887，121中?？赏ㄟ^自動曝光控制件(autoexposure control)來確定曝光。自動曝光控制件可實施于系統(tǒng)控制器66內(nèi)且可選自此項技術(shù)中已知的自動曝光控制件，其實例被揭不于美國專利5，335，041中?；诖上駡鼍暗牧炼葴y量(如通過亮度傳感器58提供，或如通過從預(yù)覽圖像中的像素值的測量提供)，電子成像系統(tǒng)通常使用自動曝光控制處理以確定將得到具有有效亮度及良好信噪比的圖像的有效曝光時間te。在本發(fā)明中，通過自動曝光控制件確定的曝光時間te是用于捕獲預(yù)覽圖像，且接著可經(jīng)修改以用于基于場景亮度及預(yù)期運動模糊(motion blur)來捕獲存檔圖像捕獲，其中存檔圖像為在已基于本發(fā)明的方法界定捕獲條件(包括曝光時間)之后所捕獲的最終圖像。所屬領(lǐng)域的技術(shù)人員應(yīng)認識到，曝光時間越短，則運動模糊越少，且越多噪聲將存在于存檔圖像中。圖I的視頻圖像捕獲裝置10任選地包括閃光單元60，閃光單元60具有電子控制型閃光燈61 (例如，氙閃光管或LED)。通常，當使用視頻圖像捕獲裝置10以捕獲靜態(tài)圖像時，將僅使用閃光單元60?？扇芜x地提供閃光傳感器62，其在存檔圖像捕獲期間響應(yīng)于從場景所感測的光而輸出信號，或在存檔圖像捕獲之前經(jīng)由預(yù)閃光而輸出信號。在通過專用閃光控制件63來控制閃光單元的輸出時使用閃光傳感器信號，或依據(jù)控制單元65而使用閃光傳感器信號?；蛘撸W光輸出可基于其它信息(例如，聚焦距離)而固定或變化。可將閃光傳感器62及亮度傳感器58的功能組合于捕獲單元及控制單元的單個組件或邏輯功能中。
圖像傳感器18接收場景的圖像(如通過取像透鏡16提供)且將所述圖像轉(zhuǎn)換為模擬電子圖像。可通過圖像傳感器驅(qū)動器來操作電子圖像傳感器18?？梢远喾N捕獲模式來操作圖像傳感器18,所述捕獲模式包括各種格化存儲布置(binning arrangement)。格化存儲布置確定是使用像素以個別地收集經(jīng)光電產(chǎn)生電荷，借此在捕獲期間以完全分辨率而操作，還是將像素與鄰近像素電連接在一起，借此在捕獲期間以較低分辨率操作。格化存儲比率描述在捕獲期間電連接在一起的像素的數(shù)目。較高格化存儲比率指示更多像素在捕獲期間電連接在一起，以對應(yīng)地增加經(jīng)格化存儲像素的敏感性且縮減圖像傳感器的分辨率。典型格化存儲比率包括(例如)2X、3X、6X及9X。以格化存儲模式被格化存儲在一起的鄰近像素的分布也可變化。通常，類似色彩的鄰近像素被格化存儲在一起以使色彩信息保持一致(如通過圖像傳感器提供)。本發(fā)明可同等地應(yīng)用于具有其它類型的格化存儲模式的圖像捕獲裝置?？刂茊卧?5控制或調(diào)整曝光調(diào)節(jié)元件及其它相機元件、促進圖像及其它信號的傳遞，且執(zhí)行與圖像有關(guān)的處理。圖I所示的控制單元65包括系統(tǒng)控制器66、時序產(chǎn)生器24、模擬信號處理器68、模/數(shù)(A/D)轉(zhuǎn)換器80、數(shù)字信號處理器70，及各種存儲器(DSP存 儲器72a、系統(tǒng)存儲器72b、存儲卡72c (連同存儲卡接口 83及插口 82)及程序存儲器72d)。用于控制單元65的元件的合適組件為所屬領(lǐng)域的技術(shù)人員所已知?？扇缢信e來提供這些組件，或可通過單個物理裝置或通過較大數(shù)目個分離組件來提供這些組件。系統(tǒng)控制器66可采取經(jīng)適當配置的微計算機(例如，具有RAM用于數(shù)據(jù)操縱及通用程序執(zhí)行的嵌入式微處理器)的形式?？刂茊卧?5的修改是實際的，例如，在本文中的別處所描述的修改。時序產(chǎn)生器24以時序關(guān)系向所有電子組件供應(yīng)控制信號。將個別視頻圖像捕獲裝置10的校準值存儲于校準存儲器(未單獨地說明)(例如，EEPR0M)中，且供應(yīng)到系統(tǒng)控制器66。用戶接口(下文所論述)的組件連接到控制單元65，且通過使用在系統(tǒng)控制器66上執(zhí)行的軟件程序的組合而起作用?？刂茊卧?5還操作各種控制件以及相關(guān)聯(lián)的驅(qū)動器及存儲器，包括變焦控制件50、聚焦控制件54、宏控制件52、顯示器控制器64，及用于快門
22、光圈28、濾光片組合件26、取景器顯示器76及狀態(tài)顯示器74的其它控制件(未圖示)。視頻圖像捕獲裝置10可包括用以提供補充經(jīng)捕獲圖像信息或預(yù)捕獲信息的信息的其它組件。這些補充信息組件的實例為圖I所說明的定向傳感器78及位置傳感器79。定向傳感器78可用以感測視頻圖像捕獲裝置10是被定向于橫向模式中還是被定向于縱向模式中。位置傳感器79可用以感測視頻圖像捕獲裝置10的位置。舉例來說，位置傳感器79可包括用于感測相機的位置中的移動的一個或一個以上加速度計。或者，位置傳感器79可為從全球定位系統(tǒng)衛(wèi)星接收信號以確定絕對地理位置的GPS接收器。用以提供補充信息的組件的其它實例包括實時時鐘、慣性位置測量傳感器，及用于輸入用戶標題或其它信息的數(shù)據(jù)輸入裝置(例如，小鍵盤或觸摸式屏幕)。應(yīng)理解，可用為所屬領(lǐng)域的技術(shù)人員所眾所周知的多種方式來修改所展示及描述的電路。還應(yīng)理解，或者，可將此處在物理電路方面所描述的各種特征提供為固件功能或軟件功能或所述兩者的組合。同樣，可方便地組合或共享在本文中被說明為分離單元的組件。可將多個組件提供于分散的位置中。通過模擬信號處理器68及A/D轉(zhuǎn)換器80將來自圖像傳感器18的初始電子圖像放大且從模擬轉(zhuǎn)數(shù)字地轉(zhuǎn)換為數(shù)字電子圖像，接著使用DSP存儲器72a在數(shù)字信號處理器70中處理數(shù)字電子圖像，且將數(shù)字電子圖像存儲于系統(tǒng)存儲器72b或可卸除式存儲卡72c中。信號線(被說明為數(shù)據(jù)總線81)電子地連接圖像傳感器18、系統(tǒng)控制器66、數(shù)字信號處理器70、圖像顯示器48及其它電子組件；且提供用于地址及數(shù)據(jù)信號的路徑?！按鎯ζ鳌敝复峁┯诎雽w存儲器或磁性存儲器或類似裝置中的物理存儲器的一個或一個以上合適大小的邏輯單元。DSP存儲器72a、系統(tǒng)存儲器72b、存儲卡72c及程序存儲器72d可各自為任何類型的隨機存取存儲器。舉例來說，存儲器可為內(nèi)部存儲器(例如，快閃EPROM存儲器)，或者為可卸除式存儲器(例如，緊密閃存卡)，或此兩者的組合?？商峁┛尚冻酱鎯?2c以用于存檔圖像存儲?？尚冻酱鎯?2c可為任何類型，例如，插入到插口 82中且經(jīng)由存儲卡接口 83而連接到系統(tǒng)控制器66的緊密快閃(CompactFlash ；CF)或安全數(shù)字(Secure Digital ；SD)型卡。所利用的其它類型的存儲裝置包括(但不限于)PC卡或多媒體卡(MMC)。控制單元65、系統(tǒng)控制器66及數(shù)字信號處理器70可通過存儲于用于圖像存儲的·同一物理存儲器中的軟件予以控制，但優(yōu)選的是，控制單元65、數(shù)字信號處理器70及系統(tǒng)控制器66是通過存儲于專用程序存儲器72d中(例如，存儲于ROM或EPROM固件存儲器·中)的固件予以控制。也可提供存儲器的分離專用單元以支持其它功能。經(jīng)存儲有經(jīng)捕獲圖像的存儲器可固定于視頻圖像捕獲裝置10中，或為可卸除式的，或為此兩者的組合。所使用的存儲器類型及信息存儲的方式(例如，光學的或磁性的或電子的)對于本發(fā)明的功能并不重要。舉例來說，可卸除式存儲器可為軟盤、CD、DVD、卡式磁帶，或閃存卡或存儲棒?？尚冻酱鎯ζ骺捎糜谝詳?shù)字形式將圖像記錄傳遞到視頻圖像捕獲裝置10及從視頻圖像捕獲裝置10傳遞圖像記錄，或那些圖像記錄可作為電子信號而(例如)經(jīng)由接口電纜或無線連接進行傳輸。在此實施例中，除了系統(tǒng)控制器66以外，數(shù)字信號處理器70也是兩個處理器或控制器中的一者。盡管在多個控制器及處理器當中相機功能控制的此分割是典型的，但可用各種方式組合這些控制器或處理器，而不影響相機的功能操作及本發(fā)明的應(yīng)用。這些控制器或處理器可包含一個或一個以上數(shù)字信號處理器裝置、微控制器、可編程邏輯裝置，或其它數(shù)字邏輯電路。盡管已描述這些控制器或處理器的組合，但應(yīng)顯而易見，一個控制器或處理器可執(zhí)行所有所需功能。所有這些變化均可執(zhí)行相同功能。在所說明實施例中，控制單元65及數(shù)字信號處理器70根據(jù)永久性地存儲于程序存儲器72d中且被復制到系統(tǒng)存儲器72b以供在圖像捕獲期間執(zhí)行的軟件程序來操縱DSP存儲器72a中的數(shù)字圖像數(shù)據(jù)?？刂茊卧?5及數(shù)字信號處理器70執(zhí)行為實踐圖像處理所必要的軟件。也可用與其它圖像捕獲裝置(例如，數(shù)字相機)中的方式相同的方式來修改數(shù)字圖像以增強數(shù)字圖像。舉例來說，可通過數(shù)字信號處理器70來處理數(shù)字圖像以提供內(nèi)插及邊緣增強。電子存檔圖像的數(shù)字處理可包括與文件傳遞有關(guān)的修改，例如，JPEG壓縮及文件格式化。也可用為所屬領(lǐng)域的技術(shù)人員所眾所周知的方式向元數(shù)據(jù)提供數(shù)字圖像數(shù)據(jù)。系統(tǒng)控制器66基于存儲于程序存儲器72d中的軟件程序來控制圖像捕獲裝置的總體操作，程序存儲器72d可包括快閃EEPROM或其它非易失性存儲器。此存儲器也可用以存儲校準數(shù)據(jù)、用戶設(shè)定選擇，及當關(guān)閉圖像捕獲裝置時必須保留的其它數(shù)據(jù)。系統(tǒng)控制器66通過如下步驟來控制圖像捕獲序列指導宏控制件52、閃光控制件63、聚焦控制件54、變焦控制件50及如先前所描述的捕獲單元組件的其它驅(qū)動器；指導時序產(chǎn)生器24操作圖像傳感器18及相關(guān)聯(lián)的元件；及指導控制單元65及數(shù)字信號處理器70處理經(jīng)捕獲圖像數(shù)據(jù)。在捕獲及處理圖像之后，將存儲于系統(tǒng)存儲器72b或DSP存儲器72a中的最終圖像文件經(jīng)由主機接口 84而傳遞到主機計算機、存儲于可卸除式存儲卡72c或其它存儲裝置上，且在圖像顯示器48上顯示給用戶。主機接口 84提供到個人計算機或其它主機計算機的高速連接以用于傳遞供顯示、存儲、操縱或打印的圖像數(shù)據(jù)。此接口可為IEEE1394或USB2. O串行接口，或任何其它合適數(shù)字接口。在所述方法中，以數(shù)字形式的圖像的傳遞可在物理媒體上進行，或作為經(jīng)傳輸電子信號而進行。在所說明的視頻圖像捕獲裝置10中，經(jīng)處理圖像被復制到系統(tǒng)存儲器72b中的顯示緩沖器，且經(jīng)由視頻編碼器86而被連續(xù)地讀出以產(chǎn)生用于預(yù)覽圖像的視頻信號。此信號通過顯示器控制器64或數(shù)字信號處理器70處理且在相機上圖像顯示器48上呈現(xiàn)為預(yù)覽圖像，或可直接從視頻圖像捕獲裝置10輸出以供顯示于外部監(jiān)視器上。視頻圖像在視頻圖像捕獲裝置10用于視頻捕獲的情況下是存檔的，且在作為預(yù)覽圖像而用于在靜態(tài)存檔圖像捕獲之前進行取景或圖像構(gòu)成的情況下是非存檔的。 視頻圖像捕獲裝置10具有用戶接口，用戶接口向操作者提供輸出且接收操作者輸入。用戶接口包括一個或一個以上用戶輸入控制件93及圖像顯示器48?？捎冒粹o組合、搖臂開關(guān)、游戲桿、旋轉(zhuǎn)式撥號盤、觸摸式屏幕及類似裝置的形式提供用戶輸入控制件93。用戶輸入控制件93可包括圖像捕獲按鈕、控制透鏡單元的變焦的“拉近/拉遠”(zoomin/out)控制件，及其它用戶控制件。用戶接口可包括一個或一個以上顯示器或指示器以向操作者呈現(xiàn)相機信息，例如，曝光水平、剩余曝光、電池狀態(tài)、閃光狀態(tài)，及類似信息。取而代之或另外，圖像顯示器48也可用以顯示非圖像信息，例如，相機設(shè)定。舉例來說，可提供圖形用戶接口(⑶I)，包括呈現(xiàn)選項選擇的菜單及用于檢查經(jīng)捕獲圖像的再觀看模式。圖像顯示器48及數(shù)字取景器顯示器76兩者均可提供相同功能，且可消除圖像顯示器48及數(shù)字取景器顯示器76中的一者或另一者。視頻圖像捕獲裝置10可包括揚聲器，揚聲器用于呈現(xiàn)與視頻捕獲相關(guān)聯(lián)的音頻信息，且代替在狀態(tài)顯示器74、圖像顯示器48或此兩者上描繪的視覺警告，或除了在狀態(tài)顯示器74、圖像顯示器48或此兩者上描繪的視覺警告以外，揚聲器還可提供音頻警告。用戶接口的組件連接到控制單元，且通過使用在系統(tǒng)控制器66上執(zhí)行的軟件程序的組合而起作用。電子圖像最終傳輸?shù)綀D像顯示器48，圖像顯示器48是通過顯示器控制器64操作?？墒褂貌煌愋偷膱D像顯示器48。舉例來說，圖像顯示器48可為液晶顯示器(IXD)、陰極射線管顯示器，或有機電致發(fā)光顯示器(OLED)。圖像顯示器48優(yōu)選地安裝于相機機身上，以便可容易地讓攝影者能觀看。作為將圖像展示于圖像顯示器48上的操作的一部分，視頻圖像捕獲裝置10可修改圖像以用于針對特定顯示器的校準。舉例來說，可提供修改每一圖像以在圖像顯示器48以及電子圖像捕獲單元14的圖像傳感器18及其它組件的灰度、色域及白點方面適應(yīng)不同能力的變換。優(yōu)選的是，選擇圖像顯示器48，以便準許展示整個圖像；然而，可使用更有限的顯示器。在后一種狀況下，圖像的顯示包括切掉圖像的部分或?qū)Ρ榷人交驁D像中信息的某一其它部分的校準步驟。
還應(yīng)理解，本文中所描述的視頻圖像捕獲裝置10不限于特定特征組，但是通過權(quán)利要求書界定的除外。舉例來說，視頻圖像捕獲裝置10可為專用攝像機，或可為能夠捕獲視頻序列的數(shù)字相機，其可包括本文中未詳細地論述的多種特征中的任一者，例如，可拆卸透鏡及可互換透鏡。視頻圖像捕獲裝置10也可為便攜型或位置固定型，且可提供與成像有關(guān)或無關(guān)的一個或一個以上其它功能。舉例來說，視頻圖像捕獲裝置10可為手機相機，或可用某一其它方式提供通信功能。同樣，視頻圖像捕獲裝置10可包括計算機硬件及計算機化設(shè)備。視頻圖像捕獲裝置10還可包括多個電子圖像捕獲單元14。圖2A展示視頻圖像捕獲裝置210及其相關(guān)聯(lián)的視野215的說明，其中三個對象(錐形對象220、球形對象230及矩形塊狀對象240)位于視野215中。所述對象經(jīng)定位成與圖像捕獲裝置相隔不同距離。圖2B展示視野215的經(jīng)捕獲圖像幀250 (如通過來自圖2A的視頻圖像捕獲裝置210捕獲)的說明。錐形對象位置260、球形對象位置270及矩形對象位置280分別指示在如圖2A中所見的視野215中錐形對象220、球形對象230及矩形塊狀對象240的位置。 圖3A及4A展示視野215如何隨著視頻圖像捕獲裝置210在各捕獲之間移動而改變。圖3A展示經(jīng)捕獲圖像幀350的說明，其對應(yīng)于針對在各捕獲之間視頻圖像捕獲裝置210的橫向移動d的視野改變。在此狀況下，視野215改變?yōu)橐曇?15，從而在經(jīng)捕獲圖像幀350內(nèi)產(chǎn)生新對象位置(錐形對象位置360、球形對象位置370及矩形塊狀對象位置380)。盡管所述對象(錐形對象220、球形對象230及矩形塊狀對象240)的相對位置在視野內(nèi)均被橫向地移位相同距離，但因為視野在場景中具有角形邊界，所以在經(jīng)捕獲圖像中對象的位置改變受到對象與視頻圖像捕獲裝置210相隔的距離影響。結(jié)果，比較圖2B與圖3B會展示在經(jīng)捕獲圖像中對象的位置針對圖像捕獲裝置的橫向移動如何改變。為了更清楚地顯現(xiàn)對象位置的改變(被稱為差異)，圖5A展示來自圖2B的經(jīng)捕獲圖像幀250與來自圖3B的經(jīng)捕獲圖像幀350的圖像覆蓋550。錐形對象220具有大錐形對象差異555，這是因為其最接近于視頻圖像捕獲裝置210。矩形塊狀對象240具有小矩形塊狀對象差異565，這是因為其最遠離于視頻圖像捕獲裝置210。球形對象230具有中等球形對象差異560，這是因為其具有離視頻圖像捕獲裝置210的中等距離。圖4A展示經(jīng)捕獲圖像幀450的說明，其對應(yīng)于針對在各捕獲之間視頻圖像捕獲裝置210的旋轉(zhuǎn)移動r的視野改變。對于視頻圖像捕獲裝置210的此旋轉(zhuǎn)移動，視野215改變?yōu)橐曇?15。在此狀況下，所述對象均移動相同角量，其在經(jīng)捕獲圖像幀中顯現(xiàn)為所有對象橫越圖像的橫向移動。比較圖2B與圖4B會展示出對象被移位到錐形對象位置460、球形對象位置470及矩形塊狀對象位置480。為了更清楚地顯現(xiàn)對象位置的改變，圖5B展示來自圖2B的經(jīng)捕獲圖像幀250與來自圖4B的經(jīng)捕獲圖像幀450的圖像覆蓋580。在此狀況下，錐形對象220具有錐形對象差異585，矩形塊狀對象240具有矩形塊狀對象差異595，且球形對象230具有球形對象差異590，所述差異的量值均大致相等。向觀看者的左眼及右眼呈現(xiàn)具有不同視角的圖像以產(chǎn)生深度感知為所屬領(lǐng)域的技術(shù)人員所眾所周知。同時地或以交替方式向觀看者呈現(xiàn)立體像對圖像的多種方法是可用的且在此項技術(shù)中是眾所周知的，所述方法包括基于偏光的顯示器；雙凸透鏡顯示器；障壁顯示器；基于快門-眼鏡的顯示器；立體圖顯示器；及其它顯示器。根據(jù)本發(fā)明所形成的具有感知深度的視頻可顯示于這些類型的立體顯示器中的任一者上。在一些實施例中，視頻圖像捕獲裝置可包括用于直接在視頻圖像捕獲裝置上觀看具有感知深度的視頻的構(gòu)件。舉例來說，雙凸透鏡陣列可安置于圖像顯示器48(圖I)上以使能夠直接觀看具有感知深度的視頻。如在此項技術(shù)中所眾所周知，立體圖像對中的左圖像及右圖像的列可接著經(jīng)交錯且顯示于雙凸透鏡陣列后方，使得左立體圖像及右立體圖像通過雙凸透鏡陣列而被引向觀看者的相應(yīng)左眼及右眼以提供立體圖像觀看。在替代性實施例中，可將立體圖像對編碼為立體像以供直接顯示于圖像顯示器48上。在此狀況下，用戶可直接使用具有用于每一眼睛的互補彩色濾光片的立體圖眼鏡來觀看具有感知深度的視頻。本發(fā)明提供一種用于通過從用單個視角視頻圖像捕獲裝置210所捕獲的視頻序列選擇立體像對來產(chǎn)生包含立體像對的具有感知深度的視頻的方法。所述方法的一特征在于每一立體像對中的視頻圖像是選自經(jīng)捕獲視頻序列，使得每一立體像對中的視頻圖像通過經(jīng)捕獲視頻序列中的數(shù)個視頻圖像而分離，使得所述立體像對提供所要視角差以提供感知深度。分離所述立體像對中的視頻圖像的視頻圖像的數(shù)目被稱為幀偏移。 當根據(jù)本發(fā)明來選擇立體像對的視頻圖像時，考慮圖像捕獲裝置的移動以確定適當幀偏移，以便在所述視頻圖像之間提供視角改變，其將在所述立體像對中提供合意的感知深度。在視頻捕獲期間視頻圖像捕獲裝置210的橫向移動(例如，圖3A所示的橫向移動)將提供深度感知，其隨著通過增加幀偏移來增加立體像對中的視頻圖像之間的橫向移動d或基線而增加。在此情境中，視野中的不同對象的感知深度將與對象離視頻圖像捕獲裝置210的實際距離相一致，這是因為更接近于圖像捕獲裝置的對象相較于更遠離于視頻圖像捕獲裝置210的對象將展現(xiàn)更多差異。(有時將差異稱為立體失配或視差。)圖5A中說明針對視頻圖像之間的橫向移動隨距離而變的此差異變化。與此對比，在視頻捕獲期間圖像捕獲裝置的旋轉(zhuǎn)移動(例如，圖4A所示的旋轉(zhuǎn)移動)將提供一感知深度，所述感知深度不與對象離圖像捕獲裝置的實際距離相一致，這是因為圖像捕獲裝置的純旋轉(zhuǎn)移動不提供對場景的新視角。實情為，其僅僅提供不同視野。結(jié)果，更接近于視頻圖像捕獲裝置210的對象將在立體像對中展現(xiàn)與更遠離于視頻圖像捕獲裝置210的對象相同的差異?？稍趫D5B中看到此效應(yīng)，圖5B展示分別來自圖2B的經(jīng)捕獲圖像幀250與圖4B的經(jīng)捕獲圖像幀450的圖像覆蓋580。如上文所敘述，不同對象的差異針對圖像捕獲裝置的此旋轉(zhuǎn)移動是相同的。由于場景中的所有對象均具有相同差異，所以包含具有幀偏移的視頻圖像(其中圖像捕獲裝置旋轉(zhuǎn)地移動)的立體像對將不展現(xiàn)感知深度。在各視頻圖像捕獲之間圖像捕獲裝置的垂直移動在立體像對中不產(chǎn)生將提供深度感知的差異。此效應(yīng)是歸因于觀看者的眼睛被水平地分離的事實。包括垂直差異的立體圖像對觀看起來不舒服，且因此將被避免。在一些實施例中，當從用具有單個視角的視頻圖像捕獲裝置所捕獲的視頻產(chǎn)生具有感知深度的視頻時，還考慮在場景中對象的局部運動，這是因為立體像對中的不同視頻圖像將會在不同時間已被捕獲。在一些狀況下，局部運動可提供對場景中的對象的不同視角(相似于圖像捕獲裝置的移動)，使得包含存在局部運動的視頻圖像的立體像對可提供深度感知。對于橫向地發(fā)生的局部運動來說尤其是這種情況。本發(fā)明提供一種用于在經(jīng)捕獲單個視角視頻內(nèi)選擇視頻圖像以形成具有感知深度的視頻的視頻圖像立體像對的方法。所述方法包括在單個視角視頻的捕獲期間搜集圖像捕獲裝置的運動追蹤信息，以針對每一視頻圖像而確定圖像捕獲裝置的相對位置，連同在捕獲之后視頻圖像的分析以識別視頻圖像之間的運動。通過使用圖像捕獲裝置的運動追蹤信息及在捕獲之后視頻圖像的分析，可識別多種運動類型，包括橫向運動、垂直運動、旋轉(zhuǎn)運動、局部運動及其組合。還可確定運動速度。本發(fā)明使用經(jīng)識別運動類型及運動速度以選擇構(gòu)成具有感知深度的視頻的立體像對中的視頻圖像之間的幀偏移。對于在視頻捕獲期間視頻圖像捕獲裝置210的恒定橫向移動速度的最簡單狀況，可在選擇立體像對的視頻圖像時使用恒定幀偏移。舉例來說，為了在針對立體像對所選擇的視頻幀之間提供20mm基線，可識別視頻圖像捕獲裝置210已移動20mm的距離的視頻幀。(基線為立體像對的相機位置之間的水平偏移。)在以30個幀/秒所捕獲的視頻(其中圖像捕獲裝置以IOOmm/秒的橫向速度移動)中，幀偏移將為6個幀以提供大約20mm的基線。對于視頻圖像捕獲裝置210的橫向移動速度在視頻捕獲期間變化的狀況，幀偏移響應(yīng)于移動速度變化而變化以在立體像對中提供恒定基線。舉例來說，如果移動速度減慢到50_/秒，則幀偏移增加到12個幀，且相反，如果移動速度增加到200mm/秒，則幀偏移減少到3個 幀。在一些實施例中，可設(shè)定基線以對應(yīng)于人類觀察者的眼睛之間的正常距離，以便提供看起來很自然的立體圖像。在其它實施例中，可由用戶選擇基線值以提供所要程度的感知深度，其中更大基線值將提供更大感知深度且更小基線值將提供更小感知深度。對于視頻圖像捕獲裝置210的純垂直移動的狀況，通常應(yīng)在選擇立體像對的視頻圖像時使用小幀偏移(或根本無幀偏移)，這是因為垂直差異將不被感知為深度，且在具有垂直差異的情況下所產(chǎn)生的立體像對觀看起來不舒服。在此狀況下，幀偏移可為(例如)零到兩個幀，其中為零的幀偏移指示出同一視頻圖像用于立體像對中的兩個視頻圖像，且立體像對不向觀看者提供任何感知深度，但觀看起來更舒服。在視頻圖像捕獲裝置210的純旋轉(zhuǎn)移動的狀況下，通常應(yīng)出于相似于垂直移動狀況的原因而使用小幀偏移，這是因為旋轉(zhuǎn)差異將不被感知為深度。在此狀況下，幀偏移可為(例如)零到兩個幀。當存在局部運動時，可基于如通過圖像捕獲裝置的運動追蹤確定的總體運動(全局運動)、單獨地基于局部運動或基于總體運動與局部運動的組合來選擇幀偏移。在任何狀況下，隨著局部運動的橫向速度增加，幀偏移縮減(如先前針對恒定橫向移動速度的狀況所描述)。相似地，如果局部運動主要是由垂直運動或旋轉(zhuǎn)運動組成，則幀偏移也縮減。本發(fā)明使用視頻圖像捕獲裝置210的移動的運動追蹤信息以識別視頻圖像之間的橫向移動及垂直移動。在一些實施例中，使用位置傳感器來捕獲運動追蹤信息連同視頻。舉例來說，可通過加速度計來搜集此運動追蹤信息，其中在加速度方面提供數(shù)據(jù)且通過隨時間的積分而將所述數(shù)據(jù)轉(zhuǎn)換為速度及位置。在其它實施例中，可通過分析經(jīng)捕獲視頻幀以估計視頻圖像捕獲裝置210的運動來確定運動追蹤信息。可從使用陀螺儀所收集的運動追蹤信息或者替代地通過視頻圖像的分析來確定在視頻捕獲期間圖像捕獲裝置的旋轉(zhuǎn)移動。陀螺儀可直接在角速度方面提供圖像捕獲裝置的旋轉(zhuǎn)速度信息。在分析視頻圖像以確定圖像捕獲裝置的旋轉(zhuǎn)移動的狀況下，將依序視頻圖像彼此進行比較以確定在視頻圖像中對象的相對位置。通過從幀速率因子分解隨視頻圖像捕獲之間的時間而變的對象位置改變而將在視頻圖像中對象的相對位置轉(zhuǎn)換為以像素/秒為單位的圖像移動速度。視頻圖像中的不同對象的均一圖像移動速度為旋轉(zhuǎn)移動的標
ο也可使用通過比較依序視頻圖像中的對象位置而對視頻圖像的分析以確定視頻圖像捕獲裝置210的局部運動及橫向或垂直移動。在這些狀況下，在視頻圖像之間對象的移動是非均一的。對于對象的局部運動的狀況(例如，人移動通過場景)，對象將在不同方向上且以不同圖像移動速度而移動。對于視頻圖像捕獲裝置210的橫向或垂直移動，對象將取決于對象與視頻圖像捕獲裝置210相隔多遠而在相同方向上且以不同圖像移動速度而移動。表I為從運動追蹤信息及視頻圖像分析的組合連同所得技術(shù)所識別的運動類型的概述，所述技術(shù)用以確定立體像對的幀偏移(如通過本發(fā)明的一實施例提供)。從表I中 的信息可看出，運動追蹤信息及視頻圖像分析兩者均對于能夠區(qū)分可存在于視頻捕獲期間或可存在于場景中的不同類型的移動及運動是有用的。在一些實施例中，視頻圖像捕獲裝置210可能不包括位置傳感器(例如，加速度計)。在此狀況下，圖像分析仍可提供有助于選擇幀偏移的信息，但在一些狀況下，也許不可能區(qū)別不同類型的相機運動。通常，將優(yōu)選的是，當針對在相機運動類型中存在顯著不確定性的狀況時使用小幀偏移，以便避免用戶的不舒服觀看情境。表I :經(jīng)識別運動及在立體像對之間的所得幀偏移
\mmmm immmmmm I^^
jg2S l
均一橫向無運動旋轉(zhuǎn)小偏移
均一橫向__橫向__橫向__基于經(jīng)感測位S
垂直無運動旋轉(zhuǎn)小偏移
垂直垂寅垂.直小偏移
均一橫向垂直垂直小偏移
垂直橫向— 橫向 —基于經(jīng)感測位W
快速快速快速_小偏移
快Ii緩慢— 旋轉(zhuǎn)— 小偏移^—
緩慢____mm__小偏移
垂直及橫向橫陶旋轉(zhuǎn)小偏移
墨直及橫向.........—垂直__旋轉(zhuǎn)—...........................小偏移...........................—
均—~橫向__垂直及橫向__旋轉(zhuǎn)__小偏移_
-IjjiC Hie及橫向 — 旋轉(zhuǎn)小偏移
—…局部變化橫_.........................................尤運動——鍾———W部坫子_像分析
W部變化橫丨〖U馳橫丨I及WiI
局部變化M通動.........................................................................................................................................局部基十関像分析
局-部變化 直_it— 基HtS及經(jīng)
局部變化垂直垂直及局部小偏移 —
圖6A為根據(jù)本發(fā)明的一個實施例的用于形成具有感知深度的視頻的方法的流程圖。在選擇基線步驟610中，由用戶選擇將在立體像對中提供所要程度的深度感知的基線615?；€615呈立體像對中的視頻圖像之間的橫向偏移距離的形式，或呈立體像對中的視頻圖像中的對象之間的像素偏移的形式。在捕獲視頻步驟620中，用單個視角視頻圖像捕獲裝置來捕獲視頻圖像640序列。在優(yōu)選實施例中，還使用位置傳感器以同步形式捕獲運動追蹤信息625連同視頻圖像640。在分析運動追蹤信息步驟630中，分析運動追蹤信息625以在視頻捕獲過程期間表征相機運動635。在一些實施例中，相機運動635為視頻圖像捕獲裝置的移動類型及速度的表示。在分析視頻圖像步驟645中，分析視頻圖像640且將其彼此進行比較以表征場景中的圖像運動650。圖像運動650為圖像移動類型及圖像移動速度的表示，且可包括全局圖像運動及局部圖像運動兩者。 可通過逐像素地或逐塊地使在視頻圖像中對應(yīng)對象的相對位置相關(guān)進行視頻圖像的比較。其中，逐像素相關(guān)提供更準確的圖像移動速度，但緩慢且需要高計算能力，而逐塊相關(guān)提供移動速度的較不準確的測量，但需要較少計算能力且更快速。也可通過充分利用與MPEG視頻編碼方案相關(guān)聯(lián)的計算進行一種比較視頻圖像以確定移動類型及圖像移動速度的極有效率方法。MPEG為用于編碼經(jīng)壓縮視頻數(shù)據(jù)的常用標準，且依賴于I幀、P幀及B幀的使用。I幀為幀內(nèi)譯碼型，即，其可在不對其它幀進行任何參考的情況下予以重新建構(gòu)。P幀為從最后I幀或P幀的正向預(yù)測型，即，其不可能在沒有另一幀(I或P)的數(shù)據(jù)的情況下予以重新建構(gòu)。B幀為從最后/下一 I幀或P幀的正向預(yù)測型及反向預(yù)測型兩者，即，存在為重新建構(gòu)B幀所必要的兩個其它幀。P幀及B幀被稱為幀間譯碼型幀。圖9展示MPEG編碼型幀序列的實例。P幀及B幀具有與其相關(guān)聯(lián)的塊運動向量，其允許MPEG解碼器在將I幀用作起始點的情況下重新建構(gòu)幀。在MPEG-I及MPEG-2中，這些塊運動向量是在16X16像素塊(被稱為宏塊)上予以計算且表示為水平運動分量及垂直運動分量。如果在宏塊內(nèi)的運動是對立的，則P幀及B幀也可對實際場景內(nèi)容而非塊運動向量進行幀內(nèi)譯碼。在MPEG-4中，宏塊可具有變化的大小且不限于16X16像素。在一優(yōu)選實施例中，可使用與MPEG P幀及B幀相關(guān)聯(lián)的塊運動向量以確定視頻序列中的全局圖像運動及局部圖像運動兩者。全局圖像運動將通常與視頻圖像捕獲裝置210的運動相關(guān)聯(lián)?？蓮腗PEG運動向量減去如從P幀及B幀所確定(或者替代地，如從運動追蹤信息625所確定)的與視頻圖像捕獲裝置210相關(guān)聯(lián)的全局圖像運動以提供局部圖像運動的估計。接下來，使用確定幀偏移步驟655以響應(yīng)于經(jīng)確定相機運動635及圖像運動650連同基線615來確定待用以形成立體圖像對的巾貞偏移660。在一優(yōu)選實施例中，使用相機運動635及圖像運動650的移動類型及移動速度連同表I以確定待用于經(jīng)捕獲視頻中的每一視頻圖像的幀偏移。舉例來說，如果來自位置傳感器的運動(相機運動635)經(jīng)確定為對應(yīng)于橫向運動且來自圖像分析的運動(圖像運動650)經(jīng)確定為均一橫向運動，則可斷定，相機運動類型為橫向且可基于來自位置傳感器的經(jīng)感測位置來確定幀偏移。在一些實施例中，通過識別相機的橫向位置已被移位基線615的幀來確定幀偏移ANf0在其它實施例中，針對特定幀而確定橫向速度^，且相應(yīng)地確定幀偏移。在此狀況下，可通過如下方程式從基線Λ Xb確定待選擇幀之間的時間差A(yù)t :At=A xb/Vx (I)可接著使用如下方程式從幀速率Rf確定幀偏移ANf Δ Nf = Rf Δ t = Rf Δ xh/Yx (2)
接下來，使用形成具有感知深度的視頻步驟665來形成具有感知深度的視頻670。具有感知深度的視頻670包括立體視頻幀序列，每一立體視頻幀包含一立體圖 像對?？赏ㄟ^使第i個視頻幀F(xiàn) (i)與被分離幀偏移F ( + Δ Nf)的視頻幀成對來形成第i個立體視頻幀S(i)的立體圖像對。優(yōu)選地，如果相機移動到右邊，則應(yīng)將第i個幀用作立體像對中的左圖像；如果相機移動到左邊，則應(yīng)將第i個幀用作立體像對中的右圖像?？山又褂脼樗鶎兕I(lǐng)域的技術(shù)人員已知的任何方法將具有感知深度的視頻670存儲于立體數(shù)字視頻文件中?？捎捎脩羰褂么隧椉夹g(shù)中已知的任何立體圖像顯示技術(shù)(例如，上文所評論的技術(shù)(例如，基于偏光的顯示器，其與具有用于左眼及右眼的正交偏光濾光片的眼鏡耦合；雙凸透鏡顯示器；障壁顯示器；基于快門-眼鏡的顯示器；及立體圖顯示器，其與具有用于左眼及右眼的互補彩色濾光片的眼鏡耦合))來觀看經(jīng)存儲的具有感知深度的視頻670。圖6B中展示本發(fā)明的一替代性實施例。在此狀況下，使用關(guān)于圖6A所描述的相同步驟來確定幀偏移660。然而，在此狀況下，使用存儲具有立體像對元數(shù)據(jù)的視頻步驟675以存儲可用以在稍后時間形成具有感知深度的視頻的信息，而非形成及存儲具有感知深度的視頻670。此步驟存儲經(jīng)捕獲視頻圖像640連同元數(shù)據(jù)，元數(shù)據(jù)指示應(yīng)將哪些視頻幀用于立體像對，從而形成具有立體像對元數(shù)據(jù)的視頻680。在一些實施例中，與視頻一起予以存儲的立體像對元數(shù)據(jù)僅僅為每一視頻幀的經(jīng)確定幀偏移。可將特定視頻幀的幀偏移存儲為與所述視頻幀相關(guān)聯(lián)的元數(shù)據(jù)標簽。或者，可將幀偏移元數(shù)據(jù)存儲于與視頻文件相關(guān)聯(lián)的分離元數(shù)據(jù)文件中。當需要顯示具有感知深度的視頻時，可使用幀偏移元數(shù)據(jù)以識別應(yīng)被用以形成立體圖像對的配對視頻幀。在替代性實施例中，立體像對元數(shù)據(jù)可為幀號碼或其它適當幀識別符，而非幀偏移。圖6B所示的方法具有如下優(yōu)點其相對于圖6A的實施例減少視頻文件的文件大小，同時保留提供具有感知深度的3-D視頻的能力。也可在常規(guī)2-D視頻顯示器上觀看視頻文件，而無需執(zhí)行任何格式轉(zhuǎn)換。因為幀偏移的文件大小相對小，所以幀偏移數(shù)據(jù)可與經(jīng)捕獲視頻的元數(shù)據(jù)一起予以存儲。通常，使用位置傳感器79 (圖I)以提供運動追蹤信息625(圖6A)。在本發(fā)明的一些實施例中，可通過可卸除式存儲卡提供位置傳感器79，所述可卸除式存儲卡包括一個或一個以上加速度計或陀螺儀連同用以將位置信息或運動追蹤信息提供到視頻圖像捕獲裝置210的立體轉(zhuǎn)換軟件。此方法使有可能將位置傳感器提供為任選附件，所述任選附件用以使視頻圖像捕獲裝置210的基礎(chǔ)成本保持盡可能地低，同時仍使視頻圖像捕獲裝置210能夠用于產(chǎn)生具有感知深度的視頻(如被描述為本發(fā)明的一先前實施例)?？蓪⒖尚冻酱鎯ㄓ米鲌DI中的存儲卡72c的替換物。在一些實施例中，可卸除式存儲卡僅僅充當位置傳感器，且將位置數(shù)據(jù)及某一其它形式的運動追蹤信息提供到視頻圖像捕獲裝置210中的處理器。在其它配置中，可卸除式存儲卡還可包括處理器連同適當軟件以用于形成具有感知深度的視頻。
圖7為具有內(nèi)建式運動追蹤裝置的可卸除式存儲卡710的說明。適于此用途的運動追蹤裝置可用3軸加速度計(其大小為3. 0X5. 0X0. 9mm)及3軸陀螺儀(其大小為
4.4X7. 5X1. Imm)的形式從意法半導體公司(ST Micro)獲得。圖7展示SD可卸除式存儲卡710與上述3軸陀螺儀720及3軸加速度計730的相對大小。圖8展示具有內(nèi)建式運動追蹤裝置的可卸除式存儲卡710的框圖，可卸除式存儲卡710包括為在卡可卸除式存儲卡內(nèi)部形成具有感知深度的視頻圖像所需要的組件。如參看圖7所描述，可卸除式存儲卡710包括陀螺儀720及加速度計730，陀螺儀720及加速度計730捕獲運動追蹤信息625。使用一個或一個以上模/數(shù)(A/D)轉(zhuǎn)換器850以使來自陀螺儀720及加速度計730的信號數(shù)字化?？扇芜x地將運動追蹤信息625直接發(fā)送到視頻圖像捕獲裝置210的處理器以用于形成具有感知深度的視頻圖像或用于其它應(yīng)用。將通過視頻圖像捕獲裝置210捕獲的視頻圖像640以與運動追蹤信息625同步的方式存儲于存儲器860 中。
也可將用于經(jīng)由圖6A或6B中的流程圖的步驟而實施經(jīng)捕獲視頻圖像640的轉(zhuǎn)換以形成具有感知深度的視頻670的立體轉(zhuǎn)換軟件830存儲于存儲器860中或某一其它形式的存儲裝置(例如，ASIC)中。在一些實施例中，可在可卸除式存儲卡710與在視頻圖像捕獲裝置上的其它存儲器之間共享存儲器860的部分。在一些實施例中，立體轉(zhuǎn)換軟件830接受用戶輸入870以在用于產(chǎn)生具有感知深度的視頻與用于指定各種選項(例如，基線615)的各種模式之間進行選擇。通常，可經(jīng)由用于如圖I所示的視頻圖像捕獲裝置10的用戶輸入控制件93而供應(yīng)用戶輸入870。立體轉(zhuǎn)換軟件830使用處理器840以處理經(jīng)存儲視頻圖像640及運動追蹤信息625，以產(chǎn)生具有感知深度的視頻670。處理器840可在可卸除式存儲卡710內(nèi)部，或者，可為在視頻圖像捕獲裝置內(nèi)部的處理器。具有感知深度的視頻670可存儲于存儲器860中，或可存儲于在視頻圖像捕獲裝置上或在主機計算機上的某一其它存儲器中。在一些實施例中，可將位置傳感器79提供為使用有線或無線連接與視頻圖像捕獲裝置210通信的外部位置感測附件。舉例來說，外部位置感測附件可為含有全球定位系統(tǒng)接收器的服務(wù)器鑰(dongle)，全球定位系統(tǒng)接收器可使用USB或藍牙連接而連接到視頻圖像捕獲裝置210。外部位置感測附件可包括用于處理經(jīng)接收信號且與視頻圖像捕獲裝置210通信的軟件。外部位置感測附件還可包括用于經(jīng)由圖6A或6B中的流程圖的步驟而實施經(jīng)捕獲視頻圖像640的轉(zhuǎn)換以形成具有感知深度的視頻670的立體轉(zhuǎn)換軟件830。在一些實施例中，可使用圖像處理以在形成具有感知深度的視頻步驟665中調(diào)整立體圖像對中的視頻幀中的一者或此兩者以提供改善的觀看體驗。舉例來說，如果檢測到視頻圖像捕獲裝置210垂直地移動或在捕獲兩個視頻幀的時間之間傾斜，則所述視頻幀中的一者或此兩者可垂直地移位或經(jīng)旋轉(zhuǎn)以更好地對準視頻幀?？墒褂眠\動追蹤信息625以確定移位及旋轉(zhuǎn)的適當量。在將移位或旋轉(zhuǎn)應(yīng)用于視頻幀的狀況下，通常將需要剪裁視頻幀，使得經(jīng)移位/經(jīng)旋轉(zhuǎn)圖像填充幀。兀件列表10 視頻圖像捕獲裝置14 電子圖像捕獲單元16 透鏡
18圖像傳感器20光徑22快門24時序產(chǎn)生器26濾光片組合件28光圈44光學系統(tǒng)48圖像顯示器50變焦控制件52宏控制件54聚焦控制件56測距儀58亮度傳感器60閃光系統(tǒng)61閃光燈62閃光傳感器63閃光控制件64顯示器控制器65控制單元66系統(tǒng)控制器68模擬信號處理器70數(shù)字信號處理器72a 數(shù)字信號處理器(DSP)存儲器72b系統(tǒng)存儲器72c存儲卡72d 程序存儲器74狀態(tài)顯示器76取景器顯示器78定向傳感器79位置傳感器80模/數(shù)(A/D)轉(zhuǎn)換器81數(shù)據(jù)總線82插槽83存儲卡接口84主機接口86視頻編碼器93用戶輸入控制件210視頻圖像捕獲裝置215視野
220錐形對象230球形對象240矩形塊狀對象250經(jīng)捕獲圖像幀260錐形對象位置270球形對象位置280矩形塊狀對象位置
315視野350經(jīng)捕獲圖像幀360錐形對象位置370球形對象位置380矩形塊狀對象位置415視野450經(jīng)捕獲圖像幀460錐形對象位置470球形對象位置480矩形塊狀對象位置550圖像覆蓋555錐形對象差異560球形對象差異565矩形塊狀對象差異580 圖像覆蓋585錐形對象差異590球形對象差異595矩形塊狀對象差異610選擇基線步驟615基線620捕獲視頻步驟625運動追蹤信息630分析運動追蹤信息步驟635相機運動步驟640視頻圖像645分析視頻圖像步驟650 圖像運動655確定幀偏移步驟660巾貞偏移665形成具有感知深度的視頻步驟670具有感知深度的視頻675存儲具有立體像對元數(shù)據(jù)的視頻步驟
680具有立體像對元數(shù)據(jù)的視頻710可卸除式存儲卡720陀螺儀730加速度計830立體轉(zhuǎn)換軟件840處理器850模/數(shù)(A/D)轉(zhuǎn)換器
860存儲器870用戶輸入
權(quán)利要求
1.一種用于提供具有感知深度的視頻的視頻圖像捕獲裝置，其包含 圖像傳感器，其用于捕獲視頻幀； 光學系統(tǒng)，其用于將場景從單個視角成像到所述圖像傳感器上； 數(shù)據(jù)存儲系統(tǒng)，其用于存儲通過所述圖像傳感器捕獲的視頻圖像序列； 位置感測裝置，其用于針對所述視頻圖像序列而感測所述圖像捕獲裝置的相對位置；存儲構(gòu)件，其用于與經(jīng)存儲視頻圖像序列相關(guān)聯(lián)地將所述圖像捕獲裝置的所述經(jīng)感測相對位置的指示存儲于所述數(shù)據(jù)存儲系統(tǒng)上； 數(shù)據(jù)處理器； 存儲器系統(tǒng)，其以通信方式連接到所述數(shù)據(jù)處理器且存儲經(jīng)配置以使所述數(shù)據(jù)處理器通過如下步驟來提供具有感知深度的視頻的指令 響應(yīng)于所述圖像捕獲裝置的所述經(jīng)存儲相對位置來選擇視頻圖像立體像對；及 使用所述視頻圖像立體像對的序列來提供具有感知深度的視頻。
2.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述位置感測裝置包括加速度計、陀螺儀裝置或全球定位系統(tǒng)裝置。
3.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中可從所述視頻圖像捕獲裝置卸除所述位置感測裝置。
4.根據(jù)權(quán)利要求3所述的視頻圖像捕獲裝置，其中所述可卸除式位置感測裝置經(jīng)格式化以裝配于可卸除式存儲卡插槽內(nèi)。
5.根據(jù)權(quán)利要求3所述的視頻圖像捕獲裝置，其中所述可卸除式運動追蹤裝置進一步包括所述存儲器系統(tǒng)，所述存儲器系統(tǒng)存儲經(jīng)配置以使所述數(shù)據(jù)處理器提供所述具有感知深度的視頻的指令。
6.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述位置感測裝置在所述視頻圖像捕獲裝置外部，且使用有線或無線連接與所述視頻圖像捕獲裝置通信。
7.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述視頻圖像立體像對是通過識別所述圖像捕獲裝置的所述經(jīng)感測相對位置已改變指定距離的視頻圖像對予以選擇。
8.根據(jù)權(quán)利要求7所述的視頻圖像捕獲裝置，其中所述指定距離為在水平方向上的距離。
9.根據(jù)權(quán)利要求7所述的視頻圖像捕獲裝置，其中當所述圖像捕獲裝置的所述經(jīng)感測相對位置指示在垂直方向或旋轉(zhuǎn)方向上所述圖像捕獲裝置的運動時，所述指定距離減少。
10.根據(jù)權(quán)利要求7所述的視頻圖像捕獲裝置，其中當所述圖像捕獲裝置的所述經(jīng)感測相對位置指示在經(jīng)界定范圍外部所述圖像捕獲裝置的運動時，所述指定距離減少到零。
11.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中經(jīng)配置以使所述數(shù)據(jù)處理器提供具有感知深度的視頻的所述指令進一步包括分析所述經(jīng)捕獲視頻圖像序列以確定在所述場景中對象的移動，且其中所述視頻圖像立體像對的所述選擇是進一步響應(yīng)于所述經(jīng)確定對象移動。
12.根據(jù)權(quán)利要求11所述的視頻圖像捕獲裝置，其中在所述場景中對象的所述移動是通過使在所述經(jīng)捕獲視頻圖像序列中對應(yīng)對象的相對位置相關(guān)予以確定。
13.根據(jù)權(quán)利要求11所述的視頻圖像捕獲裝置，其中所述視頻圖像立體像對的所述選擇包括響應(yīng)于所述視頻圖像捕獲裝置的所述經(jīng)存儲相對位置來確定所述視頻圖像立體像對的幀偏移； 當所述對象移動經(jīng)確定為在經(jīng)界定范圍外部時，減少所述幀偏移；及 使用所述經(jīng)減少幀偏移來選擇視頻圖像立體像對。
14.根據(jù)權(quán)利要求13所述的視頻圖像捕獲裝置，其中當對象移動的量是在經(jīng)界定范圍外部時，所述幀偏移減少到零。
15.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述具有感知深度的視頻是通過與所述經(jīng)存儲視頻圖像序列相關(guān)聯(lián)地存儲所述視頻圖像立體像對之間的幀偏移的指示予以提供。
16.根據(jù)權(quán)利要求15所述的視頻圖像捕獲裝置，其中幀偏移的所述指示是作為元數(shù)據(jù)而存儲于用以存儲所述經(jīng)捕獲視頻圖像序列的數(shù)字視頻文件中。
17.根據(jù)權(quán)利要求15所述的視頻圖像捕獲裝置，其中所述幀偏移的所述指示存儲于數(shù)字元數(shù)據(jù)文件中，且其中所述數(shù)字元數(shù)據(jù)文件是與用以存儲所述經(jīng)捕獲視頻圖像序列的數(shù)字視頻文件相關(guān)聯(lián)。
18.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述具有感知深度的視頻是通過存儲每一視頻幀的圖像立體像對予以提供。
19.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其中所述具有感知深度的視頻是通過存儲適于用具有用于左眼及右眼的互補彩色濾光片的眼鏡進行觀看的立體像予以提供。
20.根據(jù)權(quán)利要求19所述的視頻圖像捕獲裝置，其進一步包括 彩色圖像顯示器 '及 用于將所述立體像顯示于所述彩色圖像顯示器上的構(gòu)件。
21.根據(jù)權(quán)利要求I所述的視頻圖像捕獲裝置，其進一步包括 圖像顯示器，其具有安置于其上以用于立體圖像觀看的雙凸透鏡陣列；及 用于將所述具有感知深度的視頻顯示于所述圖像顯示器上的構(gòu)件。
全文摘要
本發(fā)明揭示一種用于提供具有感知深度的視頻的視頻圖像捕獲裝置，所述視頻圖像捕獲裝置包含圖像傳感器，其用于捕獲視頻幀；光學系統(tǒng)，其用于將場景從單個視角成像到所述圖像傳感器上；數(shù)據(jù)存儲系統(tǒng)，其用于存儲通過所述圖像傳感器捕獲的視頻圖像序列；位置感測裝置，其用于感測所述圖像捕獲裝置的相對位置；存儲構(gòu)件，其用于與經(jīng)存儲視頻圖像序列相關(guān)聯(lián)地存儲所述圖像捕獲裝置的所述經(jīng)感測相對位置；數(shù)據(jù)處理器；存儲器系統(tǒng)，其存儲經(jīng)配置以使所述數(shù)據(jù)處理器提供具有感知深度的視頻的指令。所述具有感知深度的視頻是通過如下步驟提供響應(yīng)于所述圖像捕獲裝置的所述經(jīng)存儲相對位置來選擇視頻圖像立體像對。
文檔編號H04N13/00GK102907105SQ201180024966
公開日2013年1月30日 申請日期2011年5月26日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者約翰·諾爾沃爾德·博德, 阿米特·辛哈厄 申請人:柯達公司