用于確定視頻的方位的方法及裝置的制造方法
【專利摘要】提出了一種用于確定視頻的方位的方法及裝置。所述方法包括以下步驟：估算視頻的運(yùn)動；從所估算出的視頻的運(yùn)動提取基于平移的參數(shù)；以及根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時間的演變相對豎直平移的演變的至少一個特征，所述特征用于確定視頻的方位。
【專利說明】
用于確定視頻的方位的方法及裝置
技術(shù)領(lǐng)域
[0001] 本公開總地涉及圖像處理。具體地，本公開涉及用于確定視頻的方位 (orientation)的方法及裝置。
【背景技術(shù)】
[0002] 在視頻內(nèi)容的計(jì)算機(jī)處理的一些應(yīng)用中，存在估算給定視頻的方位的需要。例如， 這樣的應(yīng)用的背景是當(dāng)一個人想要瀏覽和觀看視頻時，必須具有該視頻的正確的方位用于 該視頻的正確的顯示。另一個背景是在計(jì)算機(jī)視覺處理中，諸如面部檢測、特定對象檢測和 識別、天空區(qū)域檢測以及更普遍的語義視頻解析。作為這種情況下的初始要求，要處理的圖 像和視頻都應(yīng)該以正確的方位提出。因此，對視頻的方位的確定可以被應(yīng)用作為用于這樣 的計(jì)算機(jī)視覺處理的第一且必要的預(yù)處理。
[0003] 得到視頻的正確方位的一個已知的解決辦法需要使用在捕獲視頻期間與視頻內(nèi) 容一起存儲的附加元數(shù)據(jù)。例如，這樣的附加元數(shù)據(jù)能夠來自在Exif (可交換圖像文件格 式)標(biāo)準(zhǔn)中定義的元數(shù)據(jù)標(biāo)簽。對方位的了解依賴于陀螺儀信息。在這種情況下，這樣的元 數(shù)據(jù)的出現(xiàn)將取決于所使用的捕獲設(shè)備。然而，對于低成本設(shè)備，通常無法得到這樣的信 息。某些移動電話(例如iPhone)不具有這樣的信息，而低成本智能手機(jī)不會存儲該信息。此 外，在視頻的情況下，僅基于視頻的第一圖像來計(jì)算方位信息，并且方位信息在捕獲期間旋 轉(zhuǎn)的情況下也不會改變。因此，利用該已知的解決辦法，方位信息可能僅對于視頻的第一部 分是真實(shí)的。
[0004] 另一種已知的解決辦法被稱為自動系統(tǒng)。下面的文檔涉及這樣的自動系統(tǒng)，其能 夠自動檢測靜態(tài)圖像的方位：
[0005] [1]Cingovska,I.；Ivanovski,Z.；Martin,F.,Automatic image orientation detection with prior hierarchical content-based classification,圖像處理 (ICIP)，2011年第18次IEEE國際會議，2011年9月11-14日，第卷，第期，第2985、2988頁。
[0006] [2]G.Sharma,A.Dhall,S.Chaudhury and R.Bhatt,Hierarchical System for Content Based Categorization and Orientation of Consumer Images,模式識別與機(jī) 器智能，2009年，第5909卷，第495-500頁。
[0007] [3]Jiebo Luo；Boutell,Μ.,Automatic image orientation detection via confidence-based integration of low-level and semantic cues，模式分析與機(jī)器智 能，IEEE學(xué)報，2005年5月，第27卷，第5期，第715、726頁。
[0008] 然而，如上所述，似乎上述三個文檔的目標(biāo)是針對靜態(tài)圖像檢測方位，因?yàn)闆]有討 論處理視頻的系統(tǒng)的參考文獻(xiàn)。針對靜態(tài)圖像所提出的系統(tǒng)通?；趶膱D像提取特征和使 用一些機(jī)器學(xué)習(xí)技術(shù)。這意味著在經(jīng)注釋的圖像的數(shù)據(jù)庫上需要模型訓(xùn)練的第一步，這可 能導(dǎo)致昂貴的離線處理。表現(xiàn)最好的系統(tǒng)還使用范圍從顏色或紋理相關(guān)的低級特征(第一 色矩、邊緣方向直方圖等)到高級語義信息(面部檢測、天空檢測、線條檢測等）的從視頻內(nèi) 容提取的不同特征，這花費(fèi)系統(tǒng)的大部分時間并導(dǎo)致較重的計(jì)算負(fù)荷。對靜態(tài)圖像的這樣 的處理能夠在逐幀的基礎(chǔ)上應(yīng)用在視頻的每個幀上，或者應(yīng)用在這些幀的二次采樣上。然 而，從計(jì)算的角度，其結(jié)果是該處理變得甚至更加昂貴。
[0009] 因此，存在以合理的計(jì)算負(fù)荷來檢測給定視頻的正確方位，并且同時保證檢測到 的方位對于視頻的每個幀都是正確的（假設(shè)用于捕獲視頻的設(shè)備在捕獲階段期間可以旋 轉(zhuǎn))的需要。

【發(fā)明內(nèi)容】

[0010] 考慮到傳統(tǒng)技術(shù)中的上述問題，本公開提出了用于針對視頻的每個方位均一部分 以合理的計(jì)算負(fù)荷來確定視頻的方位的方法及裝置。
[0011] 根據(jù)本公開，一些特征基于視頻場景的估算的運(yùn)動（主要的或基于對象的）被提 取。根據(jù)這些基于運(yùn)動的特征，與方位中潛在的改變一起計(jì)算一些基于幀的方位信息。與時 間方位信息一起，本公開還導(dǎo)致相關(guān)聯(lián)的分段成視頻的方位均一部分。
[0012] 根據(jù)本公開的第一實(shí)施例，提供了一種用于確定視頻的方位的方法。所述方法包 括以下步驟:估算視頻的運(yùn)動;從所估算出的視頻的運(yùn)動提取基于平移的參數(shù)；以及根據(jù)基 于平移的參數(shù)計(jì)算給出水平平移隨時間的演變相對豎直平移的演變的至少一個特征，所述 特征用于確定視頻的方位。
[0013] 在第一實(shí)施例中，所述方法還包括:從估算出的視頻的運(yùn)動提取基于旋轉(zhuǎn)的參數(shù)； 將視頻分割成通過根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測到的旋轉(zhuǎn)而分離的至少一個片段；以及將視頻 的方位確定為所述至少一個特征關(guān)于所述至少一個片段中的每一個的積分的函數(shù)。
[0014] 根據(jù)本公開的第二實(shí)施例，提供了一種用于確定視頻的方位的裝置。所述裝置包 括處理器，被配置為:估算視頻的運(yùn)動;從所估算出的視頻的運(yùn)動提取基于平移的參數(shù)；以 及根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時間的演變相對豎直平移的演變的至少一個 特征，所述特征用于確定視頻的方位。
[0015] 根據(jù)本公開的第三實(shí)施例，提供了一種從通信網(wǎng)絡(luò)可下載和/或記錄在計(jì)算機(jī)可 讀取的介質(zhì)上和/或由處理器可執(zhí)行的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括用于實(shí) 施根據(jù)本公開的一個方面的方法的步驟的程序代碼指令。
[0016] 根據(jù)本公開的第四實(shí)施例，提供了一種包括記錄在其上并能夠由處理器運(yùn)行的計(jì) 算機(jī)程序產(chǎn)品的非暫時性計(jì)算機(jī)可讀介質(zhì)。所述非暫時性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施根 據(jù)本公開的一個方面的方法的步驟的程序代碼指令。
[0017] 應(yīng)當(dāng)理解的是，本公開的更多方面和優(yōu)點(diǎn)將在本公開的以下詳細(xì)描述中找到。
【附圖說明】
[0018] 包括附圖以與用作解釋實(shí)施例的原理的描述一起來提供對本公開的實(shí)施例的進(jìn) 一步理解。本公開并不限于該實(shí)施例。
[0019] 在附圖中：
[0020] 圖1是示出根據(jù)本公開的實(shí)施例的用于確定視頻的方位的方法的流程圖；
[0021 ]圖2是示出在積分時絕對水平和豎直平移的差隨時間的演變的圖；
[0022] 圖3是示出在積分時旋轉(zhuǎn)參數(shù)的演變的示例的圖；
[0023] 圖4是示出根據(jù)本公開的另一實(shí)施例的用于確定視頻的方位的方法的流程圖；
[0024] 圖5是示出在攝像機(jī)順時針旋轉(zhuǎn)之前和之后的不同的可能方位的示范性的圖（表1 中的情況2);
[0025] 圖6是示出在攝像機(jī)逆時針旋轉(zhuǎn)之前和之后的不同的可能方位的示范性的圖（表1 中的情況3);以及
[0026] 圖7是示出可以在其上實(shí)施根據(jù)本公開的實(shí)施例的用于確定視頻的方位的方法的 計(jì)算機(jī)設(shè)備的框圖。
【具體實(shí)施方式】
[0027] 現(xiàn)在將結(jié)合附圖詳細(xì)描述本公開的實(shí)施例。在以下描述中，為了簡明，可能省略對 已知的功能和配置的一些詳細(xì)描述。
[0028] 本公開的實(shí)施例提供一種用于確定視頻的方位的方法。接下來，將詳細(xì)描述本公 開的實(shí)施例的方法。
[0029] 圖1是示出根據(jù)本公開的實(shí)施例的用于確定視頻的方位的方法的流程圖。
[0030] 為簡單起見，對于視頻的每個幀，將僅在4個方位(0°，90°，-90°和180°)之間進(jìn)行 區(qū)分來討論本公開的實(shí)施例，即兩個橫向（0°，180°)和縱向（90°，-90°)方位之間。因此，本 公開將僅對將幀分成這4個類的分類進(jìn)行討論，而不會提取進(jìn)一步精確的方位角度。此外， 在本公開的一些實(shí)施例中，系統(tǒng)將提供分成縱向/橫向的第一分類，而不在兩個可能的縱向 方位(90°，-90° )之間和兩個可能的橫向方位(0°，180° )之間進(jìn)行區(qū)分。然而，可以理解的 是，本公開也能夠應(yīng)用于具有更加復(fù)雜的方位分類的情況。
[0031 ] 如圖1所示，在步驟S101，估算視頻的運(yùn)動。應(yīng)當(dāng)注意的是，對于步驟S101中的運(yùn)動 估算，優(yōu)選視頻的主要運(yùn)動。但是，當(dāng)視頻中沒有主要運(yùn)動要估算時，可以依賴一些基于對 象的運(yùn)動估算。能夠通過在每個瞬時計(jì)算視頻的主要運(yùn)動的參數(shù)近似來執(zhí)行主要運(yùn)動估 算。一些已知的解決辦法可被用于主要運(yùn)動的估算。例如，以下文檔公開了用于該目的的最 新發(fā)展水平的技術(shù)：
[0032] [4]J.M.0dobez,P.Bouthemy, Robust multiresolution estimation of parametric motion models,視覺通信與圖像顯示期刊，1995年12月，第6卷第4期，第348-365 頁。
[0033] 接下來，在步驟S102,從估算出的視頻的主要運(yùn)動提取基于平移的參數(shù)和基于旋 轉(zhuǎn)的參數(shù)。
[0034] 運(yùn)動估算器輸出估算出的運(yùn)動模型，從該運(yùn)動模型中能夠?qū)⒃谒椒较蚝拓Q直方 向二者中的平移的估算和旋轉(zhuǎn)的估算一起提取。
[0035]能夠理解的是，能夠根據(jù)主要運(yùn)動估算來獲取運(yùn)動模型，該主要運(yùn)動估算可以包 含取決于要估算的運(yùn)動的參數(shù)。在該實(shí)施例中，具有6個參數(shù)的仿射模型能夠被認(rèn)為是下面 的矩陣：
[0036] a0 al a2
[0037] b0 bl b2
[0038] 在上述模型中，例如，前兩個參數(shù)aO和bO分別對應(yīng)于在x軸和y軸中的平移值Tx和 Ty。其余四個參數(shù)提供關(guān)于旋轉(zhuǎn)運(yùn)動和縮放運(yùn)動的信息。通過考慮a2-bl的值，能夠獲取與 所施加的旋轉(zhuǎn)的正弦(s inus)成比例的量。
[0039] 在該步驟中，可選地，能夠在某個時間段對基于平移的參數(shù)和基于旋轉(zhuǎn)的參數(shù)進(jìn) 行積分。對于該積分，能夠在給定窗口上應(yīng)用梯形法則，其為用于近似定積分的公知技術(shù)。 在該實(shí)施例中，給定窗口的大小能夠憑經(jīng)驗(yàn)固定到例如20幀。但是，該大小能夠根據(jù)背景進(jìn) 行適配。根據(jù)主要運(yùn)動估算，從一幀到另一幀只能獲取小的平移值和旋轉(zhuǎn)值。根據(jù)這些值難 以精確檢測旋轉(zhuǎn)和平移。該積分的優(yōu)點(diǎn)在于提供在更長的時間段上的運(yùn)動的更大視圖。
[0040] 接下來，在步驟S103,根據(jù)基于平移的參數(shù)來計(jì)算給出水平平移隨時間的演變相 對豎直平移的演變的至少一個特征。這樣的特征能夠給出關(guān)于視頻是在縱向模式還是橫向 模式下被捕獲的一些線索。在大多數(shù)情況下，當(dāng)水平方向中的主要運(yùn)動的平移分量的幅度 基本上大于豎直方向中的主要運(yùn)動的平移分量的幅度時，很有可能該視頻在橫向模式下被 捕獲，因?yàn)樵诓东@視頻的場景期間傾向于使用比傾斜（tilting)更多的搖拍（panning)用 戶。
[0041 ]下面對特征的分析例如將給出所請求的信息：
[0042] Featuretrans(幀）=abs(tx(幀））_abs(ty(幀））
[0043]圖2示出了根據(jù)Tx和Ty的積分值的這樣的特征隨時間演變的示例。正值傾向于表 示視頻的橫向方位，而負(fù)值傾向于表示視頻的縱向方位。在可選的步驟中，可以在給定的滑 動時間窗口對上述特征進(jìn)行平滑化，以提高分析的精確度。
[0044] 在與步驟S103并行的步驟S104,無論是否積分，將視頻分割為通過根據(jù)基于旋轉(zhuǎn) 的參數(shù)所檢測到的旋轉(zhuǎn)而分離的片段。
[0045] 能夠理解的是，基于旋轉(zhuǎn)的參數(shù)繼而會給出關(guān)于攝像機(jī)在捕獲期間是否旋轉(zhuǎn)的一 些信息。能夠通過對所提取的基于旋轉(zhuǎn)的參數(shù)進(jìn)行閾值處理來執(zhí)行分段。
[0046] 圖3是示出基于旋轉(zhuǎn)的參數(shù)在積分后的演變的示例的圖。在這種情況下，閾值處理 將給出三個片段:旋轉(zhuǎn)前的片段1、旋轉(zhuǎn)后的片段3、以及與旋轉(zhuǎn)相對應(yīng)并且在實(shí)施例中系統(tǒng) 不會給出任何方位信息的片段2。圖3圖示了對在其中應(yīng)用了簡單閾值的視頻進(jìn)行分割的示 例。閾值上面的區(qū)域?qū)?yīng)于順時針旋轉(zhuǎn)，在閾值的相對的下面的區(qū)域?qū)?yīng)于逆時針旋轉(zhuǎn)，而 在其間的區(qū)域?qū)?yīng)于無旋轉(zhuǎn)的區(qū)域。在該示例中，閾值被固定為0.2的經(jīng)驗(yàn)值。但是，能夠根 據(jù)視頻內(nèi)容(例如，將僅使值保持在平均-2西格瑪之下的內(nèi)容)作出更多適應(yīng)?？蛇x地，可以 在對旋轉(zhuǎn)邊界的檢測中增加細(xì)化。該細(xì)化將以給出潛在旋轉(zhuǎn)的標(biāo)記的更高閾值來開始。然 后，在時間上后退，以找到與旋轉(zhuǎn)參數(shù)的絕對值非常低（即，低于ε值）的幀相對應(yīng)的旋轉(zhuǎn)開 始。接下來，向前搜索旋轉(zhuǎn)的結(jié)束，其與旋轉(zhuǎn)參數(shù)的絕對值低于ε的第一幀相對應(yīng)。
[0047]在步驟S105,根據(jù)步驟S103中獲得的至少一個特征對由步驟S104獲得的每個片段 的積分來確定視頻的方位。
[0048] 通過對片段的所有幀進(jìn)行Featuretrans積分以得到每片段的Featuretrans的一 個代表性單值而計(jì)算旋轉(zhuǎn)之前和之后的每個片段的方位，來確定視頻的方位。在該實(shí)施例 中，能夠僅為對關(guān)于片段的圖2中的曲線之下的面積(參見陰影區(qū)域)進(jìn)行的計(jì)算。在另一實(shí) 施例中，對基于平移的參數(shù)使用附加閾值T。對Featuretrans>T和Featuretrans〈_T的連續(xù) 部分的數(shù)量進(jìn)行計(jì)數(shù)，加上這些部分的持續(xù)時間。對這兩個計(jì)數(shù)器的簡單歸一化求和將提 供新的Featuretrans的"積分"值。
[0049] 如果沒有檢測到旋轉(zhuǎn)，則計(jì)算關(guān)于整個視頻或關(guān)于預(yù)定義大小的窗口的 Featuretrans的積分值。具體而言，如果沒有檢測到旋轉(zhuǎn)，則在整個視頻中只有一個大片 段。在這種情況下，相同的Featuretrans積分處理能夠僅被應(yīng)用為對片段所進(jìn)行的，然而其 是對整個視頻所進(jìn)行的。作為變型，如果視頻非常長，則能夠逐窗口對其進(jìn)行處理。在這種 情況下，將關(guān)于預(yù)定義窗口大小再次進(jìn)行積分。
[0050]然后，在該實(shí)施例中，每個片段的方位將通過以下給出：
[0051 ]如果 Feature trans_integrated_over_segment>0，則方位是橫向的。
[0052]如果 Feature trans_integrated_over_segment<0，則方位是縱向的。
[0053]如上所述，為了簡單起見，僅對有限數(shù)量的方位之間進(jìn)行區(qū)分來討論本公開的實(shí) 施例。在本公開的附加細(xì)化中，能夠應(yīng)用諸如例如面部檢測的一些附加處理，以在兩個縱向 方位或兩個橫向方位之間進(jìn)行進(jìn)一步區(qū)分。本領(lǐng)域技術(shù)人員能夠理解的是，通過檢測圖片 中的面部，能夠獲得圖片的最可能的方位的一些信息，因?yàn)槿思捌涿娌繒舷骂嵉沟目赡?性非常小。使人及其面部在圖像中平躺而不是人站立的可能性也非常小。能夠使用這樣的 信息來進(jìn)一步區(qū)分視頻的方位。在這方面將不會給出進(jìn)一步的詳情。
[0054]圖4是示出根據(jù)本公開的另一實(shí)施例的用于確定視頻的方位的方法的流程圖。 [0055] 在圖4所示的實(shí)施例中，步驟S401至S405分別與圖1中的步驟S101至S105相同。添 加了進(jìn)一步的步驟S406,其根據(jù)旋轉(zhuǎn)的角度(例如，該角度能夠從步驟S402中提取的基于旋 轉(zhuǎn)的參數(shù)而提取)進(jìn)一步區(qū)分步驟S405中獲得的視頻的方位。在參照圖1描述的實(shí)施例的背 景下，所添加的步驟S406能夠幫助在步驟S405中所確定的兩個縱向方位和兩個橫向方位之 間進(jìn)行區(qū)分。
[0056]根據(jù)步驟S404,能夠獲得關(guān)于視頻中是否發(fā)生旋轉(zhuǎn)的信息（旋轉(zhuǎn)參數(shù)的絕對值在 給定閾值之上）。依據(jù)步驟S402中獲得的旋轉(zhuǎn)參數(shù)的符號，能夠獲取關(guān)于旋轉(zhuǎn)的方向的信息 (如果rotat ion_parameter>0，則場景順時針旋轉(zhuǎn)，即攝像機(jī)相對于幀的中心逆時針旋轉(zhuǎn)， 如果rotation_parameter〈0，則場景逆時針旋轉(zhuǎn)，即攝像機(jī)相對于幀的中心順時針旋轉(zhuǎn)）。 與旋轉(zhuǎn)相對應(yīng)的用于視頻的最終旋轉(zhuǎn)值可以是旋轉(zhuǎn)參數(shù)關(guān)于片段的積分值，或者簡單地 是廣/+111&叉_0￥61'_86區(qū)1116111：(&匕8(1'0七&1：；[011_卩&獷&1116七61') 0該量的符號將取決于1'0七&1：；[011_ parameter關(guān)于當(dāng)前片段的符號。
[0057]在以下描述中，僅考慮幀可能只屬于三個類0°、90°、_90°的更簡單的情況。能夠理 解的是，具有上下顛倒的方位的視頻是很罕見的，因而其在以下描述中不會考慮。在本公開 的細(xì)化中，可以通過遵循相似的推理來添加180°方位類。
[0058] 下面的表1示出了根據(jù)估算出的旋轉(zhuǎn)參數(shù)（ε1>〇)在旋轉(zhuǎn)之前和之后的關(guān)于片段的 方位的信息。
[0059] 表 1
[0060]
[0061]
[0062] 在表1中，orient_before和orient_after分別指旋轉(zhuǎn)之前所有幀的方位和旋轉(zhuǎn)之 后所有幀的方位。在每個列中研究旋轉(zhuǎn)參數(shù)。依據(jù)參數(shù)的符號和值，能夠獲悉關(guān)于發(fā)生了旋 轉(zhuǎn)的事實(shí)、以及在這種情況下以什么方向旋轉(zhuǎn)(順時針、逆時針)兩者。
[0063] 圖5和圖6圖示了表1中討論的不同情況。根據(jù)圖5和圖6并根據(jù)旋轉(zhuǎn)方向，對于旋轉(zhuǎn) 之前和之后的平移值僅存在很少的可能性。
[0064] 圖5是示出在攝像機(jī)順時針旋轉(zhuǎn)之前和之后(表1中的情況2)的不同的可能的方位 的示范性的圖。在以下描述中僅考慮前兩種情況。圖6是示出在攝像機(jī)逆時針旋轉(zhuǎn)之前和之 后(表1中的情況3)的不同的可能的方位的示范性的圖。同樣地，在以下描述中僅考慮前兩 種情況。
[0065] 為了進(jìn)一步解決表1中的情況A和B、或者C和D之間的模糊性，如果存在任何如步驟 S405描述那樣計(jì)算出的旋轉(zhuǎn)之前和之后的平移特征的積分值，則根據(jù)以下表2將積分值進(jìn) 行比較和混合，以依據(jù)情況獲得旋轉(zhuǎn)之前和之后的幀的零個、一個或兩個可能的方位。
[0066] 表2示出了根據(jù)平移和旋轉(zhuǎn)參數(shù)/特征的方位決定。情況1、2和3在表1中描述(ε2是 正的）。
[0067] 表 2
[0068]
[0070] 對于Featuretranslntegrated或旋轉(zhuǎn)值非常小的一些情況，應(yīng)用一些拒絕策略： 不輸出方位信息。在本公開的變型中，未定義的情況(若干可能的方位)可以被轉(zhuǎn)換成被拒 絕的情況。
[0071] 此外，如果旋轉(zhuǎn)之前和之后的平移參數(shù)都同意將旋轉(zhuǎn)之前和之后的片段分類為例 如縱向片段，則可能錯誤地檢測到旋轉(zhuǎn)。在這種情況下，添加步驟S406能夠幫助消除這種誤 報。在這兩個進(jìn)行中的過程之間對一個或另一個的選擇可以取決于對旋轉(zhuǎn)參數(shù)和平移參數(shù) 二者可以具有的置信度值。
[0072] 如果在視頻中檢測到若干旋轉(zhuǎn)，則能夠獲得與諸如表2中描述的規(guī)則相似的規(guī)則 并且該相似的規(guī)則沿著視頻傳播，以解決未定義的情況。
[0073] 有利的是，當(dāng)未從主要運(yùn)動估算中檢測到平移時，能夠估算場景中一些對象的運(yùn) 動，并且如果存在任何這些對象的一些平移信息，則其能夠被用來取代主要運(yùn)動的平移信 息。
[0074] 在攝像機(jī)和對象都移動的情況下，能夠使用結(jié)合兩個區(qū)域的平移信息的圖式。不 過，對于分割為均一方位視頻片段，主要旋轉(zhuǎn)依然是唯一可靠的標(biāo)準(zhǔn)。
[0075] 為了擴(kuò)大該方法的魯棒性，如果計(jì)算負(fù)荷允許，則也能夠使用在靜態(tài)圖片中所使 用的一些附加特征。例如，面部方位依然是要與本公開中提出的基于運(yùn)動的特征合并的感 興趣的線索。
[0076] 即使在捕獲期間發(fā)生了旋轉(zhuǎn)，本公開也有利地針對給定視頻的所有幀提供方位信 息。其基于應(yīng)用到視頻上的一些少量的基于運(yùn)動的處理，并且因而無需離線學(xué)習(xí)處理。能夠 實(shí)時地實(shí)現(xiàn)運(yùn)動估算的步驟，并且在運(yùn)動估算之后能夠立即關(guān)于整個視頻或者關(guān)于一些預(yù) 定義的時間窗口應(yīng)用在線方位檢測處理。
[0077] 本公開能夠在例如提供先前捕獲的視頻的回放的視頻播放器上實(shí)施。該視頻播放 器包括但不限于PC上VideoLAN、在線視頻網(wǎng)站以及智能手機(jī)。
[0078] 本公開的實(shí)施例提供了用于確定視頻的方位的相應(yīng)裝置。
[0079] 圖7是示出在其上可以實(shí)施根據(jù)本公開的實(shí)施例的用于確定視頻的方位的方法的 計(jì)算機(jī)設(shè)備700的框圖。計(jì)算機(jī)設(shè)備700能夠是能夠進(jìn)行計(jì)算的任意種類的合適的計(jì)算機(jī)或 設(shè)備，諸如標(biāo)準(zhǔn)個人計(jì)算機(jī)(PC)。設(shè)備700包括至少一個處理器710、RAM存儲器720以及用于 與用戶進(jìn)行交互的用戶界面730。本領(lǐng)域技術(shù)人員將會理解的是，為了清楚起見，圖示的計(jì) 算機(jī)被大大簡化，而實(shí)際的計(jì)算機(jī)會另外包括諸如網(wǎng)絡(luò)連接和永久存儲設(shè)備的特征。
[0080] 利用用戶界面730,用戶能夠輸入/選擇視頻用于回放。如果需要的話，也能夠通過 用戶界面730向用戶輸出視頻的所確定的方位的結(jié)果。
[0081]處理器710包括用于估算視頻的運(yùn)動的第一單元。
[0082]處理器710還包括用于從估算出的視頻的運(yùn)動中提取基于平移的參數(shù)和基于旋轉(zhuǎn) 的參數(shù)的第二單元。
[0083]處理器710還包括用于根據(jù)基于平移的參數(shù)來計(jì)算給出水平平移隨時間的演變相 對豎直平移的演變的至少一個特征的第三單元。
[0084]處理器710還包括用于將視頻分割成通過根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測到的旋轉(zhuǎn)而分 離的片段的第四單元。
[0085]處理器710還包括用于將視頻的方位確定為該至少一個特征關(guān)于每個該片段的積 分的函數(shù)的第五單元。
[0086] 本公開的實(shí)施例提供了從通信網(wǎng)絡(luò)可下載的和/或記錄在計(jì)算機(jī)可讀取的介質(zhì)上 的和/或由處理器可執(zhí)行的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)施上述方法的步驟的程序代碼指 令。
[0087] 本公開的實(shí)施例提供了包括記錄在其上并能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品 的非暫時性計(jì)算機(jī)可讀介質(zhì)，該非暫時性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施上述方法的步驟的 程序代碼指令。
[0088]應(yīng)當(dāng)理解的是，本公開可以以各種形式的硬件、軟件、固件、專用處理器、或其組合 來實(shí)現(xiàn)。此外，該軟件優(yōu)選地作為在程序存儲設(shè)備上有型地體現(xiàn)的應(yīng)用程序來實(shí)現(xiàn)。該應(yīng)用 程序可以被上載到包括任何適當(dāng)架構(gòu)的機(jī)器，并由該機(jī)器執(zhí)行。優(yōu)選地，該機(jī)器在具有諸如 一個或多個中央處理單元(CPU)、隨機(jī)存取存儲器(RAM)、和（多個)輸入/輸出（I/O)接口的 硬件的計(jì)算機(jī)平臺上實(shí)現(xiàn)。該計(jì)算機(jī)平臺還包括操作系統(tǒng)和微指令代碼。在此描述的各種 處理和功能可以是部分微指令代碼或部分應(yīng)用程序(或其組合），其經(jīng)由操作系統(tǒng)執(zhí)行。此 外，各種其它外圍設(shè)備可以連接到該計(jì)算機(jī)平臺，諸如附加的數(shù)據(jù)存儲設(shè)備和打印設(shè)備。 [0089]還要理解的是，由于在附圖中描繪的一些構(gòu)成系統(tǒng)組件和方法步驟優(yōu)選地以軟件 來實(shí)現(xiàn)，因而系統(tǒng)組件(或處理步驟)之間的實(shí)際連接可能取決于本公開被編程的方式而不 同。鑒于在此的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠預(yù)期本公開的這些和類似的實(shí)現(xiàn)方 式或配置。
【主權(quán)項(xiàng)】
1. 一種用于確定視頻的方位的方法，所述方法包括： 估算（S101，S401)視頻的運(yùn)動； 從所估算出的視頻的運(yùn)動中提?。⊿102，S402)基于平移的參數(shù)；以及根據(jù)基于平移的 參數(shù)，計(jì)算(S103，S403)給出水平平移隨時間的演變相對豎直平移的演變的至少一個特征， 所述特征用于確定視頻的方位。2. 根據(jù)權(quán)利要求1所述的方法，還包括： 從估算出的視頻的運(yùn)動提取(S102，S402)基于旋轉(zhuǎn)的參數(shù)； 將視頻分割(S104，S404)成通過根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測到的旋轉(zhuǎn)而分離的至少一個 片段；以及 將視頻的方位確定(S105，S405)為所述至少一個特征關(guān)于所述至少一個片段的每個的 積分的函數(shù)。3. 根據(jù)權(quán)利要求1所述的方法，其中，估算包括估算(S101，S401)視頻的主要運(yùn)動。4. 根據(jù)權(quán)利要求2所述的方法，其中，所確定的方位包括針對視頻的每個幀的橫向方位 (0°，180°)和縱向方位(90°，-90°) 〇5. 根據(jù)權(quán)利要求1所述的方法，其中，估算包括在每個瞬時計(jì)算視頻的運(yùn)動的參數(shù)近 似。6. 根據(jù)權(quán)利要求2所述的方法，其中，所述分割包括對所提取的基于旋轉(zhuǎn)的參數(shù)進(jìn)行閾 值處理。7. 根據(jù)權(quán)利要求2所述的方法，其中，所述確定包括通過對每個片段的所有幀的至少一 個特征進(jìn)行積分以得到每片段的所述至少一個特征的一個代表性單值，來計(jì)算旋轉(zhuǎn)之前和 之后的該片段的方位。8. 根據(jù)權(quán)利要求1所述的方法，還包括在滑動時間窗口上對所述至少一個特征進(jìn)行平 滑化。9. 根據(jù)權(quán)利要求2所述的方法，還包括： 從根據(jù)基于旋轉(zhuǎn)的參數(shù)的旋轉(zhuǎn)角度的所確定的結(jié)果來確定(S405)視頻的方位。10. 根據(jù)權(quán)利要求9所述的方法，其中，根據(jù)基于旋轉(zhuǎn)的參數(shù)的正弦來確定旋轉(zhuǎn)角度。11. 根據(jù)權(quán)利要求9所述的方法，其中，所確定的方位包括針對視頻的每個幀的0°方位、 90°方位、-90°方位和180°方位。12. -種用于確定視頻的方位的裝置(700)，包括處理器(710)，被配置為： 估算視頻的運(yùn)動； 從所估算出的視頻的運(yùn)動提取基于平移的參數(shù)；以及 根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時間的演變相對豎直平移的演變的至少一 個特征，所述特征用于確定視頻的方位。13. -種從通信網(wǎng)絡(luò)可下載和/或記錄在計(jì)算機(jī)可讀取的介質(zhì)上和/或由處理器可執(zhí)行 的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)施根據(jù)權(quán)利要求1至11中的至少一個的方法的步驟的程序 代碼指令。14. 一種包括記錄在其上并能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品的非暫時性計(jì)算機(jī)可 讀介質(zhì)，所述非暫時性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施根據(jù)權(quán)利要求1至11中的至少一個的 方法的步驟的程序代碼指令。
【文檔編號】G06T7/00GK106030658SQ201580009769
【公開日】2016年10月12日
【申請日】2015年2月23日
【發(fā)明人】C-H.德馬爾蒂, L.奧伊塞爾, P.佩雷斯
【申請人】湯姆遜許可公司