視頻的圖示概要的制作方法
【技術領域】
[0001] 描述涉及視頻的圖示概要（pictorial smiimary)的實現(xiàn)方式。各種具體的實現(xiàn)方 式涉及使用可配置的、精細粒度的、分級的、基于場景的分析以生成視頻的圖示概要。
【背景技術】
[0002] 視頻往往可能很長，使?jié)撛谟脩綦y以確定視頻包含什么以及難以確定用戶是否想 要觀看該視頻。存在多種工具來生成圖示概要，圖示概要也稱為故事書（story book)或漫 畫書（comic book)或敘述抽象（narrative abstraction)。圖示概要提供一系列的靜止的 鏡頭（shot)，旨在概述或表示視頻的內(nèi)容。繼續(xù)需要改進用于創(chuàng)建圖示概要的可用工具以 及改進所生成的圖示概要。

【發(fā)明內(nèi)容】

[0003] 根據(jù)一般方面，訪問來自配置指南的一個或多個參數(shù)。配置指南包括用于配置視 頻的圖示概要的一個或多個參數(shù)。訪問視頻。生成視頻的圖示概要。圖示概要符合來自配 置指南的一個或多個所訪問的參數(shù)。
[0004] 下面在附圖和描述中闡述一個或多種實現(xiàn)方式的細節(jié)。即使以一種具體方式進行 描述，也應當清楚，實現(xiàn)方式可以以各種方式來配置和實施。例如，實現(xiàn)方式可以作為方法 來執(zhí)行，或者作為裝置（諸如被配置為執(zhí)行一組操作的裝置或者存儲用于執(zhí)行一組操作的 指令的裝置）來實施，或者以信號來實施。根據(jù)下面的詳細描述，并結(jié)合附圖和權(quán)利要求書 一起考慮，其他方面和特征將變得顯而易見。
【附圖說明】
[0005] 圖1提供視頻序列的分級結(jié)構(gòu)的示例；
[0006] 圖2提供帶注釋的腳本或電影劇本的示例；
[0007] 圖3提供生成圖示概要的處理的示例的流程圖；
[0008] 圖4提供生成圖示概要的系統(tǒng)的示例的框圖；
[0009] 圖5提供生成圖示概要的處理的用戶界面的示例的屏幕截圖；
[0010] 圖6提供來自圖示概要的輸出頁的示例的屏幕截圖；
[0011] 圖7提供將圖示概要中的圖片分配給場景的處理的示例的流程圖；
[0012] 圖8提供基于所期望頁數(shù)來生成圖示概要的處理的示例的流程圖；
[0013] 圖9提供基于來自配置指南的參數(shù)來生成圖示概要的處理的示例的流程圖。
【具體實施方式】
[0014] 圖示概要能夠有利地用于許多環(huán)境和應用中，包括例如快速視頻瀏覽、媒體存儲 庫（media bank)預覽或媒體庫預覽以及管理（搜索、檢索等）用戶生成的和/或非用戶生 成的內(nèi)容。已知媒體消費的需求正在增加，能夠使用圖示概要的環(huán)境和應用預期會增加。
[0015] 圖示概要生成工具能夠是全自動的，或者允許用戶輸入進行配置。每一種都有其 優(yōu)點和缺點。例如，來自全自動解決方案的結(jié)果被快速地提供，但是可能對范圍廣泛的消費 者沒有吸引力。然而，相反地，在用戶可配置的解決方案的情況下的復雜的交互允許靈活性 和控制，但是可能使消費者新手受挫。在本申請中提供多種實現(xiàn)方式，包括嘗試平衡自動操 作和用戶可配置的操作的實現(xiàn)方式。一種實現(xiàn)方式向消費者提供通過指定輸出圖示概要的 所期望的頁數(shù)的簡單輸入來定制圖示概要的能力。
[0016] 參照圖1，提供視頻序列110的分級結(jié)構(gòu)100。視頻序列110包括一系列的場景， 其中圖1例示開始視頻序列110的場景1112、跟隨場景1112的場景2114、作為處于離開視 頻序列的兩個末端未指定的距離處的場景的場景i 116以及作為視頻序列110中的最后的 場景的場景M 118。
[0017] 場景i 116包括一系列的鏡頭，其中分級結(jié)構(gòu)100例示開始場景i 116的鏡頭 1122、作為處于離開場景i 116的兩個末端未指定的距離處的鏡頭的鏡頭j 124以及作為 場景i 116中的最后的鏡頭的鏡頭K1 126。
[0018] 鏡頭j 124包括一系列的圖片。典型地，在形成圖示概要的處理中，選擇這些圖 片中的一個或多個作為突出（highlight)圖片（往往被稱為突出幀）。分級結(jié)構(gòu)100例示 被選擇為突出圖片的三個圖片，包括第一突出圖片132、第二突出圖片134和第三突出圖片 136。在典型的實現(xiàn)方式中，選擇圖片作為突出圖片還導致在圖示概要中包括該圖片。
[0019] 參照圖2,提供帶注釋的腳本或電影劇本200。腳本200例示典型腳本的多種組件 以及組件之間的關系。能夠以各種形式來提供腳本，包括例如字處理文檔。
[0020] 腳本或電影劇本經(jīng)常被作為書面作業(yè)由電影劇本作者針對電影或電視節(jié)目來定 義。在腳本中，通常描述每個場景以定義例如"誰"（人物或多個人物）、"什么"（情形）、 "何時"（時刻）、"何地"（動作的場所）以及"為何"（動作的目的）。腳本200用于單一場 景，并且包括以下組件（連同用于那些組件的典型的定義和解釋）：
[0021] 1.場景標題（Scene Heading):寫出場景標題以指示新場景開始，打字在一行上， 其中一些單詞縮寫并且全部單詞大寫。特別地，場景的地點列在場景出現(xiàn)時的時刻之前。內(nèi) 部（Interior)縮寫為INT.，并且指例如建筑物內(nèi)部。外部（Exterior)縮寫為EXT.，并且 指例如戶外。
[0022] 腳本200包括場景標題210,其將場景的地點標識為在外部，在瓊斯農(nóng)場的小屋的 前面。場景標題210還將時刻標識為傍晚。
[0023] 2.場景描述：場景描述是對該場景的描述，從左頁邊空白朝向右頁邊空白跨越頁 地打字。人物的名稱在描述中第一次使用時，以全部大寫字母來顯示它們。場景描述通常 描述在屏幕上出現(xiàn)什么，并且能夠以詞語"在視頻上（On VIDEO)"開始來指示這一點。
[0024] 腳本200包括描述在視頻上出現(xiàn)什么的場景描述220,如通過詞語"在視頻上"所 指示的那樣。場景描述220包括三個部分。場景描述220的第一部分介紹湯姆?瓊斯，給 出其年齡（"22歲"）、外貌（"飽經(jīng)風霜的臉"）、背景（"戶外生活"）、地點（"在柵欄上"） 以及當前活動（"看著地平線"）。
[0025] 場景描述220的第二部分描述在單一時間點時的湯姆的心理狀態(tài)（"在一些鳥飛 過頭頂時心不在焉"）。場景描述220的第三部分描述響應杰克提供幫助的動作（"看著我 們并且站起來"）。
[0026] 3.說話的人物：使用全部大寫字母來指示正在說話的人物的名稱。
[0027] 腳本200包括三個說話的人物指示230。第一和第三說話的人物指示230指示湯 姆正在說話。第二說話的人物指示230指示杰克正在說話，并且還指示杰克在幕外（"0. S.")，即在屏幕中不可見。
[0028] 4.獨白：人物正在說話的文本被置于頁的中央、在如上所述那樣地以全部大寫字 母的人物的名稱的下面。
[0029] 腳本200包括四個部分的獨白，由獨白指示符（monologue indicator) 240指示。 第一部分和第二部分用于湯姆的第一次講話，描述關于湯姆的狗的問題以及湯姆對這些問 題的反應。第三部分的獨白是杰克提供幫助（"想讓我為你訓練它嗎？ "）。第四部分的獨 白是湯姆的回答（"是的，可以嗎？"）。
[0030] 5.對話指示：對話指示描述在人物獨白開始之前或在其開始時，人物看或講話的 方式。將該對話指示打字在人物的名稱之下，或者打字在獨白內(nèi)的單獨的行上，在括號中。
[0031] 腳本200包括兩個對話指示250。第一個對話指示250指示湯姆"噴鼻息"。第二 個對話指示250指示湯姆具有"感激的驚訝的表情"。
[0032] 6.視頻過渡：視頻過渡是無需解釋的，其指示視頻中的過渡。
[0033] 腳本200包括在所顯示的場景的末端處的視頻過渡。視頻過渡260包括到黑色的 漸變以及然后針對接下來的場景（未示出）的漸顯。
[0034] 圖3提供生成圖示概要的處理300的示例的流程圖。處理300包括接收用戶輸入 (310)。接收用戶輸入是可選的操作，因為例如參數(shù)能夠是固定的并且不需要由用戶選擇。 然而，在多種實施方式中，用戶輸入包括以下一個或多個：
[0035] ⑴標識被期望圖示概要的視頻的信息，例如包括視頻文件名稱、視頻分辨率和視 頻模式；
[0036] (ii)標識對應于視頻的腳本的信息，例如包括腳本文件名稱；
[0037] (iii)描述所期望的圖示概要輸出的信息，例如包括圖示概要的所期望的最大頁 數(shù)、圖示概要中的頁的大小和/或圖示概要的頁的格式化信息（formatting information) (例如，圖示概要中的圖片之間的間隙的大?。?；
[0038] (iv)將在生成圖示概要中被使用的視頻的范圍；
[0039] (V)在場景加權(quán)（scene weighting)中所使用的參數(shù)，例如，諸如⑴在本申請中 關于加權(quán)所討論的任何參數(shù)、（ii)要在加權(quán)中強調(diào)的首要人物的名稱（例如詹姆斯?邦 德）、（iii)要在加權(quán)中強調(diào)的主要人物的數(shù)量的值、（vi)要在加權(quán)中強調(diào)的突出動作或?qū)?象的列表（例如，用戶可能主要對電影中的追車感興趣）；
[0040] (vi)在針對視頻的各個部分（例如場景）的圖示概要中的可用頁做預算 (budget)時所使用的參數(shù)，例如，諸如描述圖示概要的所期望的最大頁數(shù)的信息；
[0041] (vii)在評估視頻中的圖片時所使用的參數(shù)，例如，諸如選擇圖片質(zhì)量的度量的參 數(shù)；和/或
[0042] (Viii)在從場景中選擇用于包括在圖示概要中的圖片時所使用的參數(shù)，例如，諸 如要針對每個鏡頭來選擇的圖片的數(shù)量。
[0043] 處理300包括對彼此對應的腳本和視頻進行同步（320)。例如，在典型的實現(xiàn) 方式中，視頻和腳本都用于單一電影。同步操作320的至少一種實現(xiàn)方式使腳本與已經(jīng) 和視頻同步的字幕同步。多種實現(xiàn)方式通過使腳本的文本與字幕相關來執(zhí)行同步。從 而，腳本通過字幕與視頻同步，包括視頻定時信息。一個或多個這樣的實現(xiàn)方式使用已知 的技術來執(zhí)行腳本-字幕同步，例如，諸如在M. Everingham、J. Sivic和A. Zisserman的 "'Hello! My name is…Buffy. 'Automatic Naming of Characters in TV Video" (Proc. British Machine Vision Conf·，2006 年（"Everingham" 參考））中所描述的動態(tài)時間扭 曲（warping)方法。出于所有目的（包括但是不限于對動態(tài)時間扭曲的討論），通過引用將 Everingham參考的全部內(nèi)容并入本文。
[0044] 同步操作320提供同步的視頻作為輸出。同步的視頻包括原始視頻以及以某種方 式指示與腳本的同步的附加信息。多種實現(xiàn)方式例如通過確定對應于腳本不同部分的圖片 的視頻時間戳，然后將這些視頻時間戳插入到腳本的對應部分中，來使用視頻時間戳。
[0045] 在各種實現(xiàn)方式中，來自同步操作320的輸出是沒有改變（例如注釋）的原始視 頻和帶注釋的腳本，例如，如上所述的那樣。其他實現(xiàn)方式確實改變視頻，而不是改變腳本 或者也改變腳本。還有其他實現(xiàn)方式既不改變視頻也不改變腳本，而是單獨地提供同步信 息。還有另外的實現(xiàn)方式甚至不執(zhí)行同步。
[0046] 處理處理300包括對視頻中的一個或多個場景進行加權(quán)（330)。其他實現(xiàn)方式對 視頻的不同部分（例如，諸如鏡頭或者場景的分組等）進行加權(quán)。多種實現(xiàn)方式在確定場 景的權(quán)重時使用以下因素中的一個或多個：
[0047