專利名稱：基于編輯狀態(tài)的圖像數(shù)字處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于使用圖像記錄的方法，并涉及使用圖像記錄的系 統(tǒng)，諸如電視系統(tǒng)，本發(fā)明尤其涉及基于編輯狀態(tài)的電視數(shù)字處理。
背景技術(shù)：
數(shù)字成像已經(jīng)極大提高了消費(fèi)者能力，來(lái)由同一輸出系統(tǒng)上的專業(yè) 和業(yè)余圖像記錄制作可視圖像。文中使用術(shù)語(yǔ)"可視圖像"來(lái)指可以在 視覺(jué)上感知的圖像，諸如用顯示器產(chǎn)生的光圖像，以及用打印機(jī)或印刷 機(jī)產(chǎn)生的硬拷貝圖像。文中使用術(shù)語(yǔ)"圖像記錄"來(lái)指數(shù)字靜態(tài)圖像、 視頻序列或多媒體記錄。輸出系統(tǒng)有時(shí)候提供對(duì)輸出圖像記錄的最小的 自動(dòng)化數(shù)字處理。在其它情況下，提供"一刀切，，處理。這些方法在窄 輸入范圍的情況下工作效果最佳，而對(duì)于不適合該窄范圍的圖像記錄沒(méi) 有幫助。手動(dòng)(用戶指導(dǎo)的)數(shù)字處理一般可用，并且在諸如編輯和打 印個(gè)別靜態(tài)圖像的一些情況下不是特別難以承擔(dān)。在另一方面，對(duì)于編 輯視頻序列，手動(dòng)數(shù)字處理可能是非常難以承擔(dān)的。手動(dòng)處理也不適合 于在不定期觀看的過(guò)程中使用。因此，顯示圖像的輸出系統(tǒng)，文中也稱 之為"顯示系統(tǒng)"，特別適合于自動(dòng)數(shù)字處理。
回放系統(tǒng)的示例包括家庭娛樂(lè)系統(tǒng)、電視機(jī)以及提供類似功能的便 攜式裝置。現(xiàn)在，很多回放系統(tǒng)包括應(yīng)用復(fù)雜圖像處理算法的子系統(tǒng)。 這樣的算法可以改變?cè)肼暋?duì)比度、色彩平衡、亮度以及其它圖像質(zhì)量 參數(shù)中的 一個(gè)或多個(gè)。這樣的算法可以在很大程度上改善消費(fèi)者圖像記 錄，特別是從未編輯過(guò)的圖像記錄或者用缺少?gòu)?fù)雜圖像處理的攝像機(jī)采 集的圖像記錄。這樣的算法還可以修改專業(yè)圖像記錄的"外觀"。文中
和授予Morton的美國(guó)專利第6868190號(hào)以及授予Bogdanwicz等的美國(guó) 專利第6972828號(hào)一樣意義地使用術(shù)語(yǔ)"外觀"，將這兩個(gè)專利并入本 文作為參考。這些專利公開了用于在電影中維持期望的"外觀"的步驟。 "外觀"包括圖像記錄的特征，比如銳度、顆粒、色階、色飽和度、 穩(wěn)像以及噪聲。這些參考文獻(xiàn)教示了已知外觀的輸入圖像記錄的修改，以創(chuàng)建不同外觀的輸出圖像記錄。不幸的是，在很多情況下，輸入記錄
的外觀是未知或未表征的。
修改專業(yè)制備的圖像記錄的外觀將提出是否已損害藝術(shù)價(jià)值的問(wèn)
題。許多回放系統(tǒng)的一個(gè)缺點(diǎn)是完全自動(dòng)地修改圖像記錄。如果外觀改
變了，這將是有問(wèn)題的。
如Parulski等的"Source-adaptive encoding options for HDTV and NTSC ，， ， SMPTE Journal ， Oct 1992， 674—683頁(yè)所述，根據(jù)源來(lái) 修改電視圖像的編碼/壓縮是已知的。
授予Savakis等的美國(guó)專利第6671405號(hào)教示了使用貝葉斯網(wǎng)或 網(wǎng)絡(luò)組來(lái)提供根椐消費(fèi)者圖像的邏輯次序的消費(fèi)者圖像的自動(dòng)分級(jí)，邏 輯次序基于強(qiáng)調(diào)和吸引力的自動(dòng)評(píng)定，但是，圖像的分級(jí)是為了自動(dòng)相 冊(cè)頁(yè)裝配而確定的。美國(guó)專利第6671405號(hào)描述了基于人類觀察者的偏 好的地面實(shí)況研究而選擇的若干特征。這些特征包括與人相關(guān)的特征 一人的存在與否、皮膚或臉部面積的量以及基于臉部尺寸的靠近程度； 客觀特征_圖像的色彩性和銳度；以及與主體相關(guān)的特征一主體的尺 寸，以及基于主體映射的構(gòu)圖質(zhì)量。因此，特征提取級(jí)的輸出表示特定 特征存在(或不存在)的統(tǒng)計(jì)證據(jù)；然后，分類級(jí)對(duì)輸出進(jìn)行集成以計(jì) 算表示圖像具有網(wǎng)絡(luò)被設(shè)計(jì)為檢測(cè)的類型的可能性的值。
因此，希望提供克服這些缺點(diǎn)的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明由權(quán)利要求限定。在廣泛的層面上，本發(fā)明提供了一種用于 由圖像記錄產(chǎn)生可視輸出的方法和系統(tǒng)。在該方法中確定提供圖像記錄 的輸入單元。圖像記錄是多種不同類型中的一種。圖像記錄被分類為預(yù) 定的多種不同編輯狀態(tài)中的一種。該分類將確定的輸入單元類型用作輸 入。編輯狀態(tài)包括未編輯狀態(tài)和充分編輯狀態(tài)。圖像記錄被數(shù)字化增強(qiáng)。 在增強(qiáng)的過(guò)程中，限制圖像記錄的實(shí)質(zhì)性修改。當(dāng)編輯狀態(tài)為充分編輯 時(shí)，對(duì)增強(qiáng)的限制較大；當(dāng)編輯狀態(tài)不同于充分編輯時(shí)，對(duì)增強(qiáng)的限制 較小。圖像記錄被渲染以適應(yīng)于預(yù)定的輸出單元。以可視的形式輸出所 得的圖像記錄。
本發(fā)明的有利效果是提供了改進(jìn)的方法和系統(tǒng)，其中通過(guò)應(yīng)用基于 圖像記錄的源的圖像處理來(lái)改善圖像記錄的輸出。


通過(guò)參照結(jié)合了附圖的本發(fā)明實(shí)施例的以下說(shuō)明，本發(fā)明的上述和 其它特征、目的以及實(shí)現(xiàn)它們的方法將變得更明顯，并且可以更好地理
解發(fā)明本身，在附圖中
圖1是示出一些可能的內(nèi)容源的本系統(tǒng)的實(shí)施例的示意圖。 圖2是本系統(tǒng)的另一實(shí)施例的示意圖。 圖3是本系統(tǒng)的又一實(shí)施例的示意圖。 圖4是圖1-3的實(shí)施例的工作原理圖。
圖5是舉例說(shuō)明圖4的兩條不同的圖像處理路徑的詳細(xì)示意圖。 圖6是該方法的實(shí)施例的流程圖。
圖7是圖6的方法的特定修改形式的某些細(xì)節(jié)的流程圖。
圖8是權(quán)利要求5的圖像處理路徑的替代的另 一詳細(xì)示意圖。
對(duì)于不同附圖中的特定特征，詳細(xì)的程度不同。
具體實(shí)施例方式
本發(fā)明包括文中所述的實(shí)施例的組合。對(duì)"特定實(shí)施例，，等的提及 指的是存在于至少一個(gè)本發(fā)明實(shí)施例中的特征。對(duì)"實(shí)施例，，或"特定 實(shí)施例"等的不同提及不一定指相同的一個(gè)或多個(gè)實(shí)施例；然而，這些 實(shí)施例并非互不相容，除非另有說(shuō)明，或者對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)4艮 明顯。在提及"方法"或"多種方法"等時(shí)單數(shù)和/或復(fù)數(shù)的使用不是 限制性的。
像早先所述的那樣，對(duì)數(shù)字靜態(tài)圖像、視頻序列或多媒體記錄使用 "圖像記錄"。圖像記錄包括一個(gè)或多個(gè)數(shù)字圖像，并且還可以包括元 數(shù)據(jù)，諸如聲音或文本注釋。特定圖像記錄可以是單個(gè)數(shù)字文件，或者 多個(gè)相關(guān)聯(lián)的數(shù)字文件。元數(shù)據(jù)可以存儲(chǔ)在和相關(guān)的數(shù)字圖像相同的圖 像文件中，或者可以單獨(dú)存儲(chǔ)。圖像記錄的示例包括靜態(tài)圖像、視頻序 列和多媒體視頻演示。對(duì)于視頻序列，圖像的序列是單個(gè)圖像記錄。序 列中的每一個(gè)圖像(幀)也是圖像記錄，并且可以被作為圖像記錄來(lái)處 理。如果將視頻序列作為較短的多幀序列的集合來(lái)處理，那么這些幀序 列中的每一個(gè)也是圖像處理。雖然文中 一般與圖像記錄的圖像特征相關(guān) 地描迷該方法和系統(tǒng)，可以用相同的方式來(lái)處理可進(jìn)行數(shù)字處理的其它 特征，諸如音頻。同樣地，這里的討論一般針對(duì)的是可視圖像的產(chǎn)生和
9顯示。除了從上下文中顯而易見的內(nèi)容以外，適用于靜態(tài)圖像的顯示的 考慮適用于由打印機(jī)、印刷機(jī)等產(chǎn)生的硬拷貝圖像的輸出。
文中所使用的術(shù)語(yǔ)"顯示器"包括產(chǎn)生光圖像的任何裝置，包括發(fā) 光面板、反光面板和投影機(jī)。"顯示器"不限于獨(dú)立的顯示器，而是包 括作為其它設(shè)備的一部分的顯示器，諸如手機(jī)、電視機(jī)或個(gè)人視頻播放
器的顯示器。顯示器以特定的視頻幀速率來(lái)演示視頻。視頻幀速率是由 源材料和顯示器以及系統(tǒng)的其它組件的能力預(yù)先確定的。在文中的視頻
序列中，由于較慢的速率易于產(chǎn)生有害閃爍，優(yōu)選的情況是幀速率為24 幀每秒或更高。 一種方便的速率是30幀/秒，因?yàn)樵撍俾室话阌糜趶V播 用戶^L頻。
文中使用術(shù)語(yǔ)"渲染，，等來(lái)指的數(shù)字處理修改圖像記錄以使得圖像 記錄在特定輸出裝置的限制范圍內(nèi)。這些限制范圍包括色域、可用色階 等。
在以下說(shuō)明中， 一些特征被描述為"軟件"或"軟件程序"。本領(lǐng) 域技術(shù)人員將認(rèn)識(shí)到，也可以容易地在硬件中構(gòu)建該軟件的等效形式。 由于圖像處理算法和系統(tǒng)是眾所周知的，本說(shuō)明著重于形成該方法的一 部分的算法和特征，或者與該方法更直接地配合的算法和特征。文中討 論的計(jì)算機(jī)化系統(tǒng)的類型的 一般特征是眾所周知的，并且本說(shuō)明 一般限 于與本發(fā)明的方法直接相關(guān)的那些方面。可以從本領(lǐng)域中已知的這些系 統(tǒng)、算法、組件和元件中選擇在文中沒(méi)有特別示出或描述的用于產(chǎn)生或 處理其中涉及的圖像信號(hào)的這些算法和設(shè)備以及硬件和/或軟件的其它 方面。在給出如文中所迷的說(shuō)明的情況下，所有的額外軟件/硬件實(shí)施 方式是常規(guī)的，并且在本領(lǐng)域普通技術(shù)范圍內(nèi)。
還應(yīng)當(dāng)注意的是，可以以軟件和/或硬件的組合形式來(lái)實(shí)施本發(fā)明， 并且本發(fā)明不限于在物理上連接和/或位于相同的物理位置之內(nèi)的裝 置。附圖中舉例說(shuō)明的一個(gè)或多個(gè)組件可以位于遠(yuǎn)處，并且可以通過(guò)網(wǎng) 絡(luò)來(lái)連接。 一個(gè)或多個(gè)組件可以以無(wú)線的方式，諸如通過(guò)射頻鏈路，直 接地或者經(jīng)由網(wǎng)絡(luò)進(jìn)行連接。
可以在多種用戶背景和環(huán)境中采用本發(fā)明。示范性的背景和環(huán)境包 括而不限于固定和移動(dòng)用戶裝置上的使用、批發(fā)和零售商業(yè)使用、信息 站上的使用，以及用作經(jīng)由諸如互聯(lián)網(wǎng)或蜂窩式通信網(wǎng)的網(wǎng)絡(luò)提供的服 務(wù)的一部分。應(yīng)當(dāng)理解的是，可以用本領(lǐng)域技術(shù)人員所熟知的多種方式來(lái)修改示 出和描述的電路。還應(yīng)當(dāng)理解的是，這里根據(jù)物理電路來(lái)描述的各種特 征可以被可選擇地提供為固件功能、軟件功能，或者二者的組合。同樣 地，文中作為分立單元來(lái)說(shuō)明的組件可以被方便地組合或共用?？梢栽?分散的位置中提供多個(gè)組件。
數(shù)字圖像包括一個(gè)或多個(gè)數(shù)字圖像通道或色彩分量。各數(shù)字圖像通 道是像素的二維陣列。各像素值與由與像素的物理區(qū)域?qū)?yīng)的成像采集 裝置接收到的光量相關(guān)。對(duì)于彩色成像應(yīng)用，數(shù)字圖像通常由紅色、綠 色和藍(lán)色數(shù)字圖像通道組成?？蓪?dòng)態(tài)成像應(yīng)用視為數(shù)字圖像的序列。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，本發(fā)明可以應(yīng)用于而不是限于任何文中所 述的應(yīng)用的數(shù)字圖像通道。盡管數(shù)字圖像通道被描述為按行和列排列的 像素值的二維陣列，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到本方面可應(yīng)用于非直線 陣列而達(dá)到相同效果。
在每種背景下，本發(fā)明可以是獨(dú)立的，或者可以是更大的系統(tǒng)解決 方案的組件。此外，人類接口，例如掃描或輸入、數(shù)字處理、對(duì)用戶的 顯示、用戶請(qǐng)求或處理指令(如果需要)的輸入、輸出，可以各自在相 同或不同的裝置和物理位置上，并且這些裝置和位置之間的通信可以經(jīng) 由公共或?qū)Ｓ镁W(wǎng)絡(luò)連接，或基于媒介的通信。在與本發(fā)明的公開一致的 情況下，本發(fā)明的方法可以是完全自動(dòng)的，可以具有用戶輸入(完全或 部分手動(dòng))，可以使用戶或操作員觀看以接受/拒絕結(jié)果，或者可以用 在別處討論的元數(shù)據(jù)以外的元數(shù)據(jù)來(lái)輔助(這樣的元數(shù)據(jù)可以是用戶提 供的、測(cè)量裝置提供的，或者由算法確定的)。另外，這些方法可以用 多種工作流程用戶接口方案來(lái)進(jìn)行接口連接。
圖1示出了本系統(tǒng)10的實(shí)施例。在該實(shí)施例中，回放系統(tǒng)利用機(jī) 頂盒12和顯示器14由圖像記錄產(chǎn)生可視輸出。機(jī)頂盒提供的功能包括 但不限于模擬調(diào)諧、數(shù)字通道選擇、媒體回放(使用，例如，DVD播 放器或存儲(chǔ)卡讀取器)，以及程序存儲(chǔ)器(例如，利用硬盤驅(qū)動(dòng)器)。 一系列可能的輸入被分成三種一般類型的內(nèi)容源，它們被分為"專業(yè)" 內(nèi)容16 (例如，地面廣播電視、DVD)、"消費(fèi)者，，內(nèi)容18 (例如，便 攜式攝像機(jī)、DSC、嬰兒監(jiān)視攝像機(jī))，以及"特殊，，內(nèi)容20 (例如， -魄頻游戲、互聯(lián)網(wǎng)電一見)。顯示器的形式可以是，例如，電視^幾，或者 電視接收器和獨(dú)立監(jiān)視器。
ii圖2舉例說(shuō)明了系統(tǒng)10的另一實(shí)施例。在該實(shí)施例中，利用諸如 DVD播放器、個(gè)人數(shù)字助理(PDA)、數(shù)字靜態(tài)和/或視頻攝像機(jī)或者移 動(dòng)電話的單片便攜式顯示裝置來(lái)顯示可視輸出。該裝置具有外殼或殼體 302、顯示器301、存儲(chǔ)器304、控制單元306、輸入單元308，以及連 接于控制單元306的用戶控制裝置310。殼體302可以手持，即，足夠 小和輕，以便于一般人用單手握住。信號(hào)路徑314連接組件302、 304、 306、 308、 310,并且在該實(shí)施例中，如所說(shuō)明地，系統(tǒng)組件和信號(hào)路 徑位于外殼302內(nèi)。
系統(tǒng)還可以采用便攜式計(jì)算機(jī)、信息站，或者其它便攜式或非便攜 式計(jì)算機(jī)硬件和計(jì)算機(jī)化設(shè)備的形式。在所有的情況下， 一個(gè)或多個(gè)組 件和信號(hào)路徑可以整體地或部分地位于外殼之外。圖3示出了包括臺(tái)式 計(jì)算機(jī)和各種外設(shè)的實(shí)施例。在該實(shí)施例中，可以產(chǎn)生顯示圖像或打印 圖像。計(jì)算機(jī)系統(tǒng)110包括控制單元112 (作為個(gè)人計(jì)算機(jī)在圖3中舉 例說(shuō)明)，其用于接收和處理軟件程序，以及用于執(zhí)行其它處理功能。 顯示器114電連接于控制單元112。形式為鍵盤116和鼠標(biāo)118的用戶 控制裝置也連接于控制單元112?？梢院陀糜谧x取和寫入的適當(dāng)?shù)慕M件 (CD/DVD讀取器/寫入器和硬盤驅(qū)動(dòng)器122、存儲(chǔ)卡讀取器132)—起提 供多種可移動(dòng)存儲(chǔ)器(用CD-ROM124、 DVD126、軟盤125和存儲(chǔ)卡130 來(lái)舉例說(shuō)明)。存儲(chǔ)器可以是內(nèi)部或者外部的，并且可以利用有線或無(wú) 線連接，直接地或者經(jīng)由局域網(wǎng)或諸如互聯(lián)網(wǎng)的廣域網(wǎng)來(lái)訪問(wèn)之。數(shù)字 攝像機(jī)134可以經(jīng)由插接站136、有線連接138或無(wú)線連接140間斷地 與計(jì)算機(jī)連接。打印機(jī)128也可以連接于控制單元112，以便打印來(lái)自 計(jì)算機(jī)系統(tǒng)110的輸出的硬拷貝?？刂茊卧猆2可以具有到諸如局域網(wǎng) 或互聯(lián)網(wǎng)的外部網(wǎng)絡(luò)的網(wǎng)絡(luò)連接127,諸如電話線、以太網(wǎng)電纜或無(wú)線 鏈路。
圖2和3沒(méi)有示出輸入列表，但是可以和圖1的輸入列表相同或相 似的輸入列表一起使用。
系統(tǒng)的不同組件可以完全獨(dú)立，或者可以和其它組件共用一個(gè)或多 個(gè)硬件和/或軟件特征。圖4示出了適用于圖1-3的所有實(shí)施例的功能 組件的原理圖。沒(méi)有舉例說(shuō)明或討論的其它特征是本領(lǐng)域技術(shù)人員所熟 知的。例如，系統(tǒng)可以是移動(dòng)電話攝像機(jī)。
用戶控制裝置310可以包括任何形式的變換器，或者能夠接收來(lái)自用戶的輸入并將該輸入轉(zhuǎn)換成可為處理器所用的形式的其它裝置。例
如，用戶接口可以包括觸摸屏輸入、觸摸板輸入、4路開關(guān)、6路開關(guān)、 8路開關(guān)、觸筆系統(tǒng)、跟蹤球系統(tǒng)、操縱桿系統(tǒng)、語(yǔ)音識(shí)別系統(tǒng)、姿勢(shì) 識(shí)別系統(tǒng)、鍵盤、遠(yuǎn)程控制裝置或其它的這種系統(tǒng)。用戶控制裝置可以 包括一個(gè)或多個(gè)傳感器，該傳感器可包括光傳感器、生物測(cè)量傳感器， 以及本領(lǐng)域中已知的可用于檢測(cè)系統(tǒng)環(huán)境中的條件和將該信息轉(zhuǎn)換成 可由系統(tǒng)處理器使用的形式的其它傳感器。光傳感器可以包括一個(gè)或多 個(gè)普通攝像機(jī)和/或多光譜傳感器。傳感器還可以包括適合于采集聲音 的音頻傳感器。傳感器還可包括用于測(cè)量無(wú)意識(shí)的身體和心理反應(yīng)的生 物測(cè)量傳感器或其它傳感器，這些傳感器包括但不限于語(yǔ)音變化、身體 活動(dòng)、眼運(yùn)動(dòng)、瞳孔放大、身體溫度以及p4000波傳感器。用戶控制裝 置可以是本地的或者遠(yuǎn)程的。將通信單元的硬件和軟件與和一個(gè)或多個(gè) 早先述及的述用戶控制裝置結(jié)合起來(lái)的有線或無(wú)線遠(yuǎn)程控制裝置222可 以包括在系統(tǒng)中，并經(jīng)由接口 224起作用。
通信單元或系統(tǒng)可以包括例如， 一個(gè)或多個(gè)光、射頻或其它變換 器電路，或者其它系統(tǒng)，這些系統(tǒng)將圖像和其它數(shù)據(jù)轉(zhuǎn)換成可利用光信 號(hào)、射頻信號(hào)或其它形式的信號(hào)傳送至諸如遠(yuǎn)程存儲(chǔ)系統(tǒng)或遠(yuǎn)程顯示裝 置的遠(yuǎn)程裝置的形式。通信系統(tǒng)可被用來(lái)為輸入單元提供圖像記錄，以 及提供來(lái)自主計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、網(wǎng)絡(luò)(未單獨(dú)舉例說(shuō)明)、遠(yuǎn)程 存儲(chǔ)系統(tǒng)，或遠(yuǎn)程輸入的其它數(shù)據(jù)。通信系統(tǒng)為處理器提供來(lái)自通過(guò)其 接收的信號(hào)的信息和指令。 一般地，通信系統(tǒng)適用于通過(guò)諸如以下網(wǎng)絡(luò) 的通信網(wǎng)絡(luò)與遠(yuǎn)程存儲(chǔ)系統(tǒng)進(jìn)行通信常規(guī)電信網(wǎng)絡(luò)；諸如互聯(lián)網(wǎng)的數(shù) 椐傳送網(wǎng)；蜂窩式、點(diǎn)對(duì)點(diǎn)或其它形式的移動(dòng)電信網(wǎng)絡(luò)；諸如有線或無(wú) 線局域網(wǎng)的局部通信網(wǎng)絡(luò)；或者任何其它常規(guī)的有線或無(wú)線數(shù)據(jù)傳送系 統(tǒng)。
系統(tǒng)可以包括一個(gè)或多個(gè)輸出裝置，其直接地或通過(guò)適當(dāng)?shù)挠布?供可視輸出。輸出可以是與圖像記錄對(duì)應(yīng)的一個(gè)或多個(gè)硬拷貝或軟拷貝 圖像的形式，或者以包括數(shù)字形式的一個(gè)或多個(gè)圖像的存儲(chǔ)數(shù)字文件的 形式提供輸出。輸出裝置包括，但不限于，數(shù)字?jǐn)z影打印機(jī)128、軟拷 貝顯示器301以及DVD寫入器122。打印機(jī)可以利用多種已知技術(shù)在接 收媒介上記錄圖像，這些已知技術(shù)包括但不限于傳統(tǒng)四色膠印或其它 的^觸印刷；絲網(wǎng)印刷；i者々口在Rochester ， New York ， USA的EastmanKodak公司出售的NexPress 2100打印片幾中4吏用的干靜電顯影；熱打印 技術(shù)；按需滴墨的噴墨技術(shù)和連續(xù)噴墨技術(shù)。為了以下討論，打印機(jī)被 描述為具有在紙張接收器上生成彩色圖像的類型；應(yīng)當(dāng)理解的是，這并 不是必要的，并且可以利用打印諸如黑色和白色的單色圖像、灰度或棕 褐色調(diào)圖像的打印機(jī)，以及利用在在其它類型的接收器上打印的打印機(jī) 來(lái)實(shí)施文中要求保護(hù)的方法和設(shè)備。輸出裝置還可以包括輸出的組合， 諸如打印的圖像和諸如CD或DVD的存儲(chǔ)單元上的數(shù)字文件，CD和DVD 可以與諸如個(gè)人媒體播放器或平面電視的任何家庭和便攜式觀看裝置 一起使用。
顯示器301具有產(chǎn)生光圖像的顯示面板303，以及在其中安裝有顯 示面板的殼體。顯示器可以具有與特定用途相關(guān)的附加特征。例如，顯 示器可以是電視接收器，其對(duì)來(lái)自天線或有線電視系統(tǒng)的電視信號(hào)進(jìn)行 解碼。
控制單元可以具有多個(gè)處理器，如圖4所示，或者可以具有提供多 種功能的單個(gè)處理器。控制單元可以在多組件系統(tǒng)的任何組件中，并且 如果控制單元具有一個(gè)以上的可分離模塊，則可以在系統(tǒng)的不同組件之 間分配這些模塊?？梢苑奖愕靥峁┰撓到y(tǒng)，使得控制單元位于系統(tǒng)的視 頻序列的正常路徑上，并且提供不同的模塊，為不同類型的節(jié)目?jī)?nèi)容優(yōu) 化各不同的模塊。例如，對(duì)于用于家庭娛樂(lè)的系統(tǒng)，可以方便地將控制 單元安置在電視機(jī)和/或機(jī)頂盒中。在特定實(shí)施例中，控制單元具有多 個(gè)分離的模塊，而這些模塊在電視機(jī)和機(jī)頂盒的二者之一中。
在圖4的實(shí)施例中，控制單元306具有控制處理器202、音頻處理 器204,以及兩個(gè)數(shù)字音頻處理器206、 208。利用存儲(chǔ)的軟件和數(shù)據(jù)， 控制處理器基于來(lái)自用戶控制和輸入單元的信號(hào)來(lái)操作系統(tǒng)的其它組 件。下面與該方法相關(guān)地討論控制處理器的一些操作。音頻處理器向驅(qū) 動(dòng)揚(yáng)聲器212的音頻放大器210提供信號(hào)。數(shù)字視頻處理器將信號(hào)送至 多路復(fù)用器214 (在圖4中標(biāo)記為"MUX"),該多路復(fù)用器214將信號(hào) 送至驅(qū)動(dòng)顯示面板303的顯示驅(qū)動(dòng)器215。(可以改為用一對(duì)顯示驅(qū)動(dòng) 器(未示出)來(lái)驅(qū)動(dòng)顯示面板。各顯示驅(qū)動(dòng)器將被替換地使用，并且將 操作來(lái)自相應(yīng)數(shù)字視頻處理器的信號(hào)。)用于處理器的參數(shù)是由專用存 儲(chǔ)器216或存儲(chǔ)器304提供的。
控制處理器可以包括但不限于可編程數(shù)字計(jì)算;f幾、可編程微處理
14器、可編程邏輯處理器、多個(gè)電路、減小為集成電路形式的多個(gè)電路， 或者多個(gè)分立組件?？梢栽诠潭ɑ蚩梢苿?dòng)存儲(chǔ)器上提供必要的程序，或 者，如在本領(lǐng)域中人們所熟知的，控制處理器可以被編程以在內(nèi)部存儲(chǔ) 需要的軟件程序。
"存儲(chǔ)器"指的是設(shè)置在半導(dǎo)體存儲(chǔ)器或磁存儲(chǔ)器等中的物理存儲(chǔ) 器的一個(gè)或多個(gè)大小適當(dāng)?shù)倪壿媶卧?。系統(tǒng)的存儲(chǔ)器可以存儲(chǔ)計(jì)算機(jī) 程序產(chǎn)品，其具有存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)媒介中存儲(chǔ)的程序。存儲(chǔ)器可 以包括常規(guī)存儲(chǔ)裝置，其包括固態(tài)、磁、光或其它數(shù)據(jù)存儲(chǔ)裝置，并且 存儲(chǔ)器可以固定在系統(tǒng)內(nèi)，或者可以是可移動(dòng)的。例如，存儲(chǔ)器可以是
內(nèi)部存儲(chǔ)器，比如，諸如SDRAM或閃存EPROM存儲(chǔ)器，或者作為選擇， 存儲(chǔ)器可以是可移動(dòng)存儲(chǔ)器，或者是內(nèi)部存儲(chǔ)器和可移動(dòng)存儲(chǔ)器的組 合?？梢苿?dòng)存儲(chǔ)器可為任何類型，諸如插入插槽并經(jīng)由存儲(chǔ)器接口與處 理器連接的緊湊式閃存(CF)或安全數(shù)字(SD)型卡。使用的其它類型 的存儲(chǔ)裝置包括但不限于PC卡、多媒體卡(固C),或嵌入式和/或可 移動(dòng)硬盤驅(qū)動(dòng)器。包括但不限于控制程序的數(shù)據(jù)也可以存儲(chǔ)在諸如個(gè)人 計(jì)算機(jī)、計(jì)算機(jī)網(wǎng)絡(luò)或其它數(shù)字系統(tǒng)的遠(yuǎn)程存儲(chǔ)器系統(tǒng)中。
除了操作系統(tǒng)所必需的功能以外，如以下將詳細(xì)描述的，控制單元 還提供對(duì)圖像記錄的渲染、修復(fù)和增強(qiáng)功能。在圖4的實(shí)施例中，由兩 個(gè)視頻處理器以及音頻處理器來(lái)提供這些功能?？梢砸赃m于或便于滿足 特定要求的方式為這些附加功能提供不同數(shù)目的視頻和音頻處理器，或 者，可以使用由可編程處理參數(shù)控制的單個(gè)處理器單元?？梢蕴峁└郊?功能，諸如圖像記錄的手動(dòng)編輯，以及自動(dòng)化(機(jī)器控制的)操作中的 手動(dòng)干預(yù)?？梢砸院涂刂铺幚砥飨嗤胤绞絹?lái)提供必要的程序。圖像修 改還可以包括元數(shù)據(jù)，即，與圖像記錄相關(guān)的非圖像信息的添加或修改。
系統(tǒng)具有多個(gè)輸入單元308。各輸入單元設(shè)置了一個(gè)或多個(gè)輸入端 口 218以便于特定系統(tǒng)使用。各輸入端口能夠利用輸入選擇器220向控 制單元發(fā)送圖像記錄。各輸入端口可接受不同種類的輸入。例如， 一個(gè) 輸入端口可接受來(lái)自DVD的圖像記錄，另一輸入端口可接受來(lái)自衛(wèi)星電 視的圖像記錄，并且另 一輸入端口可接受來(lái)自通過(guò)有線或無(wú)線連接進(jìn)行 連接的個(gè)人計(jì)算機(jī)的內(nèi)部存儲(chǔ)器的圖像記錄。
每個(gè)輸入單元提供都被預(yù)先確定為具有節(jié)目?jī)?nèi)容的 一共同特性的 一個(gè)或多個(gè)輸入端口的邏輯和/或物理組合，該共同特性允許圖像增強(qiáng)過(guò)程中的共同處理。例如，參照?qǐng)D1，為可能被專業(yè)制作的廣播內(nèi)容提 供一個(gè)輸入單元，并且為可能被非專業(yè)制作的非廣播內(nèi)容提供第二輸入 單元。輸入單元的另一示例(未示出)是用于具有受限圖像特征的特殊
內(nèi)容，諸如一見頻游戲內(nèi)容和互聯(lián)網(wǎng)電^L。
輸入端口、輸入單元的數(shù)目和不同類型，以及內(nèi)容的類型都是不受 限制的。輸入端口可以包括可向處理器提供適當(dāng)數(shù)字?jǐn)?shù)據(jù)的任何形式的 電子電路或其它電路或系統(tǒng)，或者與它們進(jìn)行接口連接?？梢詾榭刹杉?用于圖像記錄的內(nèi)容數(shù)據(jù)和/或可獲取已由其它裝置制備或利用其它裝 置制備的圖像記錄的攝像機(jī)或者其它采集裝置提供一個(gè)或多個(gè)輸入端 口。例如，輸入端口可以包括一個(gè)或多個(gè)插接站、間斷式鏈接的外部數(shù) 字采集和/或顯示裝置、與有線電信系統(tǒng)的連接、提供與無(wú)線電信網(wǎng)絡(luò) 的無(wú)線連接的移動(dòng)電話和/或無(wú)線寬帶收發(fā)器。又例如，電纜鏈路提供 與電纜通信網(wǎng)絡(luò)的連接，并且碟形衛(wèi)星天線衛(wèi)星系統(tǒng)提供與衛(wèi)星通信系 統(tǒng)的連接?；ヂ?lián)網(wǎng)鏈路提供與遠(yuǎn)程服務(wù)器中的遠(yuǎn)程存儲(chǔ)器的通信連接。 光盤播放器/寫入器提供對(duì)記錄在光盤上的內(nèi)容的訪問(wèn)。輸入端口可以 提供來(lái)自存儲(chǔ)卡、光盤、軟盤或裝置內(nèi)部存儲(chǔ)器的圖像記錄。 一個(gè)或多 個(gè)輸入端口可提供來(lái)自節(jié)目安排供應(yīng)方的圖像記錄，這些輸入接口可以 設(shè)置在機(jī)頂盒150中。通向節(jié)目安排供應(yīng)方的輸入端口可包括其它服務(wù) 或內(nèi)容，諸如用于更新系統(tǒng)的圖像處理和其它組件功能的程序。例如， 輸入端口可包括提供節(jié)目?jī)?nèi)容及更新的電纜調(diào)制解調(diào)器，或者與該電纜 調(diào)制解調(diào)器連接一該節(jié)目?jī)?nèi)容及更新從電纜頭端輸出，或者從系統(tǒng)可訪 問(wèn)的web網(wǎng)站或服務(wù)器接收。
參照?qǐng)D5,控制單元在提供增強(qiáng)功能時(shí)展示了兩條或更多條不同的 圖像處理路徑。每條路徑具有不同的邏輯。在特定實(shí)施例中，這些路徑 還在物理組件方面不同。(圖5中的兩個(gè)變換單元224、 226各自包括 各自的一組變換228、 230。變換單元各自表示提供所要求功能必須的硬 件和軟件。)作為選擇，可以根據(jù)需要利用，例如，現(xiàn)場(chǎng)可編程門陣列 來(lái)配備單條圖像處理路徑。在該情況下，只要選擇了不同的路徑，就對(duì) 現(xiàn)場(chǎng)可編程門陣列進(jìn)行重新編程。不同路徑的圖像處理在應(yīng)用于相應(yīng)的 圖像記錄的增強(qiáng)方面是不同的。
各路徑包括多個(gè)圖像記錄處理變換。這些變換可被分為三種渲染 變換，其只限于使圖像記錄適應(yīng)于特定輸出裝置；修復(fù)變換，其只限于非實(shí)質(zhì)性地改變圖像記錄；以及增強(qiáng)變換，其包括實(shí)質(zhì)性地改變圖像。 渲染變換的示例包括圖像記錄的改變以適應(yīng)于顯示器的灰度級(jí)、色 域和白點(diǎn)。渲染圖像可以產(chǎn)生剪裁過(guò)的、分辨率和/或?qū)Ρ榷燃?jí)別降低 的，或者以其他方式相對(duì)于原始圖像記錄被刪減了的顯示圖像。
雖然兩種變換都增強(qiáng)，基于修復(fù)變換不實(shí)質(zhì)性地改變圖像記錄而增 強(qiáng)變換實(shí)質(zhì)性地改變感知的圖像記錄，可以區(qū)分修復(fù)變換組和增強(qiáng)變換 組。(修復(fù)變換可以為局部觀看環(huán)境進(jìn)行調(diào)整，諸如具有色偏的環(huán)境光 照、閃光、外部音頻噪聲等)。修復(fù)變換的目的是只修復(fù)成像鏈中的惡 化，從而不實(shí)質(zhì)性地改變圖像記錄。增強(qiáng)變換的目的是改善原始圖像記 錄中的缺陷，并從而實(shí)質(zhì)性地改變圖像記錄。在本方法和系統(tǒng)中，修復(fù) 變換和增強(qiáng)變換被處理為呈現(xiàn)對(duì)輸入圖像記錄的修改的連續(xù)體，由閾值 將該修改的連續(xù)體分成兩種類型?？梢曰诎A(yù)期為輸入的不同類型 的圖像記錄的訓(xùn)練集的迭代修改的可接受性來(lái)經(jīng)驗(yàn)化地預(yù)設(shè)在修復(fù)(非 實(shí)質(zhì)性)和增強(qiáng)(實(shí)質(zhì)性)之間的閾值?？梢韵嗨频姆绞皆O(shè)定一系列路 徑的多個(gè)閾^f直。
閾值或多個(gè)閾值可采取多種形式。簡(jiǎn)單的形式是一組二進(jìn)制條件， 對(duì)于考慮為修復(fù)性的變換組，必須滿足所有的這些二進(jìn)制條件。例如， 修復(fù)變換組是否保留，諸如，銳度、顆粒、色階、色飽和度、穩(wěn)像以及 噪聲的特定的預(yù)定圖像特性的全部現(xiàn)有值，或改變?nèi)魏维F(xiàn)有值。作為選 擇，概率規(guī)則可被用來(lái)確定與閾值進(jìn)行比較的值。例如，可以以貝葉斯 網(wǎng)的形式來(lái)提供單個(gè)或一組規(guī)則。可以經(jīng)驗(yàn)化地或者通過(guò)自動(dòng)分類技術(shù) 的使用，諸如遺傳算法的使用，來(lái)確定適當(dāng)?shù)囊?guī)則和閾值。這些技術(shù)的 使用為本領(lǐng)域技術(shù)人員所熟知。
在特定實(shí)施例中，系統(tǒng)具有兩條路徑專業(yè)路徑或充分編輯路徑， 對(duì)于該路徑，假設(shè)在節(jié)目制作過(guò)程中采用了大量的編輯；以及非專業(yè)或 未編輯路徑，對(duì)于該路徑，假設(shè)在節(jié)目制作過(guò)程中沒(méi)有采用編輯或采用 了不多的編輯。專業(yè)路徑包括渲染和修復(fù)變換，但不包括增強(qiáng)變換，以 限制圖像處理，使其不實(shí)質(zhì)性地改變傳播的圖像記錄。非專業(yè)路徑包括 渲染變換、修復(fù)變換和增強(qiáng)變換。允許傳播的圖像記錄的實(shí)質(zhì)性修改。
在所有的情況下，可以組合特定路徑上的變換。在上一個(gè)實(shí)施例中， 為了便于實(shí)施，可以特別方便地組合非專業(yè)路徑的可組合的修復(fù)變換和 增強(qiáng)變換。該實(shí)施例的修改形式具有多個(gè)編輯狀態(tài)，每個(gè)編輯狀態(tài)在從未編輯狀態(tài)到充分編輯狀態(tài)的遞增序列中的多個(gè)級(jí)別的相應(yīng)的一個(gè)級(jí) 別上。編輯狀態(tài)的級(jí)別可以步進(jìn)，并且數(shù)字化增強(qiáng)的限制可以與編輯狀 態(tài)的相應(yīng)級(jí)別成比例。
在特定實(shí)施例中，系統(tǒng)的控制單元具有兩個(gè)不同的圖像處理器或物 理模塊。各處理器專門用于相應(yīng)的路徑。在該情況下，各路徑可以選摔 性地從各自的輸入單元到顯示器彼此完全分開。由于兩個(gè)模塊和/或相 應(yīng)的變換可以彼此獨(dú)立地更新或修改，這是有利的。單個(gè)模塊和變化組 可能改變起來(lái)更復(fù)雜。作為選擇，路徑可以部分地組合以允許通用的渲 染和修復(fù)變換的使用。如果使用了單個(gè)處理器，則可以通過(guò)對(duì)不同的路 徑使用不同的視頻和/或音頻處理參數(shù)來(lái)提供不同的路徑。
參照?qǐng)D8，在特定實(shí)施例中，路徑共用一些邏輯組件。通過(guò)輸入單 元A 308或輸入單元B 308輸入圖像記錄，然后該圖像記錄沿相應(yīng)的路 徑前進(jìn)。由于兩個(gè)輸入單元308都向修復(fù)變換Z (附圖標(biāo)記802 )發(fā)送 圖像記錄，兩條路徑一開始是在一起的。然后，路徑A向增強(qiáng)變換Y(附 圖標(biāo)記804 )發(fā)送圖像記錄，然后將該圖像記錄送至多路復(fù)用器805。 路徑B繞開變換Y 804,并發(fā)送至多路復(fù)用器805。圖像記錄隨后被發(fā) 送至修復(fù)變換X (附圖標(biāo)記806 )。然后，路徑A向增強(qiáng)變換W (附圖標(biāo) 記808)發(fā)送圖像記錄，隨后將該圖像記錄送至多路復(fù)用器810。路徑B 繞開變換W 808并發(fā)送至多路復(fù)用器810。然后，圖像記錄被發(fā)送至渲 染變換812，并到顯示驅(qū)動(dòng)器215和顯示器301。由來(lái)自輸入單元B的 信號(hào)807對(duì)通過(guò)多路復(fù)用器810的傳輸進(jìn)行控制?？梢杂煽刂茊卧?06 作為控制單元306確定圖像記錄來(lái)自輸入單元B的結(jié)果來(lái)提供該信號(hào)。 作為選擇，可以由諸如與項(xiàng)807對(duì)應(yīng)的信號(hào)線的更簡(jiǎn)單的邏輯元件來(lái)進(jìn) 行該確定，當(dāng)在輸入單元B中接收到圖像記錄時(shí)，該信號(hào)線發(fā)送。本領(lǐng) 域技術(shù)人員應(yīng)當(dāng)理解的是，可以作為修復(fù)處理，諸如圖8中變換Z 802 進(jìn)行的修復(fù)處理，的一部分來(lái)執(zhí)行MPEG或JPEG解壓縮或其它類型的電 視信號(hào)解碼(諸如NTSC解碼)。
現(xiàn)在參照?qǐng)D6,在該方法中， 一開始通過(guò)輸入端口之一將圖像記錄 接收到系統(tǒng)中并且確定提供圖像記錄的輸入單元的類型602。按編輯狀 態(tài)對(duì)圖像記錄進(jìn)行分類604。分類604將確定的輸入單元的類型用作輸 入。編輯狀態(tài)是包括未編輯和充分編輯的多個(gè)不同的可能的預(yù)定編輯狀 態(tài)中的一個(gè)。圖像記錄被數(shù)字化增強(qiáng)606。在增強(qiáng)過(guò)程中對(duì)圖像記錄的實(shí)質(zhì)性修改進(jìn)行限制608。當(dāng)編輯狀態(tài)為充分編輯時(shí)對(duì)增強(qiáng)進(jìn)行較大的 限制，并且當(dāng)編輯狀態(tài)不為充分編輯時(shí)對(duì)增強(qiáng)進(jìn)行較小的限制。圖像記 錄被渲染610以適應(yīng)于預(yù)定輸出單元，并且利用輸出單元，以可視的形 式輸出渲染并增強(qiáng)的圖像記錄612。
輸入單元的類型可以直接或間接地指示圖像記錄的源。在直接指示 的示例中，系統(tǒng)可具有構(gòu)建在電視接收器中的不同輸入端口，諸如一對(duì) 不同的讀卡器和與調(diào)諧器的有線電視連接。兩個(gè)讀卡器一起形成一個(gè)輸 入單元。來(lái)自該輸入單元的圖像記錄被分類為來(lái)自消費(fèi)者內(nèi)容源。有線 電視連接-調(diào)諧器形成另 一輸入單元。來(lái)自該輸入單元的圖像記錄被分 類為來(lái)自專業(yè)源。作為可選的示例，電視接收器可被配置為使用多輸入 連接器等，而具有不同的來(lái)自外部裝置的輸入，這些外部裝置包括諸如 便攜式攝像機(jī)和數(shù)字靜態(tài)攝像機(jī)的消費(fèi)者型裝置，以及諸如DVD和有線 電視機(jī)頂盒的專業(yè)型裝置。在該情況下，由諸如特定輸入單元或源的指 定的用戶行為來(lái)定義輸入單元，或者由與系統(tǒng)連接的輸入裝置的類型的 自動(dòng)(機(jī)器控制的)識(shí)別來(lái)定義輸入單元。對(duì)于用戶沒(méi)能進(jìn)行指定的情 況，可提供缺省的輸入單元。
圖像記錄的分類可以只基于確定的輸入單元類型。在該情況下，查 詢表等可被用來(lái)執(zhí)行該分類。在特定實(shí)施例中，每個(gè)源對(duì)應(yīng)于輸入單元 的不同類型，并且分類包括確定提供圖像記錄的輸入單元的類型。例如， 一個(gè)源可以被定義為廣播信號(hào)，其與充分編輯的編輯狀態(tài)預(yù)先關(guān)聯(lián)，并 且另一源可以被定義為非廣播信號(hào)，其與未編輯的編輯狀態(tài)預(yù)先關(guān)聯(lián)。 與廣播信號(hào)源相關(guān)聯(lián)的輸入單元可以是與服務(wù)供應(yīng)方的電纜連接。與非 廣播信號(hào)源相關(guān)聯(lián)的輸入單元可以是存儲(chǔ)卡讀取器。
圖像記錄的分類還可以使用附加信息，或者作為替代，或者與確定 的輸入單元類型相結(jié)合。附加信息可以是元數(shù)據(jù)和/或分析結(jié)果?？梢?提供一個(gè)或多個(gè)查詢表等以關(guān)聯(lián)具體信息與特定源。
在每個(gè)源與 一種編輯狀態(tài)級(jí)別預(yù)先關(guān)聯(lián)的情況下，圖像記錄的源可 以被視為分類的一部分?？梢詮V泛或狹窄地定義源，可以理解，若狹窄 地定義源，則有少量編輯狀態(tài)級(jí)別，多個(gè)源可能不得不被分配給相同級(jí) 別的編輯狀態(tài)。圖像記錄可被分類到其中的預(yù)定的一組編輯狀態(tài)可具有 與預(yù)定源的 一 對(duì) 一 對(duì)應(yīng)關(guān)系，或者若干不同的源可對(duì)應(yīng)于單個(gè)編輯狀 態(tài)。目前優(yōu)選后一種方法，因?yàn)槠涓锌赡芊磻?yīng)真實(shí)的消費(fèi)者使用。該方法還允許在環(huán)境改變時(shí)的能容易地改變。例如，此時(shí)，具有高清信號(hào) 的圖像記錄相對(duì)不太可能是來(lái)自消費(fèi)者。包括指示高清內(nèi)容的元數(shù)據(jù)或 分析結(jié)果的所有圖像記錄可以被預(yù)先分配到充分編輯狀態(tài)。假以時(shí)日， 當(dāng)該情況改變時(shí)，并且當(dāng)高清消費(fèi)者采集變得更普遍時(shí)，分類可以被更 新以反映該情況?？山?jīng)由任意的上迷端口將更新送至系統(tǒng)。另外，當(dāng)添 加了新的源時(shí)，更新可被送至系統(tǒng)，這些更新增加了系統(tǒng)選擇正確編輯 狀態(tài)、添加編輯狀態(tài)、添加算法以及應(yīng)用適當(dāng)算法的能力。高清信號(hào)和 輸入單元的存儲(chǔ)卡端口的使用的結(jié)合可以具有與充分編輯狀態(tài)的缺省 對(duì)應(yīng)關(guān)系，并且只要環(huán)境改變，消費(fèi)者(或制造商)就可以被給與改變 到未編輯狀態(tài)的選項(xiàng)。類似地，可以通過(guò)，例如允許添加提供對(duì)"專業(yè)，， 效果的指示的元數(shù)據(jù)，允許消費(fèi)者將作品分類為"專業(yè)，，。
元數(shù)據(jù)可以直接地或間接地指示源。這樣的元數(shù)據(jù)的示例是給來(lái)自 數(shù)字?jǐn)z像機(jī)的數(shù)字靜態(tài)圖像或視頻片段提供的攝像機(jī)標(biāo)識(shí)，或者給專業(yè)
圖像記錄提供的元數(shù)據(jù)版權(quán)通知。同樣地，元數(shù)據(jù)可以指示DVD是由商 業(yè)服務(wù)通過(guò)轉(zhuǎn)換VHS錄像帶來(lái)制造的。類似地，可以提供元數(shù)據(jù)來(lái)標(biāo)識(shí) 電影的導(dǎo)演，或者指示或建議源的一些其它特征。表示消費(fèi)者攝像機(jī)中 的未設(shè)置時(shí)鐘的，指示未來(lái)的、或不可能的、或者甚至不太可能的日期 的元數(shù)據(jù)可以被認(rèn)為是非專業(yè)源的指示。
圖像記錄中的數(shù)字圖像的分析針對(duì)圖像的語(yǔ)義和非語(yǔ)義顯著特征。 顯著特征包括語(yǔ)義顯著特征和結(jié)構(gòu)顯著特征，前者為具有與采集的圖像 中的主題對(duì)應(yīng)的可識(shí)別意義的圖像記錄中的結(jié)構(gòu)，后者為與該主題無(wú)關(guān) 的圖像記錄的特征。在授予Savakis等的題為"METHOD FOR A謹(jǐn)MATTC ASSESSMENT OF EMPHASIS AND APPEAL IN CONSUMER IMAGES"的美國(guó)專 利第6671405號(hào)中討論了顯著特征的屬性和使用，將該專利并入本文作 為參考。
用于分析諸如色階、對(duì)比度等的圖像記錄的結(jié)構(gòu)顯著特征的技術(shù)對(duì) 于本領(lǐng)域技術(shù)人員來(lái)說(shuō)是熟知的?？梢允褂糜糜跈z測(cè)語(yǔ)義顯著特征的多 種數(shù)據(jù)檢測(cè)和減少技術(shù)，諸如人臉檢測(cè)、皮膚檢測(cè)、人檢測(cè)以及其它目 標(biāo)物體檢測(cè)。為了相同的目的，還可以使用視頻序列的時(shí)域圖像分析。 模式分類技術(shù)可被用來(lái)表征復(fù)雜數(shù)據(jù)。
類似于授予Savakis等的美國(guó)專利第6671405號(hào)的方法可被用來(lái)提 供與圖像記錄的源相關(guān)的分析結(jié)果。貝葉斯網(wǎng)或一組網(wǎng)絡(luò)被來(lái)用提供圖像記錄的自動(dòng)分級(jí)。在貝葉斯網(wǎng)中，特征提取級(jí)的后面是分類級(jí)。特征 提取級(jí)的輸出表示特定特征的存在(或不存在)的統(tǒng)計(jì)證據(jù)。這些輸出 隨后被分類級(jí)集成以計(jì)算表示圖像具有網(wǎng)絡(luò)被設(shè)計(jì)為要檢測(cè)的類型的 可能性的值。具體特征的選擇可以基于利用人類觀察者的地面實(shí)況研 究。諸如人的存在或不存在、皮膚量或面部面積以及基于面部大小的靠 近程度的人特征，可以是對(duì)進(jìn)一步確定誰(shuí)在圖像中的語(yǔ)義理解的輸入。 通過(guò)額外地確定圖像格式，可以使用并擴(kuò)展諸如圖像記錄的色彩性和銳 度的客觀特征。
人特征可以是對(duì)該方法有用的輸入。人的圖像可以有助于確定圖像 的源是專業(yè)或業(yè)余。例如，如果系統(tǒng)已被訓(xùn)練為辨別多個(gè)人為家庭成員，
可做出這樣的推斷包含家庭成員的任何圖像記錄是用業(yè)余設(shè)備采集 的，并且可以應(yīng)用對(duì)于這些圖像最適當(dāng)?shù)膱D像處理路徑。
該方法可以被設(shè)計(jì)為檢測(cè)不太可能由消費(fèi)者應(yīng)用的文本和圖形，諸 如標(biāo)題和致謝名單，并且可以在該基礎(chǔ)上指示不同的源。
色彩性和動(dòng)態(tài)范圍也可被用作適用于實(shí)施本發(fā)明的網(wǎng)絡(luò)的客觀特 征。專業(yè)編輯的圖像記錄可能將充分利用色調(diào)和色彩的可用范圍。消費(fèi) 者采集的圖像記錄可能控制得稍差，并存在曝光不足的問(wèn)題。
銳度可被用作客觀特征。專業(yè)編輯的圖像記錄很少提供失焦的影 像。由于消費(fèi)者采集系統(tǒng)要搜尋以找到對(duì)象，消費(fèi)者采集的圖像記錄常 常失焦。另外，不同的采集系統(tǒng)可以具有不同的保持聚焦的能力，并且 優(yōu)選的處理可以相應(yīng)地不同。
圖像格式可以被用作客觀特征。在撰寫該申請(qǐng)的時(shí)候，對(duì)于很多消 費(fèi)者來(lái)說(shuō)，任何源提供的高清信號(hào)都不太可能是源自消費(fèi)者。雖然這在 將來(lái)可能會(huì)改變，目前可以假設(shè)被確定為高清的任何信號(hào)是源自專業(yè) 的，并且以遠(yuǎn)不同于其它信號(hào)的方式來(lái)處理。
場(chǎng)景改變頻率可以被用作客觀特征?？梢酝ㄟ^(guò)確定影像中的突然不 連續(xù)性來(lái)檢測(cè)場(chǎng)景改變。對(duì)于視頻，該動(dòng)態(tài)相關(guān)的客觀特征可被用來(lái)確 定專業(yè)和業(yè)余圖像記錄之間的差別，因?yàn)閷I(yè)編輯的視頻序列傾向于具 有很短的場(chǎng)景，而業(yè)余視頻序列傾向于具有很長(zhǎng)的場(chǎng)景。
與圖像記錄相關(guān)的音頻的結(jié)構(gòu)特征可被用作客觀特征。特別地，與 專業(yè)編輯的圖像記錄相關(guān)的噪聲水平通常很低，而與消費(fèi)者采集的圖像 記錄相關(guān)的噪聲水平通常很高。另外，專業(yè)編輯的圖像記錄的平衡和平均水平性被很好地控制，而消費(fèi)者采集的圖像記錄的平衡和平均水平性 有多很多的變化。類似地，專業(yè)編輯的圖像記錄更可能具有笑聲軌道、 沉默期，以及大量的立體聲區(qū)分。
檢測(cè)的特征被輸入給分類級(jí)，其中確定用于推斷圖像序列的源的 值?？梢允褂秘惾~斯網(wǎng)。應(yīng)當(dāng)理解的是，除了在特別說(shuō)明的情況下，本 發(fā)明在用于這些目的的特定技術(shù)方面不受限制。例如，可以由以下系統(tǒng)
單獨(dú)地或相結(jié)合地提供模式分類基于規(guī)則的系統(tǒng)、語(yǔ)義知識(shí)網(wǎng)方法、 基于框架的知識(shí)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、基于模糊邏輯的系統(tǒng)、遺傳算法機(jī)制， 以及基于經(jīng)驗(yàn)化的系統(tǒng)。
分類可以使用兩種或更多種信息的分級(jí)結(jié)構(gòu)中的附加信息，其中最 高的可用信息優(yōu)先。例如，在特定實(shí)施例中，確定標(biāo)識(shí)或指示圖像記錄 源的元數(shù)據(jù)是否與圖像記錄相關(guān)聯(lián)。如果檢測(cè)到這樣的元數(shù)據(jù)，則該元 數(shù)據(jù)所指示的源單獨(dú)確定編輯狀態(tài)級(jí)別。如果沒(méi)有檢測(cè)到這樣的元數(shù) 椐，則輸入單元的類型單獨(dú)確定編輯狀態(tài)。類似地，在另一實(shí)施例中， 分析圖像記錄，產(chǎn)生指示圖像記錄源的分析結(jié)果或非指示性的結(jié)果。如 果指示性的分析結(jié)果可用，則分析結(jié)果所指示的源確定編輯狀態(tài)級(jí)別。 如果沒(méi)有檢測(cè)到這樣的指示性分析結(jié)果，則輸入單元的類型單獨(dú)確定編 輯狀態(tài)。
在對(duì)圖像記錄分類時(shí)可以總是考慮附加信息，或者可以使附加信息 的使用成為用戶選項(xiàng)。在該情況下，用戶可以將一用戶可選擇的特征設(shè) 定到第一狀態(tài)或第二狀態(tài)。在第一狀態(tài)中，查明關(guān)于輸入記錄的附加信 息的可用性，并且當(dāng)附加信息可用時(shí)，該信息被用作分類時(shí)的輸入。在 第二狀態(tài)中，為圖像記錄分配輸入單元的相應(yīng)類型的編輯狀態(tài)。
圖7示出了結(jié)合以上特征的方法。在該實(shí)施例中，確定輸入端口 700。自動(dòng)檢測(cè)或由用戶來(lái)選擇使用的輸入端口。然后，進(jìn)行讀取指示 與圖像記錄相關(guān)的源的元數(shù)據(jù)的嘗試702。當(dāng)該元數(shù)據(jù)可用時(shí)，圖像記 錄被分類到只由指示的源確定的編輯級(jí)別。如果檢測(cè)到這樣的元數(shù)據(jù)， 則由該元數(shù)椐指示的源單獨(dú)確定編輯狀態(tài)級(jí)別，并且加載704并應(yīng)用 705與該編輯狀態(tài)相關(guān)聯(lián)的具體處理。當(dāng)該元數(shù)據(jù)不存在或不能被讀取 時(shí)，分析圖像記錄706。當(dāng)分析結(jié)果指示源時(shí)，圖像記錄被分類到與該 源相關(guān)的編輯狀態(tài)，并且加栽708并應(yīng)用709相應(yīng)的軟件。當(dāng)分析結(jié)果 不指示源時(shí)，則圖像記錄被分類到與用于該輸入端口的輸入單元的類型
22相關(guān)聯(lián)的編輯狀態(tài)，并且加載710并應(yīng)用711相應(yīng)的處理。在圖7中， 提供了另一選項(xiàng)，其中用戶可以強(qiáng)制用輸入單元的類型來(lái)進(jìn)行分類。該 選項(xiàng)的檢測(cè)713導(dǎo)致相應(yīng)軟件的加載710和應(yīng)用7U。
再參照?qǐng)D6,根椐編輯狀態(tài)來(lái)數(shù)字化增強(qiáng)圖像記錄，并且為特定輸 出單元渲染圖像記錄。渲染提供輸出匹配，其中圖像記錄被調(diào)整以便處 于特定輸出裝置的限制范圍內(nèi)。這些限制包括色域、可用色階等。圖像 記錄被可選地?cái)?shù)字恢復(fù)。如早先述及的，各編輯狀態(tài)與不同的圖像處理 路徑相關(guān)聯(lián)。這些路徑至少在所提供的數(shù)字化增強(qiáng)方面不相同。增強(qiáng)可 以提供多種多樣的圖像記錄修改。例如，可能的增強(qiáng)包括邊緣增強(qiáng)、 色階修改(直方圖伸展和平移)、局部和全局對(duì)比度及亮度改變，以及 色飽和度的變化。
對(duì)各圖像記錄單獨(dú)地使用該方法。如早先述及的，視頻序列或多媒 體演示可以被當(dāng)作單個(gè)圖像記錄或多個(gè)圖像記錄的集合來(lái)處理。在該方 法中，可以基于由分類確定的圖像記錄的編輯狀態(tài)來(lái)確定將特定視頻序 列等當(dāng)作一個(gè)圖像記錄還是多個(gè)圖像記錄來(lái)處理。為了該目的，可以(從 同一輸入單元)提供附加的編輯狀態(tài)或子狀態(tài)。例如，關(guān)于藝術(shù)欣賞的 演講的多媒體演示可以具有限于恢復(fù)和渲染的藝術(shù)品的靜態(tài)圖像的數(shù) 字處理，以及包括恢復(fù)、渲染和增強(qiáng)的演講者的視頻的數(shù)字處理。
編輯狀態(tài)的概念基于這樣的假設(shè)專業(yè)制備的作品已經(jīng)經(jīng)歷了比;肖 費(fèi)者制備的作品更多的編輯。該假設(shè)不一定成立，但是可能對(duì)于很多情 況都是正確的。還可以根據(jù)需要來(lái)提供編輯狀態(tài)的附加級(jí)別。編輯狀態(tài) 的類別代表概括，并且在個(gè)別情況下可能正確或可能不正確。例如，讀 卡器可能讀取專業(yè)制作的文件，而DVD播放器播放的DVD可能是通過(guò)轉(zhuǎn) 換通過(guò)拷貝低質(zhì)量消費(fèi)者錄像帶而制作的消費(fèi)者視頻來(lái)制作的。該方法 和系統(tǒng)是冒著在將圖像記錄分類到編輯狀態(tài)時(shí)出錯(cuò)的風(fēng)險(xiǎn)來(lái)提供便利 性的折衷?？梢酝ㄟ^(guò)經(jīng)驗(yàn)化地調(diào)節(jié)編輯狀態(tài)級(jí)別，使得該風(fēng)險(xiǎn)可接受。 編輯狀態(tài)包括與任意最低級(jí)別對(duì)應(yīng)的未編輯狀態(tài)，以及與任意最高級(jí)別 對(duì)應(yīng)的充分編輯狀態(tài)。如名稱所建議的，優(yōu)選的情況是，最低級(jí)別包括 沒(méi)有任何編輯的圖像記錄，并且最高級(jí)別包括已經(jīng)經(jīng)歷了多很多的大規(guī) 模編輯的圖像記錄?？梢詾楦呒?jí)的用戶提供這些級(jí)別之間的閾值的調(diào)
整、附加級(jí)別的添加以及適當(dāng)閾值的調(diào)整。如杲出現(xiàn)系統(tǒng)不能推斷對(duì)圖 像記錄的編輯狀態(tài)的情況，由于最不可能產(chǎn)生增強(qiáng)對(duì)于其不是想要或必要的圖像記錄被錯(cuò)誤地增強(qiáng)的令人不快的狀況，系統(tǒng)所采用的缺省可以 是最高級(jí)別。
以下是一些不同路徑的示例。第一個(gè)示例是消費(fèi)者錄像機(jī)路徑。該 路徑基于錄像機(jī)具有質(zhì)量有限的麥克風(fēng)和音頻產(chǎn)生值的假設(shè)，提供數(shù)字 化增強(qiáng)。提供音頻處理以降低環(huán)境噪聲，以便使音頻電平均衡(消除很 安靜和很大聲的部分)。還以假設(shè)早先沒(méi)有提供足夠的穩(wěn)定化為依據(jù)，
對(duì)圖像記錄進(jìn)行數(shù)字圖像穩(wěn)定化。圖像穩(wěn)定化可以采用Rabbani等在 2005年5月17日提交的題為"IMAGE SEQUENCE STABILIZATION METHOD AND CAMERA FIAVING DUAL PATH IMAGE SEQUENCE STABILIZATION"的
發(fā)明者A·T·迪弗, J·R·弗里隆德, K·A·帕魯爾斯基, R·J·小帕拉達(dá), S·M·布賴恩特 申請(qǐng)人:伊斯曼柯達(dá)公司