提供未加工的圖像文件和處理數(shù)據(jù)的制作方法
【專利摘要】一種用于捕獲彩色圖像的電子圖像捕獲設(shè)備，包括圖像傳感器，其包括用彩色濾波器陣列(CFA)圖案覆蓋的離散光感圖像單元來產(chǎn)生對應(yīng)于CFA圖案的傳感器彩色圖像數(shù)據(jù)；A/D轉(zhuǎn)換器用于從傳感器彩色圖像數(shù)據(jù)中產(chǎn)生非插值數(shù)字CFA圖像數(shù)據(jù)；處理器用于處理非插值數(shù)字CFA圖像數(shù)據(jù)來產(chǎn)生插值圖像數(shù)據(jù)并形成包含非插值CFA圖像數(shù)據(jù)和插值圖像數(shù)據(jù)的TIFF圖像；以及存儲器用于存儲TIFF圖像文件。
【專利說明】提供未加工的圖像文件和處理數(shù)據(jù)
[0001]本申請是申請?zhí)枮?00680046345.4的中國發(fā)明專利申請“提供未加工的圖像文件和處理數(shù)據(jù)”的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明大體上涉及電子攝像領(lǐng)域，以及特別地涉及產(chǎn)生標準格式文件的一種電子成像系統(tǒng)。
【背景技術(shù)】
[0003]典型的數(shù)碼相機使用單色圖像傳感器來捕獲場景表現(xiàn)(representation),其包括場景中顏色的表現(xiàn)。顏色由覆蓋在傳感器上的彩色濾波器陣列(CFA)分離并且根據(jù)CFA的特定彩色圖案將每個圖像像素與特定顏色相關(guān)聯(lián)。例如，拜耳CFA(在US3，971，065中描述)提供具有綠色像素位置的棋盤(checkerboard)配置的RGB圖案。因此，對于每個像素主CFA圖像信號僅涉及一種顏色，即紅色、綠色或藍色(對于拜耳CFA)。在捕獲了 CFA圖像之后，對于每個像素位置的剩余(遺漏)顏色對每個像素從例如周圍像素插值，從而為每幅圖像產(chǎn)生全分辨率插值的記錄。因此在插值記錄中的每個像素具有一組RGB值。
[0004]多年以來，一些類型的數(shù)碼相機(比如柯達在1995年出產(chǎn)的DC50相機)，將CFA圖像數(shù)據(jù)作為“未加工”TIFF圖像文件存儲在可移動存儲卡上。這種文件被稱為“未加工”文件，因為在該圖像被顯示或打印之前需要進行大量的圖像處理，包括CFA插值。公知的TIFF(標簽圖像文件格式)允許不同類型的圖像數(shù)據(jù)(包括CFA圖像數(shù)據(jù))使用標準圖像文件包裝(wrapper)來存儲。IS012234-2:2001，電子靜態(tài)圖像成像一可移動存儲器一第二部分:TIFF/EP圖像數(shù)據(jù)格式將CFA圖像數(shù)據(jù)以及指定CFA的顏色配置的元數(shù)據(jù)標簽存儲在TIFF文件中的方式進行了標準化。然而，在這種“未加工”文件可被顯示或打印之前，其必須被插值并轉(zhuǎn)換為標準彩色圖像數(shù)據(jù)，比如RGB彩色圖像數(shù)據(jù)。這種標準彩色圖像數(shù)據(jù)可被顯示或打印，或者可使用標準文件格式比如JPEG文件格式、JPEG2000文件格式或FlashPix文件格式來壓縮和存儲。
[0005]用于將圖像轉(zhuǎn)換為標準文件格式并且打印和編輯標準格式的過程在圖1中示出。CFA圖像在捕獲步驟10中由相機捕獲。當相機或存儲器在連接步驟12連接到主計算機時，在下載步驟14中圖像從相機或存儲卡中下載，在處理步驟16中被處理并在文件格式化步驟18中被存儲為標準文件格式。在處理步驟16中，CFA圖像在它們被輸入時，使用已知的CFA插值、顏色校正和銳化技術(shù)進行CFA插值，從而建立具有標準尺寸的“最終” RGB圖像文件。因而最終RGB圖像文件包含CFA插值圖像，其與原始圖像總的像素數(shù)量相同。然而，不像原始圖像，CFA插值圖像對于每個像素具有完整的RGB數(shù)據(jù)。
[0006]使用標準文件格式的優(yōu)點在于其允許圖像被很多不同公司提供的很多不同的圖像軟件程序、照片打印機、零售照片亭以及基于因特網(wǎng)的打印服務(wù)使用。為了這個原因，大多數(shù)當前的數(shù)碼相機包括產(chǎn)生并存儲標準圖像文件(比如JPEG圖像文件)的模式。在圖像被捕獲時在數(shù)碼相機中產(chǎn)生這些圖像文件。[0007]在本發(fā)明中很多不同的標準圖像文件格式是已知和有用的。這種標準圖像文件的一個例子是FlashPix文件。圖2是示出存儲在FlashPix文件中的關(guān)鍵信息的簡化圖。FlashPix圖像格式(在FlashPix格式說明書，版本1.1 (數(shù)字成像組，1997年7月10日)中定義)已經(jīng)被開發(fā)來作為設(shè)備(例如相機)和應(yīng)用程序(例如計算機圖像編輯包)之間的“交換”格式，以及用于圖像編輯的“天然”(native)格式，該圖像編輯允許圖像被輕松和快速編輯。這使用“結(jié)構(gòu)化存儲”文件的分級、平鋪圖像表示實現(xiàn)。參考圖2，F(xiàn)lashPix文件包含完整圖像數(shù)據(jù)24加上該文件中多個較低分辨率的拷貝的分級(在圖2中示出了一組較低分辨率圖像數(shù)據(jù)25)。
[0008]每個分辨率的圖像也可被劃分為矩形塊(例如正方形)，其使得應(yīng)用程序最小化處理的圖像數(shù)據(jù)量來訪問、顯示或打印場景內(nèi)容的一部分。FlashPix允許縮略圖像數(shù)據(jù)23和任選的“輔助”屬性設(shè)置數(shù)據(jù)21和22與圖像數(shù)據(jù)共同存儲在同一個結(jié)構(gòu)化存儲文件中。該輔助數(shù)據(jù)可包括數(shù)字音頻記錄和參數(shù)，比如拍照的時間和日期、相機縮放位置和焦距、場景照明等級、相機校準數(shù)據(jù)、圖像版權(quán)擁有者等。對于關(guān)于FlashPix圖像格式的其它信息可參見前述的FlashPix格式說明書，版本1.1(數(shù)字成像組，1997年7月10日)，其在萬維網(wǎng)上的http:"www.13a.0rR上可獲得,并且其作為參考在此結(jié)合。
[0009]以FlashPix文件存儲最終數(shù)據(jù)之前，用于“最終”圖像的圖像處理包括比如CFA插值、顏色校正以及圖像銳化的操作。輸出圖像通常以標準顏色空間存儲，比如FlashPix圖像格式支持的RGB空間。作為產(chǎn)生圖像文件的結(jié)果，原始相機數(shù)據(jù)被丟棄(步驟26)。如果在應(yīng)用步驟28中圖像將被打印或傳輸，標準文件格式首先在編輯步驟27中被編輯。
[0010]為了建立最終打印圖像，最終圖像文件可由用戶通過圖像處理程序來調(diào)整以建立理想尺寸的最終輸出圖像，其可僅包括相機捕獲圖像的“裁剪的”、顏色調(diào)整部分，或者例如包括“蒙太奇”(montage)的多個圖像。更特別的，為了提供適當尺寸的輸出圖像，圖像處理程序首先裁剪750X500RGB CFA插值圖像數(shù)據(jù)，并且隨后在編輯步驟27中使用另一種插值算法來將“最終” RGB圖像文件的裁剪版本轉(zhuǎn)換為最終理想的輸出圖像。
[0011]注意這種現(xiàn)有技術(shù)的方式使用了兩個插值步驟，一個(步驟16)插值從圖像傳感器“遺漏”的RGB數(shù)據(jù)而保持750X500的像素數(shù)據(jù)陣列，以及第二個(步驟27)從所選擇的裁剪中插值到像素數(shù)據(jù)陣列，該像素數(shù)據(jù)陣列提供理想的輸出尺寸。因此用戶選擇最終打印尺寸(例如8" X10")，并且圖像被插值來為打印機產(chǎn)生適當尺寸的圖像數(shù)據(jù)記錄。例如，如果輸出設(shè)備以每英寸200個像素打印，圖像數(shù)據(jù)可被計算機或打印機插值為1600X2000的像素(并且任選地被銳化)來產(chǎn)生理想圖像尺寸。此外，該已知方式通常使用兩個獨立的銳化操作，一個在跟隨CFA插值步驟16之后對750X500像素CFA插值圖像數(shù)據(jù)，以及第二個僅在打印之前對插值的1600X2000像素圖像數(shù)據(jù)。
[0012]現(xiàn)有技術(shù)具有多個問題。首先，通過減小色域(color gamut)和捕獲圖像的動態(tài)范圍，將圖像從CFA圖像數(shù)據(jù)(其可以是例如每個顏色數(shù)據(jù)產(chǎn)生12比特)轉(zhuǎn)換為每個顏色8比特(每個像素24比特)sRGB顏色空間的處理會限制某些圖像的質(zhì)量。其次，兩個插值步驟(產(chǎn)生標準尺寸圖像的CFA插值以及在產(chǎn)生理想打印尺寸的計算機或打印機中的插值)比使用從傳感器CFA數(shù)據(jù)直接向發(fā)送到打印機的輸出數(shù)據(jù)插值的單個插值步驟會產(chǎn)生更多的插值假像。最終，使用兩個單獨的銳化步驟也會產(chǎn)生假像。
[0013]所需要的是一種數(shù)碼相機和數(shù)字成像系統(tǒng)，其能夠保持這樣的優(yōu)點:使用標準、“最終”圖像文件格式從而圖像可由很多應(yīng)用程序使用，并且使某些類型的設(shè)備(包括圖像編輯軟件)能夠來訪問未加工的相機數(shù)據(jù)從而當編輯和打印圖像時提供改善的圖像質(zhì)量。

【發(fā)明內(nèi)容】

[0014]本發(fā)明目的在于克服上述一個或多個問題。簡單概括，根據(jù)本發(fā)明的一個方面，用于捕獲彩色圖像的電子相機包括圖像傳感器，其包括用彩色濾波器陣列(CFA)圖案覆蓋的離散光敏圖像單元來產(chǎn)生對應(yīng)于CFA圖案的傳感器彩色圖像數(shù)據(jù)；A/D轉(zhuǎn)換器用于從傳感器彩色圖像數(shù)據(jù)中產(chǎn)生未插值數(shù)字CFA圖像數(shù)據(jù)；處理器用于處理未插值數(shù)字CFA圖像數(shù)據(jù)來產(chǎn)生插值圖像數(shù)據(jù)并形成包含未插值CFA圖像數(shù)據(jù)和插值圖像數(shù)據(jù)的TIFF圖像；以及存儲器用于存儲TIFF圖像文件。
[0015]根據(jù)本發(fā)明的另一個方面，提供了一種用于存儲從彩色圖像捕獲設(shè)備獲取圖像的單個圖像文件，該設(shè)備具有用彩色濾波器陣列(CFA)圖案覆蓋的圖像傳感器來產(chǎn)生對應(yīng)于CFA圖案的未插值CFA圖像數(shù)據(jù)；CFA圖像數(shù)據(jù)經(jīng)過進一步的處理來形成插值和壓縮圖像數(shù)據(jù)，所述單個圖像文件包括:用于存儲未插值CFA圖像數(shù)據(jù)的第一文件區(qū)域；用于在單個圖像文件中以JPEG圖像數(shù)據(jù)存儲插值和壓縮圖像數(shù)據(jù)的第二文件區(qū)域；以及用于存儲用于產(chǎn)生插值和壓縮圖像數(shù)據(jù)的第一圖像處理參數(shù)的第三文件區(qū)域。
[0016]根據(jù)本發(fā)明的還另一方面，提供了一種用于捕獲和處理彩色圖像的方法，所述方法包括:
[0017](a)在數(shù)字圖像捕獲設(shè)備中，通過彩色濾波器陣列(CFA)捕獲圖像單元的陣列并且產(chǎn)生CFA圖像數(shù)據(jù)；彩色圖像數(shù)據(jù)對應(yīng)于CFA圖案；
[0018](b)使用存儲在數(shù)字圖像捕獲設(shè)備中的圖像處理參數(shù)處理CFA圖像數(shù)據(jù)來產(chǎn)生插值圖像數(shù)據(jù)；
[0019](C)將單個圖像文件存儲在數(shù)字圖像捕獲設(shè)備的存儲器中，單個圖像文件包括CFA圖像數(shù)據(jù)、插值圖像數(shù)據(jù)以及圖像處理參數(shù)；
[0020](d)傳送單個圖像文件到第二設(shè)備；
[0021](e)確定第二設(shè)備是否能處理CFA圖像數(shù)據(jù)；以及
[0022](f)如果第二設(shè)備能夠處理CFA圖像數(shù)據(jù)，就訪問單個圖像文件中的CFA圖像數(shù)據(jù)和圖像處理參數(shù)。
[0023]本發(fā)明的一個優(yōu)點在于未加工TIFF圖像文件，其可被未加工圖像編輯實現(xiàn)應(yīng)用程序軟件像處理其它未加工文件那樣使用/編輯，其還包含標準最終文件圖像，其可被從TIFF文件中提取并且用于與任意標準圖像文件那樣進行立即顯示。
[0024]本發(fā)明的這些和其它方面、目標、特征和優(yōu)點將從以下【具體實施方式】和權(quán)利要求的詳細描述中被更加清楚地理解并且從回顧中認識，以下描述參考附圖進行。
【專利附圖】

【附圖說明】
[0025]圖1是用于捕獲和處理圖像數(shù)據(jù)的已知技術(shù)的流程圖；
[0026]圖2是已知FlashPix文件格式的說明；
[0027]圖3是根據(jù)本發(fā)明能夠存儲和選擇性傳輸處理和未處理圖像數(shù)據(jù)的電子成像系統(tǒng)；[0028]圖4是示出根據(jù)本發(fā)明能夠存儲和選擇性傳輸處理和未處理圖像數(shù)據(jù)的流程圖；
[0029]圖5是根據(jù)本發(fā)明結(jié)合擴展數(shù)據(jù)的FlashPix文件格式的說明；
[0030]圖6是根據(jù)本發(fā)明結(jié)合擴展數(shù)據(jù)的JPEG交換文件格式的說明；
[0031]圖7是示出本發(fā)明另一個實施例的電子成像系統(tǒng)的框圖；
[0032]圖8是描述可被執(zhí)行用于產(chǎn)生提供未加工和壓縮圖像數(shù)據(jù)的圖像文件的圖像處理操作的例子的框圖；
[0033]圖9A和9B的結(jié)合是包含未加工圖像數(shù)據(jù)、JPEG壓縮圖像數(shù)據(jù)以及圖像處理參數(shù)元數(shù)據(jù)的TIFF圖像文件的說明；
[0034]圖10是示出實施使用圖7的系統(tǒng)的本發(fā)明方法的流程圖。
【具體實施方式】
[0035]因為應(yīng)用電子傳感器的數(shù)碼相機以及得到的圖像數(shù)據(jù)的電子處理和存儲是公知的，以下描述將特別針對組成根據(jù)本發(fā)明的裝置一部分的單元或者針對更直接地與本發(fā)明的裝置協(xié)作的單元。沒有在此說明和描述的單元可以從現(xiàn)有技術(shù)中選擇。被描述的實施例的某些方面可以軟件來提供。給出在以下材料中描述的系統(tǒng)，需要實現(xiàn)本發(fā)明的所有這些軟件實施方式是傳統(tǒng)的并且在本領(lǐng)域中是常用手段。
[0036]從圖3開始，其是示出相機30和主計算機32的框圖。相機30包括用于將圖像光引導(dǎo)到圖像傳感器36(其典型地是單個圖像傳感器，比如電荷耦合裝置(CCD))的光學(xué)部分34。圖像傳感器36包括離散光敏圖像單元陣列，例如具有750X500像素，用彩色濾波器陣列(CFA)圖案覆蓋來產(chǎn)生對應(yīng)于CFA圖案的彩色圖像數(shù)據(jù)。光學(xué)部分包括鏡頭38和快門開口設(shè)備40，其用于調(diào)節(jié)圖像傳感器36上圖像光的曝光。時鐘發(fā)生器和驅(qū)動電路42提供需要用于從圖像傳感器36中產(chǎn)生彩色圖像數(shù)據(jù)的波形，并且輸出數(shù)據(jù)被應(yīng)用到模擬信號處理(ASP)和12比特模擬/數(shù)字(A/D)轉(zhuǎn)換部分44，其從彩色圖像數(shù)據(jù)中產(chǎn)生數(shù)字CFA數(shù)據(jù)。
[0037]得到的數(shù)字圖像被應(yīng)用到數(shù)字信號處理器46，其可使用應(yīng)用例如DPCM編碼的例如數(shù)字無損或可視無損壓縮技術(shù)來壓縮圖像數(shù)據(jù)，或者處理圖像數(shù)據(jù)用于存儲。處理的數(shù)字CFA數(shù)據(jù)通過輸出接口 48被應(yīng)用到可移動存儲器50。在操作中，CFA圖像數(shù)據(jù)表示固定尺寸的圖像，通常是實際上對應(yīng)于圖像傳感器36的實際尺寸的圖像。因此，存儲器50存儲來自對應(yīng)于該固定圖像尺寸的固定數(shù)量的圖像單元的數(shù)字CFA圖像數(shù)據(jù)。而且，存儲在存儲器50中的數(shù)字CFA圖像數(shù)據(jù)，以及捕獲圖像的低分辨率縮略圖版本可被包含在也描述用于圖像傳感器上的彩色濾波器陣列圖案類型的圖像文件中。
[0038]輸出接口 48是適用于傳統(tǒng)卡接口標準(比如在1997年3月加州的Sunnyvale舉辦的個人計算機存儲卡國際會議上發(fā)表的在PC卡標準中描述的PCMCIA卡接口標準)的存儲卡接口 48a。因此可移動存儲器50是包含固態(tài)存儲器(比如Flash EPROM存儲器)或者小的硬驅(qū)動器(被分類為在PCMCIA卡接口標準之下的PCMCIA-ATA型III硬驅(qū)動器)的非易失性PCMCIA存儲卡。另一種卡接口標準是具有DOS文件格式的CompactFlash ΑΤΑ?？商鎿Q的，可使用其它非易失性存儲設(shè)備，比如軟盤磁介質(zhì)或者光學(xué)存儲器(在這種情況下，可在相機30中提供適當接口和傳統(tǒng)讀/寫裝置，例如磁或光讀/寫頭)。
[0039]此外，相機包括主計算機接口驅(qū)動器52用于直接連接相機30到主計算機32，例如來下載對應(yīng)于捕獲圖像的數(shù)字CFA數(shù)據(jù)。(在該過程中，可移動存儲器50可作為緩沖存儲器或者可提供獨立緩沖存儲器(未示出))。相機30還包括控制處理器54用于控制(a)時鐘發(fā)生器和驅(qū)動電路42，(b)包括ASP和A/D部分44、數(shù)字信號處理器46和輸出接口 48的數(shù)字信號處理鏈，以及(c)接口驅(qū)動器52。接口驅(qū)動器52提供傳統(tǒng)計算機接口比如SCS1、IEEE-1394、USB、Firewire或RS-232接口。因此，來自相機30的數(shù)字CFA數(shù)據(jù)，通過接口驅(qū)動器52或者通過接收可移動存儲器50的卡讀取器56與主計算機32接口。
[0040]為了產(chǎn)生輸出圖像，主計算機32包括用于處理捕獲圖像和在顯示器58上產(chǎn)生軟拷貝或者在打印機上產(chǎn)生硬拷貝(或者例如膠片寫入器等)的應(yīng)用程序。例如，應(yīng)用程序(未示出)包括算法部分，其與CFA插值同時應(yīng)用直接像素映射/裁剪。計算機還包括用戶界面(未示出)，其提供用于裁剪成輸出圖像尺寸的用戶操作裝置，它使用相機提供的固定圖像尺寸的像素子集。隨后應(yīng)用程序為輸出圖像的每個圖像單元從裁剪圖像單元中插值全部顏色數(shù)據(jù)并且產(chǎn)生具有選擇輸出圖像尺寸的插值輸出圖像。主計算機32還可通過傳輸鏈路70 (例如因特網(wǎng))連接到遠程計算機72和遠程輸出設(shè)備74，比如硬拷貝打印機。
[0041]根據(jù)本發(fā)明的成像系統(tǒng)的操作在圖4的流程圖中示出，并且使用本發(fā)明的圖像格式的表示在圖5中示出。參考圖1所述，用戶操作相機來在捕獲步驟10中拍攝圖片，并且隨后在步驟12中將相機或卡連接到主計算機。在下載步驟14中用戶選擇要處理的圖像并且轉(zhuǎn)換為最終文件格式，比如FlashPix格式。為了建立最終圖像數(shù)據(jù)，在參考圖1所示的處理步驟中將來自相機的750X500拜耳圖案CFA圖像數(shù)據(jù)被解壓縮并且插值，來產(chǎn)生CFA插值、顏色校正、RGB圖像數(shù)據(jù)，其隨后在文件格式化步驟18中在完整圖像域24以及在較低分辨率圖像域25中以平鋪、分級FlashPix文件被存儲。
[0042]根據(jù)本發(fā)明，提供了文件格式擴展步驟80，其中原始12比特壓縮CFA數(shù)據(jù)也被存儲在與平鋪圖像數(shù)據(jù)相同的FlashPix文件中，但是是在擴展屬性設(shè)置22中的CFA圖像數(shù)據(jù)域94中。更特別的(參考圖5)，擴展屬性設(shè)置包括CFA圖案和壓縮方法數(shù)據(jù)92、CFA圖像數(shù)據(jù)94、相機ICC簡檔96、縮略圖圖像數(shù)據(jù)98以及高級編輯列表100。因此，擴展數(shù)據(jù)可包括元數(shù)據(jù)，該元數(shù)據(jù)提供用在圖像傳感器36上的CFA圖案和數(shù)字信號處理器46使用的壓縮方法，其被存儲在CFA圖案和壓縮方法數(shù)據(jù)92。相機MTF(調(diào)制傳送功能)值可被存儲為MTF數(shù)據(jù)95中的表。特征化存儲在擴展屬性設(shè)置22中CFA顏色的ICC (國際顏色聯(lián)盟)簡檔，可被存儲在ICC簡檔96中。注意這是與在FlashPix圖像文件中用來描述sRGB顏色數(shù)據(jù)的任選簡檔不同的ICC簡檔。在FlashPix格式的標準使用中，如果標準文件格式應(yīng)當在編輯步驟82中被編輯，簡單修改(比如旋轉(zhuǎn)、裁剪和銳化)并不修改圖像數(shù)據(jù)24、
25。而是修改列表被記錄在觀看參數(shù)設(shè)置20中，并且標準縮略圖數(shù)據(jù)23也被修改。更加復(fù)雜的修改(比如去除紅眼)要求圖像數(shù)據(jù)的部分被修改。為了記錄這些修改從而它們可在隨后被應(yīng)用到CFA圖像數(shù)據(jù)94，元數(shù)據(jù)在高級編輯列表100中列出了這些編輯數(shù)據(jù)來描述應(yīng)用程序執(zhí)行的除了修改標準FlashPix觀看參數(shù)之外的編輯。此外，元數(shù)據(jù)還可包括縮略圖圖像數(shù)據(jù)98中未修改的縮略圖圖像拷貝，其可與修改的縮略圖圖像數(shù)據(jù)23比較來確定是否需要通過隨后的圖像編輯應(yīng)用程序?qū)υ紙D像數(shù)據(jù)進行任何改變。
[0043]如上所解釋，如果圖像文件被應(yīng)用程序例如通過裁剪或調(diào)整圖像的顏色或亮度而修改，那么CFA圖像數(shù)據(jù)94將不再適當?shù)乇硎揪庉媹D像。在FlashPix圖像格式中，指定了實現(xiàn)確定在FlashPix文件中的擴展屬性設(shè)置中存儲的輔助數(shù)據(jù)的有效性(比如CFA圖像數(shù)據(jù)94)的應(yīng)用程序。該擴展設(shè)置還在1999年11月9日公開的US5，983，229中描述，其與本申請是同一 申請人:。根據(jù)該專利，擴展包含用于指示擴展持久屬性的字段。擴展持久屬性將擴展數(shù)據(jù)的有效性指示為文件的核心單元是否被修改的函數(shù)。對于擴展持久屬性的值以及它們對應(yīng)的含義如下所示:
[0044]值 含義
[0045]0X0擴展有效并且保持在獨立于文件的核心單元的修改中
[0046]0X1 根據(jù)對文件的核心單元的任意修改，擴展無效，并且當核心單元被編輯時其必須從文件中去除
[0047]0X2 根據(jù)對文件的核心單元的修改，擴展可能無效，并且必須保持在文件中直到理解擴展的應(yīng)用程序可確定擴展是有效(保持在文件中)或無效(從文件中去除)
[0048]根據(jù)本發(fā)明的擴展屬性設(shè)置22的擴展持久值被設(shè)置為0X2來指示擴展數(shù)據(jù)(比如CFA圖像數(shù)據(jù)94)根據(jù)對文件的核心單元的修改可能無效。因此擴展屬性設(shè)置22保持在FlashPix文件中直到理解擴展的應(yīng)用程序可確定擴展是有效還是無效。
[0049]包含該擴展數(shù)據(jù)的FlashPix文件現(xiàn)在可被任何實現(xiàn)FlashPix的應(yīng)用程序使用，該應(yīng)用程序包括不理解在擴展屬性設(shè)置22中數(shù)據(jù)的含義的應(yīng)用程序。更特別的，參考圖4，包含擴展數(shù)據(jù)的文件可通過本地鏈路86或通過遠程鏈路88被傳輸?shù)酱蛴‰A段(步驟84)，其中擴展數(shù)據(jù)可被從文件(步驟90)中分離并且發(fā)送到打印階段(步驟84)。圖像可通過多種方式改變，例如裁剪、加亮并且用于去除紅眼的處理。在一些情況下(例如裁剪、加亮)，這些改變可通過調(diào)整FlashPix文件中的觀看參數(shù)20來完成，而不是修改圖像數(shù)據(jù)24、25。然而在所有情況下，應(yīng)用程序修改標準FlashPix縮略圖圖像數(shù)據(jù)23來精確地反映圖像修改。
[0050]當圖像數(shù)據(jù)由不理解擴展屬性設(shè)置22含義的“老”打印機打印時，標準FlashPix圖像數(shù)據(jù)被與現(xiàn)有技術(shù)同樣來打印。然而如果打印應(yīng)用程序理解擴展數(shù)據(jù)組22，其通常處理存儲在擴展中的CFA圖像數(shù)據(jù)來提供將要被打印的數(shù)據(jù)。這如在2003年11月18日公開的US6，650，366中描述。在該應(yīng)用程序中，“原始”圖像數(shù)據(jù)(其任選的使用數(shù)字無損或可視無損技術(shù)來壓縮)被存儲在數(shù)字存儲器上的數(shù)字圖像文件中并被傳送到主計算機。該圖像文件被保留直到建立了最終呈現(xiàn)圖像。圖像的“軟拷貝”質(zhì)量版本可向用戶顯示，用戶可決定裁剪圖像并且建立要結(jié)合到其它文檔中、要被打印的等等任意尺寸的輸出圖像。優(yōu)點是這樣的:為了建立最終高質(zhì)量圖像，原始像素數(shù)據(jù)的裁剪部分在單個階段被直接插值(并且任選的被銳化)來建立適當?shù)妮敵鰣D像尺寸。通過在包括CFA插值的單個階段將輸入像素直接映射到理想輸出像素，插值假像被最小化。此外，如果圖像在該階段中被銳化，輸出圖像的銳度得到改善而不會由于多個銳化階段產(chǎn)生的假像而惡化。
[0051]因此，來自相機的750X500拜耳圖案數(shù)字CFA圖像數(shù)據(jù)根據(jù)用戶指定而被解壓縮和裁剪。例如可使用圖像的256X256正方形部分。如在US6，650，366中更加詳細的示出，隨后CFA插值和空間處理在單個處理步驟中組合，來產(chǎn)生最終輸出圖像數(shù)據(jù)，其可以是更大的正方形圖像，例如1024X1024像素圖像。CFA插值步驟可實現(xiàn)任意數(shù)量的已知插值技術(shù)。例如在以下專利中的插值技術(shù)可被使用:US5，373，322 ；US5, 382，976 ；US5, 506，619 ；以及US5，629，734。這些專利中的每一個都在此通過參考結(jié)合。
[0052]在最終尺寸圖像記錄被插值之后，圖像在單個銳化步驟中被銳化。這利銳化可使用在US5，696，850中所述的技術(shù)，其在此結(jié)合作為參考。此專利使用來自相機的調(diào)制傳送函數(shù)(MTF)校準數(shù)據(jù)95以及打印機MTF數(shù)據(jù)(未示出)來確定用于最佳銳化電子相機拍攝的任意尺寸的數(shù)字再現(xiàn)的合適銳化濾波器。圖像數(shù)據(jù)最終在硬拷貝打印機60或在遠程打印機74(圖3)中以硬拷貝形式被打印。
[0053]為了保證文件中的圖像數(shù)據(jù)沒有被圖像處理應(yīng)用程序改變(其例如可由“紅眼”減弱等來實施)，在擴展屬性設(shè)置22中的原始縮略圖圖像數(shù)據(jù)98通過應(yīng)用包含在FlashPix文件中的任意觀看參數(shù)20 (或包含在擴展屬性設(shè)置22中的任意高級編輯100)來處理并且將結(jié)果與相同文件中的標準縮略圖圖像23進行比較。如果兩幅圖像不同，則指示原始圖像數(shù)據(jù)已經(jīng)以未知方式修改并且CFA圖像數(shù)據(jù)94不應(yīng)當被使用來形成輸出打印圖像。在這種情況下，輸出打印就使用標準FlashPix圖像數(shù)據(jù)24來進行，在這種情況下“較老”的打印機不知道擴展數(shù)據(jù)。
[0054]很多應(yīng)用程序能夠打開以“JPEG交換格式”(JEF)文件存儲的圖像，其由ISO/IEC10918-1的基線DCT(JPEG)版本定義，該文件在此結(jié)合作為參考。該標準允許“應(yīng)用程序片斷”被包括在JIF比特流中。應(yīng)用程序片斷中的數(shù)據(jù)被不熟悉應(yīng)用程序片斷中數(shù)據(jù)含義的應(yīng)用程序忽略。已經(jīng)被開發(fā)了使用單個應(yīng)用程序片斷來存儲輔助數(shù)據(jù)和減小分辨率“縮略圖”圖像的多個圖像文件格式。這些圖像格式包括JFIF，其在“JPEG文件交換格式，版本1.02，1992年9月I日，C-Cube微系統(tǒng)”中定義，Exif (可交換圖像格式)JPEG壓縮版本，在“數(shù)字靜態(tài)相機圖像文件格式提議(Exif)版本1.0,1995年3月24日，JEIDA/電子靜態(tài)相機工作組”中描述以及SPIFF，在“ ITU-T Rec.T.84，Annex F-靜態(tài)圖片交換文件格式，1995”中定義，其都在此結(jié)合作為參考。
[0055]在圖6所示的第二實施例中，使用了 JPEG交換格式文件。該文件包含根據(jù)ISOJPEG標準(IS0/IEC10918-1)是有效的完整JPEG數(shù)據(jù)流。在圖6中引用的字段如下來識別:
[0056]SOI=圖像開始
[0057]APP =應(yīng)用程序片斷
[0058]DQT =定義量化表
[0059]DHT =定義霍夫曼表
[0060]SOF =幀的開始
[0061]SOS=掃描開始
[0062]EOI=圖像結(jié)束
[0063]更特別的，JPEG數(shù)據(jù)流還包括應(yīng)用程序片斷102(在該例子中是應(yīng)用程序片斷7 (APP7))，其包括存儲在FlashPix擴展屬性設(shè)置22中的相同類型的信息，如結(jié)合圖5所述的那些。
[0064]圖7到圖10涉及本發(fā)明的另一個實施例。在該實施例中，來自圖像傳感器36的非插值圖像數(shù)據(jù)被使用TIFF圖像格式存儲為所謂“未加工”相機數(shù)據(jù)。該TIFF圖像文件完全與在IS012234-2:2001中定義的TIFF-RP標準兼容，其從瑞士日內(nèi)瓦的國際標準組織
可獲得。
[0065]使用常規(guī)TIFF-EP未加工文件的一個問題是在顯示或打印之前，所有應(yīng)用程序必須執(zhí)行需要將未加工數(shù)據(jù)轉(zhuǎn)換為插值數(shù)據(jù)的處理。不同數(shù)碼相機使用不同類型插值處理，很難在圖像顯示應(yīng)用程序、圖像編輯應(yīng)用程序或數(shù)字打印機中為所有這些相機提供處理。
[0066]因為TIFF文件可支持單個文件中的多個圖像，本發(fā)明的發(fā)明人認識到“最終”處理和壓縮JPEG圖像可在TIFF-EP文件中提供，而仍然保持與TIFF-EP標準的兼容性。TIFF文件中的JPEG圖像數(shù)據(jù)可被用于實現(xiàn)與不能處理“未加工”相機文件的設(shè)備(比如計算機軟件程序或家用照片打印機)的兼容。僅需要由圖像訪問的未加工圖像數(shù)據(jù)可由圖像編輯器修改。
[0067]圖7是根據(jù)本發(fā)明的電子成像系統(tǒng)的附加實施例的框圖。電子成像系統(tǒng)包括相機30A，其捕獲和在可移動存儲卡50A上存儲圖像。如在先前參考圖3所述的，數(shù)碼相機30A包括光學(xué)部分34，其用于將圖像光引導(dǎo)到圖像傳感器36上，其優(yōu)選的是單個彩色圖像傳感器，比如電感耦合裝置(CCD)或CMOS圖像傳感器。圖像傳感器36包括用彩色濾波器陣列(CFA)圖案覆蓋的離散光敏圖像單元陣列來產(chǎn)生對應(yīng)于CFA圖案的彩色圖像數(shù)據(jù)。圖像傳感器36可具有例如4:3圖像寬高比以及總的3.1個有效的兆像素(百萬像素)，其具有2048有效像素列X 1536有效像素行。圖像傳感器36可使用1/2"型的光學(xué)格式，從而每個像素大約是3.1微米高乘以3.1微米寬。
[0068]光學(xué)部分34包括縮放鏡頭38A和快門開口設(shè)備40，其用于調(diào)節(jié)圖像傳感器36上的圖像光的曝光。時鐘發(fā)生器和驅(qū)動器電路42提供波形，該波形需要用來從圖像傳感器36產(chǎn)生并傳送彩色圖象數(shù)據(jù)以提供傳感器輸出數(shù)據(jù)，并且該傳感器輸出數(shù)據(jù)被應(yīng)用到模擬信號處理(ASP)和12比特模擬/數(shù)字(A/D)轉(zhuǎn)換部分44，其從彩色圖像數(shù)據(jù)中產(chǎn)生數(shù)字CFA數(shù)據(jù)。時鐘發(fā)生器和驅(qū)動器電路42還控制閃光單元用于當環(huán)境照明很暗時照亮場景(未示出)。如果圖像傳感器36是CMOS圖像傳感器，ASP和A/D44以及時鐘發(fā)生器和驅(qū)動器42可與圖像傳感器36包括在相同的集成電路中。
[0069]來自ASP和A/D44的所得到的數(shù)字數(shù)據(jù)被臨時存儲在DRAM緩沖存儲器45中，并且隨后被應(yīng)用到數(shù)字信號處理器46。數(shù)字信號處理器46執(zhí)行的處理由存儲在固件存儲器128 (其可以是閃存EPROM存儲器)中的固件控制。應(yīng)當注意數(shù)字信號處理器46-其典型的是可編程的圖像處理器-可選擇是硬線(hard wire)定制集成電路(IC)處理器、通用微處理器或者硬線定制IC和可編程處理器的組合。
[0070]數(shù)字信號處理器46還接口到用戶控制器134并且向彩色顯示器132提供彩色信號。顯示在彩色顯示器132上的圖形用戶界面由用戶控制器134來控制。在圖像被捕獲之后，它們可在彩色顯示器132上通過使用存儲在DRAM122中的縮略圖或微縮圖(screennail)圖像數(shù)據(jù)來瀏覽。用戶控制器134還允許用戶設(shè)置各種相機參數(shù)，比如白平衡設(shè)置、顏色設(shè)置、銳度級設(shè)置以及壓縮質(zhì)量設(shè)置。
[0071]用戶控制器134可包括縮放控制器(未示出)來控制縮放鏡頭38A的焦距設(shè)置。一旦達到了最大長焦(tel印hoto)縮放設(shè)置，數(shù)字信號處理器46可裁剪和再取樣圖像傳感器36提供的圖像數(shù)據(jù)來提供“數(shù)字縮放”，其將在以下參考圖8描述。
[0072]相機30A還包括重力定位傳感器140。重力定位傳感器140被用于確定在數(shù)字圖像被捕獲的時刻相機是否在正常水平“風景方向”、第一(順時針旋轉(zhuǎn)90度)垂直“影像”(portrait)方向或者第二(逆時針旋轉(zhuǎn)90度)垂直“影像”方向。來自重力定位傳感器140的信號可被用于決定數(shù)字信號處理器46是否應(yīng)當自動旋轉(zhuǎn)捕獲的圖像到適當?shù)摹爸绷ⅰ狈较?，如在共? 申請人:的US5，900, 909中所述，其公開內(nèi)容在此結(jié)合作為參考。[0073]在一些實施例中，相機30A還可包括“全景”模式，其通過僅使用來自圖像傳感器36的像素中間行來提供寬的寬高比圖像，而丟棄頂部和底部行。這可通過Labaziewicz等在2005年2月18日提交共同 申請人:的USSN11/062，174中所述那樣完成，其公開內(nèi)容在此結(jié)合作為參考。
[0074]數(shù)字信號處理器處理捕獲的CFA圖像數(shù)據(jù)并且產(chǎn)生數(shù)字圖像文件450 (在圖8中示出)，其將在以下參考圖8描述。數(shù)字圖像文件450被提供給存儲卡接口 48A，其將數(shù)字圖像文件450存儲在可移動存儲卡50A上。可移動存儲卡50A是一種可移動數(shù)字圖像存儲介質(zhì)，并且以多種不同的物理形式來獲得。例如，可移動存儲卡50A可包括(不限制)適合于已知格式的存儲卡，比如緊湊型閃存(Compact Flash)、SM (SmartMedia)、記憶棒(MemoryStick)、MMC、SD或XD存儲卡格式。其它類型的可移動數(shù)字圖像存儲介質(zhì)，比如磁的硬驅(qū)動器、磁帶或光盤可選擇用于存儲靜態(tài)和運動數(shù)字圖像?？蛇x擇的，數(shù)碼相機30A可使用內(nèi)部非易失性存儲器(未示出)，比如內(nèi)部閃存EPROM存儲器來存儲處理的數(shù)字圖像文件。在該實施例中，不需要存儲卡接口 48A和可移動存儲卡50A。
[0075]相機30A包括對接器(dock)接口 162用于連接相機30A到對接器/充電器364，其再連接到計算機32A。對接器/充電器(recharger) 364可對用于為相機30A供電的電池(未示出)充電。對接器接口 162和對接器/充電器364使用傳統(tǒng)計算機接口通信，比如USB或IEEE-1394接口。因此，數(shù)碼相機30A提供的數(shù)字圖像文件450可通過對接器/充電器364或通過存儲卡讀取器56A使用可移動存儲卡50A傳送到計算機32A。
[0076]為了產(chǎn)生輸出圖像，主計算機32A包括應(yīng)用程序，該應(yīng)用程序用于處理傳送的圖像文件并產(chǎn)生顯示在顯示器58A上的軟拷貝，或者在打印機60A上打印的硬拷貝。應(yīng)用程序(未示出)處理來自圖像文件的未加工圖像數(shù)據(jù)，使用戶能夠調(diào)整各個圖像處理參數(shù)，其將在隨后參考圖8描述。例如，顯示在顯示器58A上的圖形用戶界面可包括用戶控制器，該用戶控制器提供用戶操作裝置用于裁剪到輸出圖像尺寸，該用戶操作裝置使用相機提供的固定圖像尺寸的像素子集。隨后應(yīng)用程序為來自裁剪圖像單元的輸出圖像的每個圖像單元插值全部顏色數(shù)據(jù)并且產(chǎn)生具有選擇的輸出圖像尺寸的插值輸出圖像。圖形用戶界面還可使得用戶能夠調(diào)整色調(diào)再現(xiàn)、顏色再現(xiàn)、白平衡、噪聲清除設(shè)置以及圖像的銳度。
[0077]計算機32A還可通過傳輸鏈路70 (例如因特網(wǎng))連接到遠程計算機72和遠程輸出設(shè)備74，比如參考圖3描述的硬拷貝打印機?？梢苿哟鎯?0A還可被插入家用照片打印機358和零售照片打印機360的存儲卡槽(未示出)。
[0078]圖8是描述了圖像處理操作的例子，該圖像處理操作可由數(shù)碼相機30A中的數(shù)字信號處理器46執(zhí)行，來產(chǎn)生提供未加工和壓縮圖像數(shù)據(jù)的圖像文件450。圖9A和9B的結(jié)合示出了數(shù)字圖像文件450的結(jié)構(gòu)的例子。
[0079]在圖8的塊402中，存儲在DRAM緩沖存儲器45中的傳感器CFA數(shù)據(jù)400 (參見圖7)被處理來校正傳感器缺陷。這通過使用存儲在固件存儲器128 (其可在相機30A制造時被編程)中的列表來識別缺陷像素完成，并且對于缺陷像素值替換校正像素值，該校正像素值等于具有相同顏色的最近的非缺陷像素的平均值。
[0080]在模塊404中，缺陷校正CFA傳感器數(shù)據(jù)被再取樣來產(chǎn)生具有例如640列X 480行拜耳圖案像素數(shù)據(jù)的“小尺寸”未加工CFA數(shù)據(jù)。調(diào)整大小可通過將相同顏色的相鄰像素進行平均來完成。[0081]在模塊406中，缺陷校正全尺寸CFA傳感器數(shù)據(jù)和小尺寸CFA傳感器數(shù)據(jù)被格式化來存儲在圖9所示的數(shù)字圖像文件450中，其在優(yōu)選實施例中是TIFF/EP文件。該TIFF/EP文件符合IS012234-2:2001，電子靜態(tài)圖片成像一可移動存儲一第二部分:TIFF/EP圖像數(shù)據(jù)格式，其在此結(jié)合作為參考。
[0082]參考圖9A和9B，數(shù)字圖像文件450包括TIFF報頭502和圖像文件目錄O (IFDO) 504，圖像文件目錄O (IFDO) 504包括JPEG交換格式標簽506，JPEG交換格式標簽506指向用于存儲主Exif/JPEG數(shù)據(jù)510的數(shù)字圖像文件450的部分。主Exif/JPEG數(shù)據(jù)510包括主JPEG壓縮圖像512、JPEG壓縮微縮圖圖像514以及JPEG壓縮縮略圖圖像516。用于產(chǎn)生這些JPEG壓縮圖像的過程將隨后參考模塊408-424來描述。
[0083]IFD0504還包括Exif IFD指針520，其指向存儲在Exif IFD522中的標準Exif元數(shù)據(jù)。IFD0504還包括圖像處理參數(shù)IFD指針524，其指向IP Param IFD526，IP Param IFD526存儲用于產(chǎn)生主Exif/JPEG數(shù)據(jù)510的圖像處理參數(shù)。
[0084]IFD0504還包括SubIFD指針528，其包括指向子(Child)Oth SubIFD530的指針，而子0thSubIFD530又包含指向主CFA數(shù)據(jù)536的條偏移(StripOffset)指針532。該主CFA數(shù)據(jù)536是來自圖8的模塊402的傳感器缺陷校正CFA數(shù)據(jù)。
[0085]SubIFD指針528還包括指向子lthSubIFD540的指針，而子1th SubIFD540又包含指向小尺寸CFA數(shù)據(jù)的條偏移指針542。小尺寸CFA544數(shù)據(jù)是來自圖8的模塊404的CFA圖像再取樣數(shù)據(jù)。當數(shù)字圖像文件450隨后被計算機32A處理時，該小尺寸未加工CFA數(shù)據(jù)544可被用于使得計算機32A更加快速的在顯示器58A上產(chǎn)生顯示尺寸(display-sized)處理圖像，因為其比如果計算機32A必須處理全尺寸CFA圖像數(shù)據(jù)所要處理的像素少的多。
[0086]一旦數(shù)字圖像文件450在計算機32上被修改(這將在隨后參考圖10描述)，IFD0504還可包括指向附加修改的JPEG圖像570的指針，當該附加修改JPEG圖像570被存儲為修改的圖像文件時，其被添加到數(shù)字圖像文件450。例如，在圖像被修改的第一次，NextIFD指針550指向IFDl (主圖像修改JPEG) 552，其包含主Exif/JPEG數(shù)據(jù)558 (其是修改的圖像)，以及指向IPParamIFD554的指針，IPParamIFD554包含用于產(chǎn)生修改的主Exif/JPEG數(shù)據(jù)558的圖像處理設(shè)置。
[0087]下一次圖像文件被修改和保存時，IFD2(主圖像修改JPEG) 562被用于存儲第二次修改的主Exif/JPEG數(shù)據(jù)568，以及IPParamIFD564被添加到數(shù)字圖像文件450上，IPParamIFD564包含用于產(chǎn)生第二次修改主Exif/JPEG數(shù)據(jù)568的圖像處理設(shè)置。此外，LastIFD指針560被添加到IFDO 504，以及NextIFG556指針被添加到IFDl 552，其都直接指向 IFD2 562。
[0088]每次數(shù)字圖像文件450被隨后修改并保存時，附加IFD (例如IFD3、IFD4等)可被添加到數(shù)字圖像文件450，并且LastIFD指針560可被更新來指向新的IFD。
[0089]返回圖8，在模塊408中，如果用戶使用用戶控制器134執(zhí)行數(shù)字縮放功能或全景功能，那么圖像數(shù)據(jù)被裁剪。該裁剪使用數(shù)字縮放/搖拍(pan)設(shè)置428。
[0090]在模塊410中，旋轉(zhuǎn)/裁剪CFA數(shù)據(jù)被清除噪聲。該噪聲清除使用提供為圖像處理參數(shù)444 一部分的清除設(shè)置430。該處理可使用在共同 申請人:Adam等的US6，625，325中描述的噪聲清除方法，其公開內(nèi)容在此結(jié)合作為參考。
[0091]在彩色傳感器去馬賽克(demosaicing)塊412中，噪聲過濾CFA數(shù)據(jù)被顏色插值來提供全分辨率RGB圖像數(shù)據(jù)。該處理使用旋轉(zhuǎn)/再取樣設(shè)置432。如果重力定位傳感器140指示數(shù)碼相機30A以圖像被捕獲的影像方向把持，如果需要，CFA圖像數(shù)據(jù)被旋轉(zhuǎn)。而且，如果CFA圖像數(shù)據(jù)在模塊408中被裁剪來提供數(shù)字縮放，圖像在塊412中被再取樣來產(chǎn)生全尺寸圖像文件。這可通過使用在共同 申請人:Parulski等的US6, 650，366中描述的方法來完成，其公開內(nèi)容在此結(jié)合作為參考。
[0092]在塊414中，全分辨率RGB數(shù)據(jù)是使用白平衡設(shè)置434被調(diào)整為白平衡的。白平衡設(shè)置434可指示特定照明體(例如日光、鎢絲)或自動白平衡模式。
[0093]在塊416中，白平衡RGB數(shù)據(jù)經(jīng)色調(diào)縮放和彩色處理。該處理使用色調(diào)和彩色設(shè)置436，其可識別多個彩色矩陣和色調(diào)修正曲線中之一。該處理可使用在佛羅里達州BocaRaton的CRC出版LLC在2003年公開的數(shù)字彩色成像手冊的“色調(diào)縮放/顏色處理”中的章節(jié)12.6中描述，其在此結(jié)合作為參考。特別的，彩色處理可使用例如在圖3中描述的Parulski等共同 申請人:的US5，189,511中的3 X 3線性空間顏色校正矩陣20，其公開內(nèi)容在此結(jié)合作為參考。
[0094]在塊418中，經(jīng)處理的RGB圖像數(shù)據(jù)使用銳化設(shè)置438被銳化。圖像銳化處理可利用在Hibbard等共同 申請人:的US4，962，419中描述的方法，其公開內(nèi)容在此結(jié)合作為參考。例如，銳化設(shè)置可識別多個去心(coring)查找表之一，其提供用于銳化圖像的“細節(jié)”信號的不同數(shù)量的放大。
[0095]在塊420中，銳化的圖像數(shù)據(jù)使用壓縮設(shè)置440來JPEG壓縮，壓縮設(shè)置440包括壓縮質(zhì)量設(shè)置。圖像壓縮可使用在Daly等共同 申請人:US4，774，574中描述的方法，其公開內(nèi)容在此結(jié)合作為參考。壓縮質(zhì)量設(shè)置可識別多個量化表之一，例如’574專利的圖1中用于量化模塊26的三個不同的表。這些表提供不同的質(zhì)量等級并且為JPEG壓縮圖像文件平均文件尺寸。
[0096]在塊424中，銳化的圖像數(shù)據(jù)被再取樣來產(chǎn)生兩個較小尺寸的圖像。該再取樣可如在Kuchta等共同 申請人:的US5，164,831中描述，其公開內(nèi)容在此結(jié)合作為參考。這包括具有例如160行X 120列的縮略圖尺寸圖像，以及具有例如640行X480列的微縮尺寸圖像。在塊426中，縮略圖和微縮圖像被JPEG壓縮。
[0097]在塊422中，JPEG壓縮全分辨略“主”圖像、JPEF壓縮縮略圖圖像以及JPEG壓縮微縮圖象被共同格式化在Exif/JPEG圖像文件中，如由日本動靜的日本電子工業(yè)發(fā)展協(xié)會(JEIDA)在1998年7月發(fā)表的“數(shù)字靜態(tài)相機圖像文件格式(Exif) ”版本2.1中定義。該格式包括Exif應(yīng)用程序片斷，其存儲特定圖像元數(shù)據(jù)，包括圖像被捕獲的日期/時間以及鏡頭f/數(shù)目和其它相機設(shè)置。結(jié)果是圖9中的主Exif/JPEG數(shù)據(jù)510。
[0098]數(shù)字縮放/搖拍設(shè)置428、噪聲清除設(shè)置430、白平衡設(shè)置434、色調(diào)和顏色設(shè)置436、銳化設(shè)置438以及壓縮設(shè)置440都包括在圖像處理參數(shù)444中。在塊448中，這些參數(shù)被格式化為存儲在圖9的圖像處理參數(shù)IFD526中的TIFF標簽。
[0099]圖10是示出使用圖7的系統(tǒng)實施本發(fā)明的的方法的流程圖。
[0100]在圖7的塊200中，用戶為相機30A選擇相機捕獲和圖像處理參數(shù)444(在圖8中示出)。這使用用戶控制器134來完成，如先前參考圖7所述那樣。一些或所有這些設(shè)置可以是存儲在相機30A的固件存儲器128中的默認設(shè)置。
[0101]在塊202中，用戶使用彩色顯示器132或者數(shù)碼相機30A上的光學(xué)取景器(未示出)來形成圖像。
[0102]在塊204中，傳感器CFA圖像數(shù)據(jù)被捕獲并臨時存儲在DRAM緩沖存儲器45上。
[0103]在塊206中，CFA圖像傳感器數(shù)據(jù)被數(shù)字信號處理器46使用圖像處理參數(shù)444處理來產(chǎn)生處理的RGB圖像數(shù)據(jù)，如先前參考圖8的塊408到418所述。
[0104]在塊208中，數(shù)字信號處理器46建立微縮圖和縮略圖尺寸處理圖像，如先前參考圖8的模塊424所述。
[0105]在塊210中，主、微縮圖和縮略圖圖像如先前參考圖8的塊420到424所述那樣進行JPEG壓縮。
[0106]在塊212中，存儲在圖9中IPParamIFD526中的TIFF標簽用圖像處理參數(shù)444來生成(populate)，如先前參考圖8的塊448所述。
[0107]在塊214中，圖9中的包含主CFA圖像數(shù)據(jù)536、小尺寸CFA圖像數(shù)據(jù)544、主圖像數(shù)據(jù)512、微縮圖圖像數(shù)據(jù)514、縮略圖圖像數(shù)據(jù)516以及圖像處理參數(shù)444(存儲在IPParamIFD526中)的數(shù)字圖像文件450由數(shù)字信號處理器46產(chǎn)生。
[0108]在塊216中，數(shù)字圖像文件450被存儲在可移動存儲卡50A或其它存儲設(shè)備上。
[0109]在塊220中，數(shù)字圖像文件450從相機30A被傳送到另一個設(shè)備，比如計算機32A、零售照片打印機360或者家用照片打印機358，如先前參考圖7所述。
[0110]在塊222中，接收傳送的數(shù)字圖像文件450的設(shè)備確定是否能夠處理CFA圖像數(shù)據(jù)。
[0111]在塊224中，如果設(shè)備不能夠處理CFA圖像數(shù)據(jù)(塊222是否)，設(shè)備訪問數(shù)字圖像文件450中的JPEG/Exif格式圖像數(shù)據(jù)510。這允許設(shè)備使用圖像，就像其是標準JPEG/Exif圖像文件。該JPEG/Exif圖像數(shù)據(jù)隨后可被設(shè)備顯示、打印、記錄或傳輸。
[0112]在塊226中，如果設(shè)備能夠處理CFA圖像數(shù)據(jù)(塊222是是)，設(shè)備訪問數(shù)字圖像文件450中的主CFA圖像數(shù)據(jù)536。設(shè)備還可訪問小尺寸CFA圖像數(shù)據(jù)544，從而快速產(chǎn)生可由用戶交互地修改的可觀看圖像。
[0113]在塊228中，如果想要，設(shè)備的用戶可修改圖像處理參數(shù)444。因此，用戶可修改數(shù)字縮放/搖拍設(shè)置來提供更多(或更少)的裁剪。例如，如果全景設(shè)置在圖8的塊408中通過裁剪去頂部和底部行而提供寬的寬高比圖像，一些或全部這些行可被包括在修改的圖像中。作為另一個例子，噪聲清除閾值430以及銳化設(shè)置438可被修改來更好的平衡噪聲抑制和圖像銳化。作為另一個例子，如果用選擇的鎢絲作為照明體來捕獲圖像，但是光源實際上是日光，那么CFA圖像被再處理，盡管在第一位置選擇了日光。曝光和閃光也可通過修改色調(diào)&顏色設(shè)置436來調(diào)整。
[0114]在一些實施例中，還可為用戶提供不包括在數(shù)碼相機中的其它控制。例如，該控制可允許用戶獨立調(diào)節(jié)陰影中的場景照明、中色調(diào)和捕獲圖像的高光。這些調(diào)整可使用小尺寸CFA數(shù)據(jù)544來預(yù)覽，從而減小使得用戶交互性決定他們想要的圖像處理設(shè)置所需要的計算時間。
[0115]在塊230中，主CFA圖像數(shù)據(jù)536使用用戶修改設(shè)置被再處理。這類似于使用不同的圖像處理參數(shù)444來重復(fù)圖8的塊408到418。
[0116]在塊232中，修改的設(shè)置和附加處理JPEG文件被存儲在數(shù)字圖像文件450中。為了提供這些JPEG文件，來自模塊230的再處理圖像數(shù)據(jù)被再取樣來產(chǎn)生修改圖像的縮略圖和微縮圖圖像，并且主、縮略和微縮圖圖像被JPEG壓縮并包括在IFDI (主圖像修改JPEG) 522中，如先前參考圖9A和9B所述。此外，用于產(chǎn)生修改圖像的圖像處理參數(shù)被存儲在 IPParamIFD564 中。
[0117]在一個可替換的實施例中，當修改圖像時，不將IFD1552和IPParamIFD554加到數(shù)字圖像文件450中，而是主Exif/JPEG數(shù)據(jù)510可被修改的JPEG圖像數(shù)據(jù)替換，并且IPParamIFD526參數(shù)可被修改的參數(shù)替換。
[0118]在塊234中，修改、處理的CFA圖像數(shù)據(jù)被顯示，例如使用顯示器58A，或者打印機，例如使用打印機60A。
[0119]部件列表
[0120]10 捕獲步驟
[0121]12 連接步驟
[0122]13 下載步驟
[0123]16 處理步驟
[0124]18 文件格式化步驟
[0125]19 報頭
[0126]20 觀看參數(shù)
[0127]21 屬性設(shè)置數(shù)據(jù)
[0128]22 擴展屬性設(shè)置數(shù)據(jù)
[0129]23 縮略圖圖像數(shù)據(jù)
[0130]24 完整圖像數(shù)據(jù)
[0131]25 較低分辨率圖像數(shù)據(jù)
[0132]26 丟棄步驟
[0133]27 編輯步驟
[0134]28 應(yīng)用步驟
[0135]30 相機
[0136]30A 相機
[0137]32 主計算機
[0138]32A 主計算機
[0139]34 光學(xué)部分
[0140]36 圖像傳感器
[0141]38 鏡頭
[0142]38A 縮放鏡頭
[0143]40 快門開口設(shè)備
[0144]42 時鐘發(fā)生器和驅(qū)動電路
[0145]44 ASP 和 A/D 部分
[0146]45 DRAM緩沖存儲器
[0147]46 數(shù)字信號處理器
[0148]48 輸出接口
[0149]48a 存儲卡接口[0150]50可移動存儲器
[0151]52可移動存儲器
[0152]54控制處理器
[0153]56卡讀取器
[0154]56A存儲卡讀取器
[0155]58顯示器
[0156]58A顯示器
[0157]60硬拷貝打印機
[0158]60A打印機
[0159]70傳輸鏈路
[0160]72遠程計算機
[0161]74遠程輸 出設(shè)備
[0162]80文件格式擴展步驟
[0163]82編輯步驟
[0164]84打印步驟
[0165]86本地鏈路
[0166]88遠程鏈路
[0167]90分離步驟
[0168]92CFA圖案和壓縮方法數(shù)據(jù)
[0169]94CFA圖像數(shù)據(jù)
[0170]95相機MTF校準數(shù)據(jù)
[0171]96相機ICC簡檔
[0172]98縮略圖圖像數(shù)據(jù)
[0173]100高級編輯列表
[0174]102應(yīng)用程序片斷
[0175]122DRAM緩沖存儲器
[0176]128固件存儲器
[0177]130閃光燈
[0178]132彩色顯示器
[0179]134用戶控制器
[0180]140重力定位傳感器
[0181]162對接器接口
[0182]200塊
[0183]202塊
[0184]204塊
[0185]206塊
[0186]208塊
[0187]210塊
[0188]212塊[0189]214塊
[0190]216塊
[0191]220塊
[0192]222塊
[0193]224塊
[0194]226塊
[0195]228塊
[0196]230塊 [0197]232塊
[0198]234塊
[0199]358家用照片打印機
[0200]360零售照片打印機
[0201]364對接器/充電器
[0202]400傳感器CFA數(shù)據(jù)
[0203]402傳感器缺陷校正
[0204]404CFA圖像再取樣
[0205]406TIFF未加工文件格式化
[0206]408CFA數(shù)據(jù)裁剪
[0207]410傳感器噪聲清除
[0208]412彩色傳感器去馬賽克
[0209]414白平衡
[0210]416色調(diào)縮放/顏色處理
[0211]418銳化
[0212]420JPEG 壓縮
[0213]422Exif文件格式化
[0214]424縮略圖&微縮圖再取樣
[0215]426JPEG 壓縮
[0216]428數(shù)字縮放/搖拍設(shè)置
[0217]430噪聲清除閾值
[0218]432旋轉(zhuǎn)/再取樣設(shè)置
[0219]434白平衡設(shè)置
[0220]436色調(diào)&顏色設(shè)置
[0221]438銳化設(shè)置
[0222]440壓縮設(shè)置
[0223]444圖像處理參數(shù)
[0224]448TIFF標簽格式化
[0225]450數(shù)字圖像文件
[0226]502TIFF 報頭
[0227]504IFDO[0228]506JPEG交換格式指針
[0229]510主 Exif/JPEG 數(shù)據(jù)
[0230]512主圖像
[0231]514微縮圖圖像
[0232]516縮略圖圖像
[0233]520ExifIFD 指針
[0234]522ExifIFD
[0235]524IPParamIFD 指針
[0236]526IPParamIFD
[0237]528SubIFD 指針
[0238]530子 0th SubIFD
[0239]532條偏移
[0240]536主 CFA 數(shù)據(jù)
[0241]540子 1th SubIFD
[0242]542條偏移
[0243]544小尺寸CFA數(shù)據(jù)
[0244]550NextIFD
[0245]552IFDl
[0246]554IPParamIFD
[0247]556NextIFD
[0248]558主 Exif/JPEG 數(shù)據(jù)
[0249]560最后IFD指針
[0250]562IFD2
[0251]564IPParamIFD [0252]568主 Exif/JPEG 數(shù)據(jù)
[0253]570附加修改JPEG圖像
【權(quán)利要求】
1.一種用于捕獲彩色圖像的電子圖像捕獲設(shè)備，包括: 圖像傳感器，其包括用彩色濾波器陣列CFA圖案覆蓋的離散光敏圖像單元，從而產(chǎn)生對應(yīng)于CFA圖案的傳感器彩色圖像數(shù)據(jù)； A/D轉(zhuǎn)換器，用于從傳感器彩色圖像數(shù)據(jù)中產(chǎn)生未插值的數(shù)字CFA圖像數(shù)據(jù)； 處理器，用于處理未插值的數(shù)字CFA圖像數(shù)據(jù)以產(chǎn)生插值的圖像數(shù)據(jù)并形成單個TIFF圖像文件，所述單個TIFF圖像文件包含未插值的CFA圖像數(shù)據(jù)、插值的圖像數(shù)據(jù)、未插值的CFA圖像數(shù)據(jù)的縮略圖圖像、以及插值的圖像數(shù)據(jù)的縮略圖圖像；以及 存儲器，用于存儲所述單個TIFF圖像文件。
2.如權(quán)利要求1所述的圖像捕獲設(shè)備，其中插值的圖像數(shù)據(jù)以JPEG壓縮比特流存儲在TIFF圖像文件中。
3.如權(quán)利要求1所述的圖像捕獲設(shè)備，其中處理器使用至少一個參數(shù)來執(zhí)行用于產(chǎn)生插值的圖像數(shù)據(jù)的圖像處理操作，并且TIFF圖像文件還存儲該至少一個參數(shù)。
4.如權(quán)利要求3所述的圖像捕獲設(shè)備，其中處理器銳化插值的圖像數(shù)據(jù)，并且TIFF圖像文件存儲指定銳化量的參數(shù)。
5.如權(quán)利要求3所述的圖像捕獲設(shè)備，其中處理器調(diào)整插值的圖像數(shù)據(jù)的白平衡，并且TIFF圖像文件存儲指定白平衡調(diào)整的參數(shù)。
6.如權(quán)利要求1所述的圖像捕獲設(shè)備，其中TIFF圖像文件還存儲定義用于圖像傳感器上的彩色濾波器陣列圖案類型的數(shù)據(jù)。
7.如權(quán)利要求1所述的圖像捕獲設(shè)備，其中處理器還產(chǎn)生減小尺寸、未插值的CFA圖像數(shù)據(jù)，并且TIFF文件還包含該減小尺寸、未插值的CFA圖像數(shù)據(jù)。
8.一種用于存儲從彩色圖像捕獲設(shè)備獲取的圖像文件的圖像文件存儲方法，該彩色圖像捕獲設(shè)備包括用彩色濾波器陣列CFA圖案覆蓋的圖像傳感器，從而產(chǎn)生對應(yīng)于CFA圖案的未插值的CFA圖像數(shù)據(jù)，所述方法包括: 處理未插值的CFA圖像數(shù)據(jù)以產(chǎn)生插值和壓縮的圖像數(shù)據(jù)；以及 形成和存儲單個圖像文件，所述單個圖像文件包括:用于存儲未插值的CFA圖像數(shù)據(jù)的第一文件區(qū)域；用于將插值和壓縮的圖像數(shù)據(jù)作為JPEG圖像數(shù)據(jù)存儲的第二文件區(qū)域；用于存儲未插值的CFA圖像數(shù)據(jù)的縮略圖圖像的第三文件區(qū)域；以及用于存儲插值的圖像數(shù)據(jù)的縮略圖圖像的第四文件區(qū)域。
9.如權(quán)利要求8所述的方法，其中單個圖像文件還包括第五文件區(qū)域，其用于存儲修改的插值和壓縮圖像數(shù)據(jù)，以及第六文件區(qū)域，其用于存儲用于產(chǎn)生修改的插值和壓縮圖像數(shù)據(jù)的圖像處理參數(shù)。
10.如權(quán)利要求8所述的方法，其中單個圖像文件是TIFF文件。
11.如權(quán)利要求10所述的方法，其中單個圖像文件是TIFF/EP文件。
12.如權(quán)利要求10所述的方法，其中第一文件區(qū)域是TIFFSubIFD區(qū)域。
13.一種用于捕獲和處理彩色圖像的方法，所述方法包括: (a)在數(shù)字圖像捕獲設(shè)備中，通過彩色濾波器陣列CFA捕獲圖像單元的陣列并且產(chǎn)生CFA圖像數(shù)據(jù)；彩色圖像數(shù)據(jù)對應(yīng)于CFA圖案； (b)使用存儲在數(shù)字圖像捕獲設(shè)備中的圖像處理參數(shù)處理CFA圖像數(shù)據(jù)來產(chǎn)生插值的圖像數(shù)據(jù)；(c )將單個圖像文件存儲在數(shù)字圖像捕獲設(shè)備的存儲器中，單個圖像文件包括CFA圖像數(shù)據(jù)、插值的圖像數(shù)據(jù)、CFA圖像數(shù)據(jù)的縮略圖圖像、以及插值的圖像數(shù)據(jù)的縮略圖圖像； (d)傳送該單個圖像文件到第二設(shè)備； (e)在第二設(shè)備中，比較CFA圖像數(shù)據(jù)的縮略圖圖像與插值的圖像數(shù)據(jù)的縮略圖圖像，并確定插值的圖像數(shù)據(jù)是否是經(jīng)修改的。
14.根據(jù)權(quán)利要求13所述的方法，還包括: (f)確定第二設(shè)備是否能處理CFA圖像數(shù)據(jù)；以及 (g)如果第二設(shè)備能夠處理CFA圖像數(shù)據(jù)，訪問單個圖像文件中的CFA圖像數(shù)據(jù)和圖像處理參數(shù)；如果第二設(shè)備不能處理CFA圖像數(shù)據(jù)，訪問單個圖像文件中的插值的圖像數(shù)據(jù)。
15.如權(quán)利要求13所述的方法，還包括: (h)修改圖像處理參數(shù)并且使用修改的圖像處理參數(shù)處理CFA圖像數(shù)據(jù)來產(chǎn)生修改的插值圖像數(shù)據(jù)。
16.如權(quán)利要求15所述的方法,還包括: (i)將修改的圖像處理參數(shù)和修改的插值圖像數(shù)據(jù)存儲在單個圖像文件中。
17.如權(quán)利要求15所述的方法，還包括: (j)打印修改的插值圖像數(shù)據(jù)。
18.如權(quán)利要求13所述的方法，其中單個圖像文件是符合TIFF的文件。
19.如權(quán)利要求18所述的方法，其中插值的圖像數(shù)據(jù)被存儲為JPEG壓縮圖像數(shù)據(jù)。
20.如權(quán)利要求18所述的方法，其中數(shù)字圖像捕獲設(shè)備還產(chǎn)生減小尺寸的CFA圖像，并且將減小尺寸的CFA圖像數(shù)據(jù)存儲在單個圖像文件中。
21.一種用于捕獲彩色圖像的電子圖像捕獲設(shè)備，包括: 圖像傳感器，其包括用彩色濾波器陣列CFA圖案覆蓋的離散光敏圖像單元，從而產(chǎn)生對應(yīng)于CFA圖案的傳感器彩色圖像數(shù)據(jù)； A/D轉(zhuǎn)換器，用于從傳感器彩色圖像數(shù)據(jù)中產(chǎn)生未插值的數(shù)字CFA圖像數(shù)據(jù)； 處理器，用于處理未插值的數(shù)字CFA圖像數(shù)據(jù)以產(chǎn)生插值的圖像數(shù)據(jù)，調(diào)整插值的圖像數(shù)據(jù)的白平衡，并形成單個TIFF圖像文件，所述單個TIFF圖像文件包含未插值的CFA圖像數(shù)據(jù)和插值的圖像數(shù)據(jù)，并且存儲指定了白平衡調(diào)整的參數(shù)；以及 存儲器，用于存儲所述單個TIFF圖像文件。
【文檔編號】H04N19/36GK103955882SQ201410162001
【公開日】2014年7月30日 申請日期:2006年11月27日 優(yōu)先權(quán)日:2005年12月8日
【發(fā)明者】Y·希羅施, K·A·帕魯斯基, W·E·普倫蒂塞 申請人:高智83基金會有限責任公司