圖像捕獲加速器的制造方法
【專利摘要】圖像捕獲加速器執(zhí)行對(duì)圖像數(shù)據(jù)的加速處理。在一個(gè)實(shí)施例中，圖像捕獲加速器包括加速器電路，該加速器電路包括預(yù)處理引擎和壓縮引擎。預(yù)處理引擎被配置為對(duì)所接收的圖像數(shù)據(jù)執(zhí)行加速處理，并且壓縮引擎被配置為對(duì)從預(yù)處理引擎接收的處理圖像數(shù)據(jù)進(jìn)行壓縮。在一個(gè)實(shí)施例中，圖像捕獲加速器進(jìn)一步包括解復(fù)用器，該解復(fù)用器被配置為接收由被實(shí)施在例如圖像傳感器芯片內(nèi)的圖像傳感器陣列捕獲的圖像數(shù)據(jù)。當(dāng)圖像數(shù)據(jù)由處于普通捕獲模式下的圖像傳感器陣列捕獲時(shí)解復(fù)用器可以將所接收的圖像數(shù)據(jù)輸出到圖像信號(hào)處理器，并且當(dāng)圖像數(shù)據(jù)由處于加速捕獲模式下的圖像傳感器陣列捕獲時(shí)解復(fù)用器可以將所接收的圖像數(shù)據(jù)輸出到加速器電路。
【專利說(shuō)明】
圖像捕獲加速器
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年10月1日提交的美國(guó)臨時(shí)申請(qǐng)No.61/885,412和2014年9月17日 提交的美國(guó)專利申請(qǐng)No. 14/488，283的權(quán)益和優(yōu)先權(quán)，其通過引用整體并入于此。本申請(qǐng)涉 及美國(guó)專利申請(qǐng)No. 13/940,215、美國(guó)專利申請(qǐng)No. 13/940,221、以及美國(guó)專利申請(qǐng)No. 14/ 189，973，其內(nèi)容通過引用整體并入于此。
技術(shù)領(lǐng)域
[0003] 本公開總體上涉及圖像捕獲系統(tǒng)領(lǐng)域，并且具體而言涉及對(duì)圖像捕獲加速。
【背景技術(shù)】
[0004] 隨著圖像傳感器技術(shù)的改善，圖像傳感器正在變得能夠以越來(lái)越高的分辨率和幀 速率捕獲圖像和視頻。然而，圖像信號(hào)處理（ISP)ASIC通常受到帶寬限制，從而阻止它們以 圖像傳感器幀被捕獲的空間、時(shí)間、以及位深度分辨率和幀速率有效地處理圖像傳感器幀。 在數(shù)字相機(jī)系統(tǒng)中，這種ISP瓶頸可能阻礙相機(jī)性能。此外，即使ISP有能力跟上所關(guān)聯(lián)的圖 像傳感器，ISP可能使用比典型相機(jī)電池所能提供的更多的功率。
【附圖說(shuō)明】
[0005] 所公開的實(shí)施例具有其它優(yōu)勢(shì)和特征，這些優(yōu)勢(shì)和特征將從【具體實(shí)施方式】、所附 權(quán)利要求、以及附圖（或者圖）更容易顯而易見。下面是對(duì)附圖的簡(jiǎn)介。
[0006] 圖1圖示了用于圖像捕獲加速的系統(tǒng)的一個(gè)實(shí)施例。
[0007] 圖2圖示了用于圖像捕獲加速的系統(tǒng)的備選實(shí)施例。
[0008] 圖3圖示了用于圖像捕獲加速的系統(tǒng)的備選實(shí)施例。
[0009] 圖4圖示了被配置為經(jīng)由固件以加速方式處理圖像數(shù)據(jù)而不需要專用圖像捕獲加 速器(ICA)的圖像信號(hào)處理器(ISP)的一個(gè)實(shí)施例。
[0010]圖5圖示了將拜耳(Bayer)顏色陣列重新排序成YUV 4:2:2格式的示例。
[0011] 圖6圖示了用于圖像捕獲加速的系統(tǒng)的一個(gè)實(shí)施例。
[0012] 圖7圖示了用于同時(shí)產(chǎn)生拜耳模式圖像數(shù)據(jù)的四個(gè)顏色分量的系統(tǒng)的實(shí)施例。
[0013] 圖8圖示了經(jīng)由小波壓縮的圖像壓縮的實(shí)施例。
[0014] 圖9圖示了通過組合多種圖像壓縮技術(shù)的圖像壓縮的實(shí)施例。
[0015] 圖10圖示了通過組合多種圖像壓縮技術(shù)的圖像壓縮的備選實(shí)施例。
[0016] 圖11圖示了生成用于存儲(chǔ)的輸出圖像數(shù)據(jù)文件的實(shí)施例。
[0017] 圖12圖示了用于生成輸出圖像數(shù)據(jù)文件的系統(tǒng)的實(shí)施例。
[0018] 圖13A至圖13B圖示了直接存儲(chǔ)器訪問引擎的實(shí)施例。
[0019] 圖14圖示了用于使用抽取圖像數(shù)據(jù)的運(yùn)動(dòng)檢測(cè)和估算的系統(tǒng)的實(shí)施例。
[0020] 圖15圖示了抽取圖像數(shù)據(jù)的示例。
[0021] 圖16圖示了由圖像捕獲加速器執(zhí)行的電子圖像穩(wěn)定化的示例。
[0022] 圖17圖示了具有兩個(gè)熵編碼器的圖像捕獲加速器的實(shí)施例。
[0023] 圖18a圖示了圖像捕獲加速器存儲(chǔ)器共享架構(gòu)的第一實(shí)施例。
[0024] 圖18b圖示了圖像捕獲加速器存儲(chǔ)器共享架構(gòu)的第二實(shí)施例。
[0025] 圖19圖示了具有芯片上轉(zhuǎn)碼功能的圖像捕獲加速器的實(shí)施例。
【具體實(shí)施方式】
[0026] 附圖和以下描述僅通過圖示的方式涉及優(yōu)選實(shí)施例。應(yīng)該注意，根據(jù)以下討論，本 文中公開的結(jié)構(gòu)和方法的備選實(shí)施例將容易被認(rèn)作在不脫離所要求保護(hù)的原理的情況下 可以采用的可行備選方案。
[0027] 現(xiàn)在將詳細(xì)參照若干實(shí)施例，這些實(shí)施例的示例在附圖中圖示。注意，只要可行， 相似或者相同的附圖標(biāo)記可以在圖中使用，并且可以指示相似或者相同的功能。附圖僅為 了圖示目的描繪所公開系統(tǒng)(或者方法)的實(shí)施例。本領(lǐng)域技術(shù)人員將容易從以下描述意識(shí) 到，可以在不脫離本文中所描述的原理的情況下采用本文中說(shuō)明的結(jié)構(gòu)和方法的備選實(shí)施 例。
[0028] 配置概覽
[0029]圖像捕獲加速器提供對(duì)圖像數(shù)據(jù)的加速處理。
[0030] 在一個(gè)示例實(shí)施例中，圖像捕獲系統(tǒng)架構(gòu)被配置為包含圖像捕獲加速器（ICA)。 ICA被配置為解決有限的ISP帶寬和/或過量的系統(tǒng)功率使用問題，同時(shí)使得能夠以高的幀 速率捕獲圖像。在一個(gè)示例實(shí)施例中，ICA是這樣的設(shè)備，其避開圖像捕獲系統(tǒng)(諸如數(shù)碼相 機(jī)）中的常規(guī)ISP圖像處理，以便增加圖像捕獲系統(tǒng)的帶寬和/或減少圖像捕獲系統(tǒng)的功率 使用。ICA可以是專用ASIC，可以被實(shí)施在圖像傳感器或者ISP芯片架構(gòu)內(nèi)，或者可以使用現(xiàn) 有硬件、固件、和/或軟件實(shí)施。
[0031] 在一個(gè)實(shí)施例中，圖像捕獲加速器包括加速器電路，加速器電路包括預(yù)處理引擎 和壓縮引擎。預(yù)處理引擎被配置為對(duì)所接收的圖像數(shù)據(jù)執(zhí)行加速處理，并且壓縮引擎被配 置為將從預(yù)處理引擎接收的處理的圖像數(shù)據(jù)進(jìn)行壓縮。在一個(gè)實(shí)施例中，圖像捕獲加速器 進(jìn)一步包括解復(fù)用器，該解復(fù)用器被配置為接收由（例如在圖像傳感器芯片上的）圖像傳感 器陣列捕獲的圖像數(shù)據(jù)。當(dāng)圖像數(shù)據(jù)由處于第一捕獲模式（"標(biāo)準(zhǔn)模式"）下的圖像傳感器陣 列捕獲時(shí)，解復(fù)用器將所接收的圖像數(shù)據(jù)輸出到圖像信號(hào)處理器(ISP)，并且當(dāng)圖像數(shù)據(jù)由 處于第二捕獲模式（"加速模式"）下的圖像傳感器陣列捕獲時(shí)，解復(fù)用器將所接收的圖像數(shù) 據(jù)輸出到加速器電路。應(yīng)該注意，ICA可以處理在如本領(lǐng)域技術(shù)人員所理解的附加模式(諸 如時(shí)間推移模式)下捕獲的圖像數(shù)據(jù)。
[0032] 在一個(gè)實(shí)施例中，標(biāo)準(zhǔn)捕獲模式與以第一幀速率和第一分辨率捕獲圖像關(guān)聯(lián)，且 加速捕獲模式與以第二幀速率和第二分辨率捕獲圖像關(guān)聯(lián)。在一些實(shí)施例中，第一幀速率 低于第二幀速率，和/或第一分辨率低于第二分辨率。因此，當(dāng)期望以比ISP所能適應(yīng)的更高 分辨率和/或幀速率捕獲幀時(shí)，ICA可以在加速模式下操作，并且解復(fù)用器可以將所捕獲的 圖像數(shù)據(jù)輸出到加速器電路。
[0033] 由ICA處理并且從ICA輸出的圖像數(shù)據(jù)可以不處于標(biāo)準(zhǔn)圖像格式，而是可以處于需 要進(jìn)一步解碼(例如，以對(duì)由ICA執(zhí)行的編碼進(jìn)行解碼)和/或處理(例如，以將圖像數(shù)據(jù)格式 化為標(biāo)準(zhǔn)圖像格式，諸如JPEG或者PNG)的格式。這種后處理可以在相機(jī)內(nèi)（例如，在捕獲圖 像數(shù)據(jù)之后)或者數(shù)字相機(jī)系統(tǒng)之外（例如，在計(jì)算機(jī)或者移動(dòng)設(shè)備中離線)發(fā)生。此外，本 文中描述的圖像捕獲系統(tǒng)架構(gòu)可以包括被配置為接收和處理從ICA輸出的圖像數(shù)據(jù)的附加 部件。在一個(gè)示例實(shí)施例中，ICA可以在加速模式下捕獲和處理圖像數(shù)據(jù)，可以存儲(chǔ)經(jīng)處理 的圖像數(shù)據(jù)，并且可以在以后的時(shí)間將所存儲(chǔ)的圖像數(shù)據(jù)后處理成可查看的圖像格式。 [0034]示例圖像捕獲加速系統(tǒng)
[0035] 現(xiàn)在轉(zhuǎn)到圖1，其圖示了用于圖像捕獲加速的系統(tǒng)100,系統(tǒng)100包括傳感器陣列 110、ICA 120、以及ISP 130。如圖1所示，ICA 120耦合到傳感器陣列110和ISP 130。通信總 線142將傳感器陣列110耦合到ICA 120,并且第二通信總線144將ICA 120耦合到ISP 130。 在這一實(shí)施例和其它實(shí)施例中，通信總線142、144是基于圖像捕獲系統(tǒng)100的帶寬要求來(lái)選 擇的。例如，總線142可以被實(shí)施為使得總線142不抑制圖像數(shù)據(jù)傳送，否則的話會(huì)充當(dāng)圖像 捕獲系統(tǒng)100的瓶頸。
[0036] 傳感器陣列110被配置為捕獲圖像數(shù)據(jù)并且將圖像數(shù)據(jù)輸出到處理器，諸如ICA 120或者ISP 130。在一個(gè)實(shí)施例中，傳感器陣列110是拜耳顏色濾波器陣列，并且傳感器陣 列110輸出原始拜耳模式數(shù)據(jù)。其它類型的圖像傳感器也可以在加速圖像捕獲系統(tǒng)100中使 用。傳感器陣列110可以被配置為在相機(jī)處理器(未示出）或者ISP 130的控制下以（例如如 由用戶指定的）一個(gè)或者多個(gè)幀速率和一個(gè)或者多個(gè)分辨率捕獲圖像數(shù)據(jù)。雖然未在圖1中 示出，傳感器陣列110可以被實(shí)施在圖像傳感器芯片內(nèi)，例如電荷耦合設(shè)備（"CCD"）或者互 補(bǔ)金屬氧化物半導(dǎo)體（"CMOS"），被配置為將所捕獲的入射在圖像傳感器芯片上的光轉(zhuǎn)換為 表示所捕獲的光的電信號(hào)(本文中為"圖像數(shù)據(jù)"）。
[0037] ISP 130處理從傳感器陣列110接收的原始圖像數(shù)據(jù)并且生成經(jīng)處理的圖像數(shù)據(jù) 用于輸出到顯示屏、存儲(chǔ)器、或者外部計(jì)算設(shè)備。在一個(gè)實(shí)施例中，ISP 130執(zhí)行包括清除拜 耳處理、去馬賽克等在內(nèi)的處理步驟，以及執(zhí)行壓縮以將原始圖像數(shù)據(jù)格式化用于輸出。在 各種實(shí)施例中，ISP 130可以被配置為處理圖像數(shù)據(jù)以生成諸如JPEG、PNG、TIFF、AVI、或者 MPEG之類的標(biāo)準(zhǔn)格式的圖像或者視頻文件。
[0038] ICA 120在由傳感器陣列110捕獲的圖像數(shù)據(jù)被輸出到ISP 130之前將其截獲。在 一個(gè)實(shí)施例中，ICA 120被配置為響應(yīng)于用戶請(qǐng)求來(lái)處理圖像數(shù)據(jù)以加速圖像處理。在另一 實(shí)施例中，ICA 120被配置為當(dāng)圖像傳感器在標(biāo)準(zhǔn)捕獲模式下(例如，以低幀速率和/或分辨 率)捕獲圖像時(shí)自動(dòng)將圖像數(shù)據(jù)提供到ISP 130,并且當(dāng)圖像傳感器在加速捕獲模式下（例 如，以更高的幀速率和/或分辨率)捕獲圖像時(shí)處理所接收的圖像數(shù)據(jù)。例如，當(dāng)以120幀每 秒(fps)和1080p分辨率捕獲圖像數(shù)據(jù)時(shí)，ICA 120可以將圖像數(shù)據(jù)發(fā)送到ISP 130,而當(dāng)以 240fps和4k分辨率捕獲圖像數(shù)據(jù)時(shí)，ICA 120可以（通過加速處理)處理圖像數(shù)據(jù)。
[0039] 標(biāo)準(zhǔn)和加速捕獲模式可以相對(duì)于閾值進(jìn)行限定。特別地，當(dāng)以閾值以上的幀速率 或者閾值以上的分辨率捕獲圖像數(shù)據(jù)時(shí)，可以實(shí)施加速捕獲模式。在這種實(shí)例中，閾值可以 足夠低以保證在閾值幀速率和/或分辨率以下捕獲的圖像數(shù)據(jù)可以由ISP 130處理。例如， 閾值可以被選擇為使得低端ISP可以處理在標(biāo)準(zhǔn)捕獲模式下捕獲的圖像數(shù)據(jù)。這允許通過 允許在圖像捕獲系統(tǒng)中實(shí)施更便宜的ISP，實(shí)現(xiàn)潛在的成本節(jié)約。此外，對(duì)于更高功率的圖 像處理環(huán)境，可以通過使用ICA 120而非ISP 130實(shí)現(xiàn)潛在的功率節(jié)約。
[0040] 應(yīng)該注意，在一個(gè)實(shí)施例中，當(dāng)圖像傳感器在第一模式下捕獲圖像時(shí)，ICA 120可 以處理所接收的圖像數(shù)據(jù)(而不是ISP 130)。例如，除了處理以閾值以上的幀速率和分辨率 捕獲的圖像數(shù)據(jù)之外，ICA 120可以處理以低幀速率和低分辨率(例如用于預(yù)覽圖像）、低幀 速率和高分辨率(例如用于時(shí)間推移攝影）、以及高幀速率和低分辨率(例如用于低帶寬流 式傳輸)捕獲的圖像數(shù)據(jù)。圖像數(shù)據(jù)可以備選地由ICA 120和ISP 130并行地處理。此外，當(dāng) ICA 120處理圖像數(shù)據(jù)時(shí)，ISP 130可以保持空閑，或者可以同時(shí)處理經(jīng)縮減的和/或幀速率 降低的圖像數(shù)據(jù)(例如，從ICA 120接收的圖像數(shù)據(jù)），從而允許ISP 130跟上所捕獲的圖像 數(shù)據(jù)的步伐同時(shí)將功率消耗最小化。例如，由圖像傳感器以60fps捕獲的處于4K分辨率的圖 像可以由ICA 120處理。同時(shí)，這些圖像可以（由ICA 120或者ISP 130)縮減(例如，到WVGA分 辨率)在30fps，并且由ISP 130處理。這種實(shí)施例允許由ISP 130處理的圖像數(shù)據(jù)被用于預(yù) 覽由ICA 120以全分辨率和幀速率處理的圖像，以經(jīng)縮減的分辨率和幀速率存儲(chǔ)，經(jīng)由WiFi 或者其它低帶寬流式傳輸來(lái)流式傳輸?shù)取?br>[0041]傳感器陣列110可以經(jīng)由通信總線142傳達(dá)優(yōu)選的處理模式（例如，使用處于加速 捕獲模式的ICA 120或者處于標(biāo)準(zhǔn)捕獲模式的ISP 130來(lái)處理）。備選地，ICA 120可以接收 來(lái)自相機(jī)控制器的請(qǐng)求捕獲模式的信息，并且作為響應(yīng)，可以確定是將圖像數(shù)據(jù)發(fā)送到ISP 130用于處理還是使用ICA 120的加速器電路處理圖像數(shù)據(jù)。在一個(gè)實(shí)施例中，相機(jī)控制器 提供在標(biāo)準(zhǔn)模式或者加速模式下操作的指令，并且作為響應(yīng)ICA 120配置解復(fù)用器121。 [0042]在圖1所示的實(shí)施例中，ICA 120包括解復(fù)用器（"demux"）121、清除拜耳處理模塊 122、預(yù)處理引擎123、壓縮引擎124、以及一個(gè)或者多個(gè)輸出接口 125。在其它實(shí)施例中，ICA 120可以包括比本文中所描述的那些部件更少的、附加的、或者不同的部件，諸如一個(gè)或者 多個(gè)CPU核和存儲(chǔ)器(其可以被配置為在所有或者某些環(huán)境下用作ISP)、一個(gè)或者多個(gè)高動(dòng) 態(tài)范圍預(yù)處理器、加密引擎、元數(shù)據(jù)嵌入模塊、線性化查找表等。
[0043]解復(fù)用器121被配置為接收由傳感器陣列110捕獲的圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)輸 出到ISP 130用于處理，或者將圖像數(shù)據(jù)輸出到ICA 120內(nèi)的加速器電路用于處理。在一個(gè) 實(shí)施例中，解復(fù)用器121是模擬解復(fù)用器以減少ICA 120的功率消耗。在一個(gè)實(shí)施例中，在以 不需要加速圖像處理或者大量的處理功率的幀速率和/或分辨率的圖像捕獲期間，解復(fù)用 器121將圖像數(shù)據(jù)輸出到ISP 130用于處理。在高幀速率或者高分辨率圖像捕獲模式期間或 者在任何其它時(shí)間期間（例如，在當(dāng)由用戶選擇時(shí)的其它處理密集型捕獲模式期間等），解 復(fù)用器121可以將圖像數(shù)據(jù)輸出到ICA 120的加速器電路。在一個(gè)實(shí)施例中，例如通過基于 期望的捕獲模式傳達(dá)控制信號(hào)，傳感器陣列110控制解復(fù)用器121的控制線。備選地，傳感器 陣列110可以將在做出圖像數(shù)據(jù)處理決定中有用的各種信息(諸如圖像捕獲的幀速率和分 辨率)傳達(dá)到解復(fù)用器121，并且解復(fù)用器121或者ICA 120可以將圖像數(shù)據(jù)輸出到ISP 130 或者基于所接收的信息在ICA 120處對(duì)圖像數(shù)據(jù)進(jìn)行處理。應(yīng)該注意，在一些實(shí)施例中，解 復(fù)用器121可以在ICA 120外部。
[0044]圖1所示的ICA 120的實(shí)施例的加速器電路包括清除拜耳處理模塊122、預(yù)處理引 擎123、壓縮引擎124、以及輸出接口 125。在一個(gè)實(shí)施例中，清除拜耳處理模塊122被配置為 對(duì)圖像數(shù)據(jù)執(zhí)行拜耳處理，諸如修復(fù)缺陷像素、校正顏色和照度、以及修復(fù)其它捕獲錯(cuò)誤。 預(yù)處理引擎123可以對(duì)圖像數(shù)據(jù)執(zhí)行一個(gè)或者多個(gè)圖像處理操作，包括去馬賽克操作、噪聲 減少操作、圖像銳化操作、分辨率調(diào)節(jié)、顏色校正和/或顏色空間轉(zhuǎn)換、亮度調(diào)節(jié)、像素格式 化操作、量化、iHDR解析或者其它形式的解析等。在一些實(shí)施例中，預(yù)處理引擎123僅執(zhí)行最 少的處理操作，并且不執(zhí)行需要超過閾值量的時(shí)間和/或消耗超過閾值量的功率的處理操 作。壓縮引擎124被配置為通過有損或者無(wú)損壓縮將圖像數(shù)據(jù)壓縮成與原始圖像數(shù)據(jù)相等 或者比其更小的尺寸的壓縮數(shù)據(jù)格式。例如，壓縮引擎124可以使用小波壓縮算法(諸如VC-5或者CINEFORM?)壓縮經(jīng)處理的圖像數(shù)據(jù)。使用小波壓縮算法的優(yōu)勢(shì)是生成了縮減圖像，在 一個(gè)實(shí)施例中，縮減圖像可以由壓縮引擎124輸出到ISP 130或者相機(jī)的顯示屏(例如，用于 用戶預(yù)覽圖像）。
[0045] -個(gè)或者多個(gè)輸出接口 125可以將經(jīng)處理的圖像數(shù)據(jù)輸出到非瞬態(tài)計(jì)算機(jī)可讀儲(chǔ) 存介質(zhì)（例如閃速存儲(chǔ)器或者閃盤），或者可以將經(jīng)處理的圖像數(shù)據(jù)輸出到另一部件(諸如 處理器)用于存儲(chǔ)、后續(xù)處理、和/或格式化。在一個(gè)實(shí)施例中，輸出接口 125包括耦合到儲(chǔ)存 介質(zhì)、處理器、或者其它部件的物理層接口。
[0046]在一個(gè)實(shí)施例中，輸出的圖像數(shù)據(jù)可以經(jīng)由標(biāo)準(zhǔn)圖像處理流水線被處理，以將圖 像數(shù)據(jù)格式化為標(biāo)準(zhǔn)圖像或者視頻格式(諸如JPEG格式、PNG格式、或者M(jìn)PEG格式）。這一圖 像處理流水線可以位于相機(jī)外部，諸如在計(jì)算機(jī)或者其它移動(dòng)設(shè)備中。通過將標(biāo)準(zhǔn)圖像處 理流水線定位在相機(jī)外部的設(shè)備上，如果外部設(shè)備具有比相機(jī)更大的處理和功率資源和/ 或受到限制較少的時(shí)間約束，可以通過外部設(shè)備實(shí)現(xiàn)更高水平的圖像處理質(zhì)量。此外，通過 使外部設(shè)備執(zhí)行標(biāo)準(zhǔn)圖像處理，處理和功率負(fù)荷節(jié)約可以通過相機(jī)實(shí)現(xiàn)。
[0047] 如圖1所示，ICA 120是傳感器陣列110和ISP 130外部的專用1C。然而，在其它實(shí)施 例中，ICA 120以及傳感器陣列110和ISP 130中的一個(gè)或者多個(gè)可以被實(shí)施為單個(gè)部件。例 如，圖2圖示了包括傳感器陣列110和ICA 120的圖像傳感器芯片200,圖像傳感器芯片200將 圖像數(shù)據(jù)輸出到ISP 130或者另一外部設(shè)備，諸如相機(jī)內(nèi)部或者外部的存儲(chǔ)器或者外部處 理器。相似地，ISP 130可以將經(jīng)處理的圖像數(shù)據(jù)輸出到內(nèi)部或者外部存儲(chǔ)器、另一處理器 等。圖3圖示了包括ICA 120和ISP 130的圖像處理芯片300。圖像處理芯片300接收來(lái)自傳感 器陣列110的原始圖像數(shù)據(jù)，并且將經(jīng)處理的圖像數(shù)據(jù)輸出到例如相機(jī)內(nèi)部或者外部的存 儲(chǔ)器。應(yīng)該注意，關(guān)于圖1描述的ICA 120的部件可以被實(shí)施在本文中描述的其它實(shí)施例內(nèi)； 例如，圖2和圖3的實(shí)施例可以在處理路徑中包括解復(fù)用器121、清除拜耳處理模塊122、預(yù)處 理引擎123、壓縮引擎125、以及輸出接口 125中的一個(gè)或者多個(gè)。
[0048]現(xiàn)在參照?qǐng)D4,所圖示的是ISP 410的實(shí)施例，ISP 410被配置為經(jīng)由固件以加速方 式處理圖像數(shù)據(jù)，而不需要專用ICA<JSP 410接收來(lái)自圖像傳感器芯片405的所捕獲的圖像 數(shù)據(jù)，處理所接收的數(shù)據(jù)，并且將經(jīng)處理的圖像數(shù)據(jù)輸出到存儲(chǔ)器420。在圖4的實(shí)施例中， ISP 410-般可以以標(biāo)準(zhǔn)模式(例如，當(dāng)以不需要加速圖像處理的幀速率和分辨率捕獲所接 收的圖像數(shù)據(jù)時(shí))處理圖像數(shù)據(jù)，并且可以以加速模式(例如，當(dāng)需要或者請(qǐng)求加速圖像數(shù) 據(jù)處理時(shí))處理圖像數(shù)據(jù)。備選地，ISP 410可以以加速模式處理圖像數(shù)據(jù)，而無(wú)論圖像數(shù)據(jù) 被捕獲的模式。
[0049]在一個(gè)實(shí)施例中，ISP 410通過實(shí)施以下步驟中的一個(gè)或者多個(gè)步驟來(lái)處理圖像 數(shù)據(jù)：1)執(zhí)行清除拜耳處理412; 2)繞過去馬賽克處理413; 3)執(zhí)行位深度轉(zhuǎn)換414; 4)執(zhí)行顏 色空間轉(zhuǎn)換415;以及5)執(zhí)行圖像數(shù)據(jù)編碼416。操作412至416中的每個(gè)操作都可以通過專 用獨(dú)立模塊、通過通用處理模塊、通過硬件、或者任何其它合適的模塊實(shí)施。清除拜耳處理 操作412可以包括與由關(guān)于圖1描述的清除拜耳處理模塊122所執(zhí)行的那些功能相似的功 能，并且在一個(gè)實(shí)施例中可以由清除拜耳處理模塊122執(zhí)行。
[0050]在標(biāo)準(zhǔn)處理模式下，ISP 410可以對(duì)圖像數(shù)據(jù)執(zhí)行去馬賽克操作以將圖像數(shù)據(jù)轉(zhuǎn) 換為標(biāo)準(zhǔn)格式。然而，在加速處理模式下，在對(duì)從圖像傳感器芯片405接收的圖像數(shù)據(jù)執(zhí)行 清除拜耳處理412之后，標(biāo)準(zhǔn)去馬賽克處理被繞過413以便將圖像數(shù)據(jù)保持在拜耳顏色空間 或者原生傳感器顏色空間中。繞過413標(biāo)準(zhǔn)去馬賽克處理可以改善ISP 410的圖像處理性 能，因?yàn)槿ヱR賽克步驟可以增加在后續(xù)步驟期間處理的數(shù)據(jù)量。附加的預(yù)處理操作也可以 被繞過，例如噪聲減少操作和圖像銳化操作。
[0051 ]在繞過413各種預(yù)處理操作之后，ISP 410(在加速模式下操作）可以使用查找表 (LUT)執(zhí)行位深度轉(zhuǎn)換414。任何合適的LUT可以被用于轉(zhuǎn)換414圖像數(shù)據(jù)的位深度，諸如線 性或者非線性域LUT、日志LUT、色調(diào)/灰度系數(shù)(gamma) LUT等。
[0052] ISP 410接著可以執(zhí)行顏色空間轉(zhuǎn)換415以將圖像數(shù)據(jù)轉(zhuǎn)換為YUV顏色空間的格 式。在一個(gè)實(shí)施例中，圖像數(shù)據(jù)被轉(zhuǎn)換到使用4:2:2比率的YUV空間中，這指示圖像數(shù)據(jù)亮度 信息以U分量和V分量圖像數(shù)據(jù)顏色信息的分辨率的兩倍進(jìn)行存儲(chǔ)，雖然也可以使用其它 YUV比率(諸如4:1:1比率、4:4:4比率等）。
[0053]在一個(gè)實(shí)施例中，為了執(zhí)行顏色空間轉(zhuǎn)換415，ISP 410(通過重新設(shè)置用于圖像數(shù) 據(jù)的矢量條目）將圖像數(shù)據(jù)調(diào)配到Y(jié)UV顏色空間中。特別地，ISP 410可以將圖像數(shù)據(jù)的像素 位從拜耳顏色空間重新排序到Y(jié)UV顏色空間中。將圖像數(shù)據(jù)調(diào)配或者重新排序到Y(jié)UV空間中 可以包含將YUV域的Y分量映射到圖像數(shù)據(jù)的G拜耳分量、將YUV域的U分量映射到圖像數(shù)據(jù) 的B拜耳分量、以及將YUV域的V分量映射到圖像數(shù)據(jù)的R拜耳分量。例如，圖5圖示了拜耳顏 色陣列502到Y(jié)UV 4:2:2格式504的示例轉(zhuǎn)換。拜耳顏色陣列502包括紅色子像素 R、藍(lán)色子像 素8、以及兩個(gè)綠色子像素6[?和68。15?410對(duì)像素位重新排序，以形成￥群4 :2:2格式504的 矢量[R Gr B Gb]。備選地，ISP 410可以應(yīng)用顏色空間變換以將拜耳顏色陣列映射到Y(jié)UV域。 應(yīng)該注意，除了本文中所描述的那些之外，可以執(zhí)行其它形式的調(diào)配，并且圖像數(shù)據(jù)可以被 轉(zhuǎn)換到除了拜耳顏色空間或者YUV顏色空間之外的顏色空間。
[0054] ISP 410使用例如H. 264或者H. 265編碼或者任何其它合適的編碼算法對(duì)YUV圖像 數(shù)據(jù)進(jìn)行編碼416。經(jīng)編碼的YUV圖像數(shù)據(jù)接著可以由ISP 410輸出用于由存儲(chǔ)器420存儲(chǔ)。 在一個(gè)實(shí)施例中，存儲(chǔ)器420是本地存儲(chǔ)(例如相機(jī)內(nèi)存儲(chǔ)器）。在另一實(shí)施例中，存儲(chǔ)器420 是外部存儲(chǔ)器(例如相機(jī)外部的計(jì)算機(jī)中的存儲(chǔ)器）。在后者的實(shí)施例中，壓縮引擎可以對(duì) 圖像數(shù)據(jù)編碼以用于傳輸?shù)酵獠看鎯?chǔ)器，例如通過對(duì)HDMI格式的YUV圖像數(shù)據(jù)編碼并且在 HDMI輸出中輸出編碼數(shù)據(jù)。
[0055]所存儲(chǔ)的編碼YUV圖像數(shù)據(jù)可以被后處理以撤銷YUV調(diào)配。在對(duì)所存儲(chǔ)的編碼YUV 圖像數(shù)據(jù)進(jìn)行解碼和解壓縮之后，圖像數(shù)據(jù)可以經(jīng)由標(biāo)準(zhǔn)圖像處理流水線被處理以將圖像 數(shù)據(jù)格式化為標(biāo)準(zhǔn)圖像或者視頻格式用于存儲(chǔ)或者顯示。相似于關(guān)于圖1描述的實(shí)施例，用 于撤銷YUV調(diào)配的圖像處理流水線可以位于相機(jī)外部，諸如在計(jì)算機(jī)或者其它移動(dòng)設(shè)備中， 以實(shí)現(xiàn)更高水平的圖像處理質(zhì)量并且減少相機(jī)的處理和功率負(fù)荷。應(yīng)該注意，使用圖4的實(shí) 施例的方法，有效圖像處理速率可以是標(biāo)準(zhǔn)ISP處理速率的兩倍或者更多倍，并且在圖像處 理中使用的功率量可以減少。
[0056] 經(jīng)由波長(zhǎng)壓縮的圖像捕獲加速
[0057] 圖6圖示了用于圖像捕獲加速的系統(tǒng)的一個(gè)實(shí)施例。在圖6的實(shí)施例中，ICA 120的 壓縮引擎124包括抽取器600和熵編碼器602JCA 120進(jìn)一步包括分量變換塊603、編碼器 604、存儲(chǔ)器606、以及解碼器608。如上文所述，在備選實(shí)施例中，ICA 120可以包括附加的、 更少的、或者不同的部件。
[0058] 分量變換塊603接收來(lái)自傳感器陣列110的圖像數(shù)據(jù)并且將數(shù)據(jù)變換為適合用于 壓縮的格式。分量變換塊603的一個(gè)實(shí)施例在圖7中圖示。如圖7所示，分量變換塊603包括四 個(gè)線存儲(chǔ)緩沖器702、704、706和708、以及輸出復(fù)用器710、715和720。分量變換塊603被配置 為接收原始拜耳圖像數(shù)據(jù)700,并且將每個(gè)像素的四個(gè)顏色分量(例如1?、6 1?、68、以及幻同時(shí) 輸出到壓縮引擎124。
[0059] 原始圖像數(shù)據(jù)700被設(shè)置在像素陣列中，其中的每個(gè)像素具有被分割在兩個(gè)數(shù)據(jù) 線上的四個(gè)子像素。為了提供對(duì)每個(gè)像素的四個(gè)子像素(分別對(duì)應(yīng)于像素的四個(gè)顏色分量） 的同時(shí)訪問，分量變換塊603緩沖包含四個(gè)子像素的兩個(gè)數(shù)據(jù)線。在一個(gè)實(shí)施例中，分量變 換塊603將原始圖像數(shù)據(jù)700解析到圖像數(shù)據(jù)線中。在另一實(shí)施例中，分量變換塊603順序地 接收原始圖像數(shù)據(jù)700線。如圖7所示，兩個(gè)線存儲(chǔ)緩沖器(例如緩沖器702和704)每個(gè)都接 收原始圖像數(shù)據(jù)700線的一個(gè)或者多個(gè)子像素。第二對(duì)線存儲(chǔ)緩沖器（例如緩沖器706和 708)接收原始圖像數(shù)據(jù)700的連續(xù)線的兩個(gè)或者多個(gè)像素。復(fù)用器710和715每個(gè)都將來(lái)自 輸入數(shù)據(jù)700的每個(gè)線的兩個(gè)鄰近的子像素組合，并且復(fù)用器720將復(fù)用器710和715的輸出 組合。復(fù)用器720的輸出是原始圖像數(shù)據(jù)700的每個(gè)像素的四個(gè)顏色分量。
[0060] 參照?qǐng)D6,抽取器600和熵編碼器602集體執(zhí)行小波壓縮的一個(gè)或者多個(gè)實(shí)施方式， 例如VC-5。抽取器600經(jīng)由解復(fù)用器121或者分量變換塊603接收來(lái)自傳感器陣列110的圖像 數(shù)據(jù)，并且抽取圖像數(shù)據(jù)以形成圖像子帶分量。在一些實(shí)施例中，抽取器600包括水平高通 濾波器、水平低通濾波器、豎直高通濾波器、以及豎直低通濾波器。圖像數(shù)據(jù)可以首先使用 水平高通和低通濾波器進(jìn)行處理，從而產(chǎn)生水平濾波的子帶圖像數(shù)據(jù)分量。水平濾波的子 帶分量隨后可以使用豎直高通和低通濾波器進(jìn)行處理，從而產(chǎn)生子帶抽取圖像數(shù)據(jù)分量。 在其它實(shí)施例中，抽取器通過按不同的順序?qū)D像數(shù)據(jù)濾波或者通過使用與本文中所描述 的那些不同的濾波器，產(chǎn)生子帶抽取圖像數(shù)據(jù)分量。
[0061] 抽取器600可以迭代地抽取圖像數(shù)據(jù)，從而產(chǎn)生間隔尺寸增加的子帶抽取圖像分 量。在一些實(shí)施例中，僅某些子帶抽取圖像分量被迭代抽取，例如已經(jīng)使用水平低通濾波器 和豎直低通濾波器兩者（下文中稱為"低/低子帶分量"）進(jìn)行了處理的子帶抽取圖像分量。 在這種實(shí)施例中，由抽取器600產(chǎn)生的子帶抽取圖像數(shù)據(jù)分量具有變化的間隔尺寸。
[0062]熵編碼器602對(duì)由抽取器600產(chǎn)生的抽取圖像數(shù)據(jù)執(zhí)行熵編碼以創(chuàng)建編碼圖像數(shù) 據(jù)。在一些實(shí)施例中，抽取圖像數(shù)據(jù)包括小波系數(shù)、表示圖像像素或者其它圖像性質(zhì)的系數(shù) 等。熵編碼器602可以將這些系數(shù)量化，可以使用系數(shù)查詢一個(gè)或者多個(gè)色調(diào)映射查找表， 并且可以對(duì)經(jīng)量化的系數(shù)執(zhí)行熵編碼以創(chuàng)建經(jīng)熵編碼的圖像數(shù)據(jù)。
[0063] 在2011 年5 月 23 日提交的題目為"Encoding and Decoding Se 1 ect i vely Retrievable Representations of Video Content"的美國(guó)專利申請(qǐng)No. 13/113,950中更 詳細(xì)地描述了小波壓縮的一個(gè)實(shí)施例和實(shí)施方式，其內(nèi)容整體并入于此。
[0064] 圖8圖示了經(jīng)由小波壓縮的圖像壓縮的實(shí)施例。在圖8的實(shí)施例中，圖像數(shù)據(jù)800由 抽取器600訪問。抽取器600使用水平高通濾波器、水平低通濾波器、豎直高通濾波器、以及 豎直低通濾波器將圖像數(shù)據(jù)800抽取到所產(chǎn)生的抽取圖像數(shù)據(jù)809以創(chuàng)建子帶分量。在一個(gè) 實(shí)施例中，抽取器600首先使用水平濾波器處理圖像數(shù)據(jù)800,從而產(chǎn)生水平高通子帶分量 和水平低通子帶分量。繼續(xù)這一實(shí)施例，抽取器600接著使用豎直高通濾波器處理水平高通 子帶分量，從而產(chǎn)生高/高子帶分量802。抽取器600還使用豎直低通濾波器處理水平高通子 帶分量，從而產(chǎn)生高/低子帶分量804。抽取器600接下來(lái)使用豎直高通濾波器處理水平低通 子帶分量，從而產(chǎn)生低/高子帶分量806。最后，抽取器600使用豎直低通濾波器處理水平低 通子帶分量，從而產(chǎn)生低/低子帶分量808。
[0065]應(yīng)該注意，在圖8的實(shí)施例中，由水平高通濾波器和水平低通濾波器輸出的水平子 帶分量的高度等于圖像數(shù)據(jù)800的高度，并且水平子帶分量的寬度等于圖像數(shù)據(jù)800的寬度 的一半。此外，在圖8的實(shí)施例中，子帶分量802、804、806、以及808的寬度和高度分別等于圖 像數(shù)據(jù)800的寬度和高度的一半。在各種實(shí)施例中，低/低子帶分量808包括由圖像數(shù)據(jù)800 以圖像數(shù)據(jù)800的分辨率的四分之一表示的圖像。例如，如果圖像數(shù)據(jù)800是4k圖像(3840像 素乘以2160像素），則低/低子帶分量808可以是1080p圖像(1920像素乘以1080像素）。
[0066]在圖8的實(shí)施例中，抽取器600可以進(jìn)一步在第二抽取迭代中抽取圖像數(shù)據(jù)，以通 過抽取低/低子帶分量808而創(chuàng)建抽取圖像數(shù)據(jù)817。在這種實(shí)施例中，抽取器600使用如上 文描述的水平高通濾波器、水平低通濾波器、豎直高通濾波器、以及豎直低通濾波器處理 低/低子帶分量808。抽取低/低子帶抽取圖像數(shù)據(jù)分量808產(chǎn)生第二高/高子帶分量(H/H 810)、第二高-低子帶分量(H/L 812)、第二低-高子帶分量(L/H 814)、以及第二低-低子帶 分量（L/L 816)。在第二抽取迭代時(shí)，低/低子帶分量808在抽取圖像數(shù)據(jù)809中使用H/H 810、H/L 812、L/H 814、以及L/L 816代替，以形成抽取圖像數(shù)據(jù)817。抽取圖像數(shù)據(jù)809和抽 取圖像數(shù)據(jù)817兩者都包括高/高子帶分量802、高/低子帶分量804、以及低/高子帶分量 806 〇
[0067]可以對(duì)L/L子帶分量816執(zhí)行第三抽取迭代。還可以對(duì)后續(xù)的L/L子帶分量執(zhí)行附 加抽取迭代。L/L子帶分量816包括由圖像數(shù)據(jù)800以圖像數(shù)據(jù)800的分辨率的十六分之一表 示的圖像。例如，如果圖像數(shù)據(jù)800是4k圖像，則L/L子帶分量816可以是960像素乘以540像 素的圖像。
[0068]抽取圖像數(shù)據(jù)集由熵編碼器602訪問，并且被編碼以形成編碼視頻820。在一個(gè)實(shí) 施例中，抽取圖像數(shù)據(jù)809由熵編碼器602編碼。備選地，抽取圖像數(shù)據(jù)817可以由熵編碼器 602編碼。在一些實(shí)施例中，由熵編碼器602編碼的抽取圖像數(shù)據(jù)集依賴于圖像捕獲系統(tǒng)的 性能或者存儲(chǔ)器需要、用戶選擇的或者默認(rèn)的圖像捕獲模式、或者基于任何其它合適的準(zhǔn) 貝1J。應(yīng)該注意，在一些實(shí)施例中，在使用熵編碼器602對(duì)抽取圖像數(shù)據(jù)集編碼時(shí)，抽取器600 不執(zhí)行其它抽取迭代。
[0069]回到圖6的實(shí)施例，壓縮引擎124可以被配置為將抽取圖像數(shù)據(jù)分量輸出到ISP 130。例如，壓縮引擎124可以輸出低/低子帶抽取圖像數(shù)據(jù)分量，諸如分量808或者分量816。 如上文所述，低/低子帶抽取圖像數(shù)據(jù)分量是由從傳感器陣列110接收的圖像數(shù)據(jù)表示的圖 像的較低分辨率的版本。因此，通過輸出由壓縮引擎124執(zhí)行的小波壓縮的較低分辨率圖像 副產(chǎn)物，ISP 130可以訪問較低分辨率的圖像數(shù)據(jù)而不需要由壓縮引擎124執(zhí)行附加的處 理。應(yīng)該注意，壓縮124可以在對(duì)子帶分量執(zhí)行熵編碼之前或者之后將該子帶分量輸出到 ISP 130〇
[0070]在圖6的實(shí)施例中，ISP 130包括至少兩個(gè)輸入:輸入1和輸入2JSP 130被配置為 在輸入1處經(jīng)由解復(fù)用器121接收來(lái)自傳感器陣列110的全分辨率圖像數(shù)據(jù)（例如，當(dāng)ICA 120處于標(biāo)準(zhǔn)模式時(shí)KISP 130被配置為在輸入2處接收來(lái)自壓縮引擎124的處于比全分辨 率圖像數(shù)據(jù)更低的分辨率的圖像數(shù)據(jù)(下文中為"較低分辨率圖像數(shù)據(jù)"），諸如一個(gè)或者多 個(gè)圖像子帶分量。在一些實(shí)施例中，ISP 130接收來(lái)自壓縮引擎124的低/低子帶分量、和/或 附加子帶分量。在一些實(shí)施例中，ISP 130使用相同的處理部件處理在輸入1和輸入2處接收 的圖像數(shù)據(jù)。備選地，ISP 130可以使用分立的專用處理部件處理在輸入1處接收的全分辨 率圖像數(shù)據(jù)和在輸入2處接收的較低分辨率圖像數(shù)據(jù)。
[0071] ISP 130可以對(duì)在輸入2處接收的較低分辨率圖像數(shù)據(jù)執(zhí)行各種處理操作。在一個(gè) 實(shí)施例中，ISP 130可以將較低分辨率圖像數(shù)據(jù)編碼用于作為預(yù)覽圖像顯示在例如相機(jī)顯 示器或者智能設(shè)備上。通過將較低分辨率圖像數(shù)據(jù)編碼用于作為預(yù)覽圖像顯示，用戶可以 基于查看預(yù)覽圖像執(zhí)行若干操作，而不需要ISP 130消耗需要用于編碼全分辨率圖像的功 率和資源。例如，響應(yīng)于查看預(yù)覽圖像，用戶可以調(diào)節(jié)用于后續(xù)圖像捕獲的相機(jī)設(shè)置，可以 識(shí)別用于在編碼全分辨率圖像中使用的一個(gè)或者多個(gè)圖像編碼選項(xiàng)，或者可以在編碼全分 辨率圖像之前將圖像刪除。
[0072] ISP 130可以傳輸所接收的較低分辨率圖像數(shù)據(jù)。各種形式的數(shù)據(jù)傳輸(例如無(wú)線 傳輸)可以與有限的傳輸帶寬關(guān)聯(lián)或者受到有限的傳輸帶寬。圖像數(shù)據(jù)分辨率一般與圖像 數(shù)據(jù)量/尺寸成比例。因此，通過傳輸較低分辨率圖像數(shù)據(jù)，ISP 130可以更好地滿足傳輸帶 寬限制。在一些實(shí)施例中，對(duì)于在加速模式下捕獲的圖像數(shù)據(jù)，圖像數(shù)據(jù)的較低分辨率版本 被提供到ISP 130并且被無(wú)線廣播(例如向計(jì)算設(shè)備），而圖像數(shù)據(jù)的高分辨率版本被存儲(chǔ)， 直到相機(jī)物理耦合到計(jì)算設(shè)備。
[0073] ISP 130可以被配置為接收多個(gè)子帶分量，并且可以基于所接收的子帶分量的重 要性對(duì)傳輸帶寬進(jìn)行優(yōu)先化。例如，ISP 130可以被配置為優(yōu)先考慮低/低子帶分量，使得 低/低子帶分量首先被傳輸，而僅如果附加的傳輸帶寬可用，才傳輸其它子帶分量。在這種 實(shí)施例中，ISP 130可以通過在有限的帶寬環(huán)境下優(yōu)先考慮最能表示全分辨率圖像數(shù)據(jù)的 子帶分量，優(yōu)化所傳輸圖像數(shù)據(jù)的質(zhì)量。在一些實(shí)施例中，ISP 130接收變化的抽取間隔尺 寸的多個(gè)低/低子帶分量，并且基于低/低子帶分量的間隔尺寸和檢測(cè)到的可用帶寬從低/ 低子帶分量集中選擇低/低子帶分量。
[0074]在一些實(shí)施例中，ISP 130在輸入2處接收較低分辨率圖像數(shù)據(jù)，分析較低分辨率 圖像數(shù)據(jù)，并且基于分析調(diào)節(jié)各種圖像捕獲設(shè)置。例如，ISP 130可以分析較低分辨率圖像 數(shù)據(jù)，并且可以調(diào)節(jié)相機(jī)的自動(dòng)曝光設(shè)置，從而改變傳感器陣列110的曝光時(shí)間和設(shè)置。ISP 130可以調(diào)節(jié)由ICA 120處理的全分辨率圖像數(shù)據(jù)中的白平衡水平，或者可以基于對(duì)較低分 辨率圖像數(shù)據(jù)的白色水平分析，在圖像捕獲期間調(diào)節(jié)自動(dòng)白平衡水平。ISP 130可以基于較 低分辨率圖像數(shù)據(jù)中的所確定的聚焦水平，調(diào)節(jié)相機(jī)鏡頭的自動(dòng)聚焦設(shè)置。ISP 130可以基 于對(duì)從ICA 120接收的較低分辨率圖像數(shù)據(jù)的分析，調(diào)節(jié)任何合適的相機(jī)設(shè)置。
[0075]應(yīng)該注意，在一些實(shí)施例中，壓縮引擎124將其它抽取圖像數(shù)據(jù)分量(諸如高/高子 帶抽取圖像數(shù)據(jù)分量)輸出到ISP 130,并且可以基于對(duì)這些其它抽取圖像數(shù)據(jù)分量的分 析，調(diào)節(jié)一個(gè)或者多個(gè)圖像捕獲設(shè)置(諸如自動(dòng)聚焦）。在一些實(shí)施例中，ISP 130接收與連 續(xù)圖像幀關(guān)聯(lián)的高/高和低/低子帶抽取圖像數(shù)據(jù)分量，并且通過將高/高子帶分量和低/低 子帶分量的各種性質(zhì)之間的比率最大化，來(lái)優(yōu)化自動(dòng)聚焦。相似地，ISP 130可以基于高/高 和低/低子帶分量來(lái)估算所捕獲的圖像數(shù)據(jù)的銳度，并且可以基于所估算的銳度來(lái)調(diào)節(jié)相 機(jī)設(shè)置。
[0076]在其中ISP 130與被配置為捕獲相同或者相似視場(chǎng)的多個(gè)相機(jī)關(guān)聯(lián)的實(shí)施例中， ISP 130可以使用低/低子帶抽取圖像數(shù)據(jù)分量將多個(gè)相機(jī)的視場(chǎng)對(duì)準(zhǔn)。在這種實(shí)施例中， ISP 130可以接收來(lái)自每個(gè)相機(jī)的低/低子帶抽取圖像數(shù)據(jù)分量，可以嘗試將子帶分量對(duì)準(zhǔn) (例如，使用對(duì)準(zhǔn)算法），并且可以基于所嘗試的子帶分量的對(duì)準(zhǔn)來(lái)調(diào)節(jié)相機(jī)的視場(chǎng)。
[0077] ISP 130可以被配置為當(dāng)在輸入1處經(jīng)由解復(fù)用器接收來(lái)自傳感器陣列110的原始 圖像數(shù)據(jù)時(shí)(例如，當(dāng)圖像在標(biāo)準(zhǔn)模式下被捕獲時(shí)），處理并且輸出或者存儲(chǔ)全分辨率圖像 數(shù)據(jù)，例如4k分辨率圖像數(shù)據(jù)。相似地，ISP 130可以被配置為當(dāng)在輸入2處接收來(lái)自壓縮引 擎124的抽取圖像數(shù)據(jù)時(shí)(例如，當(dāng)圖像在加速模式下被捕獲時(shí)），處理并且輸出或者存儲(chǔ)更 低分辨率的圖像數(shù)據(jù)，例如1080p分辨率圖像數(shù)據(jù)。
[0078] 圖6的實(shí)施例包括編碼器604,編碼器604被配置為對(duì)諸如從傳感器陣列110接收的 圖像數(shù)據(jù)或者從壓縮引擎124接收的抽取圖像數(shù)據(jù)之類的圖像數(shù)據(jù)進(jìn)行編碼。編碼器604是 被配置為使用一個(gè)或者多個(gè)編碼算法或者方法對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼器。如本文中描 述那樣，編碼器604使用Η. 264編碼算法對(duì)圖像數(shù)據(jù)進(jìn)行編碼，但是應(yīng)該知道，在其它實(shí)施例 中，編碼器604可以實(shí)施任何其它合適的圖像或者視頻編碼算法。
[0079] 存儲(chǔ)器606被配置為永久地或者暫時(shí)地存儲(chǔ)圖像數(shù)據(jù)。例如，壓縮引擎124可以在 抽取迭代之間，或者在抽取和/或通過熵編碼器602的編碼之后，將圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器 606中。在一些實(shí)施例中，編碼圖像數(shù)據(jù)在經(jīng)由輸出接口 125被輸出到外部存儲(chǔ)模塊之前被 存儲(chǔ)在存儲(chǔ)器606處。在一些實(shí)施例中，存儲(chǔ)在ICA 120外部的圖像數(shù)據(jù)經(jīng)由輸出接口 125被 取回，并且被存儲(chǔ)在存儲(chǔ)器606中用于通過ICA 120的后續(xù)編碼和/或解碼。
[0080] 存儲(chǔ)器606可以被用于編碼操作（例如，通過壓縮引擎124或者編碼器604)和解碼 操作(例如，通過如下文描述那樣的解碼器608)兩者。典型的系統(tǒng)需要分立的存儲(chǔ)器用于編 碼和解碼操作。然而，通過利用復(fù)用器和解復(fù)用器，單個(gè)存儲(chǔ)器606可以被用于編碼和解碼 兩者（雖然不是同時(shí)地）。例如，在編碼模式下，復(fù)用器可以將存儲(chǔ)器讀/寫和控制線耦合到 壓縮引擎124或者編碼器604,并且在解碼模式下，復(fù)用器可以將存儲(chǔ)器讀/寫和控制線耦合 到解碼器608。通過利用用于編碼和解碼兩者的單個(gè)存儲(chǔ)器，存儲(chǔ)器成本可以被減少，ICA占 地面積可以被減少，功率消耗和輸入/輸出線可以被減少等。在這種實(shí)施例中，壓縮引擎 124、編碼器604、和/或解碼器608可以在編碼和解碼操作之前、期間、或者之后將圖像數(shù)據(jù) 存儲(chǔ)在存儲(chǔ)器606中。
[0081] 解碼器608被配置為對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼。在一些實(shí)施例中，ICA 120對(duì)原始 圖像數(shù)據(jù)進(jìn)行編碼并且將圖像數(shù)據(jù)存儲(chǔ)在ICA 120外部的存儲(chǔ)模塊處。在這種實(shí)施例中， ICA 120隨后可以取回編碼數(shù)據(jù)，可以使用解碼器608對(duì)編碼數(shù)據(jù)進(jìn)行解碼以創(chuàng)建最初的原 始圖像數(shù)據(jù)，并且可以將原始圖像數(shù)據(jù)輸出到ISP 130。例如，當(dāng)相機(jī)在使用中時(shí)，ICA 120 可以以加速捕獲模式對(duì)數(shù)據(jù)進(jìn)行處理和編碼，并且當(dāng)相機(jī)不再處于使用中時(shí)，ICA 120可以 對(duì)編碼數(shù)據(jù)進(jìn)行解碼并且將最初的原始數(shù)據(jù)輸出到ISP 130。這種實(shí)施例可以通過存儲(chǔ)所 捕獲的圖像數(shù)據(jù)而不將所捕獲的圖像數(shù)據(jù)完全處理成可查看格式，有益地允許相機(jī)以通常 禁止的幀速率和分辨率捕獲圖像數(shù)據(jù)，并且當(dāng)相機(jī)不再處于使用中并且受到圖像捕獲速率 瓶頸時(shí)，允許相機(jī)隨后將所捕獲的圖像數(shù)據(jù)完全處理成可查看格式。
[0082]在一些實(shí)施例中，由編碼器604執(zhí)行的Η.264編碼比由壓縮引擎124執(zhí)行的小波壓 縮時(shí)間效率更高，但是產(chǎn)生比小波壓縮更大量的壓縮圖像數(shù)據(jù)。同樣地，在一些實(shí)施例中， 由壓縮引擎124執(zhí)行的小波壓縮產(chǎn)生比Η. 264編碼更小量的壓縮圖像數(shù)據(jù)，但是效率更低。 因此，一些使用情形可能要求Η.264的效率和小波壓縮的編碼數(shù)據(jù)量大小。
[0083]圖9圖示了通過組合多個(gè)圖像壓縮技術(shù)的圖像壓縮的實(shí)施例。圖9的壓縮引擎124 包括將圖像數(shù)據(jù)抽取為高/高子帶分量900、高/低子帶分量902、低/高子帶分量904、以及 低/低子帶分量906的抽取器600。抽取器600將高/高子帶分量900、高/低子帶分量902、以及 低-尚子帶分量904輸出到熵編碼器602。熵編碼器602對(duì)這些子帶分量執(zhí)行熵編碼，并且將 經(jīng)熵編碼的分量輸出到連結(jié)模塊912。應(yīng)該注意，雖然未在圖6中圖示，ICA 120可以包括連 結(jié)模塊912,或者連結(jié)模塊912的功能可以被實(shí)施在ICA 120的任何其它部件內(nèi)。
[0084] 在圖9的實(shí)施例中，抽取器600還將低/低子帶分量906輸出到Η.264編碼器910。在 一些實(shí)施例中，Η. 264編碼器910被實(shí)施在圖6的編碼器604內(nèi)。Η. 264編碼器910對(duì)低/低子帶 分量906進(jìn)行編碼，并且將經(jīng)Η. 264編碼的分量輸出到連結(jié)模塊912。連結(jié)模塊912將熵編碼 分量和Η. 264編碼分量組合以創(chuàng)建組合的編碼圖像數(shù)據(jù)，并且將該組合的編碼圖像數(shù)據(jù)輸 出用于存儲(chǔ)在例如存儲(chǔ)器606中。在四個(gè)子帶分量中，低/低子帶分量906可以包括最大量的 圖像數(shù)據(jù)，使得低/低子帶分量理想地適合于Η. 264編碼的效率。同樣地，高/高子帶分量 900、高/低子帶分量902、以及低/高子帶分量904可以包括相比之下較少的圖像數(shù)據(jù)，使得 這些分量理想地適合于小波壓縮的所產(chǎn)生的編碼圖像數(shù)據(jù)量益處。
[0085]在一些實(shí)施例中，在ICA 120處接收的圖像數(shù)據(jù)首先由編碼器604處理，并且接著 隨后全部或者部分地由壓縮引擎124處理。圖10圖示了通過組合多個(gè)圖像壓縮技術(shù)的圖像 壓縮的備選實(shí)施例。在圖10的實(shí)施例中，原始圖像數(shù)據(jù)1000由Η. 264編碼器1002訪問。如在 本領(lǐng)域中已知那樣，Η. 264編碼器1002將原始圖像數(shù)據(jù)編碼為包括I-幀、Β-幀、以及Ρ-幀的 編碼圖像數(shù)據(jù)。編碼圖像數(shù)據(jù)在幀解析器1004處被接收。幀解析器1004將I-幀1006輸出到 VC-5編碼器1010,并且將Β-幀和Ρ-幀1008輸出到連結(jié)模塊1012。在一些實(shí)施例中，VC-5編碼 器1010被實(shí)施在壓縮引擎124內(nèi)。在其它實(shí)施例中，替代VC-5編碼，實(shí)施了未在本文中進(jìn)一 步討論的其它形式的編碼。
[0086] VC-5編碼器1010對(duì)I-幀進(jìn)行編碼，并且將編碼的I-幀輸出到連結(jié)模塊1012。如上 文所述，小波編碼（雖然通常比Η. 264編碼效率更低)產(chǎn)生更小量的編碼圖像數(shù)據(jù)。因此，通 過使用VC-5編碼器1010對(duì)I-幀進(jìn)行編碼，編碼圖像數(shù)據(jù)的量可以比經(jīng)Η.264編碼的數(shù)據(jù)小 得多。連結(jié)模塊1012將編碼的I-幀與Β-和Ρ-幀1008組合以形成壓縮圖像數(shù)據(jù)1014。壓縮圖 像數(shù)據(jù)1014隨后可以被存儲(chǔ)在存儲(chǔ)器606中。
[0087]本文中描述的編碼圖像數(shù)據(jù)可以不被編碼成可查看/可顯示格式。例如，已經(jīng)使用 Η. 264編碼進(jìn)行部分編碼并且使用小波壓縮進(jìn)行部分編碼的圖像數(shù)據(jù)在顯示之前必須被解 碼并且被編碼成可查看格式。在這種實(shí)施例中，解碼器608可以被配置為基于對(duì)圖像數(shù)據(jù)編 碼所使用的編碼類型對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼。例如，如果原始圖像數(shù)據(jù)的第一部分使用 小波壓縮被編碼，第二部分使用Η. 264編碼被編碼，并且兩個(gè)部分被連結(jié)，則解碼器608可以 被配置為將編碼數(shù)據(jù)的部分分離，使用小波解壓縮對(duì)第一部分解碼，使用Η. 264解碼對(duì)第二 部分解碼，并且將經(jīng)解碼的第一和第二部分組合以形成最初的原始圖像數(shù)據(jù)。
[0088]圖11圖示了被配置為輸出壓縮的打包的圖像數(shù)據(jù)的熵編碼器602的實(shí)施例。在圖 11圖示的實(shí)施例中，熵編碼器包括位打包器1110,位打包器用于接收編碼圖像數(shù)據(jù)1105并 且生成用于由存儲(chǔ)器606或者外部存儲(chǔ)器存儲(chǔ)的圖像數(shù)據(jù)文件1115。在圖像捕獲加速器120 的各種實(shí)施例中，輸入到位打包器1110的編碼圖像數(shù)據(jù)1105可以包括通過小波壓縮、 H. 264、或者各種其它壓縮技術(shù)編碼的數(shù)據(jù)。
[0089] 在圖12中示出了圖示位打包器1110的實(shí)施例的框圖。在一個(gè)實(shí)施例中，位打包器 1110被配置為并行地處理編碼圖像數(shù)據(jù)的子帶。位打包器1110包括位打包邏輯塊1210、當(dāng) 前通道位打包狀態(tài)寄存器1220、以及多個(gè)位打包狀態(tài)寄存器1230。在一個(gè)實(shí)施例中，針對(duì)到 位打包器1110的每個(gè)顏色通道輸入，位打包器1110包括一個(gè)位打包狀態(tài)寄存器1230。每個(gè) 位打包狀態(tài)寄存器1220、1230包括計(jì)數(shù)（指示由狀態(tài)寄存器存儲(chǔ)的位的數(shù)目）和移位寄存 器。
[0090] 位打包邏輯塊1210接收輸入數(shù)據(jù)、位數(shù)目、輸入啟用標(biāo)志、通道識(shí)別符、通道開始 標(biāo)志、通道結(jié)束標(biāo)志、以及代碼塊結(jié)束標(biāo)志。當(dāng)輸入啟用被確立時(shí)，位打包邏輯塊1210基于 傳入位數(shù)目信號(hào)確定要連結(jié)的輸入數(shù)據(jù)的位數(shù)目，并且將輸入數(shù)據(jù)的對(duì)應(yīng)數(shù)目的位與當(dāng)前 通道位打包狀態(tài)寄存器1220的移位寄存器位連結(jié)。位打包邏輯塊1210將由當(dāng)前通道位打包 狀態(tài)寄存器1220存儲(chǔ)的位的計(jì)數(shù)遞增傳入位數(shù)目。當(dāng)由當(dāng)前通道位打包狀態(tài)寄存器1220存 儲(chǔ)的數(shù)據(jù)的位的數(shù)目達(dá)到輸出數(shù)據(jù)總線1240的寬度時(shí)，位打包邏輯塊1210確立輸出啟用， 其指示新打包的字可用于輸出（例如到存儲(chǔ)器606)。在經(jīng)由輸出數(shù)據(jù)總線1240輸出了新打 包的字之后，位打包邏輯塊1210減少當(dāng)前通道位打包狀態(tài)寄存器1220的計(jì)數(shù)，并且將當(dāng)前 通道位打包狀態(tài)寄存器1220的移位寄存器位移位到零偏移狀態(tài)。
[0091] 通道開始標(biāo)志指示輸入通道處的活躍數(shù)據(jù)的開始。當(dāng)通道開始標(biāo)志被確立時(shí)，位 打包邏輯塊1210對(duì)通道識(shí)別符信號(hào)采樣并且將其存儲(chǔ)，并且將與由通道識(shí)別符信號(hào)識(shí)別的 通道關(guān)聯(lián)的位打包狀態(tài)寄存器1230的內(nèi)容讀取到當(dāng)前通道位打包狀態(tài)寄存器1220中。位打 包邏輯塊1210基于存儲(chǔ)位數(shù)目信號(hào)（指示存儲(chǔ)在位打包狀態(tài)寄存器1230中的位的數(shù)目）和 傳入位數(shù)目信號(hào)，確定要連結(jié)的位數(shù)目，并且將傳入位與當(dāng)前通道位打包狀態(tài)寄存器1220 中的位連結(jié)。如果由當(dāng)前通道位打包狀態(tài)寄存器1220存儲(chǔ)的位的數(shù)目達(dá)到輸出數(shù)據(jù)總線 1240的寬度，位打包邏輯塊1210確立輸出啟用。當(dāng)通道結(jié)束被確立時(shí)，如果由當(dāng)前通道位打 包狀態(tài)寄存器1220存儲(chǔ)的位的數(shù)目小于輸出數(shù)據(jù)總線1240的寬度，則當(dāng)前通道位打包狀態(tài) 寄存器1220的內(nèi)容被拷貝到對(duì)應(yīng)于由所存儲(chǔ)的通道識(shí)別符識(shí)別的通道的位打包狀態(tài)寄存 器1230。因此，位打包狀態(tài)寄存器1230存儲(chǔ)來(lái)自相應(yīng)的輸入通道的位，直到它們與傳入位連 結(jié)并且經(jīng)由輸出數(shù)據(jù)總線1240被輸出。最后，當(dāng)代碼塊結(jié)束標(biāo)志被確立時(shí)，位打包邏輯塊 1210將任何剩余位從當(dāng)前通道位打包寄存器1220清除，并且清除對(duì)應(yīng)于所存儲(chǔ)的通道識(shí)別 符的位打包寄存器1230的內(nèi)容。
[0092] 在一個(gè)實(shí)施例中，位打包邏輯塊1210接收單個(gè)通道活躍信號(hào)，而不是接收通道開 始標(biāo)志和通道結(jié)束標(biāo)志兩者。在通道活躍信號(hào)的上升沿，位打包邏輯塊1210對(duì)通道識(shí)別符 信號(hào)采樣并且將其存儲(chǔ)。在通道活躍信號(hào)的下降沿，位打包邏輯塊1210將當(dāng)前通道位打包 狀態(tài)寄存器1220的內(nèi)容拷貝到對(duì)應(yīng)于所存儲(chǔ)的通道識(shí)別符的位打包狀態(tài)寄存器1230。在一 個(gè)實(shí)施例中，位打包邏輯塊1210在通道活躍信號(hào)的下降沿處生成代碼塊結(jié)束標(biāo)志。
[0093] 在一個(gè)實(shí)施例中，壓縮小波子帶被寫入到幀緩沖器，壓縮小波子帶被存儲(chǔ)在幀緩 沖器用于進(jìn)一步處理或者傳輸。圖13A至圖13B圖示了用于將小波子帶存儲(chǔ)在幀緩沖器中的 直接存儲(chǔ)器訪問（DMA)引擎1300。在一個(gè)實(shí)施例中，如圖13A所圖示，DMA引擎1300包括小波 壓縮引擎1310、嵌入式存儲(chǔ)器1320、以及小波解壓縮引擎1330。小波壓縮引擎1310接收來(lái)自 視頻源1305(例如解復(fù)用器121)的小波子帶并且將該子帶壓縮。例如，小波壓縮引擎1310可 以包括如本文中關(guān)于各種實(shí)施例描述的壓縮引擎124。在每個(gè)壓縮子帶生成時(shí)，小波壓縮引 擎1310在每個(gè)數(shù)據(jù)包之前插入報(bào)頭，從而指示子帶的子帶編號(hào)和通道編號(hào)、以及壓縮數(shù)據(jù) 包的長(zhǎng)度。
[0094] 在圖13A所圖示的DMA引擎1300的實(shí)施例中，小波壓縮引擎1310將壓縮子帶寫入到 存儲(chǔ)幀緩沖器1325的嵌入式存儲(chǔ)器1320。在圖13B所圖示的實(shí)施例中，小波壓縮引擎1310將 壓縮的子帶發(fā)送到存儲(chǔ)器控制器1350用于寫入到存儲(chǔ)幀緩沖器1365的外部存儲(chǔ)器1360。每 個(gè)視頻幀的壓縮子帶被無(wú)間隙地寫入到幀緩沖器1325或者1365,并且存儲(chǔ)器1320或者1360 保持識(shí)別視頻數(shù)據(jù)的每個(gè)幀的開始地址的表。
[0095] 在一個(gè)實(shí)施例中，為了改善對(duì)壓縮子帶的隨后解碼的效率，小波壓縮引擎1310針 對(duì)視頻數(shù)據(jù)的每一行將壓縮子帶按照從最低階子帶到最高階子帶的順序?qū)懭氲酱鎯?chǔ)器 1320或者1360。例如，如果小波壓縮引擎1310通過VC-5壓縮將輸入視頻數(shù)據(jù)壓縮，并且生成 低-低、低-高、高-低、以及高-高子帶，則小波壓縮引擎1310可以將低-低子帶寫入到幀緩沖 器1325或者1365,之后是低-高子帶、高-低子帶、以及高-高子帶。
[0096]小波解壓縮引擎1330將存儲(chǔ)在幀緩沖器1325或者1365中的子帶解壓縮并且將解 壓縮的子帶傳遞到視頻匯集1340。例如，小波解壓縮引擎1330可以包括如關(guān)于各種實(shí)施例 描述的解碼器608,并且可以將解壓縮的圖像數(shù)據(jù)輸出到ISP 130用于處理。在一個(gè)實(shí)施例 中，小波解壓縮引擎1330以比圖像數(shù)據(jù)被捕獲的速率慢的速率解壓縮子帶。例如，如果圖像 傳感器110以120幀每秒捕獲視頻數(shù)據(jù)，則視頻幀以120幀每秒的速率被寫入到幀緩沖器 1325或者1365。如果ISP 130被配置為以30幀每秒的最大值處理視頻幀，則小波解壓縮引擎 1330解壓縮每四幀中的一個(gè)幀，并且將解壓縮的幀發(fā)送到ISP 130。
[0097]圖像捕獲加速器120的一個(gè)實(shí)施例對(duì)圖像數(shù)據(jù)執(zhí)行運(yùn)動(dòng)檢測(cè)和估算。圖14圖示了 用于使用抽取圖像數(shù)據(jù)的運(yùn)動(dòng)檢測(cè)和估算的系統(tǒng)的實(shí)施例。在圖14的實(shí)施例中，系統(tǒng)包括 運(yùn)動(dòng)檢測(cè)電路1410和運(yùn)動(dòng)估算電路1420。在各種實(shí)施例中，運(yùn)動(dòng)檢測(cè)電路1410和運(yùn)動(dòng)估算 電路1420是ICA 120、ISP 130的部件，或者相機(jī)系統(tǒng)的其它部件。
[0098] ICA 120的抽取器600將抽取圖像數(shù)據(jù)輸出到運(yùn)動(dòng)檢測(cè)電路1410和運(yùn)動(dòng)估算電路 1420。例如，如圖14所不，抽取器600將低-低子帶分量、低-尚子帶分量、以及尚-低子帶分量 輸出到運(yùn)動(dòng)檢測(cè)電路1410。高-高子帶分量被輸出到運(yùn)動(dòng)估算電路1420。然而，抽取器600可 以將附加子帶輸出到運(yùn)動(dòng)檢測(cè)電路1410和運(yùn)動(dòng)估算電路1420。例如，存儲(chǔ)器600可以進(jìn)一步 抽取低-低子帶分量并且將得到的抽取分量輸出到運(yùn)動(dòng)檢測(cè)電路1410和/或運(yùn)動(dòng)估算電路 1420。
[0099] 如上文所描述那樣，由抽取器600生成的低-低子帶分量表示處于輸入到抽取器 600的圖像數(shù)據(jù)的四分之一分辨率的抽取圖像。因此，對(duì)于輸入到抽取器600的圖像數(shù)據(jù)幀， 第一低-低子帶分量表示處于該幀的四分之一分辨率的幀。第二低-低子帶分量(通過進(jìn)一 步抽取第一低-低子帶分量生成)表示處于該幀的十六分之一分辨率的幀。相比之下，高-高 子帶分量通過對(duì)圖像數(shù)據(jù)執(zhí)行水平和豎直高通濾波兩者來(lái)生成。因此，高-高子帶分量包含 抽取圖像的邊緣數(shù)據(jù)。
[0100] 運(yùn)動(dòng)檢測(cè)電路1410使用視頻幀的低-低子帶分量生成運(yùn)動(dòng)映射1415。運(yùn)動(dòng)映射 1415識(shí)別兩個(gè)視頻幀之間的運(yùn)動(dòng)區(qū)域。例如，運(yùn)動(dòng)映射1415是針對(duì)幀的塊或者像素的二進(jìn) 制值集，其識(shí)別該塊或者像素是否在當(dāng)前幀和后續(xù)或者之前的幀之間移動(dòng)。為了生成兩個(gè) 視頻幀之間的運(yùn)動(dòng)映射1415,運(yùn)動(dòng)檢測(cè)電路1410以兩個(gè)或者多個(gè)分辨率檢驗(yàn)幀的圖像分 量。在一個(gè)實(shí)施例中，運(yùn)動(dòng)檢測(cè)電路1410接收來(lái)自抽取器600的針對(duì)每個(gè)幀的至少兩個(gè)低-低子帶分量。例如，運(yùn)動(dòng)檢測(cè)電路1410針對(duì)每個(gè)幀接收以四分之一分辨率表不該幀的第一 低-低子帶分量，和以十六分之一分辨率表示該幀的第二低-低子帶分量。運(yùn)動(dòng)檢測(cè)電路 1410使用最低分辨率的分量識(shí)別幀中的運(yùn)動(dòng)區(qū)域。例如，運(yùn)動(dòng)檢測(cè)電路1410識(shí)別在視頻幀 之間呈現(xiàn)運(yùn)動(dòng)的最低分辨率圖像數(shù)據(jù)的像素或者塊。
[0101] 如果在幀的區(qū)域中識(shí)別到運(yùn)動(dòng)，則運(yùn)動(dòng)檢測(cè)電路1410使用更高分辨率的分量以便 更精確地識(shí)別幀中的運(yùn)動(dòng)區(qū)域。對(duì)于被確定為具有運(yùn)動(dòng)的最低分辨率圖像數(shù)據(jù)的每個(gè)區(qū) 域，運(yùn)動(dòng)檢測(cè)電路1410識(shí)別呈現(xiàn)運(yùn)動(dòng)的更高分辨率的幀的像素或者塊。為了進(jìn)一步細(xì)化運(yùn) 動(dòng)檢測(cè)，運(yùn)動(dòng)檢測(cè)電路1410可以以甚至更高的分辨率檢驗(yàn)幀的分量。在每次迭代中，運(yùn)動(dòng)檢 測(cè)電路1410檢測(cè)來(lái)自被確定為具有運(yùn)動(dòng)的較低分辨率的幀的區(qū)域的塊或者像素中的運(yùn)動(dòng)。 因此，運(yùn)動(dòng)檢測(cè)電路1410不針對(duì)運(yùn)動(dòng)搜索整個(gè)更高分辨率的幀。運(yùn)動(dòng)檢測(cè)電路1410可以選 擇要檢驗(yàn)的分辨率水平的數(shù)目，以實(shí)現(xiàn)針對(duì)各種應(yīng)用的運(yùn)動(dòng)檢測(cè)的期望精確度。
[0102] 作為示例，運(yùn)動(dòng)檢測(cè)電路1410接收?qǐng)D15所示的已經(jīng)被抽取兩次的圖像數(shù)據(jù)1500。 運(yùn)動(dòng)檢測(cè)電路1410使用低-低子帶分量1516識(shí)別運(yùn)動(dòng)區(qū)域。對(duì)于子帶分量1516中的每個(gè)被 識(shí)別的運(yùn)動(dòng)區(qū)域，運(yùn)動(dòng)檢測(cè)電路1410分析低/低子帶分量1508(8卩，抽取圖像的更高分辨率 表示）以更精確地識(shí)別圖像中的運(yùn)動(dòng)區(qū)域。運(yùn)動(dòng)檢測(cè)電路1410接著可以使用全分辨率圖像 數(shù)據(jù)1500進(jìn)一步細(xì)化運(yùn)動(dòng)檢測(cè)。運(yùn)動(dòng)檢測(cè)電路1410輸出針對(duì)圖像數(shù)據(jù)1500的運(yùn)動(dòng)映射，從 而識(shí)別被確定為呈現(xiàn)運(yùn)動(dòng)的圖像數(shù)據(jù)的塊或者像素。
[0103] 對(duì)于視頻幀對(duì)，運(yùn)動(dòng)估算電路1420接收來(lái)自運(yùn)動(dòng)檢測(cè)電路1410的運(yùn)動(dòng)映射1415和 該對(duì)中的一個(gè)或者兩個(gè)幀的高-高子帶分量。使用運(yùn)動(dòng)映射1415和高-高子帶分量，運(yùn)動(dòng)估 算電路1420生成用于幀間或幀內(nèi)預(yù)測(cè)的運(yùn)動(dòng)矢量1425。通過使用高-高子帶分量生成運(yùn)動(dòng) 矢量1425,運(yùn)動(dòng)估算電路1420基于幀中的邊緣數(shù)據(jù)而非整個(gè)幀來(lái)確定運(yùn)動(dòng)矢量1425。因此， 運(yùn)動(dòng)估算電路1420使用比基于全分辨率圖像數(shù)據(jù)的整個(gè)幀生成運(yùn)動(dòng)矢量所需要的更少的 處理時(shí)間和功率生成運(yùn)動(dòng)矢量1425。此外，運(yùn)動(dòng)估算電路1420以比通過分析整個(gè)幀將提供 的更高的準(zhǔn)確度預(yù)測(cè)運(yùn)動(dòng)矢量1425。因此，為了準(zhǔn)確的視頻重構(gòu)，需要編碼更少的錯(cuò)誤。
[0104] 圖像捕獲加速器120可以針對(duì)各種不同應(yīng)用使用運(yùn)動(dòng)映射1415和運(yùn)動(dòng)矢量1425。 圖像捕獲加速器120的一個(gè)實(shí)施例使用對(duì)抽取圖像數(shù)據(jù)執(zhí)行的運(yùn)動(dòng)檢測(cè)和估算來(lái)生成不同 的幀以對(duì)圖像或者視頻數(shù)據(jù)進(jìn)行編碼。例如，圖像捕獲加速器120的一個(gè)實(shí)施例使用運(yùn)動(dòng)矢 量1425生成用于幀內(nèi)預(yù)測(cè)的不同幀。
[0105] 在另一示例應(yīng)用中，圖像捕獲加速器120的一個(gè)實(shí)施例使用估算的運(yùn)動(dòng)執(zhí)行電子 圖像穩(wěn)定化。圖16圖示了由圖像捕獲加速器120執(zhí)行的電子圖像穩(wěn)定化的示例。在相機(jī)系統(tǒng) 的用戶捕獲視頻時(shí)，傳感器陣列110捕獲圖像數(shù)據(jù)的幀。圖16中所示的讀取窗口 1602對(duì)應(yīng)于 由傳感器陣列110捕獲的圖像數(shù)據(jù)的全窗口，而保持窗口 1604的圖像數(shù)據(jù)被存儲(chǔ)為視頻幀。 如果用戶在捕獲視頻的同時(shí)少量地移動(dòng)相機(jī)，則讀取窗口 1602中的對(duì)象1606的相對(duì)位置改 變。一般地，圖像捕獲加速器120通過確定保持窗口 1604相對(duì)于讀取窗口 1602的位置，執(zhí)行 電子圖像穩(wěn)定化，以保持對(duì)象1606在每個(gè)視頻幀中的相同相對(duì)位置。
[0106] 不是使用來(lái)自外部傳感器(諸如陀螺儀）的輸入或者對(duì)全分辨率圖像數(shù)據(jù)執(zhí)行計(jì) 算密集型運(yùn)動(dòng)補(bǔ)償以確定保持窗口 1604的位置，圖像捕獲加速器120可以使用通過分析比 輸入視頻低的分辨率的圖像數(shù)據(jù)檢測(cè)到的運(yùn)動(dòng)。具體而言，圖像捕獲加速器120基于運(yùn)動(dòng)矢 量1425在幀與幀之間調(diào)節(jié)保持窗口 1604的位置。圖像捕獲加速器120使用運(yùn)動(dòng)映射1415和/ 或運(yùn)動(dòng)矢量1425識(shí)別從一個(gè)讀取窗口 1602到下一讀取窗口的全局運(yùn)動(dòng)的方向和幅度。圖像 捕獲加速器120接著在全局運(yùn)動(dòng)的相反方向上移動(dòng)保持窗口 1604,從而有效地消除讀取窗 口 1602中的運(yùn)動(dòng)。
[0107] 在對(duì)抽取圖像數(shù)據(jù)執(zhí)行的運(yùn)動(dòng)檢測(cè)和估算的又一示例應(yīng)用中，圖像捕獲加速器 120的一個(gè)實(shí)施例使用檢測(cè)到的運(yùn)動(dòng)執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波(MCTFhMCTF在壓縮視頻之前 補(bǔ)償跨視頻幀的時(shí)域噪聲以改善壓縮效率。為了執(zhí)行MCTF，圖像捕獲加速器120使用運(yùn)動(dòng)矢 量1425確定跨視頻幀的哪些改變是運(yùn)動(dòng)的結(jié)果以及哪些改變是時(shí)域噪聲的結(jié)果，并且過濾 掉其是時(shí)域噪聲的結(jié)果的改變。
[0108] 運(yùn)動(dòng)檢測(cè)和估算的其它示例應(yīng)用包括運(yùn)動(dòng)追蹤和測(cè)距。例如，圖像捕獲加速器120 使用低-低子帶分量追蹤物體移動(dòng)，并且使用高-高子帶分量計(jì)算物體的移動(dòng)。在一些實(shí)施 例中，抽取分量(諸如低-低子帶分量)可以被用于識(shí)別或者辨識(shí)幀內(nèi)的臉部或者物體(例 如，通過對(duì)抽取分量執(zhí)行臉部檢測(cè)或者物體辨識(shí)算法），并且可以使用其它抽取分量(諸如 高-高子帶分量)計(jì)算幀之間的臉部或者物體的移動(dòng)。
[0109] 圖像捕獲加速器120和/或抽取圖像數(shù)據(jù)的各種應(yīng)用依賴于從存儲(chǔ)快速取回特定 子帶。例如，如上文所述，圖像捕獲加速器120的一個(gè)實(shí)施例使用圖像數(shù)據(jù)的所選擇的子帶 分量來(lái)檢測(cè)和估算運(yùn)動(dòng)。作為另一示例，圖像捕獲加速器120的一個(gè)實(shí)施例將視頻幀的子集 (例如，每四幀中的一個(gè)幀)發(fā)送到ISP 130用于處理。在又一示例中，圖像捕獲加速器120的 一個(gè)實(shí)施例將所選擇的子帶分量(例如低-低子帶分量)傳輸?shù)酵獠吭O(shè)備用于視頻預(yù)覽。為 了使得能夠取回任何期望的子帶分量，壓縮引擎124的一個(gè)實(shí)施例被配置為存儲(chǔ)對(duì)由抽取 器600生成的每個(gè)子帶分量在存儲(chǔ)中的位置的引用。在一個(gè)實(shí)施例中，壓縮引擎124在存儲(chǔ) 子帶之前生成用于每個(gè)子帶的報(bào)頭。例如，報(bào)頭識(shí)別從其生成子帶的幀、幀的分量(例如，其 是否是低-低子帶分量、高-高子帶分量等）、以及所存儲(chǔ)的數(shù)據(jù)包的長(zhǎng)度。當(dāng)子帶從存儲(chǔ)被 取回時(shí)，圖像捕獲加速器120使用報(bào)頭識(shí)別子帶。在另一實(shí)施例中，壓縮引擎124存儲(chǔ)識(shí)別每 個(gè)子帶在存儲(chǔ)中的位置的文件指針。
[0110] 通過生成和存儲(chǔ)對(duì)每個(gè)子帶在存儲(chǔ)中的位置的引用，壓縮引擎124使得能夠取回 圖像數(shù)據(jù)的任何子帶。因此，壓縮引擎124可以在子帶生成時(shí)將子帶寫入到存儲(chǔ)，而非將每 個(gè)子帶存儲(chǔ)為獨(dú)有文件或者緩沖針對(duì)每個(gè)幀的子帶以及將幀的圖像數(shù)據(jù)存儲(chǔ)在連續(xù)塊中。
[0111] 如上文所述，圖像捕獲加速器120包括被配置為對(duì)抽取圖像數(shù)據(jù)編碼并且生成編 碼視頻的熵編碼器602。為了改善處理時(shí)間，圖像捕獲加速器120的一個(gè)實(shí)施例包括并行操 作以對(duì)圖像編碼的多個(gè)熵編碼器602。圖17圖示了具有兩個(gè)熵編碼器602A和602B的ICA 120 的實(shí)施例，每個(gè)熵編碼器編碼由抽取器600輸出的抽取圖像數(shù)據(jù)的一部分。ICA 120的其它 實(shí)施例可以包括附加編碼器。
[0112]抽取器600抽取原始圖像數(shù)據(jù)1700并且將抽取圖像數(shù)據(jù)1702輸出到熵編碼器602A 和602B。抽取器600可以通過以下將圖像幀分割成多個(gè)子幀:將幀豎直分割成兩個(gè)不相等的 區(qū)段、將幀水平分割成兩個(gè)不相等的區(qū)段、將幀豎直或者水平分割成多于兩個(gè)的豎直區(qū)段、 或者將幀既豎直又水平地分割成各種寬度和高度的一系列長(zhǎng)方形。熵編碼器602A和602B每 個(gè)接收?qǐng)D像區(qū)段中的一個(gè)或者多個(gè)圖像區(qū)段以用于編碼。例如，熵編碼器602A對(duì)視頻數(shù)據(jù) 的每個(gè)幀的左半部分進(jìn)行編碼，而熵編碼器602B對(duì)每個(gè)幀的右半部分進(jìn)行編碼。通過各自 編碼每個(gè)視頻幀的一部分，在ICA 120的這一實(shí)施例中并行操作的多個(gè)熵編碼器602減少了 用于對(duì)視頻進(jìn)行編碼的處理時(shí)間。
[0113]抽取器600向每個(gè)熵編碼器602發(fā)送除了每個(gè)子幀的邊緣之外的額外像素值。例 如，抽取器600將3840x 2160分辨率的圖像豎直分成兩個(gè)子幀，每個(gè)子幀具有1920x 2160個(gè) 像素，并且向每個(gè)熵編碼器602發(fā)送除了兩個(gè)子幀之間的邊界之外的額外兩個(gè)像素。即，每 個(gè)熵編碼器602接收具有1922x 2160個(gè)像素的圖像數(shù)據(jù)。因此，抽取圖像數(shù)據(jù)1702的一部分 被發(fā)送到多個(gè)熵編碼器602。抽取器600還可以向每個(gè)熵編碼器602傳遞相對(duì)于整個(gè)幀的子 幀的位置的識(shí)別符。
[0114] 熵編碼器602對(duì)從抽取器600接收的子幀進(jìn)行編碼。在一個(gè)實(shí)施例中，熵編碼器602 對(duì)抽取圖像數(shù)據(jù)1702的相應(yīng)部分執(zhí)行VC-5編碼。一般地，熵編碼器602將邊界公式和內(nèi)部公 式應(yīng)用于抽取圖像數(shù)據(jù)1702以生成編碼圖像數(shù)據(jù)。邊界公式被應(yīng)用于幀的頂部、底部、左 偵I以及右側(cè)中的每個(gè)上的一個(gè)像素寬的邊界，并且內(nèi)部公式被應(yīng)用于幀的其它像素。例 如，熵編碼器602的一個(gè)實(shí)施例在圖像數(shù)據(jù)的行的左側(cè)列或者圖像數(shù)據(jù)的列的頂部行處應(yīng) 用以下小波變換公式：
[0115] Ho = ash(5X〇-llXi+4X2+4X3-X4-X5+4,3) (1)
[0116] 在圖像數(shù)據(jù)的行的右側(cè)列或者圖像數(shù)據(jù)的列的底部行處，熵編碼器602的一個(gè)實(shí) 施例應(yīng)用以下小波變換公式：
[0117] Hn/2-1 = ash(5Xn-rllXn-2+4Xn-3+4Xn-4-Xn-5-Xn-6+4,3) (2)
[0118] 最后，由熵編碼器602的一個(gè)實(shí)施例向行或者列的內(nèi)部中的圖像數(shù)據(jù)應(yīng)用的內(nèi)部 小波變換公式如下：
[0119]
[UUU」 如呆圖傢數(shù)據(jù)骰分割成多個(gè)于幟開i田網(wǎng)個(gè)現(xiàn)有多個(gè)煱綱媽器602開仃處埋，貝lj 熵編碼器602將內(nèi)部公式(方程3)應(yīng)用于子幀之間的邊界，使得沿著邊界產(chǎn)生與如果圖像作 為單個(gè)幀被編碼將產(chǎn)生的相同的小波變換值。每個(gè)熵編碼器602使用除了子幀的邊緣之外 的額外像素值，以使用內(nèi)部小波變換公式對(duì)邊界處的圖像數(shù)據(jù)進(jìn)行編碼。熵編碼器602因此 針對(duì)幀集體生成與如果圖像作為單個(gè)幀被編碼將生成的相同數(shù)目的小波系數(shù)。此外，熵編 碼器602僅針對(duì)對(duì)應(yīng)于整個(gè)幀的邊界的子幀邊界實(shí)現(xiàn)邊界公式(方程1和方程2)。因此，如果 幀既被水平分割又被豎直分割三次或者更多次，則一些熵編碼器602可以不使用邊界公式 對(duì)其相應(yīng)的子幀進(jìn)行編碼。
[0121] 圖18a圖示了圖像捕獲加速器存儲(chǔ)器共享架構(gòu)的第一實(shí)施例。在圖18a的實(shí)施例 中，ICA 1810接收?qǐng)D像數(shù)據(jù)1805,并且將圖像數(shù)據(jù)1805提供到ISP 1820,將圖像數(shù)據(jù)1805存 儲(chǔ)在通信耦合到ICA 1810的存儲(chǔ)器1830中，或者處理圖像數(shù)據(jù)1805。經(jīng)處理的圖像數(shù)據(jù)隨 后可以被輸出到ISP 1820或者存儲(chǔ)在存儲(chǔ)器1830中。
[0122] 在圖18a的實(shí)施例中，存儲(chǔ)在存儲(chǔ)器1830處的圖像數(shù)據(jù)1805或者經(jīng)處理圖像數(shù)據(jù) 經(jīng)由ICA 1810由ISP 1820訪問。在這種實(shí)施例中，ICA 1810和存儲(chǔ)器1830之間的數(shù)據(jù)總線 可以具有比ISP 1820和存儲(chǔ)器1830之間的數(shù)據(jù)總線更高的帶寬。相似地，ICA 1810的I/O控 制器可以比ISP 1820的I/O控制器更快。在這種實(shí)施例中，ICA 1810可以接收?qǐng)D像數(shù)據(jù)1805 并且可以以第一數(shù)據(jù)速率將所接收的圖像數(shù)據(jù)1805寫入到存儲(chǔ)器1830,并且ICA 1810可以 訪問存儲(chǔ)在存儲(chǔ)器1830處的圖像數(shù)據(jù)(所接收的圖像數(shù)據(jù)1805或者由ICA 1810處理的圖像 數(shù)據(jù)）并且可以以比第一數(shù)據(jù)速率慢的第二數(shù)據(jù)速率將所訪問的圖像數(shù)據(jù)輸出到ISP 1820。這種實(shí)施例允許相機(jī)系統(tǒng)以比ISP 1820的處理速率更快的速率捕獲圖像數(shù)據(jù)。
[0123] 圖18b圖示了圖像捕獲加速器存儲(chǔ)器共享架構(gòu)的第二實(shí)施例。在圖18b的實(shí)施例 中，ICA 1860可以接收?qǐng)D像數(shù)據(jù)1855,并且可以經(jīng)由復(fù)用器1880將所接收的圖像數(shù)據(jù)1855 提供到ISP 1870或者存儲(chǔ)器189(ΚΙ5Ρ 1870可以接收來(lái)自ICA 1860的圖像數(shù)據(jù)，或者可以 經(jīng)由復(fù)用器1880訪問存儲(chǔ)在存儲(chǔ)器1890處的圖像數(shù)據(jù)。ICA 1860、ISP 1870、或者圖18b中 未圖示的外部控制器可以選擇復(fù)用器輸入(并且因此，ICA 1860或者ISP 1870)耦合到復(fù)用 器輸出。圖18b的實(shí)施例允許ICA 1860接收?qǐng)D像數(shù)據(jù)1855并且以第一數(shù)據(jù)速率將其寫入到 存儲(chǔ)器1890,并且允許ISP 1870以比第一數(shù)據(jù)速率慢的第二數(shù)據(jù)速率訪問來(lái)自存儲(chǔ)器1890 的圖像數(shù)據(jù)1855。
[0124] 圖19圖示了具有諸如分辨率和幀速率縮減和分辨率放大之類的芯片上轉(zhuǎn)碼功能 的圖像捕獲加速器的實(shí)施例。ICA 1900包括縮減引擎1910、放大引擎1920、H. 264引擎1930、 以及VC-5引擎1940。縮減引擎1910可以通過輸出抽取視頻的低/低子帶來(lái)縮減抽取視頻的 分辨率。例如，對(duì)于抽取視頻的低/低子帶，縮減引擎1910可以替代地輸出抽取視頻的低/低 子帶，從而對(duì)抽取視頻解碼以便以全分辨率產(chǎn)生視頻。縮減引擎1910可以通過從抽取視頻 移除幀來(lái)縮減抽取視頻的幀速率。例如，縮減引擎1910可以通過輸出每隔一個(gè)視頻幀的低/ 低子帶，將4k分辨率240fps視頻縮減成1080p分辨率120fps視頻。
[0125] 放大引擎1920可以使用被編碼為H. 264視頻的低/低子帶并且使用被編碼為VC-5 視頻的高/低、低/高、以及高/高子帶放大抽取視頻的分辨率。在這種實(shí)施例中，低/低子帶 包括4個(gè)顏色通道，每個(gè)顏色通道被編碼為Η. 264視頻。為了放大這種視頻的分辨率，放大引 擎1920使用Η.264引擎1930對(duì)低/低子帶的顏色通道進(jìn)行解碼，并且將解碼顏色通道組合到 拜耳顏色空間中。放大引擎1920使用VC-5引擎1940對(duì)對(duì)應(yīng)的高/低、低/高、以及高/高VC-5 編碼的子帶進(jìn)行解碼，并且將解碼的低/低子帶與解碼的高/低、低/高、以及高/高子帶組合 以創(chuàng)建分辨率放大的視頻。例如，對(duì)于1080ρ分辨率低/低子帶，低/低子帶和對(duì)應(yīng)的高/低、 低/高、以及高/高子帶被解碼并且被組合以創(chuàng)建4k分辨率視頻。
[0126] 附加配置考慮
[0127] 本文中所描述的實(shí)施例提供用于加速圖像捕獲系統(tǒng)中的圖像捕獲和存儲(chǔ)的系統(tǒng) 和方法。通過加速圖像捕獲和存儲(chǔ)，圖像捕獲系統(tǒng)可以以高幀速率和分辨率捕獲圖像或者 視頻，因?yàn)閳D像捕獲系統(tǒng)不受圖像信號(hào)處理器的能力限制。此外，加速捕獲和存儲(chǔ)可以減少 圖像捕獲系統(tǒng)的功率消耗，從而改善包括加速圖像捕獲系統(tǒng)的相機(jī)的電池壽命。
[0128] 貫穿這一說(shuō)明書，一些實(shí)施例使用了表達(dá)方式"耦合"以及其衍生詞。如本文中使 用的術(shù)語(yǔ)"耦合"不一定限于直接物理或者電接觸的兩個(gè)或者多個(gè)元件。更確切地說(shuō)，術(shù)語(yǔ) "耦合"還可以包含與彼此非直接接觸但是還仍然與彼此合作或者交互的兩個(gè)或者多個(gè)元 件。
[0129] 同樣地，如本文中使用的，術(shù)語(yǔ)"包括"、"包含"、"具有"（"comprises"、 "including"、"includes"、"including"、"has"、"having"）或者其任何其它變化旨在覆蓋 非排他性包含。例如，包括元件列表的過程、方法、物品、或者裝置不一定僅限于那些元件， 而是可以包這種過程、方法、物品、或者裝置未明確列出的或者非固有的其它元件。
[0130]此外，"一(a)"或者"一個(gè)(an)"的使用被采用用于描述本文中的實(shí)施例的元件和 部件。這么做僅為了方便并且給出本發(fā)明的一般意義。這一描述應(yīng)該被解讀為包括一個(gè)或 者至少一個(gè)，并且單數(shù)還包括多個(gè)，除非明顯另有意指。
[0131]最后，如本文中使用的，對(duì)"一個(gè)實(shí)施例"或者"實(shí)施例"的任何提及意指聯(lián)系該實(shí) 施例描述的特定元件、特征、結(jié)構(gòu)、或者特性被包括在至少一個(gè)實(shí)施例中。說(shuō)明書中的各種 地方出現(xiàn)的短語(yǔ)"在一個(gè)實(shí)施例中"不一定全部都指代相同的實(shí)施例。
[0132]在閱讀本公開時(shí)，本領(lǐng)域技術(shù)人員將領(lǐng)會(huì)到還有針對(duì)如本文中從原理公開的圖像 捕獲加速器的附加的備選結(jié)構(gòu)和功能設(shè)計(jì)。因此，雖然圖示和描述了特定實(shí)施例和應(yīng)用，要 理解的是，所公開的實(shí)施例不限于本文中公開的精確構(gòu)造和部件?？梢栽诓幻撾x所附權(quán)利 要求中限定的精神和范圍的情況下，對(duì)本文中公開的方法和裝置的設(shè)置、操作、以及細(xì)節(jié)做 出對(duì)本領(lǐng)域技術(shù)人員而言將顯而易見的各種修改、改變、以及變化。
【主權(quán)項(xiàng)】
1. 一種相機(jī)系統(tǒng)，包括： 圖像傳感器，被配置為產(chǎn)生表示在捕獲間隔期間入射在所述圖像傳感器上的光的圖像 數(shù)據(jù)； 圖像信號(hào)處理器（"ISP"），具有第一輸入和第二輸入；以及圖像捕獲加速器（"ICA"），耦 合在所述圖像傳感器和所述ISP之間， 所述圖像捕獲加速器包括： 輸入，被配置為接收來(lái)自所述圖像傳感器的所述圖像數(shù)據(jù)； 第一輸出，被配置為輸出圖像數(shù)據(jù)，所述第一輸出耦合到所述ISP的所述第一輸入； 壓縮引擎，被配置為將所接收的圖像數(shù)據(jù)抽取到多個(gè)圖像子帶分量中；以及 第二輸出，被配置為輸出到圖像子帶分量，所述第二輸出耦合到所述ISP的所述第二輸 入。2. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所述圖像捕獲加速器被配置為經(jīng)由所述第一 輸出來(lái)輸出所接收的圖像數(shù)據(jù)。3. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所輸出的圖像子帶分量是低/低子帶分量，其 中所接收的圖像數(shù)據(jù)包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括處于 低于所述第一分辨率的第二分辨率的所述圖像。4. 根據(jù)權(quán)利要求3所述的相機(jī)系統(tǒng)，其中所述第二分辨率是所述第一分辨率的分辨率 的四分之一。5. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所接收的圖像數(shù)據(jù)包括原始拜耳圖像數(shù)據(jù)。6. 根據(jù)權(quán)利要求5所述的相機(jī)系統(tǒng)，其中所述圖像捕獲加速器進(jìn)一步包括： 變換引擎，被配置為將所接收的原始拜耳圖像數(shù)據(jù)轉(zhuǎn)換為紅顏色分量、藍(lán)顏色分量、第 一綠顏色分量、以及第二綠顏色分量。7. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所述壓縮引擎被進(jìn)一步配置為對(duì)所述多個(gè)圖 像子帶分量中的一個(gè)或者多個(gè)圖像子帶分量執(zhí)行熵編碼。8. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所述圖像捕獲加速器進(jìn)一步包括： 解復(fù)用器，被配置為在第一配置中將所接收的圖像數(shù)據(jù)提供到所述ISP的所述第一輸 入，并且被配置為在第二配置中將所接收的圖像數(shù)據(jù)提供到所述壓縮引擎。9. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所述ISP被配置為對(duì)經(jīng)由所述第二輸入接收的 圖像數(shù)據(jù)進(jìn)行編碼以用于顯示為預(yù)覽圖像。10. 根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中所述ISP被配置為對(duì)經(jīng)由所述第一輸入接收 的圖像數(shù)據(jù)進(jìn)行編碼以用于存儲(chǔ)在耦合到所述ISP的存儲(chǔ)器中。11. 一種用于處理由相機(jī)系統(tǒng)捕獲的圖像的方法，包括： 通過圖像傳感器捕獲入射在所述圖像傳感器上的光，以產(chǎn)生表示所捕獲的光的圖像數(shù) 據(jù)； 通過圖像捕獲加速器（"ICA"）接收來(lái)自所述圖像傳感器的所述圖像數(shù)據(jù)； 通過所述ICA將所述圖像數(shù)據(jù)輸出到圖像信號(hào)處理器（"ISP"）的第一輸入； 通過所述ICA將所接收的圖像抽取到多個(gè)圖像子帶分量中；以及 通過所述ICA將圖像子帶分量輸出到所述ISP的第二輸入。12. 根據(jù)權(quán)利要求11所述的方法，其中所輸出的圖像子帶分量是低/低子帶分量，其中 所接收的圖像數(shù)據(jù)包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括處于低 于所述第一分辨率的第二分辨率的所述圖像。13. 根據(jù)權(quán)利要求12所述的方法，其中所述第二分辨率是所述第一分辨率的分辨率的 四分之一。14. 根據(jù)權(quán)利要求11所述的方法，其中所述ISP被配置為對(duì)經(jīng)由所述第二輸入接收的圖 像數(shù)據(jù)進(jìn)行編碼以用于顯示為預(yù)覽圖像。15. 根據(jù)權(quán)利要求11所述的方法，其中所述ISP被配置為對(duì)經(jīng)由所述第一輸入接收的圖 像數(shù)據(jù)進(jìn)行編碼以用于存儲(chǔ)在耦合到所述ISP的存儲(chǔ)器中。16. -種用于相機(jī)系統(tǒng)的加速器電路，包括： 輸入，被配置為接收來(lái)自圖像傳感器的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)表示在捕獲間隔期間 入射在所述圖像傳感器上的光； 第一輸出，被配置為輸出圖像數(shù)據(jù)，所述第一輸出耦合到圖像信號(hào)處理器（"ISP"）的第 一輸入； 壓縮引擎，被配置為將所接收的圖像數(shù)據(jù)抽取到多個(gè)圖像子帶分量中；以及 第二輸出，被配置為輸出到圖像子帶分量，所述第二輸出耦合到所述ISP的第二輸入。17. 根據(jù)權(quán)利要求16所述的加速器電路，其中所輸出的圖像子帶分量是低/低子帶分 量，其中所接收的圖像數(shù)據(jù)包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括 處于低于所述第一分辨率的第二分辨率的所述圖像。18. 根據(jù)權(quán)利要求17所述的加速器電路，其中所述第二分辨率是所述第一分辨率的分 辨率的四分之一。19. 根據(jù)權(quán)利要求16所述的加速器電路，其中所述ISP被配置為對(duì)經(jīng)由所述第二輸入接 收的圖像數(shù)據(jù)進(jìn)行編碼以用于顯示為預(yù)覽圖像。20. 根據(jù)權(quán)利要求16所述的加速器電路，其中所述ISP被配置為對(duì)經(jīng)由所述第一輸入接 收的圖像數(shù)據(jù)進(jìn)行編碼以用于存儲(chǔ)在耦合到所述ISP的存儲(chǔ)器中。
【文檔編號(hào)】H04N19/85GK105993177SQ201480065644
【公開日】2016年10月5日
【申請(qǐng)日】2014年9月25日
【發(fā)明人】S·P·坎貝爾, P·莫布斯, B·C·亞德薩米利, S·喬拉
【申請(qǐng)人】高途樂公司