圖像捕獲加速器的制造方法
【專利摘要】圖像捕獲加速器執(zhí)行對圖像數據的加速處理。在一個實施例中，圖像捕獲加速器包括加速器電路，該加速器電路包括預處理引擎和壓縮引擎。預處理引擎被配置為對所接收的圖像數據執(zhí)行加速處理，并且壓縮引擎被配置為對從預處理引擎接收的處理圖像數據進行壓縮。在一個實施例中，圖像捕獲加速器進一步包括解復用器，該解復用器被配置為接收由被實施在例如圖像傳感器芯片內的圖像傳感器陣列捕獲的圖像數據。當圖像數據由處于普通捕獲模式下的圖像傳感器陣列捕獲時解復用器可以將所接收的圖像數據輸出到圖像信號處理器，并且當圖像數據由處于加速捕獲模式下的圖像傳感器陣列捕獲時解復用器可以將所接收的圖像數據輸出到加速器電路。
【專利說明】
圖像捕獲加速器
[0001] 相關申請的交叉引用
[0002] 本申請要求2013年10月1日提交的美國臨時申請No.61/885,412和2014年9月17日 提交的美國專利申請No. 14/488，283的權益和優(yōu)先權，其通過引用整體并入于此。本申請涉 及美國專利申請No. 13/940,215、美國專利申請No. 13/940,221、以及美國專利申請No. 14/ 189，973，其內容通過引用整體并入于此。
技術領域
[0003] 本公開總體上涉及圖像捕獲系統(tǒng)領域，并且具體而言涉及對圖像捕獲加速。
【背景技術】
[0004] 隨著圖像傳感器技術的改善，圖像傳感器正在變得能夠以越來越高的分辨率和幀 速率捕獲圖像和視頻。然而，圖像信號處理（ISP)ASIC通常受到帶寬限制，從而阻止它們以 圖像傳感器幀被捕獲的空間、時間、以及位深度分辨率和幀速率有效地處理圖像傳感器幀。 在數字相機系統(tǒng)中，這種ISP瓶頸可能阻礙相機性能。此外，即使ISP有能力跟上所關聯的圖 像傳感器，ISP可能使用比典型相機電池所能提供的更多的功率。
【附圖說明】
[0005] 所公開的實施例具有其它優(yōu)勢和特征，這些優(yōu)勢和特征將從【具體實施方式】、所附 權利要求、以及附圖（或者圖）更容易顯而易見。下面是對附圖的簡介。
[0006] 圖1圖示了用于圖像捕獲加速的系統(tǒng)的一個實施例。
[0007] 圖2圖示了用于圖像捕獲加速的系統(tǒng)的備選實施例。
[0008] 圖3圖示了用于圖像捕獲加速的系統(tǒng)的備選實施例。
[0009] 圖4圖示了被配置為經由固件以加速方式處理圖像數據而不需要專用圖像捕獲加 速器(ICA)的圖像信號處理器(ISP)的一個實施例。
[0010]圖5圖示了將拜耳(Bayer)顏色陣列重新排序成YUV 4:2:2格式的示例。
[0011] 圖6圖示了用于圖像捕獲加速的系統(tǒng)的一個實施例。
[0012] 圖7圖示了用于同時產生拜耳模式圖像數據的四個顏色分量的系統(tǒng)的實施例。
[0013] 圖8圖示了經由小波壓縮的圖像壓縮的實施例。
[0014] 圖9圖示了通過組合多種圖像壓縮技術的圖像壓縮的實施例。
[0015] 圖10圖示了通過組合多種圖像壓縮技術的圖像壓縮的備選實施例。
[0016] 圖11圖示了生成用于存儲的輸出圖像數據文件的實施例。
[0017] 圖12圖示了用于生成輸出圖像數據文件的系統(tǒng)的實施例。
[0018] 圖13A至圖13B圖示了直接存儲器訪問引擎的實施例。
[0019] 圖14圖示了用于使用抽取圖像數據的運動檢測和估算的系統(tǒng)的實施例。
[0020] 圖15圖示了抽取圖像數據的示例。
[0021] 圖16圖示了由圖像捕獲加速器執(zhí)行的電子圖像穩(wěn)定化的示例。
[0022] 圖17圖示了具有兩個熵編碼器的圖像捕獲加速器的實施例。
[0023] 圖18a圖示了圖像捕獲加速器存儲器共享架構的第一實施例。
[0024] 圖18b圖示了圖像捕獲加速器存儲器共享架構的第二實施例。
[0025] 圖19圖示了具有芯片上轉碼功能的圖像捕獲加速器的實施例。
【具體實施方式】
[0026] 附圖和以下描述僅通過圖示的方式涉及優(yōu)選實施例。應該注意，根據以下討論，本 文中公開的結構和方法的備選實施例將容易被認作在不脫離所要求保護的原理的情況下 可以采用的可行備選方案。
[0027] 現在將詳細參照若干實施例，這些實施例的示例在附圖中圖示。注意，只要可行， 相似或者相同的附圖標記可以在圖中使用，并且可以指示相似或者相同的功能。附圖僅為 了圖示目的描繪所公開系統(tǒng)(或者方法)的實施例。本領域技術人員將容易從以下描述意識 到，可以在不脫離本文中所描述的原理的情況下采用本文中說明的結構和方法的備選實施 例。
[0028] 配置概覽
[0029]圖像捕獲加速器提供對圖像數據的加速處理。
[0030] 在一個示例實施例中，圖像捕獲系統(tǒng)架構被配置為包含圖像捕獲加速器（ICA)。 ICA被配置為解決有限的ISP帶寬和/或過量的系統(tǒng)功率使用問題，同時使得能夠以高的幀 速率捕獲圖像。在一個示例實施例中，ICA是這樣的設備，其避開圖像捕獲系統(tǒng)(諸如數碼相 機）中的常規(guī)ISP圖像處理，以便增加圖像捕獲系統(tǒng)的帶寬和/或減少圖像捕獲系統(tǒng)的功率 使用。ICA可以是專用ASIC，可以被實施在圖像傳感器或者ISP芯片架構內，或者可以使用現 有硬件、固件、和/或軟件實施。
[0031] 在一個實施例中，圖像捕獲加速器包括加速器電路，加速器電路包括預處理引擎 和壓縮引擎。預處理引擎被配置為對所接收的圖像數據執(zhí)行加速處理，并且壓縮引擎被配 置為將從預處理引擎接收的處理的圖像數據進行壓縮。在一個實施例中，圖像捕獲加速器 進一步包括解復用器，該解復用器被配置為接收由（例如在圖像傳感器芯片上的）圖像傳感 器陣列捕獲的圖像數據。當圖像數據由處于第一捕獲模式（"標準模式"）下的圖像傳感器陣 列捕獲時，解復用器將所接收的圖像數據輸出到圖像信號處理器(ISP)，并且當圖像數據由 處于第二捕獲模式（"加速模式"）下的圖像傳感器陣列捕獲時，解復用器將所接收的圖像數 據輸出到加速器電路。應該注意，ICA可以處理在如本領域技術人員所理解的附加模式(諸 如時間推移模式)下捕獲的圖像數據。
[0032] 在一個實施例中，標準捕獲模式與以第一幀速率和第一分辨率捕獲圖像關聯，且 加速捕獲模式與以第二幀速率和第二分辨率捕獲圖像關聯。在一些實施例中，第一幀速率 低于第二幀速率，和/或第一分辨率低于第二分辨率。因此，當期望以比ISP所能適應的更高 分辨率和/或幀速率捕獲幀時，ICA可以在加速模式下操作，并且解復用器可以將所捕獲的 圖像數據輸出到加速器電路。
[0033] 由ICA處理并且從ICA輸出的圖像數據可以不處于標準圖像格式，而是可以處于需 要進一步解碼(例如，以對由ICA執(zhí)行的編碼進行解碼)和/或處理(例如，以將圖像數據格式 化為標準圖像格式，諸如JPEG或者PNG)的格式。這種后處理可以在相機內（例如，在捕獲圖 像數據之后)或者數字相機系統(tǒng)之外（例如，在計算機或者移動設備中離線)發(fā)生。此外，本 文中描述的圖像捕獲系統(tǒng)架構可以包括被配置為接收和處理從ICA輸出的圖像數據的附加 部件。在一個示例實施例中，ICA可以在加速模式下捕獲和處理圖像數據，可以存儲經處理 的圖像數據，并且可以在以后的時間將所存儲的圖像數據后處理成可查看的圖像格式。 [0034]示例圖像捕獲加速系統(tǒng)
[0035] 現在轉到圖1，其圖示了用于圖像捕獲加速的系統(tǒng)100,系統(tǒng)100包括傳感器陣列 110、ICA 120、以及ISP 130。如圖1所示，ICA 120耦合到傳感器陣列110和ISP 130。通信總 線142將傳感器陣列110耦合到ICA 120,并且第二通信總線144將ICA 120耦合到ISP 130。 在這一實施例和其它實施例中，通信總線142、144是基于圖像捕獲系統(tǒng)100的帶寬要求來選 擇的。例如，總線142可以被實施為使得總線142不抑制圖像數據傳送，否則的話會充當圖像 捕獲系統(tǒng)100的瓶頸。
[0036] 傳感器陣列110被配置為捕獲圖像數據并且將圖像數據輸出到處理器，諸如ICA 120或者ISP 130。在一個實施例中，傳感器陣列110是拜耳顏色濾波器陣列，并且傳感器陣 列110輸出原始拜耳模式數據。其它類型的圖像傳感器也可以在加速圖像捕獲系統(tǒng)100中使 用。傳感器陣列110可以被配置為在相機處理器(未示出）或者ISP 130的控制下以（例如如 由用戶指定的）一個或者多個幀速率和一個或者多個分辨率捕獲圖像數據。雖然未在圖1中 示出，傳感器陣列110可以被實施在圖像傳感器芯片內，例如電荷耦合設備（"CCD"）或者互 補金屬氧化物半導體（"CMOS"），被配置為將所捕獲的入射在圖像傳感器芯片上的光轉換為 表示所捕獲的光的電信號(本文中為"圖像數據"）。
[0037] ISP 130處理從傳感器陣列110接收的原始圖像數據并且生成經處理的圖像數據 用于輸出到顯示屏、存儲器、或者外部計算設備。在一個實施例中，ISP 130執(zhí)行包括清除拜 耳處理、去馬賽克等在內的處理步驟，以及執(zhí)行壓縮以將原始圖像數據格式化用于輸出。在 各種實施例中，ISP 130可以被配置為處理圖像數據以生成諸如JPEG、PNG、TIFF、AVI、或者 MPEG之類的標準格式的圖像或者視頻文件。
[0038] ICA 120在由傳感器陣列110捕獲的圖像數據被輸出到ISP 130之前將其截獲。在 一個實施例中，ICA 120被配置為響應于用戶請求來處理圖像數據以加速圖像處理。在另一 實施例中，ICA 120被配置為當圖像傳感器在標準捕獲模式下(例如，以低幀速率和/或分辨 率)捕獲圖像時自動將圖像數據提供到ISP 130,并且當圖像傳感器在加速捕獲模式下（例 如，以更高的幀速率和/或分辨率)捕獲圖像時處理所接收的圖像數據。例如，當以120幀每 秒(fps)和1080p分辨率捕獲圖像數據時，ICA 120可以將圖像數據發(fā)送到ISP 130,而當以 240fps和4k分辨率捕獲圖像數據時，ICA 120可以（通過加速處理)處理圖像數據。
[0039] 標準和加速捕獲模式可以相對于閾值進行限定。特別地，當以閾值以上的幀速率 或者閾值以上的分辨率捕獲圖像數據時，可以實施加速捕獲模式。在這種實例中，閾值可以 足夠低以保證在閾值幀速率和/或分辨率以下捕獲的圖像數據可以由ISP 130處理。例如， 閾值可以被選擇為使得低端ISP可以處理在標準捕獲模式下捕獲的圖像數據。這允許通過 允許在圖像捕獲系統(tǒng)中實施更便宜的ISP，實現潛在的成本節(jié)約。此外，對于更高功率的圖 像處理環(huán)境，可以通過使用ICA 120而非ISP 130實現潛在的功率節(jié)約。
[0040] 應該注意，在一個實施例中，當圖像傳感器在第一模式下捕獲圖像時，ICA 120可 以處理所接收的圖像數據(而不是ISP 130)。例如，除了處理以閾值以上的幀速率和分辨率 捕獲的圖像數據之外，ICA 120可以處理以低幀速率和低分辨率(例如用于預覽圖像）、低幀 速率和高分辨率(例如用于時間推移攝影）、以及高幀速率和低分辨率(例如用于低帶寬流 式傳輸)捕獲的圖像數據。圖像數據可以備選地由ICA 120和ISP 130并行地處理。此外，當 ICA 120處理圖像數據時，ISP 130可以保持空閑，或者可以同時處理經縮減的和/或幀速率 降低的圖像數據(例如，從ICA 120接收的圖像數據），從而允許ISP 130跟上所捕獲的圖像 數據的步伐同時將功率消耗最小化。例如，由圖像傳感器以60fps捕獲的處于4K分辨率的圖 像可以由ICA 120處理。同時，這些圖像可以（由ICA 120或者ISP 130)縮減(例如，到WVGA分 辨率)在30fps，并且由ISP 130處理。這種實施例允許由ISP 130處理的圖像數據被用于預 覽由ICA 120以全分辨率和幀速率處理的圖像，以經縮減的分辨率和幀速率存儲，經由WiFi 或者其它低帶寬流式傳輸來流式傳輸等。
[0041]傳感器陣列110可以經由通信總線142傳達優(yōu)選的處理模式（例如，使用處于加速 捕獲模式的ICA 120或者處于標準捕獲模式的ISP 130來處理）。備選地，ICA 120可以接收 來自相機控制器的請求捕獲模式的信息，并且作為響應，可以確定是將圖像數據發(fā)送到ISP 130用于處理還是使用ICA 120的加速器電路處理圖像數據。在一個實施例中，相機控制器 提供在標準模式或者加速模式下操作的指令，并且作為響應ICA 120配置解復用器121。 [0042]在圖1所示的實施例中，ICA 120包括解復用器（"demux"）121、清除拜耳處理模塊 122、預處理引擎123、壓縮引擎124、以及一個或者多個輸出接口 125。在其它實施例中，ICA 120可以包括比本文中所描述的那些部件更少的、附加的、或者不同的部件，諸如一個或者 多個CPU核和存儲器(其可以被配置為在所有或者某些環(huán)境下用作ISP)、一個或者多個高動 態(tài)范圍預處理器、加密引擎、元數據嵌入模塊、線性化查找表等。
[0043]解復用器121被配置為接收由傳感器陣列110捕獲的圖像數據，并且將圖像數據輸 出到ISP 130用于處理，或者將圖像數據輸出到ICA 120內的加速器電路用于處理。在一個 實施例中，解復用器121是模擬解復用器以減少ICA 120的功率消耗。在一個實施例中，在以 不需要加速圖像處理或者大量的處理功率的幀速率和/或分辨率的圖像捕獲期間，解復用 器121將圖像數據輸出到ISP 130用于處理。在高幀速率或者高分辨率圖像捕獲模式期間或 者在任何其它時間期間（例如，在當由用戶選擇時的其它處理密集型捕獲模式期間等），解 復用器121可以將圖像數據輸出到ICA 120的加速器電路。在一個實施例中，例如通過基于 期望的捕獲模式傳達控制信號，傳感器陣列110控制解復用器121的控制線。備選地，傳感器 陣列110可以將在做出圖像數據處理決定中有用的各種信息(諸如圖像捕獲的幀速率和分 辨率)傳達到解復用器121，并且解復用器121或者ICA 120可以將圖像數據輸出到ISP 130 或者基于所接收的信息在ICA 120處對圖像數據進行處理。應該注意，在一些實施例中，解 復用器121可以在ICA 120外部。
[0044]圖1所示的ICA 120的實施例的加速器電路包括清除拜耳處理模塊122、預處理引 擎123、壓縮引擎124、以及輸出接口 125。在一個實施例中，清除拜耳處理模塊122被配置為 對圖像數據執(zhí)行拜耳處理，諸如修復缺陷像素、校正顏色和照度、以及修復其它捕獲錯誤。 預處理引擎123可以對圖像數據執(zhí)行一個或者多個圖像處理操作，包括去馬賽克操作、噪聲 減少操作、圖像銳化操作、分辨率調節(jié)、顏色校正和/或顏色空間轉換、亮度調節(jié)、像素格式 化操作、量化、iHDR解析或者其它形式的解析等。在一些實施例中，預處理引擎123僅執(zhí)行最 少的處理操作，并且不執(zhí)行需要超過閾值量的時間和/或消耗超過閾值量的功率的處理操 作。壓縮引擎124被配置為通過有損或者無損壓縮將圖像數據壓縮成與原始圖像數據相等 或者比其更小的尺寸的壓縮數據格式。例如，壓縮引擎124可以使用小波壓縮算法(諸如VC-5或者CINEFORM?)壓縮經處理的圖像數據。使用小波壓縮算法的優(yōu)勢是生成了縮減圖像，在 一個實施例中，縮減圖像可以由壓縮引擎124輸出到ISP 130或者相機的顯示屏(例如，用于 用戶預覽圖像）。
[0045] -個或者多個輸出接口 125可以將經處理的圖像數據輸出到非瞬態(tài)計算機可讀儲 存介質（例如閃速存儲器或者閃盤），或者可以將經處理的圖像數據輸出到另一部件(諸如 處理器)用于存儲、后續(xù)處理、和/或格式化。在一個實施例中，輸出接口 125包括耦合到儲存 介質、處理器、或者其它部件的物理層接口。
[0046]在一個實施例中，輸出的圖像數據可以經由標準圖像處理流水線被處理，以將圖 像數據格式化為標準圖像或者視頻格式(諸如JPEG格式、PNG格式、或者MPEG格式）。這一圖 像處理流水線可以位于相機外部，諸如在計算機或者其它移動設備中。通過將標準圖像處 理流水線定位在相機外部的設備上，如果外部設備具有比相機更大的處理和功率資源和/ 或受到限制較少的時間約束，可以通過外部設備實現更高水平的圖像處理質量。此外，通過 使外部設備執(zhí)行標準圖像處理，處理和功率負荷節(jié)約可以通過相機實現。
[0047] 如圖1所示，ICA 120是傳感器陣列110和ISP 130外部的專用1C。然而，在其它實施 例中，ICA 120以及傳感器陣列110和ISP 130中的一個或者多個可以被實施為單個部件。例 如，圖2圖示了包括傳感器陣列110和ICA 120的圖像傳感器芯片200,圖像傳感器芯片200將 圖像數據輸出到ISP 130或者另一外部設備，諸如相機內部或者外部的存儲器或者外部處 理器。相似地，ISP 130可以將經處理的圖像數據輸出到內部或者外部存儲器、另一處理器 等。圖3圖示了包括ICA 120和ISP 130的圖像處理芯片300。圖像處理芯片300接收來自傳感 器陣列110的原始圖像數據，并且將經處理的圖像數據輸出到例如相機內部或者外部的存 儲器。應該注意，關于圖1描述的ICA 120的部件可以被實施在本文中描述的其它實施例內； 例如，圖2和圖3的實施例可以在處理路徑中包括解復用器121、清除拜耳處理模塊122、預處 理引擎123、壓縮引擎125、以及輸出接口 125中的一個或者多個。
[0048]現在參照圖4,所圖示的是ISP 410的實施例，ISP 410被配置為經由固件以加速方 式處理圖像數據，而不需要專用ICA<JSP 410接收來自圖像傳感器芯片405的所捕獲的圖像 數據，處理所接收的數據，并且將經處理的圖像數據輸出到存儲器420。在圖4的實施例中， ISP 410-般可以以標準模式(例如，當以不需要加速圖像處理的幀速率和分辨率捕獲所接 收的圖像數據時)處理圖像數據，并且可以以加速模式(例如，當需要或者請求加速圖像數 據處理時)處理圖像數據。備選地，ISP 410可以以加速模式處理圖像數據，而無論圖像數據 被捕獲的模式。
[0049]在一個實施例中，ISP 410通過實施以下步驟中的一個或者多個步驟來處理圖像 數據：1)執(zhí)行清除拜耳處理412; 2)繞過去馬賽克處理413; 3)執(zhí)行位深度轉換414; 4)執(zhí)行顏 色空間轉換415;以及5)執(zhí)行圖像數據編碼416。操作412至416中的每個操作都可以通過專 用獨立模塊、通過通用處理模塊、通過硬件、或者任何其它合適的模塊實施。清除拜耳處理 操作412可以包括與由關于圖1描述的清除拜耳處理模塊122所執(zhí)行的那些功能相似的功 能，并且在一個實施例中可以由清除拜耳處理模塊122執(zhí)行。
[0050]在標準處理模式下，ISP 410可以對圖像數據執(zhí)行去馬賽克操作以將圖像數據轉 換為標準格式。然而，在加速處理模式下，在對從圖像傳感器芯片405接收的圖像數據執(zhí)行 清除拜耳處理412之后，標準去馬賽克處理被繞過413以便將圖像數據保持在拜耳顏色空間 或者原生傳感器顏色空間中。繞過413標準去馬賽克處理可以改善ISP 410的圖像處理性 能，因為去馬賽克步驟可以增加在后續(xù)步驟期間處理的數據量。附加的預處理操作也可以 被繞過，例如噪聲減少操作和圖像銳化操作。
[0051 ]在繞過413各種預處理操作之后，ISP 410(在加速模式下操作）可以使用查找表 (LUT)執(zhí)行位深度轉換414。任何合適的LUT可以被用于轉換414圖像數據的位深度，諸如線 性或者非線性域LUT、日志LUT、色調/灰度系數(gamma) LUT等。
[0052] ISP 410接著可以執(zhí)行顏色空間轉換415以將圖像數據轉換為YUV顏色空間的格 式。在一個實施例中，圖像數據被轉換到使用4:2:2比率的YUV空間中，這指示圖像數據亮度 信息以U分量和V分量圖像數據顏色信息的分辨率的兩倍進行存儲，雖然也可以使用其它 YUV比率(諸如4:1:1比率、4:4:4比率等）。
[0053]在一個實施例中，為了執(zhí)行顏色空間轉換415，ISP 410(通過重新設置用于圖像數 據的矢量條目）將圖像數據調配到YUV顏色空間中。特別地，ISP 410可以將圖像數據的像素 位從拜耳顏色空間重新排序到YUV顏色空間中。將圖像數據調配或者重新排序到YUV空間中 可以包含將YUV域的Y分量映射到圖像數據的G拜耳分量、將YUV域的U分量映射到圖像數據 的B拜耳分量、以及將YUV域的V分量映射到圖像數據的R拜耳分量。例如，圖5圖示了拜耳顏 色陣列502到YUV 4:2:2格式504的示例轉換。拜耳顏色陣列502包括紅色子像素 R、藍色子像 素8、以及兩個綠色子像素6[?和68。15?410對像素位重新排序，以形成￥群4 :2:2格式504的 矢量[R Gr B Gb]。備選地，ISP 410可以應用顏色空間變換以將拜耳顏色陣列映射到YUV域。 應該注意，除了本文中所描述的那些之外，可以執(zhí)行其它形式的調配，并且圖像數據可以被 轉換到除了拜耳顏色空間或者YUV顏色空間之外的顏色空間。
[0054] ISP 410使用例如H. 264或者H. 265編碼或者任何其它合適的編碼算法對YUV圖像 數據進行編碼416。經編碼的YUV圖像數據接著可以由ISP 410輸出用于由存儲器420存儲。 在一個實施例中，存儲器420是本地存儲(例如相機內存儲器）。在另一實施例中，存儲器420 是外部存儲器(例如相機外部的計算機中的存儲器）。在后者的實施例中，壓縮引擎可以對 圖像數據編碼以用于傳輸到外部存儲器，例如通過對HDMI格式的YUV圖像數據編碼并且在 HDMI輸出中輸出編碼數據。
[0055]所存儲的編碼YUV圖像數據可以被后處理以撤銷YUV調配。在對所存儲的編碼YUV 圖像數據進行解碼和解壓縮之后，圖像數據可以經由標準圖像處理流水線被處理以將圖像 數據格式化為標準圖像或者視頻格式用于存儲或者顯示。相似于關于圖1描述的實施例，用 于撤銷YUV調配的圖像處理流水線可以位于相機外部，諸如在計算機或者其它移動設備中， 以實現更高水平的圖像處理質量并且減少相機的處理和功率負荷。應該注意，使用圖4的實 施例的方法，有效圖像處理速率可以是標準ISP處理速率的兩倍或者更多倍，并且在圖像處 理中使用的功率量可以減少。
[0056] 經由波長壓縮的圖像捕獲加速
[0057] 圖6圖示了用于圖像捕獲加速的系統(tǒng)的一個實施例。在圖6的實施例中，ICA 120的 壓縮引擎124包括抽取器600和熵編碼器602JCA 120進一步包括分量變換塊603、編碼器 604、存儲器606、以及解碼器608。如上文所述，在備選實施例中，ICA 120可以包括附加的、 更少的、或者不同的部件。
[0058] 分量變換塊603接收來自傳感器陣列110的圖像數據并且將數據變換為適合用于 壓縮的格式。分量變換塊603的一個實施例在圖7中圖示。如圖7所示，分量變換塊603包括四 個線存儲緩沖器702、704、706和708、以及輸出復用器710、715和720。分量變換塊603被配置 為接收原始拜耳圖像數據700,并且將每個像素的四個顏色分量(例如1?、6 1?、68、以及幻同時 輸出到壓縮引擎124。
[0059] 原始圖像數據700被設置在像素陣列中，其中的每個像素具有被分割在兩個數據 線上的四個子像素。為了提供對每個像素的四個子像素(分別對應于像素的四個顏色分量） 的同時訪問，分量變換塊603緩沖包含四個子像素的兩個數據線。在一個實施例中，分量變 換塊603將原始圖像數據700解析到圖像數據線中。在另一實施例中，分量變換塊603順序地 接收原始圖像數據700線。如圖7所示，兩個線存儲緩沖器(例如緩沖器702和704)每個都接 收原始圖像數據700線的一個或者多個子像素。第二對線存儲緩沖器（例如緩沖器706和 708)接收原始圖像數據700的連續(xù)線的兩個或者多個像素。復用器710和715每個都將來自 輸入數據700的每個線的兩個鄰近的子像素組合，并且復用器720將復用器710和715的輸出 組合。復用器720的輸出是原始圖像數據700的每個像素的四個顏色分量。
[0060] 參照圖6,抽取器600和熵編碼器602集體執(zhí)行小波壓縮的一個或者多個實施方式， 例如VC-5。抽取器600經由解復用器121或者分量變換塊603接收來自傳感器陣列110的圖像 數據，并且抽取圖像數據以形成圖像子帶分量。在一些實施例中，抽取器600包括水平高通 濾波器、水平低通濾波器、豎直高通濾波器、以及豎直低通濾波器。圖像數據可以首先使用 水平高通和低通濾波器進行處理，從而產生水平濾波的子帶圖像數據分量。水平濾波的子 帶分量隨后可以使用豎直高通和低通濾波器進行處理，從而產生子帶抽取圖像數據分量。 在其它實施例中，抽取器通過按不同的順序對圖像數據濾波或者通過使用與本文中所描述 的那些不同的濾波器，產生子帶抽取圖像數據分量。
[0061] 抽取器600可以迭代地抽取圖像數據，從而產生間隔尺寸增加的子帶抽取圖像分 量。在一些實施例中，僅某些子帶抽取圖像分量被迭代抽取，例如已經使用水平低通濾波器 和豎直低通濾波器兩者（下文中稱為"低/低子帶分量"）進行了處理的子帶抽取圖像分量。 在這種實施例中，由抽取器600產生的子帶抽取圖像數據分量具有變化的間隔尺寸。
[0062]熵編碼器602對由抽取器600產生的抽取圖像數據執(zhí)行熵編碼以創(chuàng)建編碼圖像數 據。在一些實施例中，抽取圖像數據包括小波系數、表示圖像像素或者其它圖像性質的系數 等。熵編碼器602可以將這些系數量化，可以使用系數查詢一個或者多個色調映射查找表， 并且可以對經量化的系數執(zhí)行熵編碼以創(chuàng)建經熵編碼的圖像數據。
[0063] 在2011 年5 月 23 日提交的題目為"Encoding and Decoding Se 1 ect i vely Retrievable Representations of Video Content"的美國專利申請No. 13/113,950中更 詳細地描述了小波壓縮的一個實施例和實施方式，其內容整體并入于此。
[0064] 圖8圖示了經由小波壓縮的圖像壓縮的實施例。在圖8的實施例中，圖像數據800由 抽取器600訪問。抽取器600使用水平高通濾波器、水平低通濾波器、豎直高通濾波器、以及 豎直低通濾波器將圖像數據800抽取到所產生的抽取圖像數據809以創(chuàng)建子帶分量。在一個 實施例中，抽取器600首先使用水平濾波器處理圖像數據800,從而產生水平高通子帶分量 和水平低通子帶分量。繼續(xù)這一實施例，抽取器600接著使用豎直高通濾波器處理水平高通 子帶分量，從而產生高/高子帶分量802。抽取器600還使用豎直低通濾波器處理水平高通子 帶分量，從而產生高/低子帶分量804。抽取器600接下來使用豎直高通濾波器處理水平低通 子帶分量，從而產生低/高子帶分量806。最后，抽取器600使用豎直低通濾波器處理水平低 通子帶分量，從而產生低/低子帶分量808。
[0065]應該注意，在圖8的實施例中，由水平高通濾波器和水平低通濾波器輸出的水平子 帶分量的高度等于圖像數據800的高度，并且水平子帶分量的寬度等于圖像數據800的寬度 的一半。此外，在圖8的實施例中，子帶分量802、804、806、以及808的寬度和高度分別等于圖 像數據800的寬度和高度的一半。在各種實施例中，低/低子帶分量808包括由圖像數據800 以圖像數據800的分辨率的四分之一表示的圖像。例如，如果圖像數據800是4k圖像(3840像 素乘以2160像素），則低/低子帶分量808可以是1080p圖像(1920像素乘以1080像素）。
[0066]在圖8的實施例中，抽取器600可以進一步在第二抽取迭代中抽取圖像數據，以通 過抽取低/低子帶分量808而創(chuàng)建抽取圖像數據817。在這種實施例中，抽取器600使用如上 文描述的水平高通濾波器、水平低通濾波器、豎直高通濾波器、以及豎直低通濾波器處理 低/低子帶分量808。抽取低/低子帶抽取圖像數據分量808產生第二高/高子帶分量(H/H 810)、第二高-低子帶分量(H/L 812)、第二低-高子帶分量(L/H 814)、以及第二低-低子帶 分量（L/L 816)。在第二抽取迭代時，低/低子帶分量808在抽取圖像數據809中使用H/H 810、H/L 812、L/H 814、以及L/L 816代替，以形成抽取圖像數據817。抽取圖像數據809和抽 取圖像數據817兩者都包括高/高子帶分量802、高/低子帶分量804、以及低/高子帶分量 806 〇
[0067]可以對L/L子帶分量816執(zhí)行第三抽取迭代。還可以對后續(xù)的L/L子帶分量執(zhí)行附 加抽取迭代。L/L子帶分量816包括由圖像數據800以圖像數據800的分辨率的十六分之一表 示的圖像。例如，如果圖像數據800是4k圖像，則L/L子帶分量816可以是960像素乘以540像 素的圖像。
[0068]抽取圖像數據集由熵編碼器602訪問，并且被編碼以形成編碼視頻820。在一個實 施例中，抽取圖像數據809由熵編碼器602編碼。備選地，抽取圖像數據817可以由熵編碼器 602編碼。在一些實施例中，由熵編碼器602編碼的抽取圖像數據集依賴于圖像捕獲系統(tǒng)的 性能或者存儲器需要、用戶選擇的或者默認的圖像捕獲模式、或者基于任何其它合適的準 貝1J。應該注意，在一些實施例中，在使用熵編碼器602對抽取圖像數據集編碼時，抽取器600 不執(zhí)行其它抽取迭代。
[0069]回到圖6的實施例，壓縮引擎124可以被配置為將抽取圖像數據分量輸出到ISP 130。例如，壓縮引擎124可以輸出低/低子帶抽取圖像數據分量，諸如分量808或者分量816。 如上文所述，低/低子帶抽取圖像數據分量是由從傳感器陣列110接收的圖像數據表示的圖 像的較低分辨率的版本。因此，通過輸出由壓縮引擎124執(zhí)行的小波壓縮的較低分辨率圖像 副產物，ISP 130可以訪問較低分辨率的圖像數據而不需要由壓縮引擎124執(zhí)行附加的處 理。應該注意，壓縮124可以在對子帶分量執(zhí)行熵編碼之前或者之后將該子帶分量輸出到 ISP 130〇
[0070]在圖6的實施例中，ISP 130包括至少兩個輸入:輸入1和輸入2JSP 130被配置為 在輸入1處經由解復用器121接收來自傳感器陣列110的全分辨率圖像數據（例如，當ICA 120處于標準模式時KISP 130被配置為在輸入2處接收來自壓縮引擎124的處于比全分辨 率圖像數據更低的分辨率的圖像數據(下文中為"較低分辨率圖像數據"），諸如一個或者多 個圖像子帶分量。在一些實施例中，ISP 130接收來自壓縮引擎124的低/低子帶分量、和/或 附加子帶分量。在一些實施例中，ISP 130使用相同的處理部件處理在輸入1和輸入2處接收 的圖像數據。備選地，ISP 130可以使用分立的專用處理部件處理在輸入1處接收的全分辨 率圖像數據和在輸入2處接收的較低分辨率圖像數據。
[0071] ISP 130可以對在輸入2處接收的較低分辨率圖像數據執(zhí)行各種處理操作。在一個 實施例中，ISP 130可以將較低分辨率圖像數據編碼用于作為預覽圖像顯示在例如相機顯 示器或者智能設備上。通過將較低分辨率圖像數據編碼用于作為預覽圖像顯示，用戶可以 基于查看預覽圖像執(zhí)行若干操作，而不需要ISP 130消耗需要用于編碼全分辨率圖像的功 率和資源。例如，響應于查看預覽圖像，用戶可以調節(jié)用于后續(xù)圖像捕獲的相機設置，可以 識別用于在編碼全分辨率圖像中使用的一個或者多個圖像編碼選項，或者可以在編碼全分 辨率圖像之前將圖像刪除。
[0072] ISP 130可以傳輸所接收的較低分辨率圖像數據。各種形式的數據傳輸(例如無線 傳輸)可以與有限的傳輸帶寬關聯或者受到有限的傳輸帶寬。圖像數據分辨率一般與圖像 數據量/尺寸成比例。因此，通過傳輸較低分辨率圖像數據，ISP 130可以更好地滿足傳輸帶 寬限制。在一些實施例中，對于在加速模式下捕獲的圖像數據，圖像數據的較低分辨率版本 被提供到ISP 130并且被無線廣播(例如向計算設備），而圖像數據的高分辨率版本被存儲， 直到相機物理耦合到計算設備。
[0073] ISP 130可以被配置為接收多個子帶分量，并且可以基于所接收的子帶分量的重 要性對傳輸帶寬進行優(yōu)先化。例如，ISP 130可以被配置為優(yōu)先考慮低/低子帶分量，使得 低/低子帶分量首先被傳輸，而僅如果附加的傳輸帶寬可用，才傳輸其它子帶分量。在這種 實施例中，ISP 130可以通過在有限的帶寬環(huán)境下優(yōu)先考慮最能表示全分辨率圖像數據的 子帶分量，優(yōu)化所傳輸圖像數據的質量。在一些實施例中，ISP 130接收變化的抽取間隔尺 寸的多個低/低子帶分量，并且基于低/低子帶分量的間隔尺寸和檢測到的可用帶寬從低/ 低子帶分量集中選擇低/低子帶分量。
[0074]在一些實施例中，ISP 130在輸入2處接收較低分辨率圖像數據，分析較低分辨率 圖像數據，并且基于分析調節(jié)各種圖像捕獲設置。例如，ISP 130可以分析較低分辨率圖像 數據，并且可以調節(jié)相機的自動曝光設置，從而改變傳感器陣列110的曝光時間和設置。ISP 130可以調節(jié)由ICA 120處理的全分辨率圖像數據中的白平衡水平，或者可以基于對較低分 辨率圖像數據的白色水平分析，在圖像捕獲期間調節(jié)自動白平衡水平。ISP 130可以基于較 低分辨率圖像數據中的所確定的聚焦水平，調節(jié)相機鏡頭的自動聚焦設置。ISP 130可以基 于對從ICA 120接收的較低分辨率圖像數據的分析，調節(jié)任何合適的相機設置。
[0075]應該注意，在一些實施例中，壓縮引擎124將其它抽取圖像數據分量(諸如高/高子 帶抽取圖像數據分量)輸出到ISP 130,并且可以基于對這些其它抽取圖像數據分量的分 析，調節(jié)一個或者多個圖像捕獲設置(諸如自動聚焦）。在一些實施例中，ISP 130接收與連 續(xù)圖像幀關聯的高/高和低/低子帶抽取圖像數據分量，并且通過將高/高子帶分量和低/低 子帶分量的各種性質之間的比率最大化，來優(yōu)化自動聚焦。相似地，ISP 130可以基于高/高 和低/低子帶分量來估算所捕獲的圖像數據的銳度，并且可以基于所估算的銳度來調節(jié)相 機設置。
[0076]在其中ISP 130與被配置為捕獲相同或者相似視場的多個相機關聯的實施例中， ISP 130可以使用低/低子帶抽取圖像數據分量將多個相機的視場對準。在這種實施例中， ISP 130可以接收來自每個相機的低/低子帶抽取圖像數據分量，可以嘗試將子帶分量對準 (例如，使用對準算法），并且可以基于所嘗試的子帶分量的對準來調節(jié)相機的視場。
[0077] ISP 130可以被配置為當在輸入1處經由解復用器接收來自傳感器陣列110的原始 圖像數據時(例如，當圖像在標準模式下被捕獲時），處理并且輸出或者存儲全分辨率圖像 數據，例如4k分辨率圖像數據。相似地，ISP 130可以被配置為當在輸入2處接收來自壓縮引 擎124的抽取圖像數據時(例如，當圖像在加速模式下被捕獲時），處理并且輸出或者存儲更 低分辨率的圖像數據，例如1080p分辨率圖像數據。
[0078] 圖6的實施例包括編碼器604,編碼器604被配置為對諸如從傳感器陣列110接收的 圖像數據或者從壓縮引擎124接收的抽取圖像數據之類的圖像數據進行編碼。編碼器604是 被配置為使用一個或者多個編碼算法或者方法對圖像數據進行編碼的編碼器。如本文中描 述那樣，編碼器604使用Η. 264編碼算法對圖像數據進行編碼，但是應該知道，在其它實施例 中，編碼器604可以實施任何其它合適的圖像或者視頻編碼算法。
[0079] 存儲器606被配置為永久地或者暫時地存儲圖像數據。例如，壓縮引擎124可以在 抽取迭代之間，或者在抽取和/或通過熵編碼器602的編碼之后，將圖像數據存儲在存儲器 606中。在一些實施例中，編碼圖像數據在經由輸出接口 125被輸出到外部存儲模塊之前被 存儲在存儲器606處。在一些實施例中，存儲在ICA 120外部的圖像數據經由輸出接口 125被 取回，并且被存儲在存儲器606中用于通過ICA 120的后續(xù)編碼和/或解碼。
[0080] 存儲器606可以被用于編碼操作（例如，通過壓縮引擎124或者編碼器604)和解碼 操作(例如，通過如下文描述那樣的解碼器608)兩者。典型的系統(tǒng)需要分立的存儲器用于編 碼和解碼操作。然而，通過利用復用器和解復用器，單個存儲器606可以被用于編碼和解碼 兩者（雖然不是同時地）。例如，在編碼模式下，復用器可以將存儲器讀/寫和控制線耦合到 壓縮引擎124或者編碼器604,并且在解碼模式下，復用器可以將存儲器讀/寫和控制線耦合 到解碼器608。通過利用用于編碼和解碼兩者的單個存儲器，存儲器成本可以被減少，ICA占 地面積可以被減少，功率消耗和輸入/輸出線可以被減少等。在這種實施例中，壓縮引擎 124、編碼器604、和/或解碼器608可以在編碼和解碼操作之前、期間、或者之后將圖像數據 存儲在存儲器606中。
[0081] 解碼器608被配置為對編碼圖像數據進行解碼。在一些實施例中，ICA 120對原始 圖像數據進行編碼并且將圖像數據存儲在ICA 120外部的存儲模塊處。在這種實施例中， ICA 120隨后可以取回編碼數據，可以使用解碼器608對編碼數據進行解碼以創(chuàng)建最初的原 始圖像數據，并且可以將原始圖像數據輸出到ISP 130。例如，當相機在使用中時，ICA 120 可以以加速捕獲模式對數據進行處理和編碼，并且當相機不再處于使用中時，ICA 120可以 對編碼數據進行解碼并且將最初的原始數據輸出到ISP 130。這種實施例可以通過存儲所 捕獲的圖像數據而不將所捕獲的圖像數據完全處理成可查看格式，有益地允許相機以通常 禁止的幀速率和分辨率捕獲圖像數據，并且當相機不再處于使用中并且受到圖像捕獲速率 瓶頸時，允許相機隨后將所捕獲的圖像數據完全處理成可查看格式。
[0082]在一些實施例中，由編碼器604執(zhí)行的Η.264編碼比由壓縮引擎124執(zhí)行的小波壓 縮時間效率更高，但是產生比小波壓縮更大量的壓縮圖像數據。同樣地，在一些實施例中， 由壓縮引擎124執(zhí)行的小波壓縮產生比Η. 264編碼更小量的壓縮圖像數據，但是效率更低。 因此，一些使用情形可能要求Η.264的效率和小波壓縮的編碼數據量大小。
[0083]圖9圖示了通過組合多個圖像壓縮技術的圖像壓縮的實施例。圖9的壓縮引擎124 包括將圖像數據抽取為高/高子帶分量900、高/低子帶分量902、低/高子帶分量904、以及 低/低子帶分量906的抽取器600。抽取器600將高/高子帶分量900、高/低子帶分量902、以及 低-尚子帶分量904輸出到熵編碼器602。熵編碼器602對這些子帶分量執(zhí)行熵編碼，并且將 經熵編碼的分量輸出到連結模塊912。應該注意，雖然未在圖6中圖示，ICA 120可以包括連 結模塊912,或者連結模塊912的功能可以被實施在ICA 120的任何其它部件內。
[0084] 在圖9的實施例中，抽取器600還將低/低子帶分量906輸出到Η.264編碼器910。在 一些實施例中，Η. 264編碼器910被實施在圖6的編碼器604內。Η. 264編碼器910對低/低子帶 分量906進行編碼，并且將經Η. 264編碼的分量輸出到連結模塊912。連結模塊912將熵編碼 分量和Η. 264編碼分量組合以創(chuàng)建組合的編碼圖像數據，并且將該組合的編碼圖像數據輸 出用于存儲在例如存儲器606中。在四個子帶分量中，低/低子帶分量906可以包括最大量的 圖像數據，使得低/低子帶分量理想地適合于Η. 264編碼的效率。同樣地，高/高子帶分量 900、高/低子帶分量902、以及低/高子帶分量904可以包括相比之下較少的圖像數據，使得 這些分量理想地適合于小波壓縮的所產生的編碼圖像數據量益處。
[0085]在一些實施例中，在ICA 120處接收的圖像數據首先由編碼器604處理，并且接著 隨后全部或者部分地由壓縮引擎124處理。圖10圖示了通過組合多個圖像壓縮技術的圖像 壓縮的備選實施例。在圖10的實施例中，原始圖像數據1000由Η. 264編碼器1002訪問。如在 本領域中已知那樣，Η. 264編碼器1002將原始圖像數據編碼為包括I-幀、Β-幀、以及Ρ-幀的 編碼圖像數據。編碼圖像數據在幀解析器1004處被接收。幀解析器1004將I-幀1006輸出到 VC-5編碼器1010,并且將Β-幀和Ρ-幀1008輸出到連結模塊1012。在一些實施例中，VC-5編碼 器1010被實施在壓縮引擎124內。在其它實施例中，替代VC-5編碼，實施了未在本文中進一 步討論的其它形式的編碼。
[0086] VC-5編碼器1010對I-幀進行編碼，并且將編碼的I-幀輸出到連結模塊1012。如上 文所述，小波編碼（雖然通常比Η. 264編碼效率更低)產生更小量的編碼圖像數據。因此，通 過使用VC-5編碼器1010對I-幀進行編碼，編碼圖像數據的量可以比經Η.264編碼的數據小 得多。連結模塊1012將編碼的I-幀與Β-和Ρ-幀1008組合以形成壓縮圖像數據1014。壓縮圖 像數據1014隨后可以被存儲在存儲器606中。
[0087]本文中描述的編碼圖像數據可以不被編碼成可查看/可顯示格式。例如，已經使用 Η. 264編碼進行部分編碼并且使用小波壓縮進行部分編碼的圖像數據在顯示之前必須被解 碼并且被編碼成可查看格式。在這種實施例中，解碼器608可以被配置為基于對圖像數據編 碼所使用的編碼類型對編碼圖像數據進行解碼。例如，如果原始圖像數據的第一部分使用 小波壓縮被編碼，第二部分使用Η. 264編碼被編碼，并且兩個部分被連結，則解碼器608可以 被配置為將編碼數據的部分分離，使用小波解壓縮對第一部分解碼，使用Η. 264解碼對第二 部分解碼，并且將經解碼的第一和第二部分組合以形成最初的原始圖像數據。
[0088]圖11圖示了被配置為輸出壓縮的打包的圖像數據的熵編碼器602的實施例。在圖 11圖示的實施例中，熵編碼器包括位打包器1110,位打包器用于接收編碼圖像數據1105并 且生成用于由存儲器606或者外部存儲器存儲的圖像數據文件1115。在圖像捕獲加速器120 的各種實施例中，輸入到位打包器1110的編碼圖像數據1105可以包括通過小波壓縮、 H. 264、或者各種其它壓縮技術編碼的數據。
[0089] 在圖12中示出了圖示位打包器1110的實施例的框圖。在一個實施例中，位打包器 1110被配置為并行地處理編碼圖像數據的子帶。位打包器1110包括位打包邏輯塊1210、當 前通道位打包狀態(tài)寄存器1220、以及多個位打包狀態(tài)寄存器1230。在一個實施例中，針對到 位打包器1110的每個顏色通道輸入，位打包器1110包括一個位打包狀態(tài)寄存器1230。每個 位打包狀態(tài)寄存器1220、1230包括計數（指示由狀態(tài)寄存器存儲的位的數目）和移位寄存 器。
[0090] 位打包邏輯塊1210接收輸入數據、位數目、輸入啟用標志、通道識別符、通道開始 標志、通道結束標志、以及代碼塊結束標志。當輸入啟用被確立時，位打包邏輯塊1210基于 傳入位數目信號確定要連結的輸入數據的位數目，并且將輸入數據的對應數目的位與當前 通道位打包狀態(tài)寄存器1220的移位寄存器位連結。位打包邏輯塊1210將由當前通道位打包 狀態(tài)寄存器1220存儲的位的計數遞增傳入位數目。當由當前通道位打包狀態(tài)寄存器1220存 儲的數據的位的數目達到輸出數據總線1240的寬度時，位打包邏輯塊1210確立輸出啟用， 其指示新打包的字可用于輸出（例如到存儲器606)。在經由輸出數據總線1240輸出了新打 包的字之后，位打包邏輯塊1210減少當前通道位打包狀態(tài)寄存器1220的計數，并且將當前 通道位打包狀態(tài)寄存器1220的移位寄存器位移位到零偏移狀態(tài)。
[0091] 通道開始標志指示輸入通道處的活躍數據的開始。當通道開始標志被確立時，位 打包邏輯塊1210對通道識別符信號采樣并且將其存儲，并且將與由通道識別符信號識別的 通道關聯的位打包狀態(tài)寄存器1230的內容讀取到當前通道位打包狀態(tài)寄存器1220中。位打 包邏輯塊1210基于存儲位數目信號（指示存儲在位打包狀態(tài)寄存器1230中的位的數目）和 傳入位數目信號，確定要連結的位數目，并且將傳入位與當前通道位打包狀態(tài)寄存器1220 中的位連結。如果由當前通道位打包狀態(tài)寄存器1220存儲的位的數目達到輸出數據總線 1240的寬度，位打包邏輯塊1210確立輸出啟用。當通道結束被確立時，如果由當前通道位打 包狀態(tài)寄存器1220存儲的位的數目小于輸出數據總線1240的寬度，則當前通道位打包狀態(tài) 寄存器1220的內容被拷貝到對應于由所存儲的通道識別符識別的通道的位打包狀態(tài)寄存 器1230。因此，位打包狀態(tài)寄存器1230存儲來自相應的輸入通道的位，直到它們與傳入位連 結并且經由輸出數據總線1240被輸出。最后，當代碼塊結束標志被確立時，位打包邏輯塊 1210將任何剩余位從當前通道位打包寄存器1220清除，并且清除對應于所存儲的通道識別 符的位打包寄存器1230的內容。
[0092] 在一個實施例中，位打包邏輯塊1210接收單個通道活躍信號，而不是接收通道開 始標志和通道結束標志兩者。在通道活躍信號的上升沿，位打包邏輯塊1210對通道識別符 信號采樣并且將其存儲。在通道活躍信號的下降沿，位打包邏輯塊1210將當前通道位打包 狀態(tài)寄存器1220的內容拷貝到對應于所存儲的通道識別符的位打包狀態(tài)寄存器1230。在一 個實施例中，位打包邏輯塊1210在通道活躍信號的下降沿處生成代碼塊結束標志。
[0093] 在一個實施例中，壓縮小波子帶被寫入到幀緩沖器，壓縮小波子帶被存儲在幀緩 沖器用于進一步處理或者傳輸。圖13A至圖13B圖示了用于將小波子帶存儲在幀緩沖器中的 直接存儲器訪問（DMA)引擎1300。在一個實施例中，如圖13A所圖示，DMA引擎1300包括小波 壓縮引擎1310、嵌入式存儲器1320、以及小波解壓縮引擎1330。小波壓縮引擎1310接收來自 視頻源1305(例如解復用器121)的小波子帶并且將該子帶壓縮。例如，小波壓縮引擎1310可 以包括如本文中關于各種實施例描述的壓縮引擎124。在每個壓縮子帶生成時，小波壓縮引 擎1310在每個數據包之前插入報頭，從而指示子帶的子帶編號和通道編號、以及壓縮數據 包的長度。
[0094] 在圖13A所圖示的DMA引擎1300的實施例中，小波壓縮引擎1310將壓縮子帶寫入到 存儲幀緩沖器1325的嵌入式存儲器1320。在圖13B所圖示的實施例中，小波壓縮引擎1310將 壓縮的子帶發(fā)送到存儲器控制器1350用于寫入到存儲幀緩沖器1365的外部存儲器1360。每 個視頻幀的壓縮子帶被無間隙地寫入到幀緩沖器1325或者1365,并且存儲器1320或者1360 保持識別視頻數據的每個幀的開始地址的表。
[0095] 在一個實施例中，為了改善對壓縮子帶的隨后解碼的效率，小波壓縮引擎1310針 對視頻數據的每一行將壓縮子帶按照從最低階子帶到最高階子帶的順序寫入到存儲器 1320或者1360。例如，如果小波壓縮引擎1310通過VC-5壓縮將輸入視頻數據壓縮，并且生成 低-低、低-高、高-低、以及高-高子帶，則小波壓縮引擎1310可以將低-低子帶寫入到幀緩沖 器1325或者1365,之后是低-高子帶、高-低子帶、以及高-高子帶。
[0096]小波解壓縮引擎1330將存儲在幀緩沖器1325或者1365中的子帶解壓縮并且將解 壓縮的子帶傳遞到視頻匯集1340。例如，小波解壓縮引擎1330可以包括如關于各種實施例 描述的解碼器608,并且可以將解壓縮的圖像數據輸出到ISP 130用于處理。在一個實施例 中，小波解壓縮引擎1330以比圖像數據被捕獲的速率慢的速率解壓縮子帶。例如，如果圖像 傳感器110以120幀每秒捕獲視頻數據，則視頻幀以120幀每秒的速率被寫入到幀緩沖器 1325或者1365。如果ISP 130被配置為以30幀每秒的最大值處理視頻幀，則小波解壓縮引擎 1330解壓縮每四幀中的一個幀，并且將解壓縮的幀發(fā)送到ISP 130。
[0097]圖像捕獲加速器120的一個實施例對圖像數據執(zhí)行運動檢測和估算。圖14圖示了 用于使用抽取圖像數據的運動檢測和估算的系統(tǒng)的實施例。在圖14的實施例中，系統(tǒng)包括 運動檢測電路1410和運動估算電路1420。在各種實施例中，運動檢測電路1410和運動估算 電路1420是ICA 120、ISP 130的部件，或者相機系統(tǒng)的其它部件。
[0098] ICA 120的抽取器600將抽取圖像數據輸出到運動檢測電路1410和運動估算電路 1420。例如，如圖14所不，抽取器600將低-低子帶分量、低-尚子帶分量、以及尚-低子帶分量 輸出到運動檢測電路1410。高-高子帶分量被輸出到運動估算電路1420。然而，抽取器600可 以將附加子帶輸出到運動檢測電路1410和運動估算電路1420。例如，存儲器600可以進一步 抽取低-低子帶分量并且將得到的抽取分量輸出到運動檢測電路1410和/或運動估算電路 1420。
[0099] 如上文所描述那樣，由抽取器600生成的低-低子帶分量表示處于輸入到抽取器 600的圖像數據的四分之一分辨率的抽取圖像。因此，對于輸入到抽取器600的圖像數據幀， 第一低-低子帶分量表示處于該幀的四分之一分辨率的幀。第二低-低子帶分量(通過進一 步抽取第一低-低子帶分量生成)表示處于該幀的十六分之一分辨率的幀。相比之下，高-高 子帶分量通過對圖像數據執(zhí)行水平和豎直高通濾波兩者來生成。因此，高-高子帶分量包含 抽取圖像的邊緣數據。
[0100] 運動檢測電路1410使用視頻幀的低-低子帶分量生成運動映射1415。運動映射 1415識別兩個視頻幀之間的運動區(qū)域。例如，運動映射1415是針對幀的塊或者像素的二進 制值集，其識別該塊或者像素是否在當前幀和后續(xù)或者之前的幀之間移動。為了生成兩個 視頻幀之間的運動映射1415,運動檢測電路1410以兩個或者多個分辨率檢驗幀的圖像分 量。在一個實施例中，運動檢測電路1410接收來自抽取器600的針對每個幀的至少兩個低-低子帶分量。例如，運動檢測電路1410針對每個幀接收以四分之一分辨率表不該幀的第一 低-低子帶分量，和以十六分之一分辨率表示該幀的第二低-低子帶分量。運動檢測電路 1410使用最低分辨率的分量識別幀中的運動區(qū)域。例如，運動檢測電路1410識別在視頻幀 之間呈現運動的最低分辨率圖像數據的像素或者塊。
[0101] 如果在幀的區(qū)域中識別到運動，則運動檢測電路1410使用更高分辨率的分量以便 更精確地識別幀中的運動區(qū)域。對于被確定為具有運動的最低分辨率圖像數據的每個區(qū) 域，運動檢測電路1410識別呈現運動的更高分辨率的幀的像素或者塊。為了進一步細化運 動檢測，運動檢測電路1410可以以甚至更高的分辨率檢驗幀的分量。在每次迭代中，運動檢 測電路1410檢測來自被確定為具有運動的較低分辨率的幀的區(qū)域的塊或者像素中的運動。 因此，運動檢測電路1410不針對運動搜索整個更高分辨率的幀。運動檢測電路1410可以選 擇要檢驗的分辨率水平的數目，以實現針對各種應用的運動檢測的期望精確度。
[0102] 作為示例，運動檢測電路1410接收圖15所示的已經被抽取兩次的圖像數據1500。 運動檢測電路1410使用低-低子帶分量1516識別運動區(qū)域。對于子帶分量1516中的每個被 識別的運動區(qū)域，運動檢測電路1410分析低/低子帶分量1508(8卩，抽取圖像的更高分辨率 表示）以更精確地識別圖像中的運動區(qū)域。運動檢測電路1410接著可以使用全分辨率圖像 數據1500進一步細化運動檢測。運動檢測電路1410輸出針對圖像數據1500的運動映射，從 而識別被確定為呈現運動的圖像數據的塊或者像素。
[0103] 對于視頻幀對，運動估算電路1420接收來自運動檢測電路1410的運動映射1415和 該對中的一個或者兩個幀的高-高子帶分量。使用運動映射1415和高-高子帶分量，運動估 算電路1420生成用于幀間或幀內預測的運動矢量1425。通過使用高-高子帶分量生成運動 矢量1425,運動估算電路1420基于幀中的邊緣數據而非整個幀來確定運動矢量1425。因此， 運動估算電路1420使用比基于全分辨率圖像數據的整個幀生成運動矢量所需要的更少的 處理時間和功率生成運動矢量1425。此外，運動估算電路1420以比通過分析整個幀將提供 的更高的準確度預測運動矢量1425。因此，為了準確的視頻重構，需要編碼更少的錯誤。
[0104] 圖像捕獲加速器120可以針對各種不同應用使用運動映射1415和運動矢量1425。 圖像捕獲加速器120的一個實施例使用對抽取圖像數據執(zhí)行的運動檢測和估算來生成不同 的幀以對圖像或者視頻數據進行編碼。例如，圖像捕獲加速器120的一個實施例使用運動矢 量1425生成用于幀內預測的不同幀。
[0105] 在另一示例應用中，圖像捕獲加速器120的一個實施例使用估算的運動執(zhí)行電子 圖像穩(wěn)定化。圖16圖示了由圖像捕獲加速器120執(zhí)行的電子圖像穩(wěn)定化的示例。在相機系統(tǒng) 的用戶捕獲視頻時，傳感器陣列110捕獲圖像數據的幀。圖16中所示的讀取窗口 1602對應于 由傳感器陣列110捕獲的圖像數據的全窗口，而保持窗口 1604的圖像數據被存儲為視頻幀。 如果用戶在捕獲視頻的同時少量地移動相機，則讀取窗口 1602中的對象1606的相對位置改 變。一般地，圖像捕獲加速器120通過確定保持窗口 1604相對于讀取窗口 1602的位置，執(zhí)行 電子圖像穩(wěn)定化，以保持對象1606在每個視頻幀中的相同相對位置。
[0106] 不是使用來自外部傳感器(諸如陀螺儀）的輸入或者對全分辨率圖像數據執(zhí)行計 算密集型運動補償以確定保持窗口 1604的位置，圖像捕獲加速器120可以使用通過分析比 輸入視頻低的分辨率的圖像數據檢測到的運動。具體而言，圖像捕獲加速器120基于運動矢 量1425在幀與幀之間調節(jié)保持窗口 1604的位置。圖像捕獲加速器120使用運動映射1415和/ 或運動矢量1425識別從一個讀取窗口 1602到下一讀取窗口的全局運動的方向和幅度。圖像 捕獲加速器120接著在全局運動的相反方向上移動保持窗口 1604,從而有效地消除讀取窗 口 1602中的運動。
[0107] 在對抽取圖像數據執(zhí)行的運動檢測和估算的又一示例應用中，圖像捕獲加速器 120的一個實施例使用檢測到的運動執(zhí)行運動補償時域濾波(MCTFhMCTF在壓縮視頻之前 補償跨視頻幀的時域噪聲以改善壓縮效率。為了執(zhí)行MCTF，圖像捕獲加速器120使用運動矢 量1425確定跨視頻幀的哪些改變是運動的結果以及哪些改變是時域噪聲的結果，并且過濾 掉其是時域噪聲的結果的改變。
[0108] 運動檢測和估算的其它示例應用包括運動追蹤和測距。例如，圖像捕獲加速器120 使用低-低子帶分量追蹤物體移動，并且使用高-高子帶分量計算物體的移動。在一些實施 例中，抽取分量(諸如低-低子帶分量)可以被用于識別或者辨識幀內的臉部或者物體(例 如，通過對抽取分量執(zhí)行臉部檢測或者物體辨識算法），并且可以使用其它抽取分量(諸如 高-高子帶分量)計算幀之間的臉部或者物體的移動。
[0109] 圖像捕獲加速器120和/或抽取圖像數據的各種應用依賴于從存儲快速取回特定 子帶。例如，如上文所述，圖像捕獲加速器120的一個實施例使用圖像數據的所選擇的子帶 分量來檢測和估算運動。作為另一示例，圖像捕獲加速器120的一個實施例將視頻幀的子集 (例如，每四幀中的一個幀)發(fā)送到ISP 130用于處理。在又一示例中，圖像捕獲加速器120的 一個實施例將所選擇的子帶分量(例如低-低子帶分量)傳輸到外部設備用于視頻預覽。為 了使得能夠取回任何期望的子帶分量，壓縮引擎124的一個實施例被配置為存儲對由抽取 器600生成的每個子帶分量在存儲中的位置的引用。在一個實施例中，壓縮引擎124在存儲 子帶之前生成用于每個子帶的報頭。例如，報頭識別從其生成子帶的幀、幀的分量(例如，其 是否是低-低子帶分量、高-高子帶分量等）、以及所存儲的數據包的長度。當子帶從存儲被 取回時，圖像捕獲加速器120使用報頭識別子帶。在另一實施例中，壓縮引擎124存儲識別每 個子帶在存儲中的位置的文件指針。
[0110] 通過生成和存儲對每個子帶在存儲中的位置的引用，壓縮引擎124使得能夠取回 圖像數據的任何子帶。因此，壓縮引擎124可以在子帶生成時將子帶寫入到存儲，而非將每 個子帶存儲為獨有文件或者緩沖針對每個幀的子帶以及將幀的圖像數據存儲在連續(xù)塊中。
[0111] 如上文所述，圖像捕獲加速器120包括被配置為對抽取圖像數據編碼并且生成編 碼視頻的熵編碼器602。為了改善處理時間，圖像捕獲加速器120的一個實施例包括并行操 作以對圖像編碼的多個熵編碼器602。圖17圖示了具有兩個熵編碼器602A和602B的ICA 120 的實施例，每個熵編碼器編碼由抽取器600輸出的抽取圖像數據的一部分。ICA 120的其它 實施例可以包括附加編碼器。
[0112]抽取器600抽取原始圖像數據1700并且將抽取圖像數據1702輸出到熵編碼器602A 和602B。抽取器600可以通過以下將圖像幀分割成多個子幀:將幀豎直分割成兩個不相等的 區(qū)段、將幀水平分割成兩個不相等的區(qū)段、將幀豎直或者水平分割成多于兩個的豎直區(qū)段、 或者將幀既豎直又水平地分割成各種寬度和高度的一系列長方形。熵編碼器602A和602B每 個接收圖像區(qū)段中的一個或者多個圖像區(qū)段以用于編碼。例如，熵編碼器602A對視頻數據 的每個幀的左半部分進行編碼，而熵編碼器602B對每個幀的右半部分進行編碼。通過各自 編碼每個視頻幀的一部分，在ICA 120的這一實施例中并行操作的多個熵編碼器602減少了 用于對視頻進行編碼的處理時間。
[0113]抽取器600向每個熵編碼器602發(fā)送除了每個子幀的邊緣之外的額外像素值。例 如，抽取器600將3840x 2160分辨率的圖像豎直分成兩個子幀，每個子幀具有1920x 2160個 像素，并且向每個熵編碼器602發(fā)送除了兩個子幀之間的邊界之外的額外兩個像素。即，每 個熵編碼器602接收具有1922x 2160個像素的圖像數據。因此，抽取圖像數據1702的一部分 被發(fā)送到多個熵編碼器602。抽取器600還可以向每個熵編碼器602傳遞相對于整個幀的子 幀的位置的識別符。
[0114] 熵編碼器602對從抽取器600接收的子幀進行編碼。在一個實施例中，熵編碼器602 對抽取圖像數據1702的相應部分執(zhí)行VC-5編碼。一般地，熵編碼器602將邊界公式和內部公 式應用于抽取圖像數據1702以生成編碼圖像數據。邊界公式被應用于幀的頂部、底部、左 偵I以及右側中的每個上的一個像素寬的邊界，并且內部公式被應用于幀的其它像素。例 如，熵編碼器602的一個實施例在圖像數據的行的左側列或者圖像數據的列的頂部行處應 用以下小波變換公式：
[0115] Ho = ash(5X〇-llXi+4X2+4X3-X4-X5+4,3) (1)
[0116] 在圖像數據的行的右側列或者圖像數據的列的底部行處，熵編碼器602的一個實 施例應用以下小波變換公式：
[0117] Hn/2-1 = ash(5Xn-rllXn-2+4Xn-3+4Xn-4-Xn-5-Xn-6+4,3) (2)
[0118] 最后，由熵編碼器602的一個實施例向行或者列的內部中的圖像數據應用的內部 小波變換公式如下：
[0119]
[UUU」 如呆圖傢數據骰分割成多個于幟開i田網個現有多個煱綱媽器602開仃處埋，貝lj 熵編碼器602將內部公式(方程3)應用于子幀之間的邊界，使得沿著邊界產生與如果圖像作 為單個幀被編碼將產生的相同的小波變換值。每個熵編碼器602使用除了子幀的邊緣之外 的額外像素值，以使用內部小波變換公式對邊界處的圖像數據進行編碼。熵編碼器602因此 針對幀集體生成與如果圖像作為單個幀被編碼將生成的相同數目的小波系數。此外，熵編 碼器602僅針對對應于整個幀的邊界的子幀邊界實現邊界公式(方程1和方程2)。因此，如果 幀既被水平分割又被豎直分割三次或者更多次，則一些熵編碼器602可以不使用邊界公式 對其相應的子幀進行編碼。
[0121] 圖18a圖示了圖像捕獲加速器存儲器共享架構的第一實施例。在圖18a的實施例 中，ICA 1810接收圖像數據1805,并且將圖像數據1805提供到ISP 1820,將圖像數據1805存 儲在通信耦合到ICA 1810的存儲器1830中，或者處理圖像數據1805。經處理的圖像數據隨 后可以被輸出到ISP 1820或者存儲在存儲器1830中。
[0122] 在圖18a的實施例中，存儲在存儲器1830處的圖像數據1805或者經處理圖像數據 經由ICA 1810由ISP 1820訪問。在這種實施例中，ICA 1810和存儲器1830之間的數據總線 可以具有比ISP 1820和存儲器1830之間的數據總線更高的帶寬。相似地，ICA 1810的I/O控 制器可以比ISP 1820的I/O控制器更快。在這種實施例中，ICA 1810可以接收圖像數據1805 并且可以以第一數據速率將所接收的圖像數據1805寫入到存儲器1830,并且ICA 1810可以 訪問存儲在存儲器1830處的圖像數據(所接收的圖像數據1805或者由ICA 1810處理的圖像 數據）并且可以以比第一數據速率慢的第二數據速率將所訪問的圖像數據輸出到ISP 1820。這種實施例允許相機系統(tǒng)以比ISP 1820的處理速率更快的速率捕獲圖像數據。
[0123] 圖18b圖示了圖像捕獲加速器存儲器共享架構的第二實施例。在圖18b的實施例 中，ICA 1860可以接收圖像數據1855,并且可以經由復用器1880將所接收的圖像數據1855 提供到ISP 1870或者存儲器189(ΚΙ5Ρ 1870可以接收來自ICA 1860的圖像數據，或者可以 經由復用器1880訪問存儲在存儲器1890處的圖像數據。ICA 1860、ISP 1870、或者圖18b中 未圖示的外部控制器可以選擇復用器輸入(并且因此，ICA 1860或者ISP 1870)耦合到復用 器輸出。圖18b的實施例允許ICA 1860接收圖像數據1855并且以第一數據速率將其寫入到 存儲器1890,并且允許ISP 1870以比第一數據速率慢的第二數據速率訪問來自存儲器1890 的圖像數據1855。
[0124] 圖19圖示了具有諸如分辨率和幀速率縮減和分辨率放大之類的芯片上轉碼功能 的圖像捕獲加速器的實施例。ICA 1900包括縮減引擎1910、放大引擎1920、H. 264引擎1930、 以及VC-5引擎1940?？s減引擎1910可以通過輸出抽取視頻的低/低子帶來縮減抽取視頻的 分辨率。例如，對于抽取視頻的低/低子帶，縮減引擎1910可以替代地輸出抽取視頻的低/低 子帶，從而對抽取視頻解碼以便以全分辨率產生視頻?？s減引擎1910可以通過從抽取視頻 移除幀來縮減抽取視頻的幀速率。例如，縮減引擎1910可以通過輸出每隔一個視頻幀的低/ 低子帶，將4k分辨率240fps視頻縮減成1080p分辨率120fps視頻。
[0125] 放大引擎1920可以使用被編碼為H. 264視頻的低/低子帶并且使用被編碼為VC-5 視頻的高/低、低/高、以及高/高子帶放大抽取視頻的分辨率。在這種實施例中，低/低子帶 包括4個顏色通道，每個顏色通道被編碼為Η. 264視頻。為了放大這種視頻的分辨率，放大引 擎1920使用Η.264引擎1930對低/低子帶的顏色通道進行解碼，并且將解碼顏色通道組合到 拜耳顏色空間中。放大引擎1920使用VC-5引擎1940對對應的高/低、低/高、以及高/高VC-5 編碼的子帶進行解碼，并且將解碼的低/低子帶與解碼的高/低、低/高、以及高/高子帶組合 以創(chuàng)建分辨率放大的視頻。例如，對于1080ρ分辨率低/低子帶，低/低子帶和對應的高/低、 低/高、以及高/高子帶被解碼并且被組合以創(chuàng)建4k分辨率視頻。
[0126] 附加配置考慮
[0127] 本文中所描述的實施例提供用于加速圖像捕獲系統(tǒng)中的圖像捕獲和存儲的系統(tǒng) 和方法。通過加速圖像捕獲和存儲，圖像捕獲系統(tǒng)可以以高幀速率和分辨率捕獲圖像或者 視頻，因為圖像捕獲系統(tǒng)不受圖像信號處理器的能力限制。此外，加速捕獲和存儲可以減少 圖像捕獲系統(tǒng)的功率消耗，從而改善包括加速圖像捕獲系統(tǒng)的相機的電池壽命。
[0128] 貫穿這一說明書，一些實施例使用了表達方式"耦合"以及其衍生詞。如本文中使 用的術語"耦合"不一定限于直接物理或者電接觸的兩個或者多個元件。更確切地說，術語 "耦合"還可以包含與彼此非直接接觸但是還仍然與彼此合作或者交互的兩個或者多個元 件。
[0129] 同樣地，如本文中使用的，術語"包括"、"包含"、"具有"（"comprises"、 "including"、"includes"、"including"、"has"、"having"）或者其任何其它變化旨在覆蓋 非排他性包含。例如，包括元件列表的過程、方法、物品、或者裝置不一定僅限于那些元件， 而是可以包這種過程、方法、物品、或者裝置未明確列出的或者非固有的其它元件。
[0130]此外，"一(a)"或者"一個(an)"的使用被采用用于描述本文中的實施例的元件和 部件。這么做僅為了方便并且給出本發(fā)明的一般意義。這一描述應該被解讀為包括一個或 者至少一個，并且單數還包括多個，除非明顯另有意指。
[0131]最后，如本文中使用的，對"一個實施例"或者"實施例"的任何提及意指聯系該實 施例描述的特定元件、特征、結構、或者特性被包括在至少一個實施例中。說明書中的各種 地方出現的短語"在一個實施例中"不一定全部都指代相同的實施例。
[0132]在閱讀本公開時，本領域技術人員將領會到還有針對如本文中從原理公開的圖像 捕獲加速器的附加的備選結構和功能設計。因此，雖然圖示和描述了特定實施例和應用，要 理解的是，所公開的實施例不限于本文中公開的精確構造和部件?？梢栽诓幻撾x所附權利 要求中限定的精神和范圍的情況下，對本文中公開的方法和裝置的設置、操作、以及細節(jié)做 出對本領域技術人員而言將顯而易見的各種修改、改變、以及變化。
【主權項】
1. 一種相機系統(tǒng)，包括： 圖像傳感器，被配置為產生表示在捕獲間隔期間入射在所述圖像傳感器上的光的圖像 數據； 圖像信號處理器（"ISP"），具有第一輸入和第二輸入；以及圖像捕獲加速器（"ICA"），耦 合在所述圖像傳感器和所述ISP之間， 所述圖像捕獲加速器包括： 輸入，被配置為接收來自所述圖像傳感器的所述圖像數據； 第一輸出，被配置為輸出圖像數據，所述第一輸出耦合到所述ISP的所述第一輸入； 壓縮引擎，被配置為將所接收的圖像數據抽取到多個圖像子帶分量中；以及 第二輸出，被配置為輸出到圖像子帶分量，所述第二輸出耦合到所述ISP的所述第二輸 入。2. 根據權利要求1所述的相機系統(tǒng)，其中所述圖像捕獲加速器被配置為經由所述第一 輸出來輸出所接收的圖像數據。3. 根據權利要求1所述的相機系統(tǒng)，其中所輸出的圖像子帶分量是低/低子帶分量，其 中所接收的圖像數據包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括處于 低于所述第一分辨率的第二分辨率的所述圖像。4. 根據權利要求3所述的相機系統(tǒng)，其中所述第二分辨率是所述第一分辨率的分辨率 的四分之一。5. 根據權利要求1所述的相機系統(tǒng)，其中所接收的圖像數據包括原始拜耳圖像數據。6. 根據權利要求5所述的相機系統(tǒng)，其中所述圖像捕獲加速器進一步包括： 變換引擎，被配置為將所接收的原始拜耳圖像數據轉換為紅顏色分量、藍顏色分量、第 一綠顏色分量、以及第二綠顏色分量。7. 根據權利要求1所述的相機系統(tǒng)，其中所述壓縮引擎被進一步配置為對所述多個圖 像子帶分量中的一個或者多個圖像子帶分量執(zhí)行熵編碼。8. 根據權利要求1所述的相機系統(tǒng)，其中所述圖像捕獲加速器進一步包括： 解復用器，被配置為在第一配置中將所接收的圖像數據提供到所述ISP的所述第一輸 入，并且被配置為在第二配置中將所接收的圖像數據提供到所述壓縮引擎。9. 根據權利要求1所述的相機系統(tǒng)，其中所述ISP被配置為對經由所述第二輸入接收的 圖像數據進行編碼以用于顯示為預覽圖像。10. 根據權利要求1所述的相機系統(tǒng)，其中所述ISP被配置為對經由所述第一輸入接收 的圖像數據進行編碼以用于存儲在耦合到所述ISP的存儲器中。11. 一種用于處理由相機系統(tǒng)捕獲的圖像的方法，包括： 通過圖像傳感器捕獲入射在所述圖像傳感器上的光，以產生表示所捕獲的光的圖像數 據； 通過圖像捕獲加速器（"ICA"）接收來自所述圖像傳感器的所述圖像數據； 通過所述ICA將所述圖像數據輸出到圖像信號處理器（"ISP"）的第一輸入； 通過所述ICA將所接收的圖像抽取到多個圖像子帶分量中；以及 通過所述ICA將圖像子帶分量輸出到所述ISP的第二輸入。12. 根據權利要求11所述的方法，其中所輸出的圖像子帶分量是低/低子帶分量，其中 所接收的圖像數據包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括處于低 于所述第一分辨率的第二分辨率的所述圖像。13. 根據權利要求12所述的方法，其中所述第二分辨率是所述第一分辨率的分辨率的 四分之一。14. 根據權利要求11所述的方法，其中所述ISP被配置為對經由所述第二輸入接收的圖 像數據進行編碼以用于顯示為預覽圖像。15. 根據權利要求11所述的方法，其中所述ISP被配置為對經由所述第一輸入接收的圖 像數據進行編碼以用于存儲在耦合到所述ISP的存儲器中。16. -種用于相機系統(tǒng)的加速器電路，包括： 輸入，被配置為接收來自圖像傳感器的圖像數據，所述圖像數據表示在捕獲間隔期間 入射在所述圖像傳感器上的光； 第一輸出，被配置為輸出圖像數據，所述第一輸出耦合到圖像信號處理器（"ISP"）的第 一輸入； 壓縮引擎，被配置為將所接收的圖像數據抽取到多個圖像子帶分量中；以及 第二輸出，被配置為輸出到圖像子帶分量，所述第二輸出耦合到所述ISP的第二輸入。17. 根據權利要求16所述的加速器電路，其中所輸出的圖像子帶分量是低/低子帶分 量，其中所接收的圖像數據包括處于第一分辨率的圖像，并且其中所述低/低子帶分量包括 處于低于所述第一分辨率的第二分辨率的所述圖像。18. 根據權利要求17所述的加速器電路，其中所述第二分辨率是所述第一分辨率的分 辨率的四分之一。19. 根據權利要求16所述的加速器電路，其中所述ISP被配置為對經由所述第二輸入接 收的圖像數據進行編碼以用于顯示為預覽圖像。20. 根據權利要求16所述的加速器電路，其中所述ISP被配置為對經由所述第一輸入接 收的圖像數據進行編碼以用于存儲在耦合到所述ISP的存儲器中。
【文檔編號】H04N19/85GK105993177SQ201480065644
【公開日】2016年10月5日
【申請日】2014年9月25日
【發(fā)明人】S·P·坎貝爾, P·莫布斯, B·C·亞德薩米利, S·喬拉
【申請人】高途樂公司