技術(shù)領(lǐng)域

本發(fā)明構(gòu)思涉及一種圖像處理設(shè)備，更具體地，涉及一種根據(jù)操作模式動(dòng)態(tài)確定數(shù)據(jù)輸入/輸出模式的圖像處理設(shè)備及圖像處理方法。

背景技術(shù)：

圖像傳感器是檢測(cè)和傳達(dá)構(gòu)成圖像的信息的傳感器。圖像傳感器通過(guò)隨著波的傳播或從物體的反射將波的可變衰減轉(zhuǎn)換成信號(hào)來(lái)實(shí)現(xiàn)所述檢測(cè)和傳達(dá)。波可以是光或其它電磁輻射。圖像傳感器在模擬和數(shù)字兩種類(lèi)型的電子圖像裝置中使用。圖像傳感器將光圖像轉(zhuǎn)換成電信號(hào)，并且圖像處理裝置處理從圖像傳感器獲得的圖像數(shù)據(jù)。

圖像傳感器和圖像處理設(shè)備被應(yīng)用于便攜式電子裝置，諸如智能電話(huà)和數(shù)碼相機(jī)。然而，由于這些裝置是便攜式的，因此它們具有有限的操作它們的圖像傳感器的電力。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，提供一種圖像處理設(shè)備，所述圖像處理設(shè)備包括：存儲(chǔ)器；第一圖像處理器，被配置為對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)；第二圖像處理器，被配置為對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)。當(dāng)操作模式被設(shè)置為第一操作模式時(shí)，圖像處理設(shè)備將第一數(shù)據(jù)從第一圖像處理器直接傳送到第二圖像處理器。當(dāng)操作模式被設(shè)置為第二操作模式時(shí)，圖像處理設(shè)備經(jīng)由存儲(chǔ)器將第一數(shù)據(jù)從第一圖像處理器傳送到第二圖像處理器。

根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，提供一種應(yīng)用處理器，所述應(yīng)用處理器包括：第一圖像處理器，被配置為對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)；第二圖像處理器，被配置為對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)。當(dāng)操作模式被設(shè)置為第一操作模式時(shí)，應(yīng)用處理器將第一數(shù)據(jù)從第一圖像處理器直接傳送到第二圖像處理器。當(dāng)操作模式被設(shè)置為第二操作模式時(shí)，應(yīng)用處理器經(jīng)由存儲(chǔ)器將第一數(shù)據(jù)從第一圖像處理器傳送到第二圖像處理器。

根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，提供一種圖像處理設(shè)備執(zhí)行的圖像處理方法，所述圖像處理方法包括：由第一圖像處理器對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)；由第一圖像處理器根據(jù)第一數(shù)據(jù)的輸入/輸出(I/O)模式將第一數(shù)據(jù)輸出到第二圖像處理器和存儲(chǔ)器之一；由第二圖像處理器根據(jù)第一數(shù)據(jù)的I/O模式從第一圖像處理器和存儲(chǔ)器之一接收第一數(shù)據(jù)；由第二圖像處理器對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)。

根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，一種圖像處理設(shè)備包括：存儲(chǔ)器控制器；第一圖像處理器，被配置為對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)；第二圖像處理器，被配置為對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)。當(dāng)操作模式被設(shè)置為第一操作模式時(shí)，圖像處理設(shè)備將第一數(shù)據(jù)從第一圖像處理器直接傳送到第二圖像處理器。當(dāng)操作模式被設(shè)置為第二操作模式時(shí)，圖像處理設(shè)備經(jīng)由存儲(chǔ)器控制器將第一數(shù)據(jù)從第一圖像處理器傳送到第二圖像處理器。

附圖說(shuō)明

通過(guò)下面結(jié)合附圖的詳細(xì)描述，本發(fā)明構(gòu)思的實(shí)施例將變得更加容易理解，在附圖中：

圖1是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖2A示出當(dāng)圖像處理設(shè)備的操作模式是正常模式時(shí)由第一圖像處理單元和第二圖像處理單元通過(guò)處理獲得的圖像；

圖2B示出當(dāng)圖像處理設(shè)備的操作模式是縮放模式時(shí)由第一圖像處理單元和第二圖像處理單元通過(guò)處理獲得的圖像；

圖3示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的基于操作模式的數(shù)據(jù)輸入/輸出模式；

圖4A是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的第一輸入/輸出模式的框圖；

圖4B是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的在第一輸入/輸出模式下第一圖像處理單元和第二圖像處理單元的操作的時(shí)序圖；

圖5A是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的第二輸入/輸出模式的框圖；

圖5B是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的在第二輸入/輸出模式下第一圖像處理單元和第二圖像處理單元的操作的時(shí)序圖；

圖6是示出當(dāng)圖像處理設(shè)備的操作模式是縮放模式時(shí)在第一輸入/輸出模式下發(fā)送數(shù)據(jù)的情況下第一圖像處理單元和第二圖像處理單元的操作的示例的時(shí)序圖；

圖7是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖8是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖9示出輸入到圖8的圖像處理設(shè)備的圖像數(shù)據(jù)；

圖10是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備中的第一圖像處理單元和第二圖像處理單元的操作的示例的時(shí)序圖；

圖11是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖12是更加詳細(xì)地示出圖11的第一存儲(chǔ)器控制器和第二存儲(chǔ)器控制器的框圖；

圖13是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖14是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖；

圖15示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備中的模式改變控制邏輯的示例；

圖16是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖17是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖18是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖；

圖19示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備中的模式改變控制邏輯的示例；

圖20是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備的框圖；

圖21是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的根據(jù)圖20的時(shí)鐘模塊的控制的第一圖像處理單元和第二圖像處理單元的操作的時(shí)序圖；

圖22是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備中的第一圖像處理單元和第二圖像處理單元的操作的時(shí)序圖；

圖23是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖；

圖24是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖；

圖25是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的應(yīng)用處理器的框圖；

圖26是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的電子裝置的框圖；

圖27是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的電子系統(tǒng)和接口的框圖。

具體實(shí)施方式

在下文中，將參照附圖詳細(xì)描述本發(fā)明構(gòu)思的示例性實(shí)施例。提供本發(fā)明構(gòu)思的實(shí)施例使得本公開(kāi)將是徹底和完整的，并且將本發(fā)明構(gòu)思的構(gòu)思充分地傳達(dá)給本領(lǐng)域普通技術(shù)人員。然而，應(yīng)當(dāng)理解，本發(fā)明構(gòu)思涵蓋本發(fā)明構(gòu)思的技術(shù)范圍內(nèi)的所有修改、等同物和替代物。相同的參考標(biāo)號(hào)表示相同的元件。除非相反指出，否則單數(shù)形式的術(shù)語(yǔ)可以包括復(fù)數(shù)形式。

圖1是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備10的框圖。

參照?qǐng)D1，圖像處理設(shè)備10包括圖像信號(hào)處理器100和存儲(chǔ)器MEM。圖像信號(hào)處理器100可以包括第一圖像處理單元110(例如，圖像處理器，諸如圖形處理器或圖形處理單元(GPU))、第二圖像處理單元120(例如，圖像處理器)和數(shù)據(jù)輸入/輸出(I/O)控制單元130(例如，I/O控制器)。根據(jù)實(shí)施例的圖像處理設(shè)備10是數(shù)碼相機(jī)或配有數(shù)碼相機(jī)的電子裝置。例如，圖像處理設(shè)備10可以是移動(dòng)電話(huà)、智能電話(huà)或平板個(gè)人計(jì)算機(jī)(PC)。在實(shí)施例中，圖像信號(hào)處理器100位于電子裝置的應(yīng)用處理器內(nèi)。

在示例性實(shí)施例中，存儲(chǔ)器MEM包括易失性存儲(chǔ)器。例如，易失性存儲(chǔ)器可以是動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)，但不限于此。在實(shí)施例中，存儲(chǔ)器MEM包括非易失性存儲(chǔ)裝置。例如，非易失性存儲(chǔ)裝置可以是NAND閃存存儲(chǔ)器、NOR閃存存儲(chǔ)器、磁阻隨機(jī)存取存儲(chǔ)器(MRAM)、相變隨機(jī)存取存儲(chǔ)器(PRAM)或電阻式隨機(jī)存取存儲(chǔ)器(ReRAM)，但并不限于此。在實(shí)施例中，存儲(chǔ)器MEM是硬盤(pán)驅(qū)動(dòng)器或磁存儲(chǔ)裝置。

在實(shí)施例中，第一圖像處理單元110和第二圖像處理單元120以及數(shù)據(jù)I/O控制單元130均被實(shí)現(xiàn)為芯片上系統(tǒng)(SoC)。在此，SoC可以使用具有各種功能的系統(tǒng)實(shí)現(xiàn)，并且SoC可以被集成到單個(gè)半導(dǎo)體芯片中，多個(gè)知識(shí)產(chǎn)權(quán)(IP)被集成到SoC。每個(gè)IP可以在SoC中被提供，并且可以執(zhí)行特定功能。在此，每個(gè)IP可以表示電路、邏輯(例如，軟件)或它們的組合，每個(gè)IP可以被集成到SoC。在本實(shí)施例中，第一圖像處理單元110可以被稱(chēng)為第一IP IP1，第二圖像處理單元120可以被稱(chēng)為第二IP IP2。此外，在示例性實(shí)施例中，第一圖像處理單元110和第二圖像處理單元120、數(shù)據(jù)I/O控制單元130和存儲(chǔ)器MEM被實(shí)現(xiàn)為SoC。

第一圖像處理單元110接收?qǐng)D像數(shù)據(jù)ID并對(duì)接收的圖像數(shù)據(jù)ID執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)D1。第一圖像處理單元110可以被稱(chēng)為預(yù)處理單元、預(yù)IP或預(yù)鏈。在一個(gè)實(shí)施例中，從圖像傳感器(諸如CMOS圖像傳感器)接收?qǐng)D像數(shù)據(jù)ID。在一個(gè)實(shí)施例中，從包括在圖像信號(hào)處理器100中的另一圖像處理單元或IP接收?qǐng)D像數(shù)據(jù)ID。

第二圖像處理單元120接收第一數(shù)據(jù)D1并對(duì)接收的第一數(shù)據(jù)D1執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)D2。第二圖像處理單元120可以被稱(chēng)為后處理單元、后IP或后鏈。在一個(gè)實(shí)施例中，從第一圖像處理單元110接收第一數(shù)據(jù)D1。在一個(gè)實(shí)施例中，從存儲(chǔ)器MEM接收第一數(shù)據(jù)D1。

例如，第一圖像處理單元110和第二圖像處理單元120可以分別對(duì)應(yīng)于對(duì)圖像數(shù)據(jù)執(zhí)行信號(hào)處理操作(諸如顏色插值、顏色校正、自動(dòng)白平衡、伽馬校正、顏色飽和度校正、格式校正、壞像素校正、色度校正、自動(dòng)曝光、自動(dòng)對(duì)焦、相位檢測(cè)自動(dòng)對(duì)焦(PDAF)、旋轉(zhuǎn)、縮放和去馬賽克)的多個(gè)邏輯塊。在實(shí)施例中，去馬賽克是對(duì)圖像數(shù)據(jù)執(zhí)行的從由覆蓋有顏色濾波器陣列的圖像傳感器輸出的不完全顏色樣本重建全色圖像的功能。例如，第一圖像處理單元110可以是執(zhí)行自動(dòng)曝光、自動(dòng)對(duì)焦、自動(dòng)白平衡或旋轉(zhuǎn)的IP，但不限于此。例如，第二圖像處理單元120可以是執(zhí)行縮放或去馬賽克的IP，但不限于此?？s放操作可以包括縮小或放大圖像的大小。

在實(shí)施例中，I/O控制單元130被配置為基于圖像處理設(shè)備10的操作模式將數(shù)據(jù)I/O模式動(dòng)態(tài)確定為第一I/O模式MD1或第二I/O模式MD2。根據(jù)實(shí)施例，當(dāng)操作模式被改變時(shí)，數(shù)據(jù)I/O控制單元130將第一I/O模式MD1改變?yōu)榈诙蘒/O模式MD2或?qū)⒌诙蘒/O模式MD2改變?yōu)榈谝籌/O模式MD1。

此外，數(shù)據(jù)I/O控制單元130可以將確定的I/O模式提供到第一圖像處理單元110和第二圖像處理單元120作為模式信號(hào)MD。這里，圖像處理設(shè)備10的操作模式可以是正常模式或縮放模式。在示例性實(shí)施例中，在縮放模式期間，由圖像處理設(shè)備10對(duì)圖像執(zhí)行操作以放大圖像，使得可以向用戶(hù)呈現(xiàn)圖像的放大視圖。在示例性實(shí)施例中，在縮放模式期間，由圖像處理裝置10對(duì)圖像執(zhí)行操作以縮小圖像，使得可以向用戶(hù)呈現(xiàn)圖像的縮小視圖。然而，本實(shí)施例不限于此，并且圖像處理設(shè)備10的操作模式可以根據(jù)實(shí)施例進(jìn)行各種修改。數(shù)據(jù)I/O控制單元130可以基于圖像處理設(shè)備10的各種操作模式動(dòng)態(tài)地確定數(shù)據(jù)I/O模式為第一I/O模式MD1或第二I/O模式MD2。

圖像處理設(shè)備10可以基于通過(guò)觸摸、按鈕、鼠標(biāo)或遙控器接收的用戶(hù)輸入確定操作模式為縮放模式。在實(shí)施例中，數(shù)據(jù)I/O控制單元130從外部源接收指示操作模式的操作模式信號(hào)。例如，當(dāng)操作模式信號(hào)指示正常模式時(shí)，操作模式信號(hào)可以具有第一邏輯電平，當(dāng)操作模式信號(hào)指示縮放模式，操作模式信號(hào)可以具有第二邏輯電平。在實(shí)施例中，當(dāng)接收到縮放開(kāi)始命令時(shí)，數(shù)據(jù)I/O控制單元130將圖像處理設(shè)備10的操作模式確定為縮放模式，當(dāng)接收到縮放結(jié)束命令時(shí)，數(shù)據(jù)I/O控制單元130將圖像處理設(shè)備10的操作模式確定為正常模式。

在本實(shí)施例中，數(shù)據(jù)I/O控制單元130位于第一圖像處理單元110和第二圖像處理單元120外部。然而，本發(fā)明構(gòu)思的實(shí)施例不限于此。在其它實(shí)施例中，數(shù)據(jù)I/O控制單元130位于第一圖像處理單元110和第二圖像處理單元120中的至少一個(gè)的內(nèi)部。

圖2A示出當(dāng)圖像處理設(shè)備的操作模式10是正常模式時(shí)由第一圖像處理單元110和第二圖像處理單元120通過(guò)處理獲得的圖像。

參照?qǐng)D1和圖2A，除非接收到用于指示改變操作模式的用戶(hù)輸入，否則圖像處理設(shè)備10在正常模式下操作，因此正常模式可被稱(chēng)為默認(rèn)模式。這里，正常模式可以是對(duì)從圖像傳感器獲得的整個(gè)圖像執(zhí)行圖像處理以輸出對(duì)應(yīng)于整個(gè)圖像的圖像處理結(jié)果的操作模式，并且可以被稱(chēng)為1:1模式。

第一圖像處理單元110可以接收對(duì)應(yīng)于第一圖像IMG1a的圖像數(shù)據(jù)ID，以輸出對(duì)應(yīng)于第一圖像IMG1a的第一數(shù)據(jù)D1。這里，第一圖像IMG1a在大小方面具有第一寬度W和第一高度H。

第二圖像處理單元120可以接收對(duì)應(yīng)于第一圖像IMG1a的第一數(shù)據(jù)D1，以輸出對(duì)應(yīng)于第二圖像IMG2a的第二數(shù)據(jù)D2。在此，第二圖像IMG2a在大小方面具有第一寬度W和第一高度H。當(dāng)圖像處理設(shè)備10在正常模式下操作時(shí)，輸入到第一圖像處理單元110和第二圖像處理單元120的圖像大小與從第一圖像處理單元110和第二圖像處理單元120輸出的圖像大小是1:1。

圖2B示出當(dāng)圖像處理設(shè)備10的操作模式是縮放模式時(shí)由第一圖像處理單元110和第二圖像處理單元120通過(guò)處理獲得的圖像IMG1b和IMG2b。

參照?qǐng)D1和圖2B，當(dāng)接收到用于指示縮放操作的用戶(hù)輸入時(shí)，圖像處理設(shè)備10在縮放模式下操作。這里，縮放模式可以是放大從圖像傳感器獲得的整個(gè)圖像的一部分以輸出對(duì)應(yīng)于部分圖像的圖像處理結(jié)果的操作模式。例如，放大圖像可以被稱(chēng)作放大。在圖像被放大之后，縮放模式可以用于縮小，使得之前放大的圖像大小減小，但是不必減小到整個(gè)圖像的原始大小。然而，在此示例中縮小的圖像將仍然被認(rèn)為是相對(duì)于原始圖像放大的。例如，圖像處理設(shè)備10可以接收用于指示四倍縮放操作的用戶(hù)輸入。以下，將描述圖像處理設(shè)備10執(zhí)行四倍縮放操作的情況。

例如，第一圖像處理單元110可以執(zhí)行裁切操作，并且詳細(xì)地，第一圖像處理單元110可以接收對(duì)應(yīng)于第一圖像IMG1b的圖像數(shù)據(jù)ID以輸出對(duì)應(yīng)于縮放區(qū)域IMGz的第一數(shù)據(jù)D1。這里，第一圖像IMG1b在大小方面具有第一寬度W和第一高度H，縮放區(qū)域IMGz在大小方面具有第二寬度W/4和第二高度H/4。

例如，第二圖像處理單元120可以執(zhí)行放大操作。例如，第二圖像處理單元120可以接收對(duì)應(yīng)于縮放區(qū)域IMGz的第一圖像數(shù)據(jù)ID1以輸出對(duì)應(yīng)于第二圖像IMG2b的第二數(shù)據(jù)D2。這里，縮放區(qū)域IMGz在大小方面具有第二寬度W/4和第二高度H/4，第二圖像IMG2b在大小方面具有第一寬度W和第一高度H。當(dāng)圖像處理設(shè)備10在縮放模式下操作時(shí)，輸入到第一圖像處理單元110和第二圖像處理單元120的圖像大小與從第一圖像處理單元110和第二圖像處理單元120輸出的圖像大小可以不同。

圖3示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備10的基于操作模式的數(shù)據(jù)I/O模式。

參照?qǐng)D3，在第一操作模式下，數(shù)據(jù)I/O控制單元130將數(shù)據(jù)I/O模式確定為第一I/O模式MD1，在第二操作模式下，數(shù)據(jù)I/O控制單元130將數(shù)據(jù)I/O模式確定為第二個(gè)I/O模式MD2。在實(shí)施例中，第一I/O模式MD1是直接模式，第二I/O模式MD2是直接存儲(chǔ)器訪(fǎng)問(wèn)(DMA)模式。在本實(shí)施例中，直接模式是默認(rèn)模式，DMA模式是僅在縮放操作下執(zhí)行的模式。此后，將描述第一I/O模式MD1是直接模式和第二I/O模式MD2是DMA模式的情況。然而，本發(fā)明構(gòu)思的實(shí)施例不限于此。

圖4A是示出根據(jù)示例性實(shí)施例的第一I/O模式MD1的框圖。圖4B是示出根據(jù)示例性實(shí)施例的在第一I/O模式MD1下第一圖像處理單元110和第二圖像處理單元120的操作的時(shí)序圖。以下，將參照?qǐng)D1、圖4A和圖4B詳細(xì)描述根據(jù)示例性實(shí)施例的第一I/O模式MD1。

參照?qǐng)D4A和圖4B，在第一I/O模式MD1下，由第一圖像處理單元110生成的第一數(shù)據(jù)D1被直接傳送到第二處理單元120。換句話(huà)說(shuō)，在第一I/O模式MD1下，第一處理單元110將第一數(shù)據(jù)D1輸出到第二處理單元120，并且第二處理單元120從第一處理單元110接收第一數(shù)據(jù)D1。在實(shí)施例中，在第一I/O模式MD1下，信號(hào)線(xiàn)將第一處理單元110直接連接到第二處理單元120，沿信號(hào)線(xiàn)發(fā)送第一數(shù)據(jù)D1。

在第一I/O模式MD1期間，第一數(shù)據(jù)D1直接從第一圖像處理單元110傳送到第二圖像處理單元120，并且因此，在第一圖像處理單元110和第二圖像處理單元120的操作中幾乎不發(fā)生延遲。在示例性實(shí)施例中，在第一I/O模式MD1期間，不執(zhí)行訪(fǎng)問(wèn)存儲(chǔ)器MEM的操作，從而降低功耗。圖4B示出當(dāng)延遲基本為0時(shí)，從而由第二圖像處理單元120處理的幀針對(duì)由第一圖像處理單元110處理的幀沒(méi)有延遲。

圖5A是示出根據(jù)示例性實(shí)施例的第二I/O模式MD2的框圖。圖5B是示出根據(jù)示例性實(shí)施例的在第二I/O模式MD2下第一圖像處理單元110和第二圖像處理單元120的操作的時(shí)序圖。以下，將參照?qǐng)D1、圖5A和圖5B詳細(xì)描述根據(jù)示例性實(shí)施例的第二I/O模式MD2。

參照?qǐng)D5A和圖5B，在第二I/O模式MD2下，由第一圖像處理單元110生成的第一數(shù)據(jù)D1經(jīng)由存儲(chǔ)器MEM傳送到第二處理單元120。換句話(huà)說(shuō)，在第一I/O模式MD1下，第一處理單元110將第一數(shù)據(jù)D1輸出到存儲(chǔ)器MEM，第二處理單元120從存儲(chǔ)器MEM接收第一數(shù)據(jù)D1。

在第二I/O模式MD2期間，第一數(shù)據(jù)D1經(jīng)由存儲(chǔ)器MEM從第一圖像處理單元110傳送到第二圖像處理單元120，并且因?yàn)檫@個(gè)原因，在第一圖像處理單元110和第二圖像處理單元120的操作中發(fā)生延遲。例如，在第一圖像處理單元110對(duì)第二幀執(zhí)行第一圖像處理操作時(shí)，第二圖像處理單元120對(duì)第一幀執(zhí)行第二圖像處理操作。圖5B示出延遲是圖像處理單元在接收的圖像數(shù)據(jù)的單幀上操作花費(fèi)的時(shí)間量的示例。因此，圖5B示出由第二圖像處理單元120處理的幀針對(duì)由第一圖像處理單元110處理的幀延遲單幀周期。

圖6是示出當(dāng)圖像處理設(shè)備10的操作模式是縮放模式時(shí)在第一I/O模式MD1下發(fā)送數(shù)據(jù)的情況下第一圖像處理單元110和第二圖像處理單元120的操作的示例的時(shí)序圖。

參照?qǐng)D1和6，在第一圖像處理單元110對(duì)第四幀執(zhí)行第一圖像處理操作時(shí)，圖像處理設(shè)備10接收縮放開(kāi)始命令ZS。因此，圖像處理設(shè)備10的操作模式從正常模式改變?yōu)榭s放模式。在縮放模式下，當(dāng)使用第一I/O模式MD1(即，直接模式)時(shí)，第一圖像處理單元110在對(duì)應(yīng)于縮放區(qū)域(例如，圖2B的IMG1b)的裁切時(shí)間段CR期間將第一數(shù)據(jù)D1輸出到第二圖像處理單元120，第二圖像處理單元120在裁切時(shí)間段CR期間接收第一數(shù)據(jù)D1，以生成對(duì)應(yīng)于第二圖像(例如，圖2B的IMG2b)的第二數(shù)據(jù)D2。

在其期間第二圖像處理單元120能夠執(zhí)行第二圖像處理操作的時(shí)間被限制到裁切時(shí)間段CR。因此，第二圖像處理單元120是在總的可處理時(shí)間的大部分處于空閑狀態(tài)，并且在總的可處理時(shí)間的裁切時(shí)間段CR期間執(zhí)行對(duì)應(yīng)于一幀的第二圖像處理操作。在示例性實(shí)施例中，第二圖像處理單元120在有限時(shí)間執(zhí)行第二圖像處理操作，以提高第二圖像處理單元120的性能。

例如，第二圖像處理單元120的時(shí)鐘頻率可被提高，或第二圖像處理單元120的內(nèi)部緩沖器的容量可被提高。然而，這些提高可能增加圖像處理設(shè)備10的面積和功耗。圖像處理設(shè)備10可能在大部分時(shí)間在正常模式下操作，并且可能在特定時(shí)間在縮放模式下操作。因此，在很大程度上改善用于在縮放模式下支持第二圖像處理單元120的第二圖像處理操作的第二圖像處理單元120的硬件性能的情況在效率上變差。

然而，如上面參照?qǐng)D1至5B的描述，在正常模式下，根據(jù)本發(fā)明構(gòu)思的實(shí)施例的圖像處理設(shè)備10將數(shù)據(jù)I/O模式確定為第一I/O模式MD1(即，直接模式)，并且在縮放模式下，圖像處理設(shè)備10將數(shù)據(jù)的I/O模式確定為第二I/O模式MD2(即，DMA模式)。因此，在縮放模式下，第一圖像處理單元110經(jīng)由存儲(chǔ)器MEM將第一數(shù)據(jù)D1傳送到第二圖像處理單元120。因此，沒(méi)有必要改善用于在縮放模式下支持第二圖像處理單元120的第二圖像處理操作的第二圖像處理單元120的硬件性能，并且圖像處理設(shè)備10可以在不增加圖像處理設(shè)備10的面積和功耗的情況下有效地操作。

圖7是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備20的框圖。

參照?qǐng)D7，圖像處理設(shè)備20包括圖像信號(hào)處理器200和存儲(chǔ)器MEM。圖像信號(hào)處理器200包括第一圖像處理單元210和第二圖像處理單元220。在本實(shí)施例中，第一圖像處理單元210包括數(shù)據(jù)輸出控制單元(D_OUT CU)211(例如，第一數(shù)據(jù)輸出控制器)，第二圖像處理單元220包括數(shù)據(jù)輸入控制單元(D_IN CU)221(例如，第二數(shù)據(jù)輸出控制器)?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM。以下，將主要描述本實(shí)施例和圖1的實(shí)施例之間的差異以避免重復(fù)。

第一圖像處理單元210接收?qǐng)D像數(shù)據(jù)ID，并且對(duì)接收的圖像數(shù)據(jù)ID執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)D1。第二圖像處理單元220接收第一數(shù)據(jù)D1，并且對(duì)接收的第一數(shù)據(jù)D1執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)D2。

數(shù)據(jù)輸出控制單元211控制第一數(shù)據(jù)D1的輸出，以在第一輸出模式下將第一數(shù)據(jù)D1提供到第二圖像處理單元220，或者在第二輸出模式下將第一數(shù)據(jù)D1提供到存儲(chǔ)器MEM。這里，第一輸出模式可以是第一圖像處理單元210將第一數(shù)據(jù)D1輸出到第二圖像處理單元220的直接模式，并且可以對(duì)應(yīng)于上述第一I/O模式。此外，第二輸出模式可以是第一圖像處理單元210將第一數(shù)據(jù)D1輸出到存儲(chǔ)器MEM的DMA模式，并且可以對(duì)應(yīng)于上述第二I/O模式。

在實(shí)施例中，數(shù)據(jù)輸出控制單元211基于圖像處理設(shè)備20的操作模式將第一數(shù)據(jù)D1的輸出模式確定為第一輸出模式和第二輸出模式中的一個(gè)，并且基于確定的輸出模式控制第一數(shù)據(jù)D1的輸出。在實(shí)施例中，數(shù)據(jù)輸出控制單元211從外部源接收指示第一數(shù)據(jù)D1的輸出模式的第一模式信號(hào)，并且根據(jù)接收的第一模式信號(hào)控制第一數(shù)據(jù)D1的輸出。例如，數(shù)據(jù)輸出控制單元211可以是在它的數(shù)據(jù)輸入接收第一數(shù)據(jù)D1、在它的選擇輸入接收第一模式信號(hào)并且具有連接到第二圖像處理單元220的第一輸出和連接到存儲(chǔ)器MEM的第二輸出的解復(fù)用器。

數(shù)據(jù)輸入控制單元221控制第一數(shù)據(jù)D1的輸入，以在第一輸入模式下從第一圖像處理單元210接收第一數(shù)據(jù)D1且在第二輸入模式下從存儲(chǔ)器MEM接收第一數(shù)據(jù)D1。這里，第一輸入模式可以是從第一圖像處理單元210接收第一數(shù)據(jù)D1的直接模式，并且可以對(duì)應(yīng)于上述第一I/O模式。此外，第二輸入模式可以是從第一存儲(chǔ)器MEM接收第一數(shù)據(jù)D1的DMA模式，并且可以對(duì)應(yīng)于上述第二I/O模式。

在實(shí)施例中，數(shù)據(jù)輸入控制單元221基于圖像處理設(shè)備20的操作模式將第一數(shù)據(jù)D1的輸入模式確定為第一輸入模式和第二輸入模式中的一個(gè)，并且基于確定的輸入模式控制第一數(shù)據(jù)D1的輸出。在實(shí)施例中，數(shù)據(jù)輸入控制單元221從外部源接收指示第一數(shù)據(jù)D1的輸入模式的第二模式信號(hào)，并且根據(jù)接收的模式信號(hào)控制第一數(shù)據(jù)D1的輸入。例如，數(shù)據(jù)輸入控制單元221可以是具有連接到第一圖像處理單元210的第一數(shù)據(jù)輸入、連接到存儲(chǔ)器MEM的第二數(shù)據(jù)輸入和接收第二模式信號(hào)的選擇輸入的復(fù)用器。

圖8是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備30的框圖。

參照?qǐng)D8，圖像處理設(shè)備30包括圖像信號(hào)處理器300和存儲(chǔ)器MEM。圖像信號(hào)處理器300包括第一圖像處理單元310、第二圖像處理單元320、數(shù)據(jù)I/O控制單元330(例如，數(shù)據(jù)I/O控制器)和存儲(chǔ)器控制器340?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM。以下，將主要描述圖8的實(shí)施例和圖1的實(shí)施例之間的差異以避免重復(fù)。

在實(shí)施例中，第一圖像處理單元310和第二圖像處理單元320、數(shù)據(jù)I/O控制單元330和存儲(chǔ)器控制器340均被實(shí)現(xiàn)為SoC。在實(shí)施例中，第一圖像處理單元310和第二圖像處理單元320、數(shù)據(jù)I/O控制單元330和存儲(chǔ)器控制器340位于應(yīng)用處理器內(nèi)。

在實(shí)施例中，第一圖像處理單元310和第二圖像處理單元320以及數(shù)據(jù)I/O控制單元330均被實(shí)現(xiàn)為SoC。在實(shí)施例中，第一圖像處理單元310和第二圖像處理單元320以及數(shù)據(jù)I/O控制單元330位于應(yīng)用處理器內(nèi)。

第一圖像處理單元310接收?qǐng)D像數(shù)據(jù)ID，并且對(duì)接收的圖像數(shù)據(jù)ID執(zhí)行第一圖像處理操作以生成第一數(shù)據(jù)D1。在本實(shí)施例中，圖像數(shù)據(jù)ID包括第一子圖像數(shù)據(jù)SID1和第二子圖像數(shù)據(jù)SID2。在實(shí)施例中，第一子圖像數(shù)據(jù)SID1包括圖像數(shù)據(jù)ID的第一像素組數(shù)據(jù)，第二子圖像數(shù)據(jù)SID2包括圖像數(shù)據(jù)ID的第二像素組數(shù)據(jù)。例如，第一像素組數(shù)據(jù)可以包括顯示器的一行或多行像素的圖像數(shù)據(jù)，第二像素組數(shù)據(jù)可以包括顯示器的其他一行或多行像素的圖像數(shù)據(jù)，其中，行是連續(xù)的。

圖9示出輸入到圖8的圖像處理設(shè)備30的圖像數(shù)據(jù)ID。

參照?qǐng)D9，圖像數(shù)據(jù)ID包括多個(gè)像素組數(shù)據(jù)PG1至PG10。在圖9中，為了便于描述，對(duì)應(yīng)于一幀的圖像數(shù)據(jù)ID被示出為對(duì)應(yīng)于10×10像素。然而，這僅是示例，并且本實(shí)施例不限于此。以下，將參照?qǐng)D8和圖9詳細(xì)描述圖像數(shù)據(jù)ID。

在實(shí)施例中，第一子圖像數(shù)據(jù)SID1包括排列在圖像數(shù)據(jù)ID的第一行的像素組數(shù)據(jù)PG1，第二子圖像數(shù)據(jù)SID2包括排列在位于第一行下面的第二行的像素組數(shù)據(jù)PG2。在實(shí)施例中，第一子圖像數(shù)據(jù)SID1包括分別排列在圖像數(shù)據(jù)ID的第一行和第二行的像素組數(shù)據(jù)PG1和PG2，并且第二子圖像數(shù)據(jù)SID2包括分別布置在第一行和第二行下面的第三和第四行的像素組數(shù)據(jù)PG3和PG4。

在一些實(shí)施例中，第一子圖像數(shù)據(jù)SID1可以包括分別排列在圖像數(shù)據(jù)ID的第一行至第五行的像素組數(shù)據(jù)PG1至PG5，第二子圖像數(shù)據(jù)SID2可以包括分別排列在第一行至第五行下面的第六行至第十行的像素組數(shù)據(jù)PG6至PG10。在本實(shí)施例中，第一子圖像數(shù)據(jù)SID1和第二子圖像數(shù)據(jù)SID2中的每一個(gè)是構(gòu)成圖像數(shù)據(jù)ID的子圖像數(shù)據(jù)，并且可以根據(jù)實(shí)施例對(duì)從圖像數(shù)據(jù)ID區(qū)分第一子圖像數(shù)據(jù)SID1與第二子圖像數(shù)據(jù)SID2的方法進(jìn)行各種修改。

參照回圖8，數(shù)據(jù)I/O控制單元330在第一操作模式下將數(shù)據(jù)I/O模式確定為第一I/O模式，并且在第二操作模式下將數(shù)據(jù)I/O模式確定為第二I/O模式。此外，數(shù)據(jù)I/O控制單元330將確定的I/O模式提供到第一圖像處理單元310和第二圖像處理單元320作為模式信號(hào)MD。在實(shí)施例中，第一操作模式可以是正常模式，第二操作模式可以是縮放模式。在實(shí)施例中，第一I/O模式是直接模式，第二I/O模式是DMA模式。上面參照?qǐng)D2A至圖5B描述的細(xì)節(jié)可以應(yīng)用于本實(shí)施例，因此不提供重復(fù)描述。

第一圖像處理單元310對(duì)包括第一子圖像數(shù)據(jù)SID1和第二子圖像數(shù)據(jù)SID2的圖像數(shù)據(jù)ID執(zhí)行第一圖像處理操作以生成包括第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1。在實(shí)施例中，第一圖像處理單元310首先對(duì)第一子圖像數(shù)據(jù)SID1執(zhí)行第一圖像處理操作，然后對(duì)第二子圖像數(shù)據(jù)SID2執(zhí)行第一圖像處理操作。第一圖像處理單元310在第一I/O模式下將包括第一子數(shù)據(jù)SD1和的第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1輸出到第二圖像處理單元320，并且第一圖像處理單元310在第二I/O模式下將包括第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1輸出到存儲(chǔ)器MEM。

第二圖像處理單元320對(duì)包括第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1執(zhí)行第二圖像處理操作以生成第二數(shù)據(jù)D2。在實(shí)施例中，第二圖像處理單元320首先對(duì)第一子數(shù)據(jù)SD1執(zhí)行第二圖像處理操作，然后對(duì)第二子數(shù)據(jù)SD2執(zhí)行第二圖像處理操作。第二圖像處理單元320在第一I/O模式下從第一圖像處理單元310接收包括第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1，并且第二圖像處理單元320在第二I/O模式下從存儲(chǔ)器MEM接收包括在第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2的第一數(shù)據(jù)D1。

在實(shí)施例中，當(dāng)?shù)谝粩?shù)據(jù)D1的I/O模式是第二I/O模式時(shí)存儲(chǔ)器控制器340被激活，并且當(dāng)?shù)谝粩?shù)據(jù)D1的I/O模式是第一I/O模式時(shí)存儲(chǔ)器控制器340被去激活。以下，將描述當(dāng)?shù)谝粩?shù)據(jù)D1的I/O模式是第二I/O模式時(shí)存儲(chǔ)器控制器340的操作。

在實(shí)施例中，存儲(chǔ)器控制器340控制存儲(chǔ)器MEM，以使第二圖像處理單元320能夠在第一子數(shù)據(jù)SD1被寫(xiě)入存儲(chǔ)器MEM之后在第二子數(shù)據(jù)SD2被寫(xiě)入存儲(chǔ)器MEM之前從存儲(chǔ)器MEM讀取第一子數(shù)據(jù)SD1。在實(shí)施例中，存儲(chǔ)器控制器340通過(guò)存儲(chǔ)器總線(xiàn)控制存儲(chǔ)器MEM。在實(shí)施例中，存儲(chǔ)器控制器340將寫(xiě)入命令WCMD提供到存儲(chǔ)器總線(xiàn)，以將第一數(shù)據(jù)D1寫(xiě)入存儲(chǔ)器MEM，并且存儲(chǔ)器控制器340將讀取命令RCMD提供到存儲(chǔ)器總線(xiàn)，以將存儲(chǔ)在存儲(chǔ)器MEM中的第一數(shù)據(jù)D1提供到第二圖像處理單元320。

將描述當(dāng)圖像處理設(shè)備30是縮放模式且第一數(shù)據(jù)D1的I/O模式是第二I/O模式時(shí)存儲(chǔ)器控制器340的操作。首先，當(dāng)?shù)谝粓D像處理單元310完成對(duì)第一子圖像數(shù)據(jù)SID1的第一圖像處理操作時(shí)，存儲(chǔ)器控制器340向存儲(chǔ)器總線(xiàn)提供用于將第一圖像處理的第一子圖像數(shù)據(jù)(即，第一子數(shù)據(jù)SD1)寫(xiě)入存儲(chǔ)器MEM的寫(xiě)入命令WCMD。隨后，當(dāng)從存儲(chǔ)器MEM接收到指示第一子數(shù)據(jù)SD1已寫(xiě)入的響應(yīng)時(shí)，存儲(chǔ)器控制器340將讀取命令RCMD提供到存儲(chǔ)器總線(xiàn)，以將第一子數(shù)據(jù)SD1提供到第二圖像處理單元320。隨后，當(dāng)從存儲(chǔ)器MEM接收第一子數(shù)據(jù)SD1時(shí)，存儲(chǔ)器控制器340將第一子數(shù)據(jù)SD1提供到第二圖像處理單元320。因此，第二圖像處理單元320可以對(duì)第一子數(shù)據(jù)SD1執(zhí)行第二圖像處理操作。

隨后，當(dāng)?shù)谝粓D像處理單元310完成對(duì)第二子圖像數(shù)據(jù)SID2的第一圖像處理操作時(shí)，存儲(chǔ)器控制器340向存儲(chǔ)器總線(xiàn)提供用于將第一圖像處理的第二子圖像數(shù)據(jù)(即，第二子數(shù)據(jù)SD2)寫(xiě)入存儲(chǔ)器MEM的寫(xiě)入命令WCMD。隨后，當(dāng)從存儲(chǔ)器MEM接收到指示第二子數(shù)據(jù)SD2已寫(xiě)入的響應(yīng)時(shí)，存儲(chǔ)器控制器340將讀取命令RCMD提供到存儲(chǔ)器總線(xiàn)，以將第二子數(shù)據(jù)SD2提供到第二圖像處理單元320。隨后，當(dāng)從存儲(chǔ)器MEM接收到第二子數(shù)據(jù)SD2時(shí)，存儲(chǔ)器控制器340將第二子數(shù)據(jù)SD2提供到第二圖像處理單元320。因此，第二圖像處理單元320對(duì)第二子數(shù)據(jù)SD2執(zhí)行第二圖像處理操作。

如上所述，根據(jù)本實(shí)施例，存儲(chǔ)器控制器340在提供用于寫(xiě)入第二子數(shù)據(jù)SD2的寫(xiě)入命令WCMD之前向存儲(chǔ)器總線(xiàn)提供用于從存儲(chǔ)器MEM讀取第一子數(shù)據(jù)SD1的讀取命令RCMD。因此，在第一圖像處理單元310對(duì)第二子圖像數(shù)據(jù)SID2執(zhí)行第一圖像處理操作時(shí)，第二圖像處理單元320對(duì)第一子數(shù)據(jù)SD1執(zhí)行第二圖像處理操作。因此，盡管第一數(shù)據(jù)D1在第二I/O模式下被傳送，但是可以減小第一圖像處理單元310和第二圖像處理單元320之間的延遲，并且可以以與傳送第一數(shù)據(jù)D1的速度類(lèi)似的速度向第二圖像處理單元320傳送第一數(shù)據(jù)D1。

在實(shí)施例中，第一圖像處理單元310和第二圖像處理單元320、數(shù)據(jù)I/O控制單元330和存儲(chǔ)器控制器340被集成到單芯片中。在實(shí)施例中，存儲(chǔ)器控制器340被集成到與第一圖像處理單元310和第二圖像處理單元320以及數(shù)據(jù)I/O控制單元330被集成到的芯片不同的單個(gè)芯片中。在實(shí)施例中，存儲(chǔ)器控制器320位于存儲(chǔ)器MEM內(nèi)部。

圖10是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備30中的第一圖像處理單元310和第二圖像處理單元320的操作的示例的時(shí)序圖。

參照?qǐng)D10，在第一圖像處理單元310正在處理第二幀時(shí)，圖像處理設(shè)備30接收縮放開(kāi)始命令ZS。因此，圖像處理設(shè)備30的操作模式從正常模式改變?yōu)榭s放模式。根據(jù)本實(shí)施例，在縮放模式下，數(shù)據(jù)I/O控制單元330將第一數(shù)據(jù)D1的I/O模式確定為第二I/O模式，即，DMA模式。因此，第一圖像處理單元310將第一數(shù)據(jù)D1輸出到存儲(chǔ)器MEM，第二圖像處理單元320從存儲(chǔ)器MEM接收第一數(shù)據(jù)D1。

IP2a是本實(shí)施例的比較示例，當(dāng)圖像處理設(shè)備30不包括存儲(chǔ)器控制器340時(shí)，IP2a表示第二圖像處理單元320的操作。在這種情況下，第一圖像處理單元310完成對(duì)圖像數(shù)據(jù)ID的第一圖像處理操作，然后，第二圖像處理單元320執(zhí)行對(duì)第一數(shù)據(jù)D1的第二圖像處理操作。例如，當(dāng)?shù)谝粓D像處理單元310對(duì)第四幀執(zhí)行第一圖像處理操作時(shí)，第二圖像處理單元320對(duì)第三幀執(zhí)行第二圖像處理操作。因此，在第一圖像處理單元310和第二圖像處理單元320之間發(fā)生幀延遲。

IP2b是本實(shí)施例，當(dāng)圖像處理設(shè)備30包括存儲(chǔ)器控制器340時(shí)，IP2b表示第二圖像處理單元320的操作。在這種情況下，存儲(chǔ)器控制器340控制存儲(chǔ)器MEM，以使第二圖像處理單元320能夠在第一子數(shù)據(jù)SD1被寫(xiě)入存儲(chǔ)器MEM之后在第二子數(shù)據(jù)SD2被寫(xiě)入存儲(chǔ)器MEM之前從存儲(chǔ)器MEM讀取第一子數(shù)據(jù)SD1。因此，在第一圖像處理單元310和第二圖像處理單元320之間幾乎不發(fā)生延遲。如上所述，根據(jù)本實(shí)施例，即使當(dāng)在縮放模式下使用第二I/O模式MD2(即，DMA模式)時(shí)，也類(lèi)似于第一I/O模式MD1(即，直接模式)，在第一圖像處理單元310和第二圖像處理單元320之間幾乎不發(fā)生延遲。

圖11是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備40的框圖。

參照?qǐng)D11，圖像處理設(shè)備40包括圖像信號(hào)處理器400和存儲(chǔ)器MEM。圖像信號(hào)處理器400包括第一圖像處理單元410、第二圖像處理單元420和數(shù)據(jù)I/O控制單元430?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM。可以通過(guò)修改圖8的圖像處理設(shè)備30來(lái)實(shí)現(xiàn)根據(jù)本實(shí)施例的圖像處理設(shè)備40。以下，將主要描述圖11的實(shí)施例和圖8的實(shí)施例之間的差異以避免重復(fù)。

在本實(shí)施例中，第一圖像處理單元410包括第一存儲(chǔ)器控制器(MC1)411，第二圖像處理單元420包括第二存儲(chǔ)器控制器(MC2)421。在實(shí)施例中，在第一數(shù)據(jù)D1的第二I/O模式下(即，DMA模式)第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421被激活，并在第一數(shù)據(jù)D1的第一I/O模式下(即，直接模式)第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421被去激活。以下，將描述當(dāng)?shù)谝粩?shù)據(jù)D1的I/O模式是第二I/O模式時(shí)第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421的操作。

第一圖像處理單元410順序?qū)Φ谝蛔訄D像數(shù)據(jù)SID1和第二子圖像數(shù)據(jù)SID2執(zhí)行第一圖像處理操作以生成第一子數(shù)據(jù)SD1和第二子數(shù)據(jù)SD2。當(dāng)生成第一子數(shù)據(jù)SD1時(shí)，第一存儲(chǔ)器控制器411將寫(xiě)入命令和第一子數(shù)據(jù)SD1提供到存儲(chǔ)器MEM，以控制施加到第一子數(shù)據(jù)SD1的寫(xiě)入操作。隨后，當(dāng)生成第二子數(shù)據(jù)SD2時(shí)，第一存儲(chǔ)器控制器411將寫(xiě)入命令和第二子數(shù)據(jù)SD2提供到存儲(chǔ)器MEM，以控制施加到第二子數(shù)據(jù)SD2的寫(xiě)入操作。

第二圖像處理單元420順序?qū)Φ谝蛔訑?shù)據(jù)SD1和第二子數(shù)據(jù)SD2執(zhí)行第二圖像處理操作，以生成第二數(shù)據(jù)D2。當(dāng)?shù)谝蛔訑?shù)據(jù)SD1被寫(xiě)入到存儲(chǔ)器MEM時(shí)，第二存儲(chǔ)器控制器421將讀取命令提供到存儲(chǔ)器MEM以讀取第一子數(shù)據(jù)SD1。隨后，當(dāng)?shù)诙訑?shù)據(jù)SD2被寫(xiě)入到存儲(chǔ)器MEM時(shí)，第二存儲(chǔ)器控制器421將讀取命令提供到存儲(chǔ)器MEM以讀取第二子數(shù)據(jù)SD2。

根據(jù)本實(shí)施例，第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421中的每一個(gè)控制存儲(chǔ)器MEM，以使第二圖像處理單元420能夠在第一子數(shù)據(jù)SD1被寫(xiě)入存儲(chǔ)器MEM之后在第二子數(shù)據(jù)SD2被寫(xiě)入存儲(chǔ)器MEM之前從存儲(chǔ)器MEM讀取第一子數(shù)據(jù)SD1并且對(duì)第一子數(shù)據(jù)SD1執(zhí)行第二圖像處理操作。因此，根據(jù)本實(shí)施例，可以類(lèi)似于圖10的IP2b實(shí)現(xiàn)第二圖像處理單元420的操作。

圖12是更加詳細(xì)地示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖11的第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421的框圖。

參照?qǐng)D12，第一存儲(chǔ)器控制器411包括第一控制器4111和第一計(jì)數(shù)器4113，第二存儲(chǔ)器控制器421包括第二控制器4211、第二計(jì)數(shù)器4213和比較器4215。以下，將參照?qǐng)D11和圖12描述第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421的操作。

當(dāng)生成第一子數(shù)據(jù)SD1時(shí)，第一控制器4111將寫(xiě)入命令WCMD提供到存儲(chǔ)器MEM。此外，在第一控制器4111將寫(xiě)入命令WCMD提供到存儲(chǔ)器MEM之后，第一控制器4111增加第一計(jì)數(shù)器4113的計(jì)數(shù)值。第二計(jì)數(shù)器4213連接到第一計(jì)數(shù)器4113。在實(shí)施例中，在第一計(jì)數(shù)器4113的計(jì)數(shù)值增加的同時(shí)第二計(jì)數(shù)器4213的計(jì)數(shù)值增加。比較器4215將預(yù)定值與第二計(jì)數(shù)器4213的計(jì)數(shù)值進(jìn)行比較，并且當(dāng)預(yù)定值與第二計(jì)數(shù)器4213的計(jì)數(shù)值匹配時(shí)，比較器4215將預(yù)定輸出信號(hào)提供到第二控制器4211。第二控制器4211可以從比較器4215接收輸出信號(hào)，以將讀取命令RCMD提供到存儲(chǔ)器MEM。在實(shí)施例中，預(yù)定值是第二計(jì)數(shù)器4213的之前值，并且每當(dāng)比較器4215確定計(jì)數(shù)器4213的當(dāng)前值比之前值大一時(shí)，第二控制器4211將讀取命令RCMD提供到存儲(chǔ)器MEM以檢索存儲(chǔ)的子數(shù)據(jù)。

在本實(shí)施例中，第一計(jì)數(shù)器4113執(zhí)行記錄第一子數(shù)據(jù)SD1被寫(xiě)入存儲(chǔ)器MEM時(shí)的時(shí)間的記錄單元的功能，第二計(jì)數(shù)器4213和比較器均都執(zhí)行感測(cè)第一子數(shù)據(jù)SD1被寫(xiě)入存儲(chǔ)器MEM時(shí)的時(shí)間的感測(cè)單元的功能。然而，本實(shí)施例不限于此，并且可以根據(jù)實(shí)施例對(duì)記錄單元與感測(cè)單元的每一個(gè)的配置進(jìn)行各種修改。

在本實(shí)施例中，第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421分別包括在第一圖像處理單元410和第二圖像處理單元420中，但是本實(shí)施例不限于此。在示例性實(shí)施例中，第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421位于第一圖像處理單元410和第二圖像處理單元420外部。在示例性實(shí)施例中，第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421被實(shí)現(xiàn)為位于第一圖像處理單元410或第二圖像處理單元420中的單個(gè)控制器。

圖13是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備50的框圖。

參照?qǐng)D13，圖像處理設(shè)備50包括圖像信號(hào)處理器500和存儲(chǔ)器MEM。圖像信號(hào)處理器500包括第一圖像處理單元510、第二圖像處理單元520、數(shù)據(jù)I/O控制單元530和存儲(chǔ)器控制器540?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM?？梢酝ㄟ^(guò)修改圖8的圖像處理設(shè)備30來(lái)實(shí)現(xiàn)根據(jù)本實(shí)施例的圖像處理設(shè)備50。以下，將主要描述圖13的實(shí)施例和圖8的實(shí)施例之間的差異以避免重復(fù)。

當(dāng)施加縮放結(jié)束命令時(shí)，數(shù)據(jù)I/O控制單元530將圖像處理設(shè)備50的操作模式確定為正常模式，并且將第一數(shù)據(jù)D1的I/O模式確定為第一I/O模式(例如，圖3的MD1)。此外，數(shù)據(jù)I/O控制單元530輸出第一I/O模式作為模式信號(hào)MD。然而，在施加縮放結(jié)束命令之前的縮放模式下，根據(jù)第二I/O模式(例如，圖2的MD2)經(jīng)由存儲(chǔ)器MEM將第一數(shù)據(jù)D1輸入到第二圖像處理單元520，由于這個(gè)原因，在第一圖像處理單元510和第二圖像處理單元520之間發(fā)生延時(shí)。因此，第二圖像處理單元的操作可以比第一圖像處理單元510的操作慢。然而，當(dāng)?shù)谝粩?shù)據(jù)的D1的I/O模式根據(jù)模式信號(hào)MD立即改變?yōu)榈谝籌/O模式時(shí)，發(fā)生尚未由第二圖像處理部520處理的幀的丟失。

根據(jù)本實(shí)施例，數(shù)據(jù)I/O控制單元530包括模式改變控制器(MC_CU)531(例如，控制器電路)。當(dāng)施加縮放結(jié)束命令時(shí)，模式改變控制器531檢查第二圖像處理單元520的處理狀態(tài)，并且基于檢查結(jié)果改變第一數(shù)據(jù)D1的I/O模式。然而，本實(shí)施例不限于此。例如，模式改變控制器531可以位于數(shù)據(jù)I/O控制單元530外部。在實(shí)施例中，模式改變控制器531位于第一圖像處理單元510和第二圖像處理單元520中的至少一個(gè)的內(nèi)部。

模式改變控制器531可以從存儲(chǔ)器控制器540接收寫(xiě)入指針WP和讀取指針RP。在此，寫(xiě)入指針WP可以指示已經(jīng)由第一圖像處理單元510完成的寫(xiě)入操作的存儲(chǔ)器MEM的位置。寫(xiě)入指針WP可以指示存儲(chǔ)器MEM中已經(jīng)完成寫(xiě)入操作的區(qū)域的地址。此外，讀取指針RP可以指示已經(jīng)由第二圖像處理單元520完成的讀取操作的存儲(chǔ)器MEM的位置。讀取指針RP可以指示存儲(chǔ)器MEM中已經(jīng)完成讀取操作的區(qū)域的地址。

當(dāng)施加縮放結(jié)束命令時(shí)，模式改變控制器531將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較，并且當(dāng)寫(xiě)入指針WP與讀取指針RP匹配時(shí)，模式改變控制器531將第一數(shù)據(jù)D1的I/O模式從第二I/O模式改變?yōu)榈谝籌/O模式。在本實(shí)施例中，模式改變控制器531在空閑時(shí)間段(例如，圖6的Vblank)執(zhí)行將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較的比較操作以及I/O模式改變操作。例如，初始將寫(xiě)入指針WP和讀取指針RP設(shè)置在存儲(chǔ)器MEM內(nèi)的相同位置，然后當(dāng)?shù)谝粩?shù)據(jù)D1的最后部分(例如，子數(shù)據(jù)SD2)被寫(xiě)入到存儲(chǔ)器MEM時(shí)，寫(xiě)入指針WP前進(jìn)到下一個(gè)位置。如果隨后施加縮放結(jié)束命令，則在將I/O模式設(shè)置到第一I/O模式之前，模式改變控制器531可以等待直到讀取指針RP也前進(jìn)到下一個(gè)位置為止。

圖14是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖。

參照?qǐng)D14，根據(jù)實(shí)施例的圖像處理方法可以是由圖像處理設(shè)備在時(shí)間上連續(xù)執(zhí)行的方法，例如，根據(jù)實(shí)施例的圖像處理方法可以包括由圖13的圖像處理設(shè)備50按時(shí)間順序執(zhí)行的操作。詳細(xì)地，根據(jù)實(shí)施例的圖像處理方法可以包括由圖13的模式改變控制器531按時(shí)間順序執(zhí)行的操作。以下，將參照?qǐng)D13和圖14描述對(duì)應(yīng)于模式改變控制器531的操作的圖像處理方法。

在操作S110，模式改變控制器531接收指示第一I/O模式的模式信號(hào)。這里，第一I/O模式可以是直接模式。例如，數(shù)據(jù)I/O控制單元530生成模式信號(hào)MD并將生成的模式信號(hào)MD提供到模式改變控制器531。然而，本實(shí)施例不限于此，模式改變控制器531可以接收縮放結(jié)束命令以執(zhí)行下面將描述的操作。

在操作S130，模式改變控制器531將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較。模式改變控制器531可以在空閑周期將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較。在操作S150，模式改變控制器531確定寫(xiě)入指針WP與讀取指針RP是否匹配。當(dāng)確定寫(xiě)入指針WP與讀取指針RP匹配時(shí)，執(zhí)行操作S170，并且當(dāng)確定寫(xiě)入指針WP與讀取指針RP不匹配時(shí)，執(zhí)行操作S190。

在操作S170，模式改變控制器531將數(shù)據(jù)I/O式改變?yōu)榈谝籌/O模式。當(dāng)確定寫(xiě)入指針WP與讀取指針RP匹配時(shí)，模式改變控制器531確定第二圖像處理單元520已經(jīng)讀取由第一圖像處理單元510寫(xiě)入存儲(chǔ)器MEM的相應(yīng)幀的所有第一數(shù)據(jù)D1。換句話(huà)說(shuō)，模式改變控制器531確定第二圖像處理單元520已經(jīng)完成了讀取第一數(shù)據(jù)D1的讀取操作。因此，模式改變控制器531允許第一數(shù)據(jù)D1根據(jù)第一I/O模式在第一圖像處理單元510和第二圖像處理單元520之間傳送。

在操作S190，模式改變控制器531維持第二I/O模式。當(dāng)確定寫(xiě)入指針WP與讀取指針RP不匹配時(shí)，模式改變控制器531確定第二圖像處理單元520尚未讀取由第一圖像處理單元510寫(xiě)入存儲(chǔ)器MEM的相應(yīng)幀的所有第一數(shù)據(jù)D1。換句話(huà)說(shuō)，模式改變控制器531確定第二圖像處理單元520尚未完成讀取第一數(shù)據(jù)D1的讀取操作。因此，模式改變控制器531允許第一數(shù)據(jù)D1繼續(xù)根據(jù)第二I/O模式在第一圖像處理單元510和第二圖像處理單元520之間傳送，從而防止幀丟失。

圖15示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備50中的模式改變控制邏輯CL1的示例。

圖像處理設(shè)備50包括配備有圖15的模式改變控制邏輯CL1的任意硬件塊。例如，圖13的模式改變控制器531可以是配備有模式改變控制邏輯CL1的硬件塊。在當(dāng)前時(shí)間段是垂直空閑時(shí)間段且I/O模式被設(shè)置為直接模式的情況下，當(dāng)寫(xiě)入指針與讀取指針匹配時(shí)，根據(jù)本實(shí)施例的模式改變控制邏輯CL1將I/O模式確定為直接模式，當(dāng)寫(xiě)入指針與讀取指針不匹配時(shí)，模式改變控制邏輯CL1將I/O模式確定為DMA模式。

圖16是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備60的框圖。

參照?qǐng)D16，圖像處理設(shè)備60包括圖像信號(hào)處理器600和存儲(chǔ)器MEM。圖像信號(hào)處理器600包括第一圖像處理單元610、第二圖像處理單元620和數(shù)據(jù)I/O控制單元630?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM?？梢酝ㄟ^(guò)修改圖11的圖像處理設(shè)備40來(lái)實(shí)現(xiàn)根據(jù)本實(shí)施例的圖像處理設(shè)備60。以下，將主要描述圖16的實(shí)施例和圖11的實(shí)施例之間的差異以避免重復(fù)。

在本實(shí)施例中，第一圖像處理單元610包括第一存儲(chǔ)器控制器(MC1)611和第一模式改變控制器(MC_CU1)613，第二圖像處理單元620包括第二存儲(chǔ)器控制器(MC2)621和第二模式改變控制器(MC_CU2)623。第一存儲(chǔ)器控制器611和第二存儲(chǔ)器控制器621可以分別以基本上類(lèi)似于圖11的第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421的方式被實(shí)現(xiàn)。

第一模式改變控制器613從第一存儲(chǔ)器控制器611接收寫(xiě)入指針WP。此外，第一模式改變控制器613從第二存儲(chǔ)器控制器621或第二模式改變控制器623接收讀取指針RP。當(dāng)施加縮放結(jié)束命令時(shí)，第一模式改變控制器613將接收的寫(xiě)入指針WP與接收的讀取指針RP進(jìn)行比較，并且當(dāng)寫(xiě)入指針WP與讀取指針RP匹配時(shí)，第一模式改變控制器613將第一數(shù)據(jù)D1的I/O模式從第二I/O模式(例如，圖3的MD2)改變?yōu)榈谝籌/O模式(例如，圖3的MD1)。在本實(shí)施例中，第一模式改變控制器613在空閑時(shí)間段(例如，圖6的Vblank)執(zhí)行將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較的比較操作以及I/O模式改變操作。

第二模式改變控制器623從第二存儲(chǔ)器控制器621接收讀取指針RP。此外，第二模式改變控制器623從第一存儲(chǔ)器控制器611或第一模式改變控制器613接收寫(xiě)入指針WP。當(dāng)施加縮放結(jié)束命令時(shí)，第二模式改變控制器623將接收的寫(xiě)入指針WP與接收的讀取指針RP進(jìn)行比較，并且當(dāng)寫(xiě)入指針WP與讀取指針RP匹配時(shí)，第二模式改變控制器623將第一數(shù)據(jù)D1的I/O模式從第二I/O模式改變?yōu)榈谝籌/O模式。在本實(shí)施例中，第二模式改變控制器623在空閑時(shí)間段(例如，圖6的Vblank)執(zhí)行將寫(xiě)入指針WP與讀取指針RP進(jìn)行比較的比較操作以及I/O模式改變操作。

如上所述，根據(jù)本實(shí)施例，可以在第一模式改變控制器613和第二模式改變控制器623中的每一個(gè)中設(shè)置圖15所示的模式改變控制邏輯CL1。然而，本實(shí)施例不限于此。在其他實(shí)施例中，可以在第一模式改變控制器613或第二模式改變控制器623中設(shè)置圖15所示的模式改變控制邏輯CL1。

圖17是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備70的框圖。

參照?qǐng)D17，圖像處理裝置70包括圖像信號(hào)處理器700和存儲(chǔ)器MEM。圖像信號(hào)處理器700包括第一圖像處理單元710、第二圖像處理單元720和數(shù)據(jù)I/O控制單元730?？梢詤⒄?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM?？梢酝ㄟ^(guò)修改圖11的圖像處理設(shè)備40來(lái)實(shí)現(xiàn)根據(jù)本實(shí)施例的圖像處理設(shè)備70。以下，將主要描述圖17的實(shí)施例和圖11的實(shí)施例之間的差異以避免重復(fù)。

在本實(shí)施例中，第一圖像處理單元710包括第一存儲(chǔ)器控制器(MC1)711，第二圖像處理單元720包括第二存儲(chǔ)器控制器(MC2)721、模式改變控制器(MC_CU)723和內(nèi)部緩沖器(I_BUF)725。內(nèi)部緩沖器725可以任意地存儲(chǔ)從存儲(chǔ)器MEM讀取的第一數(shù)據(jù)D1。第一存儲(chǔ)器控制器711和第二存儲(chǔ)器控制器721可以分別以基本上類(lèi)似于圖11的第一存儲(chǔ)器控制器411和第二存儲(chǔ)器控制器421的方式被實(shí)現(xiàn)。

模式改變控制器723從第二存儲(chǔ)器控制器721接收讀取指針RP。這里，讀取指針RP可以指示已經(jīng)由第二圖像處理單元720完成的讀取操作的存儲(chǔ)器MEM的位置。讀取指針RP可以指示存儲(chǔ)器MEM中已經(jīng)完成讀取操作的區(qū)域的地址。因此，模式改變控制器723可以檢查針對(duì)存儲(chǔ)在存儲(chǔ)器MEM中的第一數(shù)據(jù)D1執(zhí)行第二圖像處理單元720的讀取操作的范圍。詳細(xì)地，模式改變控制器723可以檢查讀取指針RP，以確定第二圖像處理單元720是否已經(jīng)讀取對(duì)應(yīng)于預(yù)定圖像大小(例如，縮放區(qū))的所有第一數(shù)據(jù)D1。

此外，模式改變控制器723從內(nèi)部緩沖器725接收緩沖器指針BP。這里，緩沖器指針BP可以指示已經(jīng)由第二圖像處理單元720完成對(duì)存儲(chǔ)在內(nèi)部緩沖器725中的第一數(shù)據(jù)D1的第二圖像處理操作的位置。緩沖器指針BP可以指示內(nèi)部緩沖器725中已經(jīng)完成第二圖像處理操作的區(qū)域的地址。因此，模式改變控制器723可以確定內(nèi)部緩沖器725是否為空，并且因此可以確定針對(duì)從存儲(chǔ)器MEM讀取的第一數(shù)據(jù)D1是否已經(jīng)完成第二圖像處理操作。

當(dāng)施加縮放結(jié)束命令時(shí)，模式改變控制器723基于讀取指針RP和緩沖器指針BP將第一數(shù)據(jù)D1的I/O模式從第二I/O模式改變?yōu)榈谝籌/O模式。在實(shí)施例中，模式改變控制器723基于讀取指針RP確定針對(duì)第一數(shù)據(jù)D1是否已經(jīng)完成讀取操作，并且基于緩沖器指針BP確定針對(duì)讀取的第一數(shù)據(jù)D1是否已經(jīng)完成第二圖像處理操作。當(dāng)確定針對(duì)第一數(shù)據(jù)D1已經(jīng)完成讀取操作和第二圖像處理操作時(shí)，模式改變控制器723將第一數(shù)據(jù)D1的I/O模式從第二I/O模式改變?yōu)榈谝籌/O模式。

圖18是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖。

參照?qǐng)D18，根據(jù)實(shí)施例的圖像處理方法可以是由圖像處理設(shè)備按時(shí)間順序執(zhí)行的方法，例如，可以包括由圖17的圖像處理設(shè)備70按時(shí)間順序執(zhí)行的操作。詳細(xì)地，根據(jù)實(shí)施例的圖像處理方法可以包括由圖17的模式改變控制器723按時(shí)間順序執(zhí)行的操作。以下，將參照?qǐng)D17和圖18描述對(duì)應(yīng)于模式改變控制器723的操作的圖像處理方法。

在操作S210，模式改變控制器723接收指示第一I/O模式的模式信號(hào)。這里，第一I/O模式可以是直接模式。例如，數(shù)據(jù)I/O控制單元730生成模式信號(hào)MD，并且將生成的模式信號(hào)MD提供給模式改變控制器723。然而，本實(shí)施例不限于此，并且模式改變控制器723可以代替接收縮放結(jié)束命令以執(zhí)行下面將要描述的操作。

在操作S220，模式改變控制器723檢查內(nèi)部緩沖器725的緩沖器指針BP。在操作S230，模式改變控制器723基于緩沖器指針確定內(nèi)部緩沖器725是否為空。當(dāng)確定內(nèi)部緩沖器725為空時(shí)，執(zhí)行操作S260，并且當(dāng)確定內(nèi)部緩沖器725不為空時(shí)，執(zhí)行操作S270。

在操作S240，模式改變控制器723檢查讀取指針RP。在操作S250，模式改變控制器723基于讀取指針RP確定第一數(shù)據(jù)D1是否已經(jīng)被讀取。當(dāng)確定第一數(shù)據(jù)D1已經(jīng)被讀取時(shí)，執(zhí)行操作S260，并且當(dāng)確定第一數(shù)據(jù)D1尚未被完全讀取時(shí)，執(zhí)行操作S270。

在操作S260，模式改變控制器723將第一數(shù)據(jù)D1的I/O模式從第二I/O模式改變?yōu)榈谝籌/O模式。當(dāng)內(nèi)部緩沖器725為空且第一數(shù)據(jù)D1已經(jīng)被讀取時(shí)，第一圖像處理單元710確定第二圖像處理單元720已經(jīng)讀取由第一圖像處理單元710寫(xiě)入存儲(chǔ)器MEM的相應(yīng)幀的所有第一數(shù)據(jù)D1，并且還確定第二圖像處理單元720已經(jīng)完成對(duì)第一數(shù)據(jù)D1的第二圖像處理操作。因此，模式改變控制器723允許第一數(shù)據(jù)D1根據(jù)第一I/O模式在第一圖像處理單元710和第二圖像處理單元720之間傳送。

在操作S270，模式改變控制器723維持第一數(shù)據(jù)D1的I/O模式為第二I/O模式。當(dāng)內(nèi)部緩沖器725不為空時(shí)，模式改變控制器723確定第二圖像處理單元720尚未完成對(duì)第一數(shù)據(jù)D1的第二圖像處理操作。因此，模式改變控制器723允許第一數(shù)據(jù)D1繼續(xù)根據(jù)第二I/O模式在第一圖像處理單元710和第二圖像處理單元720之間傳送，從而防止幀丟失。

圖19示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖17的圖像處理設(shè)備70中的模式改變控制邏輯CL2的示例。

圖像處理設(shè)備70包括配備有圖19的模式改變控制邏輯CL2的任意硬件塊。例如，圖18的模式改變控制器723可以是配備有模式改變控制邏輯CL2的硬件塊。在當(dāng)前時(shí)間段是垂直空閑時(shí)間段且I/O模式被設(shè)置為直接模式的情況下，當(dāng)?shù)诙D像處理單元720的內(nèi)部緩沖器725為空且第二圖像處理單元720已經(jīng)讀取對(duì)應(yīng)于預(yù)定圖像區(qū)的所有第一數(shù)據(jù)D1時(shí)，根據(jù)本實(shí)施例的模式改變控制邏輯CL2將I/O模式確定為直接模式，否則，模式改變控制邏輯CL2將I/O模式確定為DMA模式。

圖20是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理設(shè)備80的框圖。

參照?qǐng)D20，圖像處理設(shè)備80包括圖像信號(hào)處理器800和存儲(chǔ)器MEM。圖像信號(hào)處理器800包括第一圖像處理單元810、第二圖像處理單元820、數(shù)據(jù)I/O控制單元830和時(shí)鐘模塊840。可以參照?qǐng)D1的以上描述實(shí)現(xiàn)存儲(chǔ)器MEM?？梢酝ㄟ^(guò)修改圖1的圖像處理設(shè)備10來(lái)實(shí)現(xiàn)根據(jù)本實(shí)施例的圖像處理設(shè)備80。以下，將主要描述圖12的實(shí)施例和圖1的實(shí)施例之間的差異以避免重復(fù)。

在實(shí)施例中，第一圖像處理單元810和第二圖像處理單元820、數(shù)據(jù)I/O控制單元830和時(shí)鐘模塊840均被實(shí)現(xiàn)為SoC。在實(shí)施例中，第一圖像處理單元810和第二圖像處理單元820、數(shù)據(jù)I/O控制單元830和時(shí)鐘模塊840位于應(yīng)用處理器內(nèi)。在實(shí)施例中，時(shí)鐘模塊840位于圖像信號(hào)處理器800外部。

時(shí)鐘模塊840(例如，時(shí)鐘電路)將時(shí)鐘信號(hào)提供到包括在在圖像信號(hào)處理器800中的多個(gè)IP。在實(shí)施例中，時(shí)鐘模塊840提高提供到第二圖像處理單元820的時(shí)鐘信號(hào)的頻率。在實(shí)施例中，當(dāng)施加縮放結(jié)束命令時(shí)，時(shí)鐘模塊840提高提供到第二圖像處理單元820的時(shí)鐘信號(hào)的頻率。

圖21是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的根據(jù)圖20的時(shí)鐘模塊840的控制第一圖像處理單元810和第二圖像處理單元820的操作的時(shí)序圖。

參照?qǐng)D20和圖21，在第一圖像處理單元810對(duì)第四幀執(zhí)行第一圖像處理操作時(shí)，圖像處理設(shè)備80接收縮放結(jié)束命令ZE。例如，當(dāng)在對(duì)應(yīng)于縮放模式的第二I/O模式(即，在DMA模式)下的第二圖像處理單元820的操作尚未完成的狀態(tài)下，在第五幀和第五幀之后的幀中第一數(shù)據(jù)D1的I/O模式被改變?yōu)榈谝籌/O模式(即直接模式)時(shí)，第二圖像處理單元820不能對(duì)與已經(jīng)由第一圖像處理單元810執(zhí)行第一圖像處理操作的第四幀和第五幀對(duì)應(yīng)的第一數(shù)據(jù)D1執(zhí)行第二圖像處理操作。由于這個(gè)原因，在第四幀和第五幀中發(fā)生幀丟失。

IP2c表示當(dāng)施加縮放結(jié)束命令ZE時(shí)在時(shí)鐘模塊840將具有第一時(shí)鐘頻率的時(shí)鐘信號(hào)提供到第二圖像處理單元820的情況下第二圖像處理單元820的操作。在這種情況下，第四幀到第六幀之間的空閑時(shí)間段被縮短，并且第二處理單元820的操作速度可提高。根據(jù)實(shí)施例，在第六幀和第七幀之間的空閑時(shí)間段檢查到第二圖像處理單元820已經(jīng)對(duì)第六幀執(zhí)行了第二圖像處理操作。因此，在第七幀和第七幀之后的幀中，第一數(shù)據(jù)D1在第一I/O模式下(即，直接模式)在第一圖像處理單元810和第二圖像處理單元820之間傳送。

IP2d表示當(dāng)施加縮放結(jié)束命令ZE時(shí)在時(shí)鐘模塊840將具有高于第一時(shí)鐘頻率的第二時(shí)鐘頻率的時(shí)鐘信號(hào)提供到第二圖像處理單元820的情況下第二圖像處理單元820的操作。在這種情況下，第四幀和第五幀之間的空閑時(shí)間段被縮短，并且第二處理單元820的操作速度可能會(huì)進(jìn)一步提高。根據(jù)實(shí)施例，在第五幀和第六幀之間的空閑時(shí)間段檢查到第二圖像處理單元820已經(jīng)對(duì)第五幀執(zhí)行了第二圖像處理操作。因此，在第六幀和第六幀之后的幀中，第一數(shù)據(jù)D1在第一I/O模式下(即，直接模式)在第一圖像處理單元810和第二圖像處理單元820之間傳送。

根據(jù)上述實(shí)施例，由于時(shí)鐘模塊840提高提供到第二圖像處理單元820的時(shí)鐘頻率，因此在施加縮放結(jié)束命令ZE之后第一數(shù)據(jù)D1的I/O模式被改變?yōu)榈谝籌/O模式的時(shí)間變得更早。因此，總體考慮圖像處理設(shè)備80的操作狀態(tài)，時(shí)鐘模塊840可以確定提供到第二圖像處理單元820的時(shí)鐘頻率，并且可以將具有確定的時(shí)鐘頻率的時(shí)鐘信號(hào)提供到第二圖像處理單元820。

圖22是示出根據(jù)本發(fā)明構(gòu)思的實(shí)施例的圖像處理設(shè)備中的第一和第二圖像處理單元的操作的時(shí)序圖。

參照?qǐng)D22，根據(jù)實(shí)施例的圖像處理設(shè)備(例如，10至80)可以包括第一圖像處理單元IP1和第二圖像處理單元IP2，并且由第一圖像處理單元IP1生成的第一數(shù)據(jù)可以根據(jù)像處理設(shè)備的操作模式(例如，直接模式或DMA模式)被傳送到第二圖像處理單元IP2。

在正常模式下，第一圖像處理單元IP1根據(jù)直接模式將第一數(shù)據(jù)直接傳送到第二圖像處理單元IP2。因此，可以減小第一圖像處理單元IP1和第二圖像處理單元IP2之間的延遲和功耗。

在縮放模式下，第一圖像處理單元IP1根據(jù)DMA模式經(jīng)由存儲(chǔ)器將第一數(shù)據(jù)傳送到第二圖像處理單元IP2。第一圖像處理單元IP1可以順序生成第一子數(shù)據(jù)和第二子數(shù)據(jù)。圖像處理設(shè)備可以控制存儲(chǔ)器，以使第二圖像處理單元IP2在第一子數(shù)據(jù)寫(xiě)入到存儲(chǔ)器之后且在第二子數(shù)據(jù)寫(xiě)入到存儲(chǔ)器之前讀取存儲(chǔ)在存儲(chǔ)器中的第一子數(shù)據(jù)。因此，類(lèi)似于直接模式，在DMA模式下第一數(shù)據(jù)減小延遲，從而防止在正常模式改變?yōu)榭s放模式的操作中幀被延遲。

例如，圖像處理設(shè)備可以包括配備有圖15或圖19的模式改變控制邏輯的硬件，因此可以防止當(dāng)縮放模式改變?yōu)檎ＤＪ綍r(shí)發(fā)生的幀丟失。此外，圖像處理設(shè)備可以提高提供到第二圖像處理單元IP2的時(shí)鐘信號(hào)的頻率，從而在施加縮放結(jié)束命令之后提前第一數(shù)據(jù)的I/O模式從DMA模式改變?yōu)橹苯幽Ｊ降臅r(shí)間。

如上所述，根據(jù)本實(shí)施例，由于基于圖像處理設(shè)備的操作模式動(dòng)態(tài)確定包括在圖像處理設(shè)備中的IP之間的數(shù)據(jù)I/O模式，因此可以減少功耗，可以減少使用的存儲(chǔ)器的容量，并且可以減少延遲。此外，可以防止I/O模式從直接模式改變?yōu)镈MA模式時(shí)的幀延遲，并且可以防止當(dāng)I/O模式從DMA模式改變?yōu)橹苯幽Ｊ綍r(shí)發(fā)生的幀丟失。

圖23是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖。

參照?qǐng)D23，可以由根據(jù)上述實(shí)施例之一的圖像處理設(shè)備按時(shí)間順序執(zhí)行根據(jù)實(shí)施例的圖像處理方法。因此，以上參照?qǐng)D1至圖22描述的細(xì)節(jié)可以應(yīng)用到本實(shí)施例。

在操作S310，通過(guò)對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作生成第一數(shù)據(jù)。在操作S330，基于第一數(shù)據(jù)的I/O模式，將第一數(shù)據(jù)輸出到第二圖像處理單元或存儲(chǔ)器。在操作S350，基于第一數(shù)據(jù)的I/O模式，從第一圖像處理單元或存儲(chǔ)器接收第一數(shù)據(jù)。在操作S370，通過(guò)對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作生成第二數(shù)據(jù)。

圖24是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖像處理方法的流程圖。

參照?qǐng)D24，可以由根據(jù)上述實(shí)施例之一的圖像處理設(shè)備按時(shí)間順序執(zhí)行根據(jù)實(shí)施例的圖像處理方法。因此，參照?qǐng)D1至圖22描述的細(xì)節(jié)可以應(yīng)用到本實(shí)施例。

在操作S410，基于圖像處理設(shè)備的操作模式確定第一數(shù)據(jù)的I/O模式。在操作S430，通過(guò)對(duì)圖像數(shù)據(jù)執(zhí)行第一圖像處理操作生成第一數(shù)據(jù)，并且基于I/O模式輸出第一數(shù)據(jù)。在操作S450，基于I/O模式接收第一數(shù)據(jù)，并且通過(guò)對(duì)第一數(shù)據(jù)執(zhí)行第二圖像處理操作生成第二數(shù)據(jù)。

圖25是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的應(yīng)用處理器900的框圖。

參照?qǐng)D25，應(yīng)用處理器900包括多級(jí)互連總線(xiàn)910、連接到多級(jí)互連總線(xiàn)910的中央處理器(CPU)920、多媒體單元930、存儲(chǔ)器裝置(DRAM)940和外圍電路950。應(yīng)用處理器900可以由各種類(lèi)型的處理器實(shí)現(xiàn)，并且例如，可以被實(shí)現(xiàn)為SoC。

可以使用應(yīng)用基于總線(xiàn)標(biāo)準(zhǔn)的協(xié)議的總線(xiàn)實(shí)現(xiàn)多級(jí)互連總線(xiàn)910。例如，總線(xiàn)標(biāo)準(zhǔn)可以使用ARM的先進(jìn)微控制器總線(xiàn)架構(gòu)(AMBA)協(xié)議。AMBA協(xié)議的總線(xiàn)類(lèi)型可以包括先進(jìn)高性能總線(xiàn)(AHB)、先進(jìn)外圍總線(xiàn)(APB)、先進(jìn)可擴(kuò)展接口(AXI)、AX14或AXI一致性擴(kuò)展(ACE)。上述總線(xiàn)類(lèi)型中的AXI是IP之間的接口協(xié)議，并且提供多個(gè)突出(outstanding)地址功能和數(shù)據(jù)交叉功能。此外，其它類(lèi)型的協(xié)議也可以應(yīng)用到多層互連總線(xiàn)910，諸如SONICs Inc.的nNetwork、IBM的CoreConnect和/或OCP-IP的開(kāi)放核心協(xié)議。

圖25示出的多個(gè)IP中的每一個(gè)IP可以被實(shí)現(xiàn)為執(zhí)行唯一操作的功能塊。例如，CPU 920可以對(duì)應(yīng)于主IP，并且可以控制應(yīng)用處理器900的整體操作。此外，多媒體單元930可以包括根據(jù)上述實(shí)施例之一的圖像信號(hào)處理器(例如，100、200、300、400、500、600、700或800)。此外，多媒體單元930可以根據(jù)上述實(shí)施例之一執(zhí)行圖像處理方法。存儲(chǔ)器裝置940可以是用于臨時(shí)存儲(chǔ)關(guān)于應(yīng)用處理器900的操作的各種信息的存儲(chǔ)器，例如，存儲(chǔ)器裝置940可以包括DRAM。此外，外圍電路950可以包括用于與外部源接口的各種接口，并且還可以包括用于實(shí)現(xiàn)應(yīng)用處理器900的其他功能的各種外圍裝置。例如，外圍電路950可以包括除了DRAM之外的其他存儲(chǔ)器，或者可以包括用于訪(fǎng)問(wèn)外部存儲(chǔ)裝置的元件。

圖26是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的電子裝置1000的框圖。

參照?qǐng)D26，電子裝置1000包括圖像傳感器1100、應(yīng)用處理器1200、存儲(chǔ)器1300和顯示器1400?？梢允褂锚?dú)立的半導(dǎo)體芯片實(shí)現(xiàn)圖像傳感器1100，并且還可以使用與應(yīng)用處理器1200組合的一個(gè)半導(dǎo)體芯片實(shí)現(xiàn)圖像傳感器1100。圖像傳感器1100可以是將光學(xué)像轉(zhuǎn)換成電信號(hào)的半導(dǎo)體裝置，例如，可以是CMOS圖像傳感器。

應(yīng)用處理器1200包括CPU 1210、圖像信號(hào)處理器(ISP)1220和顯示控制器1230。ISP 1220可以是上述圖像信號(hào)處理器100、200、300、400、500、600、700和800中的一個(gè)。應(yīng)用處理器1200可以包括在根據(jù)上述實(shí)施例之一的圖像信號(hào)處理器中(例如，100、200、300、400、500、600、700或800)。

顯示器1400可以根據(jù)顯示控制器1230的控制顯示圖像?？梢允褂靡壕э@示器(LCD)、薄膜晶體管液晶顯示器(TFT-LCD)、發(fā)光二極管(LED)顯示器、有機(jī)發(fā)光二極管(OLED)顯示器、有源矩陣OLED(AMOLED)顯示器等實(shí)現(xiàn)顯示器1400。

圖27是示出根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的電子系統(tǒng)2000和接口的框圖。

參照?qǐng)D27，可以使用能夠使用或支持移動(dòng)行業(yè)處理器接口(MIPI)的數(shù)據(jù)處理裝置(例如，移動(dòng)電話(huà)、個(gè)人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)或智能電話(huà))實(shí)現(xiàn)電子系統(tǒng)2000。電子系統(tǒng)2000包括應(yīng)用處理器2010、圖像傳感器2040和顯示器2050?？梢愿鶕?jù)參照?qǐng)D1至圖26描述的實(shí)施例實(shí)現(xiàn)應(yīng)用處理器2010。

應(yīng)用處理器2010的相機(jī)串行接口(CSI)主機(jī)2012通過(guò)CSI與圖像傳感器2040的CSI裝置2041執(zhí)行串行通信。在這種情況下，CSI主機(jī)2012可以包括解串器，CSI裝置2041可以包括光學(xué)串行器。光學(xué)串行器可以包括多個(gè)光學(xué)調(diào)制器。例如，每個(gè)光學(xué)調(diào)制器可以被配置為接收?qǐng)D像數(shù)據(jù)的比特并且示出表示相應(yīng)比特的值的光脈沖。

應(yīng)用處理器2010的顯示器串行接口(DSI)主機(jī)2011可以通過(guò)DSI與顯示器2050的DSI裝置2051執(zhí)行串行通信。在這種情況下，DSI主機(jī)2011可以包括光學(xué)串行器，DSI裝置2051可以包括光學(xué)解串器。

電子系統(tǒng)2000還可以包括用于與應(yīng)用處理器2010執(zhí)行通信的射頻(RF)芯片2060。電子系統(tǒng)2000的物理(PHY)2013和RF芯片2060的PHY 2061可以根據(jù)MIPI DigRF在其間發(fā)送或接收數(shù)據(jù)。電子系統(tǒng)2000還可以包括全球定位系統(tǒng)(GPS)2020、存儲(chǔ)裝置2070、麥克風(fēng)2080、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)2085和揚(yáng)聲器2090。此外，電子系統(tǒng)2000可以通過(guò)使用用于微波接入(WiMAX)2030、無(wú)線(xiàn)局域網(wǎng)絡(luò)(WLAN)2100和超寬帶(UWB)2110的全球互通執(zhí)行通信。

可以使用各種類(lèi)型的封裝實(shí)現(xiàn)根據(jù)上述實(shí)施例的應(yīng)用處理器或圖像處理設(shè)備。例如，可以通過(guò)使用封裝(諸如疊層封裝(PoP)、球柵陣列(BGA)、芯片級(jí)封裝(CSP)、塑料有引線(xiàn)芯片載體(PLCC)、塑料雙列直插式封裝(PDIP)、以疊片包裝裸片(die)、以晶圓形成裸片、板上芯片(COB)、陶瓷雙列直插式封裝(CERDIP)、塑料度量四方扁平封裝(MQFP)、薄型四方扁平封裝(TQFP)、小外形(SOIC)、緊縮小型封裝(SSOP)、薄型小外形(TSOP)、系統(tǒng)級(jí)封裝(SIP)、多芯片封裝(MCP)、晶圓級(jí)制造的封裝(WFP)和/或晶圓級(jí)處理的堆疊封裝(WSP))安裝應(yīng)用處理器或圖像處理設(shè)備中的至少一些元件。

盡管已經(jīng)參照本發(fā)明構(gòu)思的實(shí)施例具體示出和描述了本發(fā)明構(gòu)思，但是將理解，在不脫離本發(fā)明構(gòu)思的實(shí)施例的情況下，可以對(duì)其進(jìn)行形式和細(xì)節(jié)的各種改變。