用于對(duì)用戶選定的興趣區(qū)域進(jìn)行超分辨的系統(tǒng)和方法
【專利說明】用于對(duì)用戶選定的興趣區(qū)域進(jìn)行超分辨的系統(tǒng)和方法
【背景技術(shù)】
[0001] 本發(fā)明的方面涉及圖像處理，并且具體來說，涉及用于對(duì)一個(gè)場(chǎng)景的多個(gè)部分進(jìn) 行超分辨的系統(tǒng)和方法。在最近幾十年中，電子裝置的使用已變得普遍。確切地說，電子技 術(shù)中的進(jìn)展已降低了愈加復(fù)雜且有用的電子裝置的成本。成本減少和消費(fèi)者需求已使電子 裝置的使用劇增，使得其在現(xiàn)代社會(huì)中幾乎隨處可見。由于電子裝置的使用已推廣開來，因 此需要電子裝置的新的且改善的特征。更確切地說，通常尋求執(zhí)行功能更快、更高效或者質(zhì) 量更高的電子裝置。
[0002] 例如數(shù)碼相機(jī)、帶有內(nèi)嵌相機(jī)的電話或其它相機(jī)或傳感器裝置的裝置可以用于創(chuàng) 建和存儲(chǔ)場(chǎng)景的圖像。在許多情況下，有大量因素限制和降低了捕獲的圖像的質(zhì)量，例如大 氣模糊、運(yùn)動(dòng)效應(yīng)、相機(jī)模糊效應(yīng)和采樣效應(yīng)。超分辨是指產(chǎn)生分辨率比給定相機(jī)傳感器可 以捕獲的分辨率更高的圖像。超分辨是一個(gè)資源密集型過程，并且對(duì)整個(gè)場(chǎng)景進(jìn)行超分辨 可能會(huì)花費(fèi)比裝置用戶優(yōu)選的更大的時(shí)間量或裝置資源。因而可能需要改善超分辨過程中 的效率的系統(tǒng)和方法。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明描述用于改善用戶選定的興趣區(qū)域的圖像質(zhì)量的方法、裝置、系統(tǒng)和計(jì)算 機(jī)可讀媒體。一個(gè)實(shí)施例可以是一種方法，其包含：使用裝置的相機(jī)模塊捕獲場(chǎng)景的至少一 個(gè)圖像；在所述裝置處接收識(shí)別興趣區(qū)域的用戶輸入，其中所述興趣區(qū)域識(shí)別所述場(chǎng)景的 至少一個(gè)圖像的小于所述至少一個(gè)圖像的完整區(qū)域的部分；以及通過如下操作使用所述場(chǎng) 景的所述至少一個(gè)圖像創(chuàng)建所述興趣區(qū)域的較高分辨率圖像：創(chuàng)建與所述興趣區(qū)域的所述 較高分辨率圖像相關(guān)聯(lián)的高分辨率柵格；識(shí)別與所述場(chǎng)景的所述至少一個(gè)圖像的所述部分 相關(guān)聯(lián)的一或多個(gè)低分辨率柵格，其中每一低分辨率柵格與一個(gè)圖像相關(guān)聯(lián)，并且其中每 一低分辨率柵格的每一點(diǎn)包括所述相機(jī)模塊捕獲的信息；確定所述高分辨率柵格與所述一 或多個(gè)低分辨率柵格中的每一者之間的對(duì)準(zhǔn)；以及用從來自所述一或多個(gè)低分辨率柵格的 對(duì)應(yīng)對(duì)準(zhǔn)像素得來的信息填充所述高分辨率柵格的每一點(diǎn)。
[0004] 此方法的額外實(shí)施例可在如下情況下起作用：其中在接收到識(shí)別興趣區(qū)域的用戶 輸入之前捕獲所述場(chǎng)景的至少一個(gè)圖像；并且其中識(shí)別所述興趣區(qū)域的用戶輸入是當(dāng)在顯 示器輸出上顯示場(chǎng)景時(shí)，在顯示器輸出上的識(shí)別所述至少一個(gè)圖像的所述部分的觸摸屏輸 入。
[0005] 此方法的額外實(shí)施例可在接收到識(shí)別興趣區(qū)域的用戶輸入之后捕獲場(chǎng)景的至少 一個(gè)圖像的情況下起作用。
[0006] 此方法的額外實(shí)施例可在如下情況下起作用：其中場(chǎng)景的至少一個(gè)圖像由場(chǎng)景的 單個(gè)圖像組成，并且其中創(chuàng)建興趣區(qū)域的較高分辨率圖像包括使用在場(chǎng)景的單個(gè)圖像中識(shí) 別的補(bǔ)片冗余從場(chǎng)景的單個(gè)圖像創(chuàng)建興趣區(qū)域的較高分辨率圖像。
[0007] 此方法的額外實(shí)施例可以進(jìn)一步包括：在所述捕獲所述場(chǎng)景的所述至少一個(gè)圖像 之前在所述裝置處接收用戶輸入，所述用戶輸入選擇有待捕獲的多個(gè)圖像以用于創(chuàng)建所述 興趣區(qū)域的所述較高分辨率圖像，其中捕獲所述至少一個(gè)圖像包括自動(dòng)捕獲所述場(chǎng)景的所 述多個(gè)圖像；以及其中創(chuàng)建所述興趣區(qū)域的較高分辨率圖像包括在多幀超分辨過程中使用 所述多個(gè)圖像中的每一圖像創(chuàng)建興趣區(qū)域的較高分辨率圖像，而不創(chuàng)建所述場(chǎng)景的在興趣 區(qū)域外部的較高分辨率圖像部分。
[0008] 此方法的額外實(shí)施例可以進(jìn)一步包括在裝置的顯示器輸出上顯示興趣區(qū)域的較 高分辨率圖像。
[0009] 此方法的額外實(shí)施例可以進(jìn)一步包括：當(dāng)在所述裝置的所述顯示器輸出上顯示所 述興趣區(qū)域的所述較高分辨率圖像的同時(shí)，識(shí)別所述裝置上可用的空閑計(jì)算機(jī)處理單元循 環(huán)；以及當(dāng)在所述顯示器輸出上顯示所述興趣區(qū)域的所述較高分辨率圖像的同時(shí)，創(chuàng)建所 述至少一個(gè)圖像的在所述興趣區(qū)域外部的至少一部分的第二較高分辨率圖像。
[0010] 此方法的額外實(shí)施例可以進(jìn)一步包括：捕獲所述裝置上的至少一個(gè)傳感器的傳感 器數(shù)據(jù)；以及使所述傳感器數(shù)據(jù)與所述至少一個(gè)圖像相關(guān)聯(lián)，其中所述傳感器數(shù)據(jù)用于創(chuàng) 建所述興趣區(qū)域的較高分辨率圖像。
[0011] 此方法的額外實(shí)施例可在所述傳感器數(shù)據(jù)包括來自裝置的加速計(jì)的運(yùn)動(dòng)數(shù)據(jù)的 情況下起作用。
[0012] 此方法的額外實(shí)施例可以進(jìn)一步包括：顯示所述興趣區(qū)域的所述較高分辨率圖像 作為預(yù)覽圖像；接收響應(yīng)于所述顯示所述預(yù)覽圖像而請(qǐng)求額外增加所述興趣區(qū)域的所述較 高分辨率圖像的分辨率的用戶輸入；以及通過如下操作使用所述場(chǎng)景的所述至少一個(gè)圖像 創(chuàng)建所述興趣區(qū)域的額外較高分辨率圖像：創(chuàng)建與所述興趣區(qū)域的所述額外較高分辨率圖 像相關(guān)聯(lián)的額外較高分辨率柵格；識(shí)別包括所述高分辨率柵格的一或多個(gè)高分辨率柵格； 確定所述額外較高分辨率柵格與所述一或多個(gè)高分辨率柵格中的每一者之間的對(duì)準(zhǔn)；以及 用從來自所述一或多個(gè)高分辨率柵格的所述對(duì)應(yīng)對(duì)準(zhǔn)像素得來的信息填充所述額外較高 分辨率柵格的每一點(diǎn)。
[0013] -個(gè)額外實(shí)施例可以是一種裝置，其包括：存儲(chǔ)器；用戶輸入模塊；相機(jī)模塊，其 包括傳感器；以及處理器，其耦合到所述存儲(chǔ)器和所述相機(jī)模塊，所述處理器經(jīng)配置以：使 用所述裝置的所述相機(jī)模塊捕獲場(chǎng)景的至少一個(gè)圖像；在所述用戶輸入模塊處接收識(shí)別興 趣區(qū)域的用戶輸入，其中所述興趣區(qū)域識(shí)別所述場(chǎng)景的至少一個(gè)圖像的小于所述至少一個(gè) 圖像的完整區(qū)域的部分；以及通過如下操作使用所述場(chǎng)景的所述至少一個(gè)圖像創(chuàng)建所述興 趣區(qū)域的較高分辨率圖像：創(chuàng)建與所述興趣區(qū)域的所述較高分辨率圖像相關(guān)聯(lián)的高分辨率 柵格；識(shí)別與所述場(chǎng)景的所述至少一個(gè)圖像的所述部分相關(guān)聯(lián)的一或多個(gè)低分辨率柵格， 其中每一低分辨率柵格與一個(gè)圖像相關(guān)聯(lián)，并且其中每一低分辨率柵格的每一點(diǎn)包括所述 相機(jī)模塊捕獲的信息；確定所述高分辨率柵格與所述一或多個(gè)低分辨率柵格中的每一者之 間的對(duì)準(zhǔn)；以及用從來自所述一或多個(gè)低分辨率柵格的對(duì)應(yīng)對(duì)準(zhǔn)像素得來的信息填充所述 高分辨率柵格的每一點(diǎn)。
[0014] 此裝置的額外實(shí)施例可以進(jìn)一步包括顯示器輸出；其中在接收到識(shí)別所述興趣區(qū) 域的所述用戶輸入之前捕獲所述場(chǎng)景的所述至少一個(gè)圖像；并且其中所述用戶輸入模塊所 述顯示器輸出的觸摸屏輸入。
[0015] 此裝置的額外實(shí)施例可在處理器進(jìn)一步經(jīng)配置以進(jìn)行以下操作的情況下起作用： 在所述裝置的所述顯示器輸出上顯示所述興趣區(qū)域的所述較高分辨率圖像。
[0016] 此裝置的額外實(shí)施例可在處理器進(jìn)一步經(jīng)配置以進(jìn)行以下操作的情況下起作用： 當(dāng)在所述裝置的所述顯示器輸出上顯示所述興趣區(qū)域的所述較高分辨率圖像的同時(shí)，識(shí)別 所述處理器上可用的空閑計(jì)算機(jī)處理單元循環(huán)；以及當(dāng)在所述顯示器輸出上顯示所述興趣 區(qū)域的所述較高分辨率圖像的同時(shí)，使用所述場(chǎng)景的所述至少一個(gè)圖像創(chuàng)建所述至少一個(gè) 圖像的在所述興趣區(qū)域外部的至少一部分的第二較高分辨率圖像。
[0017] 此裝置的額外實(shí)施例可在下面的情況下起作用：所述場(chǎng)景的至少一個(gè)圖像由所述 場(chǎng)景的單個(gè)圖像組成，并且其中創(chuàng)建所述興趣區(qū)域的較高分辨率圖像包括使用在所述場(chǎng)景 的單個(gè)圖像中識(shí)別的補(bǔ)片冗余從所述場(chǎng)景的單個(gè)圖像創(chuàng)建興趣區(qū)域的較高分辨率圖像。
[0018] 此裝置的額外實(shí)施例可在處理器進(jìn)一步經(jīng)配置以進(jìn)行以下操作的情況下起作用： 在所述捕獲所述場(chǎng)景的所述至少一個(gè)圖像之前在所述裝置處接收用戶輸入，所述用戶輸入 選擇有待捕獲的多個(gè)圖像以用于創(chuàng)建所述興趣區(qū)域的所述較高分辨率圖像。
[0019] 此裝置的額外實(shí)施例可以進(jìn)一步包括耦合到處理器的加速計(jì)，其中所述處理器 進(jìn)一步經(jīng)配置以：從所述加速計(jì)捕獲運(yùn)動(dòng)數(shù)據(jù)；使所述運(yùn)動(dòng)數(shù)據(jù)與所述至少一個(gè)圖像相關(guān) 聯(lián)；以及使用所述運(yùn)動(dòng)數(shù)據(jù)創(chuàng)建所述興趣區(qū)域的所述較高分辨率圖像。
[0020] 額外實(shí)施例可以是一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，其包括指令集，所述指令 集在由耦合到存儲(chǔ)媒體的處理器執(zhí)行時(shí)，使裝置改善用戶選定的興趣區(qū)域的圖像質(zhì)量，所 述指令包括：在所述裝置處接收?qǐng)鼍暗闹辽僖粋€(gè)圖像；在所述裝置處接收識(shí)別興趣區(qū)域的 用戶輸入，其中所述興趣區(qū)域識(shí)別所述場(chǎng)景的至少一個(gè)圖像的小于所述至少一個(gè)圖像的完 整區(qū)域的部分；以及通過如下操作使用所述場(chǎng)景的所述至少一個(gè)圖像創(chuàng)建所述興趣區(qū)域的 較高分辨率圖像：創(chuàng)建與所述興趣區(qū)域的所述較高分辨率圖像相關(guān)聯(lián)的高分辨率柵格；識(shí) 別與所述場(chǎng)景的所述至少一個(gè)圖像的所述部分相關(guān)聯(lián)的一或多個(gè)低分辨率柵格，其中每一 低分辨率柵格與一個(gè)圖像相關(guān)聯(lián)，并且其中每一低分辨率柵格的每一點(diǎn)包括相機(jī)模塊捕獲 的信息；確定所述高分辨率柵格與所述一或多個(gè)低分辨率柵格中的每一者之間的對(duì)準(zhǔn)；以 及用從來自所述一或多個(gè)低分辨率柵格的對(duì)應(yīng)對(duì)準(zhǔn)像素得來的信息填充所述高分辨率柵 格的每一點(diǎn)。
[0021] 額外實(shí)施例可在所述指令進(jìn)一步包括以下操作的情況下起作用：當(dāng)在所述裝置的 顯示器輸出上顯示所述興趣區(qū)域的所述較高分辨率圖像的同時(shí)，識(shí)別所述裝置上可用的空 閑計(jì)算機(jī)處理單元循環(huán)；以及當(dāng)在所述顯示器輸出上顯示所述興趣區(qū)域的所述較高分辨率 圖像的同時(shí)，創(chuàng)建所述至少一個(gè)圖像的在所述興趣區(qū)域外部的至少一部分的第二較高分辨 率圖像。
[0022] 額外實(shí)施例可在指令進(jìn)一步包括以下操作的情況下起作用：顯示所述興趣區(qū)域的 所述較高分辨率圖像作為預(yù)覽圖像；接收響應(yīng)于所述顯示所述預(yù)覽圖像而請(qǐng)求額外增加所 述興趣區(qū)域的所述較高分辨率圖像的分辨率的用戶輸入；以及通過如下操作使用所述場(chǎng)景 的所述至少一個(gè)圖像創(chuàng)建所述興趣區(qū)域的額外較高分辨率圖像：創(chuàng)建與所述興趣區(qū)域的所 述額外較高分辨率圖像相關(guān)聯(lián)的額外較高分辨率柵格；識(shí)別包括所述高分辨率柵格的一或 多個(gè)高分辨率柵格；確定所述額外較高分辨率柵格與所述一或多個(gè)高分辨率柵格中的每一 者之間的對(duì)準(zhǔn)；以及用從來自所述一或多個(gè)高分辨率柵格的所述對(duì)應(yīng)對(duì)準(zhǔn)像素得來的信息 填充所述額外較高分辨率柵格的每一點(diǎn)。
[0023] 通過下文提供的詳細(xì)描述，將明白其它實(shí)施例。
【附圖說明】
[0024] 參照以下各圖，可以實(shí)現(xiàn)對(duì)各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的進(jìn)一步理解。在附圖中，類 似組件或特征可具有相同參考標(biāo)記。另外，可通過在參考標(biāo)記之后跟著短劃線及在類似組 件當(dāng)中進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分相同類型的各種組件。如果說明書中只使用第一參考標(biāo) 記，那么描述適用于具有相同第一參考標(biāo)記的類似組件中的任一者，而與第二參考標(biāo)記無 關(guān)。
[0025] 圖IA示出了包括可以執(zhí)行根據(jù)本文所述的實(shí)施例的超分辨的相機(jī)的裝置的方 面；
[0026] 圖IB示出了包括可以執(zhí)行根據(jù)本文所述的實(shí)施例的超分辨的相機(jī)的裝置的方 面；
[0027] 圖2描述用于執(zhí)行根據(jù)本文所述的實(shí)施例的超分辨的方法；
[0028] 圖3示出了根據(jù)本文所述的實(shí)施例的用于使用低分辨率和高分辨率柵格來執(zhí)行 超分辨的系統(tǒng)和方法的方面；
[0029] 圖4示出了適用于各種實(shí)施例的裝置的一個(gè)實(shí)例；
[0030] 圖5描述用于執(zhí)行根據(jù)本文所述的某些實(shí)施例的超分辨的方法；
[0031] 圖6是根據(jù)某些實(shí)施例可以使用的計(jì)算裝置的一個(gè)實(shí)施方案；以及
[0032] 圖7是根據(jù)某些實(shí)施例的聯(lián)網(wǎng)計(jì)算機(jī)系統(tǒng)的一個(gè)實(shí)施方案。
【具體實(shí)施方式】
[0033] 如上所述，本文所述的實(shí)施例涉及超分辨，這是一個(gè)產(chǎn)生分辨率比創(chuàng)建超分辨圖 像的一或多個(gè)來源圖像的分辨率更高的圖像的過程。本文所述的實(shí)施例可以在期望超分 辨率時(shí)提供對(duì)裝置資源的高效使用，方法是通過使得裝置的用戶能夠識(shí)別圖像中的興趣區(qū) 域，并且使用處理資源創(chuàng)建僅僅興趣區(qū)域的超分辨率圖像，因而節(jié)省處理資源并且能實(shí)現(xiàn) 對(duì)超分辨率圖像的更快速呈現(xiàn)。
[0034] 舉例來說，對(duì)于上面有多張紙的桌子的圖像，智能電話的用戶可以激活超分辨率 模塊，其在電話顯示器中呈現(xiàn)所述圖像的預(yù)覽，并且?guī)в幸粋€(gè)界面使得能夠選擇所述圖像 的包含單張紙的部分。這樣可以使得用戶能夠在超