實(shí)施圖像處理的信息處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理技術(shù)，并且特別地涉及一種用于生成在基于學(xué)習(xí)的超分辨率處理中使用的詞典。
【背景技術(shù)】
[0002]關(guān)于圖像處理，已經(jīng)已知各種有關(guān)技術(shù)。
[0003]例如，作為用于從輸入圖像(例如，低分辨率圖像)生成恢復(fù)的圖像(例如，高分辨率圖像)的技術(shù)的示例，已知超分辨率技術(shù)。在超分辨率技術(shù)之中，用于使用詞典來生成高分辨率圖像的技術(shù)特別地被稱為基于學(xué)習(xí)的超分辨率技術(shù)。以上提到的詞典是通過學(xué)習(xí)各自包括學(xué)習(xí)圖像(一般為高質(zhì)量圖像)和與學(xué)習(xí)圖像對應(yīng)的劣化的圖像(例如，通過減少學(xué)習(xí)圖像的分辨率而創(chuàng)建的圖像)的情況而被創(chuàng)建的詞典。由超分辨率技術(shù)生成的恢復(fù)的圖像也被稱為超分辨率圖像。
[0004]PTLl公開了字符識別設(shè)備的示例。在PTL I中公開的字符識別設(shè)備執(zhí)行超分辨率處理以識別牌照等上的在用相機(jī)拍攝的對象圖像中包括的字符。
[0005]字符識別設(shè)備通過使用數(shù)據(jù)庫(詞典)來執(zhí)行超分辨率處理，在該數(shù)據(jù)庫(詞典)中，低分辨率詞典圖像、低分辨率詞典圖像的特征值和高分辨率詞典圖像相互關(guān)聯(lián)。以上提到的低分辨率詞典圖像是已經(jīng)利用用來拍攝對象圖像的相機(jī)拍攝的字符的圖像。特征值是基于低分辨率詞典圖像中的相應(yīng)低分辨率詞典圖像計(jì)算出的特征值。高分辨率詞典圖像是已經(jīng)用具有比用來拍攝對象圖像的相機(jī)更高的分辨率的相機(jī)拍攝的字符的圖像。
[0006]PTL 2公開了超分辨率圖像處理設(shè)備的示例。在PTL 2中公開的超分辨率圖像處理設(shè)備從低分辨率原有圖像(輸入圖像數(shù)據(jù))輸出高分辨率圖像。
[0007]超分辨率圖像處理設(shè)備使用已經(jīng)由詞典創(chuàng)建設(shè)備生成的詞典表和其它信息以在通過向輸入圖像數(shù)據(jù)應(yīng)用超分辨率圖像處理來生成輸出圖像數(shù)據(jù)時(shí)推斷丟失的高頻分量。以上提到的詞典表和其它信息是詞典表、第一主分量基矢量和第二主分量基矢量。詞典創(chuàng)建設(shè)備通過以下過程生成為具體情景而優(yōu)化的詞典表和其它信息。
[0008]首先，詞典創(chuàng)建設(shè)備從采樣圖像文件獲取作為處理對象的分段的位圖、將獲取的位圖分解成多個(gè)分解的位圖并且在臨時(shí)表中的記錄中存儲分解的位圖。
[0009]接著，詞典創(chuàng)建設(shè)備按順序向分解的位圖應(yīng)用MP(Max-Plus)小波變換處理、排列處理、主分量分析處理、內(nèi)積運(yùn)算處理和頻率分割處理，并且在臨時(shí)表中的相應(yīng)字段中存儲處理的結(jié)果。在主分量分析處理中，詞典創(chuàng)建設(shè)備計(jì)算第一主分量基矢量和第二主分量基矢量。
[0010]最后，詞典創(chuàng)建設(shè)備使用均值運(yùn)算單元來創(chuàng)建具有比臨時(shí)表更小數(shù)目的記錄的詞典表。該詞典表不同于以上描述的基于學(xué)習(xí)的超分辨率技術(shù)的詞典。也就是說，該詞典表不是通過學(xué)習(xí)其中學(xué)習(xí)圖像與劣化的圖像關(guān)聯(lián)的情況而創(chuàng)建的詞典。
[0011]PTL 3公開了圖像超分辨率設(shè)備的示例。在PTL 3中公開的圖像超分辨率設(shè)備從由于編碼和解碼而劣化的輸入圖像生成用預(yù)設(shè)的放大率放大的超分辨率圖像。以上提到的編碼和解碼是通過預(yù)設(shè)的編碼方法的編碼和解碼。具體而言，圖像超分辨率設(shè)備通過以下處理生成超分辨率圖像。
[0012]第一，圖像超分辨率設(shè)備將輸入圖像分割成預(yù)先固定的大小的塊，并且切割出塊中的相應(yīng)塊作為處理塊。接著，圖像超分辨率設(shè)備通過用預(yù)先固定的放大率放大處理塊來生成放大的處理塊。預(yù)先固定的放大率是圖像超分辨率設(shè)備在圖像超分辨率設(shè)備生成超分辨率圖像時(shí)用來放大輸入圖像的放大率。
[0013]第二，圖像超分辨率設(shè)備在塊存儲裝置中相互關(guān)聯(lián)地寫入?yún)⒖級K和劣化的參考塊。以上提到的參考塊是從輸入圖像切割出的并且具有與處理塊的大小相同的大小的塊。以上提到的劣化的參考塊是參考塊通過具體劣化過程被劣化成的塊。具體劣化過程是在假設(shè)輸入圖像是待生成的超分辨率圖像已經(jīng)通過劣化過程被劣化成的圖像。具體而言，圖像超分辨率設(shè)備使用基于已經(jīng)用來劣化輸入圖像的編碼方法的劣化模型(模擬預(yù)定義的正交變換、量化等的模型)來劣化參考塊以生成劣化的參考塊。
[0014]第三，圖像超分辨率設(shè)備計(jì)算在劣化的參考塊與處理塊之間的相似性。
[0015]第四。圖像超分辨率設(shè)備用預(yù)先固定的放大率放大劣化的參考塊以生成恢復(fù)的參考塊。另外，圖像超分辨率設(shè)備計(jì)算在恢復(fù)的參考塊與參考塊之間的差值作為損失分量。
[0016]第五，圖像超分辨率設(shè)備基于相似性組合放大的處理塊與損失分量以生成超分辨率塊。圖像超分辨率設(shè)備將超分辨率塊構(gòu)造成圖像以生成輸入圖像被放大成的超分辨率圖像。
[0017]引用列表
[0018]專利文獻(xiàn)
[0019][PTL I]日本待審專利申請公開號2005-149395
[0020][PTL 2]日本待審專利申請公開號2013-026659
[0021][PTL 3]日本待審專利申請公開號2012-113513

【發(fā)明內(nèi)容】

[0022]技術(shù)問題
[0023]然而，在引用列表中引用的文獻(xiàn)中公開的以上描述的技術(shù)具有的問題在于有其中不可能獲得為了從輸入圖像生成希望的恢復(fù)的圖像(超分辨率圖像)而需要的和在基于學(xué)習(xí)的超分辨率處理中使用的詞典的情況。
[0024]這是因?yàn)閷ο蜉斎雸D像應(yīng)用的劣化過程的準(zhǔn)確估計(jì)是困難并且復(fù)雜的。
[0025]具體而言，在PLTI中公開的字符識別設(shè)備并未估計(jì)對象圖像的劣化過程。在字符識別設(shè)備中，低分辨率詞典圖像(等效于在基于學(xué)習(xí)的超分辨率處理中使用的詞典中的劣化的圖像)是已經(jīng)利用用來拍攝對象圖像的相機(jī)拍攝的字符的圖像。也就是說，在數(shù)據(jù)庫(詞典)中包括的低分辨率詞典圖像不是通過估計(jì)對象圖像的劣化過程而獲得的圖像。
[0026]PTL 2中的超分辨率圖像處理設(shè)備基于采樣圖像文件(等效于在基于學(xué)習(xí)的超分辨率處理中使用的詞典中的學(xué)習(xí)圖像)、通過使用函數(shù)等的運(yùn)算來生成詞典表和其它信息。詞典表和其它信息是為具體情景而優(yōu)化的詞典、但不是通過執(zhí)行對劣化過程的估計(jì)而獲得的詞典。
[0027]由PTL3中的圖像超分辨率設(shè)備執(zhí)行的超分辨率處理是在劣化過程預(yù)先清楚時(shí)的超分辨率處理。因此，圖像超分辨率設(shè)備不能處理其劣化過程不清楚的輸入圖像。
[0028]另外，難以通過技術(shù)(如盲去卷積等)來估計(jì)準(zhǔn)確劣化過程。以上提到的盲去間距是以自然圖像為目標(biāo)的、用于從測量的信號恢復(fù)原有信號的方法。另外，用戶(操作者)基于經(jīng)驗(yàn)等來估計(jì)準(zhǔn)確劣化過程是困難和非常復(fù)雜的。
[0029]本發(fā)明的目的是提供一種能夠解決以上描述的問題的信息處理設(shè)備、圖像處理方法和程序或者記錄程序的非瞬態(tài)計(jì)算機(jī)可讀記錄介質(zhì)。
[0030]對問題的解決方案
[0031]根據(jù)本發(fā)明的一個(gè)示例性方面的一種信息處理設(shè)備包括:圖像獲取裝置，該圖像獲取裝置用于獲取多個(gè)第一學(xué)習(xí)圖像和輸入圖像；以及估計(jì)裝置，該估計(jì)裝置用于在第一學(xué)習(xí)圖像中的與輸入圖像中的任意區(qū)域?qū)?yīng)的區(qū)域基于多個(gè)劣化過程中的相應(yīng)劣化過程被劣化時(shí)，基于在任意區(qū)域與多個(gè)第一劣化的圖像中的相應(yīng)第一劣化的圖像之間的第一相似性來輸出估計(jì)的劣化過程，其中估計(jì)的劣化過程對應(yīng)于劣化過程中的如下劣化過程:該劣化過程與輸入圖像中的區(qū)域有關(guān)。
[0032]根據(jù)本發(fā)明的一個(gè)示例性方面的一種圖像處理方法，該圖像處理方法使用實(shí)施圖像處理方法的計(jì)算機(jī)，該圖像處理方法包括:獲取多個(gè)第一學(xué)習(xí)圖像和輸入圖像；以及在第一學(xué)習(xí)圖像中的與輸入圖像中的任意區(qū)域?qū)?yīng)的區(qū)域基于多個(gè)劣化過程中的相應(yīng)劣化過程被劣化時(shí)，基于在任意區(qū)域與多個(gè)第一劣化的圖像中的相應(yīng)第一劣化的圖像之間的第一相似性來輸出估計(jì)的劣化過程。
[0033]根據(jù)本發(fā)明的一個(gè)示例性方面的一種記錄程序的非瞬態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，該程序使得計(jì)算機(jī)執(zhí)行以下處理:獲取多個(gè)第一學(xué)習(xí)圖像和輸入圖像；以及在第一學(xué)習(xí)圖像中的與輸入圖像中的任意區(qū)域?qū)?yīng)的區(qū)域基于多個(gè)劣化過程中的相應(yīng)劣化過程被劣化時(shí)，基于在任意區(qū)域與多個(gè)第一劣化的圖像中的相應(yīng)第一劣化的圖像之間的第一相似性來輸出估計(jì)的劣化過程。
[0034]本發(fā)明的有利效果
[0035]本發(fā)明具有的有利效果在于變得有可能準(zhǔn)確地估計(jì)向輸入圖像應(yīng)用的劣化過程并且獲得為了從輸入圖像生成希望的恢復(fù)的圖像而需要的詞典。
【附圖說明】
[0036][圖1]圖1是圖示了根據(jù)本發(fā)明的第一示例性實(shí)施例的劣化過程估計(jì)設(shè)備的配置的框圖。
[0037][圖2]圖2是圖示了包括根據(jù)第一示例性實(shí)施例的劣化過程估計(jì)設(shè)備的圖像處理系統(tǒng)的配置的框圖。
[0038][圖3]圖3是圖示了第一示例性實(shí)施例中的對應(yīng)性信息的示例的示圖。
[0039][圖4]圖4是圖示了第一示例性實(shí)施例中的在學(xué)習(xí)圖像、劣化的圖像、輸入圖像、特征矢量和相似性之間的關(guān)系的示圖。
[0040][圖5]圖5是用于說明第一示例性實(shí)施例中的對估計(jì)的劣化過程的選擇的示圖。
[0041][圖6]圖6是圖示了實(shí)現(xiàn)根據(jù)第一示例性實(shí)施例的劣化過程估計(jì)設(shè)備的計(jì)算機(jī)的硬件配置的框圖。
[0042][圖7]圖7是圖示了第一示例性實(shí)施例中的劣化過程估計(jì)設(shè)備的操作的流程圖。
[0043][圖8]圖8是圖示了根據(jù)第一示例性實(shí)施例的劣化過程估計(jì)設(shè)備的具體配置的示例的框圖。
[0044][圖9]圖9是圖示了根據(jù)第一示例性實(shí)施例的第一變形的劣化過程估計(jì)設(shè)備的具體配置的示例的框圖。
[0045][圖10]圖10是圖示了根據(jù)第一示例性實(shí)施例的第二變形的劣化過程估計(jì)設(shè)備的具體配置的示例的框圖。
[0046][圖11]圖11是圖示了第一示例性實(shí)施例的第二變形中的劣化信息的示例的示圖。
[0047][圖12]圖12是圖示了第一示例性實(shí)施例的第二變形中的劣化信息的另一示例的示圖。
[0048][圖13]圖13是圖示了根據(jù)本發(fā)明的第二示例性實(shí)施例的劣化過程估計(jì)設(shè)備的配置的框圖。
[0049][圖14]圖14是圖示了包括根據(jù)第二示例性實(shí)施例的劣化過程估計(jì)設(shè)備的圖像處理系統(tǒng)的配置的框圖。
[0050][圖15]圖15是圖示了根據(jù)本發(fā)明的第三示例性實(shí)施例的劣化過程估計(jì)設(shè)備的配置的框圖。
[0051][圖16]圖16是圖示了包括根據(jù)第三示例性實(shí)施例的劣化過程估計(jì)設(shè)備的圖像處理系統(tǒng)的配置的框圖。
[0052][圖17]圖17是圖示了第三示例性實(shí)施例中的在學(xué)習(xí)圖像、恢復(fù)的圖像和相似性之間的關(guān)系的不圖。
[0053][圖18]圖18是圖示了第三示例性實(shí)施例中的學(xué)習(xí)圖像選擇單元的操作的流程圖。
[0054][圖19]圖19是圖示了第三示例性實(shí)施例中的學(xué)習(xí)單元的配置的框圖。
[0055][圖20]圖20是用于說明第三示例性實(shí)施例中的對詞典的生成的示圖。
[0056][圖21]圖21是圖示了第三示例性實(shí)施例中的恢復(fù)單元的配置的框圖。
[0057][圖22]圖22是描述了第三示例性實(shí)施例中的對恢復(fù)的圖像的生成的示圖。
[0058][圖23]圖23是圖示了第三示例性實(shí)施例中的小片的示例的示圖。
【具體實(shí)施方式】
[0059]將參照附圖具體地描述用于實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例。在說明書中描述的相應(yīng)附圖和示例性實(shí)施例中，向相同部件指派相同標(biāo)號，并且將適當(dāng)?shù)厥÷云涿枋觥?br>[0060]〈〈第一示例性實(shí)施例》
[0061]圖1是圖示了根據(jù)本發(fā)明的第一示例性實(shí)施例的劣化過程估計(jì)設(shè)備(也被稱為信息處理設(shè)備)100的配置的框圖。
[0062]如圖1中所示，根據(jù)本示例性實(shí)施例的劣化過程估計(jì)設(shè)備100包括圖像獲取單元150和估計(jì)單元160。
[0063]圖2是圖示了包括根據(jù)本示例性實(shí)施例的劣化過程估計(jì)設(shè)備100的圖像處理系統(tǒng)101的配置的框圖。
[0064]如圖2中所示，根據(jù)本示例性實(shí)施例的圖像處理系統(tǒng)101包括劣化過程估計(jì)設(shè)備100。學(xué)習(xí)單元102、詞典103和恢復(fù)單元104。圖像處理系統(tǒng)101也被稱為信息處理設(shè)備。
[0065]首先，將描述包括根據(jù)本示例性實(shí)施例的劣化過程估計(jì)設(shè)備100的圖像處理系統(tǒng)101的總體操作。
[0066]劣化過程估計(jì)設(shè)備獲取例如從外界輸入的學(xué)習(xí)圖像411(第一學(xué)習(xí)圖像)和輸入圖像430。學(xué)習(xí)圖像511是可以對應(yīng)于輸入圖像430并且已經(jīng)被預(yù)先預(yù)備的高分辨率圖像(高質(zhì)量圖像)。輸入圖像430是作為恢復(fù)的目標(biāo)的圖像。一般地，輸入圖像430是低質(zhì)量圖像，比如低分辨率圖像。
[0067]劣化過程估計(jì)設(shè)備100基于學(xué)習(xí)圖像411和輸入圖像430向?qū)W習(xí)單元102輸出估計(jì)的劣化過程867。估計(jì)的劣化過程867是學(xué)習(xí)單元102用來生成詞典103的圖像的劣化過程的信息(指示圖像的劣化細(xì)節(jié)的信息)。詞典103是為了恢復(fù)單元104從輸入圖像430生成希望的恢復(fù)的圖像440而需要的詞典1 3。
[0068]學(xué)習(xí)單元102獲取例如從外界輸入的學(xué)習(xí)圖像410(第二學(xué)習(xí)圖像)和從劣化過程估計(jì)設(shè)備100輸入的估計(jì)的劣化過程867。學(xué)習(xí)單元102基于學(xué)習(xí)圖像410和估計(jì)的劣化過程867生成詞典103。學(xué)習(xí)圖像410是可以對應(yīng)于輸入圖像430并且已經(jīng)被預(yù)先預(yù)備的高分辨率圖像(高質(zhì)量圖像)。學(xué)習(xí)圖像410的集合和學(xué)習(xí)圖像411的集合可以完全地重疊、部分地重疊或者根本不重疊。
[0069]具體而言，第一，基于估計(jì)的劣化過程867，學(xué)習(xí)單元102生成各自與學(xué)習(xí)圖像410之一對應(yīng)的劣化的圖像420(隨后將描述并且在圖20中圖示的第二劣化的圖像)。第一，學(xué)習(xí)單元102生成詞典103，詞典103成對地包括學(xué)習(xí)圖像410中的小片和對應(yīng)的劣化的圖像420中的小片。以上提到的小片是圖像(學(xué)習(xí)圖像410、劣化的圖像420等)被分割成的小區(qū)域之
O
[0070]恢復(fù)單元104獲取從外界輸入的輸入圖像430，并且向外界輸出恢復(fù)的圖像440。恢復(fù)單元104基于詞典103中的條目生成與輸入圖像430對應(yīng)的恢復(fù)的圖像440。
[0071]接著，將描述第一示例性實(shí)施例中的劣化過程估計(jì)設(shè)備100包括的相應(yīng)部件(圖像獲取單元150和估計(jì)單160)。圖1中所示的部件可以是與根據(jù)計(jì)算機(jī)設(shè)備的功能單元完成其劃分的硬件單元或者部件對應(yīng)的部件。這里將圖1中所示的部件描述為根據(jù)計(jì)算機(jī)設(shè)備的功能單元完成其劃分的部件。
[0072]