圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種進(jìn)行高分辨率處理的圖像處理裝置以及記錄介質(zhì)。
【背景技術(shù)】
[0002] 作為在圖像處理以及影像處理中所使用的重要的技術(shù)，已知有倍增（upscaling) 處理。例如，隨著與近年來(lái)的FHD(Full High Definition，全高清）分辨率對(duì)應(yīng)的顯示器的 普及，為了將SD(Standard Definition，標(biāo)清）分辨率的影像內(nèi)容顯示于FHD分辨率顯示 器，需要倍增處理。此外，與超過(guò)FHD分辨率的QFHD (Quad Full High Definition，四倍全 高清）分辨率對(duì)應(yīng)的顯示器正在被開(kāi)發(fā)，進(jìn)一步超過(guò)QFHD的UHD(Ultra High Definition， 超高清）分辨率的顯示器也正在被研宄。這樣，隨著顯示器的高分辨率化推進(jìn)，高性能的倍 增處理的重要性正在提高。
[0003] 倍增處理作為一般的技術(shù)，具有最鄰近插值（nearest neighbor)、雙一次插值 (雙線性插值）、雙三次插值（bicubic插值）的插值方法。最鄰近插值使用位于距離參照 的位置最近的位置的像素值來(lái)進(jìn)行插值，若放大率變高則相同的像素持續(xù)幾個(gè)，因此灰度 再現(xiàn)劣化，此外，邊緣部變成鋸齒狀。雙一次插值使用參照的位置的周邊的2X2像素（4像 素），將像素值線性地插值來(lái)求取像素值，雖然精度比最鄰近插值好，但由于使用經(jīng)線性插 值的像素值，因此模糊。雙三次插值使用參照的位置的周邊的4X4像素（16像素），通過(guò)三 次式來(lái)進(jìn)行插值并求取像素值，與最鄰近插值、雙一次插值相比性能好，但是存在在邊緣部 產(chǎn)生鋸齒的問(wèn)題。
[0004] 專利文獻(xiàn)1記載了不需復(fù)雜的處理而對(duì)圖像以及影像高質(zhì)量地進(jìn)行倍增處理的 方法。專利文獻(xiàn)1記載的倍增處理首先使用在傾斜方向上相鄰的低分辨率輸入像素來(lái)生成 傾斜高分辨率（HR)像素。接下來(lái)，使用在水平方向上相鄰的低分辨率輸入像素、以及在垂 直方向上相鄰的傾斜高分辨率（HR)像素來(lái)生成水平高分辨率（HR)像素。最后，使用在垂 直方向上相鄰的低分辨率輸入像素、以及在水平方向上相鄰的傾斜高分辨率（HR)像素來(lái) 生成垂直高分辨率（HR)像素，由此生成高分辨率（HR)圖像。此外，在生成各高分辨率（HR) 像素時(shí)，進(jìn)行控制以使距離邊緣方向近的方向的權(quán)重大、且遠(yuǎn)離邊緣方向的方向的權(quán)重小。 由此，不產(chǎn)生過(guò)沖（overshoot)，抑制鋸齒偽影（joggy artifacts)。
[0005] 在先技術(shù)文獻(xiàn)
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1 :日本公開(kāi)專利公報(bào)"特開(kāi)2010-67272號(hào)公報(bào)（2010年3月25日公 開(kāi)）"

【發(fā)明內(nèi)容】

[0008] -發(fā)明要解決的課題-
[0009] 但是，專利文獻(xiàn)1所示的倍增處理用于生成位于所輸入的低分辨率像素的中間的 插值像素。對(duì)低分辨率輸入像素的右下像素值進(jìn)行計(jì)算，接下來(lái)，使用右下像素值的計(jì)算結(jié) 果來(lái)對(duì)低分辨率輸入像素的右像素值、以及下像素值進(jìn)行計(jì)算，由于始終根據(jù)一個(gè)低分辨 率輸入像素來(lái)新生成3個(gè)輸出像素，因此難以實(shí)現(xiàn)2倍以外的任意倍率放大處理。
[0010] 此外，雖然通過(guò)同時(shí)采用作為現(xiàn)有技術(shù)的雙一次插值和雙三次插值的插值方法， 能夠進(jìn)行任意倍率放大處理，但其結(jié)果是，會(huì)產(chǎn)生上述這些插值方法的問(wèn)題。
[0011] 進(jìn)一步地，專利文獻(xiàn)1中被考慮的邊緣的方向被限定于水平方向、垂直方向、45° 方向以及-45°方向。因此，在這些之間存在傾斜方向的邊緣時(shí)，不能參照適當(dāng)方向的像素， 因此有時(shí)會(huì)變?yōu)椴蛔匀坏牟逯到Y(jié)果。為了將邊緣的方向更細(xì)分，考慮參照寬度更寬的范圍 的像素。但是，在該情況下，特別是為了參照遠(yuǎn)離垂直方向的像素，需要安裝更多的行緩沖 器。其原因是可參照的像素的范圍取決于可安裝的行緩沖器的根數(shù)。此外，存在為了參照 寬度寬的范圍的像素而處理耗時(shí)的問(wèn)題。
[0012] 本發(fā)明為了解決上述課題而作出，本發(fā)明的目的在于，提供一種能夠進(jìn)行實(shí)現(xiàn)任 意倍率放大處理、且抑制了畫(huà)質(zhì)的降低以及處理時(shí)間的增大的圖像處理的圖像處理裝置以 及記錄介質(zhì)。
[0013] -解決課題的手段-
[0014] 為了解決上述課題，本發(fā)明的一方式所涉及的圖像處理裝置是一種依照所設(shè)定的 放大縮小率并通過(guò)在所輸入的圖像數(shù)據(jù)中包含的輸入像素之間設(shè)置插值像素來(lái)對(duì)上述圖 像數(shù)據(jù)進(jìn)行放大縮小的圖像處理裝置，具備：參照塊設(shè)定部，其對(duì)包含上述插值像素的參照 塊進(jìn)行設(shè)定；邊緣梯度方向設(shè)定部，其使用上述參照塊內(nèi)的輸入像素來(lái)設(shè)定插值像素的邊 緣梯度方向；參照像素設(shè)定部，其設(shè)定作為具有與上述邊緣梯度方向垂直的2邊的四邊形 的頂點(diǎn)的4個(gè)參照像素；參照像素值設(shè)定部，其在上述參照像素位于上述參照塊外的情況 下，求取以該參照像素為一端的上述四邊形的一邊與上述參照塊的邊界線的交點(diǎn)，將與該 交點(diǎn)相鄰的參照塊內(nèi)的輸入像素確定為相鄰輸入像素，并基于該相鄰輸入像素與該交點(diǎn)的 距離以及該相鄰輸入像素的濃度值來(lái)估計(jì)作為該參照像素的濃度值的參照像素值，而在上 述參照像素位于上述參照塊內(nèi)的情況下，將與參照像素為相同位置的輸入像素的濃度值設(shè) 為參照像素值；以及插值像素值計(jì)算部，其使用上述4個(gè)參照像素的參照像素值來(lái)計(jì)算上 述插值像素的濃度值。
[0015] 此外，本發(fā)明的一方式所涉及的圖像處理裝置是一種依照所設(shè)定的放大縮小率并 通過(guò)在所輸入的圖像數(shù)據(jù)中包含的輸入像素之間設(shè)置插值像素來(lái)對(duì)上述圖像數(shù)據(jù)進(jìn)行放 大縮小的圖像處理裝置，具備：參照塊設(shè)定部，其對(duì)包含上述插值像素的參照塊進(jìn)行設(shè)定； 邊緣梯度方向設(shè)定部，其使用上述參照塊內(nèi)的輸入像素來(lái)設(shè)定插值像素的邊緣梯度方向； 參照像素設(shè)定部，其設(shè)定作為具有與上述邊緣梯度方向垂直的2邊的四邊形的頂點(diǎn)的4個(gè) 參照像素；參照像素值設(shè)定部，其在上述參照像素位于上述參照塊外的情況下，求取以該參 照像素為一端的上述四邊形的一邊與上述參照塊的邊界線的交點(diǎn)，將與該交點(diǎn)相鄰的參照 塊內(nèi)的輸入像素確定為相鄰輸入像素，并基于該相鄰輸入像素與該交點(diǎn)的距離以及該相鄰 輸入像素的濃度值來(lái)估計(jì)作為該參照像素的濃度值的參照像素值，而在上述參照像素位于 上述參照塊內(nèi)的情況下，將與參照像素為相同位置的輸入像素的濃度值設(shè)為參照像素值； 第1插值處理部，其使用上述4個(gè)參照像素的參照像素值來(lái)計(jì)算取決于上述插值像素的邊 緣梯度方向的濃度值即第1插值值；第2插值處理部，其使用不取決于上述邊緣梯度方向的 插值處理來(lái)計(jì)算不取決于上述插值像素的邊緣梯度方向的濃度值即第2插值值；可靠度計(jì) 算部，其計(jì)算由上述邊緣梯度方向設(shè)定部設(shè)定的邊緣梯度方向的可靠度；以及混合處理部， 其基于上述可靠度來(lái)決定分別針對(duì)上述第1插值值以及第2插值值的加權(quán)系數(shù)，并使用決 定的加權(quán)系數(shù)將上述第1插值值與上述第2插值值相加，來(lái)計(jì)算上述插值像素的濃度值。
[0016] -發(fā)明效果-
[0017] 根據(jù)本發(fā)明，能夠進(jìn)行實(shí)現(xiàn)任意倍率放大處理、且抑制了畫(huà)質(zhì)的降低以及處理時(shí) 間的增大的圖像處理。
【附圖說(shuō)明】
[0018] 圖1是表示本發(fā)明的實(shí)施方式1所涉及的電視接收機(jī)的結(jié)構(gòu)的概況的框圖。
[0019] 圖2是表示圖1所示的影像信號(hào)處理電路的結(jié)構(gòu)的框圖。
[0020] 圖3是表示圖2所示的縮放處理部的結(jié)構(gòu)的框圖。
[0021] 圖4是表示針對(duì)插值像素的參照塊的設(shè)定例的圖。
[0022] 圖5是表示1次微分濾波器的一個(gè)例子的圖。
[0023] 圖6是表示針對(duì)輸入像素而計(jì)算出的邊緣梯度的一個(gè)例子的圖。
[0024] 圖7是表示邊緣梯度方向的各個(gè)區(qū)域的圖。
[0025] 圖8是表示使用了邊緣梯度G= (Gx，Gy)的邊緣梯度方向的設(shè)定處理的流程的流 程圖。
[0026] 圖9是表示圖3所示的插值處理部的結(jié)構(gòu)的框圖。
[0027] 圖10是表示參照塊M = N = 4、邊緣梯度方向的分割數(shù)NB = 12的情況下的、相對(duì) 于插值像素的邊緣梯度方向Φ的平行四邊形的設(shè)定例的圖。
[0028] 圖11是表示插值像素的位置與將臨時(shí)參照坐標(biāo)作為頂點(diǎn)的平行四邊形的位置的 關(guān)系的圖。
[0029] 圖12A是表示將參照塊設(shè)為M = N = 6、LHMax= LV Max= 5,將邊緣梯度方向的分割 數(shù)設(shè)為NB = 20的情況下的、邊緣梯度方向BQ、Bn-B19中的臨時(shí)參照坐標(biāo)4個(gè)點(diǎn)的設(shè)定例的 圖。
[0030] 圖12B是表示將參照塊設(shè)為M = N = 6、LHMax= LV Max= 5,將邊緣梯度方向的分割 數(shù)設(shè)為NB = 20的情況下的、邊緣梯度方向B1-Bltl中的臨時(shí)參照坐標(biāo)4個(gè)點(diǎn)的設(shè)定例的圖。
[0031] 圖13是表示圖9所示的參照像素值設(shè)定部所執(zhí)行的臨時(shí)參照坐標(biāo)的像素值的設(shè) 定處理的流程圖。
[0032] 圖14是表示臨時(shí)參照坐標(biāo)處于參照塊外的情況下的臨時(shí)參照坐標(biāo)的像素值的設(shè) 定方法的圖。
[0033] 圖15是表示圖9所示的插值像素值計(jì)算部所執(zhí)行的處理的流程圖的圖。
[0034] 圖16是表示對(duì)插值像素的像素值進(jìn)行計(jì)算的方法的圖，（a)是Φ屬于第1方向 群的情況，（b)是Φ屬于第2方向群的情況。
[0035] 圖17是表示對(duì)插值像素的像素值進(jìn)行計(jì)算的方法的圖。
[0036] 圖18是表示用于求取邊緣梯度的多個(gè)1次微分濾波器的例子的圖。
[0037] 圖19是表示為了決定插值像素的邊緣梯度方向而選擇出的ND個(gè)對(duì)象像素的例子 的圖。
[0038] 圖20是表示用于求取邊緣梯度方向的模板的圖。
[0039] 圖21是表示本發(fā)明的實(shí)施方式2所涉及的電視接收機(jī)具備的縮放處理部的結(jié)構(gòu) 的框圖。
[0040] 圖22是表示圖21所示的邊緣梯度方向設(shè)定部的結(jié)構(gòu)的框圖。
[0041] 圖23是表示圖21所示的可靠度計(jì)算部的處理例的流程圖。
[0042] 圖24是表示圖21所示的可靠度計(jì)算部使用的查詢表的一個(gè)例子的圖。
[0043] 圖25是表示不取決于邊緣梯度方向的Lanczos插值處理中使用的加權(quán)系數(shù)的分 布（η = 2的情況）的圖。
[0044] 圖26是表示圖21所示的可靠度計(jì)算部的另一處理例的流程圖。
[0045] 圖27是表示圖21所示的可靠度計(jì)算部使用的查詢表的另一例子的圖。
[0046] 圖28是表示縮放處理部的變形例的框圖。
[0047] 圖29是表示圖28所示的邊緣梯度方向設(shè)定部的結(jié)構(gòu)的框圖。
[0048] 圖30是表示用于修正可靠度的濾波器的例子的圖。
[0049