專利名稱：內(nèi)插的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及內(nèi)插(interpolation)。
背景技術(shù)：
內(nèi)插配置被用來(lái)例如，從圖像或者視頻處理配置中的輸入像素生成輸出像素。圖像處理一般至少是二維操作?；炯夹g(shù)包括將用于在水平方向進(jìn)行縮放的一維 (ID)濾波器與用于在豎直方向進(jìn)行縮放的相應(yīng)濾波器卷積(convolve)，以產(chǎn)生能夠利用單個(gè)2D濾波器矩陣在兩個(gè)方向?qū)D像進(jìn)行濾波和縮放的濾波器。通過(guò)對(duì)兩個(gè)正交濾波器的卷積得到的二維濾波器被對(duì)準(zhǔn)到水平和豎直軸。已經(jīng)提出，內(nèi)插濾波應(yīng)該被配置為與所檢測(cè)出的圖像特征的方向或角度對(duì)準(zhǔn)。一種角度定向?yàn)V波技術(shù)是對(duì)這樣的二維濾波器矩陣進(jìn)行旋轉(zhuǎn)，從而使得該濾波器的主軸對(duì)準(zhǔn)所檢測(cè)出的邊緣或者圖像特征。該原則背后的理論是，沿著圖像特征的長(zhǎng)度方向?qū)?zhǔn)濾波器的大多數(shù)能量。額外的階段是在垂直于邊緣的朝向的方向中增大濾波器的帶寬，以保留邊緣的銳度。帶寬增大的目的在于，進(jìn)一步增大沿著圖像特征線方向的濾波器能量。盡管這種2D邊緣定向?yàn)V波器方法可以產(chǎn)生一些好的結(jié)果，但是存在基礎(chǔ)性的技術(shù)困難。旋轉(zhuǎn)的作用在于，帶寬在兩個(gè)方向中被不期望地改變，結(jié)果輸出像素并非所期望的輸出像素。該方法的問(wèn)題對(duì)于非零偏移值(沒(méi)有與輸入或源像素對(duì)準(zhǔn)的輸出像素位置)進(jìn)一步增加；邊緣定向旋轉(zhuǎn)濾波器在被用于具有角度特征的圖像時(shí)會(huì)產(chǎn)生顯著的條帶型偽像 (striping artefacts)。本發(fā)明的目的在于，提供用于像素內(nèi)插的改進(jìn)技術(shù)。

發(fā)明內(nèi)容
本發(fā)明提供了一種像素內(nèi)插方法，其中二維數(shù)字濾波器被配置為從輸入像素的二維陣列內(nèi)插得出輸出像素，該方法包括檢測(cè)將要內(nèi)插的像素位置處的圖像特征的方向； 將剪切變換應(yīng)用于數(shù)字濾波器和/或輸出像素的陣列，以相對(duì)于二維濾波器的兩個(gè)軸中的至少第一軸將濾波器的操作映射到所檢測(cè)出的圖像特征方向；以及應(yīng)用數(shù)字濾波器來(lái)獲取輸出像素。所以，本發(fā)明的實(shí)施例不是使用旋轉(zhuǎn)，而是提供了通過(guò)剪切濾波器和/或輸入數(shù)據(jù)來(lái)對(duì)濾波器進(jìn)行整形的另一種方法。濾波器操作的剪切(即，剪切濾波器和/或輸入數(shù)據(jù))可以沿著邊緣或者圖像特征方向?qū)?zhǔn)濾波器的能量；這使得在濾波器對(duì)準(zhǔn)邊緣時(shí)能夠更好地控制濾波器的帶寬；并且在本發(fā)明的實(shí)施例中，其不會(huì)像旋轉(zhuǎn)法一樣引入很多偽像。本發(fā)明的進(jìn)一步的各個(gè)方面和特征在所附權(quán)利要求中被限定。


結(jié)合附圖，根據(jù)說(shuō)明性實(shí)施例的以下詳細(xì)描述，本發(fā)明的以上和其他目的、特征及優(yōu)點(diǎn)將是顯而易見(jiàn)的，其中
圖I和圖2示意性地示出了圖像縮放處理；
圖3是圖像縮放設(shè)備的示意性框圖4a和圖4b示意性地示出了偏差(variance)最小化處理；
圖5示意性地示出了方向計(jì)算模板；
圖6a至圖6h示意性地示出了用于角度檢測(cè)的模板；
圖7示意性地示出了一組模板偏移位置；
圖8和圖9示意性地示出了來(lái)自相鄰模板的結(jié)果的組合；
圖10示意性地示出了角度平均處理；
圖11示意性地示出了圖像角點(diǎn)(corner)；
圖12示意性地示出了角點(diǎn)軟化處理；
圖13示意性地示出了角點(diǎn)驗(yàn)證處理中的像素位置；
圖14示意性地示出了點(diǎn)估計(jì)處理；
圖15示意性地示出了角點(diǎn)一致性檢驗(yàn)；
圖16和圖17示意性地示出了 Sinc濾波器響應(yīng)；
圖18和圖19示意性地示出了旋轉(zhuǎn)后的Sinc濾波器響應(yīng)；
圖20和圖21示意性地示出了剪切后的Sinc濾波器響應(yīng)；
圖22和圖23示意性地示出了分別使用Sinc和Bicubic濾波器的數(shù)據(jù)剪切處理;
圖24至圖29示意性地示出了數(shù)據(jù)剪切處理的示例；
圖30和圖31示意性地示出了角度平均處理；
圖32示意性地示出了濾波器融合值(filter blend value)生成處理；
圖33示意性地示出了確定性值的內(nèi)插；
圖34示意性地示出了像素估計(jì)處理；
圖35示意性地示出了垂直濾波(perpendicular filtering)處理；
圖36和圖37示意性地示出了用于濾波的像素值的估計(jì)；
圖38和圖39示意性地示出了垂直濾波處理；
圖40和圖41示意性地示出了以前提出的濾波配置；
圖42和圖43示意性地示出了連續(xù)濾波操作；
圖44示意性地示出了濾波配置的實(shí)施例；
圖45示意性地示出了電視顯示設(shè)備；
圖46示意性地示出了攝影機(jī)；
圖47示意性地示出了雙三次(Bicubic)內(nèi)插；以及
圖48示意性地示出了雙三次樣條(Bicubic Spline)內(nèi)插。
具體實(shí)施例方式現(xiàn)在參考附圖，圖I和圖2示意性地示出了應(yīng)用于源圖像10的圖像縮放處理。在每種情況中，源圖像(輸入像素的二維陣列)10被圖像縮放設(shè)備20處理，以生成由輸出像素形成的更大的輸出圖像30 (圖I)或者更小的輸出圖像40 (圖2)。這里，術(shù)語(yǔ)“更大”和“更小”是指各個(gè)輸出圖像中的像素?cái)?shù)目，而不是圖像被實(shí)際顯示的格式。所以，例如，如果輸入圖像具有1920(水平)X 1080(豎直)個(gè)像素，則更大的輸出圖像30可能具有2880X1620 個(gè)像素，并且更小的輸出圖像40可能具有960X540個(gè)像素。顯然，這些像素?cái)?shù)目只是示例，并且在一般情況下圖像縮放器20可以操作以在某個(gè)縮放因子范圍內(nèi)對(duì)圖像進(jìn)行縮放， 其中該縮放因子范圍可以包括大于I的縮放因子(用于圖像放大)和/或小于I的縮放因子(用于圖像尺寸減小)。在本說(shuō)明中，作為示例，縮放因子將被表達(dá)為線性縮放因子，并且將被認(rèn)為在水平和豎直軸二者中是相同的(水平和豎直是正交方向，并且分別與水平和豎直圖像方向有關(guān)；一般，在本發(fā)明的實(shí)施例中將要討論的兩個(gè)軸是正交的)。但是，在其他實(shí)施例中，針對(duì)兩個(gè)軸的縮放因子可以不同。這里描述的圖像縮放配置使用二維數(shù)字內(nèi)插濾波技術(shù)(其中，二維數(shù)字濾波器被配置為從輸入像素的二維陣列內(nèi)插得出輸出像素)來(lái)生成縮放后的輸出圖像的像素，從而使得每個(gè)輸出像素是以包括兩個(gè)或更多個(gè)輸入像素的群組的算術(shù)組合為基礎(chǔ)的。這種濾波技術(shù)是適當(dāng)?shù)?，因?yàn)?a)當(dāng)輸入圖像將被放大時(shí)，需要在輸入圖像中不存在的像素位置處生成新的像素值；(b)如果圖像尺寸將被減小，存在相同的情況，因?yàn)槿Q于縮放因子，輸出像素位置可能并不完全與輸入像素位置對(duì)準(zhǔn)；(C)即使尺寸減小后的輸出圖像中的輸出像素位置與輸入圖像位置對(duì)準(zhǔn)，使用濾波處理而不是簡(jiǎn)單地丟棄不想要的輸入像素可以獲取在美學(xué)上更令人愉快的結(jié)果。視頻縮放是圖像縮放技術(shù)的一種重要應(yīng)用。在一個(gè)簡(jiǎn)單的水平，圖像縮放設(shè)備20 可以對(duì)形成視頻信號(hào)的圖像序列中的每個(gè)圖像進(jìn)行縮放(縮放得更大或者更小)，以形成縮放后的視頻信號(hào)。視頻縮放通常被用于不同視頻標(biāo)準(zhǔn)(諸如，標(biāo)準(zhǔn)清晰度(SD)視頻和所謂的高清晰度(HD)視頻)之間的轉(zhuǎn)換、視頻特效、視頻的精準(zhǔn)分析(諸如，在分析與天文觀測(cè)有關(guān)的視頻信號(hào)或者監(jiān)視視頻信號(hào)時(shí))、以及其他目的。圖I和圖2的設(shè)備在被配置為對(duì)視頻信號(hào)的一個(gè)或多個(gè)連續(xù)圖像進(jìn)行操作時(shí)可以被認(rèn)為是視頻縮放設(shè)備。本領(lǐng)域技術(shù)人員將明白，視頻縮放設(shè)備、方法、軟件、計(jì)算機(jī)程序產(chǎn)品等全部被認(rèn)為是本發(fā)明的實(shí)施例，并且被包括在本說(shuō)明的范圍中。特別地，當(dāng)這里描述的技術(shù)涉及圖像處理時(shí)，將明白的是該技術(shù)可以被應(yīng)用于視頻信號(hào)的每個(gè)連續(xù)圖像的縮放。在本說(shuō)明中，很多技術(shù)可以被應(yīng)用于圖像縮放或者視頻縮放。在描述僅可以應(yīng)用于這些技術(shù)領(lǐng)域之一或者更適合被用在這些技術(shù)領(lǐng)域之一的技術(shù)時(shí)，該特定的有效性的限制或區(qū)域?qū)⒈恢甘境鰜?lái)。圖3是諸如圖I和圖2的設(shè)備之類的圖像縮放設(shè)備的示意性框圖。源圖像(即，將要縮放的圖像)被作為輸入供應(yīng)給該設(shè)備，如圖的左側(cè)所示。該設(shè)備生成縮放后的輸出圖像，如圖的右側(cè)所示。源圖像被可選的預(yù)內(nèi)插濾波器100處理。預(yù)內(nèi)插濾波器執(zhí)行諸如圖像的軟化或者銳化之類的可能需要的帶寬調(diào)整。濾波器100具有用于水平和豎直方向的單獨(dú)參數(shù)。濾波器是可分離的普通11抽頭水平和豎直對(duì)稱濾波器，其中系數(shù)可以完全由用戶限定。濾波器的輸出被傳遞給內(nèi)插器130。圖像內(nèi)插的傳統(tǒng)方法一般使用兩個(gè)一維濾波器分別在水平和豎直方向?qū)D像進(jìn)行縮放。這種濾波器的示例是多相Sinc濾波器。該方法對(duì)水平和豎直線執(zhí)行地非常好，但是對(duì)角線不能被精確地求解并且畫面質(zhì)量會(huì)受到影響。本實(shí)施例涉及使用二維方法來(lái)“剪切(shear)”數(shù)據(jù)的算法。換言之，本實(shí)施例將剪切變換應(yīng)用于二維數(shù)字濾波器和/或輸入像素的陣列，以在兩個(gè)軸中的至少一個(gè)軸中將濾波器的操作映射(或者對(duì)準(zhǔn))到所檢測(cè)出的圖像特征方向(諸如，通過(guò)對(duì)邊緣特征進(jìn)行整形從而使得該邊緣特征對(duì)準(zhǔn)水平或者豎直軸但是(在本發(fā)明的實(shí)施例中)保持兩個(gè)軸中的另一個(gè)軸中的濾波器操作(至少在其操作方向方面)不變)。一旦數(shù)據(jù)(或者內(nèi)插濾波器)被剪切了所需要的數(shù)量，則可以通過(guò)應(yīng)用數(shù)字內(nèi)插濾波器對(duì)數(shù)據(jù)進(jìn)行內(nèi)插來(lái)獲得輸出像素。當(dāng)剪切結(jié)果不能用時(shí)，所需要的內(nèi)插值是使用標(biāo)準(zhǔn)Bicubic內(nèi)插方法產(chǎn)生的。這種組合算法的實(shí)施例已經(jīng)在經(jīng)驗(yàn)測(cè)試中被示出為顯著提高了畫面質(zhì)量。所以，內(nèi)插濾波處理的特征在于，沿著圖像特征(諸如，線或者邊緣)的方向有效地進(jìn)行內(nèi)插。為此，圖像中存在的特征的角度被內(nèi)插角度確定單元110找出，其中內(nèi)插角度確定單元110檢測(cè)將要內(nèi)插的像素位置處的圖像特征的方向。對(duì)于圖像特征，角度和角度的確定性的度量(換言之，所檢測(cè)出的圖像特征方向中的置信度)是使用基于統(tǒng)計(jì)的方法或者其他檢驗(yàn)(其細(xì)節(jié)在下面提供)計(jì)算得出的。一旦角度被確定，限定角度的信息被傳遞給剪切內(nèi)插器140，其中，該剪切內(nèi)插器 140還從濾波器100接收濾波后的源圖像數(shù)據(jù)，并且基于沿內(nèi)插角度確定單元110檢測(cè)出的圖像特征方向的內(nèi)插生成輸出像素。濾波后的源圖像數(shù)據(jù)還被傳遞給非剪切內(nèi)插器150，其中該非剪切內(nèi)插器150通過(guò)水平/豎直內(nèi)插法(B卩，不參考圖像特征方向)生成輸出像素。限定當(dāng)前檢測(cè)出的圖像特征角度中的確定性的度量的信息被傳遞給控制器160。 控制器160控制混合器170的操作，其中混合器170混合剪切內(nèi)插器140和非剪切內(nèi)插器 150的輸出或者(作為混合的極端不例)在剪切內(nèi)插器140和非剪切內(nèi)插器150的輸出之間進(jìn)行選擇，以提供輸出圖像的像素。實(shí)際上，輸出像素是根據(jù)所檢測(cè)出的圖像特征方向中的所檢測(cè)出的置信度通過(guò)應(yīng)用和/或不應(yīng)用剪切變換有選擇地生成的。更具體地，輸出像素的第一版本是通過(guò)應(yīng)用剪切變換生成的；輸出像素的第二版本是不應(yīng)用剪切變換生成的；并且第一和第二版本被根據(jù)取決于所檢測(cè)出的置信度的比率混合從而生成輸出像素。 在本發(fā)明的實(shí)施例中，混合操作是所檢測(cè)出的圖像特征方向中的置信度越高，從第一版本得出的輸出像素的比例越高的混合操作。圖3的配置可以被實(shí)現(xiàn)在諸如一個(gè)或多個(gè)專用集成電路、一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門陣列、在適當(dāng)?shù)能浖⒐碳蛘咚鼈兌叩目刂葡虏僮鞯耐ㄓ糜?jì)算機(jī)、或者它們的組合之類的硬件、可編程或者傳統(tǒng)硬件中。當(dāng)軟件或者固件被包括在本發(fā)明的實(shí)施例的實(shí)施方式中時(shí)，將明白的是這樣的軟件或固件、以及諸如存儲(chǔ)介質(zhì)(例如，光盤)或者網(wǎng)絡(luò)連接(例如，互聯(lián)網(wǎng)鏈接)(軟件或固件通過(guò)它們被提供)之類的提供介質(zhì)被認(rèn)為是本發(fā)明的實(shí)施例。將理解的是，在具體功能在下面被描述的情況中，執(zhí)行這種功能的單元可以被作為圖3中的相應(yīng)單元提供。內(nèi)插角度確定現(xiàn)在將描述內(nèi)插角度確定單元110的操作。單元110檢測(cè)與源圖像的每個(gè)像素相關(guān)聯(lián)的內(nèi)插角度，并且進(jìn)行一些質(zhì)量檢驗(yàn)以檢測(cè)所檢測(cè)出的角度是否是用在內(nèi)插中的可靠角度。特別地,單元110生成內(nèi)插角度(Θ )和確定性度量(certaintyFactor)。該可變的certaintyFactor提供關(guān)于該特征與所找出的角度(Θ)的匹配程度的置信等級(jí)，并且稍后被用在計(jì)算用于混合器170的混合值的處理中。在使用所檢測(cè)出的角度進(jìn)行任何濾波處理之前進(jìn)行內(nèi)插角度確定。角度確定模塊根據(jù)基于通過(guò)偏差的最小化找出用于內(nèi)插的最佳方向的技術(shù)進(jìn)行操作?？梢?例如)對(duì)灰度圖像或者單獨(dú)對(duì)每個(gè)GBR(綠、藍(lán)、紅)分量進(jìn)行角度確定處理。如果使用后者，則GBR結(jié)果可以被結(jié)合在一起(例如，根據(jù)用在生成亮度(Y)值的處理中的G、B、和R的標(biāo)準(zhǔn)比率)以生成單個(gè)輸出結(jié)果。在一個(gè)實(shí)施例中，單獨(dú)的GBR結(jié)果可以被結(jié)合在一起，以優(yōu)先得出G結(jié)果，然后得出R結(jié)果，最后得出B結(jié)果。為了避免在低畫面細(xì)節(jié)區(qū)域中找出不正確的角度，如果經(jīng)受測(cè)試的當(dāng)前像素周圍的3X3鄰域中的像素的偏差(或者標(biāo)準(zhǔn)偏離)在可編程的閾值之下，則角度的確定性等級(jí)被設(shè)置為指示零確定性。該3X3鄰域中的偏差還被用作GBR到灰度轉(zhuǎn)換處理中的圖像活動(dòng)性度量?？梢怨?jié)省硬件或者處理需求的一種替代的圖像活動(dòng)性度量是使用相對(duì)于3X3塊上的平均像素值計(jì)算得出的絕對(duì)差之和(所檢測(cè)出的圖像活動(dòng)性代表群組中的像素之間的像素值之差，所以較大的像素差代表較大的圖像活動(dòng)性)。在每種情況中，相對(duì)于將要內(nèi)插的像素位置周圍的輸入像素的群組，分別針對(duì)三種顏色分量G、B、R中的每種顏色分量得出圖像活動(dòng)性度量。將圖像轉(zhuǎn)換為灰度(對(duì)于單元110來(lái)說(shuō)，僅需要對(duì)一個(gè)通道而不是三個(gè)單獨(dú)通道進(jìn)行角度查找處理)的好處在于硬件需求的潛在降低。可以使用以下公式將GBR數(shù)據(jù)轉(zhuǎn)換為灰度Y = gCoefT*G+bCoefT*B+rCoefT*R其中，gCoeff和bCoeff、rCoeff是標(biāo)準(zhǔn)顏色轉(zhuǎn)換系數(shù)(即，用于從G、B和R值生成標(biāo)準(zhǔn)Y值的系數(shù)，一個(gè)示例是Y = O. 2126R+0. 7152G+0. 0722B)。但是，以這種方式使用固定的系數(shù)，GBR顏色空間中的兩種非常不同的顏色會(huì)產(chǎn)生相同的灰度顏色，所以在作為結(jié)果的灰度圖像中可能會(huì)無(wú)法檢測(cè)到特定的圖像特征。因此，一種自適應(yīng)地改變顏色系數(shù)的方法被用在本發(fā)明的實(shí)施例中，以克服這個(gè)問(wèn)題。在這種自適應(yīng)技術(shù)中，為了捕捉圖像中的細(xì)節(jié)，當(dāng)圖像中的來(lái)自特定分量的細(xì)節(jié)明顯大于其他顏色分量中的細(xì)節(jié)時(shí)，該特定顏色分量的權(quán)重增大。所以，通過(guò)根據(jù)所檢測(cè)出的圖像活動(dòng)性以相對(duì)比例將相應(yīng)的輸入像素的顏色分量結(jié)合在一起，得出了單色測(cè)試像素。如上所述，細(xì)節(jié)數(shù)量是使用圖像活動(dòng)性測(cè)量出來(lái)的。使用圖像活動(dòng)性來(lái)調(diào)整默認(rèn)的顏色轉(zhuǎn)換系數(shù)，如下所示gCoeff' = gCoeff+α X ImageActivity (綠色)bCoeff' = bCoeff+β X ImageActivity (藍(lán)色)rCoeff' = rCoeff+Y X ImageActivity (紅色)
…一 V gCoeff '* G + bCoeff B + rCoeff '* RY 一. '~~
gCoeff ’+ bCoeff'+ rCoeff ’其中，α、β、Y是可編程的參數(shù)，Y是作為該部分處理的輸出并且被單元110用于角度確定(即，用于將要內(nèi)插的像素位置周圍的單色測(cè)試像素群組中的圖像特征方向的檢測(cè))的灰度像素。方向檢測(cè)可以包括檢測(cè)該單色測(cè)試像素群組中的方向，其中沿著該方向的像素展示出了像素值的最低變化(諸如，標(biāo)準(zhǔn)偏離、偏差、或者從平均得出的絕對(duì)差值之和)。該處理的目的在于，提高將在標(biāo)準(zhǔn)轉(zhuǎn)換方法期間被隱藏的細(xì)節(jié)等級(jí)。更一般地，該配置的目的在于，改變單色測(cè)試像素中的顏色分量的相對(duì)比例從而使得具有較高圖像活動(dòng)性的顏色分量通常對(duì)單色測(cè)試像素的貢獻(xiàn)比例較高(例如，通過(guò)根據(jù)檢測(cè)出的與每種顏色分量相關(guān)的圖像活動(dòng)性來(lái)修改限定每種顏色分量對(duì)于單色像素的貢獻(xiàn)的一組系數(shù))。下一階段的處理的目的在于，通過(guò)確定具有最低變化的方向來(lái)找出用于內(nèi)插的最佳角度。這里，術(shù)語(yǔ)“最低”和(其他地方用到的)“最小化”僅被用來(lái)指示最低變化是從所測(cè)試的變化值中檢測(cè)得出的。圖4a示意性地示出了源圖像的5X5像素區(qū)域，其中經(jīng)受測(cè)試的當(dāng)前像素位置200 在該5X5區(qū)域的中心。其目的在于檢測(cè)與像素200相關(guān)的圖像特征方向。黑線(作為其角度應(yīng)該被檢測(cè)出來(lái)的圖像特征的示例)從該區(qū)域的左上方延伸到該區(qū)域的右下方。使用圖4a的符號(hào)，該圖像特征的角度被認(rèn)為是45°，其中0°被認(rèn)為是水平的，并且角度被認(rèn)為是從水平方向開(kāi)始以順時(shí)針?lè)较蛟龃?。圖4a是其中的虛線210、220、230和240指示可能的內(nèi)插角度或搜索方向的示例的簡(jiǎn)要示例。圖4b中示出了位于每個(gè)特定的可能內(nèi)插方向中的5個(gè)像素，其中圖4b的每行代表沿著該可能方向的經(jīng)過(guò)像素位置200的5個(gè)像素。通過(guò)考慮每個(gè)搜索方向的像素偏差可以清楚地看出，45°的可能內(nèi)插方向(沿著線210)包含具有最低偏差的像素。這個(gè)簡(jiǎn)單示例已經(jīng)示出，特定特征的方向可以由具有最低像素變化的方向限定。一般，沿著與搜索或者測(cè)試方向有關(guān)的直線的像素值的變化可以使用搜索方向中的點(diǎn)的偏差(或者標(biāo)準(zhǔn)偏離)來(lái)測(cè)量。為了獲得最佳角度，可以使用對(duì)于(本系統(tǒng)的分辨率限制內(nèi)的)每個(gè)角度的窮盡搜索。但是，該處理將需要大量硬件或者其他處理資源。所以，在本發(fā)明的實(shí)施例中，在本發(fā)明的分辨率限制內(nèi)，用于偏差的一組數(shù)學(xué)表達(dá)式可以被計(jì)算出來(lái)并被最小化以找出所需要的方向。在本發(fā)明的實(shí)施例中，對(duì)于最小偏差的搜索是在5X5像素鄰域上計(jì)算得出的，其中其角度正被計(jì)算的像素位于該像素鄰域的中心。所使用的配置意味著，不可能僅使用一個(gè)等式搜索每個(gè)方向。相反，所有方向的各個(gè)子集被檢查，然后最小偏差被從這些結(jié)果中找出。每個(gè)方向子集在下面被稱為“模板”。為了測(cè)試每個(gè)可能的方向，總共需要八個(gè)模板。 一個(gè)特定的模板在圖5中被示意性示出。圖5示出了源(輸入圖像、或者濾波后的輸入圖像)像素的5X5陣列，其中，角度是從該陣列確定出來(lái)的，并且經(jīng)受測(cè)試的當(dāng)前像素200 (在圖5中被標(biāo)記為像素e)位于該陣列的中心。每個(gè)像素由一個(gè)正方形指示。像素a至i代表該模板需要的源像素。該特定的模板被用來(lái)找出介于0°到26°之間的最佳角度；其他七個(gè)模板在其他角度集合之間進(jìn)行搜索，如圖6a至圖6h所示。圖5的特定示例對(duì)應(yīng)于圖6h所示的模板。在圖6a至圖6h 中所示的每個(gè)模板中，利用該模板測(cè)試的角度范圍被示出為被標(biāo)記為φ=O和φ=I的兩條直線的銳角交叉之間(包括該兩條直線)的這些角度。對(duì)于每個(gè)模板，變量φ被允許從O變到I。所以，φ的值映射到角度的度量。也就是說(shuō)，對(duì)于圖5中所示的模板，使用圖4a中引入的角度符號(hào)，當(dāng)φ = 0時(shí)，相應(yīng)的角度為0°，并且當(dāng)φ= I時(shí)，角度為26°，更確切地
權(quán)利要求
1.一種像素內(nèi)插方法，其中二維數(shù)字濾波器被配置為從輸入像素的二維陣列內(nèi)插得出輸出像素，該方法包括檢測(cè)將要內(nèi)插的像素位置處的圖像特征的方向；將剪切變換應(yīng)用于所述數(shù)字濾波器和/或所述輸入像素的陣列，以相對(duì)于所述二維濾波器的兩個(gè)軸中的至少第一個(gè)軸將所述濾波器的操作映射到所檢測(cè)出的像素特征方向；以及應(yīng)用所述數(shù)字濾波器來(lái)獲取所述輸出像素。
2.根據(jù)權(quán)利要求I所述的方法，其中所述應(yīng)用所述剪切變換的步驟被配置為相對(duì)于所述兩個(gè)軸中的另一個(gè)軸維持所述濾波器的操作不變。
3.根據(jù)權(quán)利要求2所述的方法，其中所述應(yīng)用步驟包括選擇所述兩個(gè)軸中的一個(gè)軸用于所述濾波器操作的映射，所述選擇取決于所檢測(cè)出的圖像特征方向。
4.根據(jù)權(quán)利要求3所述的方法，其中所述選擇步驟包括檢測(cè)所述兩個(gè)軸中的哪個(gè)軸在角度上最接近所檢測(cè)出的圖像特征方向；以及選擇所述兩個(gè)軸中的另一個(gè)軸用于所述濾波器操作的映射。
5.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，其中所述兩個(gè)軸是正交的。
6.根據(jù)權(quán)利要求5所述的方法，其中所述兩個(gè)軸包括分別在水平圖像方向上的一個(gè)軸和在豎直圖像方向上的一個(gè)軸。
7.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，其中所述二維濾波器是從包括以下濾波器的群組中選擇的二維Sinc濾波器；二維Bicubic濾波器；二維Bicubic Spline濾波器；以及二維基于多項(xiàng)式的濾波器。
8.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，包括檢測(cè)所檢測(cè)出的圖像特征方向中的置信度；以及根據(jù)所檢測(cè)出的置信度，通過(guò)應(yīng)用和/或不應(yīng)用所述剪切變換來(lái)有選擇地生成所述輸出像素。
9.根據(jù)權(quán)利要求8所述的方法，包括通過(guò)應(yīng)用所述剪切變換生成輸出像素的第一版本；不應(yīng)用所述剪切變換而生成該輸出像素的第二版本；以及根據(jù)取決于所檢測(cè)出的置信度的比率混合所述第一和第二版本，以生成所述輸出像素。
10.根據(jù)權(quán)利要求9所述的方法，其中所述混合步驟可操作以使所檢測(cè)出的圖像特征方向中的置信度越高，從所述第一版本得出的輸出像素的比例越高。
11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括相對(duì)于所述第一軸對(duì)輸入像素的群組進(jìn)行濾波，以生成各個(gè)中間像素值，其中所述群組沿著所檢測(cè)出的圖像特征方向被間隔開(kāi)；以及相對(duì)于所述另一軸對(duì)所述中間像素值進(jìn)行濾波，以生成輸出像素。
12.根據(jù)權(quán)利要求I至10中任一項(xiàng)所述的方法，其中所述應(yīng)用步驟包括將所述剪切變換應(yīng)用于所述二維數(shù)字濾波器的濾波器系數(shù)，以根據(jù)所檢測(cè)出的圖像特征方向?qū)⑺鱿禂?shù)映射到二維域中的各個(gè)不同位置。
13.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括用于對(duì)所檢測(cè)出的方向進(jìn)行濾波從而對(duì)相鄰的輸入或輸出像素位置之間的所檢測(cè)出的方向的偏差進(jìn)行平滑處理的濾波器。
14.一種像素內(nèi)插方法，所述方法在前面被參考附圖進(jìn)行了基本描述。
15.用于實(shí)現(xiàn)根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法的計(jì)算機(jī)軟件。
16.一種二維數(shù)字濾波器，被配置為從輸入像素的二維陣列內(nèi)插得出輸出像素，該濾波器包括檢測(cè)器，該檢測(cè)器檢測(cè)將要內(nèi)插的像素位置處的圖像特征的方向；及濾波器操作調(diào)節(jié)器，該濾波器操作調(diào)節(jié)器可操作將剪切變換應(yīng)用于所述數(shù)字濾波器和 /或所述輸入像素的陣列，以在所述二維濾波器的兩個(gè)軸中的至少一個(gè)軸中將所述濾波器的操作映射到所檢測(cè)出的圖像特征方向。
17.—種二維數(shù)字濾波器，在前面被參考附圖進(jìn)行了基本描述。
18.—種視頻處理設(shè)備，包括根據(jù)權(quán)利要求16或17所述的濾波器，該濾波器用于內(nèi)插得出輸出視頻信號(hào)的連續(xù)輸出圖像的像素。
19.一種攝影機(jī)，包括根據(jù)權(quán)利要求18所述的視頻處理設(shè)備。
20.一種視頻顯示設(shè)備，包括根據(jù)權(quán)利要求18所述的視頻處理設(shè)備。
全文摘要
本發(fā)明涉及內(nèi)插。一種像素內(nèi)插方法，其中二維數(shù)字濾波器被配置為從輸入像素的二維陣列內(nèi)插得出輸出像素，該方法包括檢測(cè)將要內(nèi)插的像素位置處的圖像特征的方向；將剪切變換應(yīng)用于數(shù)字濾波器和/或輸入像素的陣列，以相對(duì)于二維濾波器的兩個(gè)軸中的至少第一軸將濾波器的操作映射到所檢測(cè)出的圖像特征方向；以及應(yīng)用數(shù)字濾波器來(lái)獲取輸出像素。
文檔編號(hào)H04N5/225GK102595088SQ20121002497
公開(kāi)日2012年7月18日 申請(qǐng)日期2012年1月17日 優(yōu)先權(quán)日2011年1月17日
發(fā)明者卡爾·沙曼, 曼尼史·戴維詩(shī)·平多里亞 申請(qǐng)人:索尼公司