專利名稱：在圖像處理系統(tǒng)中變換圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
示例性實(shí)施例總體涉及一種用于在圖像處理系統(tǒng)中變換圖像的設(shè)備和方法。更具體地說(shuō)，示例性實(shí)施例涉及一種用于在圖像處理系統(tǒng)中將低清晰度圖像變換為高清晰度圖像的設(shè)備和方法。
背景技術(shù)：
通常，根據(jù)幀的構(gòu)造通過(guò)隔行掃描或逐行掃描來(lái)將數(shù)字圖像顯示在屏幕上。通過(guò)隔行掃描獲得高清晰度圖像，而通過(guò)逐行掃描獲得低清晰度圖像。在隔行掃描方案中通過(guò)在頂場(chǎng)中掃描奇數(shù)行并在底場(chǎng)中掃描偶數(shù)行來(lái)實(shí)現(xiàn)幀。因此，每個(gè)場(chǎng)的高度等于幀的高度的一半。采取隔行掃描以實(shí)現(xiàn)高清晰度屏幕，諸如高清晰度 TV (HDTV)中的 1920X1280。與隔行掃描相比，逐行掃描通過(guò)逐行順序地掃描圖像來(lái)形成幀。使用逐行掃描以獲得低清晰度屏幕，諸如計(jì)算器監(jiān)視器、數(shù)字TV等中的1280X720。因此，存在這樣的需要在輸入低清晰度圖像時(shí)，在能夠同時(shí)處理支持逐行掃描的低清晰度圖像和支持隔行掃描的高清晰度圖像的圖像處理系統(tǒng)中，將低清晰度圖像變換為高清晰度圖像。所述圖像處理系統(tǒng)還應(yīng)該能夠最小化用于將低清晰度圖像變換為高清晰度圖像所需的附加信息的量。

發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明的示例性實(shí)施例的一方面在于解決至少所述問(wèn)題和/或缺點(diǎn)，并提供至少下述優(yōu)點(diǎn)。因此，本發(fā)明的示例性實(shí)施例的一方面在于提供一種用于在圖像處理系統(tǒng)中將低清晰度圖像變換為高清晰度圖像的設(shè)備和方法。本發(fā)明的示例性實(shí)施例的另一方面提供一種用于在圖像處理系統(tǒng)中根據(jù)源圖像的特征將低清晰度圖像變換為高清晰度圖像的設(shè)備和方法。本發(fā)明的示例性實(shí)施例的另一方面提供一種用于在圖像處理系統(tǒng)中以最小化殘差圖像的像素值這樣的方式將低清晰度圖像變換為高清晰度圖像的設(shè)備和方法。本發(fā)明的示例性實(shí)施例的另一方面提供一種用于在圖像處理系統(tǒng)中當(dāng)使用多個(gè)低清晰度視頻幀產(chǎn)生高清晰度視頻幀時(shí)反映所述多個(gè)低清晰度視頻幀的重要性的圖像變換設(shè)備和方法。技術(shù)方案根據(jù)本發(fā)明的示例性實(shí)施例的一方面，提供了一種在圖像處理系統(tǒng)中變換圖像的方法，其中，如果多個(gè)低清晰度視頻幀被用于將低清晰度圖像變換為高清晰度圖像，則確定用于所述多個(gè)低清晰度視頻幀的每個(gè)的權(quán)重；根據(jù)所述多個(gè)低清晰度視頻幀的權(quán)重，使用所述多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)之一。
根據(jù)本發(fā)明的示例性實(shí)施例的另一方面，提供了一種在圖像處理系統(tǒng)中的圖像變換設(shè)備，其中，如果多個(gè)低清晰度視頻幀被用于將低清晰度圖像變換為高清晰度圖像，則控制器確定用于所述多個(gè)低清晰度視頻幀的每個(gè)的權(quán)重；變換器根據(jù)所述多個(gè)低清晰度視頻幀的權(quán)重，使用所述多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)之一。根據(jù)本發(fā)明的示例性實(shí)施例的另一方面，提供了一種在圖像處理系統(tǒng)中變換圖像的方法，其中，當(dāng)將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像時(shí)，使用單個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度圖像的頂場(chǎng)和底場(chǎng)；當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重時(shí)，使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)，使用所述兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像時(shí)，使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)，通過(guò)將權(quán)重施加到所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)。根據(jù)本發(fā)明的示例性實(shí)施例的另一方面，提供了一種在圖像處理系統(tǒng)中的圖像變換設(shè)備，其中，頂場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀或使用兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的頂場(chǎng)；底場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀或所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)。當(dāng)將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像時(shí)，頂場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)； 當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重時(shí)，頂場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)；當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重時(shí)，頂場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)。當(dāng)將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像時(shí)，底場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加任何權(quán)重時(shí)，底場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；當(dāng)將使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像時(shí)，底場(chǎng)產(chǎn)生器通過(guò)將權(quán)重施加到所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)。


圖1是根據(jù)本發(fā)明的示例性實(shí)施例的分層圖像處理系統(tǒng)的框圖；圖2是根據(jù)本發(fā)明的示例性實(shí)施例的圖像變換設(shè)備的框圖；圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖像變換設(shè)備中的控制器的控制操作的流程圖；圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖像變換設(shè)備中的變換器的控制操作的流程圖；圖5示出根據(jù)本發(fā)明的示例性實(shí)施例的在變換器中使用一個(gè)低清晰度視頻幀產(chǎn)生一個(gè)高清晰度視頻幀的圖像變換操作；
圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的在變換器中使用兩個(gè)低清晰度視頻幀產(chǎn)生一個(gè)高清晰度視頻幀的圖像變換操作。最佳實(shí)施方式提供描述中定義的事項(xiàng)(諸如詳細(xì)構(gòu)造和元件)以幫助全面理解本發(fā)明的示例性實(shí)施例。因此，本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到在不脫離本發(fā)明的范圍和精神的情況下，可對(duì)這里描述的示例性實(shí)施例進(jìn)行各種改變和修改。此外，為了清楚和方便，省略對(duì)公知功能和構(gòu)造的描述。以示例的方式，將用于同時(shí)處理低清晰度圖像和高清晰度圖像的圖像處理系統(tǒng)理解為分層圖像處理系統(tǒng)來(lái)進(jìn)行以下描述。然而，將理解本發(fā)明的示例性實(shí)施例可適用于同時(shí)處理低清晰度圖像和高清晰度圖像的每個(gè)圖像處理系統(tǒng)。針對(duì)源圖像的輸入，分層圖像處理系統(tǒng)輸出低清晰度圖像和高清晰度圖像。例如， 可通過(guò)逐行掃描來(lái)掃描低清晰度圖像，例如，可通過(guò)隔行掃描來(lái)掃描高清晰度圖像。根據(jù)本發(fā)明的示例性實(shí)施例，針對(duì)將低清晰度圖像變換為高清晰度圖像的上變換，在多個(gè)低清晰度圖像的情況下，考慮源圖像的特征，確定被用于上變換的低清晰度圖像的數(shù)量以及每個(gè)低清晰度圖像的重要性。每個(gè)低清晰度圖像的重要性被反映為施加到低清晰度圖像的權(quán)重。為此，將對(duì)根據(jù)本發(fā)明的示例性實(shí)施例的分層圖像處理系統(tǒng)的配置和操作以及分層圖像處理系統(tǒng)中的圖像變換設(shè)備的配置和操作進(jìn)行描述。A.分層圖像處理系統(tǒng)的配置和操作以下，將對(duì)根據(jù)本發(fā)明的示例性實(shí)施例的應(yīng)用了圖像變換方法的分層圖像處理系統(tǒng)的配置和操作進(jìn)行描述。圖1是根據(jù)本發(fā)明的示例性實(shí)施例的分層圖像處理系統(tǒng)的框圖。參照?qǐng)D1，分層圖像處理系統(tǒng)包括編碼裝置100和解碼裝置150。針對(duì)作為源圖像的高清晰度圖像的輸入，編碼裝置100輸出編碼的低清晰度圖像和編碼的殘差圖像。在進(jìn)行編碼之前的殘差圖像被定義為基于輸入的高清晰度圖像和在編碼裝置100中恢復(fù)的高清晰度圖像之間的差的像素值。為此目的，編碼裝置100包括格式下變換器101、編解碼器(CODEC) 103、緩沖器 105、格式上變換器107、減法器109、殘差映射和縮放單元111以及殘差編碼器113。格式下變換器101接收高清晰度圖像作為源圖像，并輸出低清晰度圖像。也就是說(shuō)，格式下變換器101通過(guò)對(duì)接收到的高清晰度圖像進(jìn)行下變換來(lái)輸出經(jīng)過(guò)下變換的序列。CODEC 103將從格式下變換器101接收的經(jīng)過(guò)下變換的序列編碼為編碼的低清晰度圖像的比特流，并將比特流輸出到解碼裝置150。CODEC 103還恢復(fù)編碼的低清晰度圖像的比特流，并將恢復(fù)的比特流提供給緩沖器105。低清晰度圖像被包括在基層中，VC-I或H. 264 CODEC可被用作CODEC 103。緩沖器105對(duì)恢復(fù)的低清晰度圖像進(jìn)行緩沖。格式上變換器107執(zhí)行上變換以從至少一個(gè)低清晰度視頻幀恢復(fù)上變換的基層序列，其中，所述至少一個(gè)低清晰度視頻幀從緩沖器105接收。也就是說(shuō)，格式上變換器107 將從緩沖器105接收的至少一個(gè)低清晰度視頻幀變換為具有源圖像的分辨率的高清晰度圖像。由格式上變換器107上變換的高清晰度圖像被稱為“恢復(fù)的高清晰度圖像”。為此，格式上變換器107考慮源圖像的特征，確定將被用于上變換的低清晰度視頻幀的數(shù)量(P2I_METH0D)。如果低清晰度視頻幀的數(shù)量是2或更大(P2I_METH0D = = 1)， 則格式上變換器107考慮源圖像的特征，確定所述低清晰度視頻幀中的每個(gè)的權(quán)重(P2I_ WEIGHTING)。較高的權(quán)重被分配給具有較高重要性的低清晰度視頻幀，較低的權(quán)重被分配給具有較低重要性的低清晰度視頻幀(P2I_WEIGHTING == 1)。如果多個(gè)低清晰度視頻幀具有相同的重要性，則相同的權(quán)重被分配給所有低清晰度視頻幀(P2I_WEIGHTING == 0)。另一方面，如果在上變換中使用的低清晰度視頻幀的數(shù)量為1(P2I_METH0D == 0)，則不考慮權(quán)重。格式上變換器107輸出通過(guò)基于低清晰度視頻幀的確定的數(shù)量和權(quán)重執(zhí)行上變換而恢復(fù)的高清晰度圖像。稍后將更詳細(xì)地描述在格式上變換器107中將低清晰度圖像變換為高清晰度圖像的操作。減法器109從格式上變換器107接收恢復(fù)的高清晰度圖像以及作為源圖像的高清晰度圖像，計(jì)算這兩個(gè)高清晰度圖像之間的殘差。所述殘差相應(yīng)于殘差圖像。殘差映射和縮放單元111將從減法器109接收的殘差映射為8比特，并對(duì)映射的殘差進(jìn)行縮放。殘差編碼器113對(duì)與從殘差映射和縮放單元111接收的殘差圖像相應(yīng)的比特流進(jìn)行編碼，并將隨之產(chǎn)生的增強(qiáng)層比特流輸出到解碼裝置150。解碼裝置150從編碼裝置100接收編碼的基層比特流和增強(qiáng)層比特流，并輸出恢復(fù)的低清晰度圖像和恢復(fù)的高清晰度圖像。為此，解碼裝置150包括基層解碼器151、格式上變換器153、殘差解碼器155、殘差映射和縮放單元157和加法器159?；鶎咏獯a器151從編碼裝置100接收基層比特流，并對(duì)接收的基層比特流進(jìn)行解碼，從而恢復(fù)解碼的低清晰度圖像。為了對(duì)基層比特流進(jìn)行解碼，VC-I或H. 264解碼器可被用作基層解碼器151。由基層解碼器151恢復(fù)的低清晰度圖像被輸出作為解碼裝置150的最終輸出或者被提供給格式上變換器153。格式上變換器153通過(guò)對(duì)恢復(fù)的低清晰度圖像進(jìn)行上變換獲得經(jīng)過(guò)上變換的基層序列。格式上變換器153像編碼裝置100的格式上變換器107 —樣，考慮源圖像的特征， 將恢復(fù)的低清晰度圖像上變換為高清晰度圖像。殘差解碼器155從編碼裝置100接收編碼的殘差圖像的比特流(即，增強(qiáng)層比特流)，對(duì)增強(qiáng)層比特流進(jìn)行解碼，并輸出恢復(fù)的殘差圖像。如前所述，殘差圖像相應(yīng)于源圖像和由編碼裝置100恢復(fù)的高清晰度圖像之間的殘差。殘差映射和縮放單元157將從殘差解碼器155接收的恢復(fù)的殘差圖像與原始比特深度進(jìn)行映射，并對(duì)其進(jìn)行縮放。加法器159通過(guò)將從格式上變換器153接收的經(jīng)過(guò)上變換的基層序列與從殘差映射和縮放單元157接收的恢復(fù)的殘差圖像相加來(lái)恢復(fù)接近于源圖像的高清晰度圖像。恢復(fù)的高清晰度圖像屬于增強(qiáng)層。
由加法器159恢復(fù)的高清晰度圖像被輸出作為解碼裝置150的另一最終輸出。在圖像處理系統(tǒng)中，編碼裝置100提供給解碼裝置150的殘差圖像的像素值優(yōu)選 (但不必要)為小。為了實(shí)現(xiàn)殘差圖像的小的像素值，針對(duì)源圖像具有小殘差的高清晰度圖像應(yīng)該在編碼裝置100中被恢復(fù)。具體地，在編碼裝置100的格式上變換器107和解碼裝置150的格式上變換器153中，上變換應(yīng)該被最優(yōu)化。B.圖像變換設(shè)備將詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例的用于最優(yōu)化上變換(即，最小化殘差圖像的像素值)的圖像變換設(shè)備的配置和操作。圖像變換設(shè)備相應(yīng)于在圖1中示出的格式上變換器107和153。B-1.圖像變換設(shè)備的配置以下將詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例的用于使用一個(gè)或多個(gè)低清晰度視頻幀來(lái)產(chǎn)生高清晰度視頻幀的圖像變換設(shè)備的配置。圖2是根據(jù)本發(fā)明的示例性實(shí)施例的用于將低清晰度圖像變換為高清晰度圖像的圖像變換設(shè)備的框圖。參照?qǐng)D2，控制器210根據(jù)源圖像的特征，確定在將低清晰度圖像上變換為高低清晰度圖像中使用的低清晰度圖像視頻幀的數(shù)量。例如，如果作為源圖像的高清晰度圖像具有與低清晰度圖像相似的特征，則控制器210確定使用一個(gè)低清晰度視頻幀執(zhí)行上變換。另一方面，如果作為源圖像的高清晰度圖像具有與低清晰度圖像不同的特征，則控制器210確定使用多個(gè)低清晰度視頻幀執(zhí)行上變換。一旦控制器210根據(jù)源圖像的特征確定使用多個(gè)低清晰度視頻幀以進(jìn)行上變換， 控制器210還確定如何使用所述多個(gè)低清晰度視頻幀。具體地，控制器210考慮所述多個(gè)低清晰度視頻幀的重要性，確定加權(quán)比。例如，如果源圖像與普通高清晰度圖像具有相似的運(yùn)動(dòng)信息，則相同的重要性， 艮口，相同的權(quán)重被給予所述多個(gè)低清晰度視頻幀(P2I_WEIGHTING == 0)。然而，如果所述多個(gè)低清晰度視頻幀具有不同的重要性(P2I_WEIGHTING ==1), 則控制器210確定加權(quán)比，從而不同的權(quán)重可被分配給所述多個(gè)低清晰度視頻幀。也就是說(shuō)，將給予具有相對(duì)高的重要性的低清晰度視頻幀比具有相對(duì)低的重要性的低清晰度視頻幀更高的權(quán)重。更具體地說(shuō)，當(dāng)確定兩個(gè)或更多個(gè)幀需要用于上變換時(shí)，控制器210考慮每個(gè)視頻幀的重要性，確定加權(quán)比。加權(quán)比對(duì)所述幀中的每個(gè)幀指定權(quán)重。換句話說(shuō)，為了從與低清晰度圖像相應(yīng)的多個(gè)幀恢復(fù)高清晰度圖像，可根據(jù)所述多個(gè)幀中的每個(gè)幀對(duì)將被恢復(fù)的高清晰度圖像的影響的程度，將權(quán)利給予所述多個(gè)幀中的每個(gè)幀。例如，假設(shè)兩個(gè)幀被用于恢復(fù)高清晰度圖像，可根據(jù)第一幀和第二幀的重要性確定諸如5 3、6;3、5 4或6 4的加權(quán)比。從示例性加權(quán)比注意，與第二幀相比，第一幀具有相對(duì)高的重要性。這意味著第一幀對(duì)高清晰度圖像的恢復(fù)的影響比第二幀更大。值得注意的是，第一幀和第二幀應(yīng)該在時(shí)間上是連續(xù)的，并且第一幀早于第二幀。 也就是說(shuō)，如果第一幀是在時(shí)間ti;則第二在時(shí)間t2，并且、早于t2。時(shí)間、和t2之間的差距大致相應(yīng)于當(dāng)通過(guò)逐行掃描顯示屏幕時(shí)將第一幀顯示在屏幕上和將第二幀顯示在屏幕上之間的時(shí)間間隔。當(dāng)控制器210如上所述確定用于上變換的信息時(shí)，控制器210將確定的上變換信息提供給變換器250。如果控制器210確定使用單個(gè)低清晰度視頻幀以進(jìn)行上變換，則控制器210向變換器250通知在上變換中使用的低清晰度視頻幀的數(shù)量為1。另一方面，如果控制器210確定使用多個(gè)低清晰度視頻幀以進(jìn)行上變換，則控制器210將關(guān)于每個(gè)低清晰度視頻幀的權(quán)重的信息提供給變換器250，或者將加權(quán)比以及關(guān)于將被用于上變換的低清晰度幀的數(shù)量的信息提供給變換器250。如果相同的權(quán)重被給予所述多個(gè)低清晰度視頻幀，則加權(quán)比可不被提供給變換器250。變換器250使用從控制器210接收的上變換信息來(lái)執(zhí)行上變換以從低清晰度圖像恢復(fù)高清晰度圖像。上變換信息包括關(guān)于將被用于上變換的低清晰度視頻幀的數(shù)量，以及每個(gè)低清晰度視頻幀的權(quán)重或加權(quán)比的信息。僅當(dāng)兩個(gè)或更多個(gè)低清晰度視頻幀被用于上變換時(shí)才包括關(guān)于每個(gè)低清晰度視頻幀的權(quán)重或加僅比的信息。然而，即使兩個(gè)或更多個(gè)低清晰度視頻幀被用于上變換，如果相同的權(quán)重被給予每個(gè)低清晰度視頻幀，則關(guān)于每個(gè)低清晰度視頻幀的權(quán)重或加僅比的信息也可不包括在上變換信息中。更具體地說(shuō)，如果由上變換信息指示單個(gè)低清晰度視頻幀，則變換器250僅使用在當(dāng)前的時(shí)間點(diǎn)(以下稱為“當(dāng)前時(shí)間”)的低清晰度視頻幀來(lái)產(chǎn)生形成高清晰度圖像的一個(gè)幀的頂場(chǎng)和底場(chǎng)。頂場(chǎng)在與低清晰度視頻幀相同的時(shí)間存在，底場(chǎng)在低清晰度視頻幀和在時(shí)間上的下一點(diǎn)(以下稱為“下一時(shí)間”)的低清晰度視頻幀之間的時(shí)間存在。將參照?qǐng)D5對(duì)用于僅使用一個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的一個(gè)幀的頂場(chǎng)和底場(chǎng)的操作進(jìn)行詳細(xì)描述。在另一方面，如果上變換信息指示2或更大的數(shù)量作為在上變換中使用的低清晰度視頻幀的數(shù)量，并且指示了每個(gè)低清晰度視頻幀的權(quán)重或加權(quán)比，則變換器250使用多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度圖像幀的頂場(chǎng)和底場(chǎng)。頂場(chǎng)在與低清晰度視頻幀相同的時(shí)間存在，底場(chǎng)在低清晰度視頻幀和在下一時(shí)間的低清晰度視頻幀之間的時(shí)間存在。例如，讓我們假設(shè)兩個(gè)低清晰度視頻幀被用于上變換。這兩個(gè)低清晰度視頻幀是當(dāng)前低清晰度視頻幀和時(shí)間上的下一低清晰度視頻幀。變換器250使用在當(dāng)前時(shí)間的低清晰度視頻幀產(chǎn)生頂場(chǎng)，隨后根據(jù)這兩個(gè)低清晰度視頻幀的權(quán)重或加僅比來(lái)產(chǎn)生底場(chǎng)。如果相同的權(quán)重被給予這兩個(gè)低清晰度視頻幀，則變換器250在產(chǎn)生底場(chǎng)中以相同的比使用低清晰度視頻幀。相反，如果不同的權(quán)重被給予這兩個(gè)低清晰度視頻幀，則變換器250在產(chǎn)生底場(chǎng)中使用不同的側(cè)重程度(即，以加權(quán)比)來(lái)使用低清晰度視頻幀。將參照?qǐng)D6對(duì)用于使用兩個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的一個(gè)幀的頂場(chǎng)和底場(chǎng)的操作進(jìn)行詳細(xì)描述。B-2.圖像變換設(shè)備的操作以下將詳細(xì)描述根據(jù)本發(fā)明的示例性實(shí)施例的用于使用一個(gè)或多個(gè)低清晰度視頻幀產(chǎn)生高清晰度視頻幀的圖像變換設(shè)備的操作。圖3是示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖像變換設(shè)備中的控制器的控制操作的流程圖。參照?qǐng)D3，在步驟310，控制器確定在上變換中使用的低清晰度視頻幀的數(shù)量。也就是說(shuō)，控制器考慮源圖像的特征，確定使用一個(gè)還是多個(gè)低清晰度視頻幀執(zhí)行上變換。更具體地說(shuō)，假設(shè)低清晰度圖像(例如，逐行掃描的圖像)在與形成高清晰度圖像的一個(gè)幀的第一場(chǎng)和第二場(chǎng)之一相同的時(shí)間存在。以下，這一場(chǎng)被稱為頂場(chǎng)。當(dāng)?shù)颓逦葓D像被變換為高清晰度圖像時(shí)，另一場(chǎng)(以下，稱為底場(chǎng))應(yīng)該在與頂場(chǎng)不同的時(shí)間被創(chuàng)建。然而，考慮頂場(chǎng)和底場(chǎng)之間的時(shí)間差，難以僅使用一個(gè)低清晰度視頻幀產(chǎn)生底場(chǎng)。因此，如果作為源圖像的高清晰度圖像具有接近于不需要考慮時(shí)間差的這些低清晰度圖像的特征，則優(yōu)選地(但不必要)使用單個(gè)低清晰度視頻幀來(lái)執(zhí)行上變換。然而，如果作為源圖像的高清晰度圖像的一個(gè)幀(被稱為“高清晰度視頻幀”)的頂場(chǎng)和底場(chǎng)在時(shí)間上足夠彼此分離，則優(yōu)選地(但不必要)使用時(shí)間上連續(xù)的兩個(gè)低清晰度視頻幀來(lái)執(zhí)行上變換。也就是說(shuō)，在示例性實(shí)施例中，分別使用連續(xù)的低清晰度視頻幀來(lái)產(chǎn)生第一頂場(chǎng)和第二頂場(chǎng)，使用這兩個(gè)低清晰度視頻幀來(lái)產(chǎn)生與第一頂場(chǎng)對(duì)應(yīng)的底場(chǎng)。因此，控制器考慮源圖像的特征(諸如幀之間的時(shí)間差距)，確定是使用單個(gè)低清晰度視頻幀還是兩個(gè)低清晰度視頻幀來(lái)執(zhí)行上變換。在步驟312，控制器確定低清晰度視頻幀的確定的數(shù)量為1還是2還是更多。如果確定使用單個(gè)低清晰度視頻幀以進(jìn)行上變換，則在步驟314，控制器請(qǐng)求變換器使用一個(gè)低清晰度視頻幀執(zhí)行上變換。另一方面，如果確定使用多個(gè)低清晰度視頻幀以進(jìn)行上變換，則在步驟316，控制器確定用于低清晰度視頻幀的權(quán)重(即，加權(quán)比)。例如，如果控制器已確定使用兩個(gè)低清晰度視頻幀以進(jìn)行上變換，則控制器確定如何使用在當(dāng)前時(shí)間的低清晰度視頻幀和在下一時(shí)間的低清晰度視頻幀來(lái)對(duì)高清晰度圖像進(jìn)行插值?？墒褂迷磮D像的特征來(lái)進(jìn)行這個(gè)確定。如果這兩個(gè)低清晰度視頻幀具有相同的重要性，則控制器確定加權(quán)比以使低清晰度視頻幀具有相同的權(quán)重。例如，如果作為源圖像的高清晰度圖像具有與普通高清晰度圖像相同的特征，則優(yōu)選地(但不必要)通過(guò)將相同的重要性施加到這兩個(gè)低清晰度視頻幀來(lái)對(duì)高清晰度圖像進(jìn)行插值。普通高清晰度圖像的特征可以是關(guān)于源圖像的運(yùn)動(dòng)信息。然而，可能在某些情況下發(fā)生通過(guò)區(qū)分這兩個(gè)低清晰度視頻幀的重要性來(lái)實(shí)現(xiàn)更好的結(jié)果。在這種情況下，加權(quán)比優(yōu)選地(但不必要)被確定以使不同的權(quán)重被給予這兩個(gè)低清晰度視頻幀。例如，如果在源圖像中背景圖像清楚或者背景圖像像低清晰度圖像一樣具有太大的運(yùn)動(dòng)，則可將比施加到在下一時(shí)間的低清晰度視頻幀更高的重要性施加到在當(dāng)前時(shí)間的低清晰度視頻幀來(lái)實(shí)現(xiàn)更好的結(jié)果。在這種情況下，加權(quán)比被確定，使得比給予在下一時(shí)間的低清晰度視頻幀更高的權(quán)重被給予在當(dāng)前時(shí)間的低清晰度視頻幀?？苫谠磮D像和使用兩個(gè)低清晰度視頻幀進(jìn)行插值的高清晰度圖像之間的相似度來(lái)確定是否將實(shí)現(xiàn)更好的結(jié)果。也就是說(shuō)，如果兩個(gè)圖像更加相似，則可獲得更好的結(jié)果。換句話說(shuō)，隨著相似度的增加，源圖像和高清晰度圖像之間的殘差圖像的像素值可被減小。通常，如果在分層圖像處理系統(tǒng)中，殘差圖像的像素值減小，則這意味著由編碼裝置100產(chǎn)生的增強(qiáng)層比特流的數(shù)量減少。在確定低清晰度視頻幀的權(quán)重(S卩，加權(quán)比)之后，在步驟318，控制器確定是否相同的權(quán)重已被分配給低清晰度視頻幀。如果確定相同的權(quán)重已被分配給低清晰度視頻幀，則在步驟320，控制器請(qǐng)求變換器使用低清晰度視頻幀以及被分配給低清晰度視頻幀的相同的權(quán)重來(lái)執(zhí)行上變換。相反，如果確定不同的權(quán)重已被分配給低清晰度視頻幀，則在步驟322，控制器請(qǐng)求變換器使用低清晰度視頻幀以及被分配給低清晰度視頻幀的權(quán)重(即，加權(quán)比)來(lái)執(zhí)行上變換。圖4是示出根據(jù)本發(fā)明的示例性實(shí)施例的在圖像變換設(shè)備中的變換器的控制操作的流程圖。參照?qǐng)D4，在步驟410，變換器從控制器接收上變換信息。上變換信息包括將被用于上變換的低清晰度視頻幀的數(shù)量以及每個(gè)低清晰度視頻幀的權(quán)重(或加權(quán)比)。控制器可僅當(dāng)多個(gè)低清晰度視頻幀被用于上變換時(shí)在上變換信息中提供關(guān)于每個(gè)低清晰度視頻幀的權(quán)重(或加權(quán)比)的信息。在步驟412，變換器確定上變換信息指示單個(gè)低清晰度視頻幀還是指示多個(gè)低清晰度視頻幀在上變換中使用。如果上變換信息指示單個(gè)低清晰度視頻幀，則在步驟416，變換器通過(guò)對(duì)在當(dāng)前時(shí)間的單個(gè)低清晰度視頻幀進(jìn)行上變換來(lái)產(chǎn)生高清晰度視頻幀。高清晰度視頻幀包括頂場(chǎng)和底場(chǎng)。因此，在步驟416，變換器通過(guò)上變換產(chǎn)生單個(gè)高清晰度視頻幀的頂場(chǎng)和底場(chǎng)。相反，如果上變換信息指示多個(gè)低清晰度視頻幀，則在步驟414，變換器確定是將相同的權(quán)重還是不同的權(quán)重分配給所述多個(gè)低清晰度視頻幀以進(jìn)行上變換。當(dāng)確定將相同的權(quán)重施加到所述多個(gè)低清晰度視頻幀時(shí)，變換器使用相同的比的所述多個(gè)低清晰度視頻幀(即，通過(guò)將相同的權(quán)重施加到所述多個(gè)低清晰度視頻幀)來(lái)產(chǎn)生高清晰度視頻幀。另一方面，當(dāng)確定將不同的權(quán)重施加到所述多個(gè)低清晰度視頻幀時(shí)，在步驟420， 變換器根據(jù)所述多個(gè)低清晰度視頻幀的不同的權(quán)重來(lái)使用所述多個(gè)低清晰度視頻幀產(chǎn)生高清晰度視頻幀。也就是說(shuō)，當(dāng)產(chǎn)生高清晰度視頻幀時(shí)，變換器考慮具有較高權(quán)重的低清晰度視頻幀比具有較低權(quán)重的低清晰度視頻幀更多。用于上變換的多個(gè)低清晰度視頻幀可以是在當(dāng)前時(shí)間的低清晰度視頻幀和在先前時(shí)間或在下一時(shí)間的低清晰度視頻幀。如果兩個(gè)低清晰度視頻幀被用于上變換，則它們優(yōu)選(但不必要)為在當(dāng)前時(shí)間的低清晰度視頻幀和在下一時(shí)間的低清晰度視頻幀。C.圖像變換的示例以下將描述根據(jù)本發(fā)明的示例性實(shí)施例的使用一個(gè)或兩個(gè)低清晰度視頻幀產(chǎn)生高清晰度視頻幀的示例。圖5示出根據(jù)本發(fā)明的示例性實(shí)施例的用于在圖像變換設(shè)備的變換器中使用一個(gè)低清晰度視頻幀產(chǎn)生一個(gè)高清晰度視頻幀的圖像變換操作。參照?qǐng)D5，變換器250包括插值和頂場(chǎng)產(chǎn)生單元530以及插值和底場(chǎng)產(chǎn)生單元 5400插值和頂場(chǎng)產(chǎn)生單元530以及插值和底場(chǎng)產(chǎn)生單元540可被合并到單個(gè)裝置中。
變換器250使用在時(shí)間、的低清晰度視頻幀510或在時(shí)間t2的低清晰度視頻幀 520產(chǎn)生兩個(gè)場(chǎng)550和560或570和580。由變換器250在每個(gè)時(shí)間產(chǎn)生的高清晰度圖像是包括頂場(chǎng)550或570以及底場(chǎng)560或580的高清晰度視頻幀。更具體地說(shuō)，插值和頂場(chǎng)產(chǎn)生單元530考慮基層低清晰度圖像的尺寸和增強(qiáng)高清晰度圖像的尺寸，通過(guò)對(duì)在時(shí)間、或t2的每一個(gè)時(shí)間的輸入低清晰度圖像510或輸入低清晰度圖像520進(jìn)行插值，產(chǎn)生與高清晰度視頻幀的頂場(chǎng)相同尺寸的插值圖像。插值圖像是從低清晰度圖像510或520上采樣的圖像P。例如，基層低清晰度圖像可以是20X20的尺寸，插值圖像和增強(qiáng)層高清晰度圖像的頂場(chǎng)可以是40X80的尺寸。插值和頂場(chǎng)產(chǎn)生單元530使用插值圖像產(chǎn)生高清晰度視頻幀的高清晰度頂場(chǎng)550 或570。高清晰度頂場(chǎng)550或570被置于與低清晰度視頻幀510或520相同的時(shí)間、或t2。例如，可通過(guò)PG[2J = (32 · PP[i]+16)//32 (1)來(lái)產(chǎn)生高清晰度頂場(chǎng)550或570 PcDi]。其中，Pc表示高清晰度圖像的頂場(chǎng)550或570的像素，Pp表示從單個(gè)低清晰度視頻幀510或520上采樣的圖像P的像素，i表示像素Pp的像素的索引。插值和頂場(chǎng)產(chǎn)生單元540考慮基層低清晰度圖像的尺寸和增強(qiáng)高清晰度圖像的尺寸，通過(guò)對(duì)在時(shí)間、或t2的每一個(gè)時(shí)間的輸入低清晰度圖像510或輸入低清晰度圖像 520進(jìn)行插值，產(chǎn)生與高清晰度視頻幀的底場(chǎng)相同尺寸的插值圖像。插值圖像是從低清晰度圖像510或520上采樣的圖像P。例如，基層低清晰度圖像可以是20X20的尺寸，插值圖像和增強(qiáng)層高清晰度圖像的底場(chǎng)可以是40X80的尺寸。插值和底場(chǎng)產(chǎn)生單元540使用插值圖像產(chǎn)生高清晰度視頻幀的高清晰度底場(chǎng)560
或580。高清晰度底場(chǎng)560或580在時(shí)間上與高清晰度頂場(chǎng)550或570分離。例如，高清晰
度底場(chǎng)560或580被置于低清晰度視頻幀510的時(shí)間、和低清晰度視頻幀520的時(shí)間t2 L +
之間的時(shí)間(例如，^1·)。例如，可通過(guò)Pc[2i+1]= (PP[i-3]-5 ·ΡΡ[ "2]+20 ·ΡΡ[Η]+20 ·ΡΡ[ ]-5 ·ΡΡ[ +1]+Ρ 1>[土+2]+16)//32或&[2廣1] = (16 ·ΡΡ[ -1]+16 ·ΡΡ[ ]+16)//32 來(lái)產(chǎn)生高清晰度底場(chǎng) 560 或 580Pc[2i+l]。其中，Pc表示高清晰度圖像的底場(chǎng)560或580的像素，Pp表示從單個(gè)低清晰度視頻幀510或520上采樣的圖像P的像素，i表示像素Pp的像素的索引。在以上描述中，t可表示圖像顯示在屏幕上的時(shí)間。還可預(yù)知底場(chǎng)在與低清晰度視頻幀相同的時(shí)間，頂場(chǎng)在比底場(chǎng)更早的時(shí)間。圖6示出根據(jù)本發(fā)明的示例性實(shí)施例的用于在圖像變換設(shè)備的變換器中使用兩個(gè)低清晰度視頻幀產(chǎn)生一個(gè)高清晰度視頻幀的圖像變換操作。參照?qǐng)D6，變換器250包括插值和頂場(chǎng)產(chǎn)生單元630和650以及插值和底場(chǎng)產(chǎn)生單元640。插值和頂場(chǎng)產(chǎn)生單元630和650以及插值和底場(chǎng)產(chǎn)生單元640可被合并到單個(gè)裝置中。雖然在圖6中插值和頂場(chǎng)產(chǎn)生單元630和650被示出將被用于不同時(shí)間，但是一個(gè)插值和頂場(chǎng)產(chǎn)生單元可處理不同時(shí)間的低清晰度圖像。
變換器250使用在時(shí)間、或t2的每一個(gè)時(shí)間的低清晰度視頻幀610或低清晰度視頻幀620，在預(yù)定時(shí)間產(chǎn)生用于高清晰度圖像的兩個(gè)場(chǎng)660和670 (即，頂場(chǎng)660和底場(chǎng) 670)之一。產(chǎn)生的場(chǎng)可以是頂場(chǎng)660。變換器250使用在時(shí)間、的低清晰度圖像610和在時(shí)間t2的低清晰度圖像，產(chǎn)生用于高清晰度圖像的另一場(chǎng)。另一場(chǎng)可以是底場(chǎng)670。因此，由變換器250在每個(gè)時(shí)間產(chǎn)生的高清晰度圖像可相應(yīng)于由頂場(chǎng)660和底場(chǎng) 670形成的一個(gè)高清晰度視頻幀。更具體地說(shuō)，插值和頂場(chǎng)產(chǎn)生單元630或650考慮基層低清晰度圖像的尺寸和增強(qiáng)高清晰度圖像的尺寸，通過(guò)對(duì)在時(shí)間、或t2的每一個(gè)時(shí)間的輸入低清晰度圖像進(jìn)行插值，產(chǎn)生與高清晰度視頻幀的頂場(chǎng)相同尺寸的插值圖像。插值圖像是從低清晰度圖像610 或620上采樣的圖像P。例如，基層低清晰度圖像可以是20X20的尺寸，插值圖像和增強(qiáng)層高清晰度圖像的頂場(chǎng)可以是40X80的尺寸。插值和頂場(chǎng)產(chǎn)生單元630或650使用插值圖像產(chǎn)生高清晰度視頻幀的高清晰度頂場(chǎng)660或680。高清晰度頂場(chǎng)660或680被置于與低清晰度視頻幀610或620相同的時(shí)間
^ °例如，可通過(guò)等式(1)來(lái)產(chǎn)生高清晰度頂場(chǎng)650或680。插值和頂場(chǎng)產(chǎn)生單元640通過(guò)以給定加權(quán)比對(duì)在時(shí)間、和t2的低清晰度視頻幀進(jìn)行插值，產(chǎn)生與高清晰度視頻幀的底場(chǎng)相同尺寸的插值圖像。插值圖像是從低清晰度圖像610和620上采樣的圖像P。基于在當(dāng)前時(shí)間、的基層低清晰度視頻幀的重要性和在下一時(shí)間t2的基層低清晰度視頻幀的重要性確定用于插值的給定的加權(quán)比(α β)。這里，α是給予在當(dāng)前時(shí)間、的基層低清晰度視頻幀的權(quán)重，β是給予在下一時(shí)間t2的基層低清晰度視頻幀的權(quán)重。權(quán)重α和β的和可以是1。因此，當(dāng)產(chǎn)生插值圖像時(shí)，插值和底場(chǎng)產(chǎn)生單元640使具有相對(duì)高權(quán)重的低清晰度視頻幀比具有相對(duì)低權(quán)重的低清晰度視頻幀具有更大的影響。也就是說(shuō)，插值和底場(chǎng)產(chǎn)生單元640在產(chǎn)生插值圖像中更多地考慮具有相對(duì)高權(quán)重的低清晰度視頻幀。然而，如果在當(dāng)前時(shí)間、和在下一時(shí)間t2的基層低清晰度視頻幀具有相同權(quán)重， 則在產(chǎn)生插值圖像中以相同的比使用它們。相同的權(quán)重的情況包括不使用任何權(quán)重的情況。插值和底場(chǎng)產(chǎn)生單元640使用插值圖像產(chǎn)生底場(chǎng)670。底場(chǎng)670在時(shí)間上與頂場(chǎng)
660分離。例如，底場(chǎng)670被置于低清晰度視頻幀610的時(shí)間、和低清晰度視頻幀620的
t +L
時(shí)間t2之間的時(shí)間(例如，)。在以上的描述中，t可表示圖像顯示在屏幕上的時(shí)間。還可預(yù)知底場(chǎng)在與低清晰度視頻幀相同的時(shí)間，頂場(chǎng)在比底場(chǎng)更早的時(shí)間。例如，可通過(guò)Pc[2i+1] = (Pp[i-l]+Pp[i]+Pp,NEXT[i-l]+Pp,NEXT[i]+2)//4 (3)或 Pc[2i+1] = (α .Pp[i-l] + a · Pp[i]+ΡΡ,ΝΕΧΤ [i_l]+ΡΡ,ΝΕΧΤ [i] + α+1)//{2 ( α+1)} (4)來(lái)產(chǎn)生底場(chǎng) 670 Pc[2i+1]0
其中，Pc表示高清晰度圖像的底場(chǎng)670的像素，Pp表示從先前低清晰度視頻幀610 上采樣的圖像P的像素，Pp,NEXT表示從下一低清晰度視頻幀620上采樣的圖像Pnext的像素， i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示權(quán)重。當(dāng)對(duì)多個(gè)低清晰度視頻幀使用相同權(quán)重或?qū)Χ鄠€(gè)低清晰度視頻幀不使用任何權(quán)重的情況下產(chǎn)生底場(chǎng)時(shí)，等式(3)可用。等式(4)可應(yīng)用于對(duì)多個(gè)低清晰度視頻幀給予不同權(quán)重產(chǎn)生底場(chǎng)。本發(fā)明的示例性實(shí)施例還可被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)可由計(jì)算機(jī)系統(tǒng)隨后讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。 計(jì)算機(jī)可讀記錄介質(zhì)的示例包括，但不限于，只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、 CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)裝置和載波(諸如經(jīng)由有線或無(wú)線傳輸路徑通過(guò)互聯(lián)網(wǎng)的數(shù)據(jù)傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)還可分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，并且可以以分布式方式存儲(chǔ)和執(zhí)行計(jì)算機(jī)可讀代碼。此外，可由本發(fā)明所屬的領(lǐng)域的程序員將用于完成本發(fā)明的功能程序、代碼和代碼片段容易地解釋為在本發(fā)明的范圍內(nèi)。雖然已參照本發(fā)明的特定示例性實(shí)施例示出并描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離由權(quán)利要求及其等同物定義的本發(fā)明的精神和范圍的情況下，可對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種改變。
1權(quán)利要求
1.一種用于在圖像處理系統(tǒng)中變換圖像的方法，包括如果多個(gè)低清晰度視頻幀被用于將低清晰度圖像變換為高清晰度圖像，則確定用于所述多個(gè)低清晰度視頻幀的權(quán)重；根據(jù)所述多個(gè)低清晰度視頻幀的權(quán)重，使用所述多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)之一。
2.如權(quán)利要求1所述的方法，其中，所述多個(gè)低清晰度視頻幀的數(shù)量為二，形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)是頂場(chǎng)和底場(chǎng)，產(chǎn)生的兩個(gè)圖像場(chǎng)之一是底場(chǎng)。
3.如權(quán)利要求2所述的方法，其中產(chǎn)生的步驟包括基于為第一低清晰度視頻幀和第二低清晰度視頻幀確定的權(quán)重，產(chǎn)生第一低清晰度幀的插值圖像以及第二低清晰度幀的插值圖像，其中，第一低清晰度幀作為用于將低清晰度圖像變換為高清晰度圖像的兩個(gè)低清晰度幀之一，第二低清晰度幀作為所述兩個(gè)低清晰度幀的另一個(gè)；使用第一低清晰度視頻幀和第二低清晰度視頻幀的插值圖像來(lái)產(chǎn)生底場(chǎng)，其中，第一低清晰度視頻幀的時(shí)間早于第二低清晰度視頻幀的時(shí)間，底場(chǎng)在第一低清晰度視頻幀的時(shí)間和第二低清晰度視頻幀的時(shí)間之間的時(shí)間。
4.一種在圖像處理系統(tǒng)中的圖像變換設(shè)備，包括控制器，如果多個(gè)低清晰度視頻幀被用于將低清晰度圖像變換為高清晰度圖像，則確定用于所述多個(gè)低清晰度視頻幀的權(quán)重；變換器，根據(jù)所述多個(gè)低清晰度視頻幀的權(quán)重，使用所述多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)之一。
5.如權(quán)利要求4所述的圖像變換設(shè)備，其中，所述多個(gè)低清晰度視頻幀的數(shù)量為二，形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)是頂場(chǎng)和底場(chǎng)，產(chǎn)生的兩個(gè)圖像場(chǎng)之一是底場(chǎng)。
6.如權(quán)利要求5所述的圖像變換設(shè)備，其中，變換器基于為第一低清晰度視頻幀和第二低清晰度視頻幀確定的權(quán)重，產(chǎn)生第一低清晰度幀的插值圖像以及第二低清晰度幀的插值圖像，并使用第一低清晰度視頻幀和第二低清晰度視頻幀的插值圖像來(lái)產(chǎn)生底場(chǎng)，其中， 第一低清晰度幀作為用于將低清晰度圖像變換為高清晰度圖像的兩個(gè)低清晰度幀之一，第二低清晰度幀作為所述兩個(gè)低清晰度幀的另一個(gè)；其中，第一低清晰度視頻幀的時(shí)間早于第二低清晰度視頻幀的時(shí)間，底場(chǎng)在第一低清晰度視頻幀的時(shí)間和第二低清晰度視頻幀的時(shí)間之間的時(shí)間。
7.如權(quán)利要求2所述的方法或權(quán)利要求7所述的圖像變換設(shè)備，其中，高清晰度圖像是隔行掃描圖像，低清晰度圖像是逐行掃描圖像。
8.如權(quán)利要求7所述的圖像變換設(shè)備，其中，控制器根據(jù)源圖像的特征來(lái)確定所述多個(gè)低清晰度視頻幀的權(quán)重，源圖像的特征是用于確定所述多個(gè)低清晰度視頻幀的重要性的信息或關(guān)于源圖像的運(yùn)動(dòng)信息。
9.一種在圖像處理系統(tǒng)中變換圖像的方法，包括如果將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像，則使用單個(gè)低清晰度視頻幀第一產(chǎn)生形成高清晰度圖像的頂場(chǎng)和底場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重，則第二產(chǎn)生的步驟包括使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)，使用所述兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像，則第三產(chǎn)生的步驟包括使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)，通過(guò)將權(quán)重施加到所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)。
10.如權(quán)利要求9所述的方法，其中，如果將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像，則第一產(chǎn)生的步驟包括通過(guò)(32 · PP[i]+16)//32產(chǎn)生高清晰度圖像的頂場(chǎng)PJ2J， 通過(guò)(PP[i-3]-5 · PP[i-2]+20 · PP[i-l]+20 · PP[i]-5 · PP[i + l]+PP[i+2]+16)//32 或 (16.Pp[i-l]+16.Pp[i]+16)//32來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)&[2廣1]，如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重， 則第二產(chǎn)生的步驟包括通過(guò)(32 ·ΡΡ[ ]+16)//32產(chǎn)生高清晰度圖像的頂場(chǎng)PJ2J，通過(guò) (Pp[i-1] +Pp[i] +Pp,NEXT[i-1] +Pp,NEXT [i] +2) //4 產(chǎn)生高清晰度圖像的底場(chǎng) Pc[2^1]，如果使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像，則第三產(chǎn)生的步驟包括通過(guò)(32 ·ΡΡ[ ]+16)//32產(chǎn)生高清晰度圖像的頂場(chǎng)PJ2J，通過(guò)(α ·ΡΡ[ -1] + α · Pp [i] +ΡΡ,ΝΕΧΤ [i-1] +ΡΡ,ΝΕΧΤ [i] + α +1) // {2 ( α +1)}來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)Pc[2i+1]，其中，Pc表示高清晰度圖像的頂場(chǎng)和底場(chǎng)中的像素，Pp表示從所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀上采樣的圖像P的像素，PP,NEXT表示從所述兩個(gè)連續(xù)低清晰度視頻幀之間的下一低清晰度視頻幀上采樣的圖像Pnext的像素，i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示權(quán)重。
11.一種在圖像處理系統(tǒng)中的圖像變換設(shè)備，包括頂場(chǎng)產(chǎn)生器，使用單個(gè)低清晰度視頻幀或使用兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的頂場(chǎng)；底場(chǎng)產(chǎn)生器，使用單個(gè)低清晰度視頻幀或所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)，其中，如果將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像，則頂場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重，則頂場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重，則頂場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀產(chǎn)生高清晰度圖像的頂場(chǎng)，如果將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像，則底場(chǎng)產(chǎn)生器使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重，則底場(chǎng)產(chǎn)生器使用所述兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像的底場(chǎng)；如果將使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像，則底場(chǎng)產(chǎn)生器通過(guò)將權(quán)重施加到所述兩個(gè)連續(xù)低清晰度視頻幀來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)。
12.如權(quán)利要求11所述的圖像變換設(shè)備，其中，頂場(chǎng)產(chǎn)生器通過(guò)(32· PP[i]+16)//32 產(chǎn)生高清晰度圖像的頂場(chǎng)PJ2J，其中，Pc表示高清晰度圖像的頂場(chǎng)中的像素，Pp表示從單個(gè)低清晰度視頻幀或所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀上采樣的圖像P的像素，i表示像素Pp的像素的索引。
13.如權(quán)利要求11所述的圖像變換設(shè)備，其中，如果將使用單個(gè)低清晰度視頻幀產(chǎn)生高清晰度圖像，則底場(chǎng)產(chǎn)生器通過(guò)(PP[i-3]_5 ·Ρρ[ -2]+20 ·Ρρ[ -1]+20 ·ΡΡ[ ]-5 -Pp[i+1]+P P[i+2]+16)//32 或(16·Ρρ[ -1]+16 ·ΡΡ[ ]+16)//32 來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)&[2廣1]， 如果將使用兩個(gè)連續(xù)低清晰度視頻幀產(chǎn)生高清晰度圖像而不對(duì)所述兩個(gè)連續(xù)低清晰度視頻幀施加權(quán)重，則底場(chǎng)產(chǎn)生器通過(guò)(Pp[i_l] +PP[i] +Pp, NEXT[i-l]+PP, NEXT [i] +2) //4來(lái)產(chǎn)生高清晰度圖像的底場(chǎng)Pe[2i+1]，如果使用兩個(gè)連續(xù)低清晰度視頻幀根據(jù)用于所述兩個(gè)連續(xù)低清晰度視頻幀的權(quán)重產(chǎn)生高清晰度圖像，則底場(chǎng)產(chǎn)生器通過(guò)(α ·ΡΡ[ -1] + α -Pp[i]+Pp, next [i-1] +Ρρ,νεχτ[ ] + α +1) // {2 ( α +1)}來(lái)產(chǎn)生高清晰度圖像的底場(chǎng) Ρ。[2^1]，其中，Pc表示高清晰度圖像的頂場(chǎng)和底場(chǎng)中的像素，Pp表示從所述兩個(gè)連續(xù)低清晰度視頻幀之間的先前低清晰度視頻幀上采樣的圖像P的像素，ΡΡ,ΝΕΧΤ表示從所述兩個(gè)連續(xù)低清晰度視頻幀之間的下一低清晰度視頻幀上采樣的圖像Pnext的像素，i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示權(quán)重。
14.如權(quán)利要求11所述的方法或權(quán)利要求18所述的圖像變換設(shè)備，其中，高清晰度圖像是隔行掃描圖像，低清晰度視頻幀是逐行掃描視頻幀。
全文摘要
提供了一種用于在圖像處理系統(tǒng)中變換圖像的方法和設(shè)備，其中，如果多個(gè)低清晰度視頻幀被用于將低清晰度圖像變換為高清晰度圖像，則確定用于所述多個(gè)低清晰度視頻幀的每個(gè)的權(quán)重；根據(jù)所述多個(gè)低清晰度視頻幀的權(quán)重，使用所述多個(gè)低清晰度視頻幀產(chǎn)生形成高清晰度視頻幀的兩個(gè)圖像場(chǎng)之一。
文檔編號(hào)H04N7/01GK102474589SQ201080032352
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年7月19日 優(yōu)先權(quán)日2009年7月17日
發(fā)明者鄭載宇 申請(qǐng)人:三星電子株式會(huì)社