專利名稱：顏色變換設(shè)備、顏色變換方法、和顏色變換程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及顏色變換設(shè)備、顏色變換方法、和顏色變換程序。
背景技術(shù)：
例如，JP-A-2004-272516和 JP-A-2004-M6739 (專利文獻(xiàn) 1 和 2)公開(kāi)了向具有正常顏色視覺(jué)的人呈現(xiàn)圖像的方法，其中提取相同圖像幀中的具有不可辨別的色度的區(qū)域并對(duì)該區(qū)域進(jìn)行顏色變換，以向人呈現(xiàn)圖像。

發(fā)明內(nèi)容
以上所列出的文獻(xiàn)中公開(kāi)的每種技術(shù)均用于在靜止圖像幀中執(zhí)行的顏色變換處理。當(dāng)這些技術(shù)被用于處理運(yùn)動(dòng)圖像內(nèi)容時(shí)，由于運(yùn)動(dòng)圖像內(nèi)容的對(duì)象每當(dāng)該內(nèi)容從一幀變到另一幀時(shí)都會(huì)移動(dòng)，所以該內(nèi)容會(huì)在以下兩種狀態(tài)之間動(dòng)態(tài)切換受到色度(hue，色調(diào))之間的混淆的影響的狀態(tài)以及受到色度之間沒(méi)有混淆的影響的狀態(tài)。在這種情況下， 同一對(duì)象的具有混淆顏色的區(qū)域在一些情況中會(huì)被區(qū)別處理。具體地，可以對(duì)某幀中的對(duì)象的區(qū)域執(zhí)行顏色變換(因?yàn)榇嬖跁?huì)發(fā)生顏色混淆的另一區(qū)域)，并且可以不在其中具有在前幀中包括的混淆顏色的區(qū)域已經(jīng)消失的另一幀中執(zhí)行顏色變換。結(jié)果，通過(guò)顏色變換處理得到的運(yùn)動(dòng)圖像數(shù)據(jù)可能會(huì)有諸如屬于圖像序列的相同對(duì)象的色度之間的不連續(xù)轉(zhuǎn)變以及相同對(duì)象的顏色之間不一致的變化之類的問(wèn)題。當(dāng)顏色變換被以這樣的方式執(zhí)行時(shí)，會(huì)出現(xiàn)用戶可能會(huì)有無(wú)序感并且圖像的不自然可能會(huì)被夸大的問(wèn)題。在這種情況下，期望提供一種能夠使最佳顏色變換處理在運(yùn)動(dòng)圖像內(nèi)容上執(zhí)行的新穎改進(jìn)的顏色變換設(shè)備、顏色變換方法和顏色變換程序。根據(jù)本技術(shù)的實(shí)施例，提供了一種顏色變換設(shè)備，包括輸入部，用于從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)；對(duì)象檢測(cè)部，用于從每幀圖像檢測(cè)對(duì)象；混淆區(qū)域提取部，用于從所檢測(cè)出的圖像提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在混淆區(qū)域被提取自特定幀時(shí)，對(duì)特定幀或者包含提取出混淆區(qū)域的對(duì)象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。根據(jù)本實(shí)施例的顏色變換設(shè)備可以包括顏色變換處理存儲(chǔ)部，用于存儲(chǔ)對(duì)特定幀執(zhí)行的顏色變換處理的內(nèi)容。顏色變換部在對(duì)另一幀執(zhí)行顏色變換時(shí)可以使用存儲(chǔ)在顏色變換處理存儲(chǔ)部中的處理內(nèi)容。根據(jù)本實(shí)施例的顏色變換設(shè)備可以包括對(duì)象存儲(chǔ)部，用于存儲(chǔ)特定幀中的執(zhí)行了顏色變換的對(duì)象。顏色變換部可以在存儲(chǔ)在對(duì)象存儲(chǔ)部中的對(duì)象存在于另一幀中時(shí)對(duì)另一幀執(zhí)行顏色變換?；煜齾^(qū)域提取部可以從對(duì)象檢測(cè)部所檢測(cè)出的多個(gè)對(duì)象中的各個(gè)對(duì)象提取具有會(huì)相互混淆的色度的混淆區(qū)域。根據(jù)本實(shí)施例的設(shè)備可以包括混淆區(qū)域所屬對(duì)象提取部， 用于基于每個(gè)對(duì)象中的混淆區(qū)域的尺寸，從多個(gè)對(duì)象提取將要進(jìn)行顏色變換的對(duì)象。顏色變換部可以對(duì)多個(gè)對(duì)象中的由混淆區(qū)域所屬對(duì)象提取部所提取的對(duì)象執(zhí)行顏色變換。
顏色變換部可以對(duì)具有會(huì)導(dǎo)致對(duì)象之間的相互混淆的色度的混淆區(qū)域執(zhí)行顏色變換，從而使得混淆區(qū)域不會(huì)存在于xy色度圖上的同一條混淆線上。根據(jù)本技術(shù)的另一實(shí)施例，提供了一種顏色變換方法，包括以下步驟從每幀提取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)；從每幀圖像檢測(cè)對(duì)象；從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域；當(dāng)混淆區(qū)域被提取自特定幀時(shí)，對(duì)特定幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換；以及對(duì)包含提取出混淆區(qū)域的對(duì)象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。根據(jù)本技術(shù)的又一實(shí)施例，提供了一種使計(jì)算機(jī)充當(dāng)以下裝置的程序用于從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)的裝置；用于從每幀圖像檢測(cè)對(duì)象的裝置；用于從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域的裝置；用于在混淆區(qū)域被提取自特定幀時(shí)，對(duì)特定幀或者包含提取出混淆區(qū)域的對(duì)象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換的裝置。本技術(shù)的實(shí)施例使得提供能夠?qū)\(yùn)動(dòng)圖像內(nèi)容執(zhí)行最佳顏色變換處理的顏色變換設(shè)備、顏色變換方法、和顏色變換程序成為可能。


圖1是示出根據(jù)本技術(shù)的實(shí)施例的顏色變換設(shè)備的配置的示意圖；圖2是示出由顏色變換設(shè)備執(zhí)行的處理的流程圖；圖3是示出對(duì)象的順序移動(dòng)的運(yùn)動(dòng)圖像幀的圖示；圖4示出了在CIE xy色度圖上繪制的圖3中的對(duì)象A和對(duì)象B的顏色特性；以及圖5是示出包括圖3中所示的每幀中的混淆區(qū)域存在標(biāo)記的狀態(tài)、由混淆區(qū)域提取部分執(zhí)行的混淆區(qū)域提取的結(jié)果、以及由對(duì)象檢測(cè)部分執(zhí)行的對(duì)象A和B的追蹤的結(jié)果。
具體實(shí)施例方式現(xiàn)在參考附圖詳細(xì)描述本技術(shù)的實(shí)施例。將按照所列出的次序描述以下條目1.實(shí)施例的背景2.顏色變換設(shè)備的示例性配置3.示例性顏色變換處理[1.實(shí)施例的背景]存在包括三色(C型)顏色視覺(jué)以及被稱為色盲或者色弱的P型和D型顏色視覺(jué)在內(nèi)的各種人類顏色視覺(jué)。當(dāng)顏色顯示裝置(其一般為顏色監(jiān)視器和液晶顯示器)創(chuàng)建顏色圖像內(nèi)容或者重現(xiàn)顏色時(shí)，假設(shè)內(nèi)容和顏色將被占潛在觀眾中的大多數(shù)的具有C型顏色視覺(jué)的人觀看。所以，具有P型或者D型顏色視覺(jué)的人有時(shí)會(huì)看不到色差信息?，F(xiàn)在描述顏色視覺(jué)類型。根據(jù)作為NPO(非營(yíng)利組織)的CUDO(通用顏色設(shè)計(jì)機(jī)構(gòu))，20個(gè)日本男性中有一位具有不同于普通顏色視覺(jué)的顏色視覺(jué)，并且500個(gè)日本女性中有一位具有不同于普通顏色視覺(jué)的顏色視覺(jué)，在日本這些人的數(shù)目估計(jì)總共有300萬(wàn)以上。在顏色視覺(jué)方面有問(wèn)題的人或者有色弱的人有時(shí)會(huì)難以正確地辨認(rèn)出公共場(chǎng)所的引導(dǎo)圖、路線圖、電子布告板、或者電子設(shè)備的操作屏幕上的顏色。例如，對(duì)于具有難以區(qū)分紅色和綠色的色弱類型的人來(lái)說(shuō)，顯然難以理解使用紅色和綠色繪制的圖表。根據(jù)CUD0，基于視網(wǎng)膜的哪個(gè)錐體有異常，如下所述地將顏色視覺(jué)特性劃分為類型(1)至(6)。具體地，存在以下六類人(1)具有正常(C型)顏色視覺(jué)的人，( 具有對(duì)于紅色的色弱(P型)的人， (3)具有對(duì)于綠色的色弱(D型)的人，(4)具有對(duì)于藍(lán)色的色弱(T型)的人，(5)具有對(duì)于多種顏色的色弱(A型)的人，(6)完全色盲(U型)的人。一種類型的錐體的異常并不一定與色弱類型( 至(4)中的任意一種相關(guān)聯(lián)。當(dāng)某種顏色的可見(jiàn)度低時(shí)，顏色視覺(jué)的異常會(huì)根據(jù)異常的程度而影響其他顏色的可見(jiàn)度。例如，具有被歸類為P型的色弱的人在區(qū)分紅色和綠色方面就有困難。在這種情況下，公開(kāi)了一種圖像呈現(xiàn)方法，該方法在其示例性應(yīng)用中主要被應(yīng)用于二色性的顏色視覺(jué)，并且包括以下步驟當(dāng)向具有如上所述的C型以外的顏色視覺(jué)的人呈現(xiàn)圖像時(shí)，對(duì)具有不能相互區(qū)分的色度并且屬于相同圖像幀的區(qū)域執(zhí)行顏色變換。然而， 當(dāng)該方法被用來(lái)如上所述處理運(yùn)動(dòng)圖像內(nèi)容時(shí)，會(huì)對(duì)相同對(duì)象中的區(qū)域執(zhí)行不同的顏色變換。具體地，由于存在會(huì)與其發(fā)生顏色混淆的另一區(qū)域，所以可以對(duì)某幀中的對(duì)象的區(qū)域執(zhí)行顏色變換，而不可以在其中的具有在前幀中包括的混淆顏色的區(qū)域消失的另一幀中執(zhí)行顏色變換。根據(jù)本實(shí)施例，即使在某幀的運(yùn)動(dòng)圖像內(nèi)容不包括具有混淆顏色的區(qū)域時(shí)，如果參考幀(例如，所關(guān)注的幀的在前幀)包括具有混淆區(qū)域的區(qū)域，顏色變換也會(huì)被執(zhí)行。所以，避免了圖像給用戶帶來(lái)無(wú)序感。由于對(duì)具有顏色視覺(jué)障礙的人來(lái)說(shuō)難以將位于Xy色度圖的混淆線上的顏色與同一條線上的其他顏色區(qū)分開(kāi)，所以校正被執(zhí)行以將顏色移到遠(yuǎn)離混淆線的位置。[2.顏色變換設(shè)備的示例性配置]現(xiàn)在將參考圖1描述根據(jù)本技術(shù)的實(shí)施例的顏色變換設(shè)備100的配置。如圖1中所示，顏色變換設(shè)備100包括輸入/輸出部102、臨時(shí)存儲(chǔ)部104、盤存儲(chǔ)部106、以及計(jì)算處理部110。這些塊通過(guò)總線108連接。輸入/輸出部102充當(dāng)圖像輸入部和圖像輸出部，其中，原始圖像數(shù)據(jù)被輸入到輸入/輸出部，并且輸入/輸出部將通過(guò)顏色變換處理得到的圖像數(shù)據(jù)輸出到諸如液晶顯示面板之類的顯示系統(tǒng)。臨時(shí)存儲(chǔ)部104是由易失性存儲(chǔ)器、非易失性存儲(chǔ)器等組成的存儲(chǔ)部。盤存儲(chǔ)部106是由硬盤等組成的存儲(chǔ)部。臨時(shí)存儲(chǔ)部104 和盤存儲(chǔ)部106被設(shè)置用于存儲(chǔ)圖像數(shù)據(jù)和顏色變換處理的內(nèi)容。將由計(jì)算處理部110執(zhí)行的程序被保存在盤存儲(chǔ)部106中。保存在盤存儲(chǔ)部106中的處理程序的內(nèi)容被布置在臨時(shí)存儲(chǔ)部104中。計(jì)算處理部110由中央處理單元(CPU)等組成，并且該部執(zhí)行確定布置在臨時(shí)存儲(chǔ)部104中的程序的處理以執(zhí)行顏色變換處理。作為程序確定處理的執(zhí)行結(jié)果，計(jì)算處理部110充當(dāng)對(duì)象檢測(cè)部分112、混淆區(qū)域所屬對(duì)象(bearing object)提取部分114、 混淆區(qū)域提取部分116、以及顏色變換部分118。[3.示例性顏色變換部分]現(xiàn)在將參考圖2至圖4描述由顏色變換設(shè)備100執(zhí)行的示例性顏色變換處理。圖 2是由顏色變換設(shè)備100執(zhí)行的處理的流程圖。圖3是示出對(duì)象的順序移動(dòng)的運(yùn)動(dòng)圖像幀的圖示。首先，如圖2中所示，在步驟S 10，作為變換候選的圖像幀被輸入到顏色變換設(shè)備 100的輸入/輸出部102。具體地，圖像幀k(第k幀)被輸入到輸入/輸出部102。在步驟S12，對(duì)象檢測(cè)部分112檢測(cè)并追蹤圖像幀k中的對(duì)象。根據(jù)公知的區(qū)域檢測(cè)方法和區(qū)域追蹤方法，對(duì)幀中的對(duì)象進(jìn)行劃分。對(duì)象檢測(cè)部分112對(duì)存在于多個(gè)幀中的對(duì)象進(jìn)行處理，從而使得該對(duì)象可以使用例如唯一地分配給對(duì)象的對(duì)象ID來(lái)追蹤。圖3是示出對(duì)象的順序移動(dòng)的運(yùn)動(dòng)圖像幀的示意性圖示。在這種情況下，將通過(guò)示例描述具有第0至第7幀的運(yùn)動(dòng)圖像，并且圖3中示出了圖像的第0、第4、和第5幀。如圖3中所示，對(duì)象A存在于第0幀中的屏幕的左上部分，并且每當(dāng)圖像從一幀向下一幀前進(jìn)時(shí)對(duì)象A向右并向屏幕下部移動(dòng)。所以，對(duì)象A在第4幀中位于屏幕中間，并且對(duì)象A在第 5幀中位于屏幕的右下部分。對(duì)象B出現(xiàn)在第4幀以及隨后幀中，并且該對(duì)象的位置保持不變。當(dāng)圖像幀的輸入如圖3中部分所示地那樣前進(jìn)時(shí)，對(duì)象檢測(cè)部分112順序在第0 至第6幀中檢測(cè)對(duì)象A并在第4至第7幀中檢測(cè)對(duì)象B。有關(guān)每幀中被這些對(duì)象占用的區(qū)域的多條信息被作為檢測(cè)結(jié)果獲取，并且該多條信息被作為對(duì)象A和B的屬性順序保存在臨時(shí)存儲(chǔ)部104中。這種區(qū)域信息可以被規(guī)定為指示感興趣的區(qū)域的形狀的“圓周”，并且該信息可以包括指示區(qū)域的中心位置的坐標(biāo)信息和指示區(qū)域的半徑的距離信息。混淆區(qū)域所屬對(duì)象提取部分114隨后參考這些屬性來(lái)確定這些區(qū)域之間是否存在任何包含關(guān)系。參考圖2，在步驟S14確定圖像幀k是否包括其顏色會(huì)被相互混淆的混淆區(qū)域。對(duì)于混淆區(qū)域的存在與否的確定由計(jì)算部Iio的混淆區(qū)域提取部分116執(zhí)行。當(dāng)在步驟S14 確定存在混淆區(qū)域時(shí)，流程進(jìn)行到步驟S16?，F(xiàn)在將基于圖2中所示的示例描述該流程。我們假設(shè)，在步驟S12在圖3中所示的第4幀中檢測(cè)到了對(duì)象A和B，并且對(duì)象A的區(qū)域具有會(huì)與對(duì)象B的顏色(例如，紅色)相混淆的顏色(例如，綠色)。在這種情況下，在步驟 S14確定存在混淆區(qū)域，并且流程進(jìn)行到步驟S16。在步驟S16，對(duì)于混淆區(qū)域中的具有較小面積的一個(gè)執(zhí)行顏色變換處理。顏色變換處理由顏色變換部分118執(zhí)行。在通過(guò)示例示出的第4幀中，對(duì)象A的區(qū)域M的顏色與整個(gè)對(duì)象B的顏色混淆。比較這兩個(gè)區(qū)域，區(qū)域M具有較小面積。所以，在步驟S16在具有較小面積的區(qū)域Μ中執(zhí)行顏色變換。此時(shí)，計(jì)算處理部110的混淆區(qū)域所屬對(duì)象提取部分 114基于對(duì)象A和B的位置和尺寸以及混淆區(qū)域的面積來(lái)確定將要執(zhí)行顏色變換的對(duì)象。在步驟S16之后，流程進(jìn)行到步驟S18。在步驟S18，在步驟S16執(zhí)行的顏色變換操作被存儲(chǔ)在處理內(nèi)容保存區(qū)中。在這種情況下，對(duì)于區(qū)域執(zhí)行的顏色變換處理被存儲(chǔ)在顏色變換設(shè)備100的臨時(shí)存儲(chǔ)部104中。在步驟S18之后，流程進(jìn)行到步驟S20。在步驟S20，確定混淆區(qū)域是否被包括在任何其他對(duì)象的區(qū)域中。在通過(guò)示例示出的第4幀中， 作為混淆區(qū)域的區(qū)域&被包括在對(duì)象A的區(qū)域中，并且對(duì)象A除了包括區(qū)域&以外還包括區(qū)域SAl和區(qū)域SA2。所以，在第4幀的情況下，流程從步驟S20進(jìn)行到S22。在第4幀中，如圖3所示，區(qū)域SAl由“SA1_4”表示，并且區(qū)域SA2由“SA2_4”表示。類似地，在第5 幀中，區(qū)域SAl由“SA1_5”表示，并且區(qū)域SA2由“SA2_5”表示。在步驟S22，對(duì)對(duì)象A的除了區(qū)域以外的區(qū)域SA1_4和SA2_4執(zhí)行顏色變換。 在步驟S24，在步驟S22執(zhí)行的顏色變換處理被額外地存儲(chǔ)在設(shè)置在顏色變換設(shè)備100的臨時(shí)存儲(chǔ)部104中的處理內(nèi)容保存區(qū)中。在這種情況下，對(duì)區(qū)域SA1_4和SA2_4執(zhí)行的顏色變換處理被額外存儲(chǔ)。在步驟SM之后，流程進(jìn)行到步驟S26。在步驟S26，確定當(dāng)前圖像幀k是否為感興趣的幀序列中的最后幀。當(dāng)圖像幀k不是序列中的最后幀時(shí)，流程進(jìn)行到步驟S28，在步驟S28，值k增大，并且流程返回到步驟SlO以重復(fù)步驟SlO和隨后步驟的處理。當(dāng)在步驟S26確定圖像幀k是序列中的最后幀時(shí)，處理流程終止(結(jié)束)。當(dāng)在步驟S14確定不存在混淆區(qū)域時(shí)，流程進(jìn)行到步驟S30?，F(xiàn)在將參考圖3中所示的第5幀，通過(guò)示例描述該流程。在圖3中所示的第5幀中，對(duì)象A已經(jīng)從第4幀中的相同位置進(jìn)一步向右并向屏幕的下方移動(dòng)，并且對(duì)象A和B相互重疊。在重疊關(guān)系中對(duì)象 A在對(duì)象B后面，并且作為混淆區(qū)域的區(qū)域M被隱藏在對(duì)象B后面。由于除了區(qū)域M以外對(duì)象A的顏色和對(duì)象B的顏色之間沒(méi)有發(fā)生混淆，所以第5幀不包括可以導(dǎo)致對(duì)象A和 B之間的顏色混淆的區(qū)域。所以，在圖3中所示的第5幀的情況下，作為步驟S14的確定結(jié)果，流程從步驟S14進(jìn)行到步驟S30。在步驟S30，確定以前所參考的幀(圖像幀(k-Ι))中是否存在混淆區(qū)域。當(dāng)以前所參考的圖像幀中存在混淆區(qū)域時(shí)，流程進(jìn)行到步驟S32。當(dāng)圖3中所示的第5幀被處理時(shí)，由于以前所參考的第4幀中存在混淆區(qū)域(區(qū)域M)，所以流程從步驟S30進(jìn)行到步驟 S32。在步驟S32，對(duì)在步驟S30已經(jīng)被確定存在于以前所參考的幀中的混淆區(qū)域進(jìn)行判定，以檢查包括混淆區(qū)域的對(duì)象是否也存在于當(dāng)前處理的幀中。此時(shí)，參考臨時(shí)存儲(chǔ)部 104中存儲(chǔ)的對(duì)象的屬性來(lái)確定對(duì)象是否存在于當(dāng)前幀中。當(dāng)以前所參考的幀中的包括混淆區(qū)域的對(duì)象也存在于當(dāng)前處理的幀中時(shí)，流程進(jìn)行到步驟S34。將使用圖3中所示的第5 幀作為示例作出更加具體的描述。存在于以前所參考的第4幀中的包括混淆區(qū)域Μ的對(duì)象A也存在于第5幀中。所以，在圖3中所示的第5幀的情況中，流程從步驟S32進(jìn)行到步驟 S34。在步驟S34，對(duì)混淆區(qū)域以外的混淆區(qū)域所屬的對(duì)象執(zhí)行顏色變換(即，對(duì)對(duì)象的非混淆區(qū)域執(zhí)行顏色變換)。在圖3中所示的第5幀的情況中，對(duì)除了混淆區(qū)域M以外的區(qū)域SA1_5和SA2_5執(zhí)行顏色變換。此時(shí)，由于對(duì)第4幀中的區(qū)域SA1_4和SA2_4執(zhí)行的顏色變換處理已經(jīng)在步驟SM被存儲(chǔ)在臨時(shí)存儲(chǔ)部104中，所以步驟S22的處理內(nèi)容在步驟S34被從臨時(shí)存儲(chǔ)部104讀出，以執(zhí)行類似于步驟S22的處理的顏色變換處理。如這里所描述的，由于作為混淆區(qū)域的對(duì)象A的區(qū)域M被隱藏在對(duì)象B的后面，所以在不包括混淆區(qū)域的第5幀中，以類似于步驟S22的處理對(duì)區(qū)域SA1_5和SA2_5執(zhí)行顏色變換。所以， 由于對(duì)象A的區(qū)域SAl和SA2中的顏色變換在第4和第5幀中被類似地執(zhí)行，所以當(dāng)圖像從第4幀變到第5幀時(shí)可以防止圖像被用戶的眼睛認(rèn)為有無(wú)序感。在后續(xù)步驟或者步驟S36，在步驟S34執(zhí)行的顏色變換處理被額外存儲(chǔ)在設(shè)置在顏色變換設(shè)備100中的存儲(chǔ)器的處理內(nèi)容保存區(qū)中。當(dāng)圖3中所示的第5幀被處理時(shí)，對(duì)區(qū)域SA1_5和SA2_5執(zhí)行的顏色變換處理被額外存儲(chǔ)。在步驟S36之后，流程進(jìn)行到步驟S26。在步驟S26，確定當(dāng)前圖像幀k是否為序列中的最后幀。當(dāng)圖像幀k不是序列中的最后幀時(shí)，流程進(jìn)行到步驟S28。在步驟S28，值k 增大，流程返回到步驟SlO以重復(fù)步驟SlO和后續(xù)步驟的處理。當(dāng)在步驟S26確定圖像幀 k是序列中的最后幀時(shí)，處理的流程終止(結(jié)束)。圖4示出了在CIE(國(guó)際發(fā)光照明委員會(huì))xy色度圖上繪制的圖3中的對(duì)象A和 B的顏色特性。例如，圖4中所示的色度表類似于上述專利文獻(xiàn)2的圖5。顏色的范圍被以扇形的形式繪制出來(lái)，并且當(dāng)逆時(shí)針?lè)较蚝藢?duì)繪圖時(shí)顏色被以波長(zhǎng)遞減的次序示出。圖4 的色度圖上所示的每條直線(混淆線)是根據(jù)CIE xy色度圖繪制的直線，其表示這樣的色
7度和飽和度信息，其中相同直線上的兩種色度可以被具有C型顏色視覺(jué)的人看作不同的色度并且被具有P型顏色視覺(jué)的人看作相同的色度(當(dāng)這兩種色度相近時(shí))。具有顏色視覺(jué)問(wèn)題的人很難區(qū)分位于這樣的直線上并且在色度和飽和度信息方面相近的兩種顏色。假設(shè)圖3中所示的每幀中的對(duì)象A是被著色對(duì)象，該對(duì)象具有以清晰的輪廓或?qū)Ρ榷葯z測(cè)出的對(duì)象邊界并且具有藍(lán)色和綠色域之間的色彩層次(gradation)。如圖3中所示，對(duì)象A被著色，從而使得其在屏幕的左上到右下方向從藍(lán)色向綠色漸變(gradate)。對(duì)象B被統(tǒng)一著色為紅色。將使用圖4中所示的CIE xy色度表來(lái)進(jìn)行更具體的描述。利用CIE xy色度表中的在藍(lán)色域中的點(diǎn)I^bI (0. 14，0. 08)和綠色域中的點(diǎn)PSa (0. 29，0. 60)之間延伸的直線1_1’ 上的顏色所提供的色彩層次對(duì)對(duì)象A著色。圖3中所示的區(qū)域SAl對(duì)應(yīng)于點(diǎn)此1，并且區(qū)域 Sa對(duì)應(yīng)于點(diǎn)PSa。該對(duì)象從區(qū)域SAl的顏色向區(qū)域Μ的顏色漸變，即沿著直線1_1’從點(diǎn) Pbl表示的顏色向點(diǎn)P&i表示的顏色漸變。對(duì)象B作為整體具有由圖4中所示的點(diǎn)1^(0. 65， 0. 33)表示的顏色。由于如圖4所示，點(diǎn)PM和1 被放置在混淆線X上，所以具有顏色PSa的對(duì)象A 的區(qū)域和具有顏色1 的對(duì)象B的區(qū)域會(huì)被具有P型顏色視覺(jué)的人相互混淆。但是，對(duì)象A 的除了區(qū)域M以外的區(qū)域并不位于混淆線X上，所以該區(qū)域處于一般所知的作為色差閾值的MacAdam橢圓之外。所以，該區(qū)域具有這樣的色度，其中即使其位于對(duì)象B附近也不能被確定為混淆區(qū)域。如上所述，在圖2中所示的步驟S14，混淆區(qū)域檢測(cè)部分116檢測(cè)到了第4幀中的混淆區(qū)域。我們用具有表示幀號(hào)的后綴的各參考標(biāo)志“&14”和“Sb4”來(lái)標(biāo)出對(duì)象A和B的混淆區(qū)域。區(qū)域Sa4是處于對(duì)象A的右下部分的區(qū)域，并且區(qū)域Sb4是相當(dāng)于整個(gè)對(duì)象B 的區(qū)域。當(dāng)?shù)?幀中的混淆區(qū)域Sa4和Sb4被檢測(cè)到時(shí)，顏色變換部分118對(duì)混淆區(qū)域執(zhí)行顏色變換。在這種情況下，如上所述地根據(jù)混淆區(qū)域的面積大小對(duì)具有較小面積的區(qū)域 Sa4執(zhí)行顏色變換，以避免混淆(步驟S16)。即，不對(duì)對(duì)象B的區(qū)域Sb4執(zhí)行顏色變換。我們假設(shè)第4幀中的區(qū)域M對(duì)應(yīng)于一個(gè)色彩層次等級(jí)并且該區(qū)域被統(tǒng)一著色為圖4中所示的點(diǎn)P&i表示的顏色。圖4示出了與顏色變換部分118執(zhí)行的顏色變換操作相關(guān)聯(lián)的色度坐標(biāo)。作為如圖4中所示的顏色變換部分118的顏色變換操作的結(jié)果，由直線 1-1’表示的對(duì)象A的漸變色被變換為由直線I-II表示的漸變色。具體地，對(duì)第4幀中的區(qū)域Μ執(zhí)行的顏色變換操作是將圖4中的CIE xy色度表中的點(diǎn)P&i表示的顏色改變?yōu)橛稍搱D中的點(diǎn)PSa’表示的顏色的處理。即，執(zhí)行對(duì)應(yīng)于該圖的負(fù)y方向的0. 15的移動(dòng)的顏色變換，以將該區(qū)域的顏色改變?yōu)橛牲c(diǎn)PSa’ = (0. 29,0. 45)表示的顏色。我們將該操作稱為 “顏色變換操作jaO”。顏色變換操作jaO被記錄在臨時(shí)存儲(chǔ)部104的處理內(nèi)容保存區(qū)中。 當(dāng)與隨后描述的在步驟S22對(duì)鄰近區(qū)域Μ的對(duì)象的區(qū)域執(zhí)行的處理相結(jié)合時(shí)，上述操作使得對(duì)象的顏色被以抑制了無(wú)序感被抑制的方式變換。由于對(duì)象的顏色在從區(qū)域SAl到區(qū)域 Sa的范圍內(nèi)平滑漸變，所以本實(shí)施例允許可歸因于顏色變換的無(wú)序感相對(duì)于只對(duì)區(qū)域M 執(zhí)行顏色變換操作被更有效地抑制。圖5是示出包括圖3中所示的幀在內(nèi)的每幀的各種狀態(tài)(即，混淆區(qū)域存在標(biāo)記的狀態(tài)、由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)域提取的結(jié)果、以及由對(duì)象檢測(cè)部分112執(zhí)行的對(duì)象A和B的追蹤的結(jié)果)的圖表?；煜齾^(qū)域存在標(biāo)記表示由混淆區(qū)域提取部分116 在每幀中執(zhí)行的確定的結(jié)果，該標(biāo)記在混淆區(qū)域存在時(shí)被設(shè)置為“ 1”，并且在混淆區(qū)域不存在時(shí)被設(shè)置為“0”。由于對(duì)象A和B只有在如圖3中所示的第4幀中包括混淆區(qū)域，所以混淆區(qū)域存在標(biāo)記針對(duì)第4幀被設(shè)置為“1”，并且針對(duì)其他幀被設(shè)置為“0”。作為由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)域提取的結(jié)果，屬于對(duì)象A和B的混淆區(qū)域被從第4幀中提取出來(lái)。由對(duì)象追蹤部分112執(zhí)行的追蹤的結(jié)果指示對(duì)象A存在于第0至第6幀中的屏幕中，并且對(duì)象B存在于第4至第7幀中的屏幕中。在圖2中所示的步驟S20，采用劃分、重排以及合并圖像區(qū)域的公知方法的混淆區(qū)域所屬對(duì)象檢測(cè)部分114執(zhí)行檢測(cè)，并且確定混淆區(qū)域M被包括在對(duì)象A中并且區(qū)域Sb 被包括在對(duì)象B中。即，確定以下關(guān)系為真。A = {Sa, SAl, SA2}SacASb = B在第4幀中，還對(duì)區(qū)域A的剩余部分或者區(qū)域SA1_4和SA2_4執(zhí)行顏色變換處理， 以使對(duì)象A被連續(xù)著色(圖2中的步驟S22)。由于利用上述圖4的CIE xy色度圖表上表示的色彩層次對(duì)對(duì)象A著色，所以在區(qū)域SA1_4和SA2_4上執(zhí)行的處理是這樣的時(shí)間描述的對(duì)每點(diǎn)的色度進(jìn)行變換的處理主要變換被執(zhí)行，以將連接點(diǎn)Pbl和I^a的直線1-1’變換為連接點(diǎn)Pbl和I^sa’的直線1-11。更具體地，保持區(qū)域SA1_4的顏色等于點(diǎn)Pbl表示的顏色，并且將區(qū)域SA2_4的顏色變換為由連接點(diǎn)Pbl和點(diǎn)PSa’ (0. 29,0. 45)的直線上的點(diǎn) (0. 215,0. 265)表示的顏色。在步驟S24，該顏色變換操作也被額外存儲(chǔ)在臨時(shí)存儲(chǔ)部104 中。如上所述，當(dāng)?shù)?幀的處理完成時(shí)，流程返回圖2中的步驟SlO以處理圖3中所示的第5幀。在第5幀中，對(duì)象A的區(qū)域M由于被隱藏在對(duì)象B之后所以消失。此時(shí)，如圖 5中所示，對(duì)象檢測(cè)部分112檢測(cè)對(duì)象A和B，并且由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)
域確定產(chǎn)生答案“沒(méi)有一個(gè)”。所以，圖2中所示的處理流程從步驟S14進(jìn)行到步驟S30，以執(zhí)行步驟S30和后續(xù)步驟的處理。具體地，基于對(duì)象A和B的提取結(jié)果以及被參考的幀(第4幀)的混淆區(qū)域存在標(biāo)記的狀態(tài)，確定是否執(zhí)行顏色變換。在第5幀的情況下，被參考的在前幀或者第4幀的混淆區(qū)域存在標(biāo)記的狀態(tài)為“ 1”(步驟S30)，并且通過(guò)對(duì)第5幀執(zhí)行的處理檢測(cè)出了對(duì)象A和對(duì)象B(步驟S3》。所以，對(duì)第4幀執(zhí)行的顏色變換操作的記錄被從臨時(shí)存儲(chǔ)部104 的處理內(nèi)容保存區(qū)讀出，并且參考該記錄對(duì)對(duì)象A中的沒(méi)有被對(duì)象B隱藏的區(qū)域SA2_5的一部分以及區(qū)域SA1_5執(zhí)行顏色變換處理(步驟S34)。類似地對(duì)后續(xù)幀執(zhí)行上述處理。具體地，即使當(dāng)混淆區(qū)域提取部分116確定當(dāng)前幀不包括混淆區(qū)域時(shí)，檢測(cè)也會(huì)被執(zhí)行以獲取對(duì)參考幀執(zhí)行的混淆區(qū)域的提取的結(jié)果以及有關(guān)包括混淆區(qū)域的對(duì)象的信息。當(dāng)在當(dāng)前處理的幀中檢測(cè)出的對(duì)象包括與包括混淆區(qū)域的參考幀中的對(duì)象相同的對(duì)象，則對(duì)除了混淆區(qū)域以外的當(dāng)前幀中的對(duì)象執(zhí)行顏色變換。 在任意圖像幀k中，參考處理內(nèi)容保存區(qū)對(duì)被包括在對(duì)象A中但沒(méi)有被包括在區(qū)域M中的區(qū)域SAl_k和SA2_k執(zhí)行與應(yīng)用于混淆區(qū)域的顏色變換相類似的顏色變換。以上通過(guò)示例描述了在第5幀中區(qū)域M被隱藏在區(qū)域Sb后面的情況。即使當(dāng)由于對(duì)象A的移動(dòng)使得區(qū)域&退出屏幕從而導(dǎo)致混淆區(qū)域從第5幀中消失時(shí)，也可以對(duì)第5 幀執(zhí)行類似的處理。為了描述的簡(jiǎn)單，以上實(shí)施例是基于這樣的假設(shè)描述的，其中利用具有三個(gè)等級(jí)的色彩層次對(duì)對(duì)象A著色，從而以CIE xy色度圖表上的直線形式繪制對(duì)象A。即使對(duì)于利用更精細(xì)更復(fù)雜的色彩層次著色的圖像或者其中在相同對(duì)象中利用了補(bǔ)色或者對(duì)比效果的圖像，也可以根據(jù)本實(shí)施例執(zhí)行顏色變換和亮度處理。在這種情況下，當(dāng)以上述方式對(duì)另一幀執(zhí)行顏色變換處理時(shí)，可以利用被應(yīng)用于包括混淆區(qū)域的幀的圖像處理或者顏色變換處理的記錄。在上述實(shí)施例中，當(dāng)前處理幀之前的最后幀被用作參考幀，并且通過(guò)參考在前一幀中執(zhí)行的包括混淆區(qū)域的對(duì)象的檢測(cè)結(jié)果來(lái)執(zhí)行變換在后幀的顏色的處理。相同運(yùn)動(dòng)圖像序列中的較老的幀替代地可以被選擇作為參考幀。在圖3所示的示例中，第0至第3幀中不存在對(duì)象B，所以這些幀中不存在混淆區(qū)域。然而，可以基于在所有幀中執(zhí)行的混淆區(qū)域的檢測(cè)結(jié)果，對(duì)第0至第3幀中的對(duì)象A執(zhí)行顏色變換。在這種情況下，可以對(duì)感興趣的序列的所有圖像幀執(zhí)行包括混淆區(qū)域的對(duì)象的提取和對(duì)象的檢測(cè)和追蹤。然后，可以通過(guò)按考對(duì)第4幀的顏色變換處理，對(duì)第0至第3幀中的對(duì)象A的區(qū)域Sa_k、SAl_k、以及SA2_ k執(zhí)行顏色變換處理。如上所述，當(dāng)本實(shí)施例被應(yīng)用于包括對(duì)于具有一場(chǎng)顏色視覺(jué)的人來(lái)說(shuō)難以區(qū)分的顏色組合的運(yùn)動(dòng)圖像序列時(shí)，即使該序列的一個(gè)圖像幀不包括混色，當(dāng)感興趣的幀的前一或后一圖像幀包括可以被與另一色度混淆的色度時(shí)，也要對(duì)該圖像幀執(zhí)行顏色變換。所以， 顏色變換被應(yīng)用于連續(xù)的運(yùn)動(dòng)圖像幀，從而使得色度之間的連續(xù)性可以被貫穿該序列而在時(shí)間和空間上保持。所以可以可靠的防止運(yùn)動(dòng)圖像由于色度之間的不連續(xù)的轉(zhuǎn)變而導(dǎo)致的被以降級(jí)的質(zhì)量在視覺(jué)上觀察到。盡管參考附圖詳細(xì)描述了本公開(kāi)的實(shí)施例，但是本公開(kāi)不限于此。本領(lǐng)域技術(shù)人員應(yīng)該明白，在所附權(quán)利要求所描述的技術(shù)概念的范圍內(nèi)可以作出各種修改和改變，并且這些修改和改變屬于本公開(kāi)的范圍。本公開(kāi)包含于2010年5月27日在日本專利局遞交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-121670公開(kāi)的主題，其內(nèi)容通過(guò)引用被全部結(jié)合于此。
權(quán)利要求
1.一種顏色變換設(shè)備，包括輸入部，用于從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)； 對(duì)象檢測(cè)部，用于從每幀圖像檢測(cè)對(duì)象；混淆區(qū)域提取部，用于從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在所述混淆區(qū)域被提取自特定幀時(shí)，對(duì)所述特定幀或者包含提取出所述混淆區(qū)域的對(duì)象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
2.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，還包括顏色變換處理存儲(chǔ)部，用于存儲(chǔ)對(duì)所述特定幀執(zhí)行的顏色變換處理的內(nèi)容，其中當(dāng)對(duì)所述另一幀執(zhí)行顏色變換時(shí)，所述顏色變換部使用存儲(chǔ)在所述顏色變換處理存儲(chǔ)部中的處理內(nèi)容。
3.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，還包括對(duì)象存儲(chǔ)部，用于存儲(chǔ)所述特定幀中的執(zhí)行了顏色變換的對(duì)象，其中當(dāng)存儲(chǔ)在所述對(duì)象存儲(chǔ)部中的對(duì)象存在于所述另一幀中時(shí)，所述顏色變換部對(duì)所述另一幀執(zhí)行顏色變換。
4.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，其中所述混淆區(qū)域提取部從所述對(duì)象檢測(cè)部所檢測(cè)出的多個(gè)對(duì)象中的各個(gè)對(duì)象提取具有會(huì)被相互混淆的色度的混淆區(qū)域，所述設(shè)備包括混淆區(qū)域所屬對(duì)象提取部，用于基于每個(gè)對(duì)象中的混淆區(qū)域的尺寸從所述多個(gè)對(duì)象中提取要進(jìn)行顏色變換的對(duì)象，所述顏色變換部對(duì)所述多個(gè)對(duì)象中的由所述混淆區(qū)域所屬對(duì)象提取部所提取的對(duì)象執(zhí)行顏色變換。
5.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，其中所述顏色變換部對(duì)具有會(huì)導(dǎo)致對(duì)象之間的相互混淆的色度的混淆區(qū)域執(zhí)行顏色變換，使得所述混淆區(qū)域在xy色度圖上不位于同一條混淆線上。
6.一種顏色變換方法，包括從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)； 從每幀圖像檢測(cè)對(duì)象；從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域；當(dāng)所述混淆區(qū)域被提取自特定幀時(shí)，對(duì)所述特定幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換；以及對(duì)包含提取出所述混淆區(qū)域的對(duì)象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
7.一種使計(jì)算機(jī)充當(dāng)以下裝置的程序用于從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)的裝置； 用于從每幀圖像檢測(cè)對(duì)象的裝置；用于從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域的裝置；以及用于在所述混淆區(qū)域被提取自特定幀時(shí)，對(duì)所述特定幀或者包含提取出所述混淆區(qū)域的對(duì)象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換的裝置。
全文摘要
公開(kāi)了一種顏色變換設(shè)備、顏色變換方法、和顏色變換程序。該顏色變換設(shè)備包括輸入部，用于從每幀獲取運(yùn)動(dòng)圖像內(nèi)容的圖像數(shù)據(jù)；對(duì)象檢測(cè)部，用于從每幀圖像檢測(cè)對(duì)象；混淆區(qū)域提取部，用于從所檢測(cè)出的對(duì)象提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在混淆區(qū)域提取自特定幀時(shí)，對(duì)特定幀或者包含提取出混淆區(qū)域的對(duì)象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
文檔編號(hào)G06T7/20GK102262776SQ20111013600
公開(kāi)日2011年11月30日 申請(qǐng)日期2011年5月20日 優(yōu)先權(quán)日2010年5月27日
發(fā)明者荒船晶 申請(qǐng)人:索尼公司