用于驗(yàn)證產(chǎn)品的圖像分析的制作方法
【專利摘要】一種驗(yàn)證產(chǎn)品的方法,其由拍攝所述產(chǎn)品的圖像并將所述圖像與真實(shí)產(chǎn)品預(yù)先拍攝的參考圖像比較來確定兩圖像中的所述產(chǎn)品是否相同。兩圖像在基本上相似條件下拍攝,使得兩圖像在比較前盡可能地相似。兩圖像被處理以便對它們中的每一個計算顯著點(diǎn)的列表。所述顯著點(diǎn)被比較以確定在顯著點(diǎn)之間的對應(yīng)程度。根據(jù)對應(yīng)程度來輸出指示所述產(chǎn)品的真實(shí)性的答案。一些匹配的顯著點(diǎn)可被用來定義用于兩圖像的公共坐標(biāo)系統(tǒng)。顯著點(diǎn)的兩個列表可在此公共坐標(biāo)系統(tǒng)中被比較。
【專利說明】
用于驗(yàn)證產(chǎn)品的圖像分析
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及用于驗(yàn)證產(chǎn)品的圖像分析。
【背景技術(shù)】
[0002] 手表與其它貴重物品,例如豪華或技術(shù)性的物品,經(jīng)常被偽造。因此,有必要有一 種用于區(qū)分真實(shí)的與非真實(shí)的產(chǎn)品的方法。
[0003] 在許多情況下不可能或不希望改變物品的外觀或功能。因此,對物品標(biāo)記或貼標(biāo) 簽不是一個可行的選擇。
【發(fā)明內(nèi)容】
[0004] 根據(jù)本公開的第一方面,提供了 一種驗(yàn)證產(chǎn)品的方法,包括:
[0005] -米集要被驗(yàn)證的廣品的圖像;
[0006] -確定所采集的圖像的多個顯著點(diǎn)(significant point);以及
[0007] -將要被驗(yàn)證的產(chǎn)品的采集的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的預(yù)先采集的參考圖 像的多個顯著點(diǎn)比較,以確定要被驗(yàn)證的產(chǎn)品與真實(shí)產(chǎn)品是否相同來驗(yàn)證產(chǎn)品。
[0008] 手表及其它產(chǎn)品的圖像是復(fù)雜且訊息豐富的。比較兩圖像間的顯著點(diǎn)相較于比較 原始圖像數(shù)據(jù)的優(yōu)點(diǎn)在于其提供了需要較少的處理需求的比較圖像的實(shí)際方式。
[0009]在比較過程中,區(qū)分相關(guān)差異與非相關(guān)差異是重要的,該相關(guān)差異即,指出非真實(shí) 的兩圖像間的差異,非相關(guān)差異即,沒有指出非真實(shí)且由于測量條件的不完美控制所產(chǎn)生 的兩圖像間的差異,例如噪聲與隨著時間發(fā)生的物品的自然改變(例如磨損與老化)。尤其 對復(fù)雜物體而言更是如此,復(fù)雜物體可能包括從某時刻到另一個時刻可能改變方位、取向 及或形狀的移動部分。
[0010]兩圖像間的相關(guān)差異通常對應(yīng)于在兩測量間無需人力輔助而必須被匹配的微小 細(xì)節(jié)。
[0011]顯著點(diǎn)的定義與計算可基于提取出最相關(guān)信息的算法,并且對例如噪聲、失真、與 不完善的測量條件的圖像劣化而言最穩(wěn)固。因此,僅有包含于兩圖像中的信息的最顯著部 分被進(jìn)一步處理與利用。
[0012] 此外,非相關(guān)差異對計算出的顯著點(diǎn)的特征具有有限的影響,且在許多情況下,最 受影響的點(diǎn)可被偵測并且舍去,例如,基本上已移動的點(diǎn),因?yàn)樗鼈兣c諸如手表指針的移動 元件相關(guān)聯(lián)。
[0013] 用于顯著點(diǎn)計算的算法不需要人的幫助。該算法可能需要人的幫助來輸入用于被 驗(yàn)證的產(chǎn)品的基本參數(shù)。一組特定的參數(shù)可能對諸如手表的特定類型的產(chǎn)品是有效的。一 種算法和一組參數(shù)可被用于一大類的物體,諸如特定模型、形狀、顏色等的手表。
[0014] 用于分析的信息可相對于集中在特定位置處,密集地分布于圖像的顯著部分,即 使當(dāng)只有該圖像的一部份可用時,此驗(yàn)證仍可被執(zhí)行??善谕薅ㄒ粋€或更多個感興趣的 區(qū)域,其被考慮為特別相關(guān)且可被選擇性地分析。
[0015] 方法可進(jìn)一步包括在比較顯著點(diǎn)之前,將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與 真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)對齊。
[0016] 在對齊步驟中使用的多個顯著點(diǎn)可與在比較步驟中使用的多個顯著點(diǎn)不同。
[0017] 在對齊步驟中使用的多個顯著點(diǎn)可與在比較步驟中使用的多個顯著點(diǎn)相同。
[0018] 對齊顯著點(diǎn)可包括確定在要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的圖 像的多個顯著點(diǎn)間的兩個或更多個匹配對。
[0019] 要被驗(yàn)證的產(chǎn)品的圖像的顯著點(diǎn)與真實(shí)產(chǎn)品的圖像的顯著點(diǎn)中的每一個顯著點(diǎn) 可包括描述符,且其中確定兩個或更多個匹配對包括比較要被驗(yàn)證的產(chǎn)品的圖像的多個顯 著點(diǎn)的描述符與真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)的描述符。
[0020] 比較描述符可包括確定要被驗(yàn)證的產(chǎn)品的圖像的顯著點(diǎn)的描述符與真實(shí)產(chǎn)品的 圖像的顯著點(diǎn)的描述符的距離,諸如歐幾里德(Euclidean)距離。當(dāng)它們的距離滿足預(yù)定標(biāo) 準(zhǔn)時,要被驗(yàn)證的產(chǎn)品的圖像的顯著點(diǎn)可被考慮為匹配真實(shí)產(chǎn)品的圖像的顯著點(diǎn)。
[0021] 要被驗(yàn)證的產(chǎn)品與真實(shí)產(chǎn)品可位于從其計算顯著點(diǎn)的圖像的相似的位置。確定兩 個或更多個匹配對可包括比較具有滿足預(yù)定標(biāo)準(zhǔn)的坐標(biāo)的顯著點(diǎn),例如位于它們的相應(yīng)圖 像中相似的相關(guān)區(qū)域內(nèi)的坐標(biāo),例如在對齊前彼此在5_與10_之間以內(nèi)的坐標(biāo)。
[0022]將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)對齊可 包括利用兩個或更多個匹配對來確定用于對齊顯著點(diǎn)的變換。
[0023]使用兩個或更多個匹配對以確定變換可包括最小化該匹配對的顯著點(diǎn)的位置間 的均方根距離。
[0024]方法可進(jìn)一步包括將該變換應(yīng)用于要被驗(yàn)證的產(chǎn)品的圖像的所有的多個顯著點(diǎn) 或真實(shí)產(chǎn)品的圖像的所有的多個顯著點(diǎn),以對齊顯著點(diǎn)。
[0025] 方法可進(jìn)一步包括將要被驗(yàn)證的產(chǎn)品的圖像分成多個子區(qū)域,并且對于子區(qū)域分 別地將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的參考圖像的多個顯著點(diǎn)對齊。這 可讓顯著點(diǎn)被更精確地在子區(qū)域內(nèi)對齊。
[0026] 將要被驗(yàn)證的產(chǎn)品的圖像分成多個子區(qū)域可包括將劃分邊界的網(wǎng)格線,優(yōu)選為劃 分正交邊界的網(wǎng)格線,應(yīng)用于產(chǎn)品的圖像從而定義子區(qū)域。
[0027] 產(chǎn)品的圖像可被劃分成50至150個子區(qū)域,優(yōu)選劃分成80至120個子區(qū)域,且優(yōu)選 劃分成100個子區(qū)域。
[0028] 確定要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)的步驟包括在子區(qū)域已被確定之后分 別地對子區(qū)域確定多個顯著點(diǎn)。
[0029] 方法可包括在確定子區(qū)域前確定要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)以幫助確 定子區(qū)域。
[0030] 將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)比較可 包括確定要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)中的顯著點(diǎn)是否在真實(shí)產(chǎn)品的圖像的多個 顯著點(diǎn)中的顯著點(diǎn)的限定的距離之內(nèi)。
[0031] 限定的距離可以是對應(yīng)于一個圖像像素的一到兩倍距離,例如介于25μπι與50μπι之 間。
[0032]將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)比較可 包括對于要被驗(yàn)證的產(chǎn)品的圖像的至少部分的顯著點(diǎn)或?qū)τ谠趫D像的區(qū)域中的真實(shí)產(chǎn)品 的圖像的至少部分的顯著點(diǎn),確定要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)中的顯著點(diǎn)是否在 真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)中的顯著點(diǎn)的限定的距離之內(nèi)。圖像的區(qū)域可以是產(chǎn)品的整 個圖像。圖像的區(qū)域可以是圖像的感興趣的選擇區(qū)域,例如在產(chǎn)品上的標(biāo)志。圖像的區(qū)域可 以是圖像的子部分中的一個。圖像的區(qū)域可以是對其計算顯著點(diǎn)的圖像的區(qū)域。
[0033]將要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)與真實(shí)產(chǎn)品的圖像的多個顯著點(diǎn)比較可 包括對于要被驗(yàn)證的產(chǎn)品的圖像的選擇顯著點(diǎn)或?qū)τ谠趫D像的區(qū)域中的真實(shí)產(chǎn)品的圖像 的選擇顯著點(diǎn),確定要被驗(yàn)證的產(chǎn)品的圖像的多個顯著點(diǎn)中的顯著點(diǎn)是否在真實(shí)產(chǎn)品的圖 像的多個顯著點(diǎn)中的顯著點(diǎn)的限定的距離之內(nèi)。圖像的區(qū)域可以是產(chǎn)品的整個圖像。圖像 的區(qū)域可以是圖像的感興趣的選擇區(qū)域,例如在產(chǎn)品上的標(biāo)志。圖像的區(qū)域可以是圖像的 子部分中的一個。圖像的區(qū)域可以是對其計算顯著點(diǎn)的圖像的區(qū)域。
[0034]方法可進(jìn)一步包括確定在圖像的區(qū)域中的真實(shí)產(chǎn)品的圖像的顯著點(diǎn)的限定的距 離之內(nèi)的要被驗(yàn)證的產(chǎn)品的圖像的顯著點(diǎn)的數(shù)量的總和。
[0035]方法可進(jìn)一步包括將函數(shù)應(yīng)用于該總和以確定用于與閾值比較的輸出從而確定 廣品的真實(shí)性。
[0036]該函數(shù)可包括將該總和除以在圖像的區(qū)域中的要被驗(yàn)證的產(chǎn)品的圖像的顯著點(diǎn) 的總數(shù),或是除以在圖像的區(qū)域中的真實(shí)產(chǎn)品的圖像的顯著點(diǎn)的總數(shù)以確定比例。
[0037]方法可進(jìn)一步包括比較該比例與閾值比例以確定產(chǎn)品的真實(shí)性。
[0038] 閾值比例可介于20 %與50 %之間,且優(yōu)選地介于20 %與40 %之間,且優(yōu)選地介于 20 %與30 %之間。
[0039] 要被驗(yàn)證的產(chǎn)品的圖像可具有基本上與真實(shí)產(chǎn)品的圖像相似的產(chǎn)生標(biāo)準(zhǔn)?;旧?相似的產(chǎn)生標(biāo)準(zhǔn)可指以下的一項(xiàng)或多項(xiàng):在與真實(shí)產(chǎn)品的圖像相同的光照條件下采集要被 驗(yàn)證的產(chǎn)品的圖像;使用具有相同圖像采集設(shè)定與透鏡規(guī)格的攝像機(jī)采集圖像;產(chǎn)品在兩 圖像中被置于基本上相同的取向上。
[0040] 產(chǎn)品可以是時計,例如手表。產(chǎn)品可以是移動電話。產(chǎn)品可以是首飾。產(chǎn)品可以是 備用零件。產(chǎn)品可以是電池,例如移動電話電池。產(chǎn)品可以是微處理器或印刷電路板。產(chǎn)品 可以是軟件并且,例如,軟件封裝可包括具有區(qū)別特征的印刷區(qū)域,該特征可被成像與分析 以用于驗(yàn)證軟件。產(chǎn)品可以是固定到另一產(chǎn)品的標(biāo)簽,其中該標(biāo)簽具有區(qū)別特征,該特征可 被成像與分析以用于驗(yàn)證或確認(rèn)該標(biāo)簽所固定到的物體或產(chǎn)品的身份。產(chǎn)品可以是憑證例 如駕駛執(zhí)照或是確認(rèn)攻讀學(xué)位者成績的大學(xué)證書。產(chǎn)品可以是硬幣。產(chǎn)品可以是畫。產(chǎn)品同 樣可能為具有固有的混亂或指紋或元素的隨機(jī)分布的天然或非天然產(chǎn)品。天然產(chǎn)品的示例 可能例如為爬蟲類的皮(鱷魚、蟒蛇皮)或樹干的截面,或者對非天然產(chǎn)品可能為例如煞車、 飛機(jī)的機(jī)翼的備用零件。將根據(jù)本發(fā)明的方法來分析整個產(chǎn)品,或?qū)⒏鶕?jù)本發(fā)明的方法來 分析產(chǎn)品的僅一部分或一塊。
[0041] 驗(yàn)證例如時計的產(chǎn)品的方法,可進(jìn)一步包括使用圖像于實(shí)施本文描述的產(chǎn)品的驗(yàn) 證的方法或發(fā)送圖像到遠(yuǎn)程位置以用于以本文所述的方法分析。
[0042] 圖像可以是第一圖像,且方法可進(jìn)一步包括采集產(chǎn)品的第二圖像以用于基于第一 圖像及第二圖像創(chuàng)建合成圖像,以與真實(shí)產(chǎn)品的參考圖像比較來驗(yàn)證產(chǎn)品。
[0043] 可在從第一方向照亮產(chǎn)品時實(shí)施采集產(chǎn)品的第一圖像的步驟且其中可在從第二 方向照亮產(chǎn)品時實(shí)施采集產(chǎn)品的第二圖像的步驟,其中第二方向與第一方向不同。
[0044]從第一方向照明可從第二方向照明的產(chǎn)品的相對側(cè)照亮產(chǎn)品的成像表面。從第一 方向照明可從第二方向照明的采集產(chǎn)品圖像的攝像機(jī)透鏡的光學(xué)軸的相對側(cè)照亮產(chǎn)品的 成像表面。
[0045]方法可進(jìn)一步包括當(dāng)從第三方向照明產(chǎn)品時,采集產(chǎn)品的第三圖像,以及當(dāng)從第 四方向照明產(chǎn)品時,采集產(chǎn)品的第四圖像,用于基于第一、第二、第三、及第四圖像創(chuàng)建合成 圖像以用于與真實(shí)產(chǎn)品的參考圖像的比較來驗(yàn)證產(chǎn)品。
[0046] 從第三方向照明可從第四方向照明的產(chǎn)品的相對側(cè)照亮產(chǎn)品的成像表面,并且其 中從第一、第二、第三與第四方向的照明從產(chǎn)品的四個不同側(cè)照亮產(chǎn)品的成像表面。第一、 第二、第三和第四方向可以圍繞產(chǎn)品平均地間隔開。
[0047] 從第三方向照明可從第四方向照明的采集產(chǎn)品圖像的攝像機(jī)透鏡的光學(xué)軸的相 對側(cè)照亮產(chǎn)品的成像表面。從第一、第二、第三及第四方向的照明可從光學(xué)軸的四個不同側(cè) 照亮產(chǎn)品的成像表面。第一、第二、第三和第四方向可以圍繞光學(xué)軸平均地間隔開。
[0048]可在第一曝光時刻實(shí)施采集第一圖像的步驟,并且其中可在第二曝光時刻實(shí)施采 集第二圖像的步驟,其中第一曝光時刻與第二曝光時刻不同。
[0049] 創(chuàng)建合成圖像可包括從關(guān)于第二圖像的數(shù)據(jù)減去關(guān)于第一圖像的數(shù)據(jù)或?qū)㈥P(guān)于 第一圖像的數(shù)據(jù)加上關(guān)于第二圖像的數(shù)據(jù)。
[0050] 方法可進(jìn)一步包括接收成像指令,該成像指令包括用于采集要被驗(yàn)證的產(chǎn)品的一 個或多個圖像的條件;以及根據(jù)指令采集產(chǎn)品的一個或多個圖像。
[0051]成像指令可傳送與在較早時間點(diǎn)處采集真實(shí)產(chǎn)品的一個或多個參考圖像的基本 上相似或相同的條件,以使得要被驗(yàn)證的產(chǎn)品可在以與真實(shí)產(chǎn)品基本上相似或相同的條件 下被成像。條件可包括一個或更多個照明條件;用于攝像機(jī)的圖像采集設(shè)定;用于攝像機(jī)透 鏡的焦距;要被采集的圖像的數(shù)量;用于攝像機(jī)的曝光時間。
[0052] 方法可進(jìn)一步包括輸出基于對應(yīng)的程度來指示產(chǎn)品的真實(shí)性的答案。輸出答案可 包括在屏幕上(例如在計算機(jī)屏幕上)向用戶顯示答案。輸出答案可包括提供答案的印刷本 給使用者,例如印出答案在產(chǎn)品的驗(yàn)證憑證上。
[0053] 根據(jù)本公開的進(jìn)一步方面,提供了包括用于在計算機(jī)上執(zhí)行的可執(zhí)行指令的計算 機(jī)程序,其中可執(zhí)行指令可執(zhí)行以實(shí)施本文所描述的方法。
[0054]根據(jù)本公開的進(jìn)一步方面,提供了產(chǎn)品驗(yàn)證裝置,該產(chǎn)品驗(yàn)證裝置用于采集產(chǎn)品 的圖像來驗(yàn)證產(chǎn)品,包括用于支撐要被驗(yàn)證的產(chǎn)品的支撐件(support);以及用于從第一方 向照亮產(chǎn)品的第一照明構(gòu)件。
[0055] 產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于從第二方向照亮產(chǎn)品的第二照明構(gòu)件。
[0056] 第一和第二照明構(gòu)件可被配置為使得在使用中從第一方向的照明,從第二方向的 照明的產(chǎn)品的相對側(cè),照亮產(chǎn)品的成像表面。
[0057]產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于從第三方向照亮產(chǎn)品的第三照明構(gòu)件。
[0058]產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于從第四方向照亮產(chǎn)品的第四照明構(gòu)件。
[0059]第一、第二、第三及第四照明構(gòu)件可被配置為使得在使用中從第三方向的照明,從 第四方向的照明的產(chǎn)品的相對側(cè),照亮產(chǎn)品的成像表面,并且其中從第一、第二、第三及第 四方向的照明從產(chǎn)品的四個不同側(cè)照亮產(chǎn)品的成像表面。第一、第二、第三和第四方向可以 圍繞產(chǎn)品平均地間隔開。
[0060] 產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于采集產(chǎn)品的圖像的攝像機(jī)。
[0061] 支撐件可包括對齊構(gòu)件,其用于將產(chǎn)品定位于預(yù)定位置以用于采集產(chǎn)品的圖像。 產(chǎn)品驗(yàn)證裝置可包括攝像機(jī)支撐件,其用于將攝像機(jī)固定于與預(yù)定位置相關(guān)的位置,從而 攝像機(jī)的透鏡的光學(xué)軸被固定于與預(yù)定位置相關(guān)的位置。第一和第二照明構(gòu)件可被配置為 使得在使用中從第一方向的照明,可從第二方向照明的采集產(chǎn)品圖像的攝像機(jī)透鏡的光學(xué) 軸的相對側(cè),照亮產(chǎn)品的成像表面。第三和第四照明構(gòu)件可被配置為使得在使用中從第三 方向的照明,可從第四方向照明的采集產(chǎn)品圖像的攝像機(jī)透鏡的光學(xué)軸的相對側(cè),照亮產(chǎn) 品的成像表面。第一、第二、第三和第四照明構(gòu)件可被配置為使得在使用中從第一、第二、第 三及第四方向的照明可從光學(xué)軸的四個不同側(cè)照亮產(chǎn)品的成像表面。第一、第二、第三和第 四方向可以圍繞光學(xué)軸平均地間隔開。
[0062] 產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于保持產(chǎn)品于預(yù)定位置的保持構(gòu)件。
[0063]保持構(gòu)件可包括彈簧偏移臂(spring-biased arm)用于將產(chǎn)品頂住對齊構(gòu)件以保 持產(chǎn)品于預(yù)定位置。替代地,產(chǎn)品驗(yàn)證裝置可包括兩個或更多個彈簧偏移臂,該彈簧偏移臂 施加力量于產(chǎn)品的相對側(cè)以保持產(chǎn)品于預(yù)定位置。
[0064] 產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于保護(hù)產(chǎn)品在圖像采集期間免受環(huán)境光的蓋 (cover)〇
[0065] 產(chǎn)品驗(yàn)證裝置可進(jìn)一步包括用于分析產(chǎn)品圖像的計算機(jī),并且優(yōu)選地其中該計算 機(jī)使用本文所述的方法分析圖像。
[0066] 根據(jù)本公開的進(jìn)一步方面,提供了創(chuàng)建用于驗(yàn)證產(chǎn)品的參考的方法,包括采集產(chǎn) 品的至少部分的圖像;及儲存圖像作為參考,優(yōu)選地儲存圖像于數(shù)據(jù)庫中,以用于驗(yàn)證產(chǎn) 品。
[0067]圖像可為第一圖像且方法可進(jìn)一步包括采集產(chǎn)品的至少部分的第二圖像,并儲存 第二圖像作為參考以用于驗(yàn)證產(chǎn)品。
[0068] 根據(jù)本公開的進(jìn)一步方面,提供了圖像檔案,該圖像檔案包含用于驗(yàn)證產(chǎn)品的參 考數(shù)據(jù),其中參考數(shù)據(jù)包括產(chǎn)品的至少部份的圖像的多個顯著點(diǎn)。
[0069] 根據(jù)本公開的進(jìn)一步方面,提供了數(shù)據(jù)庫,該數(shù)據(jù)庫包含用于驗(yàn)證兩個或更多個 產(chǎn)品的參考數(shù)據(jù),其中參考數(shù)據(jù)包括關(guān)于第一產(chǎn)品的至少部分的圖像的數(shù)據(jù),以及關(guān)于第 二產(chǎn)品的至少部分的圖像的數(shù)據(jù)。每個顯著點(diǎn)可包括半徑(r)、取向(Θ),描述符(D)與其坐 標(biāo)。方法可包括確定用于圖像的一個或更多個顯著點(diǎn)的描述符。描述符可包括對應(yīng)于相對 應(yīng)的圖像區(qū)域的數(shù)學(xué)描述的數(shù)據(jù)數(shù)組。為了解釋其進(jìn)一步使用的目的,描述符可被認(rèn)為是 在抽象向量空間中具有與數(shù)組的大小相同維度的向量。
【附圖說明】
[0070] 本發(fā)明的前文與其它目的、特征、及優(yōu)點(diǎn)將從以下的描述與附圖中顯而易見,其 中:
[0071] 圖1示出用于對產(chǎn)品成像以用于驗(yàn)證的設(shè)備;
[0072] 圖2示出當(dāng)從產(chǎn)品的不同側(cè)照亮產(chǎn)品時,來自圖1的照明構(gòu)件的配置的細(xì)節(jié)的頂視 圖;
[0073]圖3A到圖3D示出從產(chǎn)品的不同側(cè)(稱為北、東、南、西)照亮的相同物體的四個圖 像,其中圖3A示出從西側(cè)照亮的物體、圖3B示出從東側(cè)照亮的物體、圖3C示出從北側(cè)照亮的 物體、及圖3D示出從南側(cè)照亮的物體;
[0074]圖4A到圖4C示出合成圖像,其中圖4A是圖3A與圖3B的圖像之間的差異,圖4B是圖 3C與圖3D的圖像之間的差異,及圖4C為圖4A與圖4B的圖像的總和;
[0075]圖5A和圖5B示出相同物體的不同圖像,其中圖5A示出物體的參考圖像及圖5B示出 用于與參考圖像比較的圖像;
[0076]圖6A與圖6B為顯著點(diǎn)的視覺表示,其中圖6A示出在物體的整個感興趣的區(qū)域上所 偵測到的顯著點(diǎn),以小的黑色十字標(biāo)示該點(diǎn),并示出應(yīng)用至?xí)r計的網(wǎng)格的示例,及圖6B為示 出圖6A的圖像的部分的放大圖,采用以該點(diǎn)為圓心的圓標(biāo)示該顯著點(diǎn),并且該圓的半徑示 出相對應(yīng)特征的大小及其取向;
[0077]圖7示出應(yīng)用到產(chǎn)品的網(wǎng)格的示例;
[0078]圖8A到圖8D示出顯著點(diǎn)與用于參考圖像和要被與參考圖像比較的檢查圖像的顯 著點(diǎn)的匹配,其中圖8A示出為參考圖像確定的顯著點(diǎn),以小的黑十字標(biāo)示該顯著點(diǎn),圖8B示 出為檢查圖像確定的顯著點(diǎn),圖8C示出與檢查圖像的顯著點(diǎn)匹配的參考圖像的顯著點(diǎn),以 及圖8D示出與參考圖像的顯著點(diǎn)匹配的檢查圖像的顯著點(diǎn);
[0079]圖9A示出當(dāng)圖像沒有對齊時,兩圖像的迭加,及圖9B示出在它們已通過定義公共 坐標(biāo)系統(tǒng)而被對齊之后,兩圖像的迭加;
[0080]第10圖示出在點(diǎn)已被對齊之后比較參考顯著點(diǎn)與檢查顯著點(diǎn);
[0081]圖11A至圖11D示出顯著點(diǎn)與在顯著點(diǎn)已被參照至公共坐標(biāo)系統(tǒng)之后,對于參考圖 像和對于要被與參考圖像比較的檢查圖像的比兩個像素更靠近的顯著點(diǎn),其中圖11A示出 為參考圖像確定的顯著點(diǎn)以及圖11B示出為檢查圖像確定的顯著點(diǎn),圖11C示出比兩個像素 更靠近對于在公共坐標(biāo)系統(tǒng)中的檢查圖像的顯著點(diǎn)的參考圖像的顯著點(diǎn),及圖11D示出對 于在公共坐標(biāo)系統(tǒng)中的參考圖像的顯著點(diǎn)比兩個像素更靠近的檢查圖像的顯著點(diǎn);以及 [0082]圖12A至圖12D示出圖11A至圖11D所示圖像的部分的放大版本,其中圖12A示出圖 11A的部分,圖12B示出圖11B的部分,圖12C示出圖11C的部分,以及圖12D示出圖11D的部分。
【具體實(shí)施方式】
[0083]在以下部分給出了本發(fā)明的實(shí)施例的詳細(xì)描述。優(yōu)選的與替代的實(shí)施例兩者的描 述僅為示例性的實(shí)施例,且應(yīng)理解變形、修改、和替換可能是顯而易見的。因此應(yīng)理解,所述 示例性實(shí)施例并不限制在下面的發(fā)明的方面的廣度。
[0084]取得要被驗(yàn)證的一個圖像或多個圖像以用于驗(yàn)證產(chǎn)品。產(chǎn)品的多個圖像可被結(jié)合 以產(chǎn)生產(chǎn)品的單個圖像。產(chǎn)品的圖像接著與預(yù)先取得的真實(shí)產(chǎn)品的圖像比較,其在此被稱 為參考圖像,以確定兩圖像中的產(chǎn)品是否是相同的并因而確定產(chǎn)品為真實(shí)的。與參考圖像 比較的產(chǎn)品的圖像在此被稱為檢查圖像。檢查圖像在與參考圖像相同或基本上相似的條件 下拍攝,例如,在基本上相似的燈光條件下,使得要被比較的圖像盡可能的相似。產(chǎn)品可在 檢查圖像中位于與參考圖像中基本相同的位置。產(chǎn)品可使用相同焦距的透鏡成像,使得要 被比較的兩圖像盡可能的相似。該方法有利地允許偵測產(chǎn)品間的微小差異。
[0085]可利用攝像機(jī)與膠卷采用模擬攝影來采集圖像、或優(yōu)選地采用數(shù)字相機(jī),以用于 驗(yàn)證目的的物體的細(xì)節(jié)可被看見的分辨率來采集圖像。圖像可以是彩色圖像或是黑白灰階 圖像。
[0086] 用于采集產(chǎn)品的檢查圖像與參考圖像的設(shè)備或成像設(shè)備2示于圖1。設(shè)備2包括用 于支撐產(chǎn)品3的支撐件1。該支撐件包括用于定位該產(chǎn)品于預(yù)定的方位或位置的對齊構(gòu)件5。 產(chǎn)品可因此被置于關(guān)于攝像機(jī)19和/或照明構(gòu)件11、13、15、17的設(shè)定位置。該設(shè)備包括用于 保持產(chǎn)品于預(yù)定位置的保持構(gòu)件10。保持構(gòu)件10可包括臂7,其隨著彈簧9偏移以將產(chǎn)品頂 住對齊構(gòu)件5從而保持產(chǎn)品3于預(yù)定位置。對齊構(gòu)件5具有參考表面,通過臂7來將產(chǎn)品頂住 該參考表面。這確保該產(chǎn)品基本上在參考圖像和檢查圖像的相同位置。
[0087] 設(shè)備包括攝像機(jī)19,用于拍攝產(chǎn)品的一個或更多個圖像。設(shè)置有四個照明構(gòu)件11、 13、15、17,其每一個在照明方向21、23、25、27發(fā)光。照明構(gòu)件11、13、15、17被布置成從產(chǎn)品 的不同側(cè)照亮產(chǎn)品的成像表面。第一照明構(gòu)件11在第一方向21上發(fā)光。第二照明構(gòu)件15在 第二方向25上發(fā)光。第三照明構(gòu)件13在第三方向23上發(fā)光。第四照明構(gòu)件17在第四方向27 上發(fā)光。照明構(gòu)件被布置成從產(chǎn)品的不同側(cè)照亮產(chǎn)品,使得可在不同照明條件下拍攝產(chǎn)品 的相同或基本上相似的部分的多個圖像以用于創(chuàng)建產(chǎn)品的復(fù)合圖像。照明構(gòu)件優(yōu)選為相同 的。照明構(gòu)件被優(yōu)選地布置為使得它們的照明方向是對于攝像機(jī)的光學(xué)軸10軸向?qū)ΨQ的。 當(dāng)使用四個照明方向時,該軸向?qū)ΨQ使得在焦平面上的照明構(gòu)件的投影是相互正交的,如 圖2所見。
[0088] 更通常地,可使用數(shù)量η個照明構(gòu)件,其優(yōu)選為相同的且被布置為使得它們的照明 方向相對于攝像機(jī)的光學(xué)軸軸向?qū)ΨQ,在此情況下,在焦平面上的相應(yīng)的照明構(gòu)件的投影 形成360/η度的角度(2π/η弧度)。數(shù)量η優(yōu)選為偶數(shù)(η = 2,4,6,...)。
[0089]支撐件1被安裝于平臺29上。平臺優(yōu)選地具有光線吸收上表面31,其例如可以是黑 色的。設(shè)置有蓋33。蓋被安裝于支撐件1上并接合平臺以容納(encase)攝像機(jī)19、照明構(gòu)件 11、13、15、17以及產(chǎn)品3。蓋是內(nèi)部中空的且其內(nèi)壁吸收光。蓋的內(nèi)壁可以是黑色的。蓋33和 平臺29-同在所有側(cè)及上方與下方包圍攝像機(jī)19、照明構(gòu)件11、13、15、17以及產(chǎn)品3并避免 環(huán)境光進(jìn)入攝像機(jī)的透鏡。這意味著,成像條件可以被控制到高程度,因?yàn)榄h(huán)境光不能造成 兩圖像之間的差異。
[0090]可使用攝像機(jī)支撐件12將攝像機(jī)19安裝于蓋33上或者平臺29上。在圖1中,攝像機(jī) 支撐件12將攝像機(jī)安裝至平臺29。攝像機(jī)支撐件12使攝像機(jī)能被固定在相對于產(chǎn)品被成像 時所在的預(yù)定位置的方位。攝像機(jī)可被固定于產(chǎn)品上方的方位。攝像機(jī)的透鏡的光學(xué)軸10 可因此被固定在與預(yù)定位置有關(guān)的方位。照明構(gòu)件11、13、15、17可被安裝于蓋33或平臺29 上。在一個示例中,攝像機(jī)19與照明構(gòu)件中的三個被安裝于平臺29上。照明構(gòu)件中的一個被 安裝于蓋33上。
[0091]該設(shè)備可包括用于接收由攝像機(jī)采集的圖像數(shù)據(jù)的計算機(jī)。如本文進(jìn)一步所述, 計算機(jī)可被配置為實(shí)施將所采集的圖像與參考圖像的比較以用于驗(yàn)證產(chǎn)品。替代或額外 地,計算機(jī)可被配置為發(fā)送所采集的圖像以用于在遠(yuǎn)程位置的服務(wù)器處的分析。
[0092]當(dāng)采集真實(shí)產(chǎn)品的圖像以搜集產(chǎn)品可之后被依其而驗(yàn)證的參考數(shù)據(jù)時,真實(shí)產(chǎn)品 首先被放置于支撐件1上。設(shè)定例如焦距、曝光時間與分辨率的攝像機(jī)參數(shù)。設(shè)定例如照明 構(gòu)件11、13、15、17的顏色與照明構(gòu)件11、13、15、17的亮度的系統(tǒng)參數(shù)。接著采集參考圖像。 可驗(yàn)證圖像質(zhì)量??山又l(fā)送原始數(shù)據(jù)至服務(wù)器以用于儲存和/或處理,其中服務(wù)器可被置 于遠(yuǎn)離成像設(shè)備2。服務(wù)器可以是中央服務(wù)器,多個成像設(shè)備2可連接至該服務(wù)器使得資料 被中央儲存及處理。選擇性地,服務(wù)器確定用于參考圖像的顯著點(diǎn)并儲存該顯著點(diǎn)作為參 考。替代地或額外地,在稍后的時間點(diǎn)當(dāng)驗(yàn)證產(chǎn)品時確定顯著點(diǎn)。
[0093] 服務(wù)器可儲存用于參考圖像的數(shù)據(jù)于數(shù)據(jù)庫中??舍槍缬糜谧R別產(chǎn)品的序列 碼(serial code)的產(chǎn)品識別符來儲存參考圖像數(shù)據(jù)。參考圖像數(shù)據(jù)因此提供用于在稍后 的一個時間點(diǎn)或多個時間點(diǎn)驗(yàn)證產(chǎn)品的唯一參考。
[0094] 發(fā)送到服務(wù)器用于儲存的數(shù)據(jù)可包括事件數(shù)據(jù)。事件數(shù)據(jù)可包括傳送時間、位置、 操作者身分、日期和/或拍攝參考圖像的成像條件的數(shù)據(jù)。服務(wù)器可發(fā)送確認(rèn)至成像設(shè)備2 以確認(rèn)圖像數(shù)據(jù)與事件數(shù)據(jù)已被接收。
[0095]為了驗(yàn)證產(chǎn)品,使用設(shè)備2拍攝要被驗(yàn)證的產(chǎn)品的圖像用于與參考圖像比較。要被 驗(yàn)證的產(chǎn)品被置于支撐件1上。設(shè)定攝像機(jī)與系統(tǒng)參數(shù)。服務(wù)器可傳送攝像機(jī)與系統(tǒng)參數(shù)至 成像設(shè)備2以使得可在與用于采集一個或多個參考圖像相同的攝像機(jī)與系統(tǒng)參數(shù)下拍攝產(chǎn) 品的一個或多個圖像。
[0096]拍攝產(chǎn)品的檢查圖像??沈?yàn)證圖像質(zhì)量。
[0097]事件數(shù)據(jù)可額外地被發(fā)送至服務(wù)器以儲存。事件數(shù)據(jù)可包括傳送時間、位置、日 期、操作者身分和/或拍攝檢查圖像的成像條件的數(shù)據(jù)。服務(wù)器可發(fā)送確認(rèn)至成像設(shè)備2以 確認(rèn)圖像數(shù)據(jù)與事件數(shù)據(jù)已被接收。
[0098]接著為檢查圖像計算顯著點(diǎn)。如果尚未被計算,接著為參考圖像計算顯著點(diǎn)。檢查 圖像與參考圖像的顯著點(diǎn)的計算與比較在下面更詳細(xì)地描述。顯著點(diǎn)的計算與比較可由遠(yuǎn) 程服務(wù)器實(shí)施或可由對成像設(shè)備2為本地端的計算機(jī)實(shí)施。如果顯著點(diǎn)的計算與比較由遠(yuǎn) 程服務(wù)器實(shí)施,則然后數(shù)據(jù)處理的驗(yàn)證結(jié)果(例如真品或非真品)可從遠(yuǎn)程服務(wù)器傳輸至在 與成像設(shè)備2相同位置的計算機(jī),使得可向在成像設(shè)備2處的操作員通知該結(jié)果。
[0099]為了比較圖像,該方法涉及確定檢查圖像的顯著點(diǎn)以及將這些點(diǎn)與參考圖像的顯 著點(diǎn)比較。
[0100]在與真實(shí)產(chǎn)品的圖像基本上相同的條件下拍攝要被驗(yàn)證的產(chǎn)品的圖像。可以在確 定顯著點(diǎn)之前以相同的方式處理每個圖像。例如,合成圖像可從要被驗(yàn)證的產(chǎn)品的多個圖 像產(chǎn)生并與從真實(shí)產(chǎn)品的多個圖像產(chǎn)生的合成圖像比較。可采用與真實(shí)產(chǎn)品的合成圖像相 同的方式產(chǎn)生要被驗(yàn)證的產(chǎn)品的合成圖像。顯著點(diǎn)可針對每個合成圖像來確定與比較。 [0101]合成圖像來自于產(chǎn)品的兩個或更多個圖像的組合,每個圖像對應(yīng)于不同組的測量 參數(shù),例如攝像機(jī)位置、曝光時間、照明和/或?yàn)V波。合成圖像的示例是由組合若干以不同曝 光時刻拍攝的圖像而獲得的高動態(tài)范圍圖像(HDR)。另一個示例是由取得照明不從相同方 向來的兩圖像的差異而獲得的差異圖像。另一個示例是立體圖片。另一個示例是各自包括 物體的一部分的兩個或更多個圖像的并置(juxtaposition)??赏ㄟ^結(jié)合以不同曝光時刻 和/或不同照明方向所拍攝的圖像來獲得合成圖像。
[0102]圖3A到圖3D示出相同物體的四個圖像,在該情況下為手表,其從四個不同方向被 照亮并由圖1的成像設(shè)備獲得。在圖3A中,由第二照明構(gòu)件15照亮物體以及在圖3B中,由第 一照明構(gòu)件11照亮物體,以便加強(qiáng)物體及其表面三個維度結(jié)構(gòu)的細(xì)節(jié)。在圖3C中,由第三照 明構(gòu)件13照亮物體以及在圖3D中,由第四照明構(gòu)件17照亮物體。四個圖像接著被用來創(chuàng)建 合成圖像,用于與另一圖像比較。為比較而創(chuàng)建合成圖像對于相對平坦產(chǎn)品表面增加可被 檢測與分析的感興趣的點(diǎn)的數(shù)量特別有幫助。
[0103] 可例如通過減去示于圖3A和圖3B中的圖像以創(chuàng)建合成圖像來產(chǎn)生圖4A所示的圖 像,或者通過減去示于圖3C和圖3D中的圖像以創(chuàng)建合成圖像來產(chǎn)生圖4B所示的圖像??蓮?四個圖像的組合來創(chuàng)建合成圖像,例如通過加總示于圖4A與圖4B中的圖像以產(chǎn)生圖4C所示 的圖像。因此,可創(chuàng)建參考圖像??梢韵嗤绞絼?chuàng)建檢查圖像,并且從各個合成圖像計算與 比較顯著點(diǎn)。
[0104] 由攝像機(jī)19采集的各個圖像可具有500萬像素的分辨率(2560X 1920點(diǎn))。每像素 可有24位。圖像可以是RGB圖像。視野可以是大約63 X48mm,對應(yīng)于大約每個像素 25μπι的分 辨率。被比較的圖像可以是原始圖像具有例如,每個像素8位或每個像素12位。被比較的圖 像可以是單色圖像具有例如,每個像素8位或每個像素12位或每個像素16位。
[0105] 圖5Α示出真實(shí)物體的參考圖像以及圖5Β示出用于與參考圖像比較的物體的檢查 圖像。注意到在兩圖像中的物體的配置相似但并不相同,因?yàn)槲矬w的方位并不相同而且一 些移動部分,在該情況下為手表指針,已經(jīng)移動。參考圖像與檢查圖像各自在基本上相似或 相同的條件下產(chǎn)生。
[0106] 盡管下文描述比較在兩圖像中可見的物體的整體,但應(yīng)理解可僅對在圖像中可見 的物體的一個選擇部分或多個選擇部分施加相同處理,例如可僅比較物體的中央部分或物 體的特定信息豐富的區(qū)域(例如物體上的標(biāo)志)。
[0107]圖像可以各自被分解成兩個或更多個子圖像,該子圖像接著被分開處理。例如,為 了通過選擇圖像最相關(guān)的一個或多個部分來獲得更有鑒別力的答案的目的,或是當(dāng)分解圖 像成子圖像并分開處理它們時,為了速度及效率的目的,可以這樣做。
[0108] 使用計算機(jī)處理要被比較的圖像,從而為各個圖像計算顯著點(diǎn)的列表。用于參考 圖像的顯著點(diǎn)的列表在本文中被稱為參考列表,且用于檢查圖像的顯著點(diǎn)的列表在本文中 被稱為檢查列表。參考圖像的顯著點(diǎn)中的一個顯著點(diǎn)在本文中被稱為參考點(diǎn)。檢查圖像的 顯著點(diǎn)中的一個顯著點(diǎn)在本文中被稱為檢查點(diǎn)。每個顯著點(diǎn)或興趣點(diǎn)代表具有區(qū)別特征的 圖像的區(qū)域,從而代表具有區(qū)別特征的物體的部分,該區(qū)別特征使其可在圖像的部分劣化 下可被識別,劣化可能由例如噪聲、失真、以及不完善的測量條件而產(chǎn)生。一個這樣的區(qū)域 的典型例子是角點(diǎn)(corner)??赡軐τ诿總€圖像有介于1000與20,000個之間的顯著點(diǎn)被提 取。
[0109] 每個顯著點(diǎn)可包括與對應(yīng)的圖像區(qū)域的空間或幾何特征相關(guān)的一個或更多個數(shù) 據(jù),例如坐標(biāo)(x,y)、半徑(r)、與取向(Θ),且可包括描述符(D),例如對應(yīng)于相對應(yīng)的圖像區(qū) 域的數(shù)學(xué)描述符的數(shù)的抽象向量。每個描述符可包括多個元素,例如128。圖6A和圖6B示出 用于物體的顯著點(diǎn)的視覺表示。圖6A示出整個圖像上偵測的顯著點(diǎn),該點(diǎn)的位置以小的黑 色十字標(biāo)示,以及圖6B為示出圖6A的圖像的部分的放大圖,該點(diǎn)被以采用該點(diǎn)為圓心的圓 標(biāo)示并且該圓的半徑(r)的長度示出相對應(yīng)特征的大小且半徑的相關(guān)角度表示顯著點(diǎn)的取 向(Θ)??梢栽诘芽栕鴺?biāo)(Cartesian co-ordinates)中表示點(diǎn)的中心的位置。
[0110] 這種顯著點(diǎn)通常為了執(zhí)行圖像操作(例如圖像拼接)的目的而被用于計算機(jī)視覺 系統(tǒng)。已經(jīng)發(fā)展了一些算法以偵測圖像上的顯著點(diǎn),例如角點(diǎn)檢測(corner detectors)、 Harris、FAST和DoG,以及已經(jīng)發(fā)展了 一些算法為該點(diǎn)實(shí)現(xiàn)描述符,例如patch、SURF、SIFT、 HOG、和GL0H。
[0111] 經(jīng)計算顯著點(diǎn),檢查圖像接著子分割成若干小的子區(qū)域,例如100個子區(qū)域。如果 有100個子區(qū)域,那么每個子區(qū)域可有50000個像素。每個子區(qū)域可有數(shù)十或數(shù)百個顯著點(diǎn) 且對非常密集的子區(qū)域可有高達(dá)1000個顯著點(diǎn)。圖7示出通過施加分割水平與垂直線71、73 的網(wǎng)格70至圖像以描繪子區(qū)域74,來將圖像分割成36個子區(qū)域74的示例。子區(qū)域A1、F1、A6 和F6將被排除在分析之外,因?yàn)楫a(chǎn)品并不存在于這些子區(qū)域中。檢查圖像取決于產(chǎn)品的幾 何結(jié)構(gòu)與圖像的細(xì)節(jié)的程度,可被自動地子分割成子區(qū)域。圖6同樣示出示例網(wǎng)格60,其具 有描繪子區(qū)域64的分割水平與垂直線61、63。
[0112] 經(jīng)計算用于參考圖像的顯著點(diǎn),其被相似地分割成子區(qū)域,該子區(qū)域在數(shù)量、大 小、產(chǎn)品的位置、及形狀與檢查圖像的子區(qū)域可比較。相同大小的子區(qū)域可被用于參考圖像 和檢查圖像。
[0113] 在確定子區(qū)域之后,接著再次為檢查圖像的各個子區(qū)域及為參考圖像的各個子區(qū) 域計算顯著點(diǎn)。在此示例中,各個顯著點(diǎn)包括顯著點(diǎn)的坐標(biāo)(X,y)、其半徑(r)與取向(Θ)、和 描述符(D)。
[0114] 在為整個圖像或達(dá)到某種等級的分辨率的圖像的感興趣的區(qū)域確定子區(qū)域前,計 算顯著點(diǎn)。在確定子區(qū)域之后,再次計算顯著點(diǎn)以達(dá)到對于各個子區(qū)域的更細(xì)的分辨率。這 產(chǎn)生對每個子區(qū)域更大量的顯著點(diǎn)且該顯著點(diǎn)具有較小的半徑。為整個圖像以更細(xì)的分辨 率來計算顯著點(diǎn)是可能的,但分割圖像成子圖像使其更易于平行化計算且因而使得在多處 理器系統(tǒng)上的執(zhí)行更快。
[0??5]在確定子區(qū)域之前,為整個圖像以較粗的(coarser)分辨率來計算顯著點(diǎn),以便最 小化邊緣效應(yīng)且,由于存在的粗點(diǎn)(coarse points)比細(xì)點(diǎn)(fine points)少,所以不需要 平行化此步驟。
[0116]由于物體在大約相同的位置被成像、從大約相同的方向且以相同的放大率被成 像,在檢查圖像的一個子區(qū)域中的物體的部分將大約對應(yīng)于在檢查圖像的相對應(yīng)子區(qū)域中 的物體的相同部分。例如,在圖7的檢查圖像的子區(qū)域B5中,物體3的特征,出現(xiàn)參考數(shù)字 "8"。相同的特征將出現(xiàn)在參考圖像的相對應(yīng)子區(qū)域B5中。因此,相對應(yīng)子區(qū)域的比較允許 在檢查圖像中的產(chǎn)品與參考圖像中的產(chǎn)品的相對應(yīng)特征的比較。
[0117]在已為參考圖像與要被檢查的圖像兩者的子區(qū)域確定顯著點(diǎn)之后,確定在兩圖像 中相對應(yīng)子區(qū)域間的匹配點(diǎn),其中匹配點(diǎn)為在顯著點(diǎn)的相對應(yīng)列表中具有最相似描述符的 那些點(diǎn)。匹配點(diǎn)可在檢查圖像的給定的子區(qū)域與參考圖像的其相對應(yīng)子區(qū)域間,以及在從 被比較的子區(qū)域的邊界直至預(yù)定的距離的鄰近子區(qū)域中被確定。此適應(yīng)在檢查圖像與參考 圖像中不是恰好對齊的產(chǎn)品。一對匹配點(diǎn)在本文稱為"匹配"或"匹配對"。即,對于在一個列 表中的各個點(diǎn),根據(jù)在另一列表中的點(diǎn)的描述符的相似性,可選擇地根據(jù)點(diǎn)的空間特征(例 如點(diǎn)的鄰近度、點(diǎn)的相似取向、及點(diǎn)的相似大小)來搜尋最可能的匹配。
[0118] 每個描述符可包括多個元素,例如128。可認(rèn)為來自一個列表的顯著點(diǎn)與來自另一 列表的顯著點(diǎn)匹配,當(dāng)它們的描述符滿足給定標(biāo)準(zhǔn)時。
[0119] 兩個描述符p=(pl,p2, . . .pn)和q=(ql,q2, . . .qn)可被認(rèn)為是匹配的,當(dāng)它們的 距離滿足預(yù)定標(biāo)準(zhǔn)時,其中pl,p2, .. .pn代表描述符的不同元素。
[0120]在以下示例,假設(shè)描述符已歸一化,即,向量p、q滿足:I |p| I = I |q| I =1
[0121]確定兩描述符是否匹配可包括確定兩描述符向量的歐幾里德距離,例如確定2-范 數(shù)(2-norm)函數(shù):
[0123]應(yīng)指出,為了方便的緣故(如計算速度),此距離可被計算為:
[0125] 其中最后的等號成立于當(dāng)p和q被歸一化時。
[0126] 當(dāng)在兩向量間的角Θ小時,這可進(jìn)一步被近似于:
[0128] 其它合適的函數(shù)可被用以歸一化描述符,并以計算它們的距離,例如,1-范數(shù)(1-norm)距離:
[0129] d(p,q) = | pi_qi | + | P2_q21 + · · · + | Pn-qn
[0130] 或另一個p-范數(shù)(p-norm)距離:
[0132] 預(yù)定的標(biāo)準(zhǔn)可以是絕對標(biāo)準(zhǔn),例如距離小于特定值;或相對標(biāo)準(zhǔn),例如介于參考點(diǎn) 的描述符與匹配的檢查點(diǎn)的描述符之間的距離小于介于參考點(diǎn)的描述符與任意其它檢查 點(diǎn)的描述符之間的距離,或者,例如介于檢查點(diǎn)的描述符與匹配的參考點(diǎn)的描述符之間的 距離小于介于檢查點(diǎn)的描述符與任意其它參考點(diǎn)的描述符之間的距離。
[0133] 預(yù)定的標(biāo)準(zhǔn)可以是絕對和相對標(biāo)準(zhǔn)的組合。
[0134] 此外,當(dāng)在列表中存在許多相似的描述符時(例如對于含有重復(fù)圖案的圖像),限 制搜索匹配的描述符至幾個在空間上比給定的距離更靠近的點(diǎn)可能是有利的。
[0135] 圖8A示出已為參考圖像確定的顯著點(diǎn),顯著點(diǎn)的位置被以小的黑色十字標(biāo)示。圖 8B示出要與參考圖像比較的已為檢查圖像確定的已確定的顯著點(diǎn)。圖8C示出與檢查圖像的 顯著點(diǎn)匹配的參考圖像的顯著點(diǎn),以及圖8D示出與參考圖像的顯著點(diǎn)匹配的檢查圖像的顯 著點(diǎn)。
[0136] 最佳匹配對可接著被選擇及用于為兩圖像確定公共坐標(biāo)系統(tǒng)以使得顯著點(diǎn)可在 公共參考框(common frame of reference)內(nèi)被比較。最佳匹配對可被用來確定將最佳匹 配對帶至盡可能的靠近對齊的變換。該變換可接著被施加到參考圖像的所有顯著點(diǎn)或是施 加到檢查圖像的所有顯著點(diǎn)以在公共坐標(biāo)系統(tǒng)中對齊顯著點(diǎn)??赡芾?,在一個子區(qū)域中 有1000個匹配對并且可從這些匹配對選擇最好的100或150個匹配來確定變換。變換可包括 實(shí)施平移(translation)和/或旋轉(zhuǎn)參考點(diǎn)的坐標(biāo)和/或檢查點(diǎn)的坐標(biāo),例如,以處理物體在 參考圖像中及在檢查圖像中不同的擺位(positioning)。變換可進(jìn)一步包括更復(fù)雜的操作 例如縮放、等分(share)與失真,例如,以處理在被比較的兩個圖像中的不同視角或者對應(yīng) 的成像系統(tǒng)的不同光學(xué)失真。盡管在兩圖像中的物體是大致上對齊的,但其是不完全對齊, 且比較來自相同取向與視角中的兩圖像的顯著點(diǎn)改進(jìn)了兩圖像間細(xì)節(jié)的比較。
[0137] 可為對應(yīng)的子區(qū)域確定變換矩陣,并且將該變換矩陣應(yīng)用于在對應(yīng)的子區(qū)域中的 一個子區(qū)域中的所有顯著點(diǎn),以旋轉(zhuǎn)和/或平移在特定子區(qū)域中的顯著點(diǎn)的坐標(biāo)從而盡可 能接近地與對應(yīng)的子區(qū)域中的顯著點(diǎn)對齊。為在兩圖像間的對應(yīng)的子區(qū)域分別確定變換矩 陣,而不是為作為整體的圖像確定變換矩陣,以改進(jìn)在兩圖像的對應(yīng)的子區(qū)域間的對齊與 隨后的比較。替代地,可確定單一變換矩陣用于圖像的所有顯著點(diǎn)并以在此步驟中作為整 體地處理圖像。
[0138]可為公共坐標(biāo)系統(tǒng)定義原點(diǎn)與兩個笛卡爾軸,其中匹配的顯著點(diǎn)具有盡可能靠近 的在相應(yīng)參考框中的相同坐標(biāo)。作為示例,公共坐標(biāo)系統(tǒng)可以是最小化被用于確定公共坐 標(biāo)系統(tǒng)的匹配點(diǎn)間的均方根殘差距離(drms)的坐標(biāo)系統(tǒng)。涉及一系列的η值的術(shù)語均方根, 在此采用其常規(guī)意義來使用,即已被平方與加總的,在匹配點(diǎn)間的殘差距離(dl,d2, ..., dn)的平方的和除以值(η)的總數(shù)的平方根:
[0140]產(chǎn)生匹配點(diǎn)間的最小均方根殘差距離的變換矩陣接著被施加至在子區(qū)域中所有 的顯著點(diǎn),而不僅是匹配對,以盡可能靠近地將它們與在對應(yīng)的子區(qū)域中的顯著點(diǎn)對齊。 [0141]變換顯著點(diǎn)相對于原始圖像數(shù)據(jù)意味著較少的數(shù)據(jù)被處理。然而,為了更好理解 本發(fā)明的目的,指出將參考點(diǎn)及檢查點(diǎn)帶至參考的公共框的相同變換可被用于將參考及檢 查圖像對齊是有幫助的,如圖9Β所示,其中變換已被施加至圖9Α中所示的檢查圖像中的每 個單獨(dú)像素的坐標(biāo),以對齊圖像。
[0142] 換句話說,圖9Α示出當(dāng)圖像沒有對齊時,兩圖像的迭加,及圖9Β示出在它們通過定 義公共坐標(biāo)系統(tǒng)及變換檢查圖像與參考圖像至公共坐標(biāo)系統(tǒng)(例如通過旋轉(zhuǎn)或平移檢查圖 像),而被對齊后,兩圖像的迭加。
[0143] 在已將顯著點(diǎn)參照至公共坐標(biāo)系統(tǒng)之后,在兩列表中的顯著點(diǎn)接著被用來建立在 兩圖像間的對應(yīng)程度,從而建立在圖像中表示的兩物體的對應(yīng)程度。因此,可確定兩物體是 否相同從而確定被檢查的物體的真實(shí)性。
[0144] 定義分?jǐn)?shù)(score)或函數(shù)或價值函數(shù)(merit function)以確定在兩列表中幾對點(diǎn) 的對應(yīng)程度。確定預(yù)定閾值,該預(yù)定閾值設(shè)置邊界以用于確定分?jǐn)?shù)或者函數(shù)或價值函數(shù)的 輸出是否指示產(chǎn)品是真實(shí)的。閾值可以在產(chǎn)品間變化,例如在手表的不同模型間變化??赏?過進(jìn)行特定產(chǎn)品的真實(shí)與非真實(shí)產(chǎn)品的測試而建立閾值。
[0145] 在一個示例中,函數(shù)是在公共坐標(biāo)系統(tǒng)中的兩列表中的匹配對之間的均方根殘差 距離。在另一示例中,函數(shù)是在兩列表中的匹配對之間的均方根殘差距離,其受制于僅考慮 較給定距離更靠近的匹配對的限制,例如比一個像素更靠近、或是比兩個像素更靠近等。
[0146] 在另一示例中,函數(shù)是在參考列表中的各個點(diǎn)與在空間上與其最靠近的檢查列表 中的點(diǎn)(換句話說為最接近的鄰近點(diǎn))之間的均方根殘差距離。在又一示例中,函數(shù)是在參 考列表中的各個點(diǎn)與在空間上與其最靠近的檢查列表中的點(diǎn)(換句話說為最接近的鄰近 點(diǎn))之間的均方根殘差距離,其受制于僅考慮較給定距離更靠近的幾對點(diǎn)的限制,例如比一 個像素更靠近、或是比兩個像素更靠近等。
[0147] 在又一示例中,函數(shù)是在參考列表中的各個點(diǎn)與在空間上與其最靠近的檢查列表 中的點(diǎn)(換句話說為最靠近的鄰近點(diǎn))之間的均方根殘差距離,其受制于僅考慮其描述符具 有大于預(yù)定閾值的相似程度的幾對點(diǎn)的限制。
[0148] 在又一示例中,函數(shù)被限定為在兩列表中的一個列表中的匹配點(diǎn)對所有點(diǎn)的數(shù)量 的分式(fraction),例如,在參考列表中的1000個點(diǎn)中的300個匹配(30%)。如果30%或更 多的點(diǎn)匹配,則該產(chǎn)品可被視為真實(shí)的。
[0149] 可檢測圍繞在檢查列表中的各個顯著點(diǎn)或在參考列表中的各個顯著點(diǎn)的區(qū)域,以 在將來自兩列表的顯著點(diǎn)對齊至公共坐標(biāo)系統(tǒng)后,確定是否有來自顯著點(diǎn)的其它列表的另 一個顯著點(diǎn)在其附近。這可對在檢查列表中或在參考列表中的各個顯著點(diǎn)實(shí)施,而不論顯 著點(diǎn)是否已被預(yù)先地視為匹配在其它列表中的點(diǎn)。例如,對于在檢查列表中或在參考列表 中的每個顯著點(diǎn),可檢查以顯著點(diǎn)為圓心的特定半徑的圓形區(qū)域(例如一個像素或25μπι)以 確定是否有來自其它列表的顯著點(diǎn)在此圓形區(qū)域中。
[0150] 圖10示出檢查圖像的示例顯著點(diǎn),其中心被以十字標(biāo)示,且其由參考數(shù)字Τ1到Τ7 指示。圖10同樣示出參考圖像的示例顯著點(diǎn),其中心被以十字標(biāo)示,且其由參考數(shù)字R1到R6 指示。檢查圖像與參考圖像的顯著點(diǎn)已于公共坐標(biāo)系統(tǒng)中對齊。對檢查圖像中的各個顯著 點(diǎn),Τ1到Τ7,考慮圍繞各個點(diǎn)的半徑(r),以確定是否有來自參考圖像的顯著點(diǎn)在該半徑中。 對于點(diǎn)T1,有顯著點(diǎn)R1在半徑(r)中。對于點(diǎn)T2,沒有來自參考圖像的顯著點(diǎn)在半徑(r)中。 對于點(diǎn)T3,有多個顯著點(diǎn)R5與R6在半徑(r)中。已考慮圍繞檢查圖像的各個顯著點(diǎn)T1到T7的 半徑(r),確定具有在點(diǎn)的半徑(r)之內(nèi)的一個或更多個顯著點(diǎn)的檢查圖像的顯著點(diǎn)的總 數(shù)。可對每個子區(qū)域分別地實(shí)施此計算??山又M合結(jié)果以確定具有在半徑(r)內(nèi)的一個或 更多個顯著點(diǎn)的檢查圖像的顯著點(diǎn)的總數(shù)量對(a)檢查圖像的顯著點(diǎn)的總數(shù)量或?qū)?b)用 于比較的圖像或用于比較的圖像的感興趣的區(qū)域的參考圖像的顯著點(diǎn)的總數(shù)量的比例。比 例(a)或(b)可基于顯著點(diǎn)的兩列表中哪個較短而被選擇。該比例被用以確定兩產(chǎn)品是否相 同。如果兩產(chǎn)品相同則比例會更高。如果兩產(chǎn)品不相同則比例會更低。用于確定產(chǎn)品的真實(shí) 性的比例的確切閾值將依據(jù)被比較的產(chǎn)品的確切本質(zhì)而變化。
[0151] 對于一個特定模型,將手表的檢查圖形與相同的單個手表的參考圖像比較,發(fā)現(xiàn) 該比例的閾值將是大約20%。對另一種模型,發(fā)現(xiàn)該比例的閾值將是40%。對又一個單個手 表,該閾值是50%。當(dāng)同一模型的兩個不同的真實(shí)手表被比較時,該比例或百分比顯著地低 于閾值,例如介于5 %與10 %之間。對于偽造的手表和相同的預(yù)期(intended)模型的真實(shí)手 表,該比例可只有1%至2%。用于確定產(chǎn)品的真實(shí)性的閾值將在產(chǎn)品之間變化。這將取決于 產(chǎn)品的成像細(xì)節(jié)的復(fù)雜度。對每個產(chǎn)品的閾值將需要被校準(zhǔn)與確定以用于特定模型。
[0152] 圖11A到圖11D示出顯著點(diǎn)與在顯著點(diǎn)已被參照至公共坐標(biāo)系統(tǒng)之后對于參考圖 像和對于要被與參考圖像比較的檢查圖像的比兩個像素更靠近的顯著點(diǎn)。圖11A示出為參 考圖像確定的顯著點(diǎn)以及圖11B示出為檢查圖像確定的顯著點(diǎn)。圖11C示出比兩個像素更靠 近對于在公共坐標(biāo)系統(tǒng)中的檢查圖像的顯著點(diǎn)的參考圖像的顯著點(diǎn)。在圖11和圖11D中,保 留比兩個像素更靠近的所有點(diǎn),而不管它們的描述符如何。圖11D示出了比兩個像素更靠近 在公共坐標(biāo)系統(tǒng)中的參考圖像的顯著點(diǎn)的檢查圖像的顯著點(diǎn)。圖12A到圖12D示出圖11A到 圖11D中所示的圖像的部分的放大版本以分別示出比較的過程。
[0153] 應(yīng)清楚上述提及的示例并不意在窮舉,而且可使用其它函數(shù),包括結(jié)合兩個或更 多個上述提及的標(biāo)準(zhǔn)的函數(shù)。
[0154] 基于函數(shù),答案被計算機(jī)輸出并且傳送到關(guān)心在兩圖像之間對應(yīng)的程度從而關(guān)心 在圖像中呈現(xiàn)的兩物體對應(yīng)的程度的用戶。此答案可以是函數(shù)的輸出本身、或者如果該函 數(shù)是高于或低于預(yù)定的值,則答案可為簡單的是/否、或者可以是更復(fù)雜的答案,例如傳遞 在匹配點(diǎn)間的比例及rms距離。
[0155] 答案可對成像設(shè)備2本地計算并發(fā)送至驗(yàn)證站,該驗(yàn)證站可以是中央服務(wù)器。答案 可以在遠(yuǎn)程服務(wù)器被計算并傳送到對于成像設(shè)備2本地的使用者。
[0156] 可能有需要或想要采集真實(shí)產(chǎn)品的圖像作為之后據(jù)其檢查圖像可被比較的新的 參考圖像。例如,如果產(chǎn)品被修理則產(chǎn)品的細(xì)節(jié)可能稍微改變。在修理之后,產(chǎn)品可使用成 像設(shè)備2被成像且圖像數(shù)據(jù)被儲存為參考以用于在日后的產(chǎn)品驗(yàn)證。儲存原始圖像數(shù)據(jù)是 特別有幫助的,使得日后可對數(shù)據(jù)實(shí)施分析。
【主權(quán)項(xiàng)】
1. 一種驗(yàn)證產(chǎn)品的方法,包括: -采集要被驗(yàn)證的產(chǎn)品的圖像; -確定所述采集的圖像的多個顯著點(diǎn);以及 -將所述要被驗(yàn)證的產(chǎn)品的所述采集的圖像的所述多個顯著點(diǎn)與真實(shí)產(chǎn)品的預(yù)先采集 的參考圖像的多個顯著點(diǎn)比較,以確定所述要被驗(yàn)證的產(chǎn)品與所述真實(shí)產(chǎn)品是否相同,來 驗(yàn)證所述產(chǎn)品。2. 根據(jù)權(quán)利要求1所述的方法,進(jìn)一步包括在比較所述顯著點(diǎn)之前,將所述要被驗(yàn)證的 產(chǎn)品的所述圖像的多個顯著點(diǎn)與所述真實(shí)產(chǎn)品的所述圖像的多個顯著點(diǎn)對齊。3. 根據(jù)權(quán)利要求2所述的方法,其中對齊所述顯著點(diǎn)包括確定在所述要被驗(yàn)證的產(chǎn)品 的所述圖像的所述多個顯著點(diǎn)與所述真實(shí)產(chǎn)品的所述圖像的所述多個顯著點(diǎn)之間的兩個 或更多個匹配對,以及使用所述兩個或更多個匹配對來確定用于對齊所述顯著點(diǎn)的變換。4. 根據(jù)權(quán)利要求3所述的方法,其中所述要被驗(yàn)證的產(chǎn)品的所述圖像的所述顯著點(diǎn)與 所述真實(shí)產(chǎn)品的所述圖像的所述顯著點(diǎn)中的每一個顯著點(diǎn)包括描述符,并且其中確定兩個 或更多個匹配對包括比較所述要被驗(yàn)證的產(chǎn)品的所述圖像的所述多個顯著點(diǎn)的所述描述 符與所述真實(shí)產(chǎn)品的所述圖像的所述多個顯著點(diǎn)的所述描述符。5. 根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的方法,進(jìn)一步包括將所述要被驗(yàn)證的產(chǎn)品的所述 圖像分割成多個子區(qū)域,并且對于所述子區(qū)域?qū)⑺鲆或?yàn)證的產(chǎn)品的所述圖像的所述多 個顯著點(diǎn)與所述真實(shí)產(chǎn)品的所述參考圖像的所述多個顯著點(diǎn)分別對齊。6. 根據(jù)權(quán)利要求5所述的方法,包括在確定所述子區(qū)域之前確定所述要被驗(yàn)證的產(chǎn)品 的所述圖像的多個顯著點(diǎn),用于輔助確定所述子區(qū)域。7. 根據(jù)權(quán)利要求2至6中任一項(xiàng)所述的方法,其中將所述要被驗(yàn)證的產(chǎn)品的所述圖像的 所述多個顯著點(diǎn)與所述真實(shí)產(chǎn)品的所述圖像的所述多個顯著點(diǎn)比較包括確定所述要被驗(yàn) 證的產(chǎn)品的所述圖像的所述多個顯著點(diǎn)中的顯著點(diǎn)是否在所述真實(shí)產(chǎn)品的所述圖像的所 述多個顯著點(diǎn)中的顯著點(diǎn)的限定的距離之內(nèi)。8. 根據(jù)權(quán)利要求7所述的方法,其中將所述要被驗(yàn)證的產(chǎn)品的所述圖像的所述多個顯 著點(diǎn)與所述真實(shí)產(chǎn)品的所述圖像的所述多個顯著點(diǎn)比較包括對于所述要被驗(yàn)證的產(chǎn)品的 所述圖像的所述顯著點(diǎn)中的至少一些顯著點(diǎn)或?qū)τ谠谒鰣D像的區(qū)域內(nèi)的所述真實(shí)產(chǎn)品 的所述圖像的所述顯著點(diǎn)中的至少一些顯著點(diǎn),確定所述要被驗(yàn)證的產(chǎn)品的所述圖像的所 述多個顯著點(diǎn)中的顯著點(diǎn)是否在所述真實(shí)產(chǎn)品的所述圖像的所述多個顯著點(diǎn)中的顯著點(diǎn) 的限定的距離之內(nèi)。9. 根據(jù)權(quán)利要求7或8所述的方法,進(jìn)一步包括確定在所述圖像的所述區(qū)域內(nèi)的所述真 實(shí)產(chǎn)品的所述圖像的顯著點(diǎn)的所述限定的距離之內(nèi)的所述要被驗(yàn)證的產(chǎn)品的所述圖像的 顯著點(diǎn)的數(shù)量的總和。10. 根據(jù)權(quán)利要求7至9中任一項(xiàng)所述的方法,進(jìn)一步包括將函數(shù)應(yīng)用于所述總和以確 定用于與閾值比較的輸出從而確定所述產(chǎn)品的真實(shí)性。11. 根據(jù)權(quán)利要求10所述的方法,其中所述函數(shù)包括將所述總和除以在所述圖像的所 述區(qū)域內(nèi)的所述要被驗(yàn)證的產(chǎn)品的所述圖像的顯著點(diǎn)的總數(shù)或除以在所述圖像的所述區(qū) 域內(nèi)的所述真實(shí)產(chǎn)品的所述圖像的顯著點(diǎn)的總數(shù),以確定比例。12. 根據(jù)上述權(quán)利要求中任一項(xiàng)所述的方法,其中所述產(chǎn)品為時計。13. 根據(jù)上述權(quán)利要求中任一項(xiàng)所述的方法,其中所述采集的圖像為第一圖像,并且進(jìn) 一步包括采集所述產(chǎn)品的第二圖像,用于創(chuàng)建基于所述第一圖像與所述第二圖像的合成圖 像以用于與真實(shí)產(chǎn)品的參考圖像比較,來用于驗(yàn)證所述產(chǎn)品。14. 根據(jù)權(quán)利要求13所述的方法,其中當(dāng)從第一方向照亮所述產(chǎn)品時實(shí)施采集所述產(chǎn) 品的所述第一圖像的步驟,并且其中當(dāng)從第二方向照亮所述產(chǎn)品時實(shí)施采集所述產(chǎn)品的所 述第二圖像的步驟,其中所述第二方向與所述第一方向不同。15. 根據(jù)權(quán)利要求13或14所述的方法,其中在第一曝光時刻處實(shí)施采集所述第一圖像 的步驟,并且其中在第二曝光時刻處實(shí)施采集所述第二圖像的步驟,其中所述第一曝光時 刻與所述第二曝光時刻不同。16. 根據(jù)權(quán)利要求13至15中任一項(xiàng)所述的方法,進(jìn)一步包括接收成像指令,所述指令包 括用于采集所述要被驗(yàn)證的產(chǎn)品的一個或多個圖像的條件;以及根據(jù)所述指令采集所述產(chǎn) 品的所述一個或多個圖像。17. 根據(jù)權(quán)利要求16所述的方法,其中所述成像指令傳送與在較早時間點(diǎn)處采集真實(shí) 產(chǎn)品的所述一個或多個參考圖像基本上相似或相同的條件,以使得所述要被驗(yàn)證的產(chǎn)品可 在與所述真實(shí)產(chǎn)品基本上相似或相同的條件下被成像。18. 根據(jù)上述權(quán)利要求中任一項(xiàng)所述的方法,其中所述驗(yàn)證確定所述要被驗(yàn)證的產(chǎn)品 是否為與從其采集所述參考圖像的所述真實(shí)產(chǎn)品相同模型的真實(shí)產(chǎn)品。19. 一種用于實(shí)施根據(jù)權(quán)利要求第1至18所述的方法的設(shè)備,所述設(shè)備包括用于輸出比 較的結(jié)果的輸出裝置。
【文檔編號】G06K9/62GK105874468SQ201480071797
【公開日】2016年8月17日
【申請日】2014年11月14日
【發(fā)明人】A·卡利加里, H·D·C·彭, Y·貝爾捷, G·舍瓦利耶, E·埃斯特曼, A·加堯姆, M·吉列龍, Y·布羅達(dá)爾
【申請人】錫克拜控股有限公司