字符串識別、翻譯方法及設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種字符串識別、翻譯方法及設(shè)備。該字符串識別方法包括以下步驟：拍攝同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻；對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)；生成修正眼動(dòng)數(shù)據(jù)；合成顯著圖；找出顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)；將所有注意焦點(diǎn)作為種子點(diǎn)、并采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像；將注視焦點(diǎn)圖像和預(yù)設(shè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高的字符模板并生成識別字符串。本發(fā)明的字符串識別、翻譯方法及設(shè)備，基于同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，得出眼動(dòng)數(shù)據(jù)并進(jìn)行分析，能夠自動(dòng)對用戶注視或正在查看的圖像進(jìn)行字符串的獲取和識別，便利程度極高。
【專利說明】字符串識別、翻譯方法及設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種字符串識別、翻譯方法及設(shè)備。

【背景技術(shù)】
[0002]目前，隨著國際化的快速發(fā)展，即便普通人，也經(jīng)常會(huì)遇到外文資料，而對于外語學(xué)習(xí)者，更需要大量地閱讀外文資料。在目前的外文閱讀過程中，如果遇到生疏的詞匯時(shí)，通常需要借助字典、電子詞典或到專業(yè)的網(wǎng)站上進(jìn)行搜索查詢，無論哪種查詢方式，此過程都需要手動(dòng)逐個(gè)地輸入詞匯字母，效率極低，導(dǎo)致較大比例的人干脆跳過生詞，不去理會(huì)，這又使得閱讀質(zhì)量明顯下降。對于小語種的外文資料來說，不熟悉的人很難準(zhǔn)確輸入外文詞句，同時(shí)輸入法也較少，導(dǎo)致對于小語種來說有著更大的障礙。
[0003]然而，如果要省去手動(dòng)輸入的過程，就必須首先實(shí)現(xiàn)以較為便捷的方式自動(dòng)獲取用戶感興趣的或者正在閱讀的字符串并對其進(jìn)行有效的識別，才可能進(jìn)一步對其進(jìn)行翻譯。因此，亟需一種能夠令用戶使用非常便利的自動(dòng)識別字符串的方法，使其能夠在不增加用戶太多操作的前提下普遍適用于各種環(huán)境下的字符串的識別。


【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中缺少一種能夠便利地自動(dòng)對字符串進(jìn)行有效識別的方法，因而必須依賴用戶手動(dòng)輸入才能完成字符串的翻譯的缺陷，提出一種字符串識別方法。
[0005]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的:
[0006]本發(fā)明提供了一種字符串識別方法，其特征在于，包括以下步驟:
[0007]S1、拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，眼睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像幀，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀；
[0008]S2、對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像幀的原始坐標(biāo)；
[0009]S3、將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像幀的修正坐標(biāo)；
[0010]s4、根據(jù)修正眼動(dòng)數(shù)據(jù)及相應(yīng)景圖像幀獲取注視焦點(diǎn)圖像；
[0011]s5、將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串。
[0012]較佳地，S4包括以下步驟:
[0013]S41、根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值；
[0014]S42、采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最聞的點(diǎn)；
[0015]S43、獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子點(diǎn)；
[0016]S44、采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像。
[0017]首先，本發(fā)明的字符串識別方法可以利用光學(xué)系統(tǒng)獲取眼睛視頻圖像和眼前圖像視頻，通過分析處理得到人眼觀看圖像時(shí)的注視時(shí)間、注視點(diǎn)坐標(biāo)等原始的眼動(dòng)數(shù)據(jù)，然后對獲得的眼動(dòng)數(shù)據(jù)進(jìn)行篩選和處理，獲取有效的眼動(dòng)數(shù)據(jù)。簡而言之，獲取的眼睛視頻圖像能夠表現(xiàn)出人眼怎么看，而眼前圖像視頻則是模擬人眼表現(xiàn)出人眼看的是什么。本發(fā)明中的眼動(dòng)數(shù)據(jù)包括注視數(shù)據(jù)、眼跳數(shù)據(jù)兩部分。利用同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻將以人眼為目標(biāo)的原始眼動(dòng)數(shù)據(jù)，轉(zhuǎn)化為修正眼動(dòng)數(shù)據(jù)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，這樣的光學(xué)系統(tǒng)可以由兩個(gè)攝像機(jī)及其他較為常用的光學(xué)組件來組成，以實(shí)現(xiàn)上述功能。
[0018]在人眼看一些圖像時(shí)，人對于圖像中各個(gè)區(qū)域的興趣度可以由人眼在不同區(qū)域的注視時(shí)間長短和注視次數(shù)來反映出，因而本發(fā)明借由注視數(shù)據(jù)和眼跳數(shù)據(jù)對于人眼的閱讀\注視\查看的情況進(jìn)行分析。而對于眼圖像幀和景圖像幀來說，其尺寸大小可能會(huì)有所不同，這種情況下可以根據(jù)其尺寸大小預(yù)設(shè)適當(dāng)?shù)淖鴺?biāo)變換公式進(jìn)行轉(zhuǎn)換。
[0019]此外，核密度估計(jì)算法是指在概率論中用來估計(jì)未知的密度函數(shù)，屬于非參數(shù)檢驗(yàn)方法之一，本發(fā)明的核密度估計(jì)算法所采用的核函數(shù)可以是均勻核函數(shù)、三角核函數(shù)、伽馬核函數(shù)等。而步驟S5中所采用的標(biāo)記山頭法，其實(shí)質(zhì)意義是從每個(gè)高密度區(qū)域找出一個(gè)注意焦點(diǎn)，最終獲得所有的最佳注意焦點(diǎn)。這里的注意焦點(diǎn)指的是借由眼動(dòng)數(shù)據(jù)所確定的圖像中觀看者或閱讀者的興趣最大的點(diǎn)的位置。
[0020]以下對步驟S5中所采用的標(biāo)記山頭法的大體思路進(jìn)行較為形象的說明，以便理解。如果將顯著圖中每個(gè)點(diǎn)的像素值看成是山的高度，則顯著圖可以形象地表示為“山地”，其中要找的注意焦點(diǎn)就是每座山的山頭。找出顯著圖中像素值最大的點(diǎn)(可以理解為最高的山頭)作為第一個(gè)注意焦點(diǎn)，對該點(diǎn)所在區(qū)域增長，將該區(qū)域填充為零(可以理解為將這座山的山頂削掉)。在處理過的顯著圖中尋找下一個(gè)像素值最大的點(diǎn)。此時(shí)，需要解決的問題是，下一個(gè)像素值最大的點(diǎn)有可能是已填充為像素值為零的區(qū)域的邊緣像素點(diǎn)(即山頭已被標(biāo)記過的山的山腰位置，而不是其他山的山頭)。因而就需要一個(gè)判斷條件來判斷當(dāng)前像素值最大的點(diǎn)是已找過山峰的“山腰”還是未標(biāo)記過的“山頭”。因?yàn)橐褬?biāo)記過的注意焦點(diǎn)的一定鄰域范圍已被填充為零，所以如果當(dāng)前像素值最大點(diǎn)是“山腰”，即其位于已填充為零區(qū)域的邊緣，則其周圍的鄰域點(diǎn)(舉例來說，可能是上下左右及兩對角線的8個(gè)方向上與像素點(diǎn)相鄰的點(diǎn))必有像素值為零的點(diǎn)。因此每找到一個(gè)像素值最大的點(diǎn)，計(jì)算該點(diǎn)鄰域的所有像素值，如果該點(diǎn)鄰域像素值有為零的情況，則說明該點(diǎn)是山腰位置，不能作為注意焦點(diǎn)，否則是山頭，標(biāo)記為注意焦點(diǎn)。無論是否是注意焦點(diǎn)，都需要在該點(diǎn)進(jìn)行區(qū)域增長，然后繼續(xù)尋找下一個(gè)像素值最大的點(diǎn)，重復(fù)這種尋找過程，直到找到適當(dāng)個(gè)數(shù)的注意焦點(diǎn)結(jié)束尋找。
[0021]步驟S6中采用的種子填充算法又稱為邊界填充算法，其基本思想是:從多邊形區(qū)域的一個(gè)內(nèi)點(diǎn)開始，由內(nèi)向外用給定的顏色畫點(diǎn)直到邊界為止。如果邊界是以一種顏色指定的，則種子填充算法可逐個(gè)像素地處理直到遇到邊界顏色為止。
[0022]在S8中進(jìn)行的注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板的對比中，可首先對注視焦點(diǎn)圖像(即包含待識別字符的圖像)進(jìn)行二值圖像的歸一化處理，然后將其與事先構(gòu)造好的模板(比如事先構(gòu)造好的外文字庫中的字符模板)進(jìn)行對比，根據(jù)注視焦點(diǎn)圖像與模板的相似度大小來確定最終的識別字符，并生成識別字符串。這一識別字符串可以是單詞或者詞組，也可以短語或者語句。
[0023]較佳地，步驟S2包括以下步驟:
[0024]S21、從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)；
[0025]S22、對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。
[0026]較佳地，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0027]容易理解地，這里的變化速度和變化加速度，也就是這兩種坐標(biāo)隨時(shí)間變化而移動(dòng)所產(chǎn)生的速度和加速度。
[0028]較佳地，在步驟S44和S5之間還包括以下步驟:
[0029]S45、利用開運(yùn)算和/或閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理，然后執(zhí)行S5。
[0030]其中開運(yùn)算是對一個(gè)圖像先進(jìn)行腐蝕運(yùn)算然后再膨脹的操作過程。它可以消除細(xì)小的物體、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界時(shí)不明顯的改變其面積。而閉運(yùn)算則是對一個(gè)圖像先膨脹然后再收縮，它具有填充物體內(nèi)細(xì)小的空洞、連接鄰近物體、在不明顯改變物體面積的情況下平滑其邊界的作用。
[0031]較佳地，S42包括以下步驟:
[0032]S421、找出該顯著圖上像素值最大的像素值極大點(diǎn)；
[0033]S422、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行s423，在判斷結(jié)果為是的情況下執(zhí)行s424 ；
[0034]S423、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后執(zhí)行步驟S425 ；
[0035]S424、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后執(zhí)行步驟S425 ；
[0036]S425、判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下返回s421，在判斷結(jié)果為是的情況下執(zhí)行s43。
[0037]較佳地，S42包括以下步驟:
[0038]S421a、找出該顯著圖上像素值最大的像素值極大點(diǎn)；
[0039]S422a、判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下執(zhí)行s423a，在判斷結(jié)果為否的情況下執(zhí)行s43 ；
[0040]S423a、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行S424a，在判斷結(jié)果為是的情況下執(zhí)行s425a ；
[0041]S424a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后返回步驟S421a ；
[0042]S425a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后返回步驟s421a。
[0043]應(yīng)當(dāng)理解地,本發(fā)明中可擇一地采用上述具體步驟S421a?S425a與步驟S421?S425。
[0044]本發(fā)明還提供了一種字符串翻譯方法，包括上述字符串識別方法，并且在步驟S5后還包括以下步驟:
[0045]S6、將該識別字符串翻譯為目標(biāo)語言，顯示翻譯結(jié)果。
[0046]本發(fā)明還提供了一種字符串識別設(shè)備，其特點(diǎn)在于，包括拍攝模塊、視頻解析模塊、修正模塊、注視焦點(diǎn)圖像模塊以及匹配模塊。
[0047]其中，拍攝模塊用于拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，眼睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像幀，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀。
[0048]視頻解析模塊用于對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像中貞的原始坐標(biāo)。
[0049]修正模塊用于將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像幀的修正坐標(biāo)。
[0050]注視焦點(diǎn)圖像模塊用于根據(jù)修正眼動(dòng)數(shù)據(jù)及相應(yīng)景圖像幀獲取注視焦點(diǎn)圖像。
[0051]匹配模塊，用于將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串。
[0052]較佳地，注視焦點(diǎn)圖像模塊包括顯著圖合成模塊、焦點(diǎn)獲取模塊、焦點(diǎn)坐標(biāo)模塊和種子填充模塊。
[0053]其中，顯著圖合成模塊，用于根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值。
[0054]焦點(diǎn)獲取模塊，用于采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最高的點(diǎn)。
[0055]焦點(diǎn)坐標(biāo)模塊，用于獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子點(diǎn)。種子填充模塊，用于采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像。
[0056]較佳地，該視頻解析模塊包括一中心坐標(biāo)提取單元和一中心坐標(biāo)解析單元，該中心坐標(biāo)提取單元用于從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)，該中心坐標(biāo)解析單元用于對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。
[0057]較佳地，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0058]較佳地，注視焦點(diǎn)圖像模塊還包括一平滑模塊，用于利用開運(yùn)算和/或閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理，并將處理后的注視焦點(diǎn)圖像發(fā)送至該匹配模塊。
[0059]較佳地，該焦點(diǎn)獲取模塊包括:
[0060]一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第一判斷單元；
[0061]該第一判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第一變更單元，在判斷結(jié)果為是的情況下啟用一第二變更單元；
[0062]該第一變更單元，用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后啟用該第二變更單元；
[0063]該第二變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后啟用一第二判斷單元；
[0064]該第二判斷單元用于判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下重新啟用該像素值極大點(diǎn)單元，在判斷結(jié)果為是的情況下啟用該焦點(diǎn)坐標(biāo)模塊。
[0065]較佳地，該焦點(diǎn)獲取模塊包括:
[0066]一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第三判斷單元；
[0067]該第三判斷單元用于判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下啟用一第四判斷單元，在判斷結(jié)果為否的情況下啟用該焦點(diǎn)坐標(biāo)模塊；
[0068]該第四判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第三變更單元，在判斷結(jié)果為是的情況下啟用一第四變更單元；
[0069]該第三變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后重新啟用該像素值極大點(diǎn)單元;
[0070]該第四變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后重新啟用該像素值極大點(diǎn)單元。
[0071]本發(fā)明還提供了一種字符串翻譯設(shè)備，其特點(diǎn)在于，包括上述字符串識別設(shè)備以及一翻譯模塊，該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標(biāo)語言，并顯不翻譯結(jié)果。
[0072]在符合本領(lǐng)域常識的基礎(chǔ)上，上述各優(yōu)選條件，可任意組合，即得本發(fā)明各較佳實(shí)例。
[0073]本發(fā)明的積極進(jìn)步效果在于:
[0074]本發(fā)明的字符串識別、翻譯方法及設(shè)備，基于同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，得出眼動(dòng)數(shù)據(jù)進(jìn)行進(jìn)一步分析，能夠自動(dòng)對用戶注視或正在查看的圖像進(jìn)行字符串的獲取和識別，便利程度極高，無需依賴用戶手動(dòng)輸入就能完成字符串的翻譯。

【專利附圖】

【附圖說明】
[0075]圖1為本發(fā)明實(shí)施例1的字符串識別方法的流程圖。
[0076]圖2為本發(fā)明實(shí)施例1的字符串識別方法中步驟S5的流程圖。
[0077]圖3為本發(fā)明實(shí)施例2的字符串識別方法中步驟S5的流程圖。
[0078]圖4為本發(fā)明實(shí)施例4的字符串識別設(shè)備的示意圖。

【具體實(shí)施方式】
[0079]下面結(jié)合附圖給出本發(fā)明較佳實(shí)施例，以詳細(xì)說明本發(fā)明的技術(shù)方案，但并不因此將本發(fā)明限制在所述的實(shí)施例范圍之中。
[0080]實(shí)施例1
[0081]如圖1所示，本實(shí)施例的字符串識別方法包括以下步驟:
[0082]S1、拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，眼睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像幀，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀；
[0083]S2、對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像幀的原始坐標(biāo)；
[0084]S3、將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像幀的修正坐標(biāo)；
[0085]S4、根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值；
[0086]S5、采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最聞的點(diǎn)；
[0087]S6、獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子點(diǎn)；
[0088]S7、采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像；
[0089]S71、利用開運(yùn)算和閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理；
[0090]S8、將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串。
[0091]參考圖2所示，本實(shí)施例中的步驟S5包括以下步驟:
[0092]S51、找出該顯著圖上像素值最大的像素值極大點(diǎn)；
[0093]S52、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行S53，在判斷結(jié)果為是的情況下執(zhí)行S54 ；
[0094]S53、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后執(zhí)行步驟S55 ；
[0095]S54、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后執(zhí)行步驟s55 ；
[0096]S55、判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下返回S51，在判斷結(jié)果為是的情況下執(zhí)行s6。
[0097]實(shí)施例2
[0098]本實(shí)施例的字符串識別方法和實(shí)施例1相比，僅在步驟S2和步驟S5上存在一定的差別，具體如下。
[0099]本實(shí)施例中，步驟S2包括以下步驟:
[0100]S21、從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)；
[0101]S22、對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。
[0102]其中，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。這里的變化速度和變化加速度，也就是這兩種坐標(biāo)隨時(shí)間變化而移動(dòng)所產(chǎn)生的速度和加速度。
[0103]本實(shí)施例中，參考圖3所示，步驟S5基本由以下步驟組成:
[0104]S51a、找出該顯著圖上像素值最大的像素值極大點(diǎn)；
[0105]S52a、判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下執(zhí)行s53a，在判斷結(jié)果為否的情況下執(zhí)行s6 ；
[0106]S53a、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行s54a，在判斷結(jié)果為是的情況下執(zhí)行s55a ；
[0107]S54a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后返回步驟S51a ；
[0108]S55a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后返回步驟s51a。
[0109]實(shí)施例3
[0110]本實(shí)施例的字符串翻譯方法包括了實(shí)施例3的字符串識別方法的全部步驟，并且在步驟S8后還包括一步驟:
[0111]s9、將該識別字符串翻譯為目標(biāo)語言，顯示翻譯結(jié)果。
[0112]實(shí)施例4
[0113]參考圖4所示，本實(shí)施例的字符串識別設(shè)備，包括以下組成部分:
[0114]一拍攝模塊1，用于拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，眼睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像幀，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀；
[0115]一視頻解析模塊2，用于對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像幀的原始坐標(biāo)；
[0116]一修正模塊3，用于將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像幀的修正坐標(biāo)；
[0117]一顯著圖合成模塊4，用于根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值；
[0118]一焦點(diǎn)獲取模塊5，用于采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最高的點(diǎn)；
[0119]—焦點(diǎn)坐標(biāo)模塊6，用于獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子占.
[0120]一種子填充模塊7，用于采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像；
[0121]一匹配模塊8，用于將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串。
[0122]其中，該視頻解析模塊包括一中心坐標(biāo)提取單元和一中心坐標(biāo)解析單元，該中心坐標(biāo)提取單元用于從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)，該中心坐標(biāo)解析單元用于對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。在此處，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0123]并且，該字符串識別設(shè)備還包括一平滑模塊，用于利用開運(yùn)算和閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理，并將處理后的注視焦點(diǎn)圖像發(fā)送至該匹配模塊。
[0124]該焦點(diǎn)獲取模塊具體包括了以下單元:
[0125]一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第一判斷單元；
[0126]該第一判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第一變更單元，在判斷結(jié)果為是的情況下啟用一第二變更單元；
[0127]該第一變更單元，用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后啟用該第二變更單元；
[0128]該第二變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后啟用一第二判斷單元；
[0129]該第二判斷單元用于判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下重新啟用該像素值極大點(diǎn)單元，在判斷結(jié)果為是的情況下啟用該焦點(diǎn)坐標(biāo)模塊。
[0130]實(shí)施例5
[0131]本實(shí)施例的字符串識別設(shè)備和實(shí)施例4的字符串識別設(shè)備相比，差別僅在于具有不同的焦點(diǎn)獲取模塊。
[0132]本實(shí)施例中的焦點(diǎn)獲取模塊包括以下單元:
[0133]一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第三判斷單元；
[0134]該第三判斷單元用于判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下啟用一第四判斷單元，在判斷結(jié)果為否的情況下啟用該焦點(diǎn)坐標(biāo)模塊；
[0135]該第四判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第三變更單元，在判斷結(jié)果為是的情況下啟用一第四變更單元；
[0136]該第三變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后重新啟用該像素值極大點(diǎn)單元;
[0137]該第四變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后重新啟用該像素值極大點(diǎn)單元。
[0138]實(shí)施例6
[0139]本實(shí)施例的字符串翻譯設(shè)備包括了實(shí)施例5的字符串識別設(shè)備以及一翻譯模塊，該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標(biāo)語言，并顯示翻譯結(jié)果。
[0140]雖然以上描述了本發(fā)明的【具體實(shí)施方式】，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這些僅是舉例說明，本發(fā)明的保護(hù)范圍是由所附權(quán)利要求書限定的。本領(lǐng)域的技術(shù)人員在不背離本發(fā)明的原理和實(shí)質(zhì)的前提下，可以對這些實(shí)施方式做出多種變更或修改，但這些變更和修改均落入本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種字符串識別方法，其特征在于，包括以下步驟: 51、拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，眼睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像巾貞，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀； 52、對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像幀的原始坐標(biāo)； 53、將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像幀的修正坐標(biāo)； 54、根據(jù)修正眼動(dòng)數(shù)據(jù)及相應(yīng)景圖像幀獲取注視焦點(diǎn)圖像； 55、將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串O
2.如權(quán)利要求1所述的字符串識別方法，其特征在于，S4包括以下步驟: 541、根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值； 542、采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最聞的點(diǎn); 543、獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子點(diǎn)； 544、采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像。
3.如權(quán)利要求1所述的字符串識別方法，其特征在于，步驟S2包括以下步驟: 521、從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)； 522、對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。
4.如權(quán)利要求3所述的字符串識別方法，其特征在于，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
5.如權(quán)利要求2所述的字符串識別方法，其特征在于，在步驟S44和S5之間還包括以下步驟: 545、利用開運(yùn)算和/或閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理，然后執(zhí)行s5。
6.如權(quán)利要求2所述的字符串識別方法，其特征在于，S42包括以下步驟: 5421、找出該顯著圖上像素值最大的像素值極大點(diǎn)； 5422、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行S423，在判斷結(jié)果為是的情況下執(zhí)行S424 ； 5423、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后執(zhí)行步驟S425 ； 5424、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后執(zhí)行步驟S425 ； 5425、判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下返回S421，在判斷結(jié)果為是的情況下執(zhí)行s43。
7.如權(quán)利要求2所述的字符串識別方法，S42包括以下步驟: S421a、找出該顯著圖上像素值最大的像素值極大點(diǎn)； S422a、判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下執(zhí)行S423a，在判斷結(jié)果為否的情況下執(zhí)行S43 ； S423a、判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下執(zhí)行S424a，在判斷結(jié)果為是的情況下執(zhí)行S425a ； S424a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后返回步驟S421a ； S425a、將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后返回步驟S421a。
8.一種字符串翻譯方法，其特征在于，包括如權(quán)利要求1-7中任意一項(xiàng)所述的字符串識別方法，在步驟S5后還包括以下步驟: S6、將該識別字符串翻譯為目標(biāo)語言，顯示翻譯結(jié)果。
9.一種字符串識別設(shè)備，其特征在于，包括: 拍攝模塊，用于拍攝一預(yù)設(shè)時(shí)長的時(shí)間段內(nèi)同步的眼睛運(yùn)動(dòng)視頻和眼前圖像視頻，目艮睛運(yùn)動(dòng)視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有眼睛的眼圖像幀，眼前圖像視頻包括該時(shí)間段內(nèi)各個(gè)時(shí)刻記錄有位于眼睛前方的場景的景圖像幀； 視頻解析模塊，用于對眼睛運(yùn)動(dòng)視頻進(jìn)行分析以獲取原始眼動(dòng)數(shù)據(jù)，原始眼動(dòng)數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)，原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應(yīng)眼圖像幀的原始坐標(biāo)； 修正模塊，用于將原始眼動(dòng)數(shù)據(jù)中的原始坐標(biāo)通過預(yù)設(shè)的坐標(biāo)變換算法生成修正眼動(dòng)數(shù)據(jù)，修正眼動(dòng)數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)，修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應(yīng)景圖像巾貞的修正坐標(biāo)； 注視焦點(diǎn)圖像模塊，用于根據(jù)修正眼動(dòng)數(shù)據(jù)及相應(yīng)景圖像幀獲取注視焦點(diǎn)圖像； 匹配模塊，用于將注視焦點(diǎn)圖像和預(yù)設(shè)的多個(gè)字符模板進(jìn)行對比，找出和注視焦點(diǎn)圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板，根據(jù)匹配字符模板生成識別字符串。
10.如權(quán)利要求9所述的字符串識別設(shè)備，其特征在于，注視焦點(diǎn)圖像模塊包括顯著圖合成模塊、焦點(diǎn)獲取模塊、焦點(diǎn)坐標(biāo)模塊和種子填充模塊，其中， 顯著圖合成模塊，用于根據(jù)修正注視數(shù)據(jù)中的修正坐標(biāo)確定相應(yīng)景圖像幀上的注視點(diǎn)，對于每一個(gè)注視點(diǎn)，采用核密度估計(jì)算法得到其高斯分布，將所有注視點(diǎn)的高斯分布疊加合成一顯著圖，該顯著圖上每一點(diǎn)均具有像素值； 焦點(diǎn)獲取模塊，用于采用標(biāo)記山頭法找出該顯著圖上各個(gè)高密度區(qū)域中的注意焦點(diǎn)，其中高密度區(qū)域?yàn)樵擄@著圖上注視點(diǎn)密度高于一密度閾值的區(qū)域，注意焦點(diǎn)為各個(gè)高密度區(qū)域中像素值最高的點(diǎn)； 焦點(diǎn)坐標(biāo)模塊，用于獲取所有注意焦點(diǎn)的坐標(biāo)，并將所有注意焦點(diǎn)作為種子點(diǎn)； 種子填充模塊，用于采用種子填充算法對各個(gè)種子點(diǎn)進(jìn)行填充，以獲得注視焦點(diǎn)圖像。
11.如權(quán)利要求9所述的字符串識別設(shè)備，其特征在于，該視頻解析模塊包括一中心坐標(biāo)提取單元和一中心坐標(biāo)解析單元，該中心坐標(biāo)提取單元用于從各個(gè)時(shí)刻的眼圖像幀中提取瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)，該中心坐標(biāo)解析單元用于對瞳孔中心坐標(biāo)和角膜反射光斑中心坐標(biāo)隨時(shí)間的變化進(jìn)行分析，以獲取原始眼動(dòng)數(shù)據(jù)。
12.如權(quán)利要求11所述的字符串識別設(shè)備，其特征在于，原始注視數(shù)據(jù)為瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)在一預(yù)設(shè)時(shí)長范圍內(nèi)未改變的數(shù)據(jù)，原始眼跳數(shù)據(jù)為某一時(shí)刻瞳孔中心坐標(biāo)和/或角膜反射光斑中心坐標(biāo)的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
13.如權(quán)利要求10所述的字符串識別設(shè)備，其特征在于，注視焦點(diǎn)圖像模塊還包括一平滑模塊，用于利用開運(yùn)算和/或閉運(yùn)算對注視焦點(diǎn)圖像進(jìn)行去孔和平滑邊緣的處理，并將處理后的注視焦點(diǎn)圖像發(fā)送至該匹配模塊。
14.如權(quán)利要求10所述的字符串識別設(shè)備，該焦點(diǎn)獲取模塊包括: 一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第一判斷單元； 該第一判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第一變更單元，在判斷結(jié)果為是的情況下啟用一第二變更單元; 該第一變更單元，用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后啟用該第二變更單元； 該第二變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后啟用一第二判斷單元； 該第二判斷單元用于判斷注意焦點(diǎn)的個(gè)數(shù)是否達(dá)到一焦點(diǎn)個(gè)數(shù)閾值，在判斷結(jié)果為否的情況下重新啟用該像素值極大點(diǎn)單元，在判斷結(jié)果為是的情況下啟用該焦點(diǎn)坐標(biāo)模塊。
15.如權(quán)利要求10所述的字符串識別設(shè)備，該焦點(diǎn)獲取模塊包括: 一像素值極大點(diǎn)單元，用于找出該顯著圖上像素值最大的像素值極大點(diǎn)，并啟用一第三判斷單元； 該第三判斷單元用于判斷該像素值極大點(diǎn)的像素值是否大于一像素值閾值，在判斷結(jié)果為是的情況下啟用一第四判斷單元，在判斷結(jié)果為否的情況下啟用該焦點(diǎn)坐標(biāo)模塊； 該第四判斷單元用于判斷和該像素值極大點(diǎn)相鄰的點(diǎn)中是否存在像素值為零的點(diǎn)，在判斷結(jié)果為否的情況下啟用一第三變更單元，在判斷結(jié)果為是的情況下啟用一第四變更單元; 該第三變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，并將該像素值極大點(diǎn)變更為注意焦點(diǎn)，然后重新啟用該像素值極大點(diǎn)單元； 該第四變更單元用于將該顯著圖上位于該像素值極大點(diǎn)的一鄰域范圍內(nèi)的點(diǎn)的像素值更改為零，然后重新啟用該像素值極大點(diǎn)單元。
16.一種字符串翻譯設(shè)備，其特征在于，包括如權(quán)利要求9-15中任意一項(xiàng)所述的字符串識別設(shè)備以及一翻譯模塊，該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標(biāo)語言，并顯示翻譯結(jié)果。
【文檔編號】G06K9/00GK104239875SQ201410522255
【公開日】2014年12月24日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】李柯材 申請人:上海華勤通訊技術(shù)有限公司