用于搜索文本和以增強現(xiàn)實的方式顯示發(fā)現(xiàn)的文本的系統(tǒng)和方法
【專利摘要】本發(fā)明提供了用于搜索一個或多個圖像中的文本的系統(tǒng)和方法。計算設(shè)備執(zhí)行的方法包括接收輸入。計算設(shè)備根據(jù)輸入來生成搜索參數(shù)，所述搜索參數(shù)包括所述文本。向該一個或多個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本。應(yīng)用搜索參數(shù)，以在計算機可讀文本中搜索所述文本，以及如果發(fā)現(xiàn)所述文本，執(zhí)行動作。
【專利說明】用于搜索文本和以增強現(xiàn)實的方式顯示發(fā)現(xiàn)的文本的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]以下大致涉及搜索文本數(shù)據(jù)(例如，字母、詞、數(shù)字等)。
【背景技術(shù)】
[0002]可以通過例如書本、雜志、報紙、廣告、傳單等很多的媒體形式來印刷或顯示文本。已知可以使用例如掃描儀的設(shè)備的來掃描文本。然而，掃描儀通常較大且笨重，并且不能容易地運送。因此，通常不方便隨時掃描文本。
【專利附圖】

【附圖說明】
[0003]參考附圖，現(xiàn)在將僅通過示例的形式來描述實施例，其中:
[0004]圖1a是移動設(shè)備的示意圖，該移動設(shè)備查看文本頁、顯示文本的圖像并顯示對與搜索參數(shù)相匹配的文本位于何處的指示。
[0005]圖1b是類似于圖1a的示意圖，在圖1b中，移動設(shè)備正在查看另一文本頁并顯示對與搜索參數(shù)相匹配的另一文本位于何處的指示。
[0006]圖2是移動設(shè)備的示意圖，該移動設(shè)備查看街道環(huán)境，識別道路名稱，以及使用道路名稱來確定移動設(shè)備的位置和導(dǎo)航方向。
[0007]圖3是示例移動設(shè)備和顯示屏幕的平面圖。
[0008]圖4是另一示例移動設(shè)備及其顯示屏幕的平面圖。
[0009]圖5是圖3中不出的移動設(shè)備的背面及其相機設(shè)備的平面視圖。
[0010]圖6是移動設(shè)備的示例實施例的框圖。
[0011]圖7是移動設(shè)備顯示的主屏幕的屏幕截圖。
[0012]圖8是示意圖6中示出的其他軟件應(yīng)用和組件中的示例軟件應(yīng)用和組件的框圖。
[0013]圖9是用于執(zhí)行與文本有關(guān)的增強現(xiàn)實操作的模塊的示例配置的框圖。
[0014]圖10是用于搜索文本和顯示對在何處發(fā)現(xiàn)所尋找的文本的指示的示例計算機可執(zhí)行指令的流程圖。
[0015]圖11是用于顯示覆蓋文本圖像的指示的示例計算機可執(zhí)行指令的流程圖。
[0016]圖12是用于記錄頁編號和在每頁上發(fā)現(xiàn)的所尋找的文本的實例數(shù)目的示例計算機可執(zhí)行指令的流程圖。
[0017]圖13是用于對每頁上所尋找的文本的實例的索引編排進行查看以及對包含所尋找的文本的圖像進行選擇的示例圖形用戶界面(GUI)。
[0018]圖14是用于識別頁編號的示例計算機可執(zhí)行指令的流程圖。
[0019]圖15是用于識別頁編號的示例計算機可執(zhí)行指令的另一流程圖。
[0020]圖16是用于搜索基于導(dǎo)航方向的道路名稱的示例計算機可執(zhí)行指令的流程圖。
[0021]圖17是用于搜索基于移動設(shè)備的第一位置的道路名稱的示例計算機可執(zhí)行指令的流程圖。[0022]圖18是用于搜索圖像中的文本的示例計算機可執(zhí)行指令的流程圖。
【具體實施方式】
[0023]應(yīng)當(dāng)理解的是，為了簡要和清晰地進行說明，在適當(dāng)?shù)那闆r下，附圖間的附圖標(biāo)記可能重復(fù)，以表明相應(yīng)的或類似的元件。另外，闡述了大量特定的細節(jié)，以便提供對這里所描述的示例實施例的透徹理解。然而，本領(lǐng)域普通技術(shù)人員可以理解的是，沒有這些特定的細節(jié)也可以實現(xiàn)這里所描述的實施例。在其他實例中，沒有詳細描述公知的方法、過程和組件，以免模糊這里所描述的示例實施例。而且，這些描述不應(yīng)被視為對此處描述的示例實施例的保護范圍的限制。
[0024]要認(rèn)識到，在物理文檔中手動搜索文本是困難且耗時的。例如,一個人可以仔細閱讀文檔或書本中的很多頁，以搜索特定詞語的實例。如果存在著很多頁(例如，數(shù)百頁)，該人將需要閱讀每一頁，以確定特定詞語的實例出現(xiàn)在何處。該人可能開始匆忙地閱讀或?qū)忛單臋n或書本，并且可能在無意間沒有注意到文本中特定詞語的實例。當(dāng)內(nèi)容是不熟悉的或不吸引人的時，該人有可能更加不可能注意到特定詞語的實例。
[0025]在另一示例中，某人僅查找特定詞語的實例，并且不愿意閱讀被認(rèn)為無關(guān)的其他文本，因為僅直接在特定詞語周圍的文本才被認(rèn)為是相關(guān)的。這種情況會使得閱讀文檔或書本單調(diào)乏味，并且例如會使該人增加其文本審閱的速度。例如，這會直接或間接地導(dǎo)致該人在無意間沒有注意到特定詞語的實例增加。
[0026]審閱文檔并搜索特定詞語的人還可能發(fā)現(xiàn)該任務(wù)對眼睛造成壓力，特別是當(dāng)文本是小尺寸字體時。在閱讀難以閱讀的字體風(fēng)格的文本時，這也可能是困難的。這種情況會導(dǎo)致人的眼睛承受壓力。
[0027]還要意識到，當(dāng)人行進通過街道時(例如，步行或駕車)，該人可能被很多不同類型的標(biāo)志(例如，道路標(biāo)志、店面標(biāo)志、公告板、廣告等)分散注意力。該人可能沒有看到或識別出其正在尋找的街道標(biāo)志。
[0028]如果某人開車很快或者將其視覺注意力集中在交通上，其可能也沒有注意到街道標(biāo)志?？梢砸庾R到的是，在查找特定街道標(biāo)志時駕駛可能是困難的。當(dāng)人可能在不熟悉的區(qū)域中駕車并因此不知道在哪兒發(fā)現(xiàn)街道標(biāo)志時，問題更加復(fù)雜。此外，遠處的街道標(biāo)志可能難以閱讀，因為對于人而言，文本可能顯得很小或不清楚。
[0029]本文中描述的本系統(tǒng)和方法解決了這些問題。轉(zhuǎn)到圖la，示出了打開到頁202、204的書200。裝備有相機的移動設(shè)備100正在相機的顯示器110上實時地示出頁202、204的圖像。換言之，當(dāng)移動設(shè)備100和書本200彼此相對移動時，顯示器110上顯示的圖像自動更新，以示出相機當(dāng)前正在捕捉的東西。
[0030]在圖1a中，相機正在查看頁202，并且在顯示器110上示出了圖202的圖像206。換言之，顯示了頁202上的文本的圖像。顯示器110還在其圖形用戶界面(⑶I)中包括了文本字段208，用戶可以通過顯示器110的⑶I和/或移動設(shè)備100的鍵盤或其他輸入設(shè)備(圖1a中未示出)來在文本字段208中輸入搜索參數(shù)。換言之，如果某人正在書本200中查找文本的特定實例(例如，字母組合、詞語、短語、等式、數(shù)字等)，該人可以在文本字段208中輸入要搜索的文本。例如，某人可能希望搜索術(shù)語“CusCO”208，其在圖1a中示出為搜索參數(shù)。移動設(shè)備100使用光學(xué)字符識別(OCR)來從文本圖像導(dǎo)出計算機可讀文本，并使用該計算機可讀文本來應(yīng)用文本搜索算法，以發(fā)現(xiàn)搜索參數(shù)的實例。一旦發(fā)現(xiàn)，移動設(shè)備指示搜索參數(shù)位于何處。在示例中，使用圍繞文本圖像“Cusco”的框210來在顯示器110上標(biāo)識術(shù)語“Cusco”的位置?？梢哉J(rèn)識到，框210可以覆蓋在圖像206上。這增強了人通過移動設(shè)備100正在查看的現(xiàn)實。
[0031]可以認(rèn)識到，成像文本是圖像，并且其含義不容易被計算設(shè)備或移動設(shè)備100所理解。相反，計算機可讀文本包括計算設(shè)備或移動設(shè)備100理解的字符代碼，并且可更加易于修改。可應(yīng)用的字符編碼和解碼方案的非限制性示例包括ASCII碼和Unicode。因此可以識別來自計算機可讀文本的詞語并將其與各種功能相關(guān)聯(lián)。
[0032]轉(zhuǎn)向圖lb，當(dāng)某人將移動設(shè)備100從頁202移動到頁204時，將以相機正在查看或捕捉的當(dāng)前圖像來自動更新顯示器110?？梢哉J(rèn)識到，可以通過實時的方式，幾乎即刻地更新顯示器Iio上正在顯示的圖像。換言之，當(dāng)將相機放在頁204的前面時，顯示器110自動示出頁204的圖像212。當(dāng)搜索參數(shù)“Cusco”仍在使用中時，移動設(shè)備100搜索術(shù)語“Cusco”?？?10被示出為圍繞術(shù)語“Cusco”，覆蓋在頁204上的文本的圖像212上。可以認(rèn)識到，其他用于在視覺上指示詞語“Cusco”的位置的方法也是可應(yīng)用的。
[0033]可以認(rèn)識到，這種系統(tǒng)和方法可有助于人快速地搜索文檔或書本中的文本或者以硬拷貝格式顯示的文本的其他實施例。例如，可以使用本文中的原理來搜索另一計算機屏幕上示出的特定詞語。該人移動移動設(shè)備110來在文本頁中掃描，并且在發(fā)現(xiàn)搜索參數(shù)時，在顯示器110上突出顯示其位置。這減少了該人的勞動量，因為不需要閱讀每個詞語。如果不存在對在成像文本中有搜索參數(shù)的指示，則該人知道在該成像文本中不存在搜索參數(shù)。與人手動地搜索特定詞語相比，本文中描述的原理可以是更加可靠。
[0034]轉(zhuǎn)到圖2，示出了街道環(huán)境214。街道環(huán)境214包括建筑、出租車和一些街道標(biāo)志。如上所述，可能存在很多標(biāo)志216、218、220、222、224，這可能分散人的注意力。例如，該人可能正在查找特定的道路名稱來確定其位置，或者確定到達目標(biāo)的導(dǎo)航方向的目前集合。如果該人正在駕駛，其可能不希望查找道路名稱，這可能分散其駕駛意識。
[0035]移動設(shè)備100裝備有可被使用來搜索和識別街道環(huán)境214中的特定道路名稱的相機。在本示例實施例中，道路名稱是搜索參數(shù)，其可以從一組方向(移動設(shè)備100處從例如地圖服務(wù)器或提供方向的其他源接收到)、當(dāng)前位置(移動設(shè)備100處通過例如移動設(shè)備100的GPS接收機接收到)或人的手動輸入(移動設(shè)備100處通過⑶1、其顯示器和/或鍵盤或其他輸入設(shè)備接收到)而獲得。移動設(shè)備100通過向圖像中的文本應(yīng)用OCR算法來處理街道環(huán)境的圖像，由此生成計算機可讀文本。然后，向計算機可讀文本應(yīng)用搜索算法，以確定是否存在搜索參數(shù)(在本示例中是道路名稱)。如果存在，可以執(zhí)行其他動作。
[0036]在圖2中的示例中，移動設(shè)備100搜索道路名“主大街”和“國王大道”。該文本分別示出在街道標(biāo)志222和224上，并在街道環(huán)境214的捕捉到的圖像中識別。在識別到時，移動設(shè)備100顯示對所尋找的文本位于圖像中的何處的指示。這種指示的示例可以是顯示圈226和228。通過這種方式，人可以看到道路名稱“主大街”和“國王大道”在街道環(huán)境214中位于何處。這增強了人正在查看的現(xiàn)實。當(dāng)移動設(shè)備100或街道環(huán)境214中的文本移動時(例如，人可能將移動設(shè)備100轉(zhuǎn)到不同的方向，或者出租車標(biāo)志218可能移動)，計算機可讀文本更新，以對應(yīng)于同樣當(dāng)前的成像文本。
[0037]執(zhí)行的另一動作是顯示位置和導(dǎo)航信息，在顯示器110上的界面230中對此進行了示出。假設(shè)如果移動設(shè)備的相機可以看到道路名稱，則移動設(shè)備100當(dāng)前正位于所識別的道路處。因此，界面提供消息“您位于主大街和國王大道處”。
[0038]基于移動設(shè)備100的當(dāng)前位置，可以將這集成到使用來提供導(dǎo)航方向的地圖應(yīng)用中。例如，界面230可以提供方向“右轉(zhuǎn)到主大街”。
[0039]在圖2中的示例中，移動設(shè)備100可被集成到汽車中。例如，在被與汽車完整集成時，移動設(shè)備可以不是手持式的，并因此可以是電子設(shè)備。這種集成設(shè)備的示例可以包括與汽車的前端集成的相機，而執(zhí)行搜索功能和處理圖像的計算設(shè)備與汽車的計算機系統(tǒng)集成。
[0040]可應(yīng)用的電子設(shè)備的示例包括尋呼機、蜂窩電話、蜂窩智能電話、無線管理器、個人數(shù)字助理、計算機、膝上型機、平板機、手持無線通信設(shè)備、具有無線能力的筆記本計算機、相機等。為了清楚起見，之后將這種設(shè)備統(tǒng)稱為“移動設(shè)備”。然后，將認(rèn)識到的是，本文中描述的原理還可適用于自己不移動的電子設(shè)備，例如集成在運輸車輛(例如，汽車)中的GPS或其他計算機系統(tǒng)。
[0041]在示例實施例中，移動設(shè)備是具有高級數(shù)據(jù)通信能力的雙向通信電子設(shè)備，該高級數(shù)據(jù)通信能力包括通過收發(fā)站的網(wǎng)絡(luò)與其它移動設(shè)備或計算機系統(tǒng)進行通信的能力。移動設(shè)備還可以具有允許語音通信的能力。根據(jù)移動設(shè)備所提供的功能，該移動設(shè)備可以被稱作數(shù)據(jù)消息收發(fā)設(shè)備、雙向?qū)ず魴C、具有數(shù)據(jù)消息收發(fā)功能的蜂窩電話、無線因特網(wǎng)電器、或數(shù)據(jù)通信設(shè)備(具有或不具有電話功能)。
[0042]參考圖3和圖4,圖3中示出了移動設(shè)備的一個示例實施例100a,以及圖4中示出了移動設(shè)備的另一示例實施例100b。將要認(rèn)識到，數(shù)字“100”之后將指代任何的移動設(shè)備100,包括示例實施例1OOa和100b,以上枚舉的這些示例實施例或其他實施例。還將認(rèn)識到的是，類似的編號慣例也將用于所有圖之間公共的其他一般性特征，例如，顯示器12、光標(biāo)或視圖定位設(shè)備14、取消或退出按鈕16、相機按鈕17和菜單或選項按鈕24.[0043]圖3中示出的移動設(shè)備IOOa包括顯示器12a,以及在本示例實施例中示出的定位設(shè)備14是軌跡球14a。定位設(shè)備14可以擔(dān)當(dāng)另一輸入部件，并且既可以旋轉(zhuǎn)以向主處理器102(圖6中示出)提供選擇輸入，也可以在大致朝著外殼的方向被壓下以向處理器102提供另一選擇輸入。軌跡球14a允許多方向定位選擇光標(biāo)18(圖7中不出)，以使得選擇光標(biāo)18可以在向上的方向上、向下的方向上以及(如果希望和/或允許)在任何對角方向上移動。軌跡球14a在本示例中位于圖3中示出的移動設(shè)備IOOa的外殼的正面上，以使得用戶可以在單手手持移動設(shè)備IOOa的同時操縱軌跡球。軌跡球14a可以擔(dān)當(dāng)(除了方向或定位部件之外的)用于向處理器102提供選擇輸入的另一輸入部件，并且可以優(yōu)選地在向著移動設(shè)備IOOb的外殼的方向上被按下，以提供這種選擇輸入。
[0044]顯示器12可以包括選擇光標(biāo)12 (圖7中示出)，選擇光標(biāo)12大致描繪了將在何處接收到下一輸入或選擇。選擇光標(biāo)18可以包括框、圖標(biāo)變化、或者使得用戶可以識別當(dāng)前選擇的圖標(biāo)或項目的特征的任何組合。圖3中的移動設(shè)備IOOa還包括可編程的便捷按鈕15，用于激活所選擇的應(yīng)用，例如，如日歷或計算器。此外，移動設(shè)備IOOa包括退出或取消按鈕16a、相機按鈕17a、菜單或選項按鈕24a和鍵盤20。當(dāng)優(yōu)選地在向著外殼的方向按下時，相機按鈕17能夠激活照片和視頻捕捉功能。菜單或選項按鈕24在被按下時將菜單或選項列表加載到顯示器12a上。在本示例中，退出或取消按鈕16a、菜單選項按鈕24a和鍵盤20位于移動設(shè)備外殼的正面,而便捷按鈕15和相機按鈕17a位于外殼的側(cè)面上。該按鈕布置使得用戶可以在單手手持移動設(shè)備100的同時操作這些按鈕。在本示例中，鍵盤20是標(biāo)準(zhǔn)的QWERTY鍵盤。
[0045]圖4中示出的移動設(shè)備IOOa包括顯示器12b,以及本示例實施例中的定位設(shè)備14是軌跡球14b。移動設(shè)備IOOb還包括菜單或選項按鈕24b、取消或退出按鈕16b和相機按鈕17b。圖4中示出的移動設(shè)備IOOb包括精簡型QWERTY鍵盤22。在本示例實施例中，鍵盤22、定位設(shè)備14b、退出按鈕16b和菜單按鈕24b位于移動設(shè)備外殼的正面。精簡型QWERTY鍵盤22包括多個多功能按鍵和對應(yīng)的標(biāo)記，包括與對應(yīng)于字母A到Z的QWERTY陣列的字母字符以及疊加的數(shù)字電話按鍵布置相關(guān)聯(lián)的按鍵。
[0046]要認(rèn)識到的是，對于移動設(shè)備100而言，可以使用廣泛的、一個或多個定位或光標(biāo)/視圖定位機制，例如，觸摸板、定位輪、操縱桿按鈕、鼠標(biāo)、觸摸屏、一組方向鍵、平板、力口速度計(用于感測移動設(shè)備100的方向和/或移動等)或者其他當(dāng)前已知或未知的機制。類似地，可以使用鍵盤20、22的任何變型。還將認(rèn)識到的是，圖3和圖4中示出的移動設(shè)備100僅被用于示意性目的，并且其他各種移動設(shè)備100同等可應(yīng)用于下面的示例。例如，其他移動設(shè)備100可以包括與圖4中所示出的相類似的軌跡球14b、退出按鈕16b和菜單或選項按鈕24，僅是具有任何類型的全鍵盤或標(biāo)準(zhǔn)鍵盤。也可以將其他按鈕布置在移動設(shè)備外殼上，例如，要在電話通信中使用的色彩編碼的“回答”和“忽略”按鈕。在另一示例中，顯示器12自己可以是觸敏的，由此除了顯示能力之外自己還提供輸入機制。
[0047]參考圖5，在移動設(shè)備IOOa的背部中，例如存在著可被用于照亮對象以捕捉視頻圖像或照片的光源30。相機鏡頭32和反射表面34也位于移動設(shè)備的背面。相機鏡頭32允許代表圖像的光進入到相機設(shè)備中。反射表面34顯示代表相機設(shè)備的視圖的圖像，并例如協(xié)助用戶拍攝自拍照片。可以通過按下相機按鈕17(例如，圖3中示出的相機按鈕17)相機設(shè)備來激活相機設(shè)備。
[0048]為了幫助讀者理解移動設(shè)備100的結(jié)構(gòu)，現(xiàn)在將參考圖6至圖8。
[0049]首先參考圖6，圖6中示出了移動設(shè)備100的示例實施例的框圖。移動設(shè)備100包括多個組件，例如控制移動設(shè)備100的整體操作的主處理器102。通過通信子系統(tǒng)104來執(zhí)行包括數(shù)據(jù)和語音通信在內(nèi)的通信功能。通信子系統(tǒng)104從無線網(wǎng)絡(luò)200接收消息，并向無線網(wǎng)絡(luò)150發(fā)送消息。在移動設(shè)備100的該示例實施例中，依照世界范圍內(nèi)使用的全球移動通信系統(tǒng)(GSM)和通用分組無線服務(wù)(GPRS)標(biāo)準(zhǔn)對通信子系統(tǒng)104進行配置。其他同等可應(yīng)用的通信配置時3G和4G網(wǎng)絡(luò)，例如EDGE、UMTS和HSDPA、LTE、W1-Max等。目前仍然在制定新標(biāo)準(zhǔn)，然而相信新標(biāo)準(zhǔn)將具有同此處描述的網(wǎng)絡(luò)相似的網(wǎng)絡(luò)行為，因而本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，此處描述的示例實施例打算使用將在未來開發(fā)出的任何其它合適的標(biāo)準(zhǔn)。連接通信子系統(tǒng)104和無線網(wǎng)絡(luò)200的無線鏈路表示按照所定義的、針對GSM /GPRS通信規(guī)定的協(xié)議工作的一個或多個不同的射頻(RF)信道。
[0050]主處理器102還與附加的子系統(tǒng)交互，附加的子系統(tǒng)例如:隨機存取存儲器(RAM) 106、閃存108、顯示器110、輔助輸入/輸出(I / O)子系統(tǒng)112、數(shù)據(jù)端口 114、鍵盤116、揚聲器118、麥克風(fēng)120、GPS接收機121、短距離通信122、相機123、磁力計125和其它設(shè)備子系統(tǒng)124。顯示器110可以是能夠通過用戶的觸摸來接收輸入的觸摸屏顯示器。
[0051]移動設(shè)備100的子系統(tǒng)中的一些子系統(tǒng)執(zhí)行涉及通信的功能，而其它子系統(tǒng)可提供“駐留”或機上功能。以示例的方式，可以將顯示器110和鍵盤116用于涉及通信的功能(例如輸入文本消息以在網(wǎng)絡(luò)200上傳輸)和駐機功能(例如計算器或任務(wù)列表)。
[0052]在所要求的網(wǎng)絡(luò)注冊或激活處理已經(jīng)完成后，移動設(shè)備100可以通過無線網(wǎng)絡(luò)200發(fā)送和接收通信信號。將網(wǎng)絡(luò)接入與移動設(shè)備100的訂戶或用戶相關(guān)聯(lián)。為了標(biāo)識訂戶，移動設(shè)備100可以使用訂戶模塊組件或“智能卡”126、例如訂戶身份模塊(SIM)、可拆卸的用戶身份模塊(RUIM)以及通用訂戶身份模塊(USIM)。在所示出的示例中，為了與網(wǎng)絡(luò)通信，要將SM / RUIM / USM126插入SM / RUIM / US頂接口 128中。在沒有組件126的情況下，對于與無線網(wǎng)絡(luò)200的通信，移動設(shè)備100沒有完全工作。一旦SM / RUIM /USM126被插入到SM / RUIM / US頂接口 128中，其與主處理器102耦合。
[0053]移動設(shè)備100是電池供電的設(shè)備，并包括用于容納一個或多個可充電電池130的電池接口 132。在至少一些示例實施例中，電池130可以是具有嵌入的微處理器的智能電池。電池接口 132耦合到穩(wěn)壓器(未示出)，穩(wěn)壓器在向移動設(shè)備100提供功率V+時對電池130進行協(xié)助。雖然當(dāng)前的技術(shù)使用了電池，將來的技術(shù)(例如，微燃料電池)可以向移動設(shè)備100提供功率。
[0054]移動設(shè)備100還包括將于以下進行詳細說明的操作系統(tǒng)134和軟件組件136至146。主處理器102所執(zhí)行的操作系統(tǒng)134和軟件組件136至146通常存儲在永久性存儲器(例如，閃存存儲器108)中，備選地，閃存存儲器1018也可以是只讀存儲器(ROM)或其它類似的存儲元件(未示出)。本領(lǐng)域技術(shù)人員將意識到，可將部分的操作系統(tǒng)134和軟件組件136至146 (例如特定的設(shè)備應(yīng)用)或其一部分臨時加載到易失性存儲器(例如RAM106)中。還可以包括本領(lǐng)域技術(shù)人員周知的其他軟件組件。
[0055]在制造過程中，將用于控制基本設(shè)備運行的軟件應(yīng)用136的子集(包括數(shù)據(jù)和語音通信應(yīng)用)安裝在移動設(shè)備100中。軟件應(yīng)用可以包括消息應(yīng)用138、設(shè)備狀態(tài)模塊140、個人信息管理器(PM) 142、連接模塊144和IT策略模塊146。消息應(yīng)用138可以是允許移動設(shè)備100的用戶發(fā)送和接收電子消息的任何適合的軟件程序，其中，消息通常被存儲在移動設(shè)備100的閃存108中。設(shè)備狀態(tài)模塊140可提供持久性，即，設(shè)備狀態(tài)模塊140確保將重要的設(shè)備數(shù)據(jù)存儲在持久性存儲器(例如，閃存存儲器108)中，以使得當(dāng)移動設(shè)備100關(guān)閉或掉電時，數(shù)據(jù)不會丟失。PM142包括用于對用戶感興趣的數(shù)據(jù)項進行組織和管理的功能，并且可以與無線網(wǎng)絡(luò)200交互，用戶感興趣的數(shù)據(jù)項例如但不限于電子郵件、通訊錄、日歷事件和語音郵件。連接模塊144實現(xiàn)移動設(shè)備100與該移動設(shè)備100被授權(quán)與之進行接口連接的無線基礎(chǔ)設(shè)施和任何主機系統(tǒng)(例如企業(yè)系統(tǒng))通信所需的通信協(xié)議。IT策略模塊146接收對IT策略進行編碼的IT策略數(shù)據(jù)，并且可以負(fù)責(zé)組織和保護規(guī)則，例如，“設(shè)置最大密碼嘗試” IT策略。
[0056]也可以將其他類型的軟件應(yīng)用或組件139安裝在移動設(shè)備100上。這些軟件應(yīng)用139可以是預(yù)安裝的應(yīng)用(S卩，消息應(yīng)用138之外的應(yīng)用)或者在移動設(shè)備100的制造之后添加的第三方應(yīng)用。第三方應(yīng)用的示例包括游戲、計算器、實用程序等。
[0057]可以通過無線網(wǎng)絡(luò)200、輔助I / O子系統(tǒng)112子系統(tǒng)、數(shù)據(jù)端口 114、短距離通信子系統(tǒng)122、或者任何其它適合的設(shè)備子系統(tǒng)124中的至少之一來將其它應(yīng)用139加載到移動設(shè)備100上。
[0058]數(shù)據(jù)端口 114可以是使移動設(shè)備100和另一計算設(shè)備能夠進行數(shù)據(jù)通信的任意合適的端口。數(shù)據(jù)端口 114可以是串行或并行端口。在一些實例中，數(shù)據(jù)端口 114可以是USB端口，包括用于數(shù)據(jù)傳遞的數(shù)據(jù)線和可以提供充電電流以對移動設(shè)備100的電池130充電的電源線。
[0059]對于語音通信，向揚聲器118輸出接收到的信號，以及由麥克風(fēng)120生成用于發(fā)送的信號。雖然主要通過揚聲器118來完成語音或音頻信號輸出，也可以使用顯示器110來提供附加信息，例如主叫方的標(biāo)識、語音呼叫的持續(xù)時間或者其他語音呼叫相關(guān)信息。
[0060]現(xiàn)在轉(zhuǎn)向圖7，移動設(shè)備100可以顯示主屏幕40，主屏幕40可被設(shè)置為當(dāng)移動設(shè)備100開機作為主屏幕，并且可構(gòu)建主功能區(qū)(ribbon)應(yīng)用。主屏幕40通常包括狀態(tài)區(qū)域44和主題背景46，主題背景46為顯示器12提供圖形背景。主題背景46在圖形背景上以預(yù)定的布置顯示一系列圖標(biāo)42。在一些主題中，主屏幕40可以限制主屏幕40上示出的圖標(biāo)42的數(shù)目，以使得不將注意力從主題背景46轉(zhuǎn)移，特別是在由于美學(xué)的原因而選擇背景46的情況下。圖7中示出的主題背景46提供圖標(biāo)柵格。將認(rèn)識到的是，優(yōu)選地，若干主題可用于由用戶進行選擇，并且可以使用任何可應(yīng)用的布置。示例圖標(biāo)可以是使用來對基于增強現(xiàn)實相機的應(yīng)用進行指示的相機圖標(biāo)51。一系列圖標(biāo)42中的一個或多個圖標(biāo)通常是文件夾52，文件夾52自己能夠其自身中組織任何數(shù)目的應(yīng)用。
[0061]本示例實施例中的狀態(tài)區(qū)域44包括日期/時間顯示48。除了圖形背景和一系列的圖標(biāo)42之外，主題背景46還包括狀態(tài)條50。狀態(tài)條50基于選擇圖標(biāo)18的位置來向用戶提供信息，例如通過顯示當(dāng)前突出顯示的圖標(biāo)53的名稱來提供。
[0062]通過使用定位設(shè)備14來突出顯示對應(yīng)的圖標(biāo)53并向移動設(shè)備100提供適合的用戶輸入，可以從顯示器12發(fā)起(打開或查看)應(yīng)用，例如消息應(yīng)用138(圖6中示出)。例如，通過移動定位設(shè)備14以使得由圖7中示出的選擇框18來突出顯示圖標(biāo)53，并例如通過壓下軌跡球14b來提供選擇輸入，可以發(fā)起消息應(yīng)用138。
[0063]圖8示出了可以在移動設(shè)備100上存儲和使用的其他軟件應(yīng)用和組件139 (也在圖6中示出)的示例。圖8中僅示出了示例,并且這些示例不被認(rèn)為是詳盡無遺的。在本示例中，可以使用警報應(yīng)用54來在由用戶確定的時間和日期激活告警。還處在管理和顯示聯(lián)系人信息的地址簿62?？梢允褂肎PS應(yīng)用56來確定移動設(shè)備100的位置。日歷應(yīng)用58可被用于組織預(yù)約。另一示例應(yīng)用是增強現(xiàn)實文本查看器應(yīng)用60。該應(yīng)用60能夠通過在圖像上方顯示另一層來增強圖像，由此，該層包括提供對搜索參數(shù)(例如，文本)在圖像中位于何處的指示。
[0064]其他應(yīng)用包括光學(xué)字符識別應(yīng)用64、文本識別應(yīng)用66和語言翻譯器68。光學(xué)字符識別應(yīng)用64和文本識別應(yīng)用66可以是組合應(yīng)用或不同應(yīng)用。還可以認(rèn)識到，可以將本文中描述的其他應(yīng)用或模塊組合或分開操作。光學(xué)字符識別應(yīng)用64能夠?qū)⑹謱懳谋?、印刷文本、機打文本等的圖像翻譯為計算機可讀文本或機器編碼文本?？梢栽诒疚闹惺褂脤⑽谋镜膱D像翻譯為計算機可讀文本的已知方法和將來的方法，一般將其稱為OCR方法。OCR應(yīng)用64還能夠執(zhí)行也用于識別手寫文本的智能字符識別(ICR)。文本識別應(yīng)用66識別形成詞語、短語、句子、段落、地址、電話號碼、日期等的計算機可讀字符的組合。換言之，可以理解字母組合的含義。已知的文本識別軟件可應(yīng)用于本文中描述的原理。語言翻譯器68將計算機可讀文本從給定語言翻譯為另一語言(例如，從英語到法語，從法語到德語，從中文到英語，從西班牙語到德語等)?？梢允褂靡阎恼Z言翻譯器。[0065]其他應(yīng)用還可以包括提供導(dǎo)航方向和地圖信息的地圖應(yīng)用69?？梢砸庾R到，各種應(yīng)用的功能可以彼此交互，或者可以組合。
[0066]轉(zhuǎn)向圖9，提供了用于增強與文本有關(guān)的現(xiàn)實的示例配置。從相機123接收輸入。具體地，文本增強模塊/⑶160接收可包含文本的相機或視頻圖像(可由圖像處理模塊240處理)。使用該圖像，文本增強模塊/⑶160可以在顯示屏幕110上顯示該圖像。在示例實施例中，來自相機123的圖像可以是以實時方式更新的流傳輸視頻圖像。
[0067]繼續(xù)圖9，可以使用圖像處理模塊240來處理從相機123接收的圖像。例如，圖像處理模塊240可被用于調(diào)整圖像的亮度設(shè)置和對比度設(shè)置，以增加成像文本的清晰度。備選地或附加地，可以提高相機123的曝光設(shè)置，以使得相機(例如，相機的電荷耦合器件)吸收更多的光。還向文本增強模塊/⑶160發(fā)送圖像(不管是否處理過)。
[0068]還可以使用OCR應(yīng)用64來處理圖像，OCR應(yīng)用64從文本的圖像導(dǎo)出計算機可讀文本?？梢詫⒂嬎銠C可讀文本存儲在數(shù)據(jù)庫242中。使用文本識別應(yīng)用66來搜索計算機可讀文本中的特定文本。正在尋找的特定文本是數(shù)據(jù)庫244中存儲的搜索參數(shù)。數(shù)據(jù)庫244可以通過文本增強模塊/ GUI60或者從地圖應(yīng)用69接收搜索參數(shù)。如較早討論的，搜索參數(shù)可以是人輸入的文本，或者可以是由導(dǎo)航方向或位置知信息導(dǎo)出的文本。
[0069]如果文本識別應(yīng)用發(fā)現(xiàn)搜索參數(shù)，則將該信息傳遞回文本增強模塊/ GUI60。文本增強模塊/ GUI60可以顯示對所尋找的文本在圖像中位于何處的指示符。例如，在圖1a和圖1b中對此進行了示出。如果發(fā)現(xiàn)一個或多個搜索參數(shù)，還可以將該信息傳遞給地圖應(yīng)用69，以生成位置信息和/或?qū)Ш椒较颉?br> [0070]還可以將識別出的搜索參數(shù)的實例保存在數(shù)據(jù)庫248中，數(shù)據(jù)庫248通過頁編號來對所發(fā)現(xiàn)的搜索參數(shù)的實例進行組織或編排索引。記錄保存器應(yīng)用246對此進行了推動，記錄保存器應(yīng)用246還可以包括頁識別器應(yīng)用247。記錄保存器應(yīng)用246對給定頁編號上的搜索參數(shù)的實例的數(shù)目進行計數(shù)并存儲。還可以在數(shù)據(jù)庫248中顯示成像文本的拷貝。
[0071]將意識到，在本文中示例出的執(zhí)行指令或操作的任何模塊或者組件可以包括或者具有對計算機可讀介質(zhì)的訪問，該計算機可讀介質(zhì)例如:存儲介質(zhì)、計算機存儲介質(zhì)或者數(shù)據(jù)存儲設(shè)備(可移除的和/或不可移除的)(例如，磁盤、光盤或者磁帶)。計算機存儲介質(zhì)可以包括以用于信息的存儲的任何方法或技術(shù)實現(xiàn)的易失性和非易失性的、可移除或者不可移除的介質(zhì)，例如計算機可讀指令、數(shù)據(jù)指令、程序模塊或者除了暫時的傳播信號本身之外的其他數(shù)據(jù)。計算機存儲介質(zhì)的示例包括RAM、ROM、EEPR0M、閃存或者其他存儲器技術(shù)、CD-ROM、數(shù)字通用碟(DVD)或者其他光存儲器、磁的盒狀磁帶、磁帶、磁盤存儲器或者其他磁存儲設(shè)備，或者可以使用來存儲所需信息并且可以由應(yīng)用、模塊或者應(yīng)用和模塊訪問的其他任何介質(zhì)。這種計算機存儲介質(zhì)中的任一種可以是移動設(shè)備100的一部分，或者可以由移動設(shè)備100訪問或可連接到移動設(shè)備100?？梢允褂糜嬎銠C可讀/可執(zhí)行指令或操作來實現(xiàn)本文中描述的任何應(yīng)用或模塊，可以由這種計算機可讀介質(zhì)來存儲或者保持該指令或操作。
[0072]轉(zhuǎn)向圖10，提供了用于搜索圖像中的文本的示例計算機可執(zhí)行指令。在框250處，移動設(shè)備100接收文本?？梢哉J(rèn)識到，某人希望搜索文本，并因此在示例實施例中已經(jīng)將文本輸入到移動設(shè)備100中。在本文中可以將該文本稱為搜索參數(shù)、搜索文本或?qū)ふ业奈谋?。例?可以通過文本增強模塊/⑶160，例如圖1a中的文本字段208，將搜索參數(shù)輸入到移動設(shè)備100中。在框252處，移動設(shè)備100使用相機123來捕捉文本的圖像。圖像可以是靜態(tài)的，或者是實時圖像的視頻流的一部分。在另一示例實施例中，可以根據(jù)本文中描述的原理，使用搜索參數(shù)來搜索在另一時間處拍攝并可選地來自不同相機設(shè)備的視頻數(shù)據(jù)。在框254處，應(yīng)用OCR算法來生成計算機可讀文本。在框256處，在移動設(shè)備的顯示器110上顯示文本的圖像。在框258處，移動設(shè)備100使用搜索參數(shù)來對計算機可讀文本執(zhí)行搜索。如果發(fā)現(xiàn)搜索參數(shù)，在框260處，移動設(shè)備100顯示對搜索參數(shù)位于文本圖像中的何處的指示。在示例實施例中，指示可以是闡述搜索參數(shù)可在屏幕上的何處或哪一段被發(fā)現(xiàn)的消息。在另一示例實施例中，指示可以覆蓋在成像文本上，直接指出搜索參數(shù)的位置。
[0073]在框262處，移動設(shè)備100繼續(xù)捕捉文本的圖像，并在檢測到文本的新位置時或在檢測到新文本的情況下自動更新顯示器110。例如，如果人將移動設(shè)備100在文本的頁上向下移動，顯示器110上的文本圖像的位置對應(yīng)地向上移動。從而，如果搜索參數(shù)在成像文本中，指示(例如，框210)頁在顯示器110上向上移動。在另一示例中，如果人將移動設(shè)備100向包含搜索參數(shù)的多個實例的不同頁移動，則例如通過在每個搜索參數(shù)的實例周圍自動顯示框210來示出搜索參數(shù)的所有實例。
[0074]換言之，在示例實施例中，移動設(shè)備100持續(xù)捕捉附加圖像，并在對應(yīng)成像文本的位置改變位置時自動更新對指示的顯示。類似地，移動設(shè)備100持續(xù)捕捉附加的文本圖像，并在檢測到新文本的情況下使用覆蓋在搜索參數(shù)的圖像之上的其他指示來自動更新顯示器 110。
[0075]在示例實施例中，框254至262的過程以實時方式重復(fù)，或者非?？斓刂貜?fù)，以提供增強現(xiàn)實體驗。由虛線263指示了該重復(fù)或循環(huán)。
[0076]轉(zhuǎn)向圖11，提供了用于顯示覆蓋成像文本的位置指示的示例實施例。在框264處，移動設(shè)備100確定與搜索參數(shù)相對應(yīng)的成像文本的像素位置。然后，例如通過以下方式來相對于像素位置顯示圖形指示:突出顯示成像文本，在成像文本周圍放置框或圓圈，以及以覆蓋對應(yīng)成像文本的不同字體格式(例如，粗體)顯示搜索參數(shù)的計算機可讀文本(框266)。例如，返回圖la，可以通過粗體或不同的字體來顯示計算機可讀文本“Cusco”，并覆蓋文本“Cusco”的圖像?？梢哉J(rèn)識到，可存在著顯示對所尋找的文本位于圖像中的何處的指示的各種其他方式。
[0077]在圖12中，提供用于記錄搜索參數(shù)的實例的示例計算機可讀指令。在框268處，移動設(shè)備100識別正在成像的頁。例如，可以通過頁編號來識別該頁。在框270處，確定出現(xiàn)在成像文本中的搜索文本或搜索參數(shù)的實例的數(shù)目。可以使用計數(shù)算法來確定實例的數(shù)目。
[0078]在框272處，在數(shù)據(jù)庫248中記錄并存儲搜索參數(shù)的實例的數(shù)目以及給定頁編號。還保存包含搜索參數(shù)的文本圖像(框274)。
[0079]這允許人容易地識別出哪些頁與搜索參數(shù)相關(guān)，以及識別出搜索參數(shù)的實例的數(shù)目。例如，與具有較少實例數(shù)目的頁相比，具有較高實例數(shù)目的頁可能與該人更相關(guān)。該人還可以方便地取回文本圖像，以閱讀在其中使用的搜索參數(shù)的上下文。
[0080]圖13中示出了用于查看出現(xiàn)搜索參數(shù)的頁的示例GUI276。存在標(biāo)題，包括頁編號278、搜索參數(shù)(例如，“Cusco”)的實例的數(shù)目以及頁圖像鏈接282。例如，示例⑶1276示出了在頁5上存在詞語“Cusco”的3個實例。當(dāng)移動設(shè)備100接收到按鈕或鏈接284上的選擇輸入時，可在然后顯示圖5的圖像，示出“Cusco”的實例位于何處。
[0081]轉(zhuǎn)到圖14和15，以及接著(圖12的)框268，提供用于識別頁編號的示例計算機可執(zhí)行指令?？梢哉J(rèn)識到，可由人手動識別或輸入頁編號。備選地，可以如下所述地自動識別頁編號。
[0082]參考圖14，在示例實施例中，移動設(shè)備100接收該頁上文本的圖像(框286)。移動設(shè)備100搜索位于頁的頁腳或頁眉區(qū)域中的數(shù)字(框288)?？梢允褂肙CR應(yīng)用64來識別該數(shù)字。搜索頁腳或頁眉區(qū)域，因為這通常是頁編號的所在之處。如果發(fā)現(xiàn)數(shù)字，則識別出的頁編號是所述頁編號(框290)。例如，如果在頁的頁腳上發(fā)現(xiàn)數(shù)字“14”，這將該頁識別為“頁14”。
[0083]圖15提供了用來檢測已轉(zhuǎn)到的頁的示例實施例。這基于該頁是從一頁轉(zhuǎn)到下一頁的假設(shè)。在框292處，移動設(shè)備100接收頁上的文本的圖像。移動設(shè)備100向文本圖像應(yīng)用OCR算法，并保存計算機可讀文本的第一集合(框294)。移動設(shè)備100假設(shè)計算機可讀文本的第一集合在“第一頁”上(例如，不是必須在頁I上)。然后，移動設(shè)備100接收頁上的文本的第二圖像(框296)。向第二圖像應(yīng)用OCR算法，以生成計算機可讀文本的第二集合(框298)。如果計算機可讀文本的第一集合和第二集合不同，則在框300處，移動設(shè)備100確立計算機可讀文本的第一集合在“第一頁”上，以及計算機可讀文本的第二集合在“第二頁”上(例如，不是必須在頁2上，而可以是第一頁之后的連續(xù)編號)。例如，如果第一頁被識別為頁14，則第二頁被識別為頁15。
[0084]可以認(rèn)識到的是，本文中描述的用于搜索圖像中的文本的原理可被應(yīng)用來提供位置信息和導(dǎo)航方向。例如，之前關(guān)于圖2對此進行了描述。
[0085]轉(zhuǎn)向圖16，提供了用于基于方向來搜索道路名稱的示例計算機可執(zhí)行指令。在框302處，移動設(shè)備100獲得從第一位置到第二位置的行進的方向。例如，其包括了要在特定的方向上并以特定的順序行進的道路名稱的列表?？梢哉J(rèn)識到，本示例實施例中的輸入是方向。在框304處，從方向提取一個或多個道路名稱?？梢哉J(rèn)識到，道路名稱的非限制性示例包括街道名稱、高速路和出口編號。在框306處，將該一個或多個道路名稱確立為搜索參數(shù)。如果在方向上存在多個道路名稱，則這些多個道路名稱都是搜索參數(shù)。移動設(shè)備100然后使用相機來例如從標(biāo)志獲得或捕捉文本的圖像(框308)。應(yīng)用OCR算法以從圖像生成計算機可讀文本(框310)。然后，使用搜索參數(shù)(在本示例中是道路名稱)來執(zhí)行計算機可讀文本的搜索(框312)。如果發(fā)現(xiàn)任何的道路名稱(框314)，則基于識別出的道路名稱確定位置數(shù)據(jù)。例如，參考回圖2，如果框302的方向包括道路名稱“主大街”和“國王大道”，以及發(fā)現(xiàn)這些名稱的文本，則知道移動設(shè)備100位于主大街和國王大道的交叉路口。因此，移動設(shè)備100知道在通過方向識別出的路由上其位于何處，并因此知道方向序列中隨后的導(dǎo)航方向的下一集合。在框316，基于位置數(shù)據(jù)，移動設(shè)備100提供位置更新(例如，直行、左轉(zhuǎn)、右轉(zhuǎn)等)。例如，參考圖2，方向234闡述了 “右轉(zhuǎn)到主大道”。
[0086]可以使用上述方案來補充或替換GPS功能。該方案可以有用的示例場景是在隧道中行進期間并且沒有GPS信號可用?？梢允褂靡陨蠄D像識別和地圖功能來引導(dǎo)人在正確方向上行進。此外，通過僅搜索由方向提供的特定的道路名稱，可以忽略其他道路名稱或其他標(biāo)志。這降低了移動設(shè)備100上的處理負(fù)擔(dān)。[0087]在另一示例實施例中，轉(zhuǎn)到圖17，提供了用于使用文本搜索能力來確定更精確的位置的示例計算機可執(zhí)行指令。獲得第一位置，第一位置可以是在有一些不確定的情況下的大致位置。將第一位置視為是使用來導(dǎo)出被用作搜索參數(shù)的道路名稱的列表的輸入。當(dāng)已在圖像或多個圖像中發(fā)現(xiàn)所尋找的道路名稱時，使用已經(jīng)發(fā)現(xiàn)的道路名稱來確定更精確的位置。
[0088]具體地，在框318處，移動設(shè)備100獲得設(shè)備附近的第一位置?？梢酝ㄟ^小區(qū)塔信息、無線或W1-Fi集線器的位置、GPS等來確定第一位置。還可以通過手動輸入的信息(例如，郵編、郵遞區(qū)號、主要交叉口等)確定第一位置?；谠撦斎?被認(rèn)為是移動設(shè)備100所位于的區(qū)域的近似)，移動設(shè)備100識別在第一位置周圍的道路名稱的集合(框320)。可以使用地圖應(yīng)用69來確定周圍的道路名稱。這些道路名稱被用作搜索參數(shù)。
[0089]繼續(xù)圖17，在框322處，移動設(shè)備100使用相機123捕捉文本的圖像(例如，標(biāo)志)。向圖像應(yīng)用OCR算法以生成計算機可讀文本(框324)。在框326處，使用搜索參數(shù)(例如，道路名稱)來執(zhí)行計算機可讀文本的搜索。如果發(fā)現(xiàn)一個或多個道路名稱(框328)，則假設(shè)移動設(shè)備100位于該一個或多個道路名稱處。然后，移動設(shè)備100提供第二位置，該第二位置更精確地指示設(shè)備位于與搜索參數(shù)相對應(yīng)的給定道路或給定的多條道路處。例如，這在圖2中的聲明232 “您位于主大街和國王大道處”中進行了示出。
[0090]更一般地，轉(zhuǎn)向圖18，提供了用于在一個或多個圖像中搜索圖像的系統(tǒng)和方法。計算設(shè)備執(zhí)行的方法包括:接收輸入(框330);根據(jù)輸入來生成搜索參數(shù)，搜索參數(shù)包括文本(框332);向一個或多個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本(框334);應(yīng)用搜索參數(shù)，以在計算機可讀文本中搜索文本(框336);如果識別出文本，執(zhí)行動作(框338)。
[0091]在另一方面，方法還包括實時地持續(xù)捕捉其他圖像，自動向該其他圖像應(yīng)用光學(xué)字符識別，以生成其他計算機可讀文本，以及如果再次發(fā)現(xiàn)文本，再次執(zhí)行動作。在另一方面，計算設(shè)備是包括相機的移動設(shè)備，以及由相機來提供該一個或多個圖像。在另一方面，輸入是文本。在另一方面，由用戶提供文本。在另一方面，執(zhí)行的動作是在顯示器上突出顯示發(fā)現(xiàn)的文本。在另一方面，該一個或多個圖像具有一頁或多頁，以及計算設(shè)備記錄文本被發(fā)現(xiàn)位于的一頁或多頁。在另一方面，該一頁或多頁是通過頁編號來分別識別的，是通過向頁編號應(yīng)用光學(xué)字符識別來確定的。在另一方面，該一頁或多頁是通過頁編號來分別識別的，通過對在頁的采集中審閱的頁的編號進行計數(shù)來確定頁編號。在另一方面，方法還包括記錄在所述一頁或多頁上發(fā)現(xiàn)的文本的實例的數(shù)目。在另一方面，輸入是位置。在另一方面，所生成的搜索參數(shù)是基于位置的一個或多個道路名稱。在另一方面，搜索參數(shù)是從到達位置的方向的集合生成的，搜索參數(shù)包括該一個或多個道路名稱。在另一方面，在已經(jīng)發(fā)現(xiàn)該一個或多個道路名稱中的至少一個道路名稱的文本時，所執(zhí)行的動作是基于方向的集合提供音頻或視頻指示，以在特定的方向上移動。在另一方面，識別出靠近位置的一個或多個道路名稱，搜索參數(shù)包括該一個或多個道路名稱。在另一方面，在已經(jīng)發(fā)現(xiàn)該一個或多個道路名稱中的至少一個道路名稱的文本時，執(zhí)行的動作是提供包括已經(jīng)發(fā)現(xiàn)的道路名稱的第二位置。
[0092]還提供了移動設(shè)備，包括:顯示器；被配置為捕捉一個或多個圖像的相機；以及連接到顯示器和相機的處理器，處理器被配置為:接收輸入，根據(jù)輸入來生成搜索參數(shù)，搜索參數(shù)包括文本，向該一個或多個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本，應(yīng)用搜索參數(shù)，以在計算機可讀文本中搜索文本，以及如果識別出文本，執(zhí)行動作。
[0093]還提供了系統(tǒng)，包括:顯示器；被配置為捕捉一個或多個圖像的相機；以及連接到顯示器和相機的處理器，處理器被配置為:接收輸入，根據(jù)輸入來生成搜索參數(shù)，搜索參數(shù)包括文本，向該一個或多個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本，應(yīng)用搜索參數(shù)，以在計算機可讀文本中搜索文本，以及如果識別出文本，執(zhí)行動作。在示例實施例中，將這種系統(tǒng)與運輸車輛(例如，汽車)集合。
[0094]本文中使用的示意圖和框圖僅用于示例?？梢允褂貌煌呐渲煤徒M件名稱。例如，在不背離本發(fā)明的精神的情況下，可以添加、刪除、修改或與不同的連接布置組件和模塊。
[0095]本文中描述的流程圖中的步驟或操作僅用于示例。在不背離本發(fā)明的精神的情況下，可以存在這些步驟或操作的很多變型。例如，可以通過不同的順序來執(zhí)行步驟，或者可以添加、刪除或修改步驟。
[0096]將要認(rèn)識到的是，圖中示出并在以上描述的具體的示例實施例僅用作示意性的目的，以及可以根據(jù)所描述的原理來使用很多其他變型。雖然參考特定的示例實施例描述了以上內(nèi)容，然而所附權(quán)利要求中所勾勒出的，其各種修改對本領(lǐng)域技術(shù)人員將是顯而易見的。
【權(quán)利要求】
1.一種用于搜索至少一個圖像中的文本的方法，所述方法由計算設(shè)備執(zhí)行，所述方法包括: 接收輸入； 根據(jù)所述輸入來生成搜索參數(shù)，所述搜索參數(shù)包括所述文本； 向所述至少一個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本； 應(yīng)用所述搜索參數(shù)，以在所述計算機可讀文本中搜索所述文本；以及 如果發(fā)現(xiàn)所述文本，則執(zhí)行動作。
2.根據(jù)權(quán)利要求1所述的方法，還包括:實時地持續(xù)捕捉其他圖像，自動向所述其他圖像應(yīng)用光學(xué)字符識別，以生成其他計算機可讀文本，以及如果再次發(fā)現(xiàn)所述文本，則再次執(zhí)行所述動作。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述計算設(shè)備是包括相機的移動設(shè)備，以及由所述相機來提供所述至少一個圖像。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入是文本。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述文本由用戶提供。
6.根據(jù)權(quán)利要求 4所述的方法，其中，所執(zhí)行的動作是在顯示器上突出顯示所發(fā)現(xiàn)的文本。
7.根據(jù)權(quán)利要求4所述的方法，其中，所述至少一個圖像具有一頁或更多頁，以及所述計算設(shè)備記錄所發(fā)現(xiàn)的文本所在的一頁或更多頁。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述一頁或更多頁各自通過頁編號來識別，所述頁編號是通過向所述頁編號應(yīng)用光學(xué)字符識別來確定的。
9.根據(jù)權(quán)利要求7所述的方法，其中，所述一頁或更多頁各自通過頁編號來識別，通過對在頁的采集中審閱的頁的編號進行計數(shù)來確定所述頁編號。
10.根據(jù)權(quán)利要求7所述的方法，還包括記錄在所述一頁或更多頁的每一頁上發(fā)現(xiàn)的文本的實例的數(shù)目。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入是位置。
12.根據(jù)權(quán)利要求11所述的方法，其中，所生成的搜索參數(shù)是基于所述位置的一個或更多個道路名稱。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述搜索參數(shù)是根據(jù)到達所述位置的方向的集合生成的，所述搜索參數(shù)包括所述一個或更多個道路名稱。
14.根據(jù)權(quán)利要求13所述的方法，其中，在已經(jīng)發(fā)現(xiàn)所述一個或更多個道路名稱中的至少一個道路名稱的文本時，執(zhí)行的動作是基于所述方向的集合來提供在特定方向上移動的音頻或視頻指示。
15.根據(jù)權(quán)利要求11所述的方法，其中，識別出靠近所述位置的一個或更多個道路名稱，所述搜索參數(shù)包括所述一個或更多個道路名稱。
16.根據(jù)權(quán)利要求15所述的方法，其中，在已經(jīng)發(fā)現(xiàn)所述一個或更多個道路名稱中的至少一個道路名稱的文本時，執(zhí)行的動作是提供包括已經(jīng)發(fā)現(xiàn)的道路名稱的第二位置。
17.—種電子設(shè)備,包括: 顯示器； 被配置為捕捉至少一個圖像的相機；以及連接到所述顯示器和所述相機的處理器，所述處理器被配置為:接收輸入，根據(jù)所述輸入來生成搜索參數(shù)，所述搜索參數(shù)包括文本，向所述至少一個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本，應(yīng)用所述搜索參數(shù)，以在所述計算機可讀文本中搜索所述文本，以及如果發(fā)現(xiàn)所述文本，則執(zhí)行動作。
18.根據(jù)權(quán)利要求17所述的方法，其中，所述輸入是文本。
19.根據(jù)權(quán)利要求18所述的方法，其中，所執(zhí)行的動作是在所述顯示器上突出顯示所發(fā)現(xiàn)的文本。
20.—種系統(tǒng),包括: 顯示器； 被配置為捕捉至少一個圖像的相機；以及 連接到所述顯示器和所述相機的處理器，所述處理器被配置為:接收輸入，根據(jù)所述輸入來生成搜索參數(shù)，所述搜索參數(shù)包括文本，向所述至少一個圖像應(yīng)用光學(xué)字符識別，以生成計算機可讀文本，應(yīng)用所述搜索參數(shù)，以在所述計算機可讀文本中搜索所述文本，以及如果發(fā)現(xiàn)所述文本，則執(zhí)行動作。
【文檔編號】G06F17/00GK103718174SQ201180072738
【公開日】2014年4月9日 申請日期:2011年8月5日 優(yōu)先權(quán)日:2011年8月5日
【發(fā)明者】克里斯托弗·R·沃莫爾德, 康拉德·德爾伯特·西曼, 威廉·亞歷山大·張 申請人:黑莓有限公司